TED2017
Stuart Russell: 3 principles for creating safer AI
סטוארט ראסל: איך בינה מלאכותית עשויה להפוך אותנו לאנשים טובים יותר
Filmed:
Readability: 3.9
1,465,832 views
כיצד נוכל לשלוט בעוצמת בינת-על המלאכותית תוך כדי מניעת אסון ההשתלטות של הרובוטים עלינו? אנו מתקרבים ליצור מכונות יודעות-כל וסטוארט ראסל, בהיותו חוקר בינה מלאכותית מתקדם, כבר עובד על משהו קצת שונה: רובוטים מבוססי אי-הוודאות. התרשמו מחזונו לגבי בינה מלאכותית מותאמת בני אנוש, אשר עשויה לבצע משימות תוך שימוש בשכל הישר, אלטרואיזם וערכים אנושיים אחרים.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
00:12
This is Lee Sedol.
0
712
1552
זהו לי סידול.
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
הוא אחד מגדולי שחקני גו בעולם.
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
כאן הוא חווה את הרגע
שחבריי מעמק הסיליקון מכנים
שחבריי מעמק הסיליקון מכנים
00:21
a "Holy Cow" moment --
3
9218
1510
"זה הזוי!" -
00:22
(Laughter)
4
10752
1073
(צחוק)
00:23
a moment where we realize
5
11849
2188
הרגע בו אנו מבינים
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
שהתפתחותה של הב''מ (בינה מלאכתית)
מתקדמת הרבה יותר מהר משציפינו.
מתקדמת הרבה יותר מהר משציפינו.
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
אז בני האנוש הפסידו במשחק גו.
אבל מה עם העולם האמיתי?
אבל מה עם העולם האמיתי?
00:33
Well, the real world is much bigger,
8
21225
2100
ובכן, העולם האמיתי הרבה יותר גדול,
00:35
much more complicated than the Go board.
9
23349
2249
הרבה יותר מורכב ממשחק גו.
00:37
It's a lot less visible,
10
25622
1819
זה פחות נגלה לעין,
00:39
but it's still a decision problem.
11
27465
2038
אבל זו עדיין בעיית קבלת החלטות.
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
ואם חושבים על כמה טכנולוגיות
00:45
that are coming down the pike ...
13
33293
1749
שמתממשות כנגד עיניינו...
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
נוריקו [אראי] הזכירה שמכונות
עדיין לא יודעות לקרוא,
עדיין לא יודעות לקרוא,
00:52
at least with understanding.
15
40097
1500
לפחות לקרוא ולהבין.
00:53
But that will happen,
16
41621
1536
אבל, זה יקרה.
00:55
and when that happens,
17
43181
1771
וכאשר זה כן יקרה,
00:56
very soon afterwards,
18
44976
1187
עד מהרה
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
הן תקראנה את כל מה שהאנושות
כתבה אי פעם.
כתבה אי פעם.
01:03
And that will enable machines,
20
51850
2030
זה יקנה למכונות יכולת חדשה,
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
לצד יכולת החיזוי מעבר
למה שבני האנוש מסוגלים לחזות,
למה שבני האנוש מסוגלים לחזות,
01:08
as we've already seen in Go,
22
56848
1680
כפי שנוכחנו לדעת במשחק גו,
01:10
if they also have access
to more information,
to more information,
23
58552
2164
אם תקבלנה גישה ליותר מידע,
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
הן תוכלנה לקבל החלטות טובות יותר
מאיתנו בעולם האמיתי.
מאיתנו בעולם האמיתי.
01:18
So is that a good thing?
25
66792
1606
האם זה טוב לנו?
01:21
Well, I hope so.
26
69898
2232
ובכן, אני מקווה שכן.
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
הציביליזציה שלנו על כל ערכיה,
01:29
is based on our intelligence.
28
77973
2068
מבוססת על התבונה שלנו.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
ולו היתה לנו גישה לתבונה רבה יותר,
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
אזי לא יהיה גבול למה
שהאנושות תוכל לעשות.
שהאנושות תוכל לעשות.
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
ואני סבור כי זה היה יכול להיות,
כפי שאנשים מסוימים תיארו זאת,
כפי שאנשים מסוימים תיארו זאת,
01:44
the biggest event in human history.
32
92014
2016
הארוע הגדול בתולדות האנושות.
01:48
So why are people saying things like this,
33
96665
2829
אז מדוע אנשים אומרים דברים כגון,
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
ב''מ עלולה לגרום לסוף האנושות?
01:55
Is this a new thing?
35
103438
1659
האם זה חדש לנו?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
האם אלה רק אלון מאסק,
ביל גייטס וסטיבן הוקינג?
ביל גייטס וסטיבן הוקינג?
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
לא. רעיון זה כבר קיים זמן מה.
02:05
Here's a quotation:
38
113239
1962
הרי הציטוט:
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
"אפילו אם היינו מסוגלים לשלוט
במכונות כבמשרתים בלבד,
במכונות כבמשרתים בלבד,
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
למשל על ידי כיבוי אספקת חשמל
ברגעים קריטיים" --
ברגעים קריטיים" --
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
אחזור לנושא "כיבוי החשמל"
בהמשך --
בהמשך --
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
"אנחנו כמין צריכים להרגיש ענווה גדולה."
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
מי אמר זאת?
אלן טורינג ב-1951.
אלן טורינג ב-1951.
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
כידוע לכם, אלן טיורינג הוא אבי מדע המחשב
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
ובמובנים רבים, גם אבי הב''מ.
02:33
So if we think about this problem,
46
141239
1882
אם חושבים על הבעייתיות שביצירת
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
משהו שחכם יותר ממינך שלך,
02:38
we might call this "the gorilla problem,"
48
146956
2622
ניתן לכנות זאת "בעיית הגורילה",
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
היות ואבות אבותיהן של הגורילות
עשו זאת לפני מיליוני שנה,
עשו זאת לפני מיליוני שנה,
02:46
and now we can ask the gorillas:
50
154119
1745
וכיום נוכל לשאול את הגורילות:
02:48
Was this a good idea?
51
156752
1160
האם זה היה רעיון טוב?
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
הינה הם עורכים דיון
על טיב הדבר
על טיב הדבר
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
ואחרי זמן מה הם קובעים שזה- לא!
02:56
this was a terrible idea.
54
164860
1345
זה היה רעיון נוראי.
02:58
Our species is in dire straits.
55
166229
1782
מין הגורילות במצוקה קשה.
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
למעשה, אתם יכולים לראות
את העצב הקיומי בעיניהן.
את העצב הקיומי בעיניהן.
03:04
(Laughter)
57
172825
1640
(צחוק)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
לגבי ההרגשה המבחילה הזאת
שיצירת משהו שעולה עליך בחוכמתו
שיצירת משהו שעולה עליך בחוכמתו
03:11
is maybe not a good idea --
59
179353
2365
איננו רעיון טוב --
03:14
what can we do about that?
60
182488
1491
מה עושים איתה?
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
האמת היא שכלום,
חוץ מעצירת פיתוח ב''מ.
חוץ מעצירת פיתוח ב''מ.
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
בגלל כל היתרונות שהזכרתי
03:23
and because I'm an AI researcher,
63
191328
1716
ובגלל שאני חוקר ב''מ,
03:25
I'm not having that.
64
193068
1791
אני לא מקבל את אפשרות העצירה.
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
אני כן מעוניין להמשיך בפיתוח ב''מ.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
לכן, אנחנו חייבים להגדיר
את הבעיה טוב יותר.
את הבעיה טוב יותר.
03:33
What exactly is the problem?
67
201317
1371
מהי מהות הבעיה בדיוק?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
למה ב''מ טובה יותר
עלולה להוות אסון?
עלולה להוות אסון?
03:39
So here's another quotation:
69
207398
1498
אז הינה לכם עוד ציטוט:
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
"עדיף שנהיה בטוחים
שהיעוד שאנחנו מטמיעים במכונה
שהיעוד שאנחנו מטמיעים במכונה
03:45
is the purpose which we really desire."
71
213294
2298
זה אותו היעוד שאנחנו חפצים בו באמת ".
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
זה נאמר על ידי נורברט וויינר ב-1960
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
זמן קצר אחרי שצפה
באחת ממערכות הלמידה המוקדמות
באחת ממערכות הלמידה המוקדמות
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
לומדת לשחק דמקה
טוב מיוצרה.
טוב מיוצרה.
04:00
But this could equally have been said
75
228602
2683
אימרה זו היתה גם יכולה להיאמר
04:03
by King Midas.
76
231309
1167
על ידי המלך מידאס.
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
המלך מידאס אמר, "אני רוצה שכל דבר
שאגע בו יהפוך לזהב".
שאגע בו יהפוך לזהב".
04:08
and he got exactly what he asked for.
78
236241
2473
והוא קיבל את מבוקשו בדיוק.
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
זה היעוד אותו הוא הטמיע במכונה,
04:13
so to speak,
80
241513
1450
כביכול,
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
וכל המזון והמשקה שלו
וכל קרוביו הפכו לזהב
וכל קרוביו הפכו לזהב
04:18
and he died in misery and starvation.
82
246455
2281
והוא מת אומלל ומורעב.
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
נקרא לכך "בעית מלך מידאס".
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
מתן משימה אשר לא עולה
04:28
truly aligned with what we want.
85
256138
2413
בקנה אחד עם מה שאנו רוצים.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
במושגים מודרניים אנו קוראים לזה
"בעיית תאום ערכים".
"בעיית תאום ערכים".
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
מתן מטרה שגויה
אינה המרכיב היחיד של הבעיה.
אינה המרכיב היחיד של הבעיה.
04:40
There's another part.
88
268556
1152
יש מרכיב נוסף.
04:42
If you put an objective into a machine,
89
270160
1943
אם אתם מטמיעים משימה במכונה
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
אפילו משהו פשוט כמו
"תביאי לי קפה",
"תביאי לי קפה",
04:47
the machine says to itself,
91
275908
1841
המכונה אומרת לעצמה,
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
"מה עלול למנוע ממני
להביא את הקפה?
להביא את הקפה?
04:53
Someone might switch me off.
93
281380
1580
מישהו עלול לנתק אותי מהחשמל.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
לכן אני חייבת לנקוט בצעדים שימנעו זאת.
04:58
I will disable my 'off' switch.
95
286056
1906
אנטרל את מתג הכיבוי שלי.
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
אעשה הכל כדי להגן על עצמי
כנגד מה שימנע ממני
כנגד מה שימנע ממני
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
לבצע את המשימה שניתנה לי".
05:06
So this single-minded pursuit
98
294170
2012
לכן, חתירה חד-כיוונית למשימה
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
בתצורה הגנתית המבטיחה את
ביצוע המשימה, אשר
ביצוע המשימה, אשר
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
איננה תואמת משימות אמיתיות של האנושות --
05:16
that's the problem that we face.
101
304122
1862
זו הבעיה אתה אנו מתמודדים.
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
זו התובנה בעלת ערך
אותה אנו נקח מהרצאה זו.
אותה אנו נקח מהרצאה זו.
05:23
If you want to remember one thing,
103
311798
2055
אם תרצו לזכור דבר אחד --
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
-- לא ניתן להביא את הקפה אם אתה מת.
05:28
(Laughter)
105
316576
1061
(צחוק)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
זה פשוט מאוד. רק תזכרו את זה.
שננו זאת לעצמכם שלוש פעמים ביום.
שננו זאת לעצמכם שלוש פעמים ביום.
05:33
(Laughter)
107
321514
1821
(צחוק)
05:35
And in fact, this is exactly the plot
108
323359
2754
זוהי העלילה המדויקת של
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
"2001: אודיסאה בחלל"
05:41
HAL has an objective, a mission,
110
329226
2090
ל-HAL יש משימה,
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
אשר איננה מתואמת עם
משימות של בני האנוש,
משימות של בני האנוש,
05:47
and that leads to this conflict.
112
335096
1810
וזה מוביל לקונפליקט.
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
למרבה המזל HAL איננו בעל תבונת-על.
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
הוא די חכם,
אבל לבסוף דייב מצליח להערים עליו
אבל לבסוף דייב מצליח להערים עליו
05:56
and manages to switch him off.
115
344098
1849
ומצליח לכבות אותו.
אבל אנחנו עלולים לא
להיות ברי מזל באותה מידה.
להיות ברי מזל באותה מידה.
06:01
But we might not be so lucky.
116
349828
1619
06:08
So what are we going to do?
117
356193
1592
אז מה נעשה?
06:12
I'm trying to redefine AI
118
360371
2601
אני מנסה להגדיר את הב''מ במושגים אחרים
06:14
to get away from this classical notion
119
362996
2061
כדי להתנתק מן ההעקרון הקלאסי
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
לפיו מכונות שואפות
לבצע משימות בצורה תבונתית.
לבצע משימות בצורה תבונתית.
06:22
There are three principles involved.
121
370712
1798
ישנם שלושה עקרונות בבסיס העניין.
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
הראשון הוא, אם תרצו, עקרון האלטרויזם --
06:27
that the robot's only objective
123
375847
3262
-- המשימה היחידה של הרובוטים היא
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
מיקסום הגשמתן של המטרות של בני אנוש,
06:35
of human values.
125
383403
1390
של ערכי בני אנוש.
באומרי "ערכים" אינני מתכוון כאן
לערכים נשגבים של יפי נפש.
לערכים נשגבים של יפי נפש.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
אני פשוט מתכוון לכל מה שבני אנוש
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
מעדיפים בחייהם.
06:43
their life to be like.
128
391982
1343
06:47
And so this actually violates Asimov's law
129
395364
2309
זה למעשה נוגד לחוק אסימוב
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
לפיו רובוט חייב להגן
על קיומו.
על קיומו.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
אין לו עניין בשימור קיומו בכלל.
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
העקרון השני, אם תרצו,
הוא עקרון הענווה.
הוא עקרון הענווה.
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
מתברר שהוא חשוב מאוד
ליצירת רובוטים בטוחים.
ליצירת רובוטים בטוחים.
07:05
It says that the robot does not know
134
413741
3142
לפיו רובוט איננו יודע
07:08
what those human values are,
135
416907
2028
מהם ערכי בני האנוש.
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
הוא חייב לממש אותם על הצד הטוב ביותר,
אבל הוא לא יודע מה הם.
אבל הוא לא יודע מה הם.
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
זה עוקף את בעיית חתירה חד-כיוונית
07:17
of an objective.
138
425904
1212
למשימה.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
אי הוודאות הזאת הופכת לעניין מכריע.
07:21
Now, in order to be useful to us,
140
429726
1639
בכדי שרובוט יהיה מועיל לנו
07:23
it has to have some idea of what we want.
141
431389
2731
עליו לדעת מה אנו רוצים, ברמה כלשהי.
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
הוא מקבל מידע זה בעיקר
מצפיה בבחירות אנושיות,
מצפיה בבחירות אנושיות,
07:32
so our own choices reveal information
143
440674
2801
כך שהבחירות שלנו מלמדות מידע
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
על כיצד אנו מעדיפים שחיינו יהיו.
07:40
So those are the three principles.
145
448632
1683
אלה הם שלושת העקרונות.
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
הבה נראה כיצד הם מיושמים בבעיה של:
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
"האם אתה יכול לכבות את המכונה?"
כפי שהציע טיורינג.
כפי שהציע טיורינג.
07:49
So here's a PR2 robot.
148
457073
2120
הינה רובוט מדגם PR2 --
07:51
This is one that we have in our lab,
149
459217
1821
-- אחד מאלה שיש לנו במעבדה
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
ויש לו על הגב כפתור כיבוי גדול ואדום.
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
השאלה היא: האם הוא ירשה לך לכבות אותו?
07:59
If we do it the classical way,
152
467180
1465
אם נלך לפי המודל הקלאסי,
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
כך הוא יבצע את משימת "תביא את הקפה":
"אני חייב להביא את הקפה,
"אני חייב להביא את הקפה,
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
אני לא יכול להביא את הקפה אם אני מת",
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
והיות ו - PR2
כמובן הקשיב להרצאתי
כמובן הקשיב להרצאתי
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
הוא אומר איפוא,
"אני חייב לנטרל את מתג הכיבוי שלי
"אני חייב לנטרל את מתג הכיבוי שלי
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
ואולי גם לחשמל את כל האנשים
בסטארבקס
בסטארבקס
08:17
who might interfere with me."
158
485694
1560
אשר עלולים להפריע לי".
08:19
(Laughter)
159
487278
2062
(צחוק)
08:21
So this seems to be inevitable, right?
160
489364
2153
נראה בלתי נמנע, נכון?
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
אופן פעולה זה נראה בלתי נמנע
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
בגלל שהוא נובע ממתן משימה
מוגדרת וסופית.
מוגדרת וסופית.
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
אבל מה יקרה אם המכונה
לא בטוחה לגבי המשימה?
לא בטוחה לגבי המשימה?
08:33
Well, it reasons in a different way.
164
501980
2127
במקרה זה היא חושבת בצורה שונה.
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
היא אומרת. "טוב, בן אנוש
עלול לכבות אותי,
עלול לכבות אותי,
08:39
but only if I'm doing something wrong.
166
507144
1866
אבל זה רק אם אעשה משהו לא נכון.
08:41
Well, I don't really know what wrong is,
167
509747
2475
אינני יודעת מהו לא נכון,
08:44
but I know that I don't want to do it."
168
512246
2044
אבל אני יודעת שאינני רוצה לעשות אותו."
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
כך, יש לנו פה
העקרון הראשון והשני גם יחד.
העקרון הראשון והשני גם יחד.
08:49
"So I should let the human switch me off."
170
517348
3359
"לכן, אני צריכה
לאפשר לבני אנוש לכבות אותי".
לאפשר לבני אנוש לכבות אותי".
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
ניתן להטמיע את שיקול הרווח שיהיה לרובוט
08:57
to allow the human to switch it off,
172
525701
2493
כדי שיאפשר לנו לכבות אותו.
09:00
and it's directly tied to the degree
173
528218
1914
זה ישירות קשור ברמת
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
אי-הוודאות לגבי מהות המשימה.
09:05
And then when the machine is switched off,
175
533977
2949
וכאשר המכונה כבר מכובה,
09:08
that third principle comes into play.
176
536950
1805
העקרון השלישי נכנס למשחק.
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
המכונה לומדת משהו אודות המשימות
שעליה לבצע,
שעליה לבצע,
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
כי היא לומדת שמה שעשתה
היה לא נכון.
היה לא נכון.
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
באמצעות שימוש ראוי באותיות יווניות,
09:20
as mathematicians usually do,
180
548016
2131
כפי שנהוג אצל המתמטיקאים,
09:22
we can actually prove a theorem
181
550171
1984
ניתן להוכיח ההנחה
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
שאומרת שרובוט כזה
הינו בהחלט מועיל לאנושות.
הינו בהחלט מועיל לאנושות.
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
עדיף לכם שהמכונה תהיה כזאת
09:31
than without it.
184
559583
1246
ולא אחרת.
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
זוהי דוגמא מאוד פשוטה,
אבל זה הצעד הראשון
אבל זה הצעד הראשון
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
לקראת מה שאנו מנסים לעשות
עם ב''מ מותאמת אנושות.
עם ב''מ מותאמת אנושות.
09:42
Now, this third principle,
187
570657
3257
העקרון השלישי הוא זה
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
שלגביו אתם מהרהרים לדעתי.
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
אתם בוודאי חושבים,
"אני מתנהג לא כראוי.
"אני מתנהג לא כראוי.
09:52
I don't want my robot to behave like me.
190
580337
2929
ואינני רוצה שהרובוט שלי יתנהג כמוני.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
אני מתגנב באמצע הלילה
ולוקח דברים מן המקרר.
ולוקח דברים מן המקרר.
09:58
I do this and that."
192
586748
1168
אני עושה את זה ואת זה."
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
יש כל מיני דברים שלא תרצו
שהרובוט שלכם יעשה.
שהרובוט שלכם יעשה.
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
אבל, הדברים לא בדיוק עובדים ככה.
10:04
Just because you behave badly
195
592856
2155
רק בגלל שאתם מתנהגים לא כראוי
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
הרובוט שלכם לא בהכרח
יעתיק את התנהגותכם.
יעתיק את התנהגותכם.
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
הוא יבין את המניעים שלכם
ואולי יעזור לכם להתנגד להם,
ואולי יעזור לכם להתנגד להם,
10:13
if appropriate.
198
601616
1320
במידה וזה יהיה ראוי.
10:16
But it's still difficult.
199
604206
1464
אבל עדיין, העניין מסובך.
10:18
What we're trying to do, in fact,
200
606302
2545
מה שאנו מנסים לעשות,
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
זה לאפשר למכונות לחזות
בעבור כל אדם ועבור כל מסלולי החיים
בעבור כל אדם ועבור כל מסלולי החיים
10:26
that they could live,
202
614691
1161
שהוא עשוי לחיות,
10:27
and the lives of everybody else:
203
615876
1597
וכן חייהם של כל השאר:
10:29
Which would they prefer?
204
617497
2517
מה יעדיפו?
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
וישנם הרבה מאוד קשיים בדרך לביצוע,
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
אינני מצפה שהעניין ייפתר במהרה.
10:39
The real difficulties, in fact, are us.
207
627995
2643
הקשיים האמיתיים הם למעשה אנחנו.
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
כפי שכבר ציינתי, אנחנו מתנהגים לא כראוי.
10:47
In fact, some of us are downright nasty.
209
635290
2321
למעשה, חלק מאיתנו פשוט נוראים.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
כפי שאמרתי הרובוט לא חייב
להעתיק את התנהגותינו.
להעתיק את התנהגותינו.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
לרובוט אין כל משימה משלו.
10:56
It's purely altruistic.
212
644322
1737
הוא אלטרויסט טהור.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
והוא לא עוצב לשם מימוש רצונות
של אדם אחד בלבד,המשתמש,
של אדם אחד בלבד,המשתמש,
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
אלא לקחת בחשבון את העדפות של כולם.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
כך, הוא יכול להתמודד עם
רמה מסוימת של רוע,
רמה מסוימת של רוע,
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
והוא אפילו יכול להבין
את ההתנהגות הרעה שלך.
את ההתנהגות הרעה שלך.
11:15
you may take bribes as a passport official
217
663582
2671
למשל, אתה אולי
לוקח שוחד בתור פקיד דרכונים,
לוקח שוחד בתור פקיד דרכונים,
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
בגלל שאתה צריך להאכיל את משפחתך
ולשלוח את ילדיך לביה''ס.
ולשלוח את ילדיך לביה''ס.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
הוא יכול להבין זאת.
אין זה אומר שהוא בעצמו יגנוב.
אין זה אומר שהוא בעצמו יגנוב.
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
ההבנה שלו רק תעזור לך
לשלוח את הילדים לב''ס.
לשלוח את הילדים לב''ס.
11:28
We are also computationally limited.
221
676976
3012
אנחנו גם מוגבלים בתחום החישובים.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
לי סדול הוא שחקן גו מבריק,
11:34
but he still lost.
223
682541
1325
אבל הוא עדיין הפסיד.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
אז אם נתבונן בצעדיו,
הוא עשה צעד שהוביל להפסד.
הוא עשה צעד שהוביל להפסד.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
זה לא אומר שהוא רצה להפסיד.
11:43
So to understand his behavior,
226
691340
2040
לכן, על מנת להבין את התנהגותו,
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
עלינו לרדת לפרטי המודל הקוגניטיבי האנושי
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
שכולל את המגבלות החישוביות שלנו -
וזה מודל מסובך מאוד.
וזה מודל מסובך מאוד.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
אבל, זה עדיין משהו
שאנחנו יכולים לנסות להבין.
שאנחנו יכולים לנסות להבין.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
אולי החלק הקשה ביותר עבורי כחוקר ב''מ
12:02
is the fact that there are lots of us,
231
710220
2575
הוא העובדה שאנחנו רבים,
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
ולכן המכונה חייבת איכשהו
לנתב ולקחת בחשבון את העדפות
לנתב ולקחת בחשבון את העדפות
12:09
of many different people,
233
717899
2225
של המון אנשים שונים.
12:12
and there are different ways to do that.
234
720148
1906
וישנן דרכים שונות לעשות זאת.
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
כלכלנים, סוציולוגים,
פילוסופים חוקרי מוסר הבינו זאת
פילוסופים חוקרי מוסר הבינו זאת
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
ואנחנו מחפשים את שיתוף הפעולה באופן פעיל.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
בוא נראה מה קורה
כאשר לא מבינים את זה נכונה.
כאשר לא מבינים את זה נכונה.
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
נגיד שאתם מנהלים שיחה
12:25
with your intelligent personal assistant
239
733702
1944
עם העוזר האישי התבוני שלכם,
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
אשר יכול להיות זמין בעוד כמה שנים.
12:29
Think of a Siri on steroids.
241
737979
2524
תחשבו על סירי על סטרואידים.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
אז סירי אומרת, "אישתך התקשרה להזכיר
על ארוחת הערב".
על ארוחת הערב".
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
וכמובן אתם שכחתם. "מה? איזה ארוחה?
12:41
What are you talking about?"
244
749148
1425
על מה אתה מדבר?"
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
"אה, יום הנישואין ה-20 שלכם ב- 19:00"
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
"אני לא יכול.
יש לי פגישה עם המנכ''ל ב- 19:30.
יש לי פגישה עם המנכ''ל ב- 19:30.
12:52
How could this have happened?"
247
760658
1692
איך זה היה יכול לקרות?"
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
"הזכרתי לך, אבל אתה התעלמת מההמלצה שלי".
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
"טוב, אזה מה אני אעשה?
אני לא יכול פשוט לומר לו שאני עסוק."
אני לא יכול פשוט לומר לו שאני עסוק."
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
"אל תדאג. דאגתי שיהיה לו עיכוב בטיסה".
13:07
(Laughter)
251
775795
1682
(צחוק)
13:10
"Some kind of computer malfunction."
252
778249
2101
"סוג של תקלת מחשב".
13:12
(Laughter)
253
780374
1212
(צחוק)
13:13
"Really? You can do that?"
254
781610
1617
"באמת? אתה יכול לעשות את זה?"
13:16
"He sends his profound apologies
255
784400
2179
"הוא שולח את התנצלותו העמוקה
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
ומצפה לפגוש אותך מחר לארוחת הצהרים".
13:21
(Laughter)
257
789182
1299
(צחוק)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
אז מבחינת הערכים פה -- ישנו שיבוש קל.
13:26
This is clearly following my wife's values
259
794932
3009
זה בבירור תואם לערכיה של אישתי -
13:29
which is "Happy wife, happy life."
260
797965
2069
"אישה מאושרת- חיים מאושרים".
13:32
(Laughter)
261
800058
1583
(צחוק)
13:33
It could go the other way.
262
801665
1444
זה היה יכול ללכת
גם לכיוון אחר.
גם לכיוון אחר.
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
נניח שחזרתם הביתה
אחרי יום עבודה קשה
אחרי יום עבודה קשה
13:38
and the computer says, "Long day?"
264
806046
2195
והמחשב שואל "יום ארוך?"
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
"כן, אפילו לא היה לי זמן לאכול צהרים".
13:42
"You must be very hungry."
266
810577
1282
"אתה בטח מאוד רעב".
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
כן, גווע מרעב. תוכל לבשל ארוחת ערב?"
13:48
"There's something I need to tell you."
268
816070
2090
"יש משהו שאני חייב לספר לך"
13:50
(Laughter)
269
818184
1155
(צחוק)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
"יש בני אנוש בדרום סודן
שנזקקים הרבה יותר ממך."
שנזקקים הרבה יותר ממך."
13:57
(Laughter)
271
825122
1104
(צחוק)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
"אז אני עוזב. תכין לך אוכל בעצמך."
14:00
(Laughter)
273
828349
2000
(צחוק)
14:02
So we have to solve these problems,
274
830823
1739
אז עלינו לפתור את הבעיות הללו
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
ואני מאוד רוצה לעבוד על זה.
14:07
There are reasons for optimism.
276
835125
1843
יש סיבות לאופטימיות.
14:08
One reason is,
277
836992
1159
סיבה ראשונה היא
14:10
there is a massive amount of data.
278
838175
1868
שקיימת כמות אדירה של מידע.
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
זוכרים -- אמרתי שהם יקראו את כל
14:14
the human race has ever written.
280
842885
1546
מה שהאנושות כתבה אי פעם?
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
לרוב אנחנו כותבים אודות מעשי אנשים
14:19
and other people getting upset about it.
282
847203
1914
ואודות אנשים אחרים שמתוסכלים מכך.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
לכן, ישנו נפח ענק של מידע
שאפשר ללמוד ממנו.
שאפשר ללמוד ממנו.
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
ישנו גם מניע כלכלי חזק מאוד
14:27
to get this right.
285
855331
1186
לעשות זאת נכון.
14:28
So imagine your domestic robot's at home.
286
856541
2001
דמיינו את הרובוט הביתי שלכם.
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
שוב חזרתם מאוחר מהעבודה
והרובוט חייב להאכיל את ילדיכם
והרובוט חייב להאכיל את ילדיכם
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
הילדים רעבים ואין כלום במקרר.
14:36
And the robot sees the cat.
289
864504
2605
ואז הרובוט מבחין בחתול.
14:39
(Laughter)
290
867133
1692
(צחוק)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
הרובוט עדיין לא לגמרי למד
כיצד הערכים האנושיים עובדים,
כיצד הערכים האנושיים עובדים,
14:45
so it doesn't understand
292
873063
1251
לכן איננו מבין
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
שהערך הרגשי של החתול
רב על ערכו התזונתי.
רב על ערכו התזונתי.
14:51
(Laughter)
294
879206
1095
(צחוק)
14:52
So then what happens?
295
880325
1748
אז מה קורה אחרי זה?
14:54
Well, it happens like this:
296
882097
3297
מה שקורה זה ככה:
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
"הרובוט המטורף
מבשל את החתול לארוחת ערב משפחתית".
מבשל את החתול לארוחת ערב משפחתית".
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
ארוע אחד שכזה יהיה סופה
של תעשיית רובוטים ביתיים.
של תעשיית רובוטים ביתיים.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
לכן, ישנה סיבה ממש טובה לעשות הכל נכון.
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
הרבה לפני שנגיע לשלב מכונות עם תבונת-על.
15:12
So to summarize:
301
900128
1535
לסיכום:
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
אני מנסה לשנות את הגדרת ב''מ,
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
כך שנייצר מכונות שתהיינה בהחלט טובות לנו.
15:19
And the principles are:
304
907609
1222
והרי העקרונות:
15:20
machines that are altruistic,
305
908855
1398
מכונות שהן אלטרויסטיות,
15:22
that want to achieve only our objectives,
306
910277
2804
שרוצות לממש את המשימות שלנו בלבד,
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
אבל אינן בטוחות מה הן המשימות הללו
15:28
and will watch all of us
308
916245
1998
ושתתבוננה בכולנו
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
כדי ללמוד יותר
על מה שאנחנו רוצים באמת.
על מה שאנחנו רוצים באמת.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
נקווה שתוך כדי כך
נלמד להיות אנשים טובים יותר.
נלמד להיות אנשים טובים יותר.
15:37
Thank you very much.
311
925956
1191
תודה רבה.
15:39
(Applause)
312
927171
3709
(מחיאות כפיים)
כריס אנדרסון (כ.א.):
זה כל כך מעניין, סטוארט.
זה כל כך מעניין, סטוארט.
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
בוא רגע נעמוד פה
כי אני חושב שהמארגנים מתכוננים
כי אני חושב שהמארגנים מתכוננים
15:47
for our next speaker.
315
935990
1151
לדובר הבא.
15:49
A couple of questions.
316
937165
1538
מספר שאלות.
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
רעיון הטמעת בורות
מרגיש ממש עוצמתי.
מרגיש ממש עוצמתי.
15:56
As you get to superintelligence,
318
944204
1594
אבל, כאשר נגיע לשלב תבונת-על
15:57
what's going to stop a robot
319
945822
2258
מה ימנע מרובוט
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
לעיין בספרות ולגלות את הרעיון שידע
16:02
is actually better than ignorance
321
950980
1572
עדיף על בורות,
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
לשנות את מטרותיו ולשכתב את התוכנה בהתאם?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
ס.ר.: כן. אנחנו רוצים שילמד יותר,
כפי שאמרתי,
כפי שאמרתי,
16:16
about our objectives.
324
964072
1287
אודות מטרותינו.
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
זה יתבהר יותר
רק כשזה יהיה נכון יותר
רק כשזה יהיה נכון יותר
16:22
so the evidence is there
326
970928
1945
אז העובדות נמצאות בפניו
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
והרובוט יעוצב כך שיוכל לפרש אותן נכון.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
למשל, הוא יבין שספרים מוטים מאוד
16:31
in the evidence they contain.
329
979625
1483
בעובדות שהם מכילים.
16:33
They only talk about kings and princes
330
981132
2397
הם מדברים רק על המלכים והנסיכות
16:35
and elite white male people doing stuff.
331
983553
2800
ואליטות של גברים לבנים
שעושים כל מיני דברים.
שעושים כל מיני דברים.
16:38
So it's a complicated problem,
332
986377
2096
לכן, זוהי בעיה מורכבת.
16:40
but as it learns more about our objectives
333
988497
3872
אבל, ככל שהרובוט ילמד את מטרותינו
16:44
it will become more and more useful to us.
334
992393
2063
הוא יילך וייעשה מועיל יותר עבורנו.
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
כ.א.: אי אפשר לסכם את זה לכדי חוק אחד,
16:49
you know, hardwired in:
336
997030
1650
אתה יודע, משהו חצוב בסלע:
16:50
"if any human ever tries to switch me off,
337
998704
3293
" אם בן אנוש ינסה אי פעם לכבות אותי,
16:54
I comply. I comply."
338
1002021
1935
אני מציית. אני מציית."
16:55
SR: Absolutely not.
339
1003980
1182
ס.ר.: לגמרי לא.
16:57
That would be a terrible idea.
340
1005186
1499
זה יהיה רעיון נוראי.
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
דמיינו שיש לכם רכב אוטומטי
17:01
and you want to send your five-year-old
342
1009422
2433
ואתם רוצים לשלוח את ילדיכם בן החמש
17:03
off to preschool.
343
1011879
1174
לגן ילדים.
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
הייתם רוצים שהילד יוכל
לכבות את הרכב
לכבות את הרכב
17:08
while it's driving along?
345
1016202
1213
תוך כדי הנסיעה?
17:09
Probably not.
346
1017439
1159
כנראה שלא.
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
יוצא שהמכונית חייבת להחליט עד כמה
הנוסע נבון והגיוני.
הנוסע נבון והגיוני.
17:15
The more rational the person,
348
1023349
1676
ככל שהנוסע הגיוני יותר,
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
כך המכונית תהיה מוכנה יותר שיכבו אותה.
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
אם הנוסע פזיז וחסר הגיון לחלוטין
או אפילו זדוני,
או אפילו זדוני,
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
אז המכונית פחות תרצה שיכבו אותה.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
ק.א.: בסדר גמור. תרשה לי רק לומר
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
שאני ממש מקווה שתפתור את זה עבורינו.
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
תודה רבה על ההרצאה הזאת.
זה היה מדהים.
זה היה מדהים.
17:30
SR: Thank you.
355
1038906
1167
ס.ר: תודה.
17:32
(Applause)
356
1040097
1837
(מחיאות כפיים)
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com