ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

סטוארט ראסל: איך בינה מלאכותית עשויה להפוך אותנו לאנשים טובים יותר

Filmed:
1,465,832 views

כיצד נוכל לשלוט בעוצמת בינת-על המלאכותית תוך כדי מניעת אסון ההשתלטות של הרובוטים עלינו? אנו מתקרבים ליצור מכונות יודעות-כל וסטוארט ראסל, בהיותו חוקר בינה מלאכותית מתקדם, כבר עובד על משהו קצת שונה: רובוטים מבוססי אי-הוודאות. התרשמו מחזונו לגבי בינה מלאכותית מותאמת בני אנוש, אשר עשויה לבצע משימות תוך שימוש בשכל הישר, אלטרואיזם וערכים אנושיים אחרים.
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

00:12
This is Leeלי Sedolסדול.
0
712
1552
זהו לי סידול.
00:14
Leeלי Sedolסדול is one of the world'sשל העולם
greatestהגדול ביותר Go playersשחקנים,
1
2288
3997
הוא אחד מגדולי שחקני גו בעולם.
00:18
and he's havingשיש what my friendsחברים
in Siliconסִילִיקוֹן Valleyעֶמֶק call
2
6309
2885
כאן הוא חווה את הרגע
שחבריי מעמק הסיליקון מכנים
00:21
a "Holyקָדוֹשׁ Cowפָּרָה" momentרֶגַע --
3
9218
1510
"זה הזוי!" -
00:22
(Laughterצחוק)
4
10752
1073
(צחוק)
00:23
a momentרֶגַע where we realizeלִהַבִין
5
11849
2188
הרגע בו אנו מבינים
00:26
that AIAI is actuallyלמעשה progressingמתקדם
a lot fasterמהיר יותר than we expectedצָפוּי.
6
14061
3296
שהתפתחותה של הב''מ (בינה מלאכתית)
מתקדמת הרבה יותר מהר משציפינו.
00:30
So humansבני אנוש have lostאבד on the Go boardלוּחַ.
What about the realאמיתי worldעוֹלָם?
7
18154
3047
אז בני האנוש הפסידו במשחק גו.
אבל מה עם העולם האמיתי?
00:33
Well, the realאמיתי worldעוֹלָם is much biggerגדול יותר,
8
21225
2100
ובכן, העולם האמיתי הרבה יותר גדול,
00:35
much more complicatedמסובך than the Go boardלוּחַ.
9
23349
2249
הרבה יותר מורכב ממשחק גו.
00:37
It's a lot lessפָּחוּת visibleנִרְאֶה,
10
25622
1819
זה פחות נגלה לעין,
00:39
but it's still a decisionהַחְלָטָה problemבְּעָיָה.
11
27465
2038
אבל זו עדיין בעיית קבלת החלטות.
00:42
And if we think about some
of the technologiesטכנולוגיות
12
30948
2321
ואם חושבים על כמה טכנולוגיות
00:45
that are comingמגיע down the pikeכִּידוֹן ...
13
33293
1749
שמתממשות כנגד עיניינו...
00:47
Norikoנוריקו [Araiאראי] mentionedמוּזְכָּר that readingקריאה
is not yetעדיין happeningמתרחש in machinesמכונה,
14
35738
4335
נוריקו [אראי] הזכירה שמכונות
עדיין לא יודעות לקרוא,
00:52
at leastהכי פחות with understandingהֲבָנָה.
15
40097
1500
לפחות לקרוא ולהבין.
00:53
But that will happenלִקְרוֹת,
16
41621
1536
אבל, זה יקרה.
00:55
and when that happensקורה,
17
43181
1771
וכאשר זה כן יקרה,
00:56
very soonבקרוב afterwardsלאחר מכן,
18
44976
1187
עד מהרה
00:58
machinesמכונה will have readלקרוא everything
that the humanבן אנוש raceגזע has ever writtenכתוב.
19
46187
4572
הן תקראנה את כל מה שהאנושות
כתבה אי פעם.
01:03
And that will enableלְאַפשֵׁר machinesמכונה,
20
51850
2030
זה יקנה למכונות יכולת חדשה,
01:05
alongלְאוֹרֶך with the abilityיְכוֹלֶת to look
furtherנוסף aheadקָדִימָה than humansבני אנוש can,
21
53904
2920
לצד יכולת החיזוי מעבר
למה שבני האנוש מסוגלים לחזות,
01:08
as we'veיש לנו alreadyכְּבָר seenלראות in Go,
22
56848
1680
כפי שנוכחנו לדעת במשחק גו,
01:10
if they alsoגַם have accessגִישָׁה
to more informationמֵידָע,
23
58552
2164
אם תקבלנה גישה ליותר מידע,
01:12
they'llהם יהיו be ableיכול to make better decisionsהחלטות
in the realאמיתי worldעוֹלָם than we can.
24
60740
4268
הן תוכלנה לקבל החלטות טובות יותר
מאיתנו בעולם האמיתי.
01:18
So is that a good thing?
25
66792
1606
האם זה טוב לנו?
01:21
Well, I hopeלְקַווֹת so.
26
69898
2232
ובכן, אני מקווה שכן.
01:26
Our entireשלם civilizationתַרְבּוּת,
everything that we valueערך,
27
74694
3255
הציביליזציה שלנו על כל ערכיה,
01:29
is basedמבוסס on our intelligenceאינטליגנציה.
28
77973
2068
מבוססת על התבונה שלנו.
01:32
And if we had accessגִישָׁה
to a lot more intelligenceאינטליגנציה,
29
80065
3694
ולו היתה לנו גישה לתבונה רבה יותר,
01:35
then there's really no limitלְהַגבִּיל
to what the humanבן אנוש raceגזע can do.
30
83783
3302
אזי לא יהיה גבול למה
שהאנושות תוכל לעשות.
01:40
And I think this could be,
as some people have describedמְתוּאָר it,
31
88665
3325
ואני סבור כי זה היה יכול להיות,
כפי שאנשים מסוימים תיארו זאת,
01:44
the biggestהגדול ביותר eventמִקרֶה in humanבן אנוש historyהִיסטוֹרִיָה.
32
92014
2016
הארוע הגדול בתולדות האנושות.
01:48
So why are people sayingפִּתגָם things like this,
33
96665
2829
אז מדוע אנשים אומרים דברים כגון,
01:51
that AIAI mightאולי spellלַחַשׁ the endסוֹף
of the humanבן אנוש raceגזע?
34
99518
2876
ב''מ עלולה לגרום לסוף האנושות?
01:55
Is this a newחָדָשׁ thing?
35
103438
1659
האם זה חדש לנו?
01:57
Is it just Elonאילון Muskמוּשָׁק and Billשטר כסף Gatesשערים
and Stephenסטיבן Hawkingרוֹכְלוּת?
36
105121
4110
האם אלה רק אלון מאסק,
ביל גייטס וסטיבן הוקינג?
02:01
Actuallyבעצם, no. This ideaרַעְיוֹן
has been around for a while.
37
109953
3262
לא. רעיון זה כבר קיים זמן מה.
02:05
Here'sהנה a quotationציטוט:
38
113239
1962
הרי הציטוט:
02:07
"Even if we could keep the machinesמכונה
in a subservientמִתרַפֵּס positionעמדה,
39
115225
4350
"אפילו אם היינו מסוגלים לשלוט
במכונות כבמשרתים בלבד,
02:11
for instanceלמשל, by turningחֲרִיטָה off the powerכּוֹחַ
at strategicאסטרטגי momentsרגעים" --
40
119599
2984
למשל על ידי כיבוי אספקת חשמל
ברגעים קריטיים" --
02:14
and I'll come back to that
"turningחֲרִיטָה off the powerכּוֹחַ" ideaרַעְיוֹן laterיותר מאוחר on --
41
122607
3237
אחזור לנושא "כיבוי החשמל"
בהמשך --
02:17
"we should, as a speciesמִין,
feel greatlyמְאוֹד humbledנַעֲנֶה."
42
125868
2804
"אנחנו כמין צריכים להרגיש ענווה גדולה."
02:22
So who said this?
This is Alanאלן Turingטיורינג in 1951.
43
130177
3448
מי אמר זאת?
אלן טורינג ב-1951.
02:26
Alanאלן Turingטיורינג, as you know,
is the fatherאַבָּא of computerמַחשֵׁב scienceמַדָע
44
134300
2763
כידוע לכם, אלן טיורינג הוא אבי מדע המחשב
02:29
and in manyרב waysדרכים,
the fatherאַבָּא of AIAI as well.
45
137087
3048
ובמובנים רבים, גם אבי הב''מ.
02:33
So if we think about this problemבְּעָיָה,
46
141239
1882
אם חושבים על הבעייתיות שביצירת
02:35
the problemבְּעָיָה of creatingיוצר something
more intelligentאִינְטֶלִיגֶנְטִי than your ownשֶׁלוֹ speciesמִין,
47
143145
3787
משהו שחכם יותר ממינך שלך,
02:38
we mightאולי call this "the gorillaגוֹרִילָה problemבְּעָיָה,"
48
146956
2622
ניתן לכנות זאת "בעיית הגורילה",
02:42
because gorillas'gorillas ' ancestorsאבות did this
a fewמְעַטִים millionמִילִיוֹן yearsשנים agoלִפנֵי,
49
150345
3750
היות ואבות אבותיהן של הגורילות
עשו זאת לפני מיליוני שנה,
02:46
and now we can askלִשְׁאוֹל the gorillasגורילות:
50
154119
1745
וכיום נוכל לשאול את הגורילות:
02:48
Was this a good ideaרַעְיוֹן?
51
156752
1160
האם זה היה רעיון טוב?
02:49
So here they are havingשיש a meetingפְּגִישָׁה
to discussלָדוּן whetherהאם it was a good ideaרַעְיוֹן,
52
157936
3530
הינה הם עורכים דיון
על טיב הדבר
02:53
and after a little while,
they concludeלְהַסִיק, no,
53
161490
3346
ואחרי זמן מה הם קובעים שזה- לא!
02:56
this was a terribleנורא ideaרַעְיוֹן.
54
164860
1345
זה היה רעיון נוראי.
02:58
Our speciesמִין is in direנוֹרָא straitsמְצוּקָה.
55
166229
1782
מין הגורילות במצוקה קשה.
03:00
In factעוּבדָה, you can see the existentialקיומית
sadnessעֶצֶב in theirשֶׁלָהֶם eyesעיניים.
56
168538
4263
למעשה, אתם יכולים לראות
את העצב הקיומי בעיניהן.
03:04
(Laughterצחוק)
57
172825
1640
(צחוק)
03:06
So this queasyמַבְחִיל feelingמַרגִישׁ that makingהֲכָנָה
something smarterחכם יותר than your ownשֶׁלוֹ speciesמִין
58
174489
4840
לגבי ההרגשה המבחילה הזאת
שיצירת משהו שעולה עליך בחוכמתו
03:11
is maybe not a good ideaרַעְיוֹן --
59
179353
2365
איננו רעיון טוב --
03:14
what can we do about that?
60
182488
1491
מה עושים איתה?
03:16
Well, really nothing,
exceptמלבד stop doing AIAI,
61
184003
4767
האמת היא שכלום,
חוץ מעצירת פיתוח ב''מ.
03:20
and because of all
the benefitsיתרונות that I mentionedמוּזְכָּר
62
188794
2510
בגלל כל היתרונות שהזכרתי
03:23
and because I'm an AIAI researcherחוֹקֵר,
63
191328
1716
ובגלל שאני חוקר ב''מ,
03:25
I'm not havingשיש that.
64
193068
1791
אני לא מקבל את אפשרות העצירה.
03:27
I actuallyלמעשה want to be ableיכול
to keep doing AIAI.
65
195283
2468
אני כן מעוניין להמשיך בפיתוח ב''מ.
03:30
So we actuallyלמעשה need to nailמַסְמֵר down
the problemבְּעָיָה a bitbit more.
66
198615
2678
לכן, אנחנו חייבים להגדיר
את הבעיה טוב יותר.
03:33
What exactlyבְּדִיוּק is the problemבְּעָיָה?
67
201317
1371
מהי מהות הבעיה בדיוק?
03:34
Why is better AIAI possiblyיִתָכֵן a catastropheקטסטרופה?
68
202712
3246
למה ב''מ טובה יותר
עלולה להוות אסון?
03:39
So here'sהנה anotherאַחֵר quotationציטוט:
69
207398
1498
אז הינה לכם עוד ציטוט:
03:41
"We had better be quiteדַי sure
that the purposeמַטָרָה put into the machineמְכוֹנָה
70
209935
3335
"עדיף שנהיה בטוחים
שהיעוד שאנחנו מטמיעים במכונה
03:45
is the purposeמַטָרָה whichאיזה we really desireרצון עז."
71
213294
2298
זה אותו היעוד שאנחנו חפצים בו באמת ".
03:48
This was said by Norbertנורברט Wienerוינר in 1960,
72
216282
3498
זה נאמר על ידי נורברט וויינר ב-1960
03:51
shortlyבְּקָרוּב after he watchedצפה
one of the very earlyמוקדם learningלְמִידָה systemsמערכות
73
219804
4002
זמן קצר אחרי שצפה
באחת ממערכות הלמידה המוקדמות
03:55
learnלִלמוֹד to playלְשַׂחֵק checkersדַמקָה
better than its creatorבורא.
74
223830
2583
לומדת לשחק דמקה
טוב מיוצרה.
04:00
But this could equallyבאופן שווה have been said
75
228602
2683
אימרה זו היתה גם יכולה להיאמר
04:03
by Kingמלך Midasמידאס.
76
231309
1167
על ידי המלך מידאס.
04:05
Kingמלך Midasמידאס said, "I want everything
I touchלגעת to turnלפנות to goldזהב,"
77
233083
3134
המלך מידאס אמר, "אני רוצה שכל דבר
שאגע בו יהפוך לזהב".
04:08
and he got exactlyבְּדִיוּק what he askedשאל for.
78
236241
2473
והוא קיבל את מבוקשו בדיוק.
04:10
That was the purposeמַטָרָה
that he put into the machineמְכוֹנָה,
79
238738
2751
זה היעוד אותו הוא הטמיע במכונה,
04:13
so to speakלְדַבֵּר,
80
241513
1450
כביכול,
04:14
and then his foodמזון and his drinkלִשְׁתוֹת
and his relativesקרובי משפחה turnedפנה to goldזהב
81
242987
3444
וכל המזון והמשקה שלו
וכל קרוביו הפכו לזהב
04:18
and he diedמת in miseryאומללות and starvationרָעָב.
82
246455
2281
והוא מת אומלל ומורעב.
04:22
So we'llטוֹב call this
"the Kingמלך Midasמידאס problemבְּעָיָה"
83
250444
2341
נקרא לכך "בעית מלך מידאס".
04:24
of statingוציין an objectiveמַטָרָה
whichאיזה is not, in factעוּבדָה,
84
252809
3305
מתן משימה אשר לא עולה
04:28
trulyבֶּאֱמֶת alignedמיושר with what we want.
85
256138
2413
בקנה אחד עם מה שאנו רוצים.
04:30
In modernמוֹדֶרנִי termsמונחים, we call this
"the valueערך alignmentיישור problemבְּעָיָה."
86
258575
3253
במושגים מודרניים אנו קוראים לזה
"בעיית תאום ערכים".
04:37
Puttingלשים in the wrongלא בסדר objectiveמַטָרָה
is not the only partחֵלֶק of the problemבְּעָיָה.
87
265047
3485
מתן מטרה שגויה
אינה המרכיב היחיד של הבעיה.
04:40
There's anotherאַחֵר partחֵלֶק.
88
268556
1152
יש מרכיב נוסף.
04:42
If you put an objectiveמַטָרָה into a machineמְכוֹנָה,
89
270160
1943
אם אתם מטמיעים משימה במכונה
04:44
even something as simpleפָּשׁוּט as,
"Fetchלְהָבִיא the coffeeקָפֶה,"
90
272127
2448
אפילו משהו פשוט כמו
"תביאי לי קפה",
04:47
the machineמְכוֹנָה saysאומר to itselfעצמה,
91
275908
1841
המכונה אומרת לעצמה,
04:50
"Well, how mightאולי I failלְהִכָּשֵׁל
to fetchלְהָבִיא the coffeeקָפֶה?
92
278733
2623
"מה עלול למנוע ממני
להביא את הקפה?
04:53
Someoneמִישֶׁהוּ mightאולי switchהחלף me off.
93
281380
1580
מישהו עלול לנתק אותי מהחשמל.
04:55
OK, I have to take stepsצעדים to preventלִמְנוֹעַ that.
94
283645
2387
לכן אני חייבת לנקוט בצעדים שימנעו זאת.
04:58
I will disableלהשבית my 'off''כבוי' switchהחלף.
95
286056
1906
אנטרל את מתג הכיבוי שלי.
05:00
I will do anything to defendלְהַגֵן myselfעצמי
againstמול interferenceהַפרָעָה
96
288534
2959
אעשה הכל כדי להגן על עצמי
כנגד מה שימנע ממני
05:03
with this objectiveמַטָרָה
that I have been givenנָתוּן."
97
291517
2629
לבצע את המשימה שניתנה לי".
05:06
So this single-mindedחד-פעמי pursuitמִרדָף
98
294170
2012
לכן, חתירה חד-כיוונית למשימה
05:09
in a very defensiveהֲגַנָתִי modeמצב
of an objectiveמַטָרָה that is, in factעוּבדָה,
99
297213
2945
בתצורה הגנתית המבטיחה את
ביצוע המשימה, אשר
05:12
not alignedמיושר with the trueנָכוֹן objectivesמטרות
of the humanבן אנוש raceגזע --
100
300182
2814
איננה תואמת משימות אמיתיות של האנושות --
05:16
that's the problemבְּעָיָה that we faceפָּנִים.
101
304122
1862
זו הבעיה אתה אנו מתמודדים.
05:19
And in factעוּבדָה, that's the high-valueערך גבוה
takeawayלהסיר from this talk.
102
307007
4767
זו התובנה בעלת ערך
אותה אנו נקח מהרצאה זו.
05:23
If you want to rememberלִזכּוֹר one thing,
103
311798
2055
אם תרצו לזכור דבר אחד --
05:25
it's that you can't fetchלְהָבִיא
the coffeeקָפֶה if you're deadמֵת.
104
313877
2675
-- לא ניתן להביא את הקפה אם אתה מת.
05:28
(Laughterצחוק)
105
316576
1061
(צחוק)
05:29
It's very simpleפָּשׁוּט. Just rememberלִזכּוֹר that.
Repeatחזור it to yourselfעַצמְךָ threeשְׁלוֹשָׁה timesפִּי a day.
106
317661
3829
זה פשוט מאוד. רק תזכרו את זה.
שננו זאת לעצמכם שלוש פעמים ביום.
05:33
(Laughterצחוק)
107
321514
1821
(צחוק)
05:35
And in factעוּבדָה, this is exactlyבְּדִיוּק the plotעלילה
108
323359
2754
זוהי העלילה המדויקת של
05:38
of "2001: [A Spaceמֶרחָב Odysseyאודיסיאה]"
109
326137
2648
"2001: אודיסאה בחלל"
05:41
HALHAL has an objectiveמַטָרָה, a missionמשימה,
110
329226
2090
ל-HAL יש משימה,
05:43
whichאיזה is not alignedמיושר
with the objectivesמטרות of the humansבני אנוש,
111
331340
3732
אשר איננה מתואמת עם
משימות של בני האנוש,
05:47
and that leadsמוביל to this conflictסְתִירָה.
112
335096
1810
וזה מוביל לקונפליקט.
05:49
Now fortunatelyלְמַרְבֶּה הַמַזָל, HALHAL
is not superintelligentsuperintelligent.
113
337494
2969
למרבה המזל HAL איננו בעל תבונת-על.
05:52
He's prettyיפה smartלִכאוֹב,
but eventuallyבסופו של דבר Daveדייב outwitsיוצא him
114
340487
3587
הוא די חכם,
אבל לבסוף דייב מצליח להערים עליו
05:56
and managesמנהלת to switchהחלף him off.
115
344098
1849
ומצליח לכבות אותו.
אבל אנחנו עלולים לא
להיות ברי מזל באותה מידה.
06:01
But we mightאולי not be so luckyבַּר מַזָל.
116
349828
1619
06:08
So what are we going to do?
117
356193
1592
אז מה נעשה?
06:12
I'm tryingמנסה to redefineלהגדיר מחדש AIAI
118
360371
2601
אני מנסה להגדיר את הב''מ במושגים אחרים
06:14
to get away from this classicalקלַאסִי notionרעיון
119
362996
2061
כדי להתנתק מן ההעקרון הקלאסי
06:17
of machinesמכונה that intelligentlyאינטליג
pursueלרדוף objectivesמטרות.
120
365081
4567
לפיו מכונות שואפות
לבצע משימות בצורה תבונתית.
06:22
There are threeשְׁלוֹשָׁה principlesעקרונות involvedמְעוּרָב.
121
370712
1798
ישנם שלושה עקרונות בבסיס העניין.
06:24
The first one is a principleעִקָרוֹן
of altruismאלטרואיזם, if you like,
122
372534
3289
הראשון הוא, אם תרצו, עקרון האלטרויזם --
06:27
that the robot'sשל רובוט only objectiveמַטָרָה
123
375847
3262
-- המשימה היחידה של הרובוטים היא
06:31
is to maximizeלְהַגדִיל the realizationהִתמַמְשׁוּת
of humanבן אנוש objectivesמטרות,
124
379133
4246
מיקסום הגשמתן של המטרות של בני אנוש,
06:35
of humanבן אנוש valuesערכים.
125
383403
1390
של ערכי בני אנוש.
באומרי "ערכים" אינני מתכוון כאן
לערכים נשגבים של יפי נפש.
06:36
And by valuesערכים here I don't mean
touchy-feelyנוגע ללב, goody-goodyטוב valuesערכים.
126
384817
3330
אני פשוט מתכוון לכל מה שבני אנוש
06:40
I just mean whateverמה שתגיד it is
that the humanבן אנוש would preferלְהַעֲדִיף
127
388171
3787
מעדיפים בחייהם.
06:43
theirשֶׁלָהֶם life to be like.
128
391982
1343
06:47
And so this actuallyלמעשה violatesמפר Asimov'sשל אסימוב lawחוֹק
129
395364
2309
זה למעשה נוגד לחוק אסימוב
06:49
that the robotרוֹבּוֹט has to protectלְהַגֵן
its ownשֶׁלוֹ existenceקִיוּם.
130
397697
2329
לפיו רובוט חייב להגן
על קיומו.
06:52
It has no interestריבית in preservingמִשׁמֶרֶת
its existenceקִיוּם whatsoeverכָּלשֶׁהוּ.
131
400050
3723
אין לו עניין בשימור קיומו בכלל.
06:57
The secondשְׁנִיָה lawחוֹק is a lawחוֹק
of humilityעֲנָוָה, if you like.
132
405420
3768
העקרון השני, אם תרצו,
הוא עקרון הענווה.
07:01
And this turnsפונה out to be really
importantחָשׁוּב to make robotsרובוטים safeבטוח.
133
409974
3743
מתברר שהוא חשוב מאוד
ליצירת רובוטים בטוחים.
07:05
It saysאומר that the robotרוֹבּוֹט does not know
134
413741
3142
לפיו רובוט איננו יודע
07:08
what those humanבן אנוש valuesערכים are,
135
416907
2028
מהם ערכי בני האנוש.
07:10
so it has to maximizeלְהַגדִיל them,
but it doesn't know what they are.
136
418959
3178
הוא חייב לממש אותם על הצד הטוב ביותר,
אבל הוא לא יודע מה הם.
07:15
And that avoidsנמנע this problemבְּעָיָה
of single-mindedחד-פעמי pursuitמִרדָף
137
423254
2626
זה עוקף את בעיית חתירה חד-כיוונית
07:17
of an objectiveמַטָרָה.
138
425904
1212
למשימה.
07:19
This uncertaintyחוסר ודאות turnsפונה out to be crucialמַכרִיעַ.
139
427140
2172
אי הוודאות הזאת הופכת לעניין מכריע.
07:21
Now, in orderלהזמין to be usefulמוֹעִיל to us,
140
429726
1639
בכדי שרובוט יהיה מועיל לנו
07:23
it has to have some ideaרַעְיוֹן of what we want.
141
431389
2731
עליו לדעת מה אנו רוצים, ברמה כלשהי.
07:27
It obtainsמקבלת that informationמֵידָע primarilyבְּרֹאשׁ וּבְרִאשׁוֹנָה
by observationתַצְפִּית of humanבן אנוש choicesבחירות,
142
435223
5427
הוא מקבל מידע זה בעיקר
מצפיה בבחירות אנושיות,
07:32
so our ownשֶׁלוֹ choicesבחירות revealלְגַלוֹת informationמֵידָע
143
440674
2801
כך שהבחירות שלנו מלמדות מידע
07:35
about what it is that we preferלְהַעֲדִיף
our livesחיים to be like.
144
443499
3300
על כיצד אנו מעדיפים שחיינו יהיו.
07:40
So those are the threeשְׁלוֹשָׁה principlesעקרונות.
145
448632
1683
אלה הם שלושת העקרונות.
07:42
Let's see how that appliesחל
to this questionשְׁאֵלָה of:
146
450339
2318
הבה נראה כיצד הם מיושמים בבעיה של:
07:44
"Can you switchהחלף the machineמְכוֹנָה off?"
as Turingטיורינג suggestedמוּצָע.
147
452681
2789
"האם אתה יכול לכבות את המכונה?"
כפי שהציע טיורינג.
07:49
So here'sהנה a PRיחסי ציבור2 robotרוֹבּוֹט.
148
457073
2120
הינה רובוט מדגם PR2 --
07:51
This is one that we have in our labמַעבָּדָה,
149
459217
1821
-- אחד מאלה שיש לנו במעבדה
07:53
and it has a bigגָדוֹל redאָדוֹם "off" switchהחלף
right on the back.
150
461062
2903
ויש לו על הגב כפתור כיבוי גדול ואדום.
07:56
The questionשְׁאֵלָה is: Is it
going to let you switchהחלף it off?
151
464541
2615
השאלה היא: האם הוא ירשה לך לכבות אותו?
07:59
If we do it the classicalקלַאסִי way,
152
467180
1465
אם נלך לפי המודל הקלאסי,
08:00
we give it the objectiveמַטָרָה of, "Fetchלְהָבִיא
the coffeeקָפֶה, I mustצריך fetchלְהָבִיא the coffeeקָפֶה,
153
468669
3482
כך הוא יבצע את משימת "תביא את הקפה":
"אני חייב להביא את הקפה,
08:04
I can't fetchלְהָבִיא the coffeeקָפֶה if I'm deadמֵת,"
154
472175
2580
אני לא יכול להביא את הקפה אם אני מת",
08:06
so obviouslyמובן מאליו the PRיחסי ציבור2
has been listeningהַקשָׁבָה to my talk,
155
474779
3341
והיות ו - PR2
כמובן הקשיב להרצאתי
08:10
and so it saysאומר, thereforeלכן,
"I mustצריך disableלהשבית my 'off''כבוי' switchהחלף,
156
478144
3753
הוא אומר איפוא,
"אני חייב לנטרל את מתג הכיבוי שלי
08:14
and probablyכנראה tasertaser all the other
people in Starbucksסטארבקס
157
482976
2694
ואולי גם לחשמל את כל האנשים
בסטארבקס
08:17
who mightאולי interfereלְהַפְרִיעַ with me."
158
485694
1560
אשר עלולים להפריע לי".
08:19
(Laughterצחוק)
159
487278
2062
(צחוק)
08:21
So this seemsנראה to be inevitableבִּלתִי נִמנַע, right?
160
489364
2153
נראה בלתי נמנע, נכון?
08:23
This kindסוג of failureכישלון modeמצב
seemsנראה to be inevitableבִּלתִי נִמנַע,
161
491541
2398
אופן פעולה זה נראה בלתי נמנע
08:25
and it followsהבא from havingשיש
a concreteבטון, definiteמוּגדָר objectiveמַטָרָה.
162
493963
3543
בגלל שהוא נובע ממתן משימה
מוגדרת וסופית.
08:30
So what happensקורה if the machineמְכוֹנָה
is uncertainלֹא בָּטוּחַ about the objectiveמַטָרָה?
163
498812
3144
אבל מה יקרה אם המכונה
לא בטוחה לגבי המשימה?
08:33
Well, it reasonsסיבות in a differentשונה way.
164
501980
2127
במקרה זה היא חושבת בצורה שונה.
08:36
It saysאומר, "OK, the humanבן אנוש
mightאולי switchהחלף me off,
165
504131
2424
היא אומרת. "טוב, בן אנוש
עלול לכבות אותי,
08:39
but only if I'm doing something wrongלא בסדר.
166
507144
1866
אבל זה רק אם אעשה משהו לא נכון.
08:41
Well, I don't really know what wrongלא בסדר is,
167
509747
2475
אינני יודעת מהו לא נכון,
08:44
but I know that I don't want to do it."
168
512246
2044
אבל אני יודעת שאינני רוצה לעשות אותו."
08:46
So that's the first and secondשְׁנִיָה
principlesעקרונות right there.
169
514314
3010
כך, יש לנו פה
העקרון הראשון והשני גם יחד.
08:49
"So I should let the humanבן אנוש switchהחלף me off."
170
517348
3359
"לכן, אני צריכה
לאפשר לבני אנוש לכבות אותי".
08:53
And in factעוּבדָה you can calculateלחשב
the incentiveתַמרִיץ that the robotרוֹבּוֹט has
171
521721
3956
ניתן להטמיע את שיקול הרווח שיהיה לרובוט
08:57
to allowלהתיר the humanבן אנוש to switchהחלף it off,
172
525701
2493
כדי שיאפשר לנו לכבות אותו.
09:00
and it's directlyבאופן ישיר tiedקָשׁוּר to the degreeתוֹאַר
173
528218
1914
זה ישירות קשור ברמת
09:02
of uncertaintyחוסר ודאות about
the underlyingבְּסִיסִי objectiveמַטָרָה.
174
530156
2746
אי-הוודאות לגבי מהות המשימה.
09:05
And then when the machineמְכוֹנָה is switchedעבר off,
175
533977
2949
וכאשר המכונה כבר מכובה,
09:08
that thirdשְׁלִישִׁי principleעִקָרוֹן comesבא into playלְשַׂחֵק.
176
536950
1805
העקרון השלישי נכנס למשחק.
09:10
It learnsלומד something about the objectivesמטרות
it should be pursuingרודף,
177
538779
3062
המכונה לומדת משהו אודות המשימות
שעליה לבצע,
09:13
because it learnsלומד that
what it did wasn'tלא היה right.
178
541865
2533
כי היא לומדת שמה שעשתה
היה לא נכון.
09:16
In factעוּבדָה, we can, with suitableמַתְאִים use
of Greekיווני symbolsסמלים,
179
544422
3570
באמצעות שימוש ראוי באותיות יווניות,
09:20
as mathematiciansמתמטיקאים usuallyבְּדֶרֶך כְּלַל do,
180
548016
2131
כפי שנהוג אצל המתמטיקאים,
09:22
we can actuallyלמעשה proveלְהוֹכִיחַ a theoremמִשׁפָּט
181
550171
1984
ניתן להוכיח ההנחה
09:24
that saysאומר that suchכגון a robotרוֹבּוֹט
is provablyprovably beneficialמוֹעִיל to the humanבן אנוש.
182
552179
3553
שאומרת שרובוט כזה
הינו בהחלט מועיל לאנושות.
09:27
You are provablyprovably better off
with a machineמְכוֹנָה that's designedמְעוּצָב in this way
183
555756
3803
עדיף לכם שהמכונה תהיה כזאת
09:31
than withoutלְלֹא it.
184
559583
1246
ולא אחרת.
09:33
So this is a very simpleפָּשׁוּט exampleדוגמא,
but this is the first stepשלב
185
561237
2906
זוהי דוגמא מאוד פשוטה,
אבל זה הצעד הראשון
09:36
in what we're tryingמנסה to do
with human-compatibleאנושי תואם AIAI.
186
564167
3903
לקראת מה שאנו מנסים לעשות
עם ב''מ מותאמת אנושות.
09:42
Now, this thirdשְׁלִישִׁי principleעִקָרוֹן,
187
570657
3257
העקרון השלישי הוא זה
09:45
I think is the one that you're probablyכנראה
scratchingמגרד your headרֹאשׁ over.
188
573938
3112
שלגביו אתם מהרהרים לדעתי.
09:49
You're probablyכנראה thinkingחושב, "Well,
you know, I behaveלְהִתְנַהֵג badlyרע.
189
577074
3239
אתם בוודאי חושבים,
"אני מתנהג לא כראוי.
09:52
I don't want my robotרוֹבּוֹט to behaveלְהִתְנַהֵג like me.
190
580337
2929
ואינני רוצה שהרובוט שלי יתנהג כמוני.
09:55
I sneakלְהִתְגַנֵב down in the middleאֶמצַע of the night
and take stuffדברים from the fridgeמְקָרֵר.
191
583290
3434
אני מתגנב באמצע הלילה
ולוקח דברים מן המקרר.
09:58
I do this and that."
192
586748
1168
אני עושה את זה ואת זה."
09:59
There's all kindsמיני of things
you don't want the robotרוֹבּוֹט doing.
193
587940
2797
יש כל מיני דברים שלא תרצו
שהרובוט שלכם יעשה.
10:02
But in factעוּבדָה, it doesn't
quiteדַי work that way.
194
590761
2071
אבל, הדברים לא בדיוק עובדים ככה.
10:04
Just because you behaveלְהִתְנַהֵג badlyרע
195
592856
2155
רק בגלל שאתם מתנהגים לא כראוי
10:07
doesn't mean the robotרוֹבּוֹט
is going to copyעותק your behaviorהִתְנַהֲגוּת.
196
595035
2623
הרובוט שלכם לא בהכרח
יעתיק את התנהגותכם.
10:09
It's going to understandמבין your motivationsמוטיבציה
and maybe help you resistלְהִתְנַגֵד them,
197
597682
3910
הוא יבין את המניעים שלכם
ואולי יעזור לכם להתנגד להם,
10:13
if appropriateמתאים.
198
601616
1320
במידה וזה יהיה ראוי.
10:16
But it's still difficultקָשֶׁה.
199
604206
1464
אבל עדיין, העניין מסובך.
10:18
What we're tryingמנסה to do, in factעוּבדָה,
200
606302
2545
מה שאנו מנסים לעשות,
10:20
is to allowלהתיר machinesמכונה to predictלַחֲזוֹת
for any personאדם and for any possibleאפשרי life
201
608871
5796
זה לאפשר למכונות לחזות
בעבור כל אדם ועבור כל מסלולי החיים
10:26
that they could liveלחיות,
202
614691
1161
שהוא עשוי לחיות,
10:27
and the livesחיים of everybodyכולם elseאַחֵר:
203
615876
1597
וכן חייהם של כל השאר:
10:29
Whichאיזה would they preferלְהַעֲדִיף?
204
617497
2517
מה יעדיפו?
10:34
And there are manyרב, manyרב
difficultiesקשיים involvedמְעוּרָב in doing this;
205
622061
2954
וישנם הרבה מאוד קשיים בדרך לביצוע,
10:37
I don't expectלְצַפּוֹת that this
is going to get solvedנפתרה very quicklyבִּמְהִירוּת.
206
625039
2932
אינני מצפה שהעניין ייפתר במהרה.
10:39
The realאמיתי difficultiesקשיים, in factעוּבדָה, are us.
207
627995
2643
הקשיים האמיתיים הם למעשה אנחנו.
10:44
As I have alreadyכְּבָר mentionedמוּזְכָּר,
we behaveלְהִתְנַהֵג badlyרע.
208
632149
3117
כפי שכבר ציינתי, אנחנו מתנהגים לא כראוי.
10:47
In factעוּבדָה, some of us are downrightלְגַמרֵי nastyמַגְעִיל.
209
635290
2321
למעשה, חלק מאיתנו פשוט נוראים.
10:50
Now the robotרוֹבּוֹט, as I said,
doesn't have to copyעותק the behaviorהִתְנַהֲגוּת.
210
638431
3052
כפי שאמרתי הרובוט לא חייב
להעתיק את התנהגותינו.
10:53
The robotרוֹבּוֹט does not have
any objectiveמַטָרָה of its ownשֶׁלוֹ.
211
641507
2791
לרובוט אין כל משימה משלו.
10:56
It's purelyאַך וְרַק altruisticשֶׁל אַהֲבַת הַזוּלַת.
212
644322
1737
הוא אלטרויסט טהור.
10:59
And it's not designedמְעוּצָב just to satisfyלְסַפֵּק
the desiresהרצונות of one personאדם, the userמִשׁתַמֵשׁ,
213
647293
5221
והוא לא עוצב לשם מימוש רצונות
של אדם אחד בלבד,המשתמש,
11:04
but in factעוּבדָה it has to respectכבוד
the preferencesהעדפות of everybodyכולם.
214
652538
3138
אלא לקחת בחשבון את העדפות של כולם.
11:09
So it can dealעִסקָה with a certainמסוים
amountכמות of nastinessנִבזוּת,
215
657263
2570
כך, הוא יכול להתמודד עם
רמה מסוימת של רוע,
11:11
and it can even understandמבין
that your nastinessנִבזוּת, for exampleדוגמא,
216
659857
3701
והוא אפילו יכול להבין
את ההתנהגות הרעה שלך.
11:15
you mayמאי take bribesשוחד as a passportדַרכּוֹן officialרשמי
217
663582
2671
למשל, אתה אולי
לוקח שוחד בתור פקיד דרכונים,
11:18
because you need to feedהזנה your familyמִשׁפָּחָה
and sendלִשְׁלוֹחַ your kidsילדים to schoolבית ספר.
218
666277
3812
בגלל שאתה צריך להאכיל את משפחתך
ולשלוח את ילדיך לביה''ס.
11:22
It can understandמבין that;
it doesn't mean it's going to stealלִגנוֹב.
219
670113
2906
הוא יכול להבין זאת.
אין זה אומר שהוא בעצמו יגנוב.
11:25
In factעוּבדָה, it'llזה יהיה just help you
sendלִשְׁלוֹחַ your kidsילדים to schoolבית ספר.
220
673043
2679
ההבנה שלו רק תעזור לך
לשלוח את הילדים לב''ס.
11:28
We are alsoגַם computationallyחישובית limitedמוגבל.
221
676976
3012
אנחנו גם מוגבלים בתחום החישובים.
11:32
Leeלי Sedolסדול is a brilliantמַברִיק Go playerשחקן,
222
680012
2505
לי סדול הוא שחקן גו מבריק,
11:34
but he still lostאבד.
223
682541
1325
אבל הוא עדיין הפסיד.
11:35
So if we look at his actionsפעולות,
he tookלקח an actionפעולה that lostאבד the gameמִשְׂחָק.
224
683890
4239
אז אם נתבונן בצעדיו,
הוא עשה צעד שהוביל להפסד.
11:40
That doesn't mean he wanted to loseלאבד.
225
688153
2161
זה לא אומר שהוא רצה להפסיד.
11:43
So to understandמבין his behaviorהִתְנַהֲגוּת,
226
691340
2040
לכן, על מנת להבין את התנהגותו,
11:45
we actuallyלמעשה have to invertלַהֲפוֹך
throughדרך a modelדֶגֶם of humanבן אנוש cognitionקוגניציה
227
693404
3644
עלינו לרדת לפרטי המודל הקוגניטיבי האנושי
11:49
that includesכולל our computationalחישובית
limitationsמגבלות -- a very complicatedמסובך modelדֶגֶם.
228
697072
4977
שכולל את המגבלות החישוביות שלנו -
וזה מודל מסובך מאוד.
11:54
But it's still something
that we can work on understandingהֲבָנָה.
229
702073
2993
אבל, זה עדיין משהו
שאנחנו יכולים לנסות להבין.
11:57
Probablyכנראה the mostרוב difficultקָשֶׁה partחֵלֶק,
from my pointנְקוּדָה of viewנוף as an AIAI researcherחוֹקֵר,
230
705876
4320
אולי החלק הקשה ביותר עבורי כחוקר ב''מ
12:02
is the factעוּבדָה that there are lots of us,
231
710220
2575
הוא העובדה שאנחנו רבים,
12:06
and so the machineמְכוֹנָה has to somehowאיכשהו
tradeסַחַר off, weighלשקול up the preferencesהעדפות
232
714294
3581
ולכן המכונה חייבת איכשהו
לנתב ולקחת בחשבון את העדפות
12:09
of manyרב differentשונה people,
233
717899
2225
של המון אנשים שונים.
12:12
and there are differentשונה waysדרכים to do that.
234
720148
1906
וישנן דרכים שונות לעשות זאת.
12:14
Economistsכלכלנים, sociologistsסוציולוגים,
moralמוסר השכל philosophersפילוסופים have understoodהבין that,
235
722078
3689
כלכלנים, סוציולוגים,
פילוסופים חוקרי מוסר הבינו זאת
12:17
and we are activelyבאופן פעיל
looking for collaborationשיתוף פעולה.
236
725791
2455
ואנחנו מחפשים את שיתוף הפעולה באופן פעיל.
12:20
Let's have a look and see what happensקורה
when you get that wrongלא בסדר.
237
728270
3251
בוא נראה מה קורה
כאשר לא מבינים את זה נכונה.
12:23
So you can have
a conversationשִׂיחָה, for exampleדוגמא,
238
731545
2133
נגיד שאתם מנהלים שיחה
12:25
with your intelligentאִינְטֶלִיגֶנְטִי personalאישי assistantעוֹזֵר
239
733702
1944
עם העוזר האישי התבוני שלכם,
12:27
that mightאולי be availableזמין
in a fewמְעַטִים years'שנים ' time.
240
735670
2285
אשר יכול להיות זמין בעוד כמה שנים.
12:29
Think of a Siriסירי on steroidsסטֵרֵאוֹדִים.
241
737979
2524
תחשבו על סירי על סטרואידים.
12:33
So Siriסירי saysאומר, "Your wifeאישה calledשקוראים לו
to remindלְהַזכִּיר you about dinnerאֲרוּחַת עֶרֶב tonightהיום בלילה."
242
741627
4322
אז סירי אומרת, "אישתך התקשרה להזכיר
על ארוחת הערב".
12:38
And of courseקוּרס, you've forgottenשָׁכוּחַ.
"What? What dinnerאֲרוּחַת עֶרֶב?
243
746616
2508
וכמובן אתם שכחתם. "מה? איזה ארוחה?
12:41
What are you talkingשִׂיחָה about?"
244
749148
1425
על מה אתה מדבר?"
12:42
"Uh, your 20thה anniversaryיוֹם הַשָׁנָה at 7pmאחר הצהריים."
245
750597
3746
"אה, יום הנישואין ה-20 שלכם ב- 19:00"
12:48
"I can't do that. I'm meetingפְּגִישָׁה
with the secretary-generalמזכ"ל at 7:30.
246
756915
3719
"אני לא יכול.
יש לי פגישה עם המנכ''ל ב- 19:30.
12:52
How could this have happenedקרה?"
247
760658
1692
איך זה היה יכול לקרות?"
12:54
"Well, I did warnלְהַזהִיר you, but you overrodeoverrode
my recommendationהמלצה."
248
762374
4660
"הזכרתי לך, אבל אתה התעלמת מההמלצה שלי".
13:00
"Well, what am I going to do?
I can't just tell him I'm too busyעסוק."
249
768146
3328
"טוב, אזה מה אני אעשה?
אני לא יכול פשוט לומר לו שאני עסוק."
13:04
"Don't worryדאגה. I arrangedמְסוּדָר
for his planeמָטוֹס to be delayedמוּשׁהֶה."
250
772490
3281
"אל תדאג. דאגתי שיהיה לו עיכוב בטיסה".
13:07
(Laughterצחוק)
251
775795
1682
(צחוק)
13:10
"Some kindסוג of computerמַחשֵׁב malfunctionתקלה."
252
778249
2101
"סוג של תקלת מחשב".
13:12
(Laughterצחוק)
253
780374
1212
(צחוק)
13:13
"Really? You can do that?"
254
781610
1617
"באמת? אתה יכול לעשות את זה?"
13:16
"He sendsשולח his profoundעָמוֹק apologiesהתנצלויות
255
784400
2179
"הוא שולח את התנצלותו העמוקה
13:18
and looksנראה forwardקָדִימָה to meetingפְּגִישָׁה you
for lunchארוחת צהריים tomorrowמָחָר."
256
786603
2555
ומצפה לפגוש אותך מחר לארוחת הצהרים".
13:21
(Laughterצחוק)
257
789182
1299
(צחוק)
13:22
So the valuesערכים here --
there's a slightקָלוּשׁ mistakeטעות going on.
258
790505
4403
אז מבחינת הערכים פה -- ישנו שיבוש קל.
13:26
This is clearlyבְּבִירוּר followingהבא my wife'sשל אשתו valuesערכים
259
794932
3009
זה בבירור תואם לערכיה של אישתי -
13:29
whichאיזה is "Happyשַׂמֵחַ wifeאישה, happyשַׂמֵחַ life."
260
797965
2069
"אישה מאושרת- חיים מאושרים".
13:32
(Laughterצחוק)
261
800058
1583
(צחוק)
13:33
It could go the other way.
262
801665
1444
זה היה יכול ללכת
גם לכיוון אחר.
13:35
You could come home
after a hardקָשֶׁה day'sיום work,
263
803821
2201
נניח שחזרתם הביתה
אחרי יום עבודה קשה
13:38
and the computerמַחשֵׁב saysאומר, "Long day?"
264
806046
2195
והמחשב שואל "יום ארוך?"
13:40
"Yes, I didn't even have time for lunchארוחת צהריים."
265
808265
2288
"כן, אפילו לא היה לי זמן לאכול צהרים".
13:42
"You mustצריך be very hungryרָעֵב."
266
810577
1282
"אתה בטח מאוד רעב".
13:43
"Starvingרעב, yeah.
Could you make some dinnerאֲרוּחַת עֶרֶב?"
267
811883
2646
כן, גווע מרעב. תוכל לבשל ארוחת ערב?"
13:48
"There's something I need to tell you."
268
816070
2090
"יש משהו שאני חייב לספר לך"
13:50
(Laughterצחוק)
269
818184
1155
(צחוק)
13:52
"There are humansבני אנוש in Southדָרוֹם Sudanסודאן
who are in more urgentדחוף need than you."
270
820193
4905
"יש בני אנוש בדרום סודן
שנזקקים הרבה יותר ממך."
13:57
(Laughterצחוק)
271
825122
1104
(צחוק)
13:58
"So I'm leavingעֲזִיבָה. Make your ownשֶׁלוֹ dinnerאֲרוּחַת עֶרֶב."
272
826250
2075
"אז אני עוזב. תכין לך אוכל בעצמך."
14:00
(Laughterצחוק)
273
828349
2000
(צחוק)
14:02
So we have to solveלִפְתוֹר these problemsבעיות,
274
830823
1739
אז עלינו לפתור את הבעיות הללו
14:04
and I'm looking forwardקָדִימָה
to workingעובד on them.
275
832586
2515
ואני מאוד רוצה לעבוד על זה.
14:07
There are reasonsסיבות for optimismאוֹפּטִימִיוּת.
276
835125
1843
יש סיבות לאופטימיות.
14:08
One reasonסיבה is,
277
836992
1159
סיבה ראשונה היא
14:10
there is a massiveמַסִיבִי amountכמות of dataנתונים.
278
838175
1868
שקיימת כמות אדירה של מידע.
14:12
Because rememberלִזכּוֹר -- I said
they're going to readלקרוא everything
279
840067
2794
זוכרים -- אמרתי שהם יקראו את כל
14:14
the humanבן אנוש raceגזע has ever writtenכתוב.
280
842885
1546
מה שהאנושות כתבה אי פעם?
14:16
Mostרוב of what we writeלִכתוֹב about
is humanבן אנוש beingsישויות doing things
281
844455
2724
לרוב אנחנו כותבים אודות מעשי אנשים
14:19
and other people gettingמקבל upsetלהרגיז about it.
282
847203
1914
ואודות אנשים אחרים שמתוסכלים מכך.
14:21
So there's a massiveמַסִיבִי amountכמות
of dataנתונים to learnלִלמוֹד from.
283
849141
2398
לכן, ישנו נפח ענק של מידע
שאפשר ללמוד ממנו.
14:23
There's alsoגַם a very
strongחָזָק economicכַּלְכָּלִי incentiveתַמרִיץ
284
851563
2236
ישנו גם מניע כלכלי חזק מאוד
14:27
to get this right.
285
855331
1186
לעשות זאת נכון.
14:28
So imagineלדמיין your domesticבֵּיתִי robot'sשל רובוט at home.
286
856541
2001
דמיינו את הרובוט הביתי שלכם.
14:30
You're lateמאוחר from work again
and the robotרוֹבּוֹט has to feedהזנה the kidsילדים,
287
858566
3067
שוב חזרתם מאוחר מהעבודה
והרובוט חייב להאכיל את ילדיכם
14:33
and the kidsילדים are hungryרָעֵב
and there's nothing in the fridgeמְקָרֵר.
288
861657
2823
הילדים רעבים ואין כלום במקרר.
14:36
And the robotרוֹבּוֹט seesרואה the catחתול.
289
864504
2605
ואז הרובוט מבחין בחתול.
14:39
(Laughterצחוק)
290
867133
1692
(צחוק)
14:40
And the robotרוֹבּוֹט hasn'tלא quiteדַי learnedמְלוּמָד
the humanבן אנוש valueערך functionפוּנקצִיָה properlyכמו שצריך,
291
868849
4190
הרובוט עדיין לא לגמרי למד
כיצד הערכים האנושיים עובדים,
14:45
so it doesn't understandמבין
292
873063
1251
לכן איננו מבין
14:46
the sentimentalסֵנטִימֵנטָלִי valueערך of the catחתול outweighsעולה
the nutritionalתזונתיים valueערך of the catחתול.
293
874338
4844
שהערך הרגשי של החתול
רב על ערכו התזונתי.
14:51
(Laughterצחוק)
294
879206
1095
(צחוק)
14:52
So then what happensקורה?
295
880325
1748
אז מה קורה אחרי זה?
14:54
Well, it happensקורה like this:
296
882097
3297
מה שקורה זה ככה:
14:57
"Derangedמותק robotרוֹבּוֹט cooksטבחים kittyחתלתול
for familyמִשׁפָּחָה dinnerאֲרוּחַת עֶרֶב."
297
885418
2964
"הרובוט המטורף
מבשל את החתול לארוחת ערב משפחתית".
15:00
That one incidentתַקרִית would be the endסוֹף
of the domesticבֵּיתִי robotרוֹבּוֹט industryתַעֲשִׂיָה.
298
888406
4523
ארוע אחד שכזה יהיה סופה
של תעשיית רובוטים ביתיים.
15:04
So there's a hugeעָצוּם incentiveתַמרִיץ
to get this right
299
892953
3372
לכן, ישנה סיבה ממש טובה לעשות הכל נכון.
15:08
long before we reachלְהַגִיעַ
superintelligentsuperintelligent machinesמכונה.
300
896349
2715
הרבה לפני שנגיע לשלב מכונות עם תבונת-על.
15:12
So to summarizeלְסַכֵּם:
301
900128
1535
לסיכום:
15:13
I'm actuallyלמעשה tryingמנסה to changeשינוי
the definitionהַגדָרָה of AIAI
302
901687
2881
אני מנסה לשנות את הגדרת ב''מ,
15:16
so that we have provablyprovably
beneficialמוֹעִיל machinesמכונה.
303
904592
2993
כך שנייצר מכונות שתהיינה בהחלט טובות לנו.
15:19
And the principlesעקרונות are:
304
907609
1222
והרי העקרונות:
15:20
machinesמכונה that are altruisticשֶׁל אַהֲבַת הַזוּלַת,
305
908855
1398
מכונות שהן אלטרויסטיות,
15:22
that want to achieveלְהַשִׂיג only our objectivesמטרות,
306
910277
2804
שרוצות לממש את המשימות שלנו בלבד,
15:25
but that are uncertainלֹא בָּטוּחַ
about what those objectivesמטרות are,
307
913105
3116
אבל אינן בטוחות מה הן המשימות הללו
15:28
and will watch all of us
308
916245
1998
ושתתבוננה בכולנו
15:30
to learnלִלמוֹד more about what it is
that we really want.
309
918267
3203
כדי ללמוד יותר
על מה שאנחנו רוצים באמת.
15:34
And hopefullyבתקווה in the processתהליך,
we will learnלִלמוֹד to be better people.
310
922373
3559
נקווה שתוך כדי כך
נלמד להיות אנשים טובים יותר.
15:37
Thank you very much.
311
925956
1191
תודה רבה.
15:39
(Applauseתְשׁוּאוֹת)
312
927171
3709
(מחיאות כפיים)
כריס אנדרסון (כ.א.):
זה כל כך מעניין, סטוארט.
15:42
Chrisכריס Andersonאנדרסון: So interestingמעניין, Stuartסטיוארט.
313
930904
1868
15:44
We're going to standלַעֲמוֹד here a bitbit
because I think they're settingהגדרה up
314
932796
3170
בוא רגע נעמוד פה
כי אני חושב שהמארגנים מתכוננים
15:47
for our nextהַבָּא speakerרַמקוֹל.
315
935990
1151
לדובר הבא.
15:49
A coupleזוּג of questionsשאלות.
316
937165
1538
מספר שאלות.
15:50
So the ideaרַעְיוֹן of programmingתִכנוּת in ignoranceבּוּרוּת
seemsנראה intuitivelyבאופן אינטואיטיבי really powerfulחָזָק.
317
938727
5453
רעיון הטמעת בורות
מרגיש ממש עוצמתי.
15:56
As you get to superintelligenceאינטליגנציה,
318
944204
1594
אבל, כאשר נגיע לשלב תבונת-על
15:57
what's going to stop a robotרוֹבּוֹט
319
945822
2258
מה ימנע מרובוט
16:00
readingקריאה literatureסִפְרוּת and discoveringלגלות
this ideaרַעְיוֹן that knowledgeיֶדַע
320
948104
2852
לעיין בספרות ולגלות את הרעיון שידע
16:02
is actuallyלמעשה better than ignoranceבּוּרוּת
321
950980
1572
עדיף על בורות,
16:04
and still just shiftingהסטה its ownשֶׁלוֹ goalsמטרות
and rewritingשִׁכתוּב that programmingתִכנוּת?
322
952576
4218
לשנות את מטרותיו ולשכתב את התוכנה בהתאם?
16:09
Stuartסטיוארט Russellראסל: Yes, so we want
it to learnלִלמוֹד more, as I said,
323
957692
6356
ס.ר.: כן. אנחנו רוצים שילמד יותר,
כפי שאמרתי,
16:16
about our objectivesמטרות.
324
964072
1287
אודות מטרותינו.
16:17
It'llזה יהיה only becomeהפכו more certainמסוים
as it becomesהופך more correctנכון,
325
965383
5521
זה יתבהר יותר
רק כשזה יהיה נכון יותר
16:22
so the evidenceעֵדוּת is there
326
970928
1945
אז העובדות נמצאות בפניו
16:24
and it's going to be designedמְעוּצָב
to interpretלפרש it correctlyבצורה נכונה.
327
972897
2724
והרובוט יעוצב כך שיוכל לפרש אותן נכון.
16:27
It will understandמבין, for exampleדוגמא,
that booksספרים are very biasedמְשׁוּחָד
328
975645
3956
למשל, הוא יבין שספרים מוטים מאוד
16:31
in the evidenceעֵדוּת they containלְהַכִיל.
329
979625
1483
בעובדות שהם מכילים.
16:33
They only talk about kingsמלכים and princesנסיכים
330
981132
2397
הם מדברים רק על המלכים והנסיכות
16:35
and eliteעִלִית whiteלבן maleזָכָר people doing stuffדברים.
331
983553
2800
ואליטות של גברים לבנים
שעושים כל מיני דברים.
16:38
So it's a complicatedמסובך problemבְּעָיָה,
332
986377
2096
לכן, זוהי בעיה מורכבת.
16:40
but as it learnsלומד more about our objectivesמטרות
333
988497
3872
אבל, ככל שהרובוט ילמד את מטרותינו
16:44
it will becomeהפכו more and more usefulמוֹעִיל to us.
334
992393
2063
הוא יילך וייעשה מועיל יותר עבורנו.
16:46
CACA: And you couldn'tלא יכול
just boilרְתִיחָה it down to one lawחוֹק,
335
994480
2526
כ.א.: אי אפשר לסכם את זה לכדי חוק אחד,
16:49
you know, hardwiredקשה in:
336
997030
1650
אתה יודע, משהו חצוב בסלע:
16:50
"if any humanבן אנוש ever triesמנסה to switchהחלף me off,
337
998704
3293
" אם בן אנוש ינסה אי פעם לכבות אותי,
16:54
I complyלְהֵעָנוֹת. I complyלְהֵעָנוֹת."
338
1002021
1935
אני מציית. אני מציית."
16:55
SRSR: Absolutelyבהחלט not.
339
1003980
1182
ס.ר.: לגמרי לא.
16:57
That would be a terribleנורא ideaרַעְיוֹן.
340
1005186
1499
זה יהיה רעיון נוראי.
16:58
So imagineלדמיין that you have
a self-drivingנהיגה עצמית carאוטו
341
1006709
2689
דמיינו שיש לכם רכב אוטומטי
17:01
and you want to sendלִשְׁלוֹחַ your five-year-oldבת חמש
342
1009422
2433
ואתם רוצים לשלוח את ילדיכם בן החמש
17:03
off to preschoolגן.
343
1011879
1174
לגן ילדים.
17:05
Do you want your five-year-oldבת חמש
to be ableיכול to switchהחלף off the carאוטו
344
1013077
3101
הייתם רוצים שהילד יוכל
לכבות את הרכב
17:08
while it's drivingנְהִיגָה alongלְאוֹרֶך?
345
1016202
1213
תוך כדי הנסיעה?
17:09
Probablyכנראה not.
346
1017439
1159
כנראה שלא.
17:10
So it needsצרכי to understandמבין how rationalרַצִיוֹנָלִי
and sensibleהגיוני the personאדם is.
347
1018622
4703
יוצא שהמכונית חייבת להחליט עד כמה
הנוסע נבון והגיוני.
17:15
The more rationalרַצִיוֹנָלִי the personאדם,
348
1023349
1676
ככל שהנוסע הגיוני יותר,
17:17
the more willingמוּכָן you are
to be switchedעבר off.
349
1025049
2103
כך המכונית תהיה מוכנה יותר שיכבו אותה.
17:19
If the personאדם is completelyלַחֲלוּטִין
randomאַקרַאִי or even maliciousזְדוֹנִי,
350
1027176
2543
אם הנוסע פזיז וחסר הגיון לחלוטין
או אפילו זדוני,
17:21
then you're lessפָּחוּת willingמוּכָן
to be switchedעבר off.
351
1029743
2512
אז המכונית פחות תרצה שיכבו אותה.
17:24
CACA: All right. Stuartסטיוארט, can I just say,
352
1032279
1866
ק.א.: בסדר גמור. תרשה לי רק לומר
17:26
I really, really hopeלְקַווֹת you
figureדמות this out for us.
353
1034169
2314
שאני ממש מקווה שתפתור את זה עבורינו.
17:28
Thank you so much for that talk.
That was amazingמדהים.
354
1036507
2375
תודה רבה על ההרצאה הזאת.
זה היה מדהים.
17:30
SRSR: Thank you.
355
1038906
1167
ס.ר: תודה.
17:32
(Applauseתְשׁוּאוֹת)
356
1040097
1837
(מחיאות כפיים)
Translated by Igal Opendik
Reviewed by Ido Dekkers

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com