ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
TEDxCambridge

Iyad Rahwan: What moral decisions should driverless cars make?

איאד רחוואן: אילו החלטות מוסריות צריכות מכוניות אוטונומיות לקבל?

Filmed:
1,147,381 views

האם על המכונית האוטונומית שלך להרוג אותך אם זה כרוך בהגנה על חמישה הולכי רגל? בשיחה זו על הדילמות החברתיות של מכוניות אוטונומיות, איאד רחוואן בוחן כיצד הטכנולוגיה תאתגר את המוסריות שלנו ומסביר את עבודתו באיסוף נתונים מאנשים אמיתיים על ההתנהלות האתית שאנו מוכנים (ולא מוכנים) לעשות.
- Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio

Double-click the English transcript below to play the video.

00:13
Todayהיום I'm going to talk
about technologyטֶכנוֹלוֹגִיָה and societyחֶברָה.
0
1000
4080
היום אני רוצה לדבר על טכנולוגיה וחברה.
00:19
The Departmentמַחלָקָה of Transportתַחְבּוּרָה
estimatedמְשׁוֹעָר that last yearשָׁנָה
1
7040
3696
משרד התחבורה העריך שבשנה שעברה
00:22
35,000 people diedמת
from trafficתְנוּעָה crashesקריסות in the US aloneלבד.
2
10760
4080
35,000 אנשים נהרגו בתאונות דרכים,
בארה"ב בלבד.
00:28
Worldwideעוֹלָמִי, 1.2 millionמִילִיוֹן people
dieלָמוּת everyכֹּל yearשָׁנָה in trafficתְנוּעָה accidentsתאונות.
3
16040
4800
ברחבי העולם, 1.2 מיליון אנשים
נהרגים מדי שנה בתאונות דרכים.
00:33
If there was a way we could eliminateלְחַסֵל
90 percentאָחוּז of those accidentsתאונות,
4
21760
4096
אם היתה דרך למנוע 90% מהתאונות,
00:37
would you supportתמיכה it?
5
25880
1200
הייתם תומכים בזה?
00:39
Of courseקוּרס you would.
6
27720
1296
כמובן שכן.
00:41
This is what driverlessללא נהג carאוטו technologyטֶכנוֹלוֹגִיָה
promisesהבטחות to achieveלְהַשִׂיג
7
29040
3655
זה מה שהטכנולוגיה של המכונית האוטונומית
מבטיחה להשיג
00:44
by eliminatingביטול the mainרָאשִׁי
sourceמָקוֹר of accidentsתאונות --
8
32720
2816
על ידי מניעת המקור העיקרי לתאונות --
00:47
humanבן אנוש errorשְׁגִיאָה.
9
35560
1200
טעות אנוש.
00:49
Now pictureתְמוּנָה yourselfעַצמְךָ
in a driverlessללא נהג carאוטו in the yearשָׁנָה 2030,
10
37920
5416
עכשיו דמיינו את עצמכם
במכונית אוטונומית בשנת 2030.
00:55
sittingיְשִׁיבָה back and watchingצופה
this vintageבָּצִיר TEDxCambridgeTEDxCambridge videoוִידֵאוֹ.
11
43360
3456
נשענים אחורה וצופים בוידאו משובח זה
של TEDxCambridge .
00:58
(Laughterצחוק)
12
46840
2000
(צחוק)
01:01
All of a suddenפִּתְאוֹמִי,
13
49520
1216
לפתע פתאום,
01:02
the carאוטו experiencesחוויות mechanicalמֵכָנִי failureכישלון
and is unableלא מסוגל to stop.
14
50760
3280
המכונית חווה תקלה מכנית
ואינה מסוגלת לעצור.
01:07
If the carאוטו continuesממשיכה,
15
55360
1520
אם המכונית ממשיכה,
01:09
it will crashלְהִתְרַסֵק into a bunchצְרוֹר
of pedestriansהולכי רגל crossingמעבר the streetרְחוֹב,
16
57720
4120
היא תתנגש בחבורת הולכי רגל
שחוצים את הכביש,
01:15
but the carאוטו mayמאי swerveלִסְטוֹת,
17
63080
2135
אבל המכונית יכולה לסטות,
01:17
hittingלהכות one bystanderמתבונן,
18
65239
1857
ולפגוע בעובר אורח,
01:19
killingהֶרֶג them to saveלשמור the pedestriansהולכי רגל.
19
67120
2080
להרוג אותו, כדי להציל את הולכי הרגל.
01:22
What should the carאוטו do,
and who should decideלְהַחלִיט?
20
70040
2600
מה על המכונית לעשות, ומי צריך להחליט?
01:25
What if insteadבמקום זאת the carאוטו
could swerveלִסְטוֹת into a wallקִיר,
21
73520
3536
מה אם במקום זה המכונית תסטה ותיתקע בקיר.
01:29
crashingמתרסקת and killingהֶרֶג you, the passengerנוֹסֵעַ,
22
77080
3296
תתרסק ותהרוג אותך, הנוסע,
01:32
in orderלהזמין to saveלשמור those pedestriansהולכי רגל?
23
80400
2320
כדי להציל את הולכי הרגל?
01:35
This scenarioתַרחִישׁ is inspiredבהשראה
by the trolleyעֲגָלָה problemבְּעָיָה,
24
83240
3080
תרחיש זה הינו בהשראה של בעיית העגלה,
01:38
whichאיזה was inventedבדוי
by philosophersפילוסופים a fewמְעַטִים decadesעשרות שנים agoלִפנֵי
25
86960
3776
שהומצאה על ידי פילוסופים לפני כמה עשורים
01:42
to think about ethicsאֶתִיקָה.
26
90760
1240
תוך חשיבה על אתיקה.
01:46
Now, the way we think
about this problemבְּעָיָה mattersעניינים.
27
94120
2496
כעת, הדרך בה אנחנו חושבים
על בעיה זו היא חשובה.
01:48
We mayמאי for exampleדוגמא
not think about it at all.
28
96640
2616
אנו יכולים למשל לא לחשוב על זה בכלל.
01:51
We mayמאי say this scenarioתַרחִישׁ is unrealisticלא מציאותי,
29
99280
3376
אנו יכולים לומר שתרחיש זה אינו מציאותי,
01:54
incrediblyבצורה מדהימה unlikelyלא סביר, or just sillyטִפּשִׁי.
30
102680
2320
מאוד לא סביר, או פשוט טיפשי.
01:57
But I think this criticismביקורת
missesמתגעגע the pointנְקוּדָה
31
105760
2736
אבל אני חושב שהביקורת הזאת
מחמיצה את הנקודה
02:00
because it takes
the scenarioתַרחִישׁ too literallyפשוטו כמשמעו.
32
108520
2160
כי היא בוחנת את התרחיש באופן מילולי מדי.
02:03
Of courseקוּרס no accidentתְאוּנָה
is going to look like this;
33
111920
2736
כמובן ששום תאונה לא תיראה כך;
02:06
no accidentתְאוּנָה has two or threeשְׁלוֹשָׁה optionsאפשרויות
34
114680
3336
לשום תאונה אין שתיים או שלוש אפשרויות
02:10
where everybodyכולם diesמת somehowאיכשהו.
35
118040
2000
שבה כולם מתים איכשהו.
02:13
Insteadבמקום זאת, the carאוטו is going
to calculateלחשב something
36
121480
2576
במקום זה, המכונית הולכת לחשב משהו
02:16
like the probabilityהִסתַבְּרוּת of hittingלהכות
a certainמסוים groupקְבוּצָה of people,
37
124080
4896
כמו ההסתברות לפגוע בקבוצה מסוימת של אנשים,
02:21
if you swerveלִסְטוֹת one directionכיוון
versusנגד anotherאַחֵר directionכיוון,
38
129000
3336
אם אתם סוטים בכיוון אחד ולא לכיוון אחר,
02:24
you mightאולי slightlyמְעַט increaseלהגביר the riskלְהִסְתָכֵּן
to passengersנוסעים or other driversנהגים
39
132360
3456
אתם עלולים להגדיל מעט
את הסיכון לנוסעים או לנהגים אחרים
02:27
versusנגד pedestriansהולכי רגל.
40
135840
1536
לעומת הולכי רגל.
02:29
It's going to be
a more complexמורכב calculationתַחשִׁיב,
41
137400
2160
זה הולך להיות חישוב מורכב יותר,
02:32
but it's still going
to involveכרוך trade-offsסחר- offs,
42
140480
2520
אבל זה עדיין יהיה כרוך בבחירת חלופות,
02:35
and trade-offsסחר- offs oftenלעתים קרובות requireלִדרוֹשׁ ethicsאֶתִיקָה.
43
143840
2880
ובחירת חלופות נזקקת לעתים קרובות לאתיקה
02:39
We mightאולי say then,
"Well, let's not worryדאגה about this.
44
147840
2736
אפשר לומר אם כן,
"טוב, בואו לא נדאג בקשר לזה.
02:42
Let's wait untilעד technologyטֶכנוֹלוֹגִיָה
is fullyלְגַמרֵי readyמוּכָן and 100 percentאָחוּז safeבטוח."
45
150600
4640
בואו נחכה עד שהטכנולוגיה תהיה
מוכנה לחלוטין ו 100% בטוחה."
02:48
Supposeלְהַנִיחַ that we can indeedאכן
eliminateלְחַסֵל 90 percentאָחוּז of those accidentsתאונות,
46
156520
3680
נניח שאנחנו יכולים באמת
למנוע 90% מהתאונות האלו,
02:53
or even 99 percentאָחוּז in the nextהַבָּא 10 yearsשנים.
47
161080
2840
או אפילו 99 אחוזים ב -10 השנים הבאות.
02:56
What if eliminatingביטול
the last one percentאָחוּז of accidentsתאונות
48
164920
3176
מה אם מניעת האחוז האחרון של התאונות
03:00
requiresדורש 50 more yearsשנים of researchמחקר?
49
168120
3120
תדרוש עוד 50 שנים של מחקר?
03:04
Should we not adoptלְאַמֵץ the technologyטֶכנוֹלוֹגִיָה?
50
172400
1800
האם עלינו לא לאמץ את הטכנולוגיה?
03:06
That's 60 millionמִילִיוֹן people
deadמֵת in carאוטו accidentsתאונות
51
174720
4776
זה 60 מיליון אנשים שנהרגים בתאונות דרכים
03:11
if we maintainלְתַחְזֵק the currentנוֹכְחִי rateציון.
52
179520
1760
אם משמרים את הקצב הנוכחי
03:14
So the pointנְקוּדָה is,
53
182760
1216
אז הנקודה היא,
03:16
waitingהַמתָנָה for fullמלא safetyבְּטִיחוּת is alsoגַם a choiceבְּחִירָה,
54
184000
3616
שהמתנה לבטיחות מלאה היא גם בחירה,
03:19
and it alsoגַם involvesכרוך trade-offsסחר- offs.
55
187640
2160
והיא גם כרוכה בבחירת חלופות.
03:23
People onlineבאינטרנט on socialחֶברָתִי mediaכְּלֵי תִקְשׁוֹרֶת
have been comingמגיע up with all sortsמיני of waysדרכים
56
191560
4336
אנשים במדיה החברתית ברשת
מצאו כל מיני דרכים
03:27
to not think about this problemבְּעָיָה.
57
195920
2016
כיצד לא לחשוב על בעיה זו.
03:29
One personאדם suggestedמוּצָע
the carאוטו should just swerveלִסְטוֹת somehowאיכשהו
58
197960
3216
אדם אחד הציע שעל המכונית רק לסטות איכשהו
03:33
in betweenבֵּין the passengersנוסעים --
59
201200
2136
אל בין הנוסעים --
03:35
(Laughterצחוק)
60
203360
1016
(צחוק)
03:36
and the bystanderמתבונן.
61
204400
1256
ועובר האורח.
03:37
Of courseקוּרס if that's what the carאוטו can do,
that's what the carאוטו should do.
62
205680
3360
כמובן, שאם זה מה שהמכונית
יכולה לעשות, זה מה שעליה לעשות.
03:41
We're interestedמעוניין in scenariosתרחישים
in whichאיזה this is not possibleאפשרי.
63
209920
2840
אנו מעוניינים בתרחישים שבהם זה אינו אפשרי.
03:45
And my personalאישי favoriteהכי אהוב
was a suggestionהַצָעָה by a bloggerבלוגר
64
213280
5416
והמועדפת האישית שלי היתה של בלוגר שהציע
03:50
to have an ejectלִפְלוֹט buttonלַחְצָן in the carאוטו
that you pressללחוץ --
65
218720
3016
שיהיה כפתור חילוץ במכונית, שלוחצים עליו --
03:53
(Laughterצחוק)
66
221760
1216
(צחוק)
03:55
just before the carאוטו self-destructsהרס עצמי.
67
223000
1667
ממש לפני שהמכונית משמידה את עצמה.
03:56
(Laughterצחוק)
68
224691
1680
(צחוק)
03:59
So if we acknowledgeלְהוֹדוֹת that carsמכוניות
will have to make trade-offsסחר- offs on the roadכְּבִישׁ,
69
227840
5200
אז אם אנחנו מודים שהמכוניות האלו
יצטרכו לבחור חלופות על הכביש,
04:06
how do we think about those trade-offsסחר- offs,
70
234200
1880
איך אנו חושבים על אותן חלופות.
04:09
and how do we decideלְהַחלִיט?
71
237320
1576
וכיצד אנו מחליטים?
04:10
Well, maybe we should runלָרוּץ a surveyסֶקֶר
to find out what societyחֶברָה wants,
72
238920
3136
טוב, אולי כדאי שערוך סקר
כדי לברר מה החברה רוצה,
04:14
because ultimatelyבסופו של דבר,
73
242080
1456
כי בסופו של דבר,
04:15
regulationsתַקָנוֹן and the lawחוֹק
are a reflectionהִשׁתַקְפוּת of societalחברתי valuesערכים.
74
243560
3960
התקנות והחוק הם השתקפות של ערכים חברתיים.
04:20
So this is what we did.
75
248040
1240
אז זה מה שעשינו.
04:21
With my collaboratorsמשתפי פעולה,
76
249880
1616
עם שותפיי לעבודה,
04:23
Jean-Franז'אן-פרןçoisois Bonnefonבונפון and Azimעזים Shariffשריף,
77
251520
2336
ז'אן פרנסואה בונפון ועזים שריף,
04:25
we ranרץ a surveyסֶקֶר
78
253880
1616
הרצנו סקר
04:27
in whichאיזה we presentedמוצג people
with these typesסוגים of scenariosתרחישים.
79
255520
2855
שבו הצגנו בפני אנשים סוגים אלה של תרחישים.
04:30
We gaveנתן them two optionsאפשרויות
inspiredבהשראה by two philosophersפילוסופים:
80
258399
3777
נתנו להם שתי אפשרויות
בהשראת שני פילוסופים:
04:34
Jeremyג'רמי Benthamבנתהאם and Immanuelעמנואל Kantקאנט.
81
262200
2640
ג'רמי בנת'ם ועמנואל קאנט.
04:37
Benthamבנתהאם saysאומר the carאוטו
should followלעקוב אחר utilitarianתוֹעַלתָנִי ethicsאֶתִיקָה:
82
265600
3096
בנת'ם אומר שהמכונית צריכה
לעקוב אחר האתיקה התועלתנית:
04:40
it should take the actionפעולה
that will minimizeלְצַמְצֵם totalסה"כ harmלפגוע --
83
268720
3416
צריך שהיא תבחר בפעולה שתפחית
עד למינימום את הנזק הכולל -
04:44
even if that actionפעולה will killלַהֲרוֹג a bystanderמתבונן
84
272160
2816
גם אם פעולה זו תהרוג עובר אורח
04:47
and even if that actionפעולה
will killלַהֲרוֹג the passengerנוֹסֵעַ.
85
275000
2440
וגם אם פעולה זו תהרוג את הנוסע.
04:50
Immanuelעמנואל Kantקאנט saysאומר the carאוטו
should followלעקוב אחר duty-boundחובה principlesעקרונות,
86
278120
4976
עמנואל קאנט אומר שהמכונית
צריכה לעקוב אחר עקרונות מחייבים,
04:55
like "Thouאַתָה shaltתעשה not killלַהֲרוֹג."
87
283120
1560
כמו "לא תרצח".
04:57
So you should not take an actionפעולה
that explicitlyבִּמְפוּרָשׁ harmsמזיק a humanבן אנוש beingלהיות,
88
285480
4456
אז לא צריך לנקוט פעולה
שפוגעת במפורש בבני אדם,
05:01
and you should let the carאוטו take its courseקוּרס
89
289960
2456
וצריך לאפשר למכונית לקחת את המסלול שלה
05:04
even if that's going to harmלפגוע more people.
90
292440
1960
גם אם זה יפגע ביותר אנשים.
05:07
What do you think?
91
295640
1200
מה אתם חושבים?
05:09
Benthamבנתהאם or Kantקאנט?
92
297360
1520
בנת'ם או קאנט?
05:11
Here'sהנה what we foundמצאתי.
93
299760
1256
הנה מה שמצאנו.
05:13
Mostרוב people sidedצדדית with Benthamבנתהאם.
94
301040
1800
רוב האנשים צידדו עם בנת'ם.
05:16
So it seemsנראה that people
want carsמכוניות to be utilitarianתוֹעַלתָנִי,
95
304160
3776
אז נראה שאנשים רוצים
שהמכוניות יהיו תועלתניות,
05:19
minimizeלְצַמְצֵם totalסה"כ harmלפגוע,
96
307960
1416
מזעור של הנזק הכולל,
05:21
and that's what we should all do.
97
309400
1576
וזה מה שכולנו צריכים לעשות.
05:23
Problemבְּעָיָה solvedנפתרה.
98
311000
1200
הבעיה נפתרה.
05:25
But there is a little catchלתפוס.
99
313240
1480
אבל יש מלכוד קטן.
05:27
When we askedשאל people
whetherהאם they would purchaseלִרְכּוֹשׁ suchכגון carsמכוניות,
100
315920
3736
כששאלנו אנשים אם הם ירכשו מכוניות כאלה,
05:31
they said, "Absolutelyבהחלט not."
101
319680
1616
הם אמרו, "בהחלט לא".
05:33
(Laughterצחוק)
102
321320
2296
{צחוק}
05:35
They would like to buyלִקְנוֹת carsמכוניות
that protectלְהַגֵן them at all costsעלויות,
103
323640
3896
הם רוצים לקנות מכוניות
שיגנו עליהם בכל מחיר,
05:39
but they want everybodyכולם elseאַחֵר
to buyלִקְנוֹת carsמכוניות that minimizeלְצַמְצֵם harmלפגוע.
104
327560
3616
אבל הם רוצים שכל האחרים
יקנו מכוניות שימזערו את הנזק.
05:43
(Laughterצחוק)
105
331200
2520
(צחוק)
05:46
We'veללא שם: יש לנו seenלראות this problemבְּעָיָה before.
106
334720
1856
ראינו את הבעיה הזו בעבר.
05:48
It's calledשקוראים לו a socialחֶברָתִי dilemmaדִילֶמָה.
107
336600
1560
היא נקראת דילמה חברתית.
05:51
And to understandמבין the socialחֶברָתִי dilemmaדִילֶמָה,
108
339160
1816
וכדי להבין את הדילמה החברתית,
אנחנו צריכים ללכת קצת חזרה להיסטוריה
05:53
we have to go a little bitbit
back in historyהִיסטוֹרִיָה.
109
341000
2040
05:56
In the 1800s,
110
344000
2576
במאה ה 19,
05:58
Englishאנגלית economistכַּלכָּלָן Williamויליאם Forsterפורסטר Lloydלויד
publishedיצא לאור a pamphletקוּנטרֵס
111
346600
3736
הכלכלן האנגלי ויליאם פורסטר לויד
פרסם חוברת
06:02
whichאיזה describesמתאר the followingהבא scenarioתַרחִישׁ.
112
350360
2216
שמתארת את התרחיש הבא.
06:04
You have a groupקְבוּצָה of farmersחקלאים --
113
352600
1656
יש לכם קבוצה של חקלאים -
06:06
Englishאנגלית farmersחקלאים --
114
354280
1336
חקלאים אנגלים --
06:07
who are sharingשיתוף a commonמשותף landארץ
for theirשֶׁלָהֶם sheepכבשים to grazeלִרְעוֹת.
115
355640
2680
שחולקים קרקע משותפת
שמשמשת מרעה לכבשים שלהם.
06:11
Now, if eachכל אחד farmerחַקלאַי
bringsמביא a certainמסוים numberמספר of sheepכבשים --
116
359520
2576
אם כל חקלאי מביא מספר מסוים של כבשים --
06:14
let's say threeשְׁלוֹשָׁה sheepכבשים --
117
362120
1496
שלוש כבשים למשל -
06:15
the landארץ will be rejuvenatedהתחדשו,
118
363640
2096
הקרקע תתחדש,
06:17
the farmersחקלאים are happyשַׂמֵחַ,
119
365760
1216
החקלאים יהיו מרוצים,
06:19
the sheepכבשים are happyשַׂמֵחַ,
120
367000
1616
הכבשים תהיינה מרוצות,
06:20
everything is good.
121
368640
1200
הכל טוב.
06:22
Now, if one farmerחַקלאַי bringsמביא one extraתוֹסֶפֶת sheepכבשים,
122
370440
2520
עכשיו, אם אחד החקלאים מביא כבשה נוספת,
06:25
that farmerחַקלאַי will do slightlyמְעַט better,
and no one elseאַחֵר will be harmedנפגע.
123
373800
4720
אותו איכר ישפר מעט את מצבו,
ואף אחד אחר לא ייפגע.
06:31
But if everyכֹּל farmerחַקלאַי madeעָשׂוּי
that individuallyבנפרד rationalרַצִיוֹנָלִי decisionהַחְלָטָה,
124
379160
3640
אבל אם כל חקלאי יקבל החלטה
אינדיווידואלית רציונלית זו,
06:35
the landארץ will be overrunהצפת,
and it will be depletedמדולדל
125
383840
2720
האדמה תהיה עמוסה ותידלדל
06:39
to the detrimentפְּגִיעָה of all the farmersחקלאים,
126
387360
2176
מה שיפגע בכל החקלאים,
06:41
and of courseקוּרס,
to the detrimentפְּגִיעָה of the sheepכבשים.
127
389560
2120
וכמובן, יפגע בכבשים.
06:44
We see this problemבְּעָיָה in manyרב placesמקומות:
128
392720
3680
אנו רואים בעיה זו במקומות רבים:
06:49
in the difficultyקושי of managingניהול overfishingדיג,
129
397080
3176
בקושי של ניהול דיג בהיקף מוגזם,
06:52
or in reducingצמצום carbonפַּחמָן emissionsפליטות
to mitigateלהקל climateאַקלִים changeשינוי.
130
400280
4560
או בהפחתת פליטת הפחמן
כדי להקל על שינויי האקלים.
06:59
When it comesבא to the regulationתַקָנָה
of driverlessללא נהג carsמכוניות,
131
407160
2920
כשמדובר ברגולציה של מכוניות אוטונומיות,
07:03
the commonמשותף landארץ now
is basicallyבעיקרון publicפּוּמְבֵּי safetyבְּטִיחוּת --
132
411080
4336
הקרקע המשותפת עכשיו
הוא ביסודו של דבר בטוחה לציבור -
07:07
that's the commonמשותף good --
133
415440
1240
זה הטוב המשותף -
07:09
and the farmersחקלאים are the passengersנוסעים
134
417400
1976
והחקלאים הם הנוסעים
07:11
or the carאוטו ownersהבעלים who are choosingבְּחִירָה
to rideנסיעה in those carsמכוניות.
135
419400
3600
או בעלי המכוניות שבוחרים
לנסוע במכוניות אלה.
07:16
And by makingהֲכָנָה the individuallyבנפרד
rationalרַצִיוֹנָלִי choiceבְּחִירָה
136
424960
2616
ועל ידי עשיית בחירה אישית הגיונית
07:19
of prioritizingסדר עדיפויות theirשֶׁלָהֶם ownשֶׁלוֹ safetyבְּטִיחוּת,
137
427600
2816
של מתן עדיפות לביטחונם,
07:22
they mayמאי collectivelyיַחַד be
diminishingהַמעָטָה the commonמשותף good,
138
430440
3136
הם עשויים לגרום יחד להפחתת הטוב המשותף,
07:25
whichאיזה is minimizingמזעור totalסה"כ harmלפגוע.
139
433600
2200
שהוא מזעור הנזק המוחלט.
07:30
It's calledשקוראים לו the tragedyטרגדיה of the commonsנחלת הכלל,
140
438320
2136
זה נקרא הטרגדיה של נחלת הכלל,
07:32
traditionallyבאופן מסורתי,
141
440480
1296
באופן מסורתי,
07:33
but I think in the caseמקרה
of driverlessללא נהג carsמכוניות,
142
441800
3096
אבל אני חושב שבמקרה של מכוניות אוטונומיות,
07:36
the problemבְּעָיָה mayמאי be
a little bitbit more insidiousחַתרָנִי
143
444920
2856
הבעיה עשויה להיות קצת יותר ערמומית
07:39
because there is not necessarilyבהכרח
an individualאִישִׁי humanבן אנוש beingלהיות
144
447800
3496
כי אין כאן בהכרח אדם יחיד
07:43
makingהֲכָנָה those decisionsהחלטות.
145
451320
1696
שמקבל החלטות אלה.
07:45
So carאוטו manufacturersיצרנים
mayמאי simplyבפשטות programתָכְנִית carsמכוניות
146
453040
3296
כך שיצרני הרכב יכולים פשוט לתכנת מכוניות
07:48
that will maximizeלְהַגדִיל safetyבְּטִיחוּת
for theirשֶׁלָהֶם clientsלקוחות,
147
456360
2520
שימקסמו את הבטיחות עבור הלקוחות שלהם,
07:52
and those carsמכוניות mayמאי learnלִלמוֹד
automaticallyבאופן אוטומטי on theirשֶׁלָהֶם ownשֶׁלוֹ
148
460080
2976
והמכוניות האלה עשויות ללמוד
באופן אוטומטי בעצמן
07:55
that doing so requiresדורש slightlyמְעַט
increasingגָדֵל riskלְהִסְתָכֵּן for pedestriansהולכי רגל.
149
463080
3520
שעשייה כזו דורשת מעט
הגדלת סיכון להולכי רגל.
07:59
So to use the sheepכבשים metaphorמֵטָפוֹרָה,
150
467520
1416
אז אם נשתמש במטפורת הכבשים,
08:00
it's like we now have electricחשמלי sheepכבשים
that have a mindאכפת of theirשֶׁלָהֶם ownשֶׁלוֹ.
151
468960
3616
זה כאילו שיש לנו עכשיו כבשים חשמליות
שיש להן חשיבה משל עצמן.
08:04
(Laughterצחוק)
152
472600
1456
(צחוק)
08:06
And they mayמאי go and grazeלִרְעוֹת
even if the farmerחַקלאַי doesn't know it.
153
474080
3080
והן יכולות ללכת ולרעות
גם אם האיכר אינו יודע על כך.
08:10
So this is what we mayמאי call
the tragedyטרגדיה of the algorithmicאלגוריתמי commonsנחלת הכלל,
154
478640
3976
אז זה מה שאנחנו יכולים לקרוא לו
הטרגדיה של נחלת הכלל האלגוריתמית,
08:14
and if offersהצעות newחָדָשׁ typesסוגים of challengesאתגרים.
155
482640
2360
והיא מציעה סוגים חדשים של אתגרים.
08:22
Typicallyבדרך כלל, traditionallyבאופן מסורתי,
156
490520
1896
בדרך כלל, באופן מסורתי,
08:24
we solveלִפְתוֹר these typesסוגים
of socialחֶברָתִי dilemmasדילמות usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני regulationתַקָנָה,
157
492440
3336
אנו פותרים סוגים אלה של דילמות חברתיות
באמצעות רגולציה,
08:27
so eitherאוֹ governmentsממשלות
or communitiesקהילות get togetherיַחַד,
158
495800
2736
אז או שהממשלות או שהקהילות נפגשות,
08:30
and they decideלְהַחלִיט collectivelyיַחַד
what kindסוג of outcomeתוֹצָאָה they want
159
498560
3736
ומחליטות ביחד
באיזו סוג של תוצאה הם מעונינים
08:34
and what sortסוג of constraintsאילוצים
on individualאִישִׁי behaviorהִתְנַהֲגוּת
160
502320
2656
ואיזה סוג של אילוצים על התנהגות אישית
08:37
they need to implementליישם.
161
505000
1200
הם צריכים ליישם.
08:39
And then usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני monitoringניטור and enforcementאַכִיפָה,
162
507600
2616
ואז באמצעות ניטור ואכיפה,
08:42
they can make sure
that the publicפּוּמְבֵּי good is preservedהשתמר.
163
510240
2559
הם יכולים לוודא שטובת הכלל נשמרת.
08:45
So why don't we just,
164
513440
1575
אז למה אנחנו איננו פשוט,
08:47
as regulatorsרגולטורים,
165
515039
1496
כרגולטורים,
08:48
requireלִדרוֹשׁ that all carsמכוניות minimizeלְצַמְצֵם harmלפגוע?
166
516559
2897
דורשים מכל המכוניות למזער נזק?
08:51
After all, this is
what people say they want.
167
519480
2240
אחרי הכל, זה מה שאנשים אומרים שהם רוצים.
08:55
And more importantlyחשוב,
168
523200
1416
וחשוב יותר,
08:56
I can be sure that as an individualאִישִׁי,
169
524640
3096
אני יכול להיות בטוח כי כאדם יחיד,
08:59
if I buyלִקְנוֹת a carאוטו that mayמאי
sacrificeלְהַקְרִיב me in a very rareנָדִיר caseמקרה,
170
527760
3856
אם אני קונה מכונית שאולי
תקריב אותי במקרה נדיר מאוד,
09:03
I'm not the only suckerפֶּתִי doing that
171
531640
1656
אני לא הפראייר היחיד שעושה את זה
09:05
while everybodyכולם elseאַחֵר
enjoysנהנה unconditionalללא תנאים protectionהֲגָנָה.
172
533320
2680
בעוד כל האחרים נהנים מהגנה בלתי מותנית.
09:09
In our surveyסֶקֶר, we did askלִשְׁאוֹל people
whetherהאם they would supportתמיכה regulationתַקָנָה
173
537120
3336
בסקר שלנו, שאלנו אנשים אם הם
יתמכו ברגולציה
09:12
and here'sהנה what we foundמצאתי.
174
540480
1200
והנה מה שמצאנו.
09:14
First of all, people
said no to regulationתַקָנָה;
175
542360
3760
ראשית, אנשים אמרו לא לרגולציה;
09:19
and secondשְׁנִיָה, they said,
176
547280
1256
ושנית, הם אמרו,
09:20
"Well if you regulateלְהַסדִיר carsמכוניות to do this
and to minimizeלְצַמְצֵם totalסה"כ harmלפגוע,
177
548560
3936
"אם תהיה תקנה שהמכוניות
יעשו זאת, וכדי למזער את הנזק הכולל,
09:24
I will not buyלִקְנוֹת those carsמכוניות."
178
552520
1480
אני לא אקנה את המכוניות האלו".
09:27
So ironicallyבאופן אירוני,
179
555400
1376
אז באופן אירוני,
09:28
by regulatingרגולציה carsמכוניות to minimizeלְצַמְצֵם harmלפגוע,
180
556800
3496
על ידי הסדרת המכוניות כדי למזער נזק,
09:32
we mayמאי actuallyלמעשה endסוֹף up with more harmלפגוע
181
560320
1840
אנו עשויים למעשה לסיים עם יותר נזק
09:35
because people mayמאי not
optלִבחוֹר into the saferבטוח יותר technologyטֶכנוֹלוֹגִיָה
182
563040
3656
כי אנשים עשויים לא לבחור
בטכנולוגיה הבטוחה יותר
09:38
even if it's much saferבטוח יותר
than humanבן אנוש driversנהגים.
183
566720
2080
גם אם זה הרבה יותר בטוח מנהגים אנושיים
09:42
I don't have the finalסופי
answerתשובה to this riddleחִידָה,
184
570360
3416
אין לי את התשובה הסופית לחידה זו,
09:45
but I think as a startingהחל pointנְקוּדָה,
185
573800
1576
אבל לדעתי, כנקודת מוצא,
09:47
we need societyחֶברָה to come togetherיַחַד
186
575400
3296
אנחנו צריכים שהחברה תתאחד
09:50
to decideלְהַחלִיט what trade-offsסחר- offs
we are comfortableנוֹחַ with
187
578720
2760
כדי להחליט מהן החלופות
שאיתן אנו מרגישים בנוח
09:54
and to come up with waysדרכים
in whichאיזה we can enforceלֶאֱכוֹף those trade-offsסחר- offs.
188
582360
3480
ולמצוא דרכים שבעזרתן נוכל לאכוף אותן.
09:58
As a startingהחל pointנְקוּדָה,
my brilliantמַברִיק studentsסטודנטים,
189
586520
2536
כנקודת מוצא, הסטודנטים המבריקים שלי,
10:01
Edmondאדמונד Awadעוואד and Sohanסוהאן DsouzaDsouza,
190
589080
2456
אדמונד עוואד וסוהאן דסוזה,
10:03
builtבנוי the Moralמוסר השכל Machineמְכוֹנָה websiteאתר אינטרנט,
191
591560
1800
בנו את אתר האינטרנט "מכונת המוסר",
10:06
whichאיזה generatesמייצר randomאַקרַאִי scenariosתרחישים at you --
192
594200
2680
שמייצר תרחישים אקראיים -
10:10
basicallyבעיקרון a bunchצְרוֹר
of randomאַקרַאִי dilemmasדילמות in a sequenceסדר פעולות
193
598080
2456
בעצם מקבץ של דילמות אקראיות ברצף
10:12
where you have to chooseבחר what
the carאוטו should do in a givenנָתוּן scenarioתַרחִישׁ.
194
600560
3920
שבהן תצטרכו לבחור מה המכונית
צריכה לעשות בתרחיש נתון.
10:17
And we varyלְהִשְׁתַנוֹת the agesהגילאים and even
the speciesמִין of the differentשונה victimsקורבנות.
195
605040
4600
ואנחנו משנים את הגילאים ואפילו את המין
של הקורבנות השונים.
10:23
So farרָחוֹק we'veיש לנו collectedשנאספו
over fiveחָמֵשׁ millionמִילִיוֹן decisionsהחלטות
196
611040
3696
עד כה אספנו מעל 5 מיליון החלטות
10:26
by over one millionמִילִיוֹן people worldwideעוֹלָמִי
197
614760
2200
של יותר ממיליון אנשים ברחבי העולם
10:30
from the websiteאתר אינטרנט.
198
618400
1200
מהאתר.
10:32
And this is helpingמָנָה us
formטופס an earlyמוקדם pictureתְמוּנָה
199
620360
2416
וזה עוזר לנו ליצור תמונה מוקדמת
10:34
of what trade-offsסחר- offs
people are comfortableנוֹחַ with
200
622800
2616
של החלופות שלאנשים נוח איתן
10:37
and what mattersעניינים to them --
201
625440
1896
ומה חשוב להם -
10:39
even acrossלְרוֹחָב culturesתרבויות.
202
627360
1440
אפילו באופן שחוצה תרבויות.
10:42
But more importantlyחשוב,
203
630240
1496
אבל חשוב יותר,
10:43
doing this exerciseתרגיל
is helpingמָנָה people recognizeלזהות
204
631760
3376
לעשות את התרגיל הזה
עוזר לאנשים לזהות
10:47
the difficultyקושי of makingהֲכָנָה those choicesבחירות
205
635160
2816
את הקושי שבקבלת החלטות אלה
10:50
and that the regulatorsרגולטורים
are taskedמשימה with impossibleבלתי אפשרי choicesבחירות.
206
638000
3800
וכי על הרגולטורים מוטלות
בחירות בלתי אפשריות.
10:55
And maybe this will help us as a societyחֶברָה
understandמבין the kindsמיני of trade-offsסחר- offs
207
643360
3576
ואולי זה יעזור לנו כחברה
להבין את סוגי החלופות
10:58
that will be implementedמיושם
ultimatelyבסופו של דבר in regulationתַקָנָה.
208
646960
3056
שייושמו בסופו של דבר.
11:02
And indeedאכן, I was very happyשַׂמֵחַ to hearלִשְׁמוֹעַ
209
650040
1736
ואכן, שמחתי מאוד לשמוע
11:03
that the first setמַעֲרֶכֶת of regulationsתַקָנוֹן
210
651800
2016
שמערכת התקנות הראשונה
11:05
that cameבא from
the Departmentמַחלָקָה of Transportתַחְבּוּרָה --
211
653840
2136
שהגיעה ממשרד התחבורה --
11:08
announcedהודיעה last weekשָׁבוּעַ --
212
656000
1376
הודיעה בשבוע שעבר --
11:09
includedכלול a 15-point-נְקוּדָה checklistצ'ק ליסט
for all carmakersמייצרי מכוניות to provideלְסַפֵּק,
213
657400
6576
שהיא כללה רשימה של 15
נקודות שעל כל יצרן מכוניות לספק,
11:16
and numberמספר 14 was ethicalאֶתִי considerationהִתחַשְׁבוּת --
214
664000
3256
ומספר 14 היה שיקול מוסרי -
11:19
how are you going to dealעִסקָה with that.
215
667280
1720
איך אתם מתכוונים להתמודד עם זה.
11:23
We alsoגַם have people
reflectמשקף on theirשֶׁלָהֶם ownשֶׁלוֹ decisionsהחלטות
216
671800
2656
אנחנו גם משקפים לאנשים את ההחלטות שלהם
11:26
by givingמַתָן them summariesסיכומים
of what they choseבחר.
217
674480
3000
על ידי הצגת סיכומים של מה שהם בחרו.
11:30
I'll give you one exampleדוגמא --
218
678440
1656
אתן לכם דוגמה אחת --
11:32
I'm just going to warnלְהַזהִיר you
that this is not your typicalאופייני exampleדוגמא,
219
680120
3536
אני רק עומד להזהיר אתכם
שזו לא דוגמה טיפוסית שלכם,
11:35
your typicalאופייני userמִשׁתַמֵשׁ.
220
683680
1376
המשתמש הטיפוסי שלכם.
11:37
This is the mostרוב sacrificedמוּקרָב and the mostרוב
savedנשמר characterאופי for this personאדם.
221
685080
3616
אלו הדמות שהכי נשמרה וזו שהכי הוקרבה
אצל אדם מסוים.
11:40
(Laughterצחוק)
222
688720
5200
(צחוק)
11:46
Some of you mayמאי agreeלְהַסכִּים with him,
223
694680
1896
אחדים מכם עשויים להסכים איתו,
11:48
or her, we don't know.
224
696600
1640
או איתה, איננו יודעים.
11:52
But this personאדם alsoגַם seemsנראה to slightlyמְעַט
preferלְהַעֲדִיף passengersנוסעים over pedestriansהולכי רגל
225
700480
6136
אבל נראה שאדם זה מעדיף במקצת
את הנוסעים על פני הולכי רגל
11:58
in theirשֶׁלָהֶם choicesבחירות
226
706640
2096
בבחירות שלהם.
12:00
and is very happyשַׂמֵחַ to punishלְהַעֲנִישׁ jaywalkingמתנדנד.
227
708760
2816
והוא שמח מאוד להעניש
את אלה שחוצים כביש ברשלנות.
12:03
(Laughterצחוק)
228
711600
3040
(צחוק)
אז בואו ונסכם.
12:09
So let's wrapלַעֲטוֹף up.
229
717320
1216
התחלנו עם השאלה - שנקרא לה הדילמה האתית -
12:10
We startedהתחיל with the questionשְׁאֵלָה --
let's call it the ethicalאֶתִי dilemmaדִילֶמָה --
230
718559
3416
12:14
of what the carאוטו should do
in a specificספֵּצִיפִי scenarioתַרחִישׁ:
231
722000
3056
של מה שהמכונית צריכה לעשות בתרחיש ספציפי:
12:17
swerveלִסְטוֹת or stayשָׁהוּת?
232
725080
1200
לסטות או להישאר?
12:19
But then we realizedהבין
that the problemבְּעָיָה was a differentשונה one.
233
727240
2736
אבל אז הבנו שהבעיה היתה שונה.
12:22
It was the problemבְּעָיָה of how to get
societyחֶברָה to agreeלְהַסכִּים on and enforceלֶאֱכוֹף
234
730000
4536
זו היתה הבעיה של איך לגרום לחברה
להסכים ולאכוף
12:26
the trade-offsסחר- offs they're comfortableנוֹחַ with.
235
734560
1936
את החלופות שהם מרגישים איתן נוח.
12:28
It's a socialחֶברָתִי dilemmaדִילֶמָה.
236
736520
1256
זו דילמה חברתית.
12:29
In the 1940s, Isaacיצחק Asimovאסימוב
wroteכתבתי his famousמפורסם lawsחוקי of roboticsרובוטיקה --
237
737800
5016
בשנות הארבעים, איזק אסימוב כתב את
החוקים המפורסמים של הרובוטיקה -
12:34
the threeשְׁלוֹשָׁה lawsחוקי of roboticsרובוטיקה.
238
742840
1320
את שלושת חוקי הרובוטיקה.
12:37
A robotרוֹבּוֹט mayמאי not harmלפגוע a humanבן אנוש beingלהיות,
239
745240
2456
רובוט לא רשאי לפגוע בבני אדם,
12:39
a robotרוֹבּוֹט mayמאי not disobeyלְהַמרוֹת a humanבן אנוש beingלהיות,
240
747720
2536
אסור לרובוט לא להישמע לאדם,
12:42
and a robotרוֹבּוֹט mayמאי not allowלהתיר
itselfעצמה to come to harmלפגוע --
241
750280
3256
ורובוט לא יכול להרשות לעצמו
לבוא כדי לפגוע -
12:45
in this orderלהזמין of importanceחֲשִׁיבוּת.
242
753560
1960
על פי סדר חשיבות זה.
12:48
But after 40 yearsשנים or so
243
756360
2136
אבל אחרי 40 שנה בערך
12:50
and after so manyרב storiesסיפורים
pushingדוחף these lawsחוקי to the limitלְהַגבִּיל,
244
758520
3736
ואחרי כל כך הרבה סיפורים שדוחקים
חוקים אלה עד קצה גבול התחום המותר,
12:54
Asimovאסימוב introducedהציג the zerothzeroth lawחוֹק
245
762280
3696
אסימוב הציג את חוק האפס
12:58
whichאיזה takes precedenceעֲדִיפוּת aboveמֵעַל all,
246
766000
2256
שנותן קדימות מעל לכל,
13:00
and it's that a robotרוֹבּוֹט
mayמאי not harmלפגוע humanityאֶנוֹשִׁיוּת as a wholeכֹּל.
247
768280
3280
לכך שהרובוט לא יפגע באנושות בכללותה.
13:04
I don't know what this meansאומר
in the contextהֶקשֵׁר of driverlessללא נהג carsמכוניות
248
772480
4376
אינני יודע מה זה אומר בהקשר
למכוניות אוטונומיות
13:08
or any specificספֵּצִיפִי situationמַצָב,
249
776880
2736
או למצב ספציפי כלשהו,
13:11
and I don't know how we can implementליישם it,
250
779640
2216
ואינני יודע איך אנחנו יכולים ליישם את זה,
13:13
but I think that by recognizingזיהוי
251
781880
1536
אבל אני חושב שעל ידי הכרה בכך
13:15
that the regulationתַקָנָה of driverlessללא נהג carsמכוניות
is not only a technologicalטֶכנוֹלוֹגִי problemבְּעָיָה
252
783440
6136
שהרגולציה של מכוניות אוטונומיות
אינה רק בעיה טכנולוגית
13:21
but alsoגַם a societalחברתי cooperationשיתוף פעולה problemבְּעָיָה,
253
789600
3280
אלא גם בעיה של שיתוף פעולה חברתי,
13:25
I hopeלְקַווֹת that we can at leastהכי פחות beginהתחל
to askלִשְׁאוֹל the right questionsשאלות.
254
793800
2880
אני מקווה שנוכל לפחות להתחיל
לשאול את השאלות הנכונות.
13:29
Thank you.
255
797200
1216
תודה לכם.
13:30
(Applauseתְשׁוּאוֹת)
256
798440
2920
(מחיאות כפיים)
Translated by zeeva Livshitz
Reviewed by hila scherba

▲Back to top

ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com