TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
איאד רחוואן: אילו החלטות מוסריות צריכות מכוניות אוטונומיות לקבל?
Filmed:
Readability: 4.4
1,147,381 views
האם על המכונית האוטונומית שלך להרוג אותך אם זה כרוך בהגנה על חמישה הולכי רגל? בשיחה זו על הדילמות החברתיות של מכוניות אוטונומיות, איאד רחוואן בוחן כיצד הטכנולוגיה תאתגר את המוסריות שלנו ומסביר את עבודתו באיסוף נתונים מאנשים אמיתיים על ההתנהלות האתית שאנו מוכנים (ולא מוכנים) לעשות.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
היום אני רוצה לדבר על טכנולוגיה וחברה.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
משרד התחבורה העריך שבשנה שעברה
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
35,000 אנשים נהרגו בתאונות דרכים,
בארה"ב בלבד.
בארה"ב בלבד.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
ברחבי העולם, 1.2 מיליון אנשים
נהרגים מדי שנה בתאונות דרכים.
נהרגים מדי שנה בתאונות דרכים.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
אם היתה דרך למנוע 90% מהתאונות,
00:37
would you support it?
5
25880
1200
הייתם תומכים בזה?
00:39
Of course you would.
6
27720
1296
כמובן שכן.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
זה מה שהטכנולוגיה של המכונית האוטונומית
מבטיחה להשיג
מבטיחה להשיג
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
על ידי מניעת המקור העיקרי לתאונות --
00:47
human error.
9
35560
1200
טעות אנוש.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
עכשיו דמיינו את עצמכם
במכונית אוטונומית בשנת 2030.
במכונית אוטונומית בשנת 2030.
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
נשענים אחורה וצופים בוידאו משובח זה
של TEDxCambridge .
של TEDxCambridge .
00:58
(Laughter)
12
46840
2000
(צחוק)
01:01
All of a sudden,
13
49520
1216
לפתע פתאום,
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
המכונית חווה תקלה מכנית
ואינה מסוגלת לעצור.
ואינה מסוגלת לעצור.
01:07
If the car continues,
15
55360
1520
אם המכונית ממשיכה,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
היא תתנגש בחבורת הולכי רגל
שחוצים את הכביש,
שחוצים את הכביש,
01:15
but the car may swerve,
17
63080
2135
אבל המכונית יכולה לסטות,
01:17
hitting one bystander,
18
65239
1857
ולפגוע בעובר אורח,
01:19
killing them to save the pedestrians.
19
67120
2080
להרוג אותו, כדי להציל את הולכי הרגל.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
מה על המכונית לעשות, ומי צריך להחליט?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
מה אם במקום זה המכונית תסטה ותיתקע בקיר.
01:29
crashing and killing you, the passenger,
22
77080
3296
תתרסק ותהרוג אותך, הנוסע,
01:32
in order to save those pedestrians?
23
80400
2320
כדי להציל את הולכי הרגל?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
תרחיש זה הינו בהשראה של בעיית העגלה,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
שהומצאה על ידי פילוסופים לפני כמה עשורים
01:42
to think about ethics.
26
90760
1240
תוך חשיבה על אתיקה.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
כעת, הדרך בה אנחנו חושבים
על בעיה זו היא חשובה.
על בעיה זו היא חשובה.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
אנו יכולים למשל לא לחשוב על זה בכלל.
01:51
We may say this scenario is unrealistic,
29
99280
3376
אנו יכולים לומר שתרחיש זה אינו מציאותי,
01:54
incredibly unlikely, or just silly.
30
102680
2320
מאוד לא סביר, או פשוט טיפשי.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
אבל אני חושב שהביקורת הזאת
מחמיצה את הנקודה
מחמיצה את הנקודה
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
כי היא בוחנת את התרחיש באופן מילולי מדי.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
כמובן ששום תאונה לא תיראה כך;
02:06
no accident has two or three options
34
114680
3336
לשום תאונה אין שתיים או שלוש אפשרויות
02:10
where everybody dies somehow.
35
118040
2000
שבה כולם מתים איכשהו.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
במקום זה, המכונית הולכת לחשב משהו
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
כמו ההסתברות לפגוע בקבוצה מסוימת של אנשים,
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
אם אתם סוטים בכיוון אחד ולא לכיוון אחר,
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
אתם עלולים להגדיל מעט
את הסיכון לנוסעים או לנהגים אחרים
את הסיכון לנוסעים או לנהגים אחרים
02:27
versus pedestrians.
40
135840
1536
לעומת הולכי רגל.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
זה הולך להיות חישוב מורכב יותר,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
אבל זה עדיין יהיה כרוך בבחירת חלופות,
02:35
and trade-offs often require ethics.
43
143840
2880
ובחירת חלופות נזקקת לעתים קרובות לאתיקה
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
אפשר לומר אם כן,
"טוב, בואו לא נדאג בקשר לזה.
"טוב, בואו לא נדאג בקשר לזה.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
בואו נחכה עד שהטכנולוגיה תהיה
מוכנה לחלוטין ו 100% בטוחה."
מוכנה לחלוטין ו 100% בטוחה."
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
נניח שאנחנו יכולים באמת
למנוע 90% מהתאונות האלו,
למנוע 90% מהתאונות האלו,
02:53
or even 99 percent in the next 10 years.
47
161080
2840
או אפילו 99 אחוזים ב -10 השנים הבאות.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
מה אם מניעת האחוז האחרון של התאונות
03:00
requires 50 more years of research?
49
168120
3120
תדרוש עוד 50 שנים של מחקר?
03:04
Should we not adopt the technology?
50
172400
1800
האם עלינו לא לאמץ את הטכנולוגיה?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
זה 60 מיליון אנשים שנהרגים בתאונות דרכים
03:11
if we maintain the current rate.
52
179520
1760
אם משמרים את הקצב הנוכחי
03:14
So the point is,
53
182760
1216
אז הנקודה היא,
03:16
waiting for full safety is also a choice,
54
184000
3616
שהמתנה לבטיחות מלאה היא גם בחירה,
03:19
and it also involves trade-offs.
55
187640
2160
והיא גם כרוכה בבחירת חלופות.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
אנשים במדיה החברתית ברשת
מצאו כל מיני דרכים
מצאו כל מיני דרכים
03:27
to not think about this problem.
57
195920
2016
כיצד לא לחשוב על בעיה זו.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
אדם אחד הציע שעל המכונית רק לסטות איכשהו
03:33
in between the passengers --
59
201200
2136
אל בין הנוסעים --
03:35
(Laughter)
60
203360
1016
(צחוק)
03:36
and the bystander.
61
204400
1256
ועובר האורח.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
כמובן, שאם זה מה שהמכונית
יכולה לעשות, זה מה שעליה לעשות.
יכולה לעשות, זה מה שעליה לעשות.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
אנו מעוניינים בתרחישים שבהם זה אינו אפשרי.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
והמועדפת האישית שלי היתה של בלוגר שהציע
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
שיהיה כפתור חילוץ במכונית, שלוחצים עליו --
03:53
(Laughter)
66
221760
1216
(צחוק)
03:55
just before the car self-destructs.
67
223000
1667
ממש לפני שהמכונית משמידה את עצמה.
03:56
(Laughter)
68
224691
1680
(צחוק)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
אז אם אנחנו מודים שהמכוניות האלו
יצטרכו לבחור חלופות על הכביש,
יצטרכו לבחור חלופות על הכביש,
04:06
how do we think about those trade-offs,
70
234200
1880
איך אנו חושבים על אותן חלופות.
04:09
and how do we decide?
71
237320
1576
וכיצד אנו מחליטים?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
טוב, אולי כדאי שערוך סקר
כדי לברר מה החברה רוצה,
כדי לברר מה החברה רוצה,
04:14
because ultimately,
73
242080
1456
כי בסופו של דבר,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
התקנות והחוק הם השתקפות של ערכים חברתיים.
04:20
So this is what we did.
75
248040
1240
אז זה מה שעשינו.
04:21
With my collaborators,
76
249880
1616
עם שותפיי לעבודה,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
ז'אן פרנסואה בונפון ועזים שריף,
04:25
we ran a survey
78
253880
1616
הרצנו סקר
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
שבו הצגנו בפני אנשים סוגים אלה של תרחישים.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
נתנו להם שתי אפשרויות
בהשראת שני פילוסופים:
בהשראת שני פילוסופים:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
ג'רמי בנת'ם ועמנואל קאנט.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
בנת'ם אומר שהמכונית צריכה
לעקוב אחר האתיקה התועלתנית:
לעקוב אחר האתיקה התועלתנית:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
צריך שהיא תבחר בפעולה שתפחית
עד למינימום את הנזק הכולל -
עד למינימום את הנזק הכולל -
04:44
even if that action will kill a bystander
84
272160
2816
גם אם פעולה זו תהרוג עובר אורח
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
וגם אם פעולה זו תהרוג את הנוסע.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
עמנואל קאנט אומר שהמכונית
צריכה לעקוב אחר עקרונות מחייבים,
צריכה לעקוב אחר עקרונות מחייבים,
04:55
like "Thou shalt not kill."
87
283120
1560
כמו "לא תרצח".
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
אז לא צריך לנקוט פעולה
שפוגעת במפורש בבני אדם,
שפוגעת במפורש בבני אדם,
05:01
and you should let the car take its course
89
289960
2456
וצריך לאפשר למכונית לקחת את המסלול שלה
05:04
even if that's going to harm more people.
90
292440
1960
גם אם זה יפגע ביותר אנשים.
05:07
What do you think?
91
295640
1200
מה אתם חושבים?
05:09
Bentham or Kant?
92
297360
1520
בנת'ם או קאנט?
05:11
Here's what we found.
93
299760
1256
הנה מה שמצאנו.
05:13
Most people sided with Bentham.
94
301040
1800
רוב האנשים צידדו עם בנת'ם.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
אז נראה שאנשים רוצים
שהמכוניות יהיו תועלתניות,
שהמכוניות יהיו תועלתניות,
05:19
minimize total harm,
96
307960
1416
מזעור של הנזק הכולל,
05:21
and that's what we should all do.
97
309400
1576
וזה מה שכולנו צריכים לעשות.
05:23
Problem solved.
98
311000
1200
הבעיה נפתרה.
05:25
But there is a little catch.
99
313240
1480
אבל יש מלכוד קטן.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
כששאלנו אנשים אם הם ירכשו מכוניות כאלה,
05:31
they said, "Absolutely not."
101
319680
1616
הם אמרו, "בהחלט לא".
05:33
(Laughter)
102
321320
2296
{צחוק}
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
הם רוצים לקנות מכוניות
שיגנו עליהם בכל מחיר,
שיגנו עליהם בכל מחיר,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
אבל הם רוצים שכל האחרים
יקנו מכוניות שימזערו את הנזק.
יקנו מכוניות שימזערו את הנזק.
05:43
(Laughter)
105
331200
2520
(צחוק)
05:46
We've seen this problem before.
106
334720
1856
ראינו את הבעיה הזו בעבר.
05:48
It's called a social dilemma.
107
336600
1560
היא נקראת דילמה חברתית.
05:51
And to understand the social dilemma,
108
339160
1816
וכדי להבין את הדילמה החברתית,
אנחנו צריכים ללכת קצת חזרה להיסטוריה
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
05:56
In the 1800s,
110
344000
2576
במאה ה 19,
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
הכלכלן האנגלי ויליאם פורסטר לויד
פרסם חוברת
פרסם חוברת
06:02
which describes the following scenario.
112
350360
2216
שמתארת את התרחיש הבא.
06:04
You have a group of farmers --
113
352600
1656
יש לכם קבוצה של חקלאים -
06:06
English farmers --
114
354280
1336
חקלאים אנגלים --
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
שחולקים קרקע משותפת
שמשמשת מרעה לכבשים שלהם.
שמשמשת מרעה לכבשים שלהם.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
אם כל חקלאי מביא מספר מסוים של כבשים --
06:14
let's say three sheep --
117
362120
1496
שלוש כבשים למשל -
06:15
the land will be rejuvenated,
118
363640
2096
הקרקע תתחדש,
06:17
the farmers are happy,
119
365760
1216
החקלאים יהיו מרוצים,
06:19
the sheep are happy,
120
367000
1616
הכבשים תהיינה מרוצות,
06:20
everything is good.
121
368640
1200
הכל טוב.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
עכשיו, אם אחד החקלאים מביא כבשה נוספת,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
אותו איכר ישפר מעט את מצבו,
ואף אחד אחר לא ייפגע.
ואף אחד אחר לא ייפגע.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
אבל אם כל חקלאי יקבל החלטה
אינדיווידואלית רציונלית זו,
אינדיווידואלית רציונלית זו,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
האדמה תהיה עמוסה ותידלדל
06:39
to the detriment of all the farmers,
126
387360
2176
מה שיפגע בכל החקלאים,
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
וכמובן, יפגע בכבשים.
06:44
We see this problem in many places:
128
392720
3680
אנו רואים בעיה זו במקומות רבים:
06:49
in the difficulty of managing overfishing,
129
397080
3176
בקושי של ניהול דיג בהיקף מוגזם,
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
או בהפחתת פליטת הפחמן
כדי להקל על שינויי האקלים.
כדי להקל על שינויי האקלים.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
כשמדובר ברגולציה של מכוניות אוטונומיות,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
הקרקע המשותפת עכשיו
הוא ביסודו של דבר בטוחה לציבור -
הוא ביסודו של דבר בטוחה לציבור -
07:07
that's the common good --
133
415440
1240
זה הטוב המשותף -
07:09
and the farmers are the passengers
134
417400
1976
והחקלאים הם הנוסעים
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
או בעלי המכוניות שבוחרים
לנסוע במכוניות אלה.
לנסוע במכוניות אלה.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
ועל ידי עשיית בחירה אישית הגיונית
07:19
of prioritizing their own safety,
137
427600
2816
של מתן עדיפות לביטחונם,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
הם עשויים לגרום יחד להפחתת הטוב המשותף,
07:25
which is minimizing total harm.
139
433600
2200
שהוא מזעור הנזק המוחלט.
07:30
It's called the tragedy of the commons,
140
438320
2136
זה נקרא הטרגדיה של נחלת הכלל,
07:32
traditionally,
141
440480
1296
באופן מסורתי,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
אבל אני חושב שבמקרה של מכוניות אוטונומיות,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
הבעיה עשויה להיות קצת יותר ערמומית
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
כי אין כאן בהכרח אדם יחיד
07:43
making those decisions.
145
451320
1696
שמקבל החלטות אלה.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
כך שיצרני הרכב יכולים פשוט לתכנת מכוניות
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
שימקסמו את הבטיחות עבור הלקוחות שלהם,
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
והמכוניות האלה עשויות ללמוד
באופן אוטומטי בעצמן
באופן אוטומטי בעצמן
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
שעשייה כזו דורשת מעט
הגדלת סיכון להולכי רגל.
הגדלת סיכון להולכי רגל.
07:59
So to use the sheep metaphor,
150
467520
1416
אז אם נשתמש במטפורת הכבשים,
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
זה כאילו שיש לנו עכשיו כבשים חשמליות
שיש להן חשיבה משל עצמן.
שיש להן חשיבה משל עצמן.
08:04
(Laughter)
152
472600
1456
(צחוק)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
והן יכולות ללכת ולרעות
גם אם האיכר אינו יודע על כך.
גם אם האיכר אינו יודע על כך.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
אז זה מה שאנחנו יכולים לקרוא לו
הטרגדיה של נחלת הכלל האלגוריתמית,
הטרגדיה של נחלת הכלל האלגוריתמית,
08:14
and if offers new types of challenges.
155
482640
2360
והיא מציעה סוגים חדשים של אתגרים.
08:22
Typically, traditionally,
156
490520
1896
בדרך כלל, באופן מסורתי,
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
אנו פותרים סוגים אלה של דילמות חברתיות
באמצעות רגולציה,
באמצעות רגולציה,
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
אז או שהממשלות או שהקהילות נפגשות,
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
ומחליטות ביחד
באיזו סוג של תוצאה הם מעונינים
באיזו סוג של תוצאה הם מעונינים
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
ואיזה סוג של אילוצים על התנהגות אישית
08:37
they need to implement.
161
505000
1200
הם צריכים ליישם.
08:39
And then using monitoring and enforcement,
162
507600
2616
ואז באמצעות ניטור ואכיפה,
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
הם יכולים לוודא שטובת הכלל נשמרת.
08:45
So why don't we just,
164
513440
1575
אז למה אנחנו איננו פשוט,
08:47
as regulators,
165
515039
1496
כרגולטורים,
08:48
require that all cars minimize harm?
166
516559
2897
דורשים מכל המכוניות למזער נזק?
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
אחרי הכל, זה מה שאנשים אומרים שהם רוצים.
08:55
And more importantly,
168
523200
1416
וחשוב יותר,
08:56
I can be sure that as an individual,
169
524640
3096
אני יכול להיות בטוח כי כאדם יחיד,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
אם אני קונה מכונית שאולי
תקריב אותי במקרה נדיר מאוד,
תקריב אותי במקרה נדיר מאוד,
09:03
I'm not the only sucker doing that
171
531640
1656
אני לא הפראייר היחיד שעושה את זה
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
בעוד כל האחרים נהנים מהגנה בלתי מותנית.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
בסקר שלנו, שאלנו אנשים אם הם
יתמכו ברגולציה
יתמכו ברגולציה
09:12
and here's what we found.
174
540480
1200
והנה מה שמצאנו.
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
ראשית, אנשים אמרו לא לרגולציה;
09:19
and second, they said,
176
547280
1256
ושנית, הם אמרו,
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"אם תהיה תקנה שהמכוניות
יעשו זאת, וכדי למזער את הנזק הכולל,
יעשו זאת, וכדי למזער את הנזק הכולל,
09:24
I will not buy those cars."
178
552520
1480
אני לא אקנה את המכוניות האלו".
09:27
So ironically,
179
555400
1376
אז באופן אירוני,
09:28
by regulating cars to minimize harm,
180
556800
3496
על ידי הסדרת המכוניות כדי למזער נזק,
09:32
we may actually end up with more harm
181
560320
1840
אנו עשויים למעשה לסיים עם יותר נזק
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
כי אנשים עשויים לא לבחור
בטכנולוגיה הבטוחה יותר
בטכנולוגיה הבטוחה יותר
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
גם אם זה הרבה יותר בטוח מנהגים אנושיים
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
אין לי את התשובה הסופית לחידה זו,
09:45
but I think as a starting point,
185
573800
1576
אבל לדעתי, כנקודת מוצא,
09:47
we need society to come together
186
575400
3296
אנחנו צריכים שהחברה תתאחד
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
כדי להחליט מהן החלופות
שאיתן אנו מרגישים בנוח
שאיתן אנו מרגישים בנוח
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
ולמצוא דרכים שבעזרתן נוכל לאכוף אותן.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
כנקודת מוצא, הסטודנטים המבריקים שלי,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
אדמונד עוואד וסוהאן דסוזה,
10:03
built the Moral Machine website,
191
591560
1800
בנו את אתר האינטרנט "מכונת המוסר",
10:06
which generates random scenarios at you --
192
594200
2680
שמייצר תרחישים אקראיים -
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
בעצם מקבץ של דילמות אקראיות ברצף
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
שבהן תצטרכו לבחור מה המכונית
צריכה לעשות בתרחיש נתון.
צריכה לעשות בתרחיש נתון.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
ואנחנו משנים את הגילאים ואפילו את המין
של הקורבנות השונים.
של הקורבנות השונים.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
עד כה אספנו מעל 5 מיליון החלטות
10:26
by over one million people worldwide
197
614760
2200
של יותר ממיליון אנשים ברחבי העולם
10:30
from the website.
198
618400
1200
מהאתר.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
וזה עוזר לנו ליצור תמונה מוקדמת
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
של החלופות שלאנשים נוח איתן
10:37
and what matters to them --
201
625440
1896
ומה חשוב להם -
10:39
even across cultures.
202
627360
1440
אפילו באופן שחוצה תרבויות.
10:42
But more importantly,
203
630240
1496
אבל חשוב יותר,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
לעשות את התרגיל הזה
עוזר לאנשים לזהות
עוזר לאנשים לזהות
10:47
the difficulty of making those choices
205
635160
2816
את הקושי שבקבלת החלטות אלה
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
וכי על הרגולטורים מוטלות
בחירות בלתי אפשריות.
בחירות בלתי אפשריות.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
ואולי זה יעזור לנו כחברה
להבין את סוגי החלופות
להבין את סוגי החלופות
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
שייושמו בסופו של דבר.
11:02
And indeed, I was very happy to hear
209
650040
1736
ואכן, שמחתי מאוד לשמוע
11:03
that the first set of regulations
210
651800
2016
שמערכת התקנות הראשונה
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
שהגיעה ממשרד התחבורה --
11:08
announced last week --
212
656000
1376
הודיעה בשבוע שעבר --
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
שהיא כללה רשימה של 15
נקודות שעל כל יצרן מכוניות לספק,
נקודות שעל כל יצרן מכוניות לספק,
11:16
and number 14 was ethical consideration --
214
664000
3256
ומספר 14 היה שיקול מוסרי -
11:19
how are you going to deal with that.
215
667280
1720
איך אתם מתכוונים להתמודד עם זה.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
אנחנו גם משקפים לאנשים את ההחלטות שלהם
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
על ידי הצגת סיכומים של מה שהם בחרו.
11:30
I'll give you one example --
218
678440
1656
אתן לכם דוגמה אחת --
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
אני רק עומד להזהיר אתכם
שזו לא דוגמה טיפוסית שלכם,
שזו לא דוגמה טיפוסית שלכם,
11:35
your typical user.
220
683680
1376
המשתמש הטיפוסי שלכם.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
אלו הדמות שהכי נשמרה וזו שהכי הוקרבה
אצל אדם מסוים.
אצל אדם מסוים.
11:40
(Laughter)
222
688720
5200
(צחוק)
11:46
Some of you may agree with him,
223
694680
1896
אחדים מכם עשויים להסכים איתו,
11:48
or her, we don't know.
224
696600
1640
או איתה, איננו יודעים.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
אבל נראה שאדם זה מעדיף במקצת
את הנוסעים על פני הולכי רגל
את הנוסעים על פני הולכי רגל
11:58
in their choices
226
706640
2096
בבחירות שלהם.
12:00
and is very happy to punish jaywalking.
227
708760
2816
והוא שמח מאוד להעניש
את אלה שחוצים כביש ברשלנות.
את אלה שחוצים כביש ברשלנות.
12:03
(Laughter)
228
711600
3040
(צחוק)
אז בואו ונסכם.
12:09
So let's wrap up.
229
717320
1216
התחלנו עם השאלה - שנקרא לה הדילמה האתית -
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
של מה שהמכונית צריכה לעשות בתרחיש ספציפי:
12:17
swerve or stay?
232
725080
1200
לסטות או להישאר?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
אבל אז הבנו שהבעיה היתה שונה.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
זו היתה הבעיה של איך לגרום לחברה
להסכים ולאכוף
להסכים ולאכוף
12:26
the trade-offs they're comfortable with.
235
734560
1936
את החלופות שהם מרגישים איתן נוח.
12:28
It's a social dilemma.
236
736520
1256
זו דילמה חברתית.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
בשנות הארבעים, איזק אסימוב כתב את
החוקים המפורסמים של הרובוטיקה -
החוקים המפורסמים של הרובוטיקה -
12:34
the three laws of robotics.
238
742840
1320
את שלושת חוקי הרובוטיקה.
12:37
A robot may not harm a human being,
239
745240
2456
רובוט לא רשאי לפגוע בבני אדם,
12:39
a robot may not disobey a human being,
240
747720
2536
אסור לרובוט לא להישמע לאדם,
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
ורובוט לא יכול להרשות לעצמו
לבוא כדי לפגוע -
לבוא כדי לפגוע -
12:45
in this order of importance.
242
753560
1960
על פי סדר חשיבות זה.
12:48
But after 40 years or so
243
756360
2136
אבל אחרי 40 שנה בערך
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
ואחרי כל כך הרבה סיפורים שדוחקים
חוקים אלה עד קצה גבול התחום המותר,
חוקים אלה עד קצה גבול התחום המותר,
12:54
Asimov introduced the zeroth law
245
762280
3696
אסימוב הציג את חוק האפס
12:58
which takes precedence above all,
246
766000
2256
שנותן קדימות מעל לכל,
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
לכך שהרובוט לא יפגע באנושות בכללותה.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
אינני יודע מה זה אומר בהקשר
למכוניות אוטונומיות
למכוניות אוטונומיות
13:08
or any specific situation,
249
776880
2736
או למצב ספציפי כלשהו,
13:11
and I don't know how we can implement it,
250
779640
2216
ואינני יודע איך אנחנו יכולים ליישם את זה,
13:13
but I think that by recognizing
251
781880
1536
אבל אני חושב שעל ידי הכרה בכך
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
שהרגולציה של מכוניות אוטונומיות
אינה רק בעיה טכנולוגית
אינה רק בעיה טכנולוגית
13:21
but also a societal cooperation problem,
253
789600
3280
אלא גם בעיה של שיתוף פעולה חברתי,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
אני מקווה שנוכל לפחות להתחיל
לשאול את השאלות הנכונות.
לשאול את השאלות הנכונות.
13:29
Thank you.
255
797200
1216
תודה לכם.
13:30
(Applause)
256
798440
2920
(מחיאות כפיים)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com