TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
إياد رهوان: ماهي القرارات الأخلاقية التي يجب على السيارات ذاتية القيادة أن تأخذها؟
Filmed:
Readability: 4.4
1,147,381 views
هل يجب على السيارة ذاتية القيادة أن تقتلك إن كان عليها أن تنقذ حياة خمسة راجلين؟ في هذا الحديث عن المعضلات الاجتماعية للسيارات ذاتية القيادة، يستكشف إياد رهوان كيف ستواجه التكنولوجيا أخلاقياتنا ويشرح عمله في جمع البيانات من أشخاص حقيقيين عن أخلاقيات المقايضات التي نريد (أو لا نريد) العمل بها.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
سأتحدث اليوم عن التكنولوجيا والمجتمع.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
قدّرت هيئة المواصلات أنه في السنة الماضية
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
توفي 35000 شخص إثر حوادث سير
في الولايات المتحدة وحدها.
في الولايات المتحدة وحدها.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
على مستوى العالم، يموت 1.2 مليون شخص
سنويًا إثر حوادث سير.
سنويًا إثر حوادث سير.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
إن كانت هناك طريقة تستطيع تجنب 90 في المئة
من هذه الحوادث،
من هذه الحوادث،
00:37
would you support it?
5
25880
1200
هل كنت لتدعمها؟
00:39
Of course you would.
6
27720
1296
بالطبع ستفعل.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
هذا ما تطمح السيارات ذاتية القيادة
للوصول إليه
للوصول إليه
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
عن طريق حذف السبب الرئيس للحوادث --
00:47
human error.
9
35560
1200
وهو الخطأ البشري.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
تخيل نفسك الآن في سيارة ذاتية القيادة
سنة 2030،
سنة 2030،
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
وأنت تجلس في الخلف
وتشاهد هذا الشريط القديم ل TEDxCambridge.
وتشاهد هذا الشريط القديم ل TEDxCambridge.
00:58
(Laughter)
12
46840
2000
(ضحك)
01:01
All of a sudden,
13
49520
1216
وفجأة،
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
تتعرض السيارة لخلل ميكانيكي
ولا تستطيع التوقف.
ولا تستطيع التوقف.
01:07
If the car continues,
15
55360
1520
إن استمرت السيارة في التقدم،
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
ستصطدم بمجموعة من الراجلين
وهم يقطعون الطريق،
وهم يقطعون الطريق،
01:15
but the car may swerve,
17
63080
2135
لكن السيارة تنحرف،
01:17
hitting one bystander,
18
65239
1857
لتصطدم بشخص واقف،
01:19
killing them to save the pedestrians.
19
67120
2080
لتقتله وتنقذ الراجلين.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
ما الذي يجب على السيارة فعله،
ومن عليه أن يقرر؟
ومن عليه أن يقرر؟
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
ماذا لو انحرفت السيارة في اتجاه الحائط
01:29
crashing and killing you, the passenger,
22
77080
3296
لتسحقك وتقتلك، أنت الراكب فيها،
01:32
in order to save those pedestrians?
23
80400
2320
لتنقذ هؤلاء الراجلين؟
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
تم استلهام هذا السيناريو
من مشكلة الترولي،
من مشكلة الترولي،
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
والتي تم اختراعها من طرف فلاسفة
قبل عقود قليلة
قبل عقود قليلة
01:42
to think about ethics.
26
90760
1240
للتفكير حول الأخلاقيات.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
الآن، الطريقة التي نفكر بها
في هذا المشكل مهمة.
في هذا المشكل مهمة.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
يمكننا مثلًا ألا نفكر فيه إطلاقًا.
01:51
We may say this scenario is unrealistic,
29
99280
3376
يمكننا أن نقول أن هذا السيناريو غير واقعي،
01:54
incredibly unlikely, or just silly.
30
102680
2320
غير ممكن بتاتًا، أو أنه تافه.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
لكن أعتقد أن هذا الانتقاد يغفل المغزى
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
لأنه ينظر إلى السيناريو بطريقة بسيطة.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
بالطبع، لايمكن لحادثة أن تكون هكذا،
02:06
no accident has two or three options
34
114680
3336
ليس هناك احتمالان أو ثلاثة لحادثة
02:10
where everybody dies somehow.
35
118040
2000
حيث يموت الجميع بطريقة أو بأخرى.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
عوضا عن ذلك، ستقوم السيارة بحساب ما
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
مثل احتمال الاصطدام
بمجموعة معينة من الناس،
بمجموعة معينة من الناس،
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
حين تنحرف إلى اتجاه دون آخر،
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
يمكن أن ترفع الخطر بشكل ضئيل
على الركاب أو السائقين الآخرين
على الركاب أو السائقين الآخرين
02:27
versus pedestrians.
40
135840
1536
في مقابل الراجلين.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
ستكون عبارة عن حسابات معقدة،
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
لكنها ستشمل دائمًا نوعا من المقايضة،
02:35
and trade-offs often require ethics.
43
143840
2880
وغالبا مما تتطلب المقايضة حضور الأخلاقيات.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
يمكننا أن نقول حينها، "حسنا،
لمَ لا نترك القلق جانيًا.
لمَ لا نترك القلق جانيًا.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
فلننتظر حتى تصير التكنولوجيا جاهزة
وآمنة 100 بالمئة."
وآمنة 100 بالمئة."
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
لنفترض أننا فعلا نستطيع حذف 90 في المئة
من هذه الحوادث،
من هذه الحوادث،
02:53
or even 99 percent in the next 10 years.
47
161080
2840
أو حتى 99 في المئة منها
خلال 10 سنوات المقبلة.
خلال 10 سنوات المقبلة.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
ماذا لو كان يتطلب حذف العشر في المئة
المتبقية من الحوادث
المتبقية من الحوادث
03:00
requires 50 more years of research?
49
168120
3120
50 سنة أخرى من البحث؟
03:04
Should we not adopt the technology?
50
172400
1800
أليس علينا أن نتبنى التكنولوجيا؟
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
سيكون لدينا 60 مليون حالة وفاة
من حوادث السير
من حوادث السير
03:11
if we maintain the current rate.
52
179520
1760
إذا حافظنا على المعدل الحالي.
03:14
So the point is,
53
182760
1216
فالفكرة هنا،
03:16
waiting for full safety is also a choice,
54
184000
3616
التريث حتى نصل
للسلامة الكاملة هو اختيار أيضا،
للسلامة الكاملة هو اختيار أيضا،
03:19
and it also involves trade-offs.
55
187640
2160
ويشمل مقايضات أيضا.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
قام الناس على مواقع التواصل الاجتماعية
باختلاق كل الطرق الممكنة
باختلاق كل الطرق الممكنة
03:27
to not think about this problem.
57
195920
2016
لعدم التفكير في هذا المشكل.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
اقترح شخص أن على السيارة
أن تنحرف في اتجاه ما فحسب
أن تنحرف في اتجاه ما فحسب
03:33
in between the passengers --
59
201200
2136
بين الركاب --
03:35
(Laughter)
60
203360
1016
(ضحك)
03:36
and the bystander.
61
204400
1256
والشخص الواقف.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
بالطبع، إن كانت السيارة تستطبع فعل ذلك،
فعليها فعل ذلك.
فعليها فعل ذلك.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
نحن مهتمون بإيجاد سيناريوهات
حيث لا يكون هذا ممكنا.
حيث لا يكون هذا ممكنا.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
والاقتراح المفضل لدي شخصيا كان من مدون
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
بأن تضع زر إخراج في السيارة،
حيث يمكنك الضغط عليه --
حيث يمكنك الضغط عليه --
03:53
(Laughter)
66
221760
1216
(ضحك)
03:55
just before the car self-destructs.
67
223000
1667
قبل أن تدمر السيارة نفسها.
03:56
(Laughter)
68
224691
1680
(ضحك)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
إذن حين نعترف أنه من الممكن للسيارات
أن تقوم بمقايضات على الطريق،
أن تقوم بمقايضات على الطريق،
04:06
how do we think about those trade-offs,
70
234200
1880
كيف يمكننا التفكير حيال هذه المقايضات،
04:09
and how do we decide?
71
237320
1576
وكيف لنا أن نقرر؟
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
حسنا، ربما علينا إجراء استقصاء
لنعرف ما الذي يريده المجتمع،
لنعرف ما الذي يريده المجتمع،
04:14
because ultimately,
73
242080
1456
لأنه في النهاية،
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
القوانين هي انعكاس للقيم المجتمعية.
04:20
So this is what we did.
75
248040
1240
إذن فهذا ما قمنا به.
04:21
With my collaborators,
76
249880
1616
مع زملائي،
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
جون فرونسوا بونفون وأزيم شريف،
04:25
we ran a survey
78
253880
1616
أجرينا استقصاءً
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
حيث قدمنا للناس هذه الأنواع
من السيناريوهات.
من السيناريوهات.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
قدمنا لهم احتمالين مستلهمين
من فيلسوفين:
من فيلسوفين:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
جيرمي بينتام وإيمانويل كانت.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
يقول بينتام أن على السيارة
أن تتبع الأخلاقيات النفعية:
أن تتبع الأخلاقيات النفعية:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
عليها أن تخطو الخطوة
التي ستقلل مجموع الضرر --
التي ستقلل مجموع الضرر --
04:44
even if that action will kill a bystander
84
272160
2816
حتى وإن كانت ستقتل الرجل الواقف
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
حتى وإن كانت هذه الخطوة ستقتل الراكب.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
يقول إيمانويل كارت أن على السيارة
أن تتبع مبادئ الواجب الملزم،
أن تتبع مبادئ الواجب الملزم،
04:55
like "Thou shalt not kill."
87
283120
1560
"عليك ألا تقتل."
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
إذن فعليك ألا تتخذ خطوة ستضر بها
عنوة شخصا ما،
عنوة شخصا ما،
05:01
and you should let the car take its course
89
289960
2456
وعليك أن تترك السيارة تأخذ مسارها
05:04
even if that's going to harm more people.
90
292440
1960
حتى وإن كانت ستلحق الضرر بأشخاص أكثر.
05:07
What do you think?
91
295640
1200
ماذا تعتقدون؟
05:09
Bentham or Kant?
92
297360
1520
بيتم أو كانت؟
05:11
Here's what we found.
93
299760
1256
إليكم ماوجدنا.
05:13
Most people sided with Bentham.
94
301040
1800
معظم الناس وقفوا إلى جانب بينتام.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
لذا يبدو أن الناس يريدون
أن تكون السيارات نفعية،
أن تكون السيارات نفعية،
05:19
minimize total harm,
96
307960
1416
وتقلل مجموع الضرر،
05:21
and that's what we should all do.
97
309400
1576
وهذا ماعلينا أن نقوم به جميعا.
05:23
Problem solved.
98
311000
1200
تم حل المشكلة.
05:25
But there is a little catch.
99
313240
1480
لكن هناك نقطة صغيرة.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
حين سألنا الناس إن كانوا سيشترون
مثل هذه السيارات،
مثل هذه السيارات،
05:31
they said, "Absolutely not."
101
319680
1616
قالوا "بالطبع لا."
05:33
(Laughter)
102
321320
2296
(ضحك)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
هم يريدون أن يشتروا سيارات تحميهم بأي ثمن،
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
لكنهم يريدون أن يشتري الآخرون سيارات
تقلل من الضرر.
تقلل من الضرر.
05:43
(Laughter)
105
331200
2520
(ضحك)
05:46
We've seen this problem before.
106
334720
1856
لقد رأينا هذا المشكل من قبل.
05:48
It's called a social dilemma.
107
336600
1560
وهو يدعى المعضلة الاجتماعية.
05:51
And to understand the social dilemma,
108
339160
1816
ولفهم المعضلة الاجتماعية
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
علينا أن نعود قليلا إلى التاريخ.
05:56
In the 1800s,
110
344000
2576
في القرن 19،
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
نشر خبير الاقتصاد البريطاني
ويليام فورستر لويد كتيبا
ويليام فورستر لويد كتيبا
06:02
which describes the following scenario.
112
350360
2216
يصف فيه السيناريو الآتي.
06:04
You have a group of farmers --
113
352600
1656
لديك مجموعة من المزارعين --
06:06
English farmers --
114
354280
1336
مزارعون بريطانيون --
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
يتقاسمون أرضا مشتركة لترعى بها أغنامهم.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
الآن، إذا قام كل مزارع بجلب
عدد معين من الأغنام --
عدد معين من الأغنام --
06:14
let's say three sheep --
117
362120
1496
لنقل ثلاثة أغنام --
06:15
the land will be rejuvenated,
118
363640
2096
ستزدهر الأرض،
06:17
the farmers are happy,
119
365760
1216
وسيفرح المزارعون،
06:19
the sheep are happy,
120
367000
1616
وستفرح الأغنام،
06:20
everything is good.
121
368640
1200
كل شيء على ما يرام.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
الآن، إذا قام مزارع بجلب خروف إضافي،
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
سيكون ذلك المزارع ناجحا بقدر يسير،
ولن يتضرر أحد من هذا.
ولن يتضرر أحد من هذا.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
لكن إن أخذ كل مزارع
هذا القرار الفردي المنطقي،
هذا القرار الفردي المنطقي،
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
سيتم استغلال الأرض بشكل جائر
وستُستنزف
وستُستنزف
06:39
to the detriment of all the farmers,
126
387360
2176
ولن يستفيد المزارعون جميعهم.
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
وبالتأكيد، لن تستفيد الأغنام.
06:44
We see this problem in many places:
128
392720
3680
نرى هذا المشكل في كل مكان:
06:49
in the difficulty of managing overfishing,
129
397080
3176
في صعوبة إدلرة الصيد الجائر،
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
أو تقليل انبعاث الكربون
للتعامل مع التغير المناخي.
للتعامل مع التغير المناخي.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
حين يتعلق الأمر بتقنين
السيارات ذاتية القيادة،
السيارات ذاتية القيادة،
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
فالأرض المشتركة الآن هي بالأساس
السلامة العامة --
السلامة العامة --
07:07
that's the common good --
133
415440
1240
هذا هو الشيء المشترك --
07:09
and the farmers are the passengers
134
417400
1976
والمزارعون هم الركاب
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
أو أصحاب السيارات الذيم يختارون
أن يتجولوا بهذه السيارات.
أن يتجولوا بهذه السيارات.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
وباتخاذ اختيار منطقي فردي
07:19
of prioritizing their own safety,
137
427600
2816
أو إعطاء الأولوية للسلامة الشخصية،
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
فقد يكونون بصدد إلحاق الضرر
بالشيء المشترك،
بالشيء المشترك،
07:25
which is minimizing total harm.
139
433600
2200
والذي هو تقليل مجموع الضرر.
07:30
It's called the tragedy of the commons,
140
438320
2136
وهذا مايسمى بتراجيديا المشاع،
07:32
traditionally,
141
440480
1296
بشكل تقليدي،
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
لكنني أعتقد أنه في حالة السيارات
ذاتية القيادة،
ذاتية القيادة،
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
فإن المشكلة قد تكون أكثر تعقيدًا
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
لأنه ليس هناك بالضرورة شخص واحد
07:43
making those decisions.
145
451320
1696
يقوم بهذه القرارات.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
إذ يمكن لمصنعي السيارات ببساطة
أن يبرمجوا سيارات
أن يبرمجوا سيارات
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
تعطي حماية قصوى لعملائهم،
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
ويمكن لهذه السيارات
أن تتعلم تلقائيا بمفردها
أن تتعلم تلقائيا بمفردها
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
أن القيام بذلك يتطلب
زيادة الخطر بالنسبة للراجلين.
زيادة الخطر بالنسبة للراجلين.
07:59
So to use the sheep metaphor,
150
467520
1416
وباستخدام مثال الأغنام،
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
فهذا أشبه بخروف كهربائي
له عقله الخاص.
له عقله الخاص.
08:04
(Laughter)
152
472600
1456
(ضحك)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
ويمكنه أن يذهب ويرعى دون أن يدري المزارع.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
وهذا مايمكننا أن نسميه
تراجيديا المشاع الخوارزمية،
تراجيديا المشاع الخوارزمية،
08:14
and if offers new types of challenges.
155
482640
2360
وهي تقدم أنواعا جديدة من التحديات.
08:22
Typically, traditionally,
156
490520
1896
عادة، وبشكل تقليدي،
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
نحل هذا النوع من المعضلات الاجتماعية
عن طريق القوانين،
عن طريق القوانين،
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
حيث تجتمع الحكومات أو المجتمعات
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
ليقرروا جماعيا ما نوع النتائج
التي يريدونها
التي يريدونها
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
وما نوع العوائق على مستوى السلوك الفردي
08:37
they need to implement.
161
505000
1200
التي يجب عليهم تنفيذها.
08:39
And then using monitoring and enforcement,
162
507600
2616
وبعد ذلك، باستخدام المراقبة والفرض،
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
يمكنهم ضمان الحفاظ على الصالح العام.
08:45
So why don't we just,
164
513440
1575
لذا، لم لا نقوم،
08:47
as regulators,
165
515039
1496
كواضعي قوانين،
08:48
require that all cars minimize harm?
166
516559
2897
بإجبار السيارات على تقليل الضرر؟
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
في جميع الأحوال، هذا ما يريده الناس.
08:55
And more importantly,
168
523200
1416
والأهم من هذا،
08:56
I can be sure that as an individual,
169
524640
3096
يمكنني أن أكون متأكدا كفرد،
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
إن اشتريت سيارة يمكنها أن تضحي بي
في حالة نادرة جدا،
في حالة نادرة جدا،
09:03
I'm not the only sucker doing that
171
531640
1656
فلن أكون الأبله الوحيد
الذي يقوم بهذا
الذي يقوم بهذا
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
بينما يتمتع الجميع بحماية لامحدودة.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
في استقصائنا، سألنا الناس فيما إن كانوا
سيدعمون القوانين
سيدعمون القوانين
09:12
and here's what we found.
174
540480
1200
وإليكم ماوجدنا.
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
أولا، رفض الناس القوانين،
09:19
and second, they said,
176
547280
1256
ثانيا، قالوا،
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"حسنا، إن قننتم السيارات لتقوم بهذا
وتقلل مجموع الضرر،
وتقلل مجموع الضرر،
09:24
I will not buy those cars."
178
552520
1480
فلن أشتري هذه السيارة."
09:27
So ironically,
179
555400
1376
لذا، من المضحك،
09:28
by regulating cars to minimize harm,
180
556800
3496
أنه بتقنين السيارات لتقليل الضرر،
09:32
we may actually end up with more harm
181
560320
1840
ربما سينتهي بنا المطاف
بالمزيد من الضرر
بالمزيد من الضرر
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
لأن الناس لن يختاروا التكنولوجيا
الأكثر أمنا
الأكثر أمنا
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
حتى وإن كانت أكثر أمنا
من الأشخاص السائقين.
من الأشخاص السائقين.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
ليست لدي إجابة نهائية لهذا اللغز،
09:45
but I think as a starting point,
185
573800
1576
لكنني أعتقد كبداية،
09:47
we need society to come together
186
575400
3296
نريد أن يجتمع المجتمع
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
لنقرر ما هي المقايضات التي نرتاح لها
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
ونجد طرقا يمكننا بها فرض هذه المقايضات.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
وكنقطة بداية، بنى طلابي الأذكياء،
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
إدموند عواد و سوهان دسوزا،
10:03
built the Moral Machine website,
191
591560
1800
موقع Moral Machine،
10:06
which generates random scenarios at you --
192
594200
2680
الذي يخرج سيناريوهات عشوائية لكم --
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
مجموعة من المعضلات العشوائية بتسلسل
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
حيث يمكنك أن تختار ما الذي يجب
أن تقوم به السيارة في سيناريو معين.
أن تقوم به السيارة في سيناريو معين.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
ونقوم بتغيير الأعمار
وأنواع الضحايا المختلفة.
وأنواع الضحايا المختلفة.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
ولحد الآن فقد جمعنا 5 ملايين قرار
10:26
by over one million people worldwide
197
614760
2200
من ما يفوق مليون شخص حول العالم
10:30
from the website.
198
618400
1200
من الموقع.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
وهذا يساعدنا على تكوين صورة مبكرة
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
عن ماهية المقايضات التي يرتاح لها الناس
10:37
and what matters to them --
201
625440
1896
وما هي الأشياء المهمة بالنسبة لهم --
10:39
even across cultures.
202
627360
1440
حتى وإن اختلفت الثقافات.
10:42
But more importantly,
203
630240
1496
لكن الأمر الأهم،
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
يساعد هذا التمرين الناس على التعرف
10:47
the difficulty of making those choices
205
635160
2816
على صعوبة اتخاذ هذه الاختيارات
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
وأن أمام واضعي القوانين مهمة صعبة
ذات اختيارات مستحيلة.
ذات اختيارات مستحيلة.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
وهذا سيساعدنا كمجتمع على أن نفهم
أنواع المقايضات
أنواع المقايضات
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
التس سيتم تطبيقها في النهاية في القوانين.
11:02
And indeed, I was very happy to hear
209
650040
1736
وبالفعل، كنت سعيدا جدا حينما سمعت
11:03
that the first set of regulations
210
651800
2016
بأن الدفعة الأول من القوانين
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
التي صدرت عن هيئة المواصلات --
11:08
announced last week --
212
656000
1376
أُعلِن عنها الأسبوع الماضي --
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
تتضمن لائحة من 15 نقطة
على كل مصنعي السيارات توفيرها،
على كل مصنعي السيارات توفيرها،
11:16
and number 14 was ethical consideration --
214
664000
3256
والنقطة رقم 14 كانت ذات اعتبار أخلاقي --
11:19
how are you going to deal with that.
215
667280
1720
كيف ستقوم بالتعامل مع هذا.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
لقد جعلنا الناس يفكرون في قراراتهم الخاصة
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
من خلال إعطائهم ملخصات عما اختاروه.
11:30
I'll give you one example --
218
678440
1656
سأعطيكم مثالًا --
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
وعلي أن أحذركم
أن هذا ليس مثالا اعتدتم عليه،
أن هذا ليس مثالا اعتدتم عليه،
11:35
your typical user.
220
683680
1376
كمستعمل اعتيادي
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
هذه هي الشخصية التي يتم إنقاذها بكثرة
وهذه هي التي يتم التضحية بها
وهذه هي التي يتم التضحية بها
11:40
(Laughter)
222
688720
5200
(ضحك)
11:46
Some of you may agree with him,
223
694680
1896
قد يتفق بعضكم معه،
11:48
or her, we don't know.
224
696600
1640
أو معها، لا ندري.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
لكن يبدو أن هذا الشخص يفضل
قليلا الركاب على الراجلين
قليلا الركاب على الراجلين
11:58
in their choices
226
706640
2096
في اختياره
12:00
and is very happy to punish jaywalking.
227
708760
2816
وهو سعيد بأن يعاقب
كل من لا يحترم إشارة المرور .
كل من لا يحترم إشارة المرور .
12:03
(Laughter)
228
711600
3040
(ضحك)
12:09
So let's wrap up.
229
717320
1216
إذن لنلخص ما سبق.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
فقد بدأنا بسؤال --
لنسمه المعضلة الأخلاقية --
لنسمه المعضلة الأخلاقية --
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
ما الذي يجب على السيارة أن تقوم به
في حالة معينة:
في حالة معينة:
12:17
swerve or stay?
232
725080
1200
أن تنحرف أو لا؟
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
لكن بعدها أدركنا أن المشكل كان مختلفًا.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
كان المشكل عن كيفية جعل المجتمع
يوافق ويفرض
يوافق ويفرض
12:26
the trade-offs they're comfortable with.
235
734560
1936
المقايضات التي يرتاح لها.
12:28
It's a social dilemma.
236
736520
1256
هذه معضلة اجتماعية.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
في الأربعينيات، كتب إسحاق عظيموف
قوانينه الشهيرة عن الروبوتات --
قوانينه الشهيرة عن الروبوتات --
12:34
the three laws of robotics.
238
742840
1320
قوانين الروبوتات الثلاث --
12:37
A robot may not harm a human being,
239
745240
2456
الروبوت لن يضر الإنسان،
12:39
a robot may not disobey a human being,
240
747720
2536
الروبوت لن يعصي الإنسان،
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
ولن يسمح الروبوت لنفسه بأن يأتي الضرر --
12:45
in this order of importance.
242
753560
1960
بهذا التسلسل حسب الأهمية.
12:48
But after 40 years or so
243
756360
2136
لكن بعد 40 سنة ونيف
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
وبعد العديد من القصص التي دفعت
هذه القوانين لتظهر ضعفها،
هذه القوانين لتظهر ضعفها،
12:54
Asimov introduced the zeroth law
245
762280
3696
قدم عظيموف القانون الصفري للترموديناميك
12:58
which takes precedence above all,
246
766000
2256
والذي كانت له الأولوية قبل كل شيء،
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
وهي أن الروبوت لن يضر الإنسانية جمعاء.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
لست أدري ما الذي يعنيه هذا
في سياق السيارات ذاتية القيادة
في سياق السيارات ذاتية القيادة
13:08
or any specific situation,
249
776880
2736
أو أي حالة معينة،
13:11
and I don't know how we can implement it,
250
779640
2216
ولست أدري كيف يمكننا تطبيق هذا،
13:13
but I think that by recognizing
251
781880
1536
لكنني أعتقد أنه من خلال الإدراك
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
أن تقنين السيارات ذاتية القيادة
ليس مشكلا تكنولوجيا فقط
ليس مشكلا تكنولوجيا فقط
13:21
but also a societal cooperation problem,
253
789600
3280
ولكنه مشكل تعاون مجتمعي،
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
آمل أن يكون بمقدرونا أن نبدأ على الأقل
في طرح الأسئلة المناسبة
في طرح الأسئلة المناسبة
13:29
Thank you.
255
797200
1216
شكرا لكم.
13:30
(Applause)
256
798440
2920
(تصفيق)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com