TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
لیاد راووان: ماشین‌های خودران چه تصمیم‌های اخلاقی باید بگیرند؟
Filmed:
Readability: 4.4
1,147,381 views
آیا ماشین خودران شما برای نجات جان پنج عابر پیاده، باید شما رو بکشد؟ در این مقدمه درباره چندراهی‌های اجتماعی مربوط به ماشین‌های خودران، لیاد راوان به بررسی این موضوع می‌پردازد که چگونه تکنولوژی اخلاقیات ما را به چالش می‌کشد و تلاش خودش برای جمع‌آوری داده را از مردم واقعی درباره بده-بستانهای اخلاقی که ما مایلیم(و مایل نیستیم) که انجامشان دهیم، توضیح می‌دهد.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
امروز قراره درباره
تکنولوژی و جامعه صحبت کنم.
تکنولوژی و جامعه صحبت کنم.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
دپارتمان حمل و نقل،
در سال گذشته تخمین زد که
در سال گذشته تخمین زد که
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
فقط در آمریکا، ۳۵،۰۰۰ نفر
به علت تصادفات ترافیکی مرده‌اند.
به علت تصادفات ترافیکی مرده‌اند.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
در سراسر جهان هر ساله ۱.۲ میلیون نفر
به خاطر سوانح ترافیکی میمیرند.
به خاطر سوانح ترافیکی میمیرند.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
اگه راهی بود که میتونسیتم باهاش
۹۰ درصد این تصادف‌ها رو حذف کنیم،
۹۰ درصد این تصادف‌ها رو حذف کنیم،
00:37
would you support it?
5
25880
1200
آیا ازش حمایت میکردین؟
00:39
Of course you would.
6
27720
1296
البته که میکردین.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
این چیزیه که تکنولوژی ماشین خودران
( بدونِ راننده) وعده میده که بهش به
( بدونِ راننده) وعده میده که بهش به
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
به وسیله منبع اصلی تصادفات میرسه--
00:47
human error.
9
35560
1200
خطای انسان.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
حالا خودتون رو تصور کنید
که در سال ۲۰۳۰ در یک ماشین خودران نشستید،
که در سال ۲۰۳۰ در یک ماشین خودران نشستید،
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
و دارین این ویدیو قدیمی
TEDxCambrdige رو میبینین.
TEDxCambrdige رو میبینین.
00:58
(Laughter)
12
46840
2000
(خنده حاضرین)
01:01
All of a sudden,
13
49520
1216
ناگهان،
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
ماشین به مشکل مکانیکی میخوره
و نمیتونه متوقف شه.
و نمیتونه متوقف شه.
01:07
If the car continues,
15
55360
1520
اگه ماشین ادامه بده،
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
به عده‌ای از عابرین پیاده
که در حال عبور از خیابان هستند خواهد زد.
که در حال عبور از خیابان هستند خواهد زد.
01:15
but the car may swerve,
17
63080
2135
ولی ممکنه ماشین منحرف بشه،
01:17
hitting one bystander,
18
65239
1857
و به یکی از افراد داخل پیاده رو بزنه،
01:19
killing them to save the pedestrians.
19
67120
2080
و اونا رو برای نجات جان عابران پیاده بکشه.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
ماشین باید چیکار کنه
و چه کسی باید تصمیم بگیره؟
و چه کسی باید تصمیم بگیره؟
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
اگه به جای اینکار
ماشین بتونه به سمت دیوار منحرف شه،
ماشین بتونه به سمت دیوار منحرف شه،
01:29
crashing and killing you, the passenger,
22
77080
3296
و تصادف کنه و شما که سرنشین هستین رو بکشه،
01:32
in order to save those pedestrians?
23
80400
2320
برای نجات اون عابران پیاده، اونوقت چی؟
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
این سناریو
از مشکل قطار برقی الهام گرفته است،
از مشکل قطار برقی الهام گرفته است،
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
که چندین دهه پیش
توسط فلاسفه اختراع شد
توسط فلاسفه اختراع شد
01:42
to think about ethics.
26
90760
1240
تا درباره اخلاق فکر کنند.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
حالا، جوری که ما
به این مساله فکر میکنیم مهمه.
به این مساله فکر میکنیم مهمه.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
مثلا ممکنه اصلاً بهش فکر نکنیم.
01:51
We may say this scenario is unrealistic,
29
99280
3376
ممکنه بگید این سناریو غیر واقعیه،
01:54
incredibly unlikely, or just silly.
30
102680
2320
یا غیر محتمل، یا احمقانه.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
ولی من فکر میکنم این انتقاد
از نکته اصلی غافل میشه
از نکته اصلی غافل میشه
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
چون سناریو رو خیلی سطحی بررسی میکنه.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
البته که هیچ تصادفی این شکلی نیست،
02:06
no accident has two or three options
34
114680
3336
هیچ تصادفی دو یا سه گزینه نداره
02:10
where everybody dies somehow.
35
118040
2000
که توش هرکی به طریقی میمیره.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
به جاش، ماشین میره سراغ حساب کردن
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
چیزی مثل احتمال اصابت به گروهی از مردم،
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
وقتی به جهتی منحرف بشین
نسبت به یک جهت دیگه،
نسبت به یک جهت دیگه،
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
شاید اندکی ریسک رو برای
سرنشینان یا سایر رانندگان
سرنشینان یا سایر رانندگان
02:27
versus pedestrians.
40
135840
1536
نسبت به عابران پیاده زیاد کنین.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
این محاسبات پیچیده‌تر هم خواهد شد،
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
ولی همچنان شامل بده بستان‌هایی خواهد بود،
02:35
and trade-offs often require ethics.
43
143840
2880
و بده بستانها
غالباً نیازمند اخلاقیات هستند.
غالباً نیازمند اخلاقیات هستند.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
ممکنه بگیم،
"خب، بیا نگران این مساله نباشیم.
"خب، بیا نگران این مساله نباشیم.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
بیاین صبر کنیم تا تکنولوژی
کاملاً آماده و صد درصد امن بشه."
کاملاً آماده و صد درصد امن بشه."
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
فرض کنید ما بتونیم
واقعاً ۹۰ درصد این تصادفات رو حذف کنیم،
واقعاً ۹۰ درصد این تصادفات رو حذف کنیم،
02:53
or even 99 percent in the next 10 years.
47
161080
2840
یا حتی ۹۹ درصدشون رو طی ۱۰ سال آینده.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
اگه حذف کردن اون ۱ درصدِ
باقی مونده از تصادفات
باقی مونده از تصادفات
03:00
requires 50 more years of research?
49
168120
3120
به ۵۰ سال تحقیق نیاز داشته باشه،
اونوقت تکلیف چیه؟
اونوقت تکلیف چیه؟
03:04
Should we not adopt the technology?
50
172400
1800
آیا باید قید این تکنولوژی رو بزنیم؟
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
که یعنی ۶۰ میلیون مرگ در تصادفات رانندگی
03:11
if we maintain the current rate.
52
179520
1760
اگر که با همین نرخ تصادفات پیش بریم.
03:14
So the point is,
53
182760
1216
منظورم اینه که،
03:16
waiting for full safety is also a choice,
54
184000
3616
صبر کردن برای رسیدن به ایمنی کامل
یک گزینه هست،
یک گزینه هست،
03:19
and it also involves trade-offs.
55
187640
2160
ولی بده-بستانهای خودش رو داره.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
مردم در رسانه‌های اجتماعی
به انواع مختلفی از روش‌ها رسیدن که
به انواع مختلفی از روش‌ها رسیدن که
03:27
to not think about this problem.
57
195920
2016
به این مشکل فکر نکنیم.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
یه نفر پیشنهاد داده بود که
ماشین باید به سمتی منحرف بشه
ماشین باید به سمتی منحرف بشه
03:33
in between the passengers --
59
201200
2136
که ماشین بخوره به جایی بین سرنشین‌ها --
03:35
(Laughter)
60
203360
1016
(خنده حاضرین)
03:36
and the bystander.
61
204400
1256
و عابر پیاده.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
البته اگه این کاریه که ماشین میتونه بکنه،
باید همین کار رو بکنه.
باید همین کار رو بکنه.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
ولی ما درباره سناریو‌هایی کنجکاویم
که نمیشه این کار رو کرد.
که نمیشه این کار رو کرد.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
و راه مورد علاقه خودم
پیشنهاد یک بلاگ‌نویس هستش
پیشنهاد یک بلاگ‌نویس هستش
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
که داخل ماشین یک دکمه پرتاب به بیرون باشه
که فشارش بدین --
که فشارش بدین --
03:53
(Laughter)
66
221760
1216
(خنده حاضرین)
03:55
just before the car self-destructs.
67
223000
1667
درست قبل از خود نابودسازی ماشین.
03:56
(Laughter)
68
224691
1680
(خنده حاضرین)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
پس اگه ما قبول کنیم که ماشین‌ها
بده-بستان‌هایی رو در جاده خواهند داشت،
بده-بستان‌هایی رو در جاده خواهند داشت،
04:06
how do we think about those trade-offs,
70
234200
1880
تکلیف این بده بستانها چیه،
04:09
and how do we decide?
71
237320
1576
و چطور تصمیم میگیریم؟
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
خب، شاید باید یه نظرسنجی برگزار کنیم
تا ببینیم جامعه چی میخواد،
تا ببینیم جامعه چی میخواد،
04:14
because ultimately,
73
242080
1456
چون در نهایت،
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
قوانین و مقررات
بازتابی از ارزش‌های اجتماعی هستند.
بازتابی از ارزش‌های اجتماعی هستند.
04:20
So this is what we did.
75
248040
1240
ما هم همین کارو کردیم.
04:21
With my collaborators,
76
249880
1616
با همکارانم،
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
عظیم شریف و ژان-فرانیوا بونفون
04:25
we ran a survey
78
253880
1616
یک نظرسنجی برگزار کردیم
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
که توش به مردم
این سناریوها رو نشون میدادیم.
این سناریوها رو نشون میدادیم.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
بهشون دوتا حق انتخاب میدادیم که
الهام گرفته از دو فیلسوف بودن:
الهام گرفته از دو فیلسوف بودن:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
امانوئل کانت و جرمی بنتهام.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
بنتهام میگه که ماشین
باید از اخلاق سودگرایانه پیروی کنه:
باید از اخلاق سودگرایانه پیروی کنه:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
باید کاری کنه که مجموعِ ضرر کمینه بشه --
04:44
even if that action will kill a bystander
84
272160
2816
حتی اگه این کار
باعث کشته شدن یک عابر پیاده بشه
باعث کشته شدن یک عابر پیاده بشه
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
حتی اگه این کار یک سرنشین رو بکشه.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
امانوئل کانت میگه ماشین باید
از اصول تکلیفی پیروی کنه،
از اصول تکلیفی پیروی کنه،
04:55
like "Thou shalt not kill."
87
283120
1560
مثل فرمان "نباید به قتل برسانی."
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
پس شما نباید کاری کنین که به صراحت
به یک انسان آسیب بزنین،
به یک انسان آسیب بزنین،
05:01
and you should let the car take its course
89
289960
2456
و باید بذارین که ماشین به مسیرش ادامه بده
05:04
even if that's going to harm more people.
90
292440
1960
حتی اگه به مردم بیشتری آسیب بزنه.
05:07
What do you think?
91
295640
1200
شما نظرتون چیه؟
05:09
Bentham or Kant?
92
297360
1520
بنتهام درست میگه یا کانت؟
05:11
Here's what we found.
93
299760
1256
ما به این نتیجه رسیدیم.
05:13
Most people sided with Bentham.
94
301040
1800
بیشتر مردم میگن بنتهام.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
به نظر میرسه مردم میخوان که ماشین
سودمندگرا باشه،
سودمندگرا باشه،
05:19
minimize total harm,
96
307960
1416
مجموع ضرر رو کمینه کنه،
05:21
and that's what we should all do.
97
309400
1576
و این کاریه که همه باید بکنیم.
05:23
Problem solved.
98
311000
1200
مشکل حل شد.
05:25
But there is a little catch.
99
313240
1480
ولی یک گیر کوچیک اینجا هست.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
وقتی ما از مردم پرسیدیم که
آیا شما اینجور ماشین‌ها رو میخرین،
آیا شما اینجور ماشین‌ها رو میخرین،
05:31
they said, "Absolutely not."
101
319680
1616
گفتن: "قطعا نه."
05:33
(Laughter)
102
321320
2296
(خنده حاضرین)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
مردم میخوان ماشین‌ها رو بخرن که
تحت هر شرایطی ازشون محافظت کنه،
تحت هر شرایطی ازشون محافظت کنه،
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
ولی میخوان بقیه ماشینی رو بخرن که
ضرر رو کمینه کنه.
ضرر رو کمینه کنه.
05:43
(Laughter)
105
331200
2520
(خنده حاضرین)
05:46
We've seen this problem before.
106
334720
1856
ما این مشکل رو قبلاً هم دیده‌ایم.
05:48
It's called a social dilemma.
107
336600
1560
بهش میگن دوراهی اجتماعی.
و برای اینکه دوراهی اجتماعی رو درک کنین،
05:51
And to understand the social dilemma,
108
339160
1816
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
باید در تاریخ یه ذره به عقب برگردیم.
05:56
In the 1800s,
110
344000
2576
حدود سال ۱۸۰۰ میلادی،
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
اقتصاددان انگلیسی ویلیام فورستر للوید
رساله‌ای رو منتشر کرد
رساله‌ای رو منتشر کرد
06:02
which describes the following scenario.
112
350360
2216
که این سناریوها رو توش توضیح میداد.
06:04
You have a group of farmers --
113
352600
1656
فرض کنید گروهی از چوپان‌ها دارین --
06:06
English farmers --
114
354280
1336
چوپان‌های انگلیسی --
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
که زمین مشترکی
برای چروندن گوسفنداشون دارن.
برای چروندن گوسفنداشون دارن.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
حالا، اگه هر چوپان
تعداد مشخصی گوسفند بیاره --
تعداد مشخصی گوسفند بیاره --
06:14
let's say three sheep --
117
362120
1496
مثلاً هرکی ۳ تا گوسفند --
06:15
the land will be rejuvenated,
118
363640
2096
زمین سالم میمونه و کاریش نمیشه،
06:17
the farmers are happy,
119
365760
1216
چوپان‌ها خوشحالن،
06:19
the sheep are happy,
120
367000
1616
گوسفند‌ها خوشحالن،
06:20
everything is good.
121
368640
1200
همه چی خوبه.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
حالا اگه یکی از چوپان‌ها
یه گوسفند اضافی بیاره،
یه گوسفند اضافی بیاره،
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
اون چوپان یکم وضعش بهتر میشه،
و هیچکس ضرر نمیکنه.
و هیچکس ضرر نمیکنه.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
ولی اگه همه چوپان‌ها این تصمیم فردی رو
که برای هرکدومشون منطقیه بگیرن،
که برای هرکدومشون منطقیه بگیرن،
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
زمین بیش از اندازه بهش فشار میاد،
و خراب میشه.
و خراب میشه.
06:39
to the detriment of all the farmers,
126
387360
2176
چوپان‌ها ضرر میکنن،
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
و البته گوسفند‌ها هم ضرر میکنن.
06:44
We see this problem in many places:
128
392720
3680
این مشکل رو خیلی جاها میبینیم:
06:49
in the difficulty of managing overfishing,
129
397080
3176
مشکل حل ماهیگیری بیش از اندازه،
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
یا کاهش انتشار کربن،
برای کند کردن روند تغییرات اقلیمی.
برای کند کردن روند تغییرات اقلیمی.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
وقتی این مشکل به مقررات
ماشین‌های بدون راننده(خودران) میرسه،
ماشین‌های بدون راننده(خودران) میرسه،
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
زمین مشترک برای چَرا
همون امنیت عمومی میشه --
همون امنیت عمومی میشه --
07:07
that's the common good --
133
415440
1240
که ارزش مشترک هست --
07:09
and the farmers are the passengers
134
417400
1976
و چوپان‌ها همون سرنشین‌ها میشن
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
یا صاحبان ماشین‌ها که دارن رانندگی میکنن.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
و تصمیم فردی عاقلانه
07:19
of prioritizing their own safety,
137
427600
2816
که اولیت دادن به امنیت خود شخص هست،
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
ممکنه به صورت جمعی در حال
تخریب مال مشترکشون(زمین چَرا) باشن،
تخریب مال مشترکشون(زمین چَرا) باشن،
07:25
which is minimizing total harm.
139
433600
2200
که کمینه کردن کل ضرر هست.
07:30
It's called the tragedy of the commons,
140
438320
2136
بهش میگن تراژدی اشتراکها،
07:32
traditionally,
141
440480
1296
به طور سنتی،
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
ولی من فکر میکنم در مورد
ماشین‌های بدون راننده(خودران)،
ماشین‌های بدون راننده(خودران)،
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
شاید مشکل یه ذره ظریف‌تر باشه
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
چون حتماً اونی که تصمیم رو میگیره،
07:43
making those decisions.
145
451320
1696
یک انسان نیست.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
ممکنه سازندگان ماشین
خودرو‌ها رو طوری برنامه‌ریزی کنن،
خودرو‌ها رو طوری برنامه‌ریزی کنن،
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
که امنیت مشتریانشون رو بیشینه کنه،
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
و اون ماشین‌ها شاید خودشون یاد بگیرن که
به صورت اتوماتیک
به صورت اتوماتیک
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
انجام این کار خطراتی رو
برای عابرین پیاده داره.
برای عابرین پیاده داره.
07:59
So to use the sheep metaphor,
150
467520
1416
مثلاً توی مثال گوسفند‌ها،
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
یک گوسفند الکتریکی داشته باشیم
که ذهن خودش رو داره.
که ذهن خودش رو داره.
08:04
(Laughter)
152
472600
1456
(خنده حاضرین)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
و گوسفند‌ها شاید برن و بِچرند
در حالی که چوپان نمیدونه.
در حالی که چوپان نمیدونه.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
این چیزیه که اسمش رو میذاریم
تراژدی اشتراکات الگورتیمی،
تراژدی اشتراکات الگورتیمی،
08:14
and if offers new types of challenges.
155
482640
2360
که چالش‌های جدیدی رو در خودش داره.
08:22
Typically, traditionally,
156
490520
1896
معمولاً و به طور سنتی،
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
ما این نوع دوراهی‌های اجتماعی رو
با استفاده از مقررات حل میکنیم،
با استفاده از مقررات حل میکنیم،
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
پس حکومت‌ها یا جوامع گِرد هم میان،
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
و تصمیم میگیرن که چه نتیجه‌ای رو میخوان،
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
و چه محدودیت‌هایی روی
رفتارهای فردی
رفتارهای فردی
08:37
they need to implement.
161
505000
1200
باید اعمال کنند.
08:39
And then using monitoring and enforcement,
162
507600
2616
و بعدش با استفاده از نظارت و الزام،
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
میتونن مطمئن شن که منافع عمومی حفظ میشه.
08:45
So why don't we just,
164
513440
1575
پس چرا نیایم،
08:47
as regulators,
165
515039
1496
به عنوان قانون گذاران،
08:48
require that all cars minimize harm?
166
516559
2897
بخوایم که همه ماشین‌ها ضرر رو کمینه کنن؟
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
به هرحال، این چیزیه که همه
ادعا میکنن میخوانش.
ادعا میکنن میخوانش.
08:55
And more importantly,
168
523200
1416
و مهمتر از اون،
08:56
I can be sure that as an individual,
169
524640
3096
مطمئناً منِ نوعی،
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
اگه یه ماشین بخرم که ممکن باشه
من رو در یه حالت خیلی خاص قربانی کنه،
من رو در یه حالت خیلی خاص قربانی کنه،
09:03
I'm not the only sucker doing that
171
531640
1656
من تنها احمقی نیستم که این کار رو میکنه
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
در حالی که بقیه از
محافظت بی‌قید و شرط لذت میبرن.
محافظت بی‌قید و شرط لذت میبرن.
در نظرسنجی ما، از مردم پرسیدیم که آیا
از قانون گذاری حمایت میکنن یا نه
از قانون گذاری حمایت میکنن یا نه
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
09:12
and here's what we found.
174
540480
1200
و به این نتایج رسیدیم.
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
اول از همه، مردم به قانون گذاری نه گفتند.
09:19
and second, they said,
176
547280
1256
و دوم، اونا گفتن
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"خب اگه شما برای ماشین‌ها قانون بذارین
که این کار رو بکنن و ضرر رو کمینه کنن،
که این کار رو بکنن و ضرر رو کمینه کنن،
09:24
I will not buy those cars."
178
552520
1480
من اون ماشین‌ها رو نمیخرم."
09:27
So ironically,
179
555400
1376
پس به طرز مسخره‌ای،
09:28
by regulating cars to minimize harm,
180
556800
3496
با قانون‌گذاری برای ماشین‌ها
برای کمینه کردن ضرر،
برای کمینه کردن ضرر،
09:32
we may actually end up with more harm
181
560320
1840
ما بیشتر ضرر میکنیم!
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
چون مردم نمیخوان که
از تکنولوژی امن‌تر استفاده کنن
از تکنولوژی امن‌تر استفاده کنن
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
حتی اگه خیلی خیلی امن‌تر از
رانندگان انسانی باشه.
رانندگان انسانی باشه.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
من جواب نهایی این معما رو نمیدونم،
09:45
but I think as a starting point,
185
573800
1576
ولی فکر میکنم به عنوان یک نقطه شروع،
09:47
we need society to come together
186
575400
3296
ما لازم داریم که همه جمع شیم،
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
تا تصمیم بگیریم که چه بده-بستون‌هایی
رو باهاش کنار میایم
رو باهاش کنار میایم
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
و به راه‌هایی برسیم که
بتونیم اون بده-بستون‌ها رو اجرایی کنیم.
بتونیم اون بده-بستون‌ها رو اجرایی کنیم.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
به عنوان یک نقطه شروع،
دانشجویان فوق‌العاده من،
دانشجویان فوق‌العاده من،
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
ادموند اواد و سوهن دئسوزا.
10:03
built the Moral Machine website,
191
591560
1800
سایت ماشین با اخلاق رو ساختند،
10:06
which generates random scenarios at you --
192
594200
2680
-- که سناریوهای تصادفی
برای شما تولید میکنه
برای شما تولید میکنه
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
اساساً دنباله‌ای از تعدادی مساله تصادفی
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
که شما باید تصمیم بگیرین که ماشین
در سناریو گفته شده چه کار باید بکنه.
در سناریو گفته شده چه کار باید بکنه.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
و ما حتی سن و نوع قربانی‌ها رو عوض میکنیم.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
تا اینجا ما بیش از ۵ میلیون تصمیم
از این سایت برای این سناریوها جمع کردیم
از این سایت برای این سناریوها جمع کردیم
10:26
by over one million people worldwide
197
614760
2200
توسط یک میلیون نفر در سرتاسر جهان
10:30
from the website.
198
618400
1200
و این کمک میکنه که
یک تصویر ابتدایی داشته باشیم
یک تصویر ابتدایی داشته باشیم
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
از اینکه مردم
با چه بده-بستان‌هایی کنار میان
با چه بده-بستان‌هایی کنار میان
10:37
and what matters to them --
201
625440
1896
و چه چیزهایی براشون مهمه --
10:39
even across cultures.
202
627360
1440
حتی در فرهنگ‌های مختلف.
10:42
But more importantly,
203
630240
1496
ولی مهمتر از این،
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
انجام این کار،
به مردم کمک میکنه که
به مردم کمک میکنه که
10:47
the difficulty of making those choices
205
635160
2816
دشوار این تصمیم گرفتن‌ها رو بشناسن
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
و اینکه قانون‌گذاران
با تصمیم‌های غیرممکن روبرو هستند.
با تصمیم‌های غیرممکن روبرو هستند.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
و شاید این به ما به عنوان یک جامعه کمک کنه
انواع بده-بستانها رو درک کنیم
انواع بده-بستانها رو درک کنیم
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
که بالاخره در مقررات به کار خواهد رفت.
11:02
And indeed, I was very happy to hear
209
650040
1736
و در واقع، من خیلی خوشحالم که میشنوم
11:03
that the first set of regulations
210
651800
2016
اولین مجموعه قوانین و مقرارت
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
توسط وزارت حمل و نقل --
11:08
announced last week --
212
656000
1376
هفته پیش اعلام شد --
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
شامل یک چک لیست ۱۵ امتیازی
برای تمام خودروسازان،
برای تمام خودروسازان،
11:16
and number 14 was ethical consideration --
214
664000
3256
و شماره ۱۴ یک ملاحظه اخلاقی بود --
11:19
how are you going to deal with that.
215
667280
1720
با آن چطوری کنار خواهید آمد.
همچنین ما افرادی رو داریم که
با دادن خلاصه‌‌ای از آنچه انتخاب کرده‌اند
با دادن خلاصه‌‌ای از آنچه انتخاب کرده‌اند
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
تصمیماتشون رو بازتاب میدن.
11:30
I'll give you one example --
218
678440
1656
بهتون یک مثال نشون میدم --
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
فقط بهتون هشدار میدم که
این یک مثال عادی نیست،
این یک مثال عادی نیست،
11:35
your typical user.
220
683680
1376
یا کاربر عادی.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
این مثال بیشترین قربانی و بیشترین نجات
توسط این آدم رو نشون میده.
توسط این آدم رو نشون میده.
11:40
(Laughter)
222
688720
5200
(خنده حاضرین)
بعضی از شما شاید
با نظر این مرد موافق باشین،
با نظر این مرد موافق باشین،
11:46
Some of you may agree with him,
223
694680
1896
11:48
or her, we don't know.
224
696600
1640
یا شایدم نظر این زن، نمیدونم.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
ولی به نظر میرسه این فرد
یکم سرنشین‌ها رو نسبت به عابرین پیاده
یکم سرنشین‌ها رو نسبت به عابرین پیاده
11:58
in their choices
226
706640
2096
توی انتخاب‌هاش ترجیح میده
12:00
and is very happy to punish jaywalking.
227
708760
2816
و از تنبیه کردن عابرین داخل
خیابون خوشحال میشه.
خیابون خوشحال میشه.
12:03
(Laughter)
228
711600
3040
(خنده حاضرین)
12:09
So let's wrap up.
229
717320
1216
حالا بیاین جمع بندی کنیم.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
ما با یک سوال که اسمش رو
دوراهی اخلاقی میذاریم، شروع کردیم --
دوراهی اخلاقی میذاریم، شروع کردیم --
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
که ماشین توی سناریو خاص چه کار باید بکنه:
12:17
swerve or stay?
232
725080
1200
منحرف بشه یا ادامه بده؟
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
ولی بعدش فهمیدیم که این مساله دیگه‌ای بود.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
مساله، هم‌نظر کردن جامعه
و اجرای بده-بستان‌هایی بود
و اجرای بده-بستان‌هایی بود
12:26
the trade-offs they're comfortable with.
235
734560
1936
که جامعه باهاش کنار میاد.
12:28
It's a social dilemma.
236
736520
1256
که یک معمای اجتماعی هست.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
در سال ۱۹۴۰، ایزاک آسیموف
قوانین مشهورش برای ربات‌ها را نوشت --
قوانین مشهورش برای ربات‌ها را نوشت --
12:34
the three laws of robotics.
238
742840
1320
سه قانون برای ربات‌ها.
12:37
A robot may not harm a human being,
239
745240
2456
ربات نباید به انسان آسیب بزنه،
12:39
a robot may not disobey a human being,
240
747720
2536
ربات نباید از انسان سرپیچی کنه،
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
و ربات نباید به خودش اجازه بده
که آسیب بزنه --
که آسیب بزنه --
12:45
in this order of importance.
242
753560
1960
به ترتیب اهمیت از اول به سوم.
12:48
But after 40 years or so
243
756360
2136
ولی بعد از گذشت حدود ۴۰ سال
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
و بعد داستان‌های زیادی که
به این قوانین فشار آوردن،
به این قوانین فشار آوردن،
12:54
Asimov introduced the zeroth law
245
762280
3696
آسیموف قانون صفرم رو مطرح کرد
12:58
which takes precedence above all,
246
766000
2256
که بر هر سه قانون قبلی تقدم داره،
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
و اون این بود که ربات نباید به
کلیت انسان‌ها آسیب بزنه.
کلیت انسان‌ها آسیب بزنه.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
من نمیدونم مصداق این قانون در زمینه
ماشین‌های خودران چی میشه
ماشین‌های خودران چی میشه
13:08
or any specific situation,
249
776880
2736
یا هر حالت خاصی،
13:11
and I don't know how we can implement it,
250
779640
2216
و نمیدونم که ما چطوری میخوایم اجراش کنیم،
13:13
but I think that by recognizing
251
781880
1536
ولی فکر میکنم که با فهمیدنِ اینکه
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
مقررات ماشین‌های خودران تنها
یک مساله مرتبط با تکنولوژی نیست
یک مساله مرتبط با تکنولوژی نیست
13:21
but also a societal cooperation problem,
253
789600
3280
و یک مساله همکاری اجتماعی هم هست،
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
میتونم امیدوار باشم که حداقل شروع به
پرسیدن سوالات درست کنیم.
پرسیدن سوالات درست کنیم.
13:29
Thank you.
255
797200
1216
سپاس گزارم.
13:30
(Applause)
256
798440
2920
(تشویق حاضرین)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com