TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Iyad Rahwan: Milyen morális döntéseket kell a vezető nélküli autóknak hozniuk?
Filmed:
Readability: 4.4
1,147,381 views
Megölje-e önt a vezető nélküli autó, ha ezzel megmentheti öt gyalogos életét? A vezető nélküli autó által fölvetett társadalmi dilemmák bevezetéseként Iyad Rahwan bemutatja, hogy a technológia miként teszi próbára erkölcsi tartásunkat, és elmagyarázza munkáját, amelynek során adatokat gyűjtöttek arról, hogy az emberek milyen erkölcsi kompromisszumokra képesek (vagy nem képesek).
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Ma a technológiáról
és a társadalomról fogok beszélni.
és a társadalomról fogok beszélni.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
A Közlekedési Minisztérium
2015-ös adata szerint
2015-ös adata szerint
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
csupán az USA-ban 35 000 fő
halt meg közlekedési balesetben.
halt meg közlekedési balesetben.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
A világon ugyanezen okból 1,2 milliónyian.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
Ha mód lenne a balesetek
90%-ának elkerülésére,
90%-ának elkerülésére,
00:37
would you support it?
5
25880
1200
támogatnák-e?
00:39
Of course you would.
6
27720
1296
Nyilvánvalóan igen.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
A vezető nélküli autó
technológiája erre ad reményt,
technológiája erre ad reményt,
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
mert megszünteti a fő baleseti forrást,
00:47
human error.
9
35560
1200
az emberi hibát.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Képzeljük el magunkat a 2030-as évek
vezető nélküli autójában,
vezető nélküli autójában,
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
amint hátuljában nézzük
a TEDxCambridge ősrégi videóját.
a TEDxCambridge ősrégi videóját.
00:58
(Laughter)
12
46840
2000
(Nevetés)
01:01
All of a sudden,
13
49520
1216
Az autó váratlanul
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
műszaki hibát észlel,
de képtelen megállni.
de képtelen megállni.
01:07
If the car continues,
15
55360
1520
Ha továbbhalad,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
elüt egy csomó, zebrán átkelő gyalogost,
01:15
but the car may swerve,
17
63080
2135
de elkanyarodhat,
01:17
hitting one bystander,
18
65239
1857
s így egy bámészkodót gázol halálra,
01:19
killing them to save the pedestrians.
19
67120
2080
s ezzel megóvja a gyalogosokat.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
Mit tegyen a kocsi, és ki döntsön róla?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
De mi lenne, ha falba csapódna,
01:29
crashing and killing you, the passenger,
22
77080
3296
s ezzel önt, az utast ölné meg,
01:32
in order to save those pedestrians?
23
80400
2320
hogy a gyalogosokat mentse meg?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
E feladványt az ún.
villamoskocsi-dilemma ihlette,
villamoskocsi-dilemma ihlette,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
amelyet filozófusok pár évtizede
erkölcsi döntésre gondoltak ki.
01:42
to think about ethics.
26
90760
1240
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
Fontos, miként oldjuk meg a dilemmát.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
De azt is lehet, hogy nem törődünk vele.
01:51
We may say this scenario is unrealistic,
29
99280
3376
Mondhatjuk, hogy a feladvány nem reális,
01:54
incredibly unlikely, or just silly.
30
102680
2320
teljesen valószínűtlen és ostobaság.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
De a kritika szem elől
téveszti a lényeget,
téveszti a lényeget,
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
mert szó szerint veszi a feladványt.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
Igaz, hogy ilyen baleset nem történik,
02:06
no accident has two or three options
34
114680
3336
nem szokott két-három
választási lehetőség adódni,
választási lehetőség adódni,
02:10
where everybody dies somehow.
35
118040
2000
ahol valaki mindenképp meghal.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Az autó valamit ki fog számolni,
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
pl. mennyi valamely embercsoportba
való csapódás valószínűsége,
való csapódás valószínűsége,
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
ha egyik vagy másik irányba kanyarodik,
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
kissé növelhető az utasok
vagy idegen vezetők kockázata
vagy idegen vezetők kockázata
02:27
versus pedestrians.
40
135840
1536
a gyalogosokéhoz képest.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
A számítás elég bonyolult lesz,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
de a kompromisszum benne lesz,
02:35
and trade-offs often require ethics.
43
143840
2880
és a kompromisszum
gyakran erkölcsi kérdés.
gyakran erkölcsi kérdés.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
Mondhatják: "Ne törődjünk vele, várjuk ki,
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
amíg a technológia 100%-osan
fejlett és biztonságos nem lesz."
fejlett és biztonságos nem lesz."
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
Tegyük föl, hogy 10 éven belül valóban
kiküszöbölhetjük a balesetek 90%-át,
kiküszöbölhetjük a balesetek 90%-át,
02:53
or even 99 percent in the next 10 years.
47
161080
2840
vagy akár 99%-ukat.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
Mi van, ha az utolsó
százalék kiküszöbölése
százalék kiküszöbölése
03:00
requires 50 more years of research?
49
168120
3120
további 50 kutatói évet igényel?
03:04
Should we not adopt the technology?
50
172400
1800
Addig ne vezessük be a technológiát?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
A jelenlegi arányok mellett
03:11
if we maintain the current rate.
52
179520
1760
ez 60 millió halott.
03:14
So the point is,
53
182760
1216
A lényeg:
03:16
waiting for full safety is also a choice,
54
184000
3616
a teljes biztonság kivárása is lehetőség,
03:19
and it also involves trade-offs.
55
187640
2160
s ennek ára is kompromisszum.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
A közösségi oldalakon rengeteg az ötlet,
03:27
to not think about this problem.
57
195920
2016
hogyan kerüljük el e konfliktust.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Valaki azt javasolta, hogy az autó
03:33
in between the passengers --
59
201200
2136
valahogy szlalomozzon a gyalogosok...
03:35
(Laughter)
60
203360
1016
(Nevetés)
03:36
and the bystander.
61
204400
1256
és a bámészkodó között.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
Persze, ha nincs más lehetőség,
az autó így fog tenni.
az autó így fog tenni.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
De minket azok a változatok
érdekelnek, ahol ez nem lehetséges.
érdekelnek, ahol ez nem lehetséges.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
Kedvencem az egyik blogger ötlete,
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
hogy legyen katapultáló gomb
az autóban, amelyet megnyomunk...
az autóban, amelyet megnyomunk...
03:53
(Laughter)
66
221760
1216
(Nevetés)
mielőtt az autó
megsemmisítené magát.
megsemmisítené magát.
03:55
just before the car self-destructs.
67
223000
1667
03:56
(Laughter)
68
224691
1680
(Nevetés)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Ha elfogadjuk, hogy az autóknak
kompromisszumokat kell kötniük
kompromisszumokat kell kötniük
04:06
how do we think about those trade-offs,
70
234200
1880
mit tartunk róluk,
04:09
and how do we decide?
71
237320
1576
és ki fog dönteni?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
Tán kutatást kellene végeznünk,
hogy mit akar a társadalom,
hogy mit akar a társadalom,
04:14
because ultimately,
73
242080
1456
mert végül is,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
a szabályozások és törvények
a társadalmi értékekhez igazodnak.
a társadalmi értékekhez igazodnak.
04:20
So this is what we did.
75
248040
1240
Ezt tettük.
04:21
With my collaborators,
76
249880
1616
Munkatársaimmal,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Jean-François Bonnefonnal
és Azim Shariff-fal,
és Azim Shariff-fal,
04:25
we ran a survey
78
253880
1616
kutatást végeztünk,
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
amelyben az emberek elé
tártuk a lehetőségeket.
tártuk a lehetőségeket.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Két filozófus, Jeremy Bentham
és Immanuel Kant alapján
két lehetőséget adtunk meg.
két lehetőséget adtunk meg.
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
Bentham szerint az autónak
haszonelvű etikát kell követnie:
haszonelvű etikát kell követnie:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
úgy kell tennie, hogy csak
minimális kár keletkezzék,
minimális kár keletkezzék,
04:44
even if that action will kill a bystander
84
272160
2816
még ha a bámészkodó meghal is,
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
és még ha miatta meghal egy utas.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
Immanuel Kant szerint az autónak
kötelességelvű etikát kell követnie:
kötelességelvű etikát kell követnie:
04:55
like "Thou shalt not kill."
87
283120
1560
pl, a "Ne ölj!" elvét.
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
Nem szabad olyat tenni,
ami kárt okoz egy emberi lénynek,
ami kárt okoz egy emberi lénynek,
05:01
and you should let the car take its course
89
289960
2456
s hagyni kell, hogy a kocsi csak menjen,
05:04
even if that's going to harm more people.
90
292440
1960
még ha több embert megsebesít is.
05:07
What do you think?
91
295640
1200
Önök mit gondolnak?
05:09
Bentham or Kant?
92
297360
1520
Bentham vagy Kant?
05:11
Here's what we found.
93
299760
1256
Mi az eredmény?
05:13
Most people sided with Bentham.
94
301040
1800
A legtöbben Benthamot támogatták.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Úgy látszik, az emberek
inkább haszonelvűek,
inkább haszonelvűek,
05:19
minimize total harm,
96
307960
1416
minimalizálják a teljes kárt,
05:21
and that's what we should all do.
97
309400
1576
és ezt kell tennünk.
05:23
Problem solved.
98
311000
1200
A kérdés megoldva.
05:25
But there is a little catch.
99
313240
1480
De van egy kis bökkenő.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Amikor azt kérdeztük:
"Vennének-e ilyen autót?",
"Vennének-e ilyen autót?",
05:31
they said, "Absolutely not."
101
319680
1616
határozott nemmel válaszoltak.
05:33
(Laughter)
102
321320
2296
(Nevetés)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Olyan kocsit vennének,
amely mindenáron megvédi őket,
amely mindenáron megvédi őket,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
ám azt akarják, hogy mások csakis
a kárt minimalizálót vegyenek.
a kárt minimalizálót vegyenek.
05:43
(Laughter)
105
331200
2520
(Nevetés)
05:46
We've seen this problem before.
106
334720
1856
Már találkoztunk ezzel a problémával:
05:48
It's called a social dilemma.
107
336600
1560
ez a társadalmi dilemma.
05:51
And to understand the social dilemma,
108
339160
1816
A társadalmi dilemma megértéséhez
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
egy kissé menjünk vissza a történelemben.
05:56
In the 1800s,
110
344000
2576
Az 1800-as években
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
William Forster Lloyd angol közgazdász
az alábbi tartalmú vitairatot
jelentette meg.
jelentette meg.
06:02
which describes the following scenario.
112
350360
2216
06:04
You have a group of farmers --
113
352600
1656
Gazdák egy csoportja –
06:06
English farmers --
114
354280
1336
angol gazdák –
fölosztják maguk között a közlegelőt,
hogy birkáik legelhessenek.
hogy birkáik legelhessenek.
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Na mármost, ha mindenki ugyanannyi juhot,
06:14
let's say three sheep --
117
362120
1496
mondjuk, hármat legeltet,
06:15
the land will be rejuvenated,
118
363640
2096
a legelő megújul,
06:17
the farmers are happy,
119
365760
1216
a gazdák elégedettek,
06:19
the sheep are happy,
120
367000
1616
a birkák elégedettek,
06:20
everything is good.
121
368640
1200
minden rendben.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Ha valamelyik gazda
még egy birkát odavisz,
még egy birkát odavisz,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
az kissé jobban jár,
és senki sem károsodik.
és senki sem károsodik.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Ám ha mindenki ezt
az egyénileg észszerű döntést hozná,
az egyénileg észszerű döntést hozná,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
a legelőt túlhasználnák és fölélnék
06:39
to the detriment of all the farmers,
126
387360
2176
minden gazda hátrányára,
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
és persze, a birkák hátrányára is.
06:44
We see this problem in many places:
128
392720
3680
E problémával gyakran találkozunk:
06:49
in the difficulty of managing overfishing,
129
397080
3176
pl. a túlhalászat esetén,
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
vagy a klímaváltozás mérséklésére
a CO₂-kibocsátás csökkentésénél.
a CO₂-kibocsátás csökkentésénél.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
A vezető nélküli autó szabályozása esetén
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
a közlegelő itt a közbiztonság,
07:07
that's the common good --
133
415440
1240
ez a közjó;
07:09
and the farmers are the passengers
134
417400
1976
a gazdák az utasok,
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
vagy a kocsitulajdonos,
aki az autóban utazik.
aki az autóban utazik.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
Egyénileg észszerű döntéssel
07:19
of prioritizing their own safety,
137
427600
2816
előnyben részesítve saját biztonságunkat
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
közösségileg csökkentenénk a közjót,
07:25
which is minimizing total harm.
139
433600
2200
amely minimalizálná a teljes kárt.
07:30
It's called the tragedy of the commons,
140
438320
2136
Hagyományosan ezt hívjuk
07:32
traditionally,
141
440480
1296
a közbirtok tragédiájának,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
de a vezető nélküli autó esetében
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
a dilemma tán kissé még fogósabb,
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
mert nem szükségképpen emberi lény
07:43
making those decisions.
145
451320
1696
hozza a döntéseket.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Az autógyárak a kocsikat
egyszerűen beprogramozhatják,
egyszerűen beprogramozhatják,
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
amellyel maximalizálhatják
ügyfeleik biztonságát,
ügyfeleik biztonságát,
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
és a kocsik automatikusan
önállóan tanulhatnak,
önállóan tanulhatnak,
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
és ez a biztonság kissé fokozza
a gyalogosok kockázatát.
a gyalogosok kockázatát.
07:59
So to use the sheep metaphor,
150
467520
1416
A birka-hasonlattal élve:
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
nekünk most saját tudatú
elektromos birkáink vannak.
elektromos birkáink vannak.
08:04
(Laughter)
152
472600
1456
(Nevetés)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
A gazda tudtán kívül is
bemehetnek a legelőre.
bemehetnek a legelőre.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
Hívhatjuk ezt az algoritmikus
közbirtok tragédiájának,
közbirtok tragédiájának,
08:14
and if offers new types of challenges.
155
482640
2360
s ez új feladatot ró ránk.
08:22
Typically, traditionally,
156
490520
1896
E társadalmi jellegű dilemmákat
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
általában szabályozással oldjuk meg.
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
Kormányszervek vagy közösségek
megvitatják őket,
megvitatják őket,
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
és közösen döntik el,
milyen eredményt szeretnének,
milyen eredményt szeretnének,
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
és az egyéni cselekvés
milyen korlátozására van szükség.
08:37
they need to implement.
161
505000
1200
08:39
And then using monitoring and enforcement,
162
507600
2616
Aztán ellenőrzési
és végrehajtási intézkedésekkel
és végrehajtási intézkedésekkel
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
elérhető a közjó megmaradása.
08:45
So why don't we just,
164
513440
1575
Akkor szabályozó szervként
08:47
as regulators,
165
515039
1496
mondjuk ki,
08:48
require that all cars minimize harm?
166
516559
2897
hogy minden autó köteles
minimalizálni a kárt!
minimalizálni a kárt!
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
Végtére, mindenki ezt akarja.
08:55
And more importantly,
168
523200
1416
De ennél is fontosabb,
08:56
I can be sure that as an individual,
169
524640
3096
hogy személy szerint biztos lehetek benne,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
hogy ha ilyen kocsit veszek,
és kivételes esetben engem föláldoz,
és kivételes esetben engem föláldoz,
nem én leszek az egyetlen palimadár,
09:03
I'm not the only sucker doing that
171
531640
1656
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
miközben a többiek élvezik
a feltétlen biztonságot.
a feltétlen biztonságot.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
Kutatásunkban azt kérdeztük az emberektől,
támogatnák-e a szabályozást;
íme, az eredmény.
íme, az eredmény.
09:12
and here's what we found.
174
540480
1200
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
Nemet mondtak a szabályozásra,
09:19
and second, they said,
176
547280
1256
s hozzátették:
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"Ha szabályozzák az autókat,
hogy minimalizálják a kárt,
hogy minimalizálják a kárt,
09:24
I will not buy those cars."
178
552520
1480
nem veszek olyan kocsit."
09:27
So ironically,
179
555400
1376
Elég vicces,
09:28
by regulating cars to minimize harm,
180
556800
3496
hogy a kárminimalizációs szabályozás
09:32
we may actually end up with more harm
181
560320
1840
nagyobb kárral járhat,
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
mert az emberek nem a biztonságosabb
technológiát választják,
technológiát választják,
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
még ha a vezetőnél megbízhatóbb is.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
Nincs végső válaszom e rejtélyre,
09:45
but I think as a starting point,
185
573800
1576
de mindenekelőtt
09:47
we need society to come together
186
575400
3296
a társadalomnak kell megvitatnia,
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
mi az elfogadható kompromisszum,
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
és azt hogyan lehet megvalósítani.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
Kiváló hallgatóim,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Edmond Awad és Sohan Dsouza
10:03
built the Moral Machine website,
191
591560
1800
létrehozták a Moral Machine honlapot,
10:06
which generates random scenarios at you --
192
594200
2680
amely véletlenszerűen
generál baleseti helyzeteket,
generál baleseti helyzeteket,
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
dilemmákat,
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
ahol ki kell választanunk,
mit tegyen az autó.
mit tegyen az autó.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
Az áldozatok korát
és fajtáját változtatjuk.
és fajtáját változtatjuk.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
Idáig több mint ötmillió döntést
gyűjtöttünk össze világszerte,
gyűjtöttünk össze világszerte,
10:26
by over one million people worldwide
197
614760
2200
egymillió fő részvételével
10:30
from the website.
198
618400
1200
a honlapról.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
Ezzel fölvázolhatjuk,
milyen kompromisszummal
milyen kompromisszummal
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
lennének elégedettek az emberek,
10:37
and what matters to them --
201
625440
1896
és mi fontos nekik
10:39
even across cultures.
202
627360
1440
a különböző kultúrákban.
10:42
But more importantly,
203
630240
1496
De még ennél is fontosabb,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
hogy e gyakorlatok
megértetik az emberekkel,
megértetik az emberekkel,
10:47
the difficulty of making those choices
205
635160
2816
milyen bonyolult dönteni,
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
s hogy a szabályozó szervek
lehetetlen döntésekre kényszerülnek.
lehetetlen döntésekre kényszerülnek.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
Talán ez elősegíti, hogy a társadalom
megértse a kompromisszum szerepét
megértse a kompromisszum szerepét
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
a meghozandó szabályozásban.
11:02
And indeed, I was very happy to hear
209
650040
1736
Nagyon örültem, amikor meghallottam,
11:03
that the first set of regulations
210
651800
2016
hogy a Közlekedési Minisztérium
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
kezdeti szabályozása
11:08
announced last week --
212
656000
1376
– múlt héten tették közzé –
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
minden autógyártóra kötelező, 15 tételből
álló követelménylistát tartalmaz;
álló követelménylistát tartalmaz;
11:16
and number 14 was ethical consideration --
214
664000
3256
és a 14. pont erkölcsi jellegű:
11:19
how are you going to deal with that.
215
667280
1720
milyen döntés szülessen.
Arra késztetjük az embereket,
hogy gondolkozzanak el döntéseiken
hogy gondolkozzanak el döntéseiken
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
az összesített eredmények ismeretében.
11:30
I'll give you one example --
218
678440
1656
Mondok egy példát.
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
A példa nem tipikus.
11:35
your typical user.
220
683680
1376
A használó sem az.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Az illető megkíméli a macskákat,
és föl szokta áldozni a gyerekeket.
és föl szokta áldozni a gyerekeket.
11:40
(Laughter)
222
688720
5200
(Nevetés)
11:46
Some of you may agree with him,
223
694680
1896
Lehet, hogy van,
11:48
or her, we don't know.
224
696600
1640
aki egyetért vele.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
De az illető inkább az utasoknak
kedvez döntései során,
kedvez döntései során,
11:58
in their choices
226
706640
2096
semmint a gyalogosoknak, és boldog,
12:00
and is very happy to punish jaywalking.
227
708760
2816
ha megbüntetheti a szabálytalankodó
gyalogosokat.
gyalogosokat.
12:03
(Laughter)
228
711600
3040
(Nevetés)
12:09
So let's wrap up.
229
717320
1216
Összegezve:
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
azzal kezdtük,
hívjuk erkölcsi dilemmának,
hívjuk erkölcsi dilemmának,
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
mit tegyen az autó bizonyos helyzetben,
12:17
swerve or stay?
232
725080
1200
kanyarodjon vagy álljon meg.
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
De rájöttünk, hogy más a probléma,
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
az, hogyan vegyük rá a társadalmat
egy általa elfogadott
kompromisszum betartására?
kompromisszum betartására?
12:26
the trade-offs they're comfortable with.
235
734560
1936
12:28
It's a social dilemma.
236
736520
1256
Ez társadalmi dilemma.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
1940-ben Isaac Asimov leírta
a híres robotikai törvényeit,
a híres robotikai törvényeit,
12:34
the three laws of robotics.
238
742840
1320
a három törvényt.
12:37
A robot may not harm a human being,
239
745240
2456
A robot nem árthat az emberi lénynek,
12:39
a robot may not disobey a human being,
240
747720
2536
engedelmeskednie kell neki,
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
és a robot magában sem tehet kárt:
12:45
in this order of importance.
242
753560
1960
ez a fontossági sorrend.
12:48
But after 40 years or so
243
756360
2136
Ám kb. 40 év múltán,
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
s annyi történet után,
amelyek kipróbálták a törvényeket,
amelyek kipróbálták a törvényeket,
12:54
Asimov introduced the zeroth law
245
762280
3696
Asimov bevezette a nulladik törvényt,
12:58
which takes precedence above all,
246
766000
2256
amely minden mást megelőz.
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
Ez pedig: a robot nem árthat
az egész emberiségnek.
az egész emberiségnek.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
Nem tudom, hogy értendő ez
a vezető nélküli autóra
a vezető nélküli autóra
13:08
or any specific situation,
249
776880
2736
vagy valami különleges helyzetre,
13:11
and I don't know how we can implement it,
250
779640
2216
s azt sem, hogyan vezethetnénk be,
13:13
but I think that by recognizing
251
781880
1536
de ha elismerjük,
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
hogy a vezető nélküli autóra vonatkozó
szabályozás nem csak technológiai,
szabályozás nem csak technológiai,
13:21
but also a societal cooperation problem,
253
789600
3280
hanem társadalmi együttműködési
probléma is, remélem,
probléma is, remélem,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
hogy legalább hozzáláthatunk
a helyes kérdések föltevéséhez.
a helyes kérdések föltevéséhez.
13:29
Thank you.
255
797200
1216
Köszönöm.
13:30
(Applause)
256
798440
2920
(Taps)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com