TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Iyad Rahwan: Welche moralischen Entscheidungen sollten fahrerlose Autos treffen?
Filmed:
Readability: 4.4
1,147,381 views
Sollte Ihr fahrerloses Auto Sie opfern, um fünf Fußgängern das Leben zu retten? In dieser Einführung in soziale Dilemmas von fahrerlosen Autos untersucht Iyad Rahwan, wie die Technologie unsere Moral herausfordern wird. Außerdem berichtet er von seiner Arbeit, bei der er Daten echter Menschen darüber sammelt, welche ethischen Kompromisse sie eingehen (und nicht eingehen) wollen.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Ich werde heute über
Technologie und Gesellschaft sprechen.
Technologie und Gesellschaft sprechen.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
Das Verkehrsministerium schätzt,
dass im letzten Jahr
dass im letzten Jahr
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
35.000 Menschen bei Verkehrsunfällen
allein in den USA gestorben sind.
allein in den USA gestorben sind.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
Weltweit sterben jährlich 1,2 Millionen
Menschen bei Verkehrsunfällen.
Menschen bei Verkehrsunfällen.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
Wenn es eine Möglichkeit gäbe,
90 % dieser Unfälle zu vermeiden,
90 % dieser Unfälle zu vermeiden,
00:37
would you support it?
5
25880
1200
wären Sie dafür?
00:39
Of course you would.
6
27720
1296
Natürlich wären Sie das.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
Genau das ist es, was die Technologie
fahrerloser Autos erreichen möchte,
fahrerloser Autos erreichen möchte,
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
indem sie die Hauptursache
für Autounfälle eliminiert –
für Autounfälle eliminiert –
00:47
human error.
9
35560
1200
menschliches Versagen.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Stellen Sie sich vor, Sie sitzen
im Jahr 2030 in einem fahrerlosen Auto.
im Jahr 2030 in einem fahrerlosen Auto.
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
Sie sind entspannt und schauen
dieses alte TEDxCambridge-Video.
dieses alte TEDxCambridge-Video.
00:58
(Laughter)
12
46840
2000
(Lachen)
01:01
All of a sudden,
13
49520
1216
Plötzlich tritt ein mechanischer Fehler
auf und das Auto kann nicht anhalten.
auf und das Auto kann nicht anhalten.
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
01:07
If the car continues,
15
55360
1520
Wenn das Auto weiterfährt,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
wird es in in ein paar Fußgänger fahren,
die gerade die Straße überqueren.
die gerade die Straße überqueren.
01:15
but the car may swerve,
17
63080
2135
Das Auto könnte jedoch auch ausweichen,
01:17
hitting one bystander,
18
65239
1857
einen Beobachter treffen und töten,
01:19
killing them to save the pedestrians.
19
67120
2080
um die Fußgänger zu schützen.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
Was sollte das Auto machen
und wer sollte entscheiden?
und wer sollte entscheiden?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
Was wäre, wenn das Auto stattdessen
ausweichen und eine Wand treffen könnte
ausweichen und eine Wand treffen könnte
01:29
crashing and killing you, the passenger,
22
77080
3296
und dabei Sie, den Insassen, töten würde,
01:32
in order to save those pedestrians?
23
80400
2320
um die Fußgänger zu retten?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
Dieses Szenario ist vom
Trolley-Problem inspiriert,
Trolley-Problem inspiriert,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
das vor einigen Jahrzehnten
von Philosophen erfunden wurde,
von Philosophen erfunden wurde,
01:42
to think about ethics.
26
90760
1240
um Ethik zu erforschen.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
Die Art, wie wir über
das Problem denken, zählt.
das Problem denken, zählt.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
So könnten wir etwa
gar nicht darüber nachdenken.
gar nicht darüber nachdenken.
01:51
We may say this scenario is unrealistic,
29
99280
3376
Wir könnten sagen,
dass das Szenario unrealistisch,
dass das Szenario unrealistisch,
01:54
incredibly unlikely, or just silly.
30
102680
2320
extrem unwahrscheinlich oder albern ist.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
Aber ich denke, dass diese Kritik
am Thema vorbeigeht,
am Thema vorbeigeht,
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
da sie das Szenario zu wörtlich nimmt.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
Natürlich wird kein Unfall
genauso aussehen.
genauso aussehen.
02:06
no accident has two or three options
34
114680
3336
Bei keinem Unfall gibt es
zwei oder drei Optionen,
zwei oder drei Optionen,
02:10
where everybody dies somehow.
35
118040
2000
bei denen immer jemand stirbt.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Stattdessen wird das Auto
eine Zahl ausrechnen,
eine Zahl ausrechnen,
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
wie die Wahrscheinlichkeit,
eine bestimmte Menschengruppe zu treffen.
eine bestimmte Menschengruppe zu treffen.
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
Wenn es in die eine oder
die andere Richtung ausweicht.
die andere Richtung ausweicht.
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
könnte das Risiko für Passagiere
geringfügig höher sein,
geringfügig höher sein,
02:27
versus pedestrians.
40
135840
1536
als das Risiko für Fußgänger.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
Die Berechnung wäre komplexer,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
würde aber immer noch
Abwägungen beinhalten
Abwägungen beinhalten
02:35
and trade-offs often require ethics.
43
143840
2880
und Abwägungen beinhalten oft Ethik.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
Jetzt könnten wir sagen:
„Lasst uns keine Sorgen machen.
„Lasst uns keine Sorgen machen.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
Lasst uns warten, bis die Technologie
bereit und zu 100 % sicher ist.“
bereit und zu 100 % sicher ist.“
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
Nehmen wir an, wir können tatsächlich
90 % dieser Unfälle vermeiden
90 % dieser Unfälle vermeiden
02:53
or even 99 percent in the next 10 years.
47
161080
2840
oder sogar 99 % in den nächsten 10 Jahren.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
Was wäre, wenn die Eliminierung
der letzen 1 % der Unfälle
der letzen 1 % der Unfälle
03:00
requires 50 more years of research?
49
168120
3120
50 weitere Jahre der Forschung
bedeuten würde?
bedeuten würde?
03:04
Should we not adopt the technology?
50
172400
1800
Sollten wir die Technologie ablehnen?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
Dann würden 60 Millionen Menschen
bei Autounfällen sterben,
bei Autounfällen sterben,
03:11
if we maintain the current rate.
52
179520
1760
wenn wir die Rate so beibehalten.
03:14
So the point is,
53
182760
1216
Der Punkt ist also,
03:16
waiting for full safety is also a choice,
54
184000
3616
dass das Warten auf vollkommene Sicherheit
eine Möglichkeit wäre,
eine Möglichkeit wäre,
03:19
and it also involves trade-offs.
55
187640
2160
diese aber auch
Abwägungen beinhalten würde.
Abwägungen beinhalten würde.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
In den sozialen Medien haben die Nutzer
unzählige Möglichkeiten entwickelt,
unzählige Möglichkeiten entwickelt,
03:27
to not think about this problem.
57
195920
2016
um diesem Problem aus dem Weg zu gehen.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Eine Person schlug vor, das sich das Auto
03:33
in between the passengers --
59
201200
2136
zwischen den Fußgängern
durchschlängeln soll,
durchschlängeln soll,
03:35
(Laughter)
60
203360
1016
(Lachen)
03:36
and the bystander.
61
204400
1256
und dem Beobachter.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
Natürlich könnte und sollte
das Auto dies machen,
das Auto dies machen,
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
aber wir beleuchten Szenarien,
in denen das unmöglich ist.
in denen das unmöglich ist.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
Mein Lieblingsvorschlag
kam von einem Blogger,
kam von einem Blogger,
der vorschlug eine Schleudersitz-Taste
im Auto zu haben, die gedrückt wird,
im Auto zu haben, die gedrückt wird,
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
03:53
(Laughter)
66
221760
1216
(Lachen)
03:55
just before the car self-destructs.
67
223000
1667
bevor sich das Auto zerstört.
03:56
(Laughter)
68
224691
1680
(Lachen)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Wenn wir also anerkennen, dass Autos
auf der Straße abwägen müssen,
auf der Straße abwägen müssen,
04:06
how do we think about those trade-offs,
70
234200
1880
wie denken wir über diese Abwägungen
04:09
and how do we decide?
71
237320
1576
und wie entscheiden wir uns?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
Vielleicht sollten wir eine Umfrage
in der Gesellschaft machen.
in der Gesellschaft machen.
04:14
because ultimately,
73
242080
1456
Denn letztendlich
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
sind Vorschriften und das Gesetz
ein Spiegel der gesellschaftlichen Werte.
ein Spiegel der gesellschaftlichen Werte.
04:20
So this is what we did.
75
248040
1240
Genau das haben wir getan.
04:21
With my collaborators,
76
249880
1616
Mit meinen Mitarbeitern,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Jean-François Bonnefon und Azim Shariff,
04:25
we ran a survey
78
253880
1616
haben wir eine Umfrage gemacht,
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
in der wir Menschen
diese Art von Szenarien zeigten.
diese Art von Szenarien zeigten.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Wir haben ihnen zwei Optionen gegeben,
von zwei Philosophen inspiriert:
von zwei Philosophen inspiriert:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
Jeremy Bentham und Immanuel Kant.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
Bentham sagt, dass das Auto
utilitaristischer Ethik folgen sollte:
utilitaristischer Ethik folgen sollte:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
Es soll die Handlung ausführen,
die den Gesamtschaden minimiert,
die den Gesamtschaden minimiert,
04:44
even if that action will kill a bystander
84
272160
2816
sogar, wenn dies einen Beobachter tötet
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
und sogar, wenn diese Handlung
den Passagier tötet.
den Passagier tötet.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
Immanuel Kant sagt, dass das Auto
pflichtgemäßen Prinzipien folgen sollte,
pflichtgemäßen Prinzipien folgen sollte,
04:55
like "Thou shalt not kill."
87
283120
1560
wie „Du sollst nicht töten.“
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
Man sollte also nicht so handeln,
dass es einen Menschen explizit verletzt,
dass es einen Menschen explizit verletzt,
05:01
and you should let the car take its course
89
289960
2456
sondern das Auto seinen Weg nehmen lassen,
05:04
even if that's going to harm more people.
90
292440
1960
sogar, wenn dies mehr Menschen verletzt.
05:07
What do you think?
91
295640
1200
Was denken Sie?
05:09
Bentham or Kant?
92
297360
1520
Bentham oder Kant?
05:11
Here's what we found.
93
299760
1256
Hier ist unser Ergebnis.
05:13
Most people sided with Bentham.
94
301040
1800
Die Meisten sind auf Benthams Seite.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Die Menschen scheinen also zu wollen,
dass Autos utilitaristisch sind
dass Autos utilitaristisch sind
und den Gesamtschaden minimieren
05:19
minimize total harm,
96
307960
1416
05:21
and that's what we should all do.
97
309400
1576
und das sollten wir alle tun.
05:23
Problem solved.
98
311000
1200
Problem gelöst.
05:25
But there is a little catch.
99
313240
1480
Da gibt es aber einen Haken.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Als wir die Leute fragten,
ob sie solche Autos kaufen würden
ob sie solche Autos kaufen würden
05:31
they said, "Absolutely not."
101
319680
1616
antworteten sie: „Niemals.“
05:33
(Laughter)
102
321320
2296
(Lachen)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Sie möchten Autos kaufen,
die sie um jeden Preis schützen,
die sie um jeden Preis schützen,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
aber alle anderen sollen Autos kaufen,
die Schaden minimieren.
die Schaden minimieren.
05:43
(Laughter)
105
331200
2520
(Lachen)
05:46
We've seen this problem before.
106
334720
1856
Das Problem kannten wir.
05:48
It's called a social dilemma.
107
336600
1560
Man nennt es soziales Dilemma.
05:51
And to understand the social dilemma,
108
339160
1816
Um das soziale Dilemma zu verstehen,
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
müssen wir in die Vergangenheit schauen.
05:56
In the 1800s,
110
344000
2576
Im 19. Jahrhundert veröffentlichte
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
der englische Ökonom
William Forster Lloyd ein Merkblatt,
William Forster Lloyd ein Merkblatt,
06:02
which describes the following scenario.
112
350360
2216
das das folgende Szenario beschreibt.
06:04
You have a group of farmers --
113
352600
1656
Eine Gruppe von Bauern –
06:06
English farmers --
114
354280
1336
englische Bauern –
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
teilen sich ein Stück Land,
auf dem ihre Schafe grasen.
auf dem ihre Schafe grasen.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Wenn jeder Bauer
eine bestimmte Anzahl Schafe hat,
eine bestimmte Anzahl Schafe hat,
06:14
let's say three sheep --
117
362120
1496
sagen wir 3 Schafe,
06:15
the land will be rejuvenated,
118
363640
2096
wird das Land verjüngt.
06:17
the farmers are happy,
119
365760
1216
Die Bauern sind glücklich
06:19
the sheep are happy,
120
367000
1616
und die Schafe sind glücklich.
06:20
everything is good.
121
368640
1200
Alles ist gut.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Wenn jetzt aber ein Bauer
ein Schaf mehr hat,
ein Schaf mehr hat,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
geht es ihm etwas besser
und niemand kommt zu Schaden.
und niemand kommt zu Schaden.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Trifft aber jeder Bauer diese
individuelle rationale Entscheidung,
individuelle rationale Entscheidung,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
ist das Stück Land überlaufen
und wird erschöpft,
und wird erschöpft,
06:39
to the detriment of all the farmers,
126
387360
2176
zum Nachteil aller Bauern
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
und natürlich zum Nachteil der Schafe.
06:44
We see this problem in many places:
128
392720
3680
Wir sehen dieses Problem überall:
06:49
in the difficulty of managing overfishing,
129
397080
3176
beim Versuch Überfischung zu vermeiden
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
oder beim Versuch Emission zu reduzieren,
um den Klimawandel einzudämmen.
um den Klimawandel einzudämmen.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
Wenn es um Vorschriften
für fahrerlose Autos geht,
für fahrerlose Autos geht,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
steht das gemeinsame Land
für die öffentliche Sicherheit –
für die öffentliche Sicherheit –
07:07
that's the common good --
133
415440
1240
das Gemeinwohl –
07:09
and the farmers are the passengers
134
417400
1976
und die Bauern sind die Passagiere
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
oder die Autobesitzer,
die in diesen Autos fahren.
die in diesen Autos fahren.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
Beim Treffen der individuellen
rationalen Entscheidung,
rationalen Entscheidung,
07:19
of prioritizing their own safety,
137
427600
2816
die eigene Sicherheit zu bevorzugen,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
könnten sie das Gemeinwohl
zusammen vermindern,
zusammen vermindern,
07:25
which is minimizing total harm.
139
433600
2200
was den Gesamtschaden verringert.
07:30
It's called the tragedy of the commons,
140
438320
2136
Man nennt dies die Tragik der Allmende,
07:32
traditionally,
141
440480
1296
herkömmlicherweise,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
aber im Fall fahrerloser Autos,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
könnte das Problem
etwas komplizierter sein,
etwas komplizierter sein,
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
weil nicht unbedingt ein Mensch
07:43
making those decisions.
145
451320
1696
diese Entscheidungen trifft.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Autohersteller könnten also einfach
Autos so programmieren,
Autos so programmieren,
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
dass sie maximale Sicherheit
für ihre Kunden gewähren
für ihre Kunden gewähren
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
und diese Autos könnten
automatisch, alleine lernen,
automatisch, alleine lernen,
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
dass diese Sicherheit mit einem
erhöhten Risiko für Fußgänger einhergeht.
erhöhten Risiko für Fußgänger einhergeht.
07:59
So to use the sheep metaphor,
150
467520
1416
In der Schaf-Metapher
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
würde das elektronische Schafe
mit eigener Meinung bedeuten.
mit eigener Meinung bedeuten.
08:04
(Laughter)
152
472600
1456
(Lachen)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
Und diese könnten grasen,
ohne, dass der Bauer davon weiß.
ohne, dass der Bauer davon weiß.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
Der Name dafür könnte also
Tragik der algorithmischen Allmende sein
Tragik der algorithmischen Allmende sein
08:14
and if offers new types of challenges.
155
482640
2360
und diese stellt uns vor
ganz neue Probleme.
ganz neue Probleme.
08:22
Typically, traditionally,
156
490520
1896
Normalerweise
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
haben wir diese Art von sozialen Dilemmas
mit Vorschriften gelöst.
mit Vorschriften gelöst.
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
Entweder Regierungen
oder Gemeinden kommen zusammen
oder Gemeinden kommen zusammen
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
und entscheiden gemeinsam,
welches Ergebnis sie möchten
welches Ergebnis sie möchten
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
und welche Einschränkungen
des individuellen Verhaltens
des individuellen Verhaltens
08:37
they need to implement.
161
505000
1200
sie einführen müssen.
08:39
And then using monitoring and enforcement,
162
507600
2616
Dann wird mittels Überwachung
und Vollstreckung sichergestellt,
und Vollstreckung sichergestellt,
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
dass das Gemeinwohl gewahrt bleibt.
08:45
So why don't we just,
164
513440
1575
Warum sagen wir dann nicht,
08:47
as regulators,
165
515039
1496
als Regulatoren,
08:48
require that all cars minimize harm?
166
516559
2897
dass alle Autos Schaden minimieren müssen?
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
Im Grunde, ist es das,
was Menschen wollen.
was Menschen wollen.
08:55
And more importantly,
168
523200
1416
Und was noch wichtiger ist,
08:56
I can be sure that as an individual,
169
524640
3096
ich, als Individuum, kann sicher sein,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
dass, wenn ich ein Auto kaufe,
dass mich im seltenen Fall opfern würde,
dass mich im seltenen Fall opfern würde,
09:03
I'm not the only sucker doing that
171
531640
1656
ich nicht der einzige Dumme bin,
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
während alle anderen
bedingungslose Sicherheit genießen.
bedingungslose Sicherheit genießen.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
In unser Umfrage haben wir gefragt,
ob Vorschriften befürwortet werden
ob Vorschriften befürwortet werden
09:12
and here's what we found.
174
540480
1200
und hier ist die Antwort.
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
Zuerst haben sich die Teilnehmer
gegen Vorschriften ausgesprochen.
gegen Vorschriften ausgesprochen.
09:19
and second, they said,
176
547280
1256
Dann haben sie gesagt:
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
„Wenn Autos so reguliert werden
und den Schaden minimieren sollen,
und den Schaden minimieren sollen,
09:24
I will not buy those cars."
178
552520
1480
kaufe ich das Auto nicht. “
09:27
So ironically,
179
555400
1376
Ironischerweise
09:28
by regulating cars to minimize harm,
180
556800
3496
indem wir Autos regulieren,
so dass sie Schaden minimieren
so dass sie Schaden minimieren
09:32
we may actually end up with more harm
181
560320
1840
könnten wir noch mehr Schaden nehmen,
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
weil die Menschen sich nicht
für sichere Technologie entscheiden,
für sichere Technologie entscheiden,
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
obwohl sie viel sicherer
als der Mensch ist.
als der Mensch ist.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
Ich habe keine ultimative Antwort
für dieses Rätsel,
für dieses Rätsel,
09:45
but I think as a starting point,
185
573800
1576
aber ich denke,
zuallererst sollte die Gesellschaft
zusammen kommen
zusammen kommen
09:47
we need society to come together
186
575400
3296
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
und die Kompromisse beschließen,
die wir verkraften können
die wir verkraften können
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
und Ideen entwickeln,
wie wir diese durchsetzen können.
wie wir diese durchsetzen können.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
Als Grundlage haben
meine brillanten Studenten,
meine brillanten Studenten,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Edmong Awad und Sohan Dsouza,
10:03
built the Moral Machine website,
191
591560
1800
die Moral Machine Website gebaut,
10:06
which generates random scenarios at you --
192
594200
2680
die eine Reihe von Szenarien vorgibt,
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
eine Reihe von zufälligen
Dilemmas in Folge,
Dilemmas in Folge,
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
bei denen Sie bestimmen müssen,
wie das Auto reagiert.
wie das Auto reagiert.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
Wir verändern das Alter und sogar
die Spezies der verschiedenen Opfer.
die Spezies der verschiedenen Opfer.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
Bisher haben wir
über fünf Millionen Entscheidungen
über fünf Millionen Entscheidungen
10:26
by over one million people worldwide
197
614760
2200
von über einer Million Menschen weltweit
10:30
from the website.
198
618400
1200
mit der Webseite erhoben.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
Und das hilft uns dabei,
von Anfang an zu verstehen,
von Anfang an zu verstehen,
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
mit welchen Kompromissen
die Menschen leben können
die Menschen leben können
10:37
and what matters to them --
201
625440
1896
und was ihnen wichtig ist –
10:39
even across cultures.
202
627360
1440
sogar kulturübergreifend.
10:42
But more importantly,
203
630240
1496
Das Wichtigste ist jedoch,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
dass diese Übung dabei hilft,
zu verstehen,
zu verstehen,
10:47
the difficulty of making those choices
205
635160
2816
wie schwierig es ist,
diese Entscheidungen zu treffen,
diese Entscheidungen zu treffen,
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
und dass Regulatoren vor
unmöglichen Entscheidungen stehen.
unmöglichen Entscheidungen stehen.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
Und vielleicht hilft es
der Gesellschaft zu verstehen,
der Gesellschaft zu verstehen,
welche Abwägungen letztendlich
in Vorschriften enthalten sind.
in Vorschriften enthalten sind.
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
11:02
And indeed, I was very happy to hear
209
650040
1736
Und ich war glücklich zu hören,
11:03
that the first set of regulations
210
651800
2016
dass die erste Reihe von Vorschriften
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
vom Verkehrsministerium,
11:08
announced last week --
212
656000
1376
wie letzte Woche angekündigt,
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
eine 15-Punkte-Checkliste
für alle Autohersteller enthielten
für alle Autohersteller enthielten
11:16
and number 14 was ethical consideration --
214
664000
3256
und Nummer 14 waren moralische Bedenken
11:19
how are you going to deal with that.
215
667280
1720
und wie man mit diesen umgeht.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
Wir haben Menschen
ihre Angaben reflektieren lassen,
ihre Angaben reflektieren lassen,
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
indem wir ihnen eine Zusammenfassung
ihrer Entscheidung gaben.
ihrer Entscheidung gaben.
11:30
I'll give you one example --
218
678440
1656
Hier ist ein Beispiel.
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
Ich muss Sie nur vorher warnen,
dies ist kein typisches Beispiel,
dies ist kein typisches Beispiel,
11:35
your typical user.
220
683680
1376
kein typischer Nutzer.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Dies ist der am meisten geopferte und
der am meisten geschützte Charakter.
der am meisten geschützte Charakter.
11:40
(Laughter)
222
688720
5200
(Lachen)
11:46
Some of you may agree with him,
223
694680
1896
Manche mögen seine Meinung teilen
11:48
or her, we don't know.
224
696600
1640
oder ihre Meinung, wer weiß.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
Diese Person neigt jedoch mehr dazu,
Passagiere über Fußgänger zu stellen
Passagiere über Fußgänger zu stellen
11:58
in their choices
226
706640
2096
und bei den Entscheidungen
12:00
and is very happy to punish jaywalking.
227
708760
2816
verkehrswidriges Verhalten zu bestrafen.
12:03
(Laughter)
228
711600
3040
(Lachen)
12:09
So let's wrap up.
229
717320
1216
Fassen wir also zusammen.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
Wir starteten mit der Frage –
wir nennen sie moralisches Dilemma –
wir nennen sie moralisches Dilemma –
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
wie sich das Auto in einem
spezifischen Szenario verhalten soll:
spezifischen Szenario verhalten soll:
12:17
swerve or stay?
232
725080
1200
ausweichen oder bleiben?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
Aber dann merkten wir,
dass das Problem ein anderes war.
dass das Problem ein anderes war.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
Die Frage war, wie man die Gesellschaft
dazu bringt, Kompromisse durchzusetzen,
dazu bringt, Kompromisse durchzusetzen,
12:26
the trade-offs they're comfortable with.
235
734560
1936
mit denen sie sich wohl fühlen.
12:28
It's a social dilemma.
236
736520
1256
Ein soziales Dilemma.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
In den 1940ern schrieb Isaac Asimov
die berühmten Robotergesetze –
die berühmten Robotergesetze –
12:34
the three laws of robotics.
238
742840
1320
die drei Robotergesetze.
12:37
A robot may not harm a human being,
239
745240
2456
Ein Roboter darf kein
menschliches Wesen verletzen.
menschliches Wesen verletzen.
12:39
a robot may not disobey a human being,
240
747720
2536
Ein Roboter muss einem Menschen gehorchen.
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
Ein Roboter muss
seine Existenz beschützen.
seine Existenz beschützen.
12:45
in this order of importance.
242
753560
1960
In dieser Reihenfolge.
12:48
But after 40 years or so
243
756360
2136
Aber nach ungefähr 40 Jahren
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
und nach so viele Geschichten,
die diese Gesetze an ihre Grenzen bringen,
die diese Gesetze an ihre Grenzen bringen,
12:54
Asimov introduced the zeroth law
245
762280
3696
entwickelte Asimov das nullte Gesetz,
12:58
which takes precedence above all,
246
766000
2256
das über allen anderen steht.
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
Es besagt, dass ein Roboter
die Menschheit nicht verletzen darf.
die Menschheit nicht verletzen darf.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
Ich weiß nicht, was das in Verbindung
mit fahrerlosen Autos bedeutet
mit fahrerlosen Autos bedeutet
13:08
or any specific situation,
249
776880
2736
oder in Verbindung mit anderen Situationen
13:11
and I don't know how we can implement it,
250
779640
2216
und ich weiß nicht,
wie wir es umsetzen können.
wie wir es umsetzen können.
13:13
but I think that by recognizing
251
781880
1536
Wenn wir jedoch anerkennen,
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
dass die Vorschriften für fahrerlose Autos
nicht nur ein technologisches Problem,
nicht nur ein technologisches Problem,
13:21
but also a societal cooperation problem,
253
789600
3280
sondern auch ein gesellschaftliches
Kooperationsproblem sind,
Kooperationsproblem sind,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
dann können wir beginnen,
die richtigen Fragen zu stellen.
die richtigen Fragen zu stellen.
13:29
Thank you.
255
797200
1216
Danke.
13:30
(Applause)
256
798440
2920
(Applaus)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com