TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Iyad Rahwan: Quelles décisions morales les voitures sans conducteur devraient-elles prendre?
Filmed:
Readability: 4.4
1,147,381 views
Votre voiture sans conducteur devrait-elle vous tuer pour sauver cinq piétons? Dans cette introduction sur le dilemme social des voitures sans conducteur, Iyad Rahwan examine comment la technologie peut défier notre moralité. Il présente aussi son travail en ayant réuni des informations auprès de la population à propos des compromis éthiques que nous sommes (ou pas) prêts à faire.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Aujourd'hui, je vais parler
de technologie et de société.
de technologie et de société.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
Le Département du Transport a estimé
que, l'année dernière,
que, l'année dernière,
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
le nombre de morts dû aux accidents de la
circulation à 35 000, seulement aux USA.
circulation à 35 000, seulement aux USA.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
Au niveau mondial, c'est 1,2 million de
gens qui meurent chaque année.
gens qui meurent chaque année.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
S'il y avait une possibilité d'éliminer
90% de ces accidents,
90% de ces accidents,
00:37
would you support it?
5
25880
1200
la soutiendriez-vous ?
00:39
Of course you would.
6
27720
1296
Bien sûr que oui.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
La technologie des voitures sans
conducteur promet d'y arriver
conducteur promet d'y arriver
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
en éliminant la principale source
d'accidents--
d'accidents--
00:47
human error.
9
35560
1200
l'erreur humaine.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Imaginez vous, en 2030, dans une voiture
sans conducteur,
sans conducteur,
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
regardant cette ancienne vidéo TED.
00:58
(Laughter)
12
46840
2000
(Rires)
01:01
All of a sudden,
13
49520
1216
Quand tout à coup,
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
une panne mécanique l'empêche
de s'arrêter.
de s'arrêter.
01:07
If the car continues,
15
55360
1520
Si la voiture roule toujours,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
elle peut écraser les piétons qui sont
en train de traverser;
en train de traverser;
01:15
but the car may swerve,
17
63080
2135
mais elle peut aussi faire une embardée,
01:17
hitting one bystander,
18
65239
1857
touchant un passant en le tuant
01:19
killing them to save the pedestrians.
19
67120
2080
pour sauver les piétons.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
Que devrait faire la voiture
et qui devrait décider ?
et qui devrait décider ?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
Et si la voiture fonçait dans un mur,
01:29
crashing and killing you, the passenger,
22
77080
3296
vous tuant vous, le passager
01:32
in order to save those pedestrians?
23
80400
2320
pour sauver ces piétons ?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
Ce scénario est inspiré du problème
venant des trolleybus,
venant des trolleybus,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
inventé par des philosophes il y a
quelques décennies
quelques décennies
01:42
to think about ethics.
26
90760
1240
pour penser à l'éthique.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
Il est important de savoir ce que nous
en pensons.
en pensons.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
Peut être que nous n'y pensons
pas du tout.
pas du tout.
01:51
We may say this scenario is unrealistic,
29
99280
3376
On peut trouver ce scénario irréel,
01:54
incredibly unlikely, or just silly.
30
102680
2320
extrêmement peu probable ou juste stupide.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
Je pense que cette critique manque
d'un point important
d'un point important
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
car elle suit ce scénario à la lettre.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
Il est évident qu'aucun accident
ne ressemblera à ça,
ne ressemblera à ça,
02:06
no accident has two or three options
34
114680
3336
aucun accident n'a deux ou trois options
02:10
where everybody dies somehow.
35
118040
2000
où tout le monde finit par mourir.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Pour contrer tout cela, la voiture
pourrait calculer
pourrait calculer
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
la probabilité d'heurter
un groupe de personnes,
un groupe de personnes,
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
si on dévie d'un côté ou d'un autre,
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
on augmenterait le risque des passagers
ou des conducteurs
ou des conducteurs
02:27
versus pedestrians.
40
135840
1536
versus les piétons.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
Il s'agit d'un calcul un peu plus
complexe,
complexe,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
mais cela impliquerait quand même
des compromis,
des compromis,
02:35
and trade-offs often require ethics.
43
143840
2880
et les compromis demandent souvent
de l'éthique.
de l'éthique.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
On pourrait donc dire :
« Ne nous en préoccupons pas.
« Ne nous en préoccupons pas.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
Attendons à ce que la technologie soit
prête et sûre à 100%. »
prête et sûre à 100%. »
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
Imaginez qu'on puisse éliminer 90%
de ces accidents,
de ces accidents,
02:53
or even 99 percent in the next 10 years.
47
161080
2840
ou même 99% dans les dix prochaines
années.
années.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
Et si l'élimination du dernier 1%
des accidents
des accidents
03:00
requires 50 more years of research?
49
168120
3120
demandait plus de 50 ans de recherches ?
03:04
Should we not adopt the technology?
50
172400
1800
Ne devrions-nous pas
adopter cette technologie ?
adopter cette technologie ?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
Ce sont 60 millions de morts à cause
des accidents de voiture
des accidents de voiture
03:11
if we maintain the current rate.
52
179520
1760
si nous maintenons les taux actuels.
03:14
So the point is,
53
182760
1216
Le fait est que,
03:16
waiting for full safety is also a choice,
54
184000
3616
attendre pour une sécurité optimale
est aussi un choix
est aussi un choix
03:19
and it also involves trade-offs.
55
187640
2160
mais cela implique aussi des compromis.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
Les gens ont trouvé plusieurs manières,
sur les réseaux sociaux,
sur les réseaux sociaux,
03:27
to not think about this problem.
57
195920
2016
pour éviter de penser à ce problème.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Une personne a suggéré que la voiture
devrait pouvoir dévier
devrait pouvoir dévier
03:33
in between the passengers --
59
201200
2136
entre les piétons--
03:35
(Laughter)
60
203360
1016
(Rires)
03:36
and the bystander.
61
204400
1256
et les passants.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
Si la voiture avait les capacités
de le faire, elle le ferait sûrement.
de le faire, elle le ferait sûrement.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
Nous sommes intéressés
par d'autres scénarios.
par d'autres scénarios.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
Mon préféré est une suggestion
de la part d'un blogueur,
de la part d'un blogueur,
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
qui est d'avoir un bouton pour
siège éjectable--
siège éjectable--
03:53
(Laughter)
66
221760
1216
(Rires)
03:55
just before the car self-destructs.
67
223000
1667
juste avant l'autodestruction.
03:56
(Laughter)
68
224691
1680
(Rires)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Si nous considérons que les voitures
devront aussi faire des compromis,
devront aussi faire des compromis,
04:06
how do we think about those trade-offs,
70
234200
1880
comment y penser,
04:09
and how do we decide?
71
237320
1576
mais surtout comment se décider ?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
Peut être devrions-nous faire un sondage
auprès de la société,
auprès de la société,
04:14
because ultimately,
73
242080
1456
car finalement,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
les règlements et la loi sont les reflets
des valeurs sociétales.
des valeurs sociétales.
04:20
So this is what we did.
75
248040
1240
Nous avons donc fait ceci.
04:21
With my collaborators,
76
249880
1616
En compagnie de mes collaborateurs,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Jean-François Bonnefon et Azim Shariff,
04:25
we ran a survey
78
253880
1616
nous avons mené une enquête
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
où nous avons présenté ces scénarios
aux gens.
aux gens.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Nous leur avons donné deux options,
inspirées par deux philosophes :
inspirées par deux philosophes :
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
Jeremy Bentham et Emmanuel Kant.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
Selon Bentham, la voiture devrait suivre
l'éthique utilitariste :
l'éthique utilitariste :
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
son action devrait être celle qui réduit
tous les dommages --
tous les dommages --
04:44
even if that action will kill a bystander
84
272160
2816
même si cette action finira par tuer
un passant
un passant
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
ou même si elle finira par tuer
le passager.
le passager.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
Selon Kant, la voiture devrait agir selon
certains commandements,
certains commandements,
04:55
like "Thou shalt not kill."
87
283120
1560
comme « Tu ne tueras point. »
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
Ton action ne devrait donc pas nuire à
un être humain de manière explicite,
un être humain de manière explicite,
05:01
and you should let the car take its course
89
289960
2456
et tu devrais laisser la voiture faire
sa route
sa route
05:04
even if that's going to harm more people.
90
292440
1960
même si plus de gens finiront blessés.
05:07
What do you think?
91
295640
1200
Qu'en pensez-vous ?
05:09
Bentham or Kant?
92
297360
1520
Bentham ou bien Kant ?
05:11
Here's what we found.
93
299760
1256
Voici notre solution.
05:13
Most people sided with Bentham.
94
301040
1800
La plupart étaient pour Bentham.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Les gens veulent donc que la voiture
soit utilitariste,
soit utilitariste,
05:19
minimize total harm,
96
307960
1416
réduire les dommages,
05:21
and that's what we should all do.
97
309400
1576
ce que nous devrions tous faire.
05:23
Problem solved.
98
311000
1200
Problème résolu.
05:25
But there is a little catch.
99
313240
1480
Mais il y a un petit piège.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Lorsque nous leur avons demandé
s'ils achèteraient ces voitures,
s'ils achèteraient ces voitures,
05:31
they said, "Absolutely not."
101
319680
1616
ils ont répondu : « Absolument pas. »
05:33
(Laughter)
102
321320
2296
(Rires)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Ils aimeraient acheter des voitures qui
les protègent à tout prix,
les protègent à tout prix,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
mais ils veulent que tous les autres les
achètent pour réduire les dommages.
achètent pour réduire les dommages.
05:43
(Laughter)
105
331200
2520
(Rires)
05:46
We've seen this problem before.
106
334720
1856
Nous connaissons ce type de problème.
05:48
It's called a social dilemma.
107
336600
1560
C'est un dilemme social.
05:51
And to understand the social dilemma,
108
339160
1816
Pour comprendre ce dilemme social,
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
nous devons remonter un peu dans le temps.
05:56
In the 1800s,
110
344000
2576
Dans les années 1800,
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
l'économiste anglais William Forster Lloyd
a publié un pamphlet
a publié un pamphlet
06:02
which describes the following scenario.
112
350360
2216
décrivant le scénario suivant.
06:04
You have a group of farmers --
113
352600
1656
Vous avez un groupe de fermiers--
06:06
English farmers --
114
354280
1336
fermiers anglais--
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
qui se partagent des terres
pour leurs moutons.
pour leurs moutons.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Si chaque fermier ramène un certain nombre
de moutons--
de moutons--
06:14
let's say three sheep --
117
362120
1496
disons trois moutons--
06:15
the land will be rejuvenated,
118
363640
2096
la terre sera régénérée,
06:17
the farmers are happy,
119
365760
1216
les fermiers heureux,
06:19
the sheep are happy,
120
367000
1616
les moutons heureux,
06:20
everything is good.
121
368640
1200
tout est en ordre.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Maintenant si un fermier en ramène un
de plus,
de plus,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
il s'en sortira un peu mieux,
au détriment de personne.
au détriment de personne.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Mais si chaque fermier faisait de même,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
la terre serait surexploitée et appauvrie
06:39
to the detriment of all the farmers,
126
387360
2176
au détriment de tous les fermiers
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
et bien sûr à celui des moutons.
06:44
We see this problem in many places:
128
392720
3680
Nous rencontrons ce problème
à plusieurs endroits :
à plusieurs endroits :
06:49
in the difficulty of managing overfishing,
129
397080
3176
dans la difficulté à gérer la surpêche,
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
ou à réduire les émissions de carbone pour
atténuer le changement climatique.
atténuer le changement climatique.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
Quand il s'agit du règlement des voitures
sans conducteur,
sans conducteur,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
la terre commune représente
la sécurité publique --
la sécurité publique --
07:07
that's the common good --
133
415440
1240
c'est le bien commun --
07:09
and the farmers are the passengers
134
417400
1976
et les fermiers sont les passagers
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
ou les propriétaires de ces voitures qui
décident de les conduire.
décident de les conduire.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
En faisant ce choix rationnel
07:19
of prioritizing their own safety,
137
427600
2816
de prioriser leur propre sécurité,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
ils sont peut être en train d'affaiblir
le bien commun,
le bien commun,
07:25
which is minimizing total harm.
139
433600
2200
de réduire donc les dommages.
07:30
It's called the tragedy of the commons,
140
438320
2136
C'est la Tragédie des biens communs,
07:32
traditionally,
141
440480
1296
typiquement,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
mais je pense que dans le cas des voitures
sans conducteur,
sans conducteur,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
le problème est peut-être
un peu plus insidieux
un peu plus insidieux
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
car ce n'est pas forcément
un seul être humain
un seul être humain
07:43
making those decisions.
145
451320
1696
qui prend ces décisions.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Les fabricants de voitures pourraient
simplement les programmer
simplement les programmer
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
pour maximiser la sécurité des clients,
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
et elles pourraient apprendre
par elles-mêmes
par elles-mêmes
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
qu'en agissant de cette manière, elles
augmenteraient le risque des piétons.
augmenteraient le risque des piétons.
07:59
So to use the sheep metaphor,
150
467520
1416
Revenons à notre métaphore,
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
c'est comme si maintenant nous avions
des moutons électriques conscients.
des moutons électriques conscients.
08:04
(Laughter)
152
472600
1456
(Rires)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
Ils peuvent brouter sans que le fermier
le sache.
le sache.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
C'est ce qu'on pourrait appeler la
Tragédie des communs algorithmiques,
Tragédie des communs algorithmiques,
08:14
and if offers new types of challenges.
155
482640
2360
qui offre de nouveaux types de défis.
08:22
Typically, traditionally,
156
490520
1896
De manière générale, typiquement,
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
nous résolvons ces types de dilemmes
sociaux grâce aux lois :
sociaux grâce aux lois :
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
soit les gouvernements soit
les communautés se réunissent
les communautés se réunissent
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
pour décider ensemble quel est
le résultat voulu
le résultat voulu
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
et quelles sortes de contraintes liées
au comportement
au comportement
08:37
they need to implement.
161
505000
1200
doivent être appliquées.
08:39
And then using monitoring and enforcement,
162
507600
2616
Ensuite grâce à la surveillance
et au contrôle,
et au contrôle,
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
ils peuvent s'assurer que le bien civil
soit préservé.
soit préservé.
08:45
So why don't we just,
164
513440
1575
Pourquoi ne pourrions-nous pas,
08:47
as regulators,
165
515039
1496
en tant que régulateurs,
08:48
require that all cars minimize harm?
166
516559
2897
exiger à ce que toutes les voitures
réduisent les dommages ?
réduisent les dommages ?
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
Après tout, c'est ce que veulent les gens.
08:55
And more importantly,
168
523200
1416
Plus important encore,
08:56
I can be sure that as an individual,
169
524640
3096
je peux être sûr qu'en tant qu'individu,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
si j'achète une voiture pouvant
me sacrifier dans un cas très rare,
me sacrifier dans un cas très rare,
09:03
I'm not the only sucker doing that
171
531640
1656
je ne vais pas être le seul pigeon
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
à le faire alors que tous les autres
sont protégés.
sont protégés.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
Dans notre enquête, nous avons demandé
s'ils valideraient un telle loi
s'ils valideraient un telle loi
09:12
and here's what we found.
174
540480
1200
et voici le résultat.
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
Tout d'abord, les gens ont répondu
non à la loi ;
non à la loi ;
09:19
and second, they said,
176
547280
1256
ensuite, ils ont dit :
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
« Si vous légiférer pour que les voitures
réduisent les dommages,
réduisent les dommages,
09:24
I will not buy those cars."
178
552520
1480
je ne les achèterais pas. »
09:27
So ironically,
179
555400
1376
Donc ironiquement,
09:28
by regulating cars to minimize harm,
180
556800
3496
en réglant les voitures pour réduire
les dommages,
les dommages,
09:32
we may actually end up with more harm
181
560320
1840
ça pourrait être pire
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
car les gens n'opteraient pas pour
la technologie plus sécurisée
la technologie plus sécurisée
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
même si c'est plus sûr qu'un conducteur.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
Je n'ai pas la réponse finale de
cette énigme,
cette énigme,
09:45
but I think as a starting point,
185
573800
1576
mais pour commencer,
09:47
we need society to come together
186
575400
3296
notre société devrait s'unir
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
pour décider quels compromis
nous correspondent le plus
nous correspondent le plus
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
et trouver des moyens pour les appliquer.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
Pour commencer, mes brillants étudiants,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Edmond Awad et Sohan De Souza
10:03
built the Moral Machine website,
191
591560
1800
ont créé le site Moral Machine;
10:06
which generates random scenarios at you --
192
594200
2680
celui-ci génère des scénarios aléatoires--
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
une série de dilemmes à la chaîne
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
où vous devez choisir ce que ferait
la voiture dans ces cas.
la voiture dans ces cas.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
Nous varions les âges et la nature
des différentes victimes.
des différentes victimes.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
Jusqu'à présent, nous avons récolté
plus de 5 millions de décisions
plus de 5 millions de décisions
10:26
by over one million people worldwide
197
614760
2200
prises par plus d'un million de gens
10:30
from the website.
198
618400
1200
depuis le site internet.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
Ceci nous aide à avoir une idée
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
de quels compromis les gens sont prêts
à accepter
à accepter
10:37
and what matters to them --
201
625440
1896
et ce qui compte pour eux--
10:39
even across cultures.
202
627360
1440
même à travers les cultures.
10:42
But more importantly,
203
630240
1496
Mais surtout,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
ces exercices aident les gens
à reconnaître
à reconnaître
10:47
the difficulty of making those choices
205
635160
2816
la difficulté que représente le fait
de faire un choix
de faire un choix
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
et que les lesgilateurs sont confrontés
à des choix impossibles.
à des choix impossibles.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
Peut-être que ceci nous aidera
à comprendre, en tant que société,
à comprendre, en tant que société,
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
quels compromis seront mis en place
dans la loi.
dans la loi.
11:02
And indeed, I was very happy to hear
209
650040
1736
En effet, j'ai été très heureux
11:03
that the first set of regulations
210
651800
2016
d'entendre que la première série
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
venue du Département des Transports--
11:08
announced last week --
212
656000
1376
annoncée la semaine dernière
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
a inclus une liste de 15 points à remplir
par tous les fabricants de voitures.
par tous les fabricants de voitures.
11:16
and number 14 was ethical consideration --
214
664000
3256
Le numéro 14 était la consideration
éthique --
éthique --
11:19
how are you going to deal with that.
215
667280
1720
comment allez-vous gérer ça ?
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
Ces personnes peuvent aussi réfléchir
à leurs décisions
à leurs décisions
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
en recevant des résumés à propos
de leurs choix.
de leurs choix.
11:30
I'll give you one example --
218
678440
1656
Je vais vous donner un exemple --
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
je vous avertis juste que ceci n'est pas
un exemple typique,
un exemple typique,
11:35
your typical user.
220
683680
1376
ni un utilisateur typique.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Voici ce que la personne a sauvé
et a tué le plus.
et a tué le plus.
11:40
(Laughter)
222
688720
5200
(Rires)
11:46
Some of you may agree with him,
223
694680
1896
Certains d'entre vous allez être
11:48
or her, we don't know.
224
696600
1640
d'accord avec lui ou avec elle.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
Cette personne a aussi l'air de préférer
les passagers aux piétons
les passagers aux piétons
11:58
in their choices
226
706640
2096
dans ses choix
12:00
and is very happy to punish jaywalking.
227
708760
2816
et est très heureuse de punir
ceux qui traversent en dehors des clous.
ceux qui traversent en dehors des clous.
12:03
(Laughter)
228
711600
3040
(Rires)
12:09
So let's wrap up.
229
717320
1216
Résumons.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
Nous avons commencé avec une question --
un dilemme éthique --
un dilemme éthique --
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
de ce que devrait faire la voiture dans
un scénario précis :
un scénario précis :
12:17
swerve or stay?
232
725080
1200
dévier ou rester ?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
Mais nous avons réalisé que
le problème était autre.
le problème était autre.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
Le problème était de comment faire pour
que la société accepte et applique
que la société accepte et applique
12:26
the trade-offs they're comfortable with.
235
734560
1936
les compromis qui lui conviennent.
12:28
It's a social dilemma.
236
736520
1256
C'est un dilemme social.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
Dans les années 1940, Isaac Asimov a écrit
sa célèbre loi de la robotique --
sa célèbre loi de la robotique --
12:34
the three laws of robotics.
238
742840
1320
les trois règles de la robotique.
12:37
A robot may not harm a human being,
239
745240
2456
Un robot ne nuira pas à un être humain,
12:39
a robot may not disobey a human being,
240
747720
2536
un robot ne désobéira pas
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
et il ne s'autorisera pas
à faire au mal --
à faire au mal --
12:45
in this order of importance.
242
753560
1960
dans cet ordre d'importance.
12:48
But after 40 years or so
243
756360
2136
Mais environ 40 ans plus tard
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
et après tellement de scénarios qui ont
testé ces règles,
testé ces règles,
12:54
Asimov introduced the zeroth law
245
762280
3696
Asimov a présenté la loi Zéro
12:58
which takes precedence above all,
246
766000
2256
qui a préséance avant tout.
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
Un robot ne devrait pas nuire
à l'Humanité.
à l'Humanité.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
Je ne sais pas ce que cela représente dans
le cas des voitures sans conducteur
le cas des voitures sans conducteur
13:08
or any specific situation,
249
776880
2736
ou dans une situation spécifique,
13:11
and I don't know how we can implement it,
250
779640
2216
et je ne sais pas comment
la mettre en œuvre ;
la mettre en œuvre ;
13:13
but I think that by recognizing
251
781880
1536
mais en admettant que
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
la législation de ces voitures n'est pas
uniquement un problème technique
uniquement un problème technique
13:21
but also a societal cooperation problem,
253
789600
3280
mais aussi un problème de coopération
sociétale, j'espère que
sociétale, j'espère que
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
nous puissions au moins nous poser
les bonnes questions.
les bonnes questions.
13:29
Thank you.
255
797200
1216
Merci.
13:30
(Applause)
256
798440
2920
(Applaudissements)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com