TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Iyad Rahwan: Quali decisioni morali dovrebbero prendere le auto a guida autonoma?
Filmed:
Readability: 4.4
1,147,381 views
La tua macchina a guida autonoma dovrebbe ucciderti se questo significasse salvare cinque pedoni? In questa introduzione ai dilemmi sociali delle auto a guida autonoma, Iyad Rahwan analizza come la tecnologia sfiderà la nostra morale e spiega il suo lavoro di raccolta di dati effettuato su persone reali interrogate sui compromessi etici che siamo propensi o meno ad accettare.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Oggi parlerò di tecnologia e società.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
Il Dipartimento dei Trasporti
ha stimato che lo scorso anno
ha stimato che lo scorso anno
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
35.000 persone sono decedute a causa
di incidenti stradali, negli Stati Uniti.
di incidenti stradali, negli Stati Uniti.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
Nel Mondo, 1,2 milioni di persone muoiono
ogni anno a causa di incidenti stradali.
ogni anno a causa di incidenti stradali.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
Se ci fosse la possibilità di eliminare
il 90 percento di questi incidenti,
il 90 percento di questi incidenti,
00:37
would you support it?
5
25880
1200
la sosterreste?
00:39
Of course you would.
6
27720
1296
Certo che lo fareste.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
Questo è quello che la tecnologia
delle auto a guida autonoma si prefigge,
delle auto a guida autonoma si prefigge,
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
eliminando la principale
causa di incidenti --
causa di incidenti --
l'errore umano.
00:47
human error.
9
35560
1200
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Ora, immaginatevi in una macchina
a guida autonoma nell'anno 2030,
a guida autonoma nell'anno 2030,
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
accomodati a guardare
questo video vintage di TEDxCambridge.
questo video vintage di TEDxCambridge.
00:58
(Laughter)
12
46840
2000
(Risate)
01:01
All of a sudden,
13
49520
1216
All'improvviso,
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
la macchina ha un guasto meccanico,
e non riesce più a fermarsi.
e non riesce più a fermarsi.
01:07
If the car continues,
15
55360
1520
Se la macchina proseguisse,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
si schianterebbe contro un gruppo
di pedoni che attraversano la strada,
di pedoni che attraversano la strada,
01:15
but the car may swerve,
17
63080
2135
ma se la macchina sterzasse
01:17
hitting one bystander,
18
65239
1857
colpirebbe un passante,
01:19
killing them to save the pedestrians.
19
67120
2080
uccidendo lui per salvare i pedoni.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
Cosa dovrebbe fare l'auto,
e chi dovrebbe decidere?
e chi dovrebbe decidere?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
E se invece l'auto
potesse sterzare contro un muro,
potesse sterzare contro un muro,
01:29
crashing and killing you, the passenger,
22
77080
3296
schiantandosi e uccidendo voi,
il passeggero,
il passeggero,
01:32
in order to save those pedestrians?
23
80400
2320
per salvare questi pedoni?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
Questo scenario è ispirato
dal dilemma del carrello,
dal dilemma del carrello,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
che è stato formulato
da filosofi qualche decennio fa
da filosofi qualche decennio fa
01:42
to think about ethics.
26
90760
1240
per riflettere sull'etica.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
Ora, come pensiamo
a questo problema importa.
a questo problema importa.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
Potremmo ad esempio
non pensarci affatto.
non pensarci affatto.
01:51
We may say this scenario is unrealistic,
29
99280
3376
Potremmo dire
che questo scenario è irrealistico,
che questo scenario è irrealistico,
01:54
incredibly unlikely, or just silly.
30
102680
2320
altamente improbabile,
o semplicemente sciocco.
o semplicemente sciocco.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
Ma penso che questa critica
non colga il punto,
non colga il punto,
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
perché considera
lo scenario letteralmente.
lo scenario letteralmente.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
Di certo nessun incidente
assomiglierà a questo;
assomiglierà a questo;
02:06
no accident has two or three options
34
114680
3336
nessun incidente ha due o tre scelte,
02:10
where everybody dies somehow.
35
118040
2000
dove qualcuno muore comunque.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Invece, la macchina calcolerebbe qualcosa
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
come la probabilità di colpire
un certo gruppo di persone
un certo gruppo di persone
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
se sterzi in una direzione,
anziché nell'altra,
anziché nell'altra,
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
potresti accrescere il rischio
per i passeggeri o per gli altri autisti,
per i passeggeri o per gli altri autisti,
02:27
versus pedestrians.
40
135840
1536
piuttosto che per i pedoni.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
Sarebbe un calcolo più complesso
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
che, comunque,
prevede una scelta,
prevede una scelta,
02:35
and trade-offs often require ethics.
43
143840
2880
e le scelte spesso presuppongono l'etica.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
Potremmo dire,
"Beh, non preoccupiamoci di questo.
"Beh, non preoccupiamoci di questo.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
Aspettiamo finché la tecnologia
sarà pronta e al 100 percento sicura."
sarà pronta e al 100 percento sicura."
Supponiamo di poter davvero eliminare
il 90 percento di questi incidenti,
il 90 percento di questi incidenti,
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
02:53
or even 99 percent in the next 10 years.
47
161080
2840
o persino il 99 percento,
nei prossimi 10 anni.
nei prossimi 10 anni.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
E se eliminare il restante
un per cento di questi incidenti
un per cento di questi incidenti
03:00
requires 50 more years of research?
49
168120
3120
richiedesse altri 50 anni di ricerca?
03:04
Should we not adopt the technology?
50
172400
1800
Non dovremmo
usare questa tecnologia?
usare questa tecnologia?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
Avremmo 60 milioni di morti
in incidenti automobilistici
in incidenti automobilistici
03:11
if we maintain the current rate.
52
179520
1760
se continuassimo così.
03:14
So the point is,
53
182760
1216
Quindi il punto è,
03:16
waiting for full safety is also a choice,
54
184000
3616
aspettare la sicurezza totale
è anch'essa una scelta,
è anch'essa una scelta,
03:19
and it also involves trade-offs.
55
187640
2160
che comunque ha conseguenze.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
Le persone sui social media
hanno trovato tutti i modi
hanno trovato tutti i modi
03:27
to not think about this problem.
57
195920
2016
per non pensare al problema.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Una persona ha suggerito che l'auto
dovrebbe sterzare in qualche modo
dovrebbe sterzare in qualche modo
03:33
in between the passengers --
59
201200
2136
tra i passeggeri --
03:35
(Laughter)
60
203360
1016
(Risate)
03:36
and the bystander.
61
204400
1256
e il passante.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
Ovvio, se la macchina può farlo,
la macchina deve farlo.
la macchina deve farlo.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
Ma siamo interessati agli scenari
dove non è possibile.
dove non è possibile.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
Personalmente, il mio preferito
è stato il suggerimento di un blogger
è stato il suggerimento di un blogger
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
sull'avere un pulsante di espulsione,
che puoi premere --
che puoi premere --
03:53
(Laughter)
66
221760
1216
(Risate)
03:55
just before the car self-destructs.
67
223000
1667
prima che la macchina si autodistrugga.
03:56
(Laughter)
68
224691
1680
(Risate)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Dunque, se accettiamo che le macchine
debbano fare delle scelte in strada,
debbano fare delle scelte in strada,
04:06
how do we think about those trade-offs,
70
234200
1880
come pensiamo a queste scelte,
04:09
and how do we decide?
71
237320
1576
e come decidiamo?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
Forse potremmo somministrare
un questionario su cosa vuole la società,
un questionario su cosa vuole la società,
04:14
because ultimately,
73
242080
1456
perché alla fine,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
regole e leggi sono un riflesso
dei valori della società.
dei valori della società.
04:20
So this is what we did.
75
248040
1240
Quindi, questo è quello
che abbiamo fatto.
che abbiamo fatto.
04:21
With my collaborators,
76
249880
1616
Con i miei collaboratori,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Jean-François Bonnefon e Azim Shariff,
04:25
we ran a survey
78
253880
1616
abbiamo fatto un'indagine
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
dove abbiamo presentato al campione
questi tipi di scenario.
questi tipi di scenario.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Abbiamo dato due opzioni
ispirate da due filosofi:
ispirate da due filosofi:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
Jeremy Bentham e Immanuel Kant.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
Bentham dice: l'auto deve
seguire un'etica utilitaristica:
seguire un'etica utilitaristica:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
deve scegliere l'azione
che minimizza il danno totale --
che minimizza il danno totale --
anche se questa azione
può uccidere un passante
può uccidere un passante
04:44
even if that action will kill a bystander
84
272160
2816
e anche se questa azione
ucciderà il passeggero.
ucciderà il passeggero.
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
Immanuel Kant dice: l'auto deve seguire
i principi dell'imperativo categorico,
i principi dell'imperativo categorico,
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
04:55
like "Thou shalt not kill."
87
283120
1560
come "Non uccidere."
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
Quindi non si deve agire in modi
che rechino palese danno
che rechino palese danno
all'essere umano,
05:01
and you should let the car take its course
89
289960
2456
e lasciare che l'auto
faccia il suo corso
faccia il suo corso
05:04
even if that's going to harm more people.
90
292440
1960
anche nuocendo a più persone.
05:07
What do you think?
91
295640
1200
Cosa ne pensate?
05:09
Bentham or Kant?
92
297360
1520
Bentham o Kant?
05:11
Here's what we found.
93
299760
1256
Abbiamo rilevato
che la maggior parte delle persone
è d'accordo con Bentham.
è d'accordo con Bentham.
05:13
Most people sided with Bentham.
94
301040
1800
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Così sembra che le persone vogliano
macchine utilitaristiche,
macchine utilitaristiche,
05:19
minimize total harm,
96
307960
1416
che minimizzano il danno totale.
05:21
and that's what we should all do.
97
309400
1576
ed è ciò che tutti dovremmo fare.
05:23
Problem solved.
98
311000
1200
Problema risolto.
05:25
But there is a little catch.
99
313240
1480
Eppure, c'è un piccolo particolare.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Quando abbiamo chiesto alle persone
se avrebbero acquistato una macchina così,
se avrebbero acquistato una macchina così,
05:31
they said, "Absolutely not."
101
319680
1616
hanno risposto,
"Assolutamente no".
"Assolutamente no".
05:33
(Laughter)
102
321320
2296
(Risate)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Vogliono comprare auto
che li proteggano ad ogni costo,
che li proteggano ad ogni costo,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
ma vogliono che tutti gli altri
acquistino auto che minimizzino i danni.
acquistino auto che minimizzino i danni.
05:43
(Laughter)
105
331200
2520
(Risate)
Abbiamo già visto questo problema.
05:46
We've seen this problem before.
106
334720
1856
05:48
It's called a social dilemma.
107
336600
1560
Si chiama dilemma sociale.
05:51
And to understand the social dilemma,
108
339160
1816
E per capire un dilemma sociale,
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
dobbiamo andare
un po' indietro nella storia.
un po' indietro nella storia.
05:56
In the 1800s,
110
344000
2576
Nel diciannovesimo secolo,
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
l'economista inglese William Forster Lloyd
ha pubblicato un opuscolo
ha pubblicato un opuscolo
06:02
which describes the following scenario.
112
350360
2216
che descrive il seguente scenario.
06:04
You have a group of farmers --
113
352600
1656
C'è un gruppo di agricoltori --
06:06
English farmers --
114
354280
1336
agricoltori inglesi --
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
che dividono una terra comune
dove pascolano le loro pecore.
dove pascolano le loro pecore.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Se un agricoltore ha
un certo numero di pecore --
un certo numero di pecore --
06:14
let's say three sheep --
117
362120
1496
diciamo tre pecore --
06:15
the land will be rejuvenated,
118
363640
2096
la terra sarà rinvigorita,
06:17
the farmers are happy,
119
365760
1216
gli agricoltori felici,
06:19
the sheep are happy,
120
367000
1616
le pecore felici,
06:20
everything is good.
121
368640
1200
tutti contenti.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Se un agricoltore
porta una pecora aggiuntiva,
porta una pecora aggiuntiva,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
quell'agricoltore farà un po' meglio,
e nessun altro ne avrà un danno.
e nessun altro ne avrà un danno.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Ma se ogni agricoltore prendesse
questa razionale arbitraria decisione,
questa razionale arbitraria decisione,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
la terra verrebbe abusata ed impoverita
06:39
to the detriment of all the farmers,
126
387360
2176
a scapito di tutti gli agricoltori
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
e, ovviamente, a scapito della pecora.
06:44
We see this problem in many places:
128
392720
3680
Osserviamo questo problema in molti posti:
06:49
in the difficulty of managing overfishing,
129
397080
3176
nella difficoltà di gestire la sovrapesca,
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
o nel ridurre le emissioni di carbonio
per mitigare il cambiamento climatico.
per mitigare il cambiamento climatico.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
Quando si parla di regolamentazione
di veicoli a guida autonoma,
di veicoli a guida autonoma,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
l'argomento comune è ora principalmente
la sicurezza pubblica --
la sicurezza pubblica --
07:07
that's the common good --
133
415440
1240
che è un bene comune --
07:09
and the farmers are the passengers
134
417400
1976
e gli agricoltori sono passeggeri
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
o automobilisti che stanno scegliendo
di guidare questa macchine.
di guidare questa macchine.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
E facendo questa scelta
arbitraria e razionale
arbitraria e razionale
07:19
of prioritizing their own safety,
137
427600
2816
di preferire la propria sicurezza,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
possono collettivamente diminuire
il bene comune,
il bene comune,
07:25
which is minimizing total harm.
139
433600
2200
che è minimizzare il danno totale.
07:30
It's called the tragedy of the commons,
140
438320
2136
È chiamata la tragedia dei beni comuni,
07:32
traditionally,
141
440480
1296
normalmente,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
ma penso che anche nel caso
dei veicoli a guida autonoma,
dei veicoli a guida autonoma,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
il problema potrebbe essere
un po' più insidioso
un po' più insidioso
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
perché non è necessariamente
un essere umano
un essere umano
07:43
making those decisions.
145
451320
1696
a prendere queste decisioni.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Quindi i produttori di autoveicoli
potrebbero programmare le loro auto
potrebbero programmare le loro auto
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
per massimizzare
la sicurezza dei loro clienti,
la sicurezza dei loro clienti,
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
e queste auto potrebbero
imparare automaticamente, loro stesse,
imparare automaticamente, loro stesse,
che per fare ciò devono incrementare
leggermente il rischio per i pedoni.
leggermente il rischio per i pedoni.
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
07:59
So to use the sheep metaphor,
150
467520
1416
Usando la metafora della pecora,
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
è come se avessimo delle pecore elettriche
dotate di una propria mente.
dotate di una propria mente.
08:04
(Laughter)
152
472600
1456
(Risate)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
Che possono andare a pascolare
senza che l'agricoltore lo sappia.
senza che l'agricoltore lo sappia.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
Questa è quella che potremmo chiamare
la tragedia degli "algoritmi comuni"
la tragedia degli "algoritmi comuni"
08:14
and if offers new types of challenges.
155
482640
2360
e offre nuovi tipi di sfide.
08:22
Typically, traditionally,
156
490520
1896
Normalmente e tradizionalmente,
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
risolviamo questo tipo
di dilemmi sociali
di dilemmi sociali
usando la regolamentazione,
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
Così sia i governi,
che le comunità si uniscono,
che le comunità si uniscono,
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
e decidono collettivamente
quale tipo di risultato vogliono
quale tipo di risultato vogliono
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
e quale tipo di restrizione
sul comportamento individuale
sul comportamento individuale
08:37
they need to implement.
161
505000
1200
è necessario introdurre.
08:39
And then using monitoring and enforcement,
162
507600
2616
E usando il monitoraggio e l'applicazione,
possono assicurare
che il bene pubblico sia preservato.
che il bene pubblico sia preservato.
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
08:45
So why don't we just,
164
513440
1575
Quindi perché non richiediamo,
08:47
as regulators,
165
515039
1496
da regolamentatori,
08:48
require that all cars minimize harm?
166
516559
2897
soltanto che tutte le macchine
minimizzino il danno?
minimizzino il danno?
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
Dopotutto, questo è quello
che le persone dicono di volere.
che le persone dicono di volere.
08:55
And more importantly,
168
523200
1416
E soprattutto
08:56
I can be sure that as an individual,
169
524640
3096
posso essere sicuro come individuo
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
che, se comprassi una macchina
che potrebbe sacrificarmi in rari casi,
che potrebbe sacrificarmi in rari casi,
09:03
I'm not the only sucker doing that
171
531640
1656
non sia io l'unico babbeo a farlo
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
mentre tutti gli altri si godono
la loro protezione incondizionata.
la loro protezione incondizionata.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
Nel nostro sondaggio,
abbiamo domandato alle persone
abbiamo domandato alle persone
se sostengono la regolamentazione
e abbiamo scoperto
e abbiamo scoperto
09:12
and here's what we found.
174
540480
1200
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
che prima di tutto, le persone
hanno detto no alla regolamentazione;
hanno detto no alla regolamentazione;
09:19
and second, they said,
176
547280
1256
e poi hanno detto,
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"Se voi regolamentate le macchine
a minimizzare il danno totale,
a minimizzare il danno totale,
09:24
I will not buy those cars."
178
552520
1480
io non le comprerò."
09:27
So ironically,
179
555400
1376
Così ironicamente,
09:28
by regulating cars to minimize harm,
180
556800
3496
dal regolamentare le macchine
a minimizzare il danno
a minimizzare il danno
09:32
we may actually end up with more harm
181
560320
1840
finiamo per creare un danno maggiore
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
perché le persone potrebbero
non scegliere la tecnologia più sicura,
non scegliere la tecnologia più sicura,
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
anche se fosse più sicura
degli autisti umani.
degli autisti umani.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
Non ho una risposta finale
a questo rompicapo,
a questo rompicapo,
09:45
but I think as a starting point,
185
573800
1576
ma penso che come punto di partenza,
09:47
we need society to come together
186
575400
3296
ci serve una società coesa
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
per decidere il compromesso
con cui siamo più a nostro agio
con cui siamo più a nostro agio
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
e trovare delle soluzioni per poter
applicare questi compromessi.
applicare questi compromessi.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
Come punto di partenza,
i miei brillanti studenti,
i miei brillanti studenti,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Edmond Awad e Sohan Dsouza,
10:03
built the Moral Machine website,
191
591560
1800
hanno costruito il sito Internet
della Macchina Morale,
della Macchina Morale,
10:06
which generates random scenarios at you --
192
594200
2680
che genera scenari casuali --
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
praticamente una serie
di dilemmi in sequenza
di dilemmi in sequenza
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
dove bisogna scegliere cosa deve fare
la macchina in uno specifico scenario.
la macchina in uno specifico scenario.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
Facciamo variare l'età
e anche la specie delle vittime.
e anche la specie delle vittime.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
Fino ad oggi abbiamo raccolto
più di cinque milioni di decisioni
più di cinque milioni di decisioni
da più di un milione di persone
nel mondo
nel mondo
10:26
by over one million people worldwide
197
614760
2200
grazie al sito.
10:30
from the website.
198
618400
1200
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
E questo ci aiuta
ad avere un'idea iniziale
ad avere un'idea iniziale
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
delle scelte con cui
le persone sono a loro agio,
le persone sono a loro agio,
10:37
and what matters to them --
201
625440
1896
e che cosa è importante per loro --
10:39
even across cultures.
202
627360
1440
anche tra varie culture.
10:42
But more importantly,
203
630240
1496
Ma soprattutto,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
fare questo esercizio aiuta
le persone a riconoscere
le persone a riconoscere
10:47
the difficulty of making those choices
205
635160
2816
che compiere queste scelte
è complesso
è complesso
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
e che chi decide le regole
è incaricato di scelte impossibili.
è incaricato di scelte impossibili.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
E forse questo può aiutarci come società
a riconoscere l'importanza delle decisioni
a riconoscere l'importanza delle decisioni
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
che possono infine
diventare regolamentazione.
diventare regolamentazione.
11:02
And indeed, I was very happy to hear
209
650040
1736
E sono davvero stato
felice di sentire
felice di sentire
11:03
that the first set of regulations
210
651800
2016
che la prima serie di regolamentazioni
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
ricevuta dal Dipartimento dei Trasporti --
11:08
announced last week --
212
656000
1376
annunciata la scorsa settimana --
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
include una lista di 15 punti
che ogni produttore di auto deve fornire,
che ogni produttore di auto deve fornire,
11:16
and number 14 was ethical consideration --
214
664000
3256
e la numero 14 era
una considerazione etica --
una considerazione etica --
11:19
how are you going to deal with that.
215
667280
1720
su come vogliono gestire la cosa.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
Abbiamo anche persone
che riflettono sulle loro decisioni
che riflettono sulle loro decisioni
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
e danno descrizioni delle loro scelte.
11:30
I'll give you one example --
218
678440
1656
Vi faccio un esempio --
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
vi voglio solo avvisare
che non è il tipico esempio,
che non è il tipico esempio,
11:35
your typical user.
220
683680
1376
il tipico utente.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Questi sono il più sacrificabile e
il più salvabile soggetto
il più salvabile soggetto
per questa persona.
11:40
(Laughter)
222
688720
5200
(Risate)
11:46
Some of you may agree with him,
223
694680
1896
Alcuni di voi potrebbero
essere d'accordo con lui,
essere d'accordo con lui,
11:48
or her, we don't know.
224
696600
1640
o lei, non lo sappiamo.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
Ma questa persona sembra anche
preferire i passeggeri ai pedoni,
preferire i passeggeri ai pedoni,
11:58
in their choices
226
706640
2096
nelle sue scelte,
ed è molto contenta di punire
chi attraversa distrattamente.
chi attraversa distrattamente.
12:00
and is very happy to punish jaywalking.
227
708760
2816
12:03
(Laughter)
228
711600
3040
(Risate)
12:09
So let's wrap up.
229
717320
1216
Quindi, riepilogando.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
Siamo partiti con un quesito --
chiamiamolo, dilemma etico --
chiamiamolo, dilemma etico --
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
di cosa la macchina dovrebbe fare
in uno scenario specifico:
in uno scenario specifico:
12:17
swerve or stay?
232
725080
1200
sterzare o rimanere?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
Poi abbiamo realizzato
che il problema era differente.
che il problema era differente.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
Era un problema di come
far accettare alla società, e applicare
far accettare alla società, e applicare
12:26
the trade-offs they're comfortable with.
235
734560
1936
le scelte su cui è più a suo agio.
12:28
It's a social dilemma.
236
736520
1256
È un dilemma sociale.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
Negli anni '40, Isaac Asimov ha scritto
le sue famose leggi sulla robotica --
le sue famose leggi sulla robotica --
12:34
the three laws of robotics.
238
742840
1320
le tre leggi della robotica.
12:37
A robot may not harm a human being,
239
745240
2456
Un robot non può recar danno
a un essere umano,
a un essere umano,
12:39
a robot may not disobey a human being,
240
747720
2536
un robot deve obbedire
agli ordini degli esseri umani,
agli ordini degli esseri umani,
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
un robot deve proteggere
la propria esistenza --
la propria esistenza --
12:45
in this order of importance.
242
753560
1960
in questo ordine di importanza.
12:48
But after 40 years or so
243
756360
2136
Ma dopo circa 40 anni,
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
e dopo così tante storie che hanno portato
queste leggi fino ai massimi limiti,
queste leggi fino ai massimi limiti,
12:54
Asimov introduced the zeroth law
245
762280
3696
Asimov ha introdotto la sua legge zero
12:58
which takes precedence above all,
246
766000
2256
che precede tutte le altre,
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
e dice che un robot non può
recare danno all'umanità intera.
recare danno all'umanità intera.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
Non so cosa questo significhi
nel contesto delle auto a guida autonoma
nel contesto delle auto a guida autonoma
13:08
or any specific situation,
249
776880
2736
o nelle situazioni specifiche,
13:11
and I don't know how we can implement it,
250
779640
2216
e non so come possiamo implementarla,
13:13
but I think that by recognizing
251
781880
1536
ma penso che riconoscendo
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
che la regolamentazione
delle auto a guida autonoma
delle auto a guida autonoma
non sia solo un problema tecnologico,
13:21
but also a societal cooperation problem,
253
789600
3280
ma anche un problema
di cooperazione sociale,
di cooperazione sociale,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
spero che potremo almeno
iniziare a farci le giuste domande.
iniziare a farci le giuste domande.
13:29
Thank you.
255
797200
1216
Grazie.
13:30
(Applause)
256
798440
2920
(Applausi)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com