TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Iyad Rahwan: Que decisões morais deveriam os carros autónomos fazer?
Filmed:
Readability: 4.4
1,147,381 views
Deveria o teu carro autónomo matar-te caso isso significasse salvar cinco peões? Nesta introdução sobre os dilemas morais de carros autónomos, Iyad Rahwan explora como a tecnologia irá desafiar a nossa moral e explica o seu trabalho de recolha de dados de pessoas reais nas decisões éticas que estamos dispostos (ou não) a fazer.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Hoje, vou falar
sobre tecnologia e sociedade.
sobre tecnologia e sociedade.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
O Departamento de Transportes
estimou que, no ano passado,
estimou que, no ano passado,
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
morreram 35 mil pessoas devido
a acidentes rodoviários, somente nos EUA.
a acidentes rodoviários, somente nos EUA.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
A nível mundial, 1,2 milhões de pessoas
morrem por ano em acidentes rodoviários.
morrem por ano em acidentes rodoviários.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
Se existisse uma forma de eliminar
90% desses acidentes,
90% desses acidentes,
vocês iriam apoiá-la?
00:37
would you support it?
5
25880
1200
00:39
Of course you would.
6
27720
1296
Claro que sim.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
É isto que a tecnologia de
carros autónomos pretende alcançar
carros autónomos pretende alcançar
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
ao eliminar a causa principal
dos acidentes
dos acidentes
00:47
human error.
9
35560
1200
— o erro humano.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Imaginem-se num carro autónomo
no ano de 2030,
no ano de 2030,
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
descontraídos e a ver este vídeo
"vintage" do TEDxCambridge.
"vintage" do TEDxCambridge.
00:58
(Laughter)
12
46840
2000
(Risos)
01:01
All of a sudden,
13
49520
1216
De repente,
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
o carro sofre uma falha mecânica
e é incapaz de parar.
e é incapaz de parar.
01:07
If the car continues,
15
55360
1520
Se o carro continuar em frente,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
irá colidir com um monte de peões
que atravessam a rua,
que atravessam a rua,
01:15
but the car may swerve,
17
63080
2135
mas o carro poderá desviar-se,
01:17
hitting one bystander,
18
65239
1857
atingindo um peão no passeio,
01:19
killing them to save the pedestrians.
19
67120
2080
matando-o para salvar os restantes peões.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
O que deverá o carro fazer,
e quem deverá decidir?
e quem deverá decidir?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
E se o carro pudesse desviar-se
contra uma parede,
contra uma parede,
01:29
crashing and killing you, the passenger,
22
77080
3296
chocando e matando o passageiro,
01:32
in order to save those pedestrians?
23
80400
2320
de forma a salvar aqueles peões?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
Este cenário é inspirado
pelo dilema do elétrico,
pelo dilema do elétrico,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
inventado por filósofos
há algumas décadas,
há algumas décadas,
01:42
to think about ethics.
26
90760
1240
para pensar sobre a ética.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
A forma como pensamos
neste problema é importante.
neste problema é importante.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
Por exemplo, nós podemos
nem sequer pensar nele.
nem sequer pensar nele.
01:51
We may say this scenario is unrealistic,
29
99280
3376
Podemos dizer que
este cenário é irrealista,
este cenário é irrealista,
01:54
incredibly unlikely, or just silly.
30
102680
2320
extremamente improvável
ou simplesmente absurdo.
ou simplesmente absurdo.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
Mas eu acho que esta crítica
perde de vista o objetivo
perde de vista o objetivo
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
porque leva o cenário demasiado à letra.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
É óbvio que nenhum acidente
se parecerá com este;
se parecerá com este;
02:06
no accident has two or three options
34
114680
3336
nenhum acidente tem duas ou três opções
02:10
where everybody dies somehow.
35
118040
2000
em que alguém acaba morto inevitavelmente.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Em vez disso, o carro irá calcular algo
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
como a probabilidade de embater
num certo grupo de pessoas
num certo grupo de pessoas
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
e, caso se desvie para
uma direção ou para outra,
uma direção ou para outra,
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
poderá aumentar o risco dos passageiros
ou de outros condutores
ou de outros condutores
02:27
versus pedestrians.
40
135840
1536
em vez dos peões.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
Irá ser um cálculo mais complexo,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
mas irá envolver na mesma
tomar decisões
tomar decisões
02:35
and trade-offs often require ethics.
43
143840
2880
e muitas das vezes,
tomar essas decisões requer ética.
tomar essas decisões requer ética.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
Podemos dizer:
"Não nos vamos preocupar com isso.
"Não nos vamos preocupar com isso.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
"Vamos esperar até que a tecnologia esteja
totalmente desenvolvida e 100% segura."
totalmente desenvolvida e 100% segura."
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
Suponhamos que, de facto, se possam
eliminar 90% desses acidentes,
eliminar 90% desses acidentes,
02:53
or even 99 percent in the next 10 years.
47
161080
2840
ou mesmo 99% nos próximos 10 anos.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
E se eliminar esse 1% dos acidentes
03:00
requires 50 more years of research?
49
168120
3120
exigir mais 50 anos de pesquisa?
03:04
Should we not adopt the technology?
50
172400
1800
Não deveremos adotar a tecnologia?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
Trata-se de 60 milhões de pessoas
mortas em acidentes,
mortas em acidentes,
03:11
if we maintain the current rate.
52
179520
1760
se mantivermos o ritmo atual.
03:14
So the point is,
53
182760
1216
Isto significa que
esperar por segurança total
esperar por segurança total
03:16
waiting for full safety is also a choice,
54
184000
3616
também é uma escolha
03:19
and it also involves trade-offs.
55
187640
2160
e também envolve tomar decisões.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
Nas redes sociais, as pessoas
têm arranjado inúmeras formas
têm arranjado inúmeras formas
03:27
to not think about this problem.
57
195920
2016
para não ter de pensar neste problema.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Uma pessoa sugeriu que o carro
devia, de alguma forma,
devia, de alguma forma,
03:33
in between the passengers --
59
201200
2136
passar entre os peões...
03:35
(Laughter)
60
203360
1016
(Risos)
03:36
and the bystander.
61
204400
1256
e o peão no passeio.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
Claro que, se isso for possível,
é o que o carro deve fazer.
é o que o carro deve fazer.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
Estamos interessados em cenários
em que isso não é possível.
em que isso não é possível.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
O meu cenário favorito foi
uma sugestão feita por um "blogger",
uma sugestão feita por um "blogger",
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
de o carro ter um botão de ejeção
que se pressiona...
que se pressiona...
03:53
(Laughter)
66
221760
1216
(Risos)
03:55
just before the car self-destructs.
67
223000
1667
antes de o carro se autodestruir.
03:56
(Laughter)
68
224691
1680
(Risos)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Se nós reconhecermos que os carros
terão que tomar decisões na estrada,
terão que tomar decisões na estrada,
04:06
how do we think about those trade-offs,
70
234200
1880
como devemos ponderar essas decisões
04:09
and how do we decide?
71
237320
1576
e como é que decidimos?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
Talvez devêssemos fazer um inquérito
para saber o que a sociedade quer
para saber o que a sociedade quer
04:14
because ultimately,
73
242080
1456
porque, em última análise,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
as normas e as leis são o espelho
dos valores da sociedade.
dos valores da sociedade.
04:20
So this is what we did.
75
248040
1240
Então foi o que fizemos.
04:21
With my collaborators,
76
249880
1616
Com os meus colaboradores,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Jean-François Bonnefon e Azim Shariff,
04:25
we ran a survey
78
253880
1616
realizámos um inquérito
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
no qual apresentámos às pessoas
estes tipos de cenários.
estes tipos de cenários.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Demos-lhes duas opções,
inspiradas por dois filósofos:
inspiradas por dois filósofos:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
Jeremy Bentham e Immanuel Kant.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
Bentham diz que o carro
deve seguir a ética utilitarista:
deve seguir a ética utilitarista:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
fazer aquilo que irá
minimizar os danos totais
minimizar os danos totais
04:44
even if that action will kill a bystander
84
272160
2816
— mesmo que isso implique
matar um peão no passeio
matar um peão no passeio
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
e, mesmo que isso
acabe por matar o passageiro.
acabe por matar o passageiro.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
Immanul Kant diz que o carro
deve seguir princípios morais,
deve seguir princípios morais,
04:55
like "Thou shalt not kill."
87
283120
1560
como "Não matarás."
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
Então, não se deve agir, caso isso
implique magoar um ser humano,
implique magoar um ser humano,
05:01
and you should let the car take its course
89
289960
2456
e deverá deixar-se que o carro
siga o seu percurso
siga o seu percurso
05:04
even if that's going to harm more people.
90
292440
1960
mesmo que se magoem mais pessoas.
05:07
What do you think?
91
295640
1200
O que acham?
05:09
Bentham or Kant?
92
297360
1520
Bentham ou Kant?
05:11
Here's what we found.
93
299760
1256
Estes são os resultados.
05:13
Most people sided with Bentham.
94
301040
1800
A maioria concordou com Bentham.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Parece que as pessoas preferem
que os carros sejam utilitários,
que os carros sejam utilitários,
minimizem os danos totais,
e é isso que todos nós devemos fazer.
e é isso que todos nós devemos fazer.
05:19
minimize total harm,
96
307960
1416
05:21
and that's what we should all do.
97
309400
1576
05:23
Problem solved.
98
311000
1200
Problema resolvido.
05:25
But there is a little catch.
99
313240
1480
Mas há um pequeno senão.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Quando perguntámos às pessoas
se elas comprariam esses carros,
se elas comprariam esses carros,
05:31
they said, "Absolutely not."
101
319680
1616
elas responderam: "Claro que não."
05:33
(Laughter)
102
321320
2296
(Risos)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Elas gostariam de comprar carros
que as protegessem a todo o custo,
que as protegessem a todo o custo,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
mas querem que os restantes
comprem carros que minimizem os danos.
comprem carros que minimizem os danos.
05:43
(Laughter)
105
331200
2520
(Risos)
05:46
We've seen this problem before.
106
334720
1856
Já vimos este problema.
05:48
It's called a social dilemma.
107
336600
1560
Chama-se dilema social.
05:51
And to understand the social dilemma,
108
339160
1816
Para perceber o dilema social,
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
temos que recuar um pouco na história.
05:56
In the 1800s,
110
344000
2576
No início do século XIX,
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
o economista inglês William Forster Lloyd
publicou um folheto
publicou um folheto
06:02
which describes the following scenario.
112
350360
2216
que descrevia o seguinte cenário:
06:04
You have a group of farmers --
113
352600
1656
Temos um grupo de pastores
— pastores ingleses —
— pastores ingleses —
06:06
English farmers --
114
354280
1336
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
que partilham um terreno
para as ovelhas pastarem.
para as ovelhas pastarem.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Se cada pastor levar
um certo número de ovelhas
um certo número de ovelhas
06:14
let's say three sheep --
117
362120
1496
— por exemplo, três ovelhas —
06:15
the land will be rejuvenated,
118
363640
2096
o terreno recuperará,
os pastores ficam contentes,
os pastores ficam contentes,
06:17
the farmers are happy,
119
365760
1216
06:19
the sheep are happy,
120
367000
1616
as ovelhas ficam contentes,
06:20
everything is good.
121
368640
1200
tudo fica bem.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Se um pastor levar uma ovelha extra,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
terá uma pequena vantagem,
mas ninguém será prejudicado.
mas ninguém será prejudicado.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Mas, se cada pastor tomar
a mesma decisão,
a mesma decisão,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
a terra será sobreutilizada
e ficará empobrecida
e ficará empobrecida
06:39
to the detriment of all the farmers,
126
387360
2176
prejudicando todos os pastores
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
e, claro, as ovelhas também.
06:44
We see this problem in many places:
128
392720
3680
Vemos este problema em muitos sítios:
06:49
in the difficulty of managing overfishing,
129
397080
3176
na dificuldade de controlar
a pesca excessiva,
a pesca excessiva,
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
ou em reduzir as emissões de carbono
para atenuar as mudanças climáticas.
para atenuar as mudanças climáticas.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
Quando se trata da regulamentação
de carros autónomos,
de carros autónomos,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
os terrenos baldios são,
basicamente, a segurança pública
basicamente, a segurança pública
07:07
that's the common good --
133
415440
1240
— ou seja, o bem comum.
07:09
and the farmers are the passengers
134
417400
1976
Os pastores são os passageiros
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
ou os donos de carros que escolham
conduzir esse tipo de veículo.
conduzir esse tipo de veículo.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
E ao fazer essa escolha
individual e racional
individual e racional
07:19
of prioritizing their own safety,
137
427600
2816
de dar prioridade à sua segurança,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
eles podem estar, em conjunto,
a prejudicar o bem comum,
a prejudicar o bem comum,
07:25
which is minimizing total harm.
139
433600
2200
que é o que está
a minimizar os danos totais.
a minimizar os danos totais.
07:30
It's called the tragedy of the commons,
140
438320
2136
É a chamada "tragédia dos comuns",
tradicionalmente.
tradicionalmente.
07:32
traditionally,
141
440480
1296
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
Mas eu penso que, no caso
de carros autónomos,
de carros autónomos,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
o problema pode ser
um pouco mais insidioso
um pouco mais insidioso
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
pois não é necessariamente um ser humano
07:43
making those decisions.
145
451320
1696
a tomar essas decisões.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Os fabricantes de automóveis
podem programar carros
podem programar carros
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
que irão maximizar
a segurança dos seus clientes,
a segurança dos seus clientes,
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
e esses carros poderão aprender sozinhos
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
que, ao fazer isso, aumentará
o risco para os peões.
o risco para os peões.
07:59
So to use the sheep metaphor,
150
467520
1416
Na metáfora das ovelhas,
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
é como se tivéssemos ovelhas eletrónicas
que pensam por si mesmas.
que pensam por si mesmas.
08:04
(Laughter)
152
472600
1456
(Risos)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
Elas podem ir pastar
sem que o pastor saiba disso.
sem que o pastor saiba disso.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
É a isso que chamamos
a tragédia dos algoritmos comuns,
a tragédia dos algoritmos comuns,
08:14
and if offers new types of challenges.
155
482640
2360
e isso apresenta novos tipos de problemas.
08:22
Typically, traditionally,
156
490520
1896
Tipicamente,
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
nós resolvemos este tipo de
dilemas sociais com regulamentações
dilemas sociais com regulamentações
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
em que os governos
e as comunidades se juntam,
e as comunidades se juntam,
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
e decidem coletivamente
que tipo de resultado querem
que tipo de resultado querem
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
e que tipo de restrições é necessário
aplicar no comportamento individual.
aplicar no comportamento individual.
08:37
they need to implement.
161
505000
1200
08:39
And then using monitoring and enforcement,
162
507600
2616
E depois, com o acompanhamento
e a sua imposição,
e a sua imposição,
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
podem certificar-se de que
o bem público é preservado.
o bem público é preservado.
08:45
So why don't we just,
164
513440
1575
Então porque é que nós,
enquanto entidades reguladoras,
enquanto entidades reguladoras,
08:47
as regulators,
165
515039
1496
08:48
require that all cars minimize harm?
166
516559
2897
não exigimos que todos os carros
minimizem os danos?
minimizem os danos?
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
Afinal, as pessoas dizem
que é isso que querem.
que é isso que querem.
08:55
And more importantly,
168
523200
1416
E mais importante ainda,
08:56
I can be sure that as an individual,
169
524640
3096
enquanto indivíduo, tenho a certeza
de que, se comprasse um carro,
de que, se comprasse um carro,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
numa situação improvável,
decidisse sacrificar-me,
decidisse sacrificar-me,
09:03
I'm not the only sucker doing that
171
531640
1656
eu não seria o único a fazer isso
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
enquanto as demais pessoas
teriam uma proteção ilimitada.
teriam uma proteção ilimitada.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
No inquérito, perguntámos às pessoas
se apoiariam a regulamentação
se apoiariam a regulamentação
09:12
and here's what we found.
174
540480
1200
e obtivemos este resultado:
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
Para começar, as pessoas disseram
que não apoiariam a regulamentação.
que não apoiariam a regulamentação.
09:19
and second, they said,
176
547280
1256
E em segundo, disseram:
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"Se regulamentarem os carros para
fazer isso e minimizar os danos totais,
fazer isso e minimizar os danos totais,
09:24
I will not buy those cars."
178
552520
1480
"não irei comprar esses carros."
09:27
So ironically,
179
555400
1376
Então, ironicamente,
09:28
by regulating cars to minimize harm,
180
556800
3496
ao regulamentar os carros
para minimizarem os danos,
para minimizarem os danos,
09:32
we may actually end up with more harm
181
560320
1840
pode-se estar a causar mais danos
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
pois as pessoas podem não optar
pela tecnologia mais segura
pela tecnologia mais segura
mesmo sendo mais segura
do que os condutores humanos.
do que os condutores humanos.
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
Eu não possuo a resposta final
para este enigma,
para este enigma,
mas acho que, para começar,
09:45
but I think as a starting point,
185
573800
1576
09:47
we need society to come together
186
575400
3296
é necessário que a sociedade
concorde nas decisões mais adequadas
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
e encontre formas de como
se podem impor essas decisões.
se podem impor essas decisões.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
Como ponto de partida,
os meus brilhantes alunos,
os meus brilhantes alunos,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Edmond Awad e Sohan Dsouza,
10:03
built the Moral Machine website,
191
591560
1800
criaram o site "Moral Machine",
10:06
which generates random scenarios at you --
192
594200
2680
que gera cenários aleatórios
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
— basicamente, um monte
de dilemas aleatórios
de dilemas aleatórios
em que vocês têm que escolher
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
o que um carro deve fazer
num determinado cenário.
num determinado cenário.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
E vamos mudando as idades
e as espécies das diversas vítimas.
e as espécies das diversas vítimas.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
Até agora, recolhemos
mais de cinco milhões de respostas
mais de cinco milhões de respostas
10:26
by over one million people worldwide
197
614760
2200
de mais de 1 milhão de pessoas,
a nível mundial,
a nível mundial,
10:30
from the website.
198
618400
1200
através desse site.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
Isto está a ajudar-nos
a formar um quadro inicial
a formar um quadro inicial
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
do tipo de decisões que
as pessoas acham adequadas
as pessoas acham adequadas
10:37
and what matters to them --
201
625440
1896
e o que é importante para elas,
10:39
even across cultures.
202
627360
1440
mesmo noutras culturas.
10:42
But more importantly,
203
630240
1496
Mas mais importante,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
fazer este exercício ajuda as pessoas
a reconhecer a dificuldade
de fazer aquelas escolhas
de fazer aquelas escolhas
10:47
the difficulty of making those choices
205
635160
2816
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
e que a entidade reguladora está
incumbida de fazer escolhas impossíveis.
incumbida de fazer escolhas impossíveis.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
Enquanto sociedade, talvez isto nos
ajude a perceber que tipos de decisões
ajude a perceber que tipos de decisões
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
deverão ser implementadas
na regulamentação.
na regulamentação.
11:02
And indeed, I was very happy to hear
209
650040
1736
Fiquei bastante feliz ao ouvir
11:03
that the first set of regulations
210
651800
2016
que o primeiro conjunto de regulamentações
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
anunciado pelo Departamento de Transporte,
na semana passada,
na semana passada,
11:08
announced last week --
212
656000
1376
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
inclui uma lista de 15 pontos
que todos os fabricantes
de automóveis devem fornecer.
de automóveis devem fornecer.
11:16
and number 14 was ethical consideration --
214
664000
3256
O número 14 foi uma reflexão ética
11:19
how are you going to deal with that.
215
667280
1720
sobre como a pessoa vai lidar com isso.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
Nós fazemos as pessoas
refletir nas suas decisões
refletir nas suas decisões
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
ao dar-lhes uma síntese do que escolheram.
11:30
I'll give you one example --
218
678440
1656
Vou dar-vos um exemplo
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
e desde já vos aviso que este não é
o exemplo de um utilizador habitual.
o exemplo de um utilizador habitual.
11:35
your typical user.
220
683680
1376
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Estas são a personagem mais sacrificada
e a mais salvo para esta pessoa.
e a mais salvo para esta pessoa.
11:40
(Laughter)
222
688720
5200
(Risos)
11:46
Some of you may agree with him,
223
694680
1896
Alguns de vocês podem concordar com ele,
ou com ela — não sabemos.
ou com ela — não sabemos.
11:48
or her, we don't know.
224
696600
1640
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
Mas esta pessoa preferiu salvar
os passageiros ao invés dos peões
os passageiros ao invés dos peões
11:58
in their choices
226
706640
2096
nas suas escolhas,
12:00
and is very happy to punish jaywalking.
227
708760
2816
e parece muito feliz por punir
peões que não cumprem a lei.
peões que não cumprem a lei.
12:03
(Laughter)
228
711600
3040
(Risos)
12:09
So let's wrap up.
229
717320
1216
Vamos então, concluir.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
Começámos com a questão
— chamemos-lhe dilema ético —
— chamemos-lhe dilema ético —
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
sobre o que o carro deverá
fazer num cenário específico:
fazer num cenário específico:
12:17
swerve or stay?
232
725080
1200
desviar-se ou continuar?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
Mas depois apercebemo-nos
que o problema era outro.
que o problema era outro.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
O problema era sobre como levar
a sociedade a concordar e a impor
a sociedade a concordar e a impor
12:26
the trade-offs they're comfortable with.
235
734560
1936
as decisões que consideram adequadas.
12:28
It's a social dilemma.
236
736520
1256
É um dilema social.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
Nos anos 40, Isaac Asimov escreveu
as suas famosas leis da robótica,
as suas famosas leis da robótica,
12:34
the three laws of robotics.
238
742840
1320
as três leis da robótica.
12:37
A robot may not harm a human being,
239
745240
2456
Um robô não pode magoar um ser humano,
12:39
a robot may not disobey a human being,
240
747720
2536
um robô não pode desobedecer
a um ser humano,
a um ser humano,
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
e um robô não se pode
danificar-se a ele mesmo
danificar-se a ele mesmo
12:45
in this order of importance.
242
753560
1960
— seguindo esta ordem de importância.
12:48
But after 40 years or so
243
756360
2136
Mas cerca de 40 anos depois,
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
e depois de tantas histórias
que levavam estas leis ao limite,
que levavam estas leis ao limite,
12:54
Asimov introduced the zeroth law
245
762280
3696
Asimov introduziu a lei zero,
12:58
which takes precedence above all,
246
766000
2256
que as precede a todas,
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
aquela em que um robô
não pode prejudicar a humanidade.
não pode prejudicar a humanidade.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
Eu não sei o que isto significa
no contexto de carros autónomos
no contexto de carros autónomos
13:08
or any specific situation,
249
776880
2736
ou em qualquer situação específica,
13:11
and I don't know how we can implement it,
250
779640
2216
e não sei como é que
podemos implementar isto,
podemos implementar isto,
13:13
but I think that by recognizing
251
781880
1536
mas acho que, ao reconhecer
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
que a regulamentação dos carros autónomos
não é apenas um problema tecnológico,
não é apenas um problema tecnológico,
13:21
but also a societal cooperation problem,
253
789600
3280
mas também um problema
de cooperação social,
de cooperação social,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
espero que possamos começar
a fazer as questões certas.
a fazer as questões certas.
13:29
Thank you.
255
797200
1216
Obrigado.
13:30
(Applause)
256
798440
2920
(Aplausos)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com