TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Daniel Suarez: A decisão letal não deve pertencer a um robô
Filmed:
Readability: 5.9
1,946,706 views
Como romancista, Daniel Suarez compõe contos futuristas distópicos. Mas no palco do TEDGlobal, fala-nos de um cenário real sobre o qual todos necessitamos de saber mais: o aparecimento de armas de guerra, robóticas e autónomas. Sugere que os "drones" aperfeiçoados, armas automatizadas e ferramentas de recolha de informações com inteligência artificial poderão usurpar aos seres humanos a decisão de fazer a guerra.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Eu escrevo "thrillers"
de ficção científica,
de ficção científica,
00:15
so if I say "killer robots,"
1
3849
2193
por isso, se disser "robôs assassinos"
00:18
you'd probably think something like this.
2
6042
2361
provavelmente pensarão
em algo deste género.
em algo deste género.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Mas, na verdade, não estou aqui
para falar sobre ficção.
para falar sobre ficção.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Estou aqui para falar de
robôs assassinos muito reais,
robôs assassinos muito reais,
00:25
autonomous combat drones.
5
13906
3122
"drones" de combate autónomos.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Não me estou a referir
aos "drones" Predator e Reaper,
aos "drones" Predator e Reaper,
00:32
which have a human making targeting decisions.
7
20655
3260
que têm um ser humano a decidir os alvos.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Estou a falar de armas robóticas
totalmente autónomas
totalmente autónomas
00:39
that make lethal decisions about human beings
9
27044
2654
que tomam decisões letais
sobre seres humanos
sobre seres humanos
00:41
all on their own.
10
29698
2417
por si mesmas.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
Existe mesmo um termo técnico:
autonomia letal.
autonomia letal.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Os robôs assassinos com autonomia letal
00:50
would take many forms -- flying, driving,
13
38971
3069
podem assumir várias formas
— a voar, a conduzir,
— a voar, a conduzir,
00:54
or just lying in wait.
14
42040
2746
ou simplesmente imóveis, à espera.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
Na verdade, estão rapidamente
a tornar-se uma realidade.
a tornar-se uma realidade.
00:59
These are two automatic sniper stations
16
47895
2484
Isto são duas estações automáticas de tiro,
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
utilizadas hoje na zona desmilitarizada
entre a Coreia do Norte e a do Sul.
entre a Coreia do Norte e a do Sul.
01:06
Both of these machines are capable of automatically
18
54516
2171
Estas duas máquinas podem
identificar automaticamente
identificar automaticamente
01:08
identifying a human target and firing on it,
19
56687
3524
um alvo humano e disparar sobre ele,
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
o da esquerda, a uma distância
de mais de um quilómetro.
de mais de um quilómetro.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
Em ambos os casos,
ainda há um ser humano no meio
ainda há um ser humano no meio
01:20
to make that lethal firing decision,
22
68124
2372
que toma a decisão letal de disparar,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
mas não é um requisito tecnológico,
é uma opção.
é uma opção.
01:27
And it's that choice that I want to focus on,
24
75909
3093
É nessa opção que me quero focar
01:31
because as we migrate lethal decision-making
25
79002
2641
porque, à medida que mudamos
a tomada de decisão letal
a tomada de decisão letal
01:33
from humans to software,
26
81643
3109
de seres humanos para "software",
01:36
we risk not only taking the humanity out of war,
27
84752
3476
arriscamos retirar a humanidade da guerra
01:40
but also changing our social landscape entirely,
28
88228
3526
e ainda mudar inteiramente
o nosso panorama social,
o nosso panorama social,
01:43
far from the battlefield.
29
91754
2224
longe do campo de batalha.
01:45
That's because the way humans resolve conflict
30
93978
4509
Isto porque a maneira com que
os seres humanos resolvem conflitos
os seres humanos resolvem conflitos
01:50
shapes our social landscape.
31
98487
1733
molda o nosso panorama social.
01:52
And this has always been the case, throughout history.
32
100220
2633
Foi sempre assim, em toda a História.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Por exemplo, estes eram sistemas
de armas de última geração
de armas de última geração
01:57
in 1400 A.D.
34
105514
2079
no início do século XV.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Tinham ambos custos de construção
e manutenção muito altos
e manutenção muito altos
02:02
but with these you could dominate the populace,
36
110737
3240
mas, com eles, podia-se dominar o povo
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
e a distribuição do poder político
na sociedade feudal reflectia isso.
na sociedade feudal reflectia isso.
02:09
Power was focused at the very top.
38
117866
2687
O poder estava concentrado no topo.
02:12
And what changed? Technological innovation.
39
120553
3528
O que mudou? A inovação tecnológica.
02:16
Gunpowder, cannon.
40
124081
1871
A pólvora, o canhão.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
Rapidamente, a armadura e os castelos
tornaram-se obsoletos.
tornaram-se obsoletos.
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
Passou a contar menos quem ia
para o campo de batalha
para o campo de batalha
02:24
versus how many people you brought to the battlefield.
43
132302
3779
e a contar mais quantos iam
para o campo de batalha.
para o campo de batalha.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
À medida que os exércitos aumentavam,
surgiu o estado-nação
surgiu o estado-nação
02:31
as a political and logistical requirement of defense.
45
139719
3680
como um requisito político
e logístico de defesa.
e logístico de defesa.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
Como os líderes dependiam mais do povo,
02:37
they began to share power.
47
145775
1833
começaram a partilhar o poder.
02:39
Representative government began to form.
48
147608
2599
Começou a surgir o governo representativo.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
Portanto, as ferramentas que usamos
para resolver os conflitos
para resolver os conflitos
02:45
shape our social landscape.
50
153495
3304
moldam o nosso panorama social.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
As armas robóticas autónomas
são uma dessas ferramentas,
são uma dessas ferramentas,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
com a diferença de que, como são precisas
muito poucas pessoas na guerra,
muito poucas pessoas na guerra,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
corre-se o risco de voltar a centralizar
o poder numa minoria,
o poder numa minoria,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
possivelmente invertendo uma tendência
de cinco séculos para a democracia.
de cinco séculos para a democracia.
03:09
Now, I think, knowing this,
55
177386
1757
Penso que, sabendo isto,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
podemos tomar medidas
decisivas para preservar
decisivas para preservar
as nossas instituições democráticas,
03:15
to do what humans do best, which is adapt.
57
183495
3979
para fazer o que os seres humanos
fazem melhor, ou seja adaptarem-se.
fazem melhor, ou seja adaptarem-se.
03:19
But time is a factor.
58
187474
2005
Mas o tempo é um factor.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
Há 70 nações a desenvolver
os seus próprios "drones" de combate
os seus próprios "drones" de combate
03:24
combat drones of their own,
60
192330
2157
pilotados por controlo remoto.
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
Como verão, os "drones" de combate,
pilotados por controlo remoto,
pilotados por controlo remoto,
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
são os precursores
das armas robóticas autónomas.
das armas robóticas autónomas.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
Porque quando se utilizam
"drones" com controlo remoto,
"drones" com controlo remoto,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
há três fortes factores que forçam
o afastamento da tomada de decisões
o afastamento da tomada de decisões
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
dos seres humanos e a deslocam
para a plataforma da arma.
para a plataforma da arma.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
O primeiro deles é a grande quantidade
de vídeo que os "drones" produzem.
de vídeo que os "drones" produzem.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
Por exemplo, em 2004,
a frota de "drones" do EUA
a frota de "drones" do EUA
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
produziu um total de 71 horas
de vídeo-vigilância para serem analisadas.
de vídeo-vigilância para serem analisadas.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
Em 2011, este número subiu
para as 300 000 horas,
para as 300 000 horas,
04:03
outstripping human ability to review it all,
70
231226
3149
ultrapassando a capacidade humana
de analisar tudo.
de analisar tudo.
04:06
but even that number is about to go up drastically.
71
234375
3664
Apesar disso, este número
está a subir drasticamente.
está a subir drasticamente.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
Os programas Gorgon Stare e Argus,
do Pentágono
do Pentágono
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
vão pôr 65 câmaras
a funcionar independentemente
a funcionar independentemente
04:15
on each drone platform,
74
243778
2038
em cada plataforma de "drone".
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
Isso vai ultrapassar
a capacidade humana de analisar tudo.
a capacidade humana de analisar tudo.
04:21
And that means visual intelligence software will need
76
249119
2160
Significa que o "software"
de informações visuais
de informações visuais
04:23
to scan it for items of interest.
77
251279
4048
vai precisar de o analisar,
à procura de itens de interesse.
à procura de itens de interesse.
04:27
And that means very soon
78
255327
1348
Significa que muito em breve
04:28
drones will tell humans what to look at,
79
256675
2747
os "drones" irão dizer aos seres humanos
para onde olhar,
para onde olhar,
04:31
not the other way around.
80
259422
2497
e não o contrário.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Mas há um segundo forte incentivo
que força a passagem da tomada de decisões
dos seres humanos para as máquinas,
dos seres humanos para as máquinas,
04:36
decision-making away from humans and onto machines,
82
264392
3383
04:39
and that's electromagnetic jamming,
83
267775
2872
é a interferência electromagnética,
04:42
severing the connection between the drone
84
270647
2236
que corta a ligação
entre o "drone" e o seu operador.
entre o "drone" e o seu operador.
04:44
and its operator.
85
272883
2814
04:47
Now we saw an example of this in 2011
86
275697
2618
Vimos um exemplo disto em 2011
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
quando um "drone" RQ-170 Sentinel
norte-americano
norte-americano
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
ficou confuso, ao sobrevoar o Irão,
devido a um ataque ao GPS,
devido a um ataque ao GPS,
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
mas qualquer "drone"
pilotado por controlo remoto
pilotado por controlo remoto
está sujeito a este tipo de ataque,
e isso significa que os "drones"
05:02
and that means drones
90
290692
2052
05:04
will have to shoulder more decision-making.
91
292744
3620
vão ter de assumir
mais tomadas de decisão.
mais tomadas de decisão.
05:08
They'll know their mission objective,
92
296364
3043
Vão saber o objectivo da sua missão,
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
e vão reagir a novas circunstâncias
sem orientação humana.
sem orientação humana.
05:16
They'll ignore external radio signals
94
304252
2581
Vão ignorar sinais de rádio externos
05:18
and send very few of their own.
95
306833
2330
e vão enviar muito poucos.
05:21
Which brings us to, really, the third
96
309163
2006
O que nos leva ao terceiro
e mais poderoso incentivo
e mais poderoso incentivo
05:23
and most powerful incentive pushing decision-making
97
311169
3862
que força a passagem da tomada de decisões
05:27
away from humans and onto weapons:
98
315031
3342
dos seres humanos para as armas:
05:30
plausible deniability.
99
318373
3293
a negação plausível.
05:33
Now we live in a global economy.
100
321666
2887
Vivemos numa economia global.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
Produz-se alta tecnologia
na maioria dos continentes.
na maioria dos continentes.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
A espionagem cibernética está a avançar
05:43
to parts unknown,
103
331801
1886
para áreas desconhecidas.
05:45
and in that environment, it is very likely
104
333687
2014
Neste ambiente é muito provável
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
que o projecto de um "drone" seja copiado
e fabricado em fábricas contratadas
e fabricado em fábricas contratadas
05:52
proliferate in the gray market.
106
340435
2170
e prolifere no mercado negro.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
Nessa situação,
mesmo analisando os destroços
mesmo analisando os destroços
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
de um ataque suicida de um "drone"
vai ser muito difícil dizer
quem enviou aquela arma.
quem enviou aquela arma.
06:00
who sent that weapon.
109
348025
4400
06:04
This raises the very real possibility
110
352425
2800
Isso suscita a possibilidade, muito real
06:07
of anonymous war.
111
355225
2935
de guerra anónima.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Isso poderá desequilibrar
o equilíbrio geopolítico
o equilíbrio geopolítico
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
tornando muito difícil que uma nação
use o seu poder de fogo
use o seu poder de fogo
06:16
against an attacker, and that could shift the balance
114
364265
2848
contra um agressor.
Isso pode mudar o equilíbrio no século XXI,
passando-se da defesa para a ofensiva.
passando-se da defesa para a ofensiva.
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
06:22
It could make military action a viable option
116
370877
3124
Pode tornar viável
a opção da intervenção militar
a opção da intervenção militar
06:26
not just for small nations,
117
374001
2288
não só para as pequenas nações
06:28
but criminal organizations, private enterprise,
118
376289
2545
mas também para organizações
criminosas, empresas privadas
criminosas, empresas privadas
06:30
even powerful individuals.
119
378834
2479
e até para indivíduos poderosos.
06:33
It could create a landscape of rival warlords
120
381313
3328
Pode criar um cenário
de senhores da guerra rivais
de senhores da guerra rivais
06:36
undermining rule of law and civil society.
121
384641
3680
a desestabilizar a força da lei
e a sociedade civil.
e a sociedade civil.
06:40
Now if responsibility and transparency
122
388321
3616
Se a responsabilidade e a transparência
06:43
are two of the cornerstones of representative government,
123
391937
2384
são duas bases fundamentais
de um governo representativo,
de um governo representativo,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
as armas robóticas autónomas
poderão subverter as duas coisas.
poderão subverter as duas coisas.
06:50
Now you might be thinking that
125
398641
1546
Podem pensar que
06:52
citizens of high-tech nations
126
400187
2246
os cidadãos de nações com alta tecnologia
06:54
would have the advantage in any robotic war,
127
402433
2703
terão vantagem em qualquer guerra robótica
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
que os cidadãos dessas nações
estarão menos vulneráveis
estarão menos vulneráveis
07:00
particularly against developing nations.
129
408769
4288
particularmente contra
nações em desenvolvimento.
nações em desenvolvimento.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Mas penso que a verdade
é exactamente o oposto.
é exactamente o oposto.
07:08
I think citizens of high-tech societies
131
416581
2251
Penso que os cidadãos
de sociedades com alta tecnologia
de sociedades com alta tecnologia
07:10
are more vulnerable to robotic weapons,
132
418832
3729
são mais vulneráveis a armas robóticas.
07:14
and the reason can be summed up in one word: data.
133
422561
4465
A razão para isso pode resumir-se
numa palavra: dados.
numa palavra: dados.
07:19
Data powers high-tech societies.
134
427026
3481
Os dados dão poder
às sociedades de alta tecnologia.
às sociedades de alta tecnologia.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Geolocalização por telemóvel,
metadados de telecomunicações,
metadados de telecomunicações,
07:25
social media, email, text, financial transaction data,
136
433697
3472
redes sociais, email, mensagens de texto,
dados de transacções financeiras,
dados de transacções financeiras,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
dados de transportes, há uma riqueza
de dados em tempo real
de dados em tempo real
07:32
on the movements and social interactions of people.
138
440701
3373
sobre os movimentos
e interacções sociais das pessoas.
e interacções sociais das pessoas.
07:36
In short, we are more visible to machines
139
444074
3775
Em poucas palavras,
somos mais visíveis para as máquinas
somos mais visíveis para as máquinas
07:39
than any people in history,
140
447849
2242
do que qualquer outro povo na História.
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
Isso encaixa perfeitamente nas necessidades
de alvos das armas autónomas.
de alvos das armas autónomas.
07:47
What you're looking at here
142
455707
1738
O que veem aqui
07:49
is a link analysis map of a social group.
143
457445
3246
é um mapa de análise de um grupo social.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
As linhas indicam ligações sociais
entre indivíduos.
entre indivíduos.
07:56
And these types of maps can be automatically generated
145
464325
2880
Estes mapas podem ser criados
automaticamente
automaticamente
07:59
based on the data trail modern people leave behind.
146
467205
4715
a partir do rasto de dados
que as pessoas modernas deixam.
que as pessoas modernas deixam.
08:03
Now it's typically used to market goods and services
147
471920
2477
É usado hoje para comercializar
bens e serviços
bens e serviços
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
dirigidos a perfis demográficos alvo,
mas é uma tecnologia com dois usos,
mas é uma tecnologia com dois usos,
08:10
because targeting is used in another context.
149
478813
3360
porque a criação de alvos
é usada noutro contexto.
é usada noutro contexto.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Reparem que certos indivíduos
estão destacados.
estão destacados.
08:16
These are the hubs of social networks.
151
484733
3280
Estes são os centros das redes sociais.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
São os organizadores,
os formadores de opinião, os líderes.
os formadores de opinião, os líderes.
08:23
and these people also can be automatically identified
153
491603
2682
Estas pessoas também podem
ser automaticamente identificadas
ser automaticamente identificadas
08:26
from their communication patterns.
154
494285
2382
através dos seus padrões de comunicação.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Se formos vendedores, podemos enviar-lhes
08:30
with product samples, try to spread your brand
156
498813
2543
amostras de produtos,
tentar espalhar a nossa marca
tentar espalhar a nossa marca
08:33
through their social group.
157
501356
2829
no grupo social deles.
08:36
But if you're a repressive government
158
504185
1953
Mas se for um governo repressivo
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
à procura de inimigos políticos,
pode, em vez disso, removê-los,
pode, em vez disso, removê-los,
08:42
eliminate them, disrupt their social group,
160
510948
2760
eliminá-los, destruir o seu grupo social.
08:45
and those who remain behind lose social cohesion
161
513708
3169
Os que ficarem para trás
perdem a coerência social
perdem a coerência social
08:48
and organization.
162
516877
2621
e organização.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
Num mundo de proliferação
de armas robóticas baratas,
de armas robóticas baratas,
08:54
borders would offer very little protection
164
522822
2635
as fronteiras oferecerão
muito pouca protecção
muito pouca protecção
08:57
to critics of distant governments
165
525457
1946
a críticos de governos distantes
08:59
or trans-national criminal organizations.
166
527403
3646
ou de organizações
criminais transnacionais.
criminais transnacionais.
09:03
Popular movements agitating for change
167
531049
3493
Os movimentos populares
que reivindicam mudanças
que reivindicam mudanças
09:06
could be detected early and their leaders eliminated
168
534542
3609
podem ser detectados cedo
e os seus líderes eliminados
e os seus líderes eliminados
09:10
before their ideas achieve critical mass.
169
538151
2911
antes que as suas ideias
se propaguem às massas.
se propaguem às massas.
09:13
And ideas achieving critical mass
170
541062
2591
E as ideias a propagar
para atingirem as massas
para atingirem as massas
09:15
is what political activism in popular government is all about.
171
543653
3936
são a base do activismo politico
num governo popular.
num governo popular.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
As armas letais anónimas podem fazer
com que a acção letal
com que a acção letal
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
seja uma escolha fácil para todo
o tipo de interesses em competição.
o tipo de interesses em competição.
09:27
And this would put a chill on free speech
174
555368
3734
Isto limitará a liberdade de expressão
09:31
and popular political action, the very heart of democracy.
175
559102
5308
e a acção política popular,
o coração da democracia.
o coração da democracia.
09:36
And this is why we need an international treaty
176
564410
2914
É por isso que precisamos de um acordo
internacional sobre armas robóticas
internacional sobre armas robóticas
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
e, em especial, uma proibição global
09:42
on the development and deployment of killer robots.
178
570864
3908
para o desenvolvimento e uso
no campo de robôs assassinos.
no campo de robôs assassinos.
09:46
Now we already have international treaties
179
574772
3254
Já temos tratados internacionais
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
sobre armas nucleares e biológicas
que, apesar de imperfeitos,
que, apesar de imperfeitos,
09:53
these have largely worked.
181
581412
2288
têm funcionado bem.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Mas as armas robóticas
podem ser muito perigosas
podem ser muito perigosas
09:59
because they will almost certainly be used,
183
587468
3288
porque quase certamente irão ser usadas
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
e também serão corrosivas
para as nossas instituições democráticas.
para as nossas instituições democráticas.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
Em novembro de 2012
o Departamento de Defesa dos EUA
o Departamento de Defesa dos EUA
10:11
issued a directive requiring
186
599251
2458
emitiu uma directiva que requeria
10:13
a human being be present in all lethal decisions.
187
601709
4519
um ser humano presente
em todas as tomadas de decisão letais.
em todas as tomadas de decisão letais.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Isto baniu, temporariamente,
de forma eficaz,
de forma eficaz,
as armas autónomas
nas forças armadas dos EUA
nas forças armadas dos EUA
10:23
but that directive needs to be made permanent.
189
611004
3753
mas é preciso que essa directiva
passe a ser permanente.
passe a ser permanente.
10:26
And it could set the stage for global action.
190
614757
4376
E podia servir de exemplo
para uma acção mundial.
para uma acção mundial.
10:31
Because we need an international legal framework
191
619133
3845
Porque precisamos de um enquadramento
legal internacional
legal internacional
10:34
for robotic weapons.
192
622978
2138
para as armas robóticas.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
Precisamos disso já,
antes que haja um ataque devastador
antes que haja um ataque devastador
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
ou um incidente terrorista que faça
com que as nações em todo o mundo
com que as nações em todo o mundo
10:43
to rush to adopt these weapons
195
631196
1924
adotem estas armas à pressa
10:45
before thinking through the consequences.
196
633120
3771
antes de pensarem nas consequências.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
As armas robóticas autónomas concentram
demasiado poder em poucas mãos,
demasiado poder em poucas mãos,
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
e colocarão em perigo a democracia.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Não me interpretem mal,
acredito que existem
acredito que existem
muitos usos óptimos
para "drones" civis sem armas:
para "drones" civis sem armas:
11:00
of great uses for unarmed civilian drones:
200
648841
2618
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
monitorização ambiental,
procura e salvamento, logística.
procura e salvamento, logística.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Se tivermos um tratado internacional
sobre armas robóticas,
sobre armas robóticas,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
como é que obtemos os benefícios
de "drones" e veículos autónomos
de "drones" e veículos autónomos
11:13
and vehicles while still protecting ourselves
204
661811
2648
enquanto nos protegemos
das armas robóticas ilegais?
das armas robóticas ilegais?
11:16
against illegal robotic weapons?
205
664459
3980
11:20
I think the secret will be transparency.
206
668439
4741
Acho que o segredo será a transparência.
11:25
No robot should have an expectation of privacy
207
673180
3013
Nenhum robô deveria ter
uma expectativa de privacidade
uma expectativa de privacidade
11:28
in a public place.
208
676193
3451
num local público.
11:31
(Applause)
209
679644
5048
(Aplausos)
11:36
Each robot and drone should have
210
684692
2045
Cada robô e "drone" devia ter um B.I.
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
atribuído de maneira críptica na fábrica
11:41
that can be used to track its movement through public spaces.
212
689620
2923
que possa ser usado para seguir
os seus movimentos em zonas públicas.
os seus movimentos em zonas públicas.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
Temos matrículas nos carros,
números de série nos aviões.
números de série nos aviões.
11:47
This is no different.
214
695924
1841
Isto não é diferente.
11:49
And every citizen should be able to download an app
215
697765
2012
Todos os cidadãos deviam poder
usar uma aplicação
usar uma aplicação
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
que mostre a população
de "drones" e de veículos autónomos
de "drones" e de veículos autónomos
11:54
moving through public spaces around them,
217
702902
2429
a mover-se pelas zonas públicas
à sua volta
à sua volta
11:57
both right now and historically.
218
705331
2733
tanto agora como no passado.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
E líderes cívicos deveriam implementar
sensores e "drones" civis
sensores e "drones" civis
12:03
to detect rogue drones,
220
711612
2344
para detectar "drones" não autorizados
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
e em vez de enviar os seus "drones"
assassinos para os abater
assassinos para os abater
12:09
they should notify humans to their presence.
222
717132
2992
deviam notificar as pessoas
quanto à sua presença.
quanto à sua presença.
12:12
And in certain very high-security areas,
223
720124
2606
E em certas áreas de alta segurança
12:14
perhaps civic drones would snare them
224
722730
1909
talvez os "drones" civis fossem capturá-los
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
e levá-los para uma instalação
de neutralização de bombas.
de neutralização de bombas.
12:19
But notice, this is more an immune system
226
727480
3027
Mas notem, isto é mais
um sistema imunitário
um sistema imunitário
12:22
than a weapons system.
227
730507
1321
do que um sistema de armas.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Permitir-nos-ia o uso de veículos
autónomos e de "drones"
autónomos e de "drones"
12:26
of autonomous vehicles and drones
229
734420
2032
12:28
while still preserving our open, civil society.
230
736452
4295
e, ao mesmo tempo, preservar
a nossa sociedade aberta e civil.
a nossa sociedade aberta e civil.
12:32
We must ban the deployment and development
231
740747
2999
Temos de banir o uso e desenvolvimento
de robôs assassinos.
de robôs assassinos.
12:35
of killer robots.
232
743746
1862
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Não podemos cair na tentação
de automatizar a guerra.
de automatizar a guerra.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Os governos autocráticos
e as organizações criminosas
e as organizações criminosas
12:45
undoubtedly will, but let's not join them.
235
753176
2956
fá-lo-ão, sem dúvida,
mas não nos juntaremos a eles.
mas não nos juntaremos a eles.
12:48
Autonomous robotic weapons
236
756132
1891
As armas robóticas autónomas
12:50
would concentrate too much power
237
758023
2051
irão concentrar demasiado poder
12:52
in too few unseen hands,
238
760074
2482
em poucas mãos invisíveis
12:54
and that would be corrosive to representative government.
239
762556
3255
e isso será corrosivo
para um governo representativo.
para um governo representativo.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Vamos garantir que,
pelo menos para as democracias,
pelo menos para as democracias,
13:00
killer robots remain fiction.
241
768772
2604
os robôs assassinos
continuem a ser ficção.
continuem a ser ficção.
13:03
Thank you.
242
771376
1110
Obrigado.
13:04
(Applause)
243
772486
4565
(Aplausos)
13:09
Thank you. (Applause)
244
777051
4616
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com