TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Daniel Suarez: La decisión de matar no la debe tomar un robot
Filmed:
Readability: 5.9
1,946,706 views
Como novelista, Daniel Suarez cuenta distopías del futuro. Pero en el escenario de TED Global, nos habla de una situación de la vida real de la que todos necesitamos saber más: el aumento de las armas robóticas autónomas de guerra. Los aviones no tripulados avanzados o 'drones', las armas automáticas y las herramientas de inteligencia artificial, sugiere, podrían tomar la decisión de hacer la guerra sin la intervención de los seres humanos.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Escribo novelas de suspenso
de ciencia ficción,
de ciencia ficción,
00:15
so if I say "killer robots,"
1
3849
2193
así que si digo
"robots asesinos",
"robots asesinos",
00:18
you'd probably think something like this.
2
6042
2361
probablemente podrían
pensar en algo así.
pensar en algo así.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Pero en realidad no estoy
aquí para hablar de ficción.
aquí para hablar de ficción.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Estoy aquí para hablar de
robots asesinos muy reales,
robots asesinos muy reales,
00:25
autonomous combat drones.
5
13906
3122
"drones" de combate autónomos.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Y no me refiero a robots
depredadores ni exterminadores,
depredadores ni exterminadores,
00:32
which have a human making targeting decisions.
7
20655
3260
que tienen a un humano tomando
decisiones de sus objetivos.
decisiones de sus objetivos.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Estoy hablando de armas
robóticas totalmente autónomas
robóticas totalmente autónomas
00:39
that make lethal decisions about human beings
9
27044
2654
que toman decisiones
letales sobre seres humanos
letales sobre seres humanos
00:41
all on their own.
10
29698
2417
por su propia cuenta.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
De hecho existe un término
técnico para esto: autonomía letal.
técnico para esto: autonomía letal.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Ahora, los robots asesinos
letales autónomos
letales autónomos
00:50
would take many forms -- flying, driving,
13
38971
3069
pueden actuar de muchas
formas: volando, conduciendo,
formas: volando, conduciendo,
00:54
or just lying in wait.
14
42040
2746
o simplemente esperando al acecho.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
Y la verdad es que se están convirtiendo
rápidamente en una realidad.
rápidamente en una realidad.
00:59
These are two automatic sniper stations
16
47895
2484
Estas son dos estaciones
automáticas de disparo
automáticas de disparo
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
desplegadas actualmente en la zona
desmilitarizada entre Corea del Norte y del Sur
desmilitarizada entre Corea del Norte y del Sur
01:06
Both of these machines are capable of automatically
18
54516
2171
Ambas máquinas son
capaces de identificar
capaces de identificar
01:08
identifying a human target and firing on it,
19
56687
3524
automáticamente un objetivo
humano y disparar contra él,
humano y disparar contra él,
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
la de la izquierda a una distancia
de más de un kilómetro.
de más de un kilómetro.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
En ambos casos, todavía hay
un ser humano en el proceso
un ser humano en el proceso
01:20
to make that lethal firing decision,
22
68124
2372
para tomar esa decisión
de disparo letal
de disparo letal
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
pero no es un requisito
tecnológico, es una opción.
tecnológico, es una opción.
01:27
And it's that choice that I want to focus on,
24
75909
3093
Y es en esa opción en
la que quiero centrarme,
la que quiero centrarme,
01:31
because as we migrate lethal decision-making
25
79002
2641
porque cuando desplazamos
la toma de decisiones letales
la toma de decisiones letales
01:33
from humans to software,
26
81643
3109
de los humanos al software,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
corremos el riesgo no sólo de
sacar a la humanidad de la guerra,
sacar a la humanidad de la guerra,
01:40
but also changing our social landscape entirely,
28
88228
3526
sino también el de cambiar
nuestro panorama social completamente,
nuestro panorama social completamente,
01:43
far from the battlefield.
29
91754
2224
lejos del campo de batalla.
01:45
That's because the way humans resolve conflict
30
93978
4509
Eso es porque la manera en que
los humanos resolvemos los conflictos
los humanos resolvemos los conflictos
01:50
shapes our social landscape.
31
98487
1733
moldea nuestro panorama social.
01:52
And this has always been the case, throughout history.
32
100220
2633
Y así ha sido siempre
a lo largo de la historia.
a lo largo de la historia.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Por ejemplo, estos eran los sistemas
de armamento más avanzados
de armamento más avanzados
01:57
in 1400 A.D.
34
105514
2079
en 1400 D.C.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
El costo de la construcción y el mantenimiento
de ambos era muy elevados,
de ambos era muy elevados,
02:02
but with these you could dominate the populace,
36
110737
3240
pero con ellos se podía
dominar a la población,
dominar a la población,
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
y eso se reflejaba en la distribución
del poder político en la sociedad feudal.
del poder político en la sociedad feudal.
02:09
Power was focused at the very top.
38
117866
2687
El poder ocupó un lugar primordial.
02:12
And what changed? Technological innovation.
39
120553
3528
Y ¿qué cambió?
La innovación tecnológica.
La innovación tecnológica.
02:16
Gunpowder, cannon.
40
124081
1871
Pólvora, cañón.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
Y muy pronto, la armadura y
los castillos fueron obsoletos,
los castillos fueron obsoletos,
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
e importó menos a quién
se traía al campo de batalla
se traía al campo de batalla
02:24
versus how many people you brought to the battlefield.
43
132302
3779
versus cuánta gente se traía
al campo de batalla.
al campo de batalla.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
Y conforme los ejércitos crecieron
en tamaño, los Estado-naciones surgieron
en tamaño, los Estado-naciones surgieron
02:31
as a political and logistical requirement of defense.
45
139719
3680
como un requisito político
y logístico de defensa.
y logístico de defensa.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
Y conforme los líderes tuvieron
que depender más de su población,
que depender más de su población,
02:37
they began to share power.
47
145775
1833
empezaron a compartir el poder.
02:39
Representative government began to form.
48
147608
2599
Se comenzó a formar
el gobierno representativo.
el gobierno representativo.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
Repito, las herramientas que
utilizamos para resolver conflictos
utilizamos para resolver conflictos
02:45
shape our social landscape.
50
153495
3304
dan forma a nuestro panorama social.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Las armas robóticas autónomas
son esas herramientas,
son esas herramientas,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
salvo que, al exigir que muy pocas
personas vayan a la guerra,
personas vayan a la guerra,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
se corre el riesgo de re-centralizar
el poder en muy pocas manos,
el poder en muy pocas manos,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
posiblemente revirtiendo una tendencia
de cinco siglos hacia la democracia.
de cinco siglos hacia la democracia.
03:09
Now, I think, knowing this,
55
177386
1757
Creo que, sabiendo esto,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
podemos tomar medidas decisivas para
preservar nuestras instituciones democráticas,
preservar nuestras instituciones democráticas,
03:15
to do what humans do best, which is adapt.
57
183495
3979
para hacer lo que los seres humanos
saben hacer mejor, que es adaptarse.
saben hacer mejor, que es adaptarse.
03:19
But time is a factor.
58
187474
2005
Pero el tiempo es un factor.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
Setenta naciones están
desarrollando sus propios robots
desarrollando sus propios robots
03:24
combat drones of their own,
60
192330
2157
de combate controlados a distancia
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
y como veremos, los drones de
combate controlados remotamente
combate controlados remotamente
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
son los precursores de
las armas robóticas autónomas.
las armas robóticas autónomas.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
Eso es porque una vez se han desplegado
drones piloteados remotamente
drones piloteados remotamente
03:36
there are three powerful factors pushing decision-making
64
204319
3384
hay tres factores poderosos que
influyen en la toma de decisiones
influyen en la toma de decisiones
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
lejos de los humanos y en
la misma plataforma del arma.
la misma plataforma del arma.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
El primero de ellos es el diluvio
de vídeos que producen los robots.
de vídeos que producen los robots.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
Por ejemplo, en 2004, la flota de
drones de los Estados Unidos produjo
drones de los Estados Unidos produjo
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
un total de 71 horas de vigilancia
con video para el análisis.
con video para el análisis.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
En el 2011, ésta se había
elevado a 300 mil horas,
elevado a 300 mil horas,
04:03
outstripping human ability to review it all,
70
231226
3149
superando la capacidad
humana para revisarla toda,
humana para revisarla toda,
04:06
but even that number is about to go up drastically.
71
234375
3664
y aun ese número está a punto
de subir drásticamente.
de subir drásticamente.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
El Gorgon Stare y los programas
Argus del Pentágono
Argus del Pentágono
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
pondrán hasta 65 cámaras que
operan independientemente
operan independientemente
04:15
on each drone platform,
74
243778
2038
en cada plataforma de los drones,
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
y esto superaría enormemente
la capacidad humana para revisarlas.
la capacidad humana para revisarlas.
04:21
And that means visual intelligence software will need
76
249119
2160
Y eso significa que se necesitará
software de inteligencia visual
software de inteligencia visual
04:23
to scan it for items of interest.
77
251279
4048
para escanear elementos de interés.
04:27
And that means very soon
78
255327
1348
Y eso significa que muy pronto
04:28
drones will tell humans what to look at,
79
256675
2747
los drones dirán a
los humanos qué mirar,
los humanos qué mirar,
04:31
not the other way around.
80
259422
2497
y no al revés.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Pero hay un segundo incentivo
poderoso que aleja
poderoso que aleja
04:36
decision-making away from humans and onto machines,
82
264392
3383
la toma de decisiones de los humanos
y la acerca a las máquinas,
y la acerca a las máquinas,
04:39
and that's electromagnetic jamming,
83
267775
2872
y es la interferencia electromagnética,
04:42
severing the connection between the drone
84
270647
2236
cortando la conexión entre el robot
04:44
and its operator.
85
272883
2814
y su operador.
04:47
Now we saw an example of this in 2011
86
275697
2618
Vimos un ejemplo
de esto en 2011
de esto en 2011
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
Cuando un dron RQ-170
Sentinel norteamericano
Sentinel norteamericano
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
se confundió en Irán debido a
un ataque de "suplantación" de GPS,
un ataque de "suplantación" de GPS,
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
pero cualquier robot controlado remotamente
es susceptible a este tipo de ataques,
es susceptible a este tipo de ataques,
05:02
and that means drones
90
290692
2052
y eso significa que los drones
05:04
will have to shoulder more decision-making.
91
292744
3620
tendrán que asumir
más la toma de decisiones.
más la toma de decisiones.
05:08
They'll know their mission objective,
92
296364
3043
Sabrán el objetivo de la misión,
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
y reaccionarán a nuevas
circunstancias sin ayuda humana.
circunstancias sin ayuda humana.
05:16
They'll ignore external radio signals
94
304252
2581
Ignorarán las señales de radio externas
05:18
and send very few of their own.
95
306833
2330
y enviarán muy pocas suyas.
05:21
Which brings us to, really, the third
96
309163
2006
Lo que nos lleva,
realmente, al tercer
realmente, al tercer
05:23
and most powerful incentive pushing decision-making
97
311169
3862
y más poderoso incentivo
de llevar la toma de decisiones
de llevar la toma de decisiones
05:27
away from humans and onto weapons:
98
315031
3342
de los seres humanos a las armas:
05:30
plausible deniability.
99
318373
3293
negación plausible.
05:33
Now we live in a global economy.
100
321666
2887
Vivimos en una economía global.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
La fabricación de alta tecnología ocurre
en la mayoría de los continentes.
en la mayoría de los continentes.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
El ciberespionaje está impulsando
diseños muy avanzados
diseños muy avanzados
05:43
to parts unknown,
103
331801
1886
a lugares desconocidos,
05:45
and in that environment, it is very likely
104
333687
2014
y en ese ambiente,
es muy probable
es muy probable
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
que un diseño exitoso de drones
se reproduzca en fábricas contratadas,
se reproduzca en fábricas contratadas,
05:52
proliferate in the gray market.
106
340435
2170
y prolifere en el mercado negro.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
Y en esa situación,
al investigar en los restos
al investigar en los restos
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
de un ataque suicida de drone,
será muy difícil decir
será muy difícil decir
06:00
who sent that weapon.
109
348025
4400
quién envió esa arma.
06:04
This raises the very real possibility
110
352425
2800
Esto plantea la posibilidad muy real
06:07
of anonymous war.
111
355225
2935
de una guerra anónima.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Esto podría poner el equilibrio
geopolítico de cabeza,
geopolítico de cabeza,
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
y que a una nación le resulte
muy difícil activar su potencia de ataque
muy difícil activar su potencia de ataque
06:16
against an attacker, and that could shift the balance
114
364265
2848
contra un atacante, lo cual
podría inclinar la balanza
podría inclinar la balanza
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
en el siglo XXI de
la defensa hacia la ofensiva.
la defensa hacia la ofensiva.
06:22
It could make military action a viable option
116
370877
3124
Podría hacer de la acción
militar una opción viable
militar una opción viable
06:26
not just for small nations,
117
374001
2288
no sólo para las naciones pequeñas,
06:28
but criminal organizations, private enterprise,
118
376289
2545
sino para las organizaciones
criminales, las empresas privadas,
criminales, las empresas privadas,
06:30
even powerful individuals.
119
378834
2479
e incluso para individuos poderosos.
06:33
It could create a landscape of rival warlords
120
381313
3328
Podría crear un paisaje
de caudillos rivales
de caudillos rivales
06:36
undermining rule of law and civil society.
121
384641
3680
socavando el estado de
derecho y la sociedad civil.
derecho y la sociedad civil.
06:40
Now if responsibility and transparency
122
388321
3616
Si la responsabilidad y la transparencia
06:43
are two of the cornerstones of representative government,
123
391937
2384
son dos de los pilares
del gobierno representativo,
del gobierno representativo,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
las armas robóticas autónomas
podrían socavar a ambos.
podrían socavar a ambos.
06:50
Now you might be thinking that
125
398641
1546
Pueden estar pensando que
06:52
citizens of high-tech nations
126
400187
2246
los ciudadanos de naciones
con alta tecnología
con alta tecnología
06:54
would have the advantage in any robotic war,
127
402433
2703
tendrían la ventaja en
cualquier guerra robótica,
cualquier guerra robótica,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
que los ciudadanos de esas naciones
serían menos vulnerables,
serían menos vulnerables,
07:00
particularly against developing nations.
129
408769
4288
particularmente contra
los países en desarrollo.
los países en desarrollo.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Pero creo que en realidad
es exactamente lo contrario.
es exactamente lo contrario.
07:08
I think citizens of high-tech societies
131
416581
2251
Creo que los ciudadanos de
las sociedades de alta tecnología
las sociedades de alta tecnología
07:10
are more vulnerable to robotic weapons,
132
418832
3729
son más vulnerables
a las armas robóticas,
a las armas robóticas,
07:14
and the reason can be summed up in one word: data.
133
422561
4465
y la razón puede resumirse
en una palabra: datos.
en una palabra: datos.
07:19
Data powers high-tech societies.
134
427026
3481
Los datos empoderan a las
sociedades de alta tecnología.
sociedades de alta tecnología.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Geolocalización por teléfono celular,
metadatos de telecomunicaciones,
metadatos de telecomunicaciones,
07:25
social media, email, text, financial transaction data,
136
433697
3472
redes sociales, correo electrónico, mensajes
de texto, datos de transacciones financieras,
de texto, datos de transacciones financieras,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
datos de transporte, es una riqueza
de datos en tiempo real
de datos en tiempo real
07:32
on the movements and social interactions of people.
138
440701
3373
sobre los movimientos y las interacciones
sociales de las personas.
sociales de las personas.
07:36
In short, we are more visible to machines
139
444074
3775
En resumen, somos
más visibles para las máquinas
más visibles para las máquinas
07:39
than any people in history,
140
447849
2242
que ninguna otra persona
en la historia, y esto se adapta
en la historia, y esto se adapta
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
perfectamente a las necesidades
de selección de las armas autónomas.
de selección de las armas autónomas.
07:47
What you're looking at here
142
455707
1738
Lo que están viendo aquí
07:49
is a link analysis map of a social group.
143
457445
3246
es un mapa de análisis de
los vínculos de un grupo social.
los vínculos de un grupo social.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Las líneas indican la conectividad
social entre individuos.
social entre individuos.
07:56
And these types of maps can be automatically generated
145
464325
2880
Y estos tipos de mapas se pueden
generar automáticamente
generar automáticamente
07:59
based on the data trail modern people leave behind.
146
467205
4715
basados en la la estela de datos
que la gente moderna deja.
que la gente moderna deja.
08:03
Now it's typically used to market goods and services
147
471920
2477
Esto se utiliza normalmente para
el mercadeo de bienes y servicios
el mercadeo de bienes y servicios
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
a un grupo objetivo específico,
pero esta es una tecnología de doble uso,
pero esta es una tecnología de doble uso,
08:10
because targeting is used in another context.
149
478813
3360
porque se define un grupo
objetivo en otro contexto.
objetivo en otro contexto.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Tenga en cuenta que
ciertos individuos sobresalen.
ciertos individuos sobresalen.
08:16
These are the hubs of social networks.
151
484733
3280
Estos son los ejes de las redes sociales.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
Estos son los organizadores,
los creadores de opinión, los líderes,
los creadores de opinión, los líderes,
08:23
and these people also can be automatically identified
153
491603
2682
y a estas personas también
se les puede identificar automáticamente
se les puede identificar automáticamente
08:26
from their communication patterns.
154
494285
2382
por sus patrones de comunicación.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
En el caso de un vendedor,
este podría seleccionarlos
este podría seleccionarlos
08:30
with product samples, try to spread your brand
156
498813
2543
con muestras de productos,
intentando difundir su marca
intentando difundir su marca
08:33
through their social group.
157
501356
2829
a través de su grupo social.
08:36
But if you're a repressive government
158
504185
1953
Pero un gobierno represivo
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
buscando enemigos políticos
podría en cambio removerlos,
podría en cambio removerlos,
08:42
eliminate them, disrupt their social group,
160
510948
2760
eliminarlos, destruir
su grupo social,
su grupo social,
08:45
and those who remain behind lose social cohesion
161
513708
3169
y aquellos que queden
perderían cohesión social
perderían cohesión social
08:48
and organization.
162
516877
2621
y organización.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
En un mundo en que proliferan
las armas robóticas baratas,
las armas robóticas baratas,
08:54
borders would offer very little protection
164
522822
2635
las fronteras ofrecerían
muy poca protección
muy poca protección
08:57
to critics of distant governments
165
525457
1946
a los críticos de
los gobiernos distantes
los gobiernos distantes
08:59
or trans-national criminal organizations.
166
527403
3646
o de organizaciones
criminales transnacionales.
criminales transnacionales.
09:03
Popular movements agitating for change
167
531049
3493
Los movimientos populares
que buscan el cambio
que buscan el cambio
09:06
could be detected early and their leaders eliminated
168
534542
3609
puede detectarse tempranamente
para eliminar a sus líderes
para eliminar a sus líderes
09:10
before their ideas achieve critical mass.
169
538151
2911
antes de que sus ideas
adquieran masa crítica.
adquieran masa crítica.
09:13
And ideas achieving critical mass
170
541062
2591
Y de lo que se trata en
un gobierno popular es
un gobierno popular es
09:15
is what political activism in popular government is all about.
171
543653
3936
que las ideas alcancen masa critica.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Las armas letales anónimas
podrían hacer de la acción letal
podrían hacer de la acción letal
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
una opción fácil para todo
tipo de intereses en juego.
tipo de intereses en juego.
09:27
And this would put a chill on free speech
174
555368
3734
Y esto pondría en jaque
a la libertad de expresión
a la libertad de expresión
09:31
and popular political action, the very heart of democracy.
175
559102
5308
y a la acción política popular,
la esencia de la democracia.
la esencia de la democracia.
09:36
And this is why we need an international treaty
176
564410
2914
Y por esta razón necesitamos
un tratado internacional
un tratado internacional
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
sobre las armas robóticas y en
particular una prohibición mundial
particular una prohibición mundial
09:42
on the development and deployment of killer robots.
178
570864
3908
sobre el desarrollo y
el despliegue de robots asesinos.
el despliegue de robots asesinos.
09:46
Now we already have international treaties
179
574772
3254
Ya tenemos tratados internacionales
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
sobre armas nucleares y biológicas,
que aunque imperfectos,
que aunque imperfectos,
09:53
these have largely worked.
181
581412
2288
han funcionado en gran medida.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Pero las armas robóticas
pueden ser igual de peligrosas,
pueden ser igual de peligrosas,
09:59
because they will almost certainly be used,
183
587468
3288
porque muy seguramente se utilizarán,
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
y también serían dañinas para
nuestras instituciones democráticas.
nuestras instituciones democráticas.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
En noviembre de 2012, el Departamento
de Defensa de los Estados Unidos
de Defensa de los Estados Unidos
10:11
issued a directive requiring
186
599251
2458
emitió una directiva que exige
10:13
a human being be present in all lethal decisions.
187
601709
4519
que un ser humano esté presente
en todas las decisiones letales.
en todas las decisiones letales.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Esto prohibió efectiva aunque temporalmente
las armas autónomas en el ejército estadounidense,
las armas autónomas en el ejército estadounidense,
10:23
but that directive needs to be made permanent.
189
611004
3753
pero dicha directiva
debe hacerse permanente.
debe hacerse permanente.
10:26
And it could set the stage for global action.
190
614757
4376
Y podría sentar las bases
para la acción global.
para la acción global.
10:31
Because we need an international legal framework
191
619133
3845
Porque necesitamos un
marco jurídico internacional
marco jurídico internacional
10:34
for robotic weapons.
192
622978
2138
sobre armas robóticas.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
Y lo necesitamos ahora,
antes de un ataque devastador
antes de un ataque devastador
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
o un incidente terrorista que
haga que las naciones del mundo
haga que las naciones del mundo
10:43
to rush to adopt these weapons
195
631196
1924
se vean obligadas
a adoptar estas armas
a adoptar estas armas
10:45
before thinking through the consequences.
196
633120
3771
antes de pensar
en las consecuencias.
en las consecuencias.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Las armas robóticas autónomas
concentran demasiado poder
concentran demasiado poder
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
en muy pocas manos y pondría
en peligro la propia democracia.
en peligro la propia democracia.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
No me malinterpreten,
creo que hay toneladas
creo que hay toneladas
11:00
of great uses for unarmed civilian drones:
200
648841
2618
de aplicaciones geniales para
los drones civiles desarmados:
los drones civiles desarmados:
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
control ambiental, búsqueda
y rescate, logística.
y rescate, logística.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Si tenemos un tratado internacional
sobre armas robóticas,
sobre armas robóticas,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
¿cómo obtenemos los beneficios
de los drones y vehículos
de los drones y vehículos
11:13
and vehicles while still protecting ourselves
204
661811
2648
autónomos y al mismo
tiempo nos protegernos
tiempo nos protegernos
11:16
against illegal robotic weapons?
205
664459
3980
contra las armas robóticas ilegales?
11:20
I think the secret will be transparency.
206
668439
4741
Creo que el secreto
será la transparencia.
será la transparencia.
11:25
No robot should have an expectation of privacy
207
673180
3013
No debería existir una expectativa
de privacidad de un robot
de privacidad de un robot
11:28
in a public place.
208
676193
3451
en un lugar público.
11:31
(Applause)
209
679644
5048
(Aplausos)
11:36
Each robot and drone should have
210
684692
2045
Cada robot y drone deben tener
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
una identificación de fábrica
firmada criptográficamente
firmada criptográficamente
11:41
that can be used to track its movement through public spaces.
212
689620
2923
que pueda utilizarse para seguir
sus movimientos en los espacios públicos.
sus movimientos en los espacios públicos.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
Tenemos placas en los coches,
números de matricula en los aviones.
números de matricula en los aviones.
11:47
This is no different.
214
695924
1841
Esto no es diferente.
11:49
And every citizen should be able to download an app
215
697765
2012
Y todos los ciudadanos deberían
poder descargar una aplicación
poder descargar una aplicación
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
que muestre la población de
drones y vehículos autónomos
drones y vehículos autónomos
11:54
moving through public spaces around them,
217
702902
2429
moviéndose a través de espacios
públicos alrededor de ellos,
públicos alrededor de ellos,
11:57
both right now and historically.
218
705331
2733
tanto en ese momento
como en un histórico.
como en un histórico.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
Y los líderes civiles deben
desplegar sensores y drones civiles
desplegar sensores y drones civiles
12:03
to detect rogue drones,
220
711612
2344
para detectar los drones no autorizados,
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
y en lugar de enviar drones
asesinos propios para derribarlos,
asesinos propios para derribarlos,
12:09
they should notify humans to their presence.
222
717132
2992
deben notificar a
los humanos de su presencia.
los humanos de su presencia.
12:12
And in certain very high-security areas,
223
720124
2606
Y en ciertas áreas
de muy alta seguridad,
de muy alta seguridad,
12:14
perhaps civic drones would snare them
224
722730
1909
tal vez los drones
civiles deban capturarlos
civiles deban capturarlos
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
y arrastrarlos a una instalación
de eliminación de explosivos.
de eliminación de explosivos.
12:19
But notice, this is more an immune system
226
727480
3027
Pero tengan en cuenta que esto
es más un sistema inmunológico
es más un sistema inmunológico
12:22
than a weapons system.
227
730507
1321
que un sistema de armas.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Esto nos permitiría
valernos del uso
valernos del uso
12:26
of autonomous vehicles and drones
229
734420
2032
de drones y vehículos autónomos
12:28
while still preserving our open, civil society.
230
736452
4295
y al mismo tiempo salvaguardar
nuestra abierta sociedad civil.
nuestra abierta sociedad civil.
12:32
We must ban the deployment and development
231
740747
2999
Hay que prohibir
el despliegue y desarrollo
el despliegue y desarrollo
12:35
of killer robots.
232
743746
1862
de robots asesinos.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
No caigamos en la tentación
de automatizar la guerra.
de automatizar la guerra.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Los gobiernos autocráticos y
las organizaciones criminales
las organizaciones criminales
12:45
undoubtedly will, but let's not join them.
235
753176
2956
sin duda lo harán, pero nosotros no.
12:48
Autonomous robotic weapons
236
756132
1891
Las armas robóticas autónomas
12:50
would concentrate too much power
237
758023
2051
concentrarían demasiado poder
12:52
in too few unseen hands,
238
760074
2482
en muy pocas manos invisibles,
12:54
and that would be corrosive to representative government.
239
762556
3255
y eso sería corrosivo para
un gobierno representativo.
un gobierno representativo.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Asegurémonos de que al
menos para las democracias,
menos para las democracias,
13:00
killer robots remain fiction.
241
768772
2604
los robots asesinos
sigan siendo ficción.
sigan siendo ficción.
13:03
Thank you.
242
771376
1110
Gracias.
13:04
(Applause)
243
772486
4565
(Aplausos)
13:09
Thank you. (Applause)
244
777051
4616
Gracias. (Aplausos)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com