TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Daniel Suarez : La décision de tuer ne devrait pas appartenir à un robot
Filmed:
Readability: 5.9
1,946,706 views
En tant que romancier, Daniel Suarez raconte des histoires dystopiques sur le futur. Mais sur la scène de TEDGlobal, il nous parle d'une situation concrète sur laquelle nous devons savoir plus de choses : la montée d'armes de guerre robotisées autonomes. Les drones avancés, les armes automatisées et les outils de récupération d'informations gérés par une Intelligence Artificielle, pourraient, selon lui, enlever aux hommes le choix de faire la guerre.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
J'écris des thrillers de science fiction,
00:15
so if I say "killer robots,"
1
3849
2193
donc si je dis "robots tueurs",
00:18
you'd probably think something like this.
2
6042
2361
vous pensez sûrement à quelque chose de ce style.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Mais je ne suis pas vraiment là pour parler fiction.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Je suis ici pour parler de robots tueurs bien réels,
00:25
autonomous combat drones.
5
13906
3122
des drones de combat autonomes.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Là, je ne me réfère pas aux drones Predator et Reaper,
00:32
which have a human making targeting decisions.
7
20655
3260
où il y a un humain aux commandes.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Je parle d'armes robotisées pleinement autonomes
00:39
that make lethal decisions about human beings
9
27044
2654
qui prennent des décisions létales envers des êtres humains
00:41
all on their own.
10
29698
2417
de leur propre chef.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
A vrai dire, il y a un terme technique pour cela : autonomie létale.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Ainsi, les robots tueurs autonomes
00:50
would take many forms -- flying, driving,
13
38971
3069
pourraient prendre de multiples formes,
aérienne, mobile,
aérienne, mobile,
00:54
or just lying in wait.
14
42040
2746
ou juste statique.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
Et très rapidement, ils deviennent vraiment une réalité.
00:59
These are two automatic sniper stations
16
47895
2484
Voici deux sentinelles automatiques de tireur d'élite
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
actuellement déployée dans la Zone Démilitarisée
entre les Corée du Nord et du Sud.
entre les Corée du Nord et du Sud.
01:06
Both of these machines are capable of automatically
18
54516
2171
Ces deux machines sont capables de manière automatisée
01:08
identifying a human target and firing on it,
19
56687
3524
d'identifier une cible humaine et d'y ouvrir le feu,
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
la machine à gauche possède
une portée supérieur à un kilomètre.
une portée supérieur à un kilomètre.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
Maintenant, dans ces deux cas, il y a toujours un humain
01:20
to make that lethal firing decision,
22
68124
2372
dans la chaîne de commandement
pour faire le létal choix de faire feu,
pour faire le létal choix de faire feu,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
Mais ce n'est pas une contrainte technologique.
C'est un choix.
C'est un choix.
01:27
And it's that choice that I want to focus on,
24
75909
3093
Et c'est sur ce choix que je veux me concentrer,
01:31
because as we migrate lethal decision-making
25
79002
2641
car en même temps que nous transférons,
de l'homme vers le programme,
de l'homme vers le programme,
01:33
from humans to software,
26
81643
3109
la prise de décisions mortelles,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
nous ne risquons pas seulement
d'enlever l'humanité à la guerre,
d'enlever l'humanité à la guerre,
01:40
but also changing our social landscape entirely,
28
88228
3526
mais aussi de modifier
l'environnement social dans sa totalité,
l'environnement social dans sa totalité,
01:43
far from the battlefield.
29
91754
2224
loin du champ de bataille.
01:45
That's because the way humans resolve conflict
30
93978
4509
Ceci parce que la manière des humains
de résoudre des conflits
de résoudre des conflits
01:50
shapes our social landscape.
31
98487
1733
façonne notre environnement social.
01:52
And this has always been the case, throughout history.
32
100220
2633
Et à travers l'Histoire, cela a toujours été le cas.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Par exemple, il y avait ces systèmes d'armement de pointe
01:57
in 1400 A.D.
34
105514
2079
en 1400 avant J.-C. .
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Ils sont tous deux très chers à construire et à entretenir,
02:02
but with these you could dominate the populace,
36
110737
3240
mais avec eux vous pouviez dominer la population,
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
et l'organisation du pouvoir politique
dans la société féodale reflète cela.
dans la société féodale reflète cela.
02:09
Power was focused at the very top.
38
117866
2687
Le pouvoir était concentré au sommet.
02:12
And what changed? Technological innovation.
39
120553
3528
Et qu'est-ce qui a changé ? L'innovation technologique.
02:16
Gunpowder, cannon.
40
124081
1871
Poudre noire, canon.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
Et très vite, les armures et les châteaux
sont devenus obsolètes,
sont devenus obsolètes,
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
et il était moins important de savoir
qui vous ameniez sur le champ de bataille
qui vous ameniez sur le champ de bataille
02:24
versus how many people you brought to the battlefield.
43
132302
3779
que le nombre de personnes que vous ameniez.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
Et alors que les armées grossissaient en effectif,
l'Etat-Nation naissait
l'Etat-Nation naissait
02:31
as a political and logistical requirement of defense.
45
139719
3680
en tant que besoin politique et logistique de défense.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
Et alors que les dirigeants devaient compter
sur plus de population,
sur plus de population,
02:37
they began to share power.
47
145775
1833
ils commencèrent à partager le pouvoir.
02:39
Representative government began to form.
48
147608
2599
Des gouvernement représentatifs commencèrent à se former.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
Une fois encore, les outils utilisés pour résoudre un conflit
02:45
shape our social landscape.
50
153495
3304
structurent notre environnement social.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Les armes robotisées autonomes sont de tels outils,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
sauf que, en nécessitant très peu de personnes
pour rentrer en guerre,
pour rentrer en guerre,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
ils risquent de reconcentrer le pouvoir dans très peu de mains,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
potentiellement renversant une tendance
de cinq cents ans en faveur de la démocratie.
de cinq cents ans en faveur de la démocratie.
03:09
Now, I think, knowing this,
55
177386
1757
Maintenant, je pense, sachant ça,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
que nous pouvons mener des actions décisives
pour préserver nos institutions démocratiques,
pour préserver nos institutions démocratiques,
03:15
to do what humans do best, which is adapt.
57
183495
3979
pour faire ce que les hommes font le mieux,
c'est-à-dire s'adapter.
c'est-à-dire s'adapter.
03:19
But time is a factor.
58
187474
2005
Mais le temps est un facteur.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
Soixante-dix nations développent en interne
03:24
combat drones of their own,
60
192330
2157
des drones de combat télécommandés,
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
et comme vous le verrez,
les drones de combat télécommandés
les drones de combat télécommandés
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
sont les précurseurs des armes robotisées autonomes.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
Cela est dû au fait qu'une fois
que vous avez déployé vos drones télécommandés,
que vous avez déployé vos drones télécommandés,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
trois facteurs déterminants entraînent la prise de choix
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
loin des hommes et vers l'unité armée elle-même.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
La première des raisons est le déluge de vidéos que les drones produisent.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
Par exemple, en 2004,
la flotte de drones américains a produit
la flotte de drones américains a produit
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
une somme totale de 71 heures de vidéo-surveillance à analyser.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
En 2011, cela a atteint les 300 000 heures,
04:03
outstripping human ability to review it all,
70
231226
3149
dépassant la capacité humaine à tout voir,
04:06
but even that number is about to go up drastically.
71
234375
3664
et même ce nombre est sur le point d'exploser.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
Les programmes Gorgon Stare et Argus du Pentagone
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
vont porter à 65 caméras indépendamment contrôlées
04:15
on each drone platform,
74
243778
2038
sur chaque drone,
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
et cela va grandement dépasser la capacité humaine
à voir ces vidéos.
à voir ces vidéos.
04:21
And that means visual intelligence software will need
76
249119
2160
Cela signifie qu'il va falloir des programmes de recueil
d'informations visuelles
d'informations visuelles
04:23
to scan it for items of interest.
77
251279
4048
pour scanner les vidéos pour trouver du matériel intéressant.
04:27
And that means very soon
78
255327
1348
Et cela signifie que très bientôt
04:28
drones will tell humans what to look at,
79
256675
2747
les drones vont dire aux hommes ce qu'il faut regarder,
04:31
not the other way around.
80
259422
2497
et non l'inverse.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Mais il y a une seconde motivation importante
04:36
decision-making away from humans and onto machines,
82
264392
3383
pour déporter le rôle décisionnel des hommes vers les machines,
04:39
and that's electromagnetic jamming,
83
267775
2872
et c'est le brouillage électromagnétique,
04:42
severing the connection between the drone
84
270647
2236
bloquant la connexion entre le drone
04:44
and its operator.
85
272883
2814
et son opérateur.
04:47
Now we saw an example of this in 2011
86
275697
2618
Nous avons vu un exemple de cela en 2011
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
lorsqu'un drone RQ-170 Sentinel américain
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
a été embrouillé au dessus de l'Iran à cause d'une attaque
de modification du GPS,
de modification du GPS,
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
mais tout drone télécommandé est sensible à ce type d'attaque,
05:02
and that means drones
90
290692
2052
et cela signifie que les drones
05:04
will have to shoulder more decision-making.
91
292744
3620
vont devoir endosser plus de prises de décision.
05:08
They'll know their mission objective,
92
296364
3043
Ils connaîtront les objectifs de mission,
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
et ils feront face aux nouvelles conditions sans intervention humaine.
05:16
They'll ignore external radio signals
94
304252
2581
Ils vont ignorer les signaux radio externes
05:18
and send very few of their own.
95
306833
2330
et en émettre très peu de leur côté.
05:21
Which brings us to, really, the third
96
309163
2006
Ce qui nous mène, vraiment, à la troisième
05:23
and most powerful incentive pushing decision-making
97
311169
3862
et plus importante motivation pour enlever
05:27
away from humans and onto weapons:
98
315031
3342
la décision aux hommes et la mettre dans les armes :
05:30
plausible deniability.
99
318373
3293
possibilité de nier de façon plausible.
05:33
Now we live in a global economy.
100
321666
2887
Aujourd'hui nous vivons dans une économie généralisée.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
La production de haute technologie a lieu sur la plupart des continents.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
Le cyber-espionnage exporte les conceptions avancées
05:43
to parts unknown,
103
331801
1886
vers des tiers inconnus,
05:45
and in that environment, it is very likely
104
333687
2014
et dans cet environnement, il est très probable
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
qu'un concept réussi de drone soit volé dans les entreprises contractées,
05:52
proliferate in the gray market.
106
340435
2170
se répandent sur le marché parallèle.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
Et dans ce cas, en fouillant les débris
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
d'une attaque suicide de drone,
il sera très difficile de dire
il sera très difficile de dire
06:00
who sent that weapon.
109
348025
4400
qui a envoyé cette arme.
06:04
This raises the very real possibility
110
352425
2800
Cela ouvre la réelle possibilité
06:07
of anonymous war.
111
355225
2935
de la guerre anonyme.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Cela pourrait déstabiliser la balance géopolitique,
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
rendre très difficile pour un pays d'utiliser sa puissance de feu
06:16
against an attacker, and that could shift the balance
114
364265
2848
contre un attaquant, cela pourrait,
au 21ème siècle,
au 21ème siècle,
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
faire pencher la balance en faveur de l'attaque
au détriment de la défense.
au détriment de la défense.
06:22
It could make military action a viable option
116
370877
3124
Cela pourrait rendre envisageable des actions militaires
06:26
not just for small nations,
117
374001
2288
non juste pour de petits pays,
06:28
but criminal organizations, private enterprise,
118
376289
2545
mais pour des organisations criminelles,
des entreprises privées
des entreprises privées
06:30
even powerful individuals.
119
378834
2479
et même des puissants individus.
06:33
It could create a landscape of rival warlords
120
381313
3328
Cela pourrait créer un paysage de seigneurs de guerre rivaux
06:36
undermining rule of law and civil society.
121
384641
3680
sabotant le règne de la loi et de la société civile.
06:40
Now if responsibility and transparency
122
388321
3616
Si la responsabilité et la transparence
06:43
are two of the cornerstones of representative government,
123
391937
2384
sont deux éléments clefs
des gouvernements représentatifs de leur nation,
des gouvernements représentatifs de leur nation,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
les armes robotisées autonomes pourraient les saboter tous deux.
06:50
Now you might be thinking that
125
398641
1546
Là vous pourriez penser que
06:52
citizens of high-tech nations
126
400187
2246
les citoyens de pays high-techs
06:54
would have the advantage in any robotic war,
127
402433
2703
auraient l'avantage dans n'importe quelle guerre robotique,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
que les citoyens de ces nations seraient moins vulnérables,
07:00
particularly against developing nations.
129
408769
4288
en particulier contre les pays en développement.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Mais je pense que la vérité est l'exacte opposé.
07:08
I think citizens of high-tech societies
131
416581
2251
Je pense que les citoyens des sociétés high-techs
07:10
are more vulnerable to robotic weapons,
132
418832
3729
sont plus vulnérables aux armes robotisées,
07:14
and the reason can be summed up in one word: data.
133
422561
4465
et la raison peut être résumée en un mot : l'information.
07:19
Data powers high-tech societies.
134
427026
3481
L'information alimente les sociétés informatisées.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Géolocalisation des téléphones, métadonnées de télécommunications,
07:25
social media, email, text, financial transaction data,
136
433697
3472
médias sociaux, e-mails, textos, informations sur des transactions financières,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
informations sur des transports, c'est une richesse
de données en temps réel
de données en temps réel
07:32
on the movements and social interactions of people.
138
440701
3373
sur les mouvements et les échanges sociaux des gens.
07:36
In short, we are more visible to machines
139
444074
3775
En résumé, nous sommes plus visibles aux machines
07:39
than any people in history,
140
447849
2242
que quiconque dans l'Histoire,
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
et cela correspond parfaitement
aux besoins de ciblage des armes autonomes.
aux besoins de ciblage des armes autonomes.
07:47
What you're looking at here
142
455707
1738
Ce que vous regardez ici
07:49
is a link analysis map of a social group.
143
457445
3246
est une carte d'analyse de connexion d'un groupe social.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Les lignes indiquent une connexité social entre individus.
07:56
And these types of maps can be automatically generated
145
464325
2880
Et ce type de carte peut être automatiquement générée
07:59
based on the data trail modern people leave behind.
146
467205
4715
en se basant sur les traces d'informations
que les gens modernes laissent derrière eux.
que les gens modernes laissent derrière eux.
08:03
Now it's typically used to market goods and services
147
471920
2477
On l'utilise généralement pour promouvoir des biens ou des services
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
à des populations ciblées, mais c'est une technologie à double tranchant,
08:10
because targeting is used in another context.
149
478813
3360
car le ciblage est utilisé dans un autre contexte.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Remarquez que certains individus sont surlignés.
08:16
These are the hubs of social networks.
151
484733
3280
Ce sont des centres de réseaux sociaux.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
Ce sont des organisateurs, des façonneurs d'opinion, chefs,
08:23
and these people also can be automatically identified
153
491603
2682
et ces personnes peuvent être automatiquement identifiées
08:26
from their communication patterns.
154
494285
2382
à partir du schéma de leurs communications.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Si vous êtes un commerçant, vous pourrez alors les cibler
08:30
with product samples, try to spread your brand
156
498813
2543
avec des échantillons de produits,
essayer de diffuser votre marque
essayer de diffuser votre marque
08:33
through their social group.
157
501356
2829
dans leur groupe social.
08:36
But if you're a repressive government
158
504185
1953
Mais si vous êtes un gouvernement répressif
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
en quête d'ennemis politiques,
vous pourriez au contraire les évincer,
vous pourriez au contraire les évincer,
08:42
eliminate them, disrupt their social group,
160
510948
2760
les éliminer, désorganiser leur groupe social,
08:45
and those who remain behind lose social cohesion
161
513708
3169
et ceux qui restent perdent la cohésion sociale
08:48
and organization.
162
516877
2621
et l'organisation.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
Ainsi dans un monde où prolifèrent
les armes robotisées à bas coûts,
les armes robotisées à bas coûts,
08:54
borders would offer very little protection
164
522822
2635
les frontières vont offrir très peu de protection
08:57
to critics of distant governments
165
525457
1946
face aux critiques de gouvernements éloignés
08:59
or trans-national criminal organizations.
166
527403
3646
ou à des organisations criminelles internationales.
09:03
Popular movements agitating for change
167
531049
3493
Des mouvements populaires pour le changement
09:06
could be detected early and their leaders eliminated
168
534542
3609
pourraient être détectés tôt et voir leurs chefs éliminés
09:10
before their ideas achieve critical mass.
169
538151
2911
avant que leurs idées n'atteignent une masse critique.
09:13
And ideas achieving critical mass
170
541062
2591
Et des idées atteignant une masse critique
09:15
is what political activism in popular government is all about.
171
543653
3936
est exactement cet activisme politique dans les gouvernements populaires.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Des armes mortelles anonymes pourraient
faire des actes meurtriers
faire des actes meurtriers
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
un choix facile pour toute sorte de conflits d'intérêts.
09:27
And this would put a chill on free speech
174
555368
3734
Et cela porterait atteinte à la liberté d'expression
09:31
and popular political action, the very heart of democracy.
175
559102
5308
et à l'action politique populaire,
le cœur même de la démocratie.
le cœur même de la démocratie.
09:36
And this is why we need an international treaty
176
564410
2914
Voilà pourquoi nous avons besoin d'un traité international
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
sur les armes robotisées, et en particulier d'un ban
09:42
on the development and deployment of killer robots.
178
570864
3908
du développement et du déploiement de robots tueurs.
09:46
Now we already have international treaties
179
574772
3254
Aujourd'hui nous avons des traités internationaux
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
sur les armes nucléaires et biologiques,
et bien qu'imparfaites
et bien qu'imparfaites
09:53
these have largely worked.
181
581412
2288
elles ont largement fonctionné.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Mais les armes robotisées pourraient
se révéler tout autant dangeureuses
se révéler tout autant dangeureuses
09:59
because they will almost certainly be used,
183
587468
3288
car elles seront presque certainement utilisées
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
et elles seront aussi néfastes pour nos institutions démocratiques.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
En novembre 2012, le Département de la Défense américain
10:11
issued a directive requiring
186
599251
2458
a émis une directive exigeant
10:13
a human being be present in all lethal decisions.
187
601709
4519
qu'un humain soit présent dans toute décision létale.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Cela a efficacement banni les armes autonomes dans l'armée américaine,
10:23
but that directive needs to be made permanent.
189
611004
3753
mais cette directive doit être rendue permanente.
10:26
And it could set the stage for global action.
190
614757
4376
Cela pourrait poser les bases à une action généralisée.
10:31
Because we need an international legal framework
191
619133
3845
Car nous avons besoin d'un cadre juridique international
10:34
for robotic weapons.
192
622978
2138
pour les armes robotisées.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
Et nous en avons besoin maintenant,
avant qu'il n'y ait une attaque dévastatrice
avant qu'il n'y ait une attaque dévastatrice
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
ou un incident terroriste qui
entraînerait les nations du monde
entraînerait les nations du monde
10:43
to rush to adopt these weapons
195
631196
1924
à se précipiter pour acquérir ces armes
10:45
before thinking through the consequences.
196
633120
3771
avant de songer aux conséquences.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Les armes robotisées autonomes concentre trop de pouvoir
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
dans trop peu de mains,
et elles mettraient en péril la démocratie elle-même.
et elles mettraient en péril la démocratie elle-même.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Mais comprenez moi bien, je pense qu'il y a énormément
11:00
of great uses for unarmed civilian drones:
200
648841
2618
d'utilisation bénéfiques pour des drones civils non armés :
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
gestion environnementale, recherche et sauvetage, logistique.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Si nous avons un traité international sur les armes robotisées,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
comme pouvons-nous profiter des gains des drones
11:13
and vehicles while still protecting ourselves
204
661811
2648
et véhicules autonomes tout en nous protégeant
11:16
against illegal robotic weapons?
205
664459
3980
des armes robotisées illégales ?
11:20
I think the secret will be transparency.
206
668439
4741
Je pense que le secret est la transparence.
11:25
No robot should have an expectation of privacy
207
673180
3013
Aucun robot ne devrait avoir un but privé
11:28
in a public place.
208
676193
3451
dans un espace public.
11:31
(Applause)
209
679644
5048
( Applaudissements )
11:36
Each robot and drone should have
210
684692
2045
Chaque robot et drone devrait avoir
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
une carte d'identité à signature cryptographique
incrustée à l'usine
incrustée à l'usine
11:41
that can be used to track its movement through public spaces.
212
689620
2923
qui puisse être utilisée pour suivre ses mouvements dans les espaces publics.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
Nous avons des plaques d'immatriculation sur les voitures, des immatriculations sur les avions.
11:47
This is no different.
214
695924
1841
Ceci n'est aucunement différent.
11:49
And every citizen should be able to download an app
215
697765
2012
Et chaque citoyen devrait pouvoir télécharger une application
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
qui montre la population de drones et de véhicules autonomes
11:54
moving through public spaces around them,
217
702902
2429
se déplaçant dans les espaces publics autour d'eux,
11:57
both right now and historically.
218
705331
2733
en tant réel et historiquement.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
Et les responsables publics devraient déployer des détecteurs et des drones officiels
12:03
to detect rogue drones,
220
711612
2344
pour détecter des drones illégaux,
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
et à la place de choisir d'envoyer
des robots tueurs pour les neutraliser
des robots tueurs pour les neutraliser
12:09
they should notify humans to their presence.
222
717132
2992
ils devraient avertir les humains de leur présence.
12:12
And in certain very high-security areas,
223
720124
2606
Et dans certaines zones de très haute sécurité,
12:14
perhaps civic drones would snare them
224
722730
1909
peut-être ces drones les piégreraient
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
et les traîneraient dans une installation de déminage.
12:19
But notice, this is more an immune system
226
727480
3027
Mais notez que ceci est plus un système immunitaire
12:22
than a weapons system.
227
730507
1321
qu'un système armé.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Cela nous autoriserait à utiliser personnellement
12:26
of autonomous vehicles and drones
229
734420
2032
des véhicules et drones autonomes
12:28
while still preserving our open, civil society.
230
736452
4295
tout en préservant notre société ouverte et civile.
12:32
We must ban the deployment and development
231
740747
2999
Nous devons interdire le déploiement et le développement
12:35
of killer robots.
232
743746
1862
de robots tueurs.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Ne cédons pas à la tentation d'automatiser la guerre.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Les gouvernements autocratiques
et les organisations criminelles
et les organisations criminelles
12:45
undoubtedly will, but let's not join them.
235
753176
2956
céderont à coup sûr, mais ne les rejoignons pas.
12:48
Autonomous robotic weapons
236
756132
1891
Les armes robotisées autonomes
12:50
would concentrate too much power
237
758023
2051
concentreraient trop de pouvoir
12:52
in too few unseen hands,
238
760074
2482
dans trop peu de mains invisibles,
12:54
and that would be corrosive to representative government.
239
762556
3255
et cela serait néfaste aux gouvernements représentatifs.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Soyons certains, au moins pour les démocraties,
13:00
killer robots remain fiction.
241
768772
2604
que les robots tueurs restent une fiction.
13:03
Thank you.
242
771376
1110
Merci
13:04
(Applause)
243
772486
4565
(Applaudissements)
13:09
Thank you. (Applause)
244
777051
4616
Merci.
(Applaudissements)
(Applaudissements)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com