TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Daniel Suarez: Robots mogen niet beslissen over leven en dood
Filmed:
Readability: 5.9
1,946,706 views
Als schrijver verzint Daniel Suarez dystopische toekomstverhalen. Maar op het TED-podium doorloopt hij met ons een echt scenario waar we allemaal meer over moeten weten: het risico op autonome oorlogsrobots. Geavanceerde drones, automatische wapens en spionagetools op basis van artificiële intelligentie zouden volgens hem de mens de beslissing om oorlog te voeren, uit handen kunnen nemen.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Ik schrijf sciencefictionthrillers.
00:15
so if I say "killer robots,"
1
3849
2193
Als ik 'killerrobots' zeg,
00:18
you'd probably think something like this.
2
6042
2361
dan denk je waarschijnlijk zoiets.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Maar ik ga het hier niet over fictie hebben.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Ik ga het hebben over echte killerrobots,
00:25
autonomous combat drones.
5
13906
3122
autonome gevechtsdrones.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Ik heb het niet over Predators of Reapers,
00:32
which have a human making targeting decisions.
7
20655
3260
waar een mens beslist welk doel ze kiezen.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Ik heb het over volledig autonome robotwapens
00:39
that make lethal decisions about human beings
9
27044
2654
die dodelijke beslissingen nemen over mensen,
00:41
all on their own.
10
29698
2417
helemaal alleen.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
Daar bestaat een technische term voor:
dodelijke autonomie.
dodelijke autonomie.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Dodelijk autonome killerrobots
00:50
would take many forms -- flying, driving,
13
38971
3069
hebben vele vormen:
ze vliegen, rijden,
ze vliegen, rijden,
00:54
or just lying in wait.
14
42040
2746
of liggen gewoon op de loer.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
Ze worden heel snel een realiteit.
00:59
These are two automatic sniper stations
16
47895
2484
Momenteel zijn er twee automatische
sluipschuttersstations
sluipschuttersstations
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
in de gedemilitariseerde zone
tussen Noord- en Zuid-Korea.
tussen Noord- en Zuid-Korea.
01:06
Both of these machines are capable of automatically
18
54516
2171
Beide machines kunnen automatisch
01:08
identifying a human target and firing on it,
19
56687
3524
een menselijk doelwit identificeren en beschieten,
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
de linkse op een afstand
van meer dan een kilometer.
van meer dan een kilometer.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
In beide gevallen komt er nog een mens tussen
01:20
to make that lethal firing decision,
22
68124
2372
om de beslissing tot schieten om te doden te nemen,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
maar het is geen technologische vereiste.
Het is een keuze.
Het is een keuze.
01:27
And it's that choice that I want to focus on,
24
75909
3093
Op die keuze wil ik me richten,
01:31
because as we migrate lethal decision-making
25
79002
2641
want als we dodelijke beslissingen laten verhuizen
01:33
from humans to software,
26
81643
3109
van de mens naar software,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
is het risico niet alleen dat we
het menselijke uit de oorlog verwijderen,
het menselijke uit de oorlog verwijderen,
01:40
but also changing our social landscape entirely,
28
88228
3526
maar ook dat we ons sociale landschap
volledig wijzigen,
volledig wijzigen,
01:43
far from the battlefield.
29
91754
2224
ver van het slagveld.
01:45
That's because the way humans resolve conflict
30
93978
4509
Want de manier waarop mensen
conflicten oplossen,
conflicten oplossen,
01:50
shapes our social landscape.
31
98487
1733
bepaalt ons sociale landschap.
01:52
And this has always been the case, throughout history.
32
100220
2633
Dat is in de geschiedenis altijd zo geweest.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Er waren bijvoorbeeld moderne wapensystemen
01:57
in 1400 A.D.
34
105514
2079
in 1400 voor Christus.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Ze waren duur om te bouwen
en te onderhouden,
en te onderhouden,
02:02
but with these you could dominate the populace,
36
110737
3240
maar je hield er het gepeupel
mee onder de duim
mee onder de duim
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
en de verdeling van de politieke macht
in de feodale maatschappij weerspiegelde dat.
in de feodale maatschappij weerspiegelde dat.
02:09
Power was focused at the very top.
38
117866
2687
De macht was geconcentreerd aan de top.
02:12
And what changed? Technological innovation.
39
120553
3528
Wat veranderde er?
Technologische innovatie.
Technologische innovatie.
02:16
Gunpowder, cannon.
40
124081
1871
Buskruit, het kanon.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
Al snel waren harnas en kasteel verouderd.
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
Het maakte minder uit
wie je opstelde op het slagveld
wie je opstelde op het slagveld
02:24
versus how many people you brought to the battlefield.
43
132302
3779
dan hoeveel mensen
je opstelde op het slagveld.
je opstelde op het slagveld.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
Naarmate de legers groter werden,
ontstond de natiestaat
ontstond de natiestaat
02:31
as a political and logistical requirement of defense.
45
139719
3680
als politieke en logistieke
defensievereiste.
defensievereiste.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
Toen de leiders meer op het gepeupel
moesten rekenen, gingen ze de macht delen.
moesten rekenen, gingen ze de macht delen.
02:37
they began to share power.
47
145775
1833
Toen de leiders meer op het gepeupel
moesten rekenen, gingen ze de macht delen.
moesten rekenen, gingen ze de macht delen.
02:39
Representative government began to form.
48
147608
2599
De representatieve overheid kreeg vorm.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
De middelen die we gebruiken
om conflicten op te lossen,
om conflicten op te lossen,
02:45
shape our social landscape.
50
153495
3304
geven ons sociale landschap vorm.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Autonome robotwapens zijn zo'n middel,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
behalve dat ze, doordat heel weinig mensen
ten oorlog moeten trekken,
ten oorlog moeten trekken,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
het risico inhouden dat de macht weer
in weinig handen wordt geconcentreerd,
in weinig handen wordt geconcentreerd,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
waardoor een 5 eeuwen lange trend
richting democratie wordt omgekeerd.
richting democratie wordt omgekeerd.
03:09
Now, I think, knowing this,
55
177386
1757
Als we dat weten,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
kunnen we beslissende stappen zetten
voor het behoud van democratische instellingen
voor het behoud van democratische instellingen
03:15
to do what humans do best, which is adapt.
57
183495
3979
om te doen wat mensen best kunnen:
zich aanpassen.
zich aanpassen.
03:19
But time is a factor.
58
187474
2005
Maar de tijd dringt.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
70 landen ontwikkelen hun eigen
telegeleide gevechtsdrones,
telegeleide gevechtsdrones,
03:24
combat drones of their own,
60
192330
2157
70 landen ontwikkelen hun eigen
telegeleide gevechtsdrones,
telegeleide gevechtsdrones,
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
Je zal zien dat telegeleide gevechtsdrones
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
de voorlopers zijn van autonome
robotwapens.
robotwapens.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
Zodra je telegeleide pilootdrones hebt opgesteld,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
zijn er drie krachtige factoren
die de beslissing wegduwen
die de beslissing wegduwen
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
van de mens naar het wapensysteem zelf.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
De eerste is de overvloed aan beelden
die drones produceren.
die drones produceren.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
In 2004 produceerde de dronevloot van de VS
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
samen 71 uur bewakingsfilm voor analyse.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
Tegen 2011 was dat al 300.000 uur geworden,
04:03
outstripping human ability to review it all,
70
231226
3149
meer dan de mens kan nakijken,
04:06
but even that number is about to go up drastically.
71
234375
3664
maar zelfs dat aantal
zal nog drastisch stijgen.
zal nog drastisch stijgen.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
De defensieprogramma's 'Gorgonenblik' en 'Argus'
zetten tot 65 onafhankelijke camera-ogen
zetten tot 65 onafhankelijke camera-ogen
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
De defensieprogramma's 'Gorgonenblik' en 'Argus'
zetten tot 65 onafhankelijke camera-ogen
zetten tot 65 onafhankelijke camera-ogen
04:15
on each drone platform,
74
243778
2038
op elk droneplatform.
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
Dat zou veel meer zijn
dan de mens kan nakijken.
dan de mens kan nakijken.
04:21
And that means visual intelligence software will need
76
249119
2160
Dat betekent dat visuele inlichtingensoftware
04:23
to scan it for items of interest.
77
251279
4048
ze zal moeten doorzoeken
naar interessante dingen.
naar interessante dingen.
04:27
And that means very soon
78
255327
1348
Dat betekent dat binnenkort
04:28
drones will tell humans what to look at,
79
256675
2747
de drones de mensen zullen zeggen
waar ze naar moeten kijken,
waar ze naar moeten kijken,
04:31
not the other way around.
80
259422
2497
niet omgekeerd.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Maar er is een tweede krachtige stimulans
04:36
decision-making away from humans and onto machines,
82
264392
3383
om de beslissing van de mens
naar de machine te verplaatsen:
naar de machine te verplaatsen:
04:39
and that's electromagnetic jamming,
83
267775
2872
elektromagnetische stoorzenders,
04:42
severing the connection between the drone
84
270647
2236
die de verbinding tussen de drone
04:44
and its operator.
85
272883
2814
en zijn bestuurder verbreken.
04:47
Now we saw an example of this in 2011
86
275697
2618
We zagen er een voorbeeld van in 2011
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
toen een Amerikaanse RQ-170 Sentinel
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
in de war raakte boven Iran
door een moedwillige verstoring van zijn gps.
door een moedwillige verstoring van zijn gps.
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
Elke telegeleide drone is kwetsbaar
voor dat soort aanvallen.
voor dat soort aanvallen.
05:02
and that means drones
90
290692
2052
Dat betekent dat drones
05:04
will have to shoulder more decision-making.
91
292744
3620
meer beslissingen zullen moeten nemen.
05:08
They'll know their mission objective,
92
296364
3043
Ze zullen het doel van hun missie kennen
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
en reageren op nieuwe omstandigheden
zonder menselijke hulp.
zonder menselijke hulp.
05:16
They'll ignore external radio signals
94
304252
2581
Ze zullen externe radiosignalen negeren
05:18
and send very few of their own.
95
306833
2330
en er zelf niet veel uitzenden.
05:21
Which brings us to, really, the third
96
309163
2006
Dat brengt ons tot de derde
05:23
and most powerful incentive pushing decision-making
97
311169
3862
en krachtigste stimulans
om beslissingen te verplaatsen
om beslissingen te verplaatsen
05:27
away from humans and onto weapons:
98
315031
3342
van de mens naar de wapens:
05:30
plausible deniability.
99
318373
3293
plausibele ontkenbaarheid.
05:33
Now we live in a global economy.
100
321666
2887
We leven in een globale economie.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
Er is hoogtechnologische productie
op de meeste continenten.
op de meeste continenten.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
Cyberspionage moffelt
geavanceerde ontwerpen weg
geavanceerde ontwerpen weg
05:43
to parts unknown,
103
331801
1886
in onbekende onderdelen.
05:45
and in that environment, it is very likely
104
333687
2014
In die omgeving is het heel waarschijnlijk
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
dat succesvolle droneontwerpen
zullen worden gemaakt in fabrieken van onderaannemers
zullen worden gemaakt in fabrieken van onderaannemers
05:52
proliferate in the gray market.
106
340435
2170
en vandaar richting grijze markt gaan.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
In die situatie zal het,
als je het wrak
als je het wrak
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
van een zelfmoorddrone doorzoekt,
heel moeilijk te zeggen zijn
heel moeilijk te zeggen zijn
06:00
who sent that weapon.
109
348025
4400
wie dat wapen heeft gestuurd.
06:04
This raises the very real possibility
110
352425
2800
Daardoor wordt de mogelijkheid
van anoniem oorlogvoeren heel reëel.
van anoniem oorlogvoeren heel reëel.
06:07
of anonymous war.
111
355225
2935
Daardoor wordt de mogelijkheid
van anoniem oorlogvoeren heel reëel.
van anoniem oorlogvoeren heel reëel.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Dat zou het geopolitieke evenwicht
op zijn kop kunnen zetten,
op zijn kop kunnen zetten,
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
waardoor het voor een natie moeilijk wordt
om zijn vuurkracht in te zetten
om zijn vuurkracht in te zetten
06:16
against an attacker, and that could shift the balance
114
364265
2848
tegen een aanvaller.
Dat zou de balans kunnen doen overhellen
Dat zou de balans kunnen doen overhellen
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
van verdediging naar aanval
in de 21e eeuw.
in de 21e eeuw.
06:22
It could make military action a viable option
116
370877
3124
Het zou van militaire actie
een haalbare kaart maken,
een haalbare kaart maken,
06:26
not just for small nations,
117
374001
2288
niet alleen voor kleine landen,
06:28
but criminal organizations, private enterprise,
118
376289
2545
maar voor criminele organisaties,
privébedrijven,
privébedrijven,
06:30
even powerful individuals.
119
378834
2479
zelfs machtige individuen.
06:33
It could create a landscape of rival warlords
120
381313
3328
Het zou een landschap
van rivaliserende krijgsheren creëren
van rivaliserende krijgsheren creëren
06:36
undermining rule of law and civil society.
121
384641
3680
die de rechtsstaat en de burgerlijke
maatschappij ondermijnen.
maatschappij ondermijnen.
06:40
Now if responsibility and transparency
122
388321
3616
Als verantwoordelijkheid en transparantie
06:43
are two of the cornerstones of representative government,
123
391937
2384
twee hoekstenen zijn van de representatieve democratie,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
dan kunnen autonome robotwapens
ze beide ondermijnen.
ze beide ondermijnen.
06:50
Now you might be thinking that
125
398641
1546
Misschien denk je
06:52
citizens of high-tech nations
126
400187
2246
dat burgers van hoogtechnologische naties
06:54
would have the advantage in any robotic war,
127
402433
2703
voordeel hebben bij elke robotoorlog,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
dat burgers van die naties
minder kwetsbaar zouden zijn,
minder kwetsbaar zouden zijn,
07:00
particularly against developing nations.
129
408769
4288
vooral tegen ontwikkelingslanden.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Volgens mij is het net andersom.
07:08
I think citizens of high-tech societies
131
416581
2251
Ik denk dat burgers
van hoogtechnologische maatschappijen
van hoogtechnologische maatschappijen
07:10
are more vulnerable to robotic weapons,
132
418832
3729
kwetsbaarder zijn voor robotwapens.
07:14
and the reason can be summed up in one word: data.
133
422561
4465
Dat ligt aan één enkel ding: gegevens.
07:19
Data powers high-tech societies.
134
427026
3481
Gegevens zijn de motor van hightech-maatschappijen.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Gsm-geolocatie, metagegevens van telecommunicatie,
07:25
social media, email, text, financial transaction data,
136
433697
3472
sociale media, email, sms, financiële transactiegegevens,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
transportgegegeven, een overvloed
aan realtime-gegevens
aan realtime-gegevens
07:32
on the movements and social interactions of people.
138
440701
3373
over de bewegingen en sociale interactie van mensen.
07:36
In short, we are more visible to machines
139
444074
3775
Kortom, we zijn zichtbaarder voor machines
07:39
than any people in history,
140
447849
2242
dan wie dan ook in de geschiedenis.
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
Dat is perfect voor een autonoom wapen
dat een doel in het vizier moet krijgen.
dat een doel in het vizier moet krijgen.
07:47
What you're looking at here
142
455707
1738
Wat je hier ziet,
07:49
is a link analysis map of a social group.
143
457445
3246
is een linkanalyse van een sociale groep.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Links wijzen op sociale verbondenheid
tussen individuen.
tussen individuen.
07:56
And these types of maps can be automatically generated
145
464325
2880
Dit soort kaarten kan automatisch gemaakt worden
07:59
based on the data trail modern people leave behind.
146
467205
4715
op basis van het spoor van gegevens
dat moderne mensen achterlaten.
dat moderne mensen achterlaten.
08:03
Now it's typically used to market goods and services
147
471920
2477
Ze worden meestal gebruikt
om goederen en diensten te verkopen
om goederen en diensten te verkopen
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
aan doelgroepen, maar het is
een tweesnijdende technologie,
een tweesnijdende technologie,
08:10
because targeting is used in another context.
149
478813
3360
als 'doelen' in een andere context worden gebruikt.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Je ziet dat bepaalde individuen gemarkeerd zijn.
08:16
These are the hubs of social networks.
151
484733
3280
Dit zijn de knooppunten van de sociale netwerken:
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
organisatoren, opiniemakers, leiders.
08:23
and these people also can be automatically identified
153
491603
2682
Deze mensen kan je automatisch identificeren
08:26
from their communication patterns.
154
494285
2382
op basis van hun communicatiepatroon.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Als marketeer kan je je op hen richten
08:30
with product samples, try to spread your brand
156
498813
2543
met productstalen, als je je merk wil verspreiden
08:33
through their social group.
157
501356
2829
in hun sociale groep.
08:36
But if you're a repressive government
158
504185
1953
Maar als je een repressieve overheid bent,
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
op zoek naar politieke vijanden,
kan je ze ook verwijderen,
kan je ze ook verwijderen,
08:42
eliminate them, disrupt their social group,
160
510948
2760
uitschakelen, hun sociale groep verstoren.
08:45
and those who remain behind lose social cohesion
161
513708
3169
De achterblijvers verliezen sociale samenhang
08:48
and organization.
162
516877
2621
en organisatie.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
In een wereld van goedkope, uitdijende robotwapens,
08:54
borders would offer very little protection
164
522822
2635
zouden grenzen heel weinig bescherming bieden
08:57
to critics of distant governments
165
525457
1946
aan de critici van verre overheden
08:59
or trans-national criminal organizations.
166
527403
3646
of transnationale criminele organisaties.
09:03
Popular movements agitating for change
167
531049
3493
Volksbewegingen die op verandering aansturen,
09:06
could be detected early and their leaders eliminated
168
534542
3609
zouden vroeg ontdekt kunnen worden
en hun leiders uitgeschakeld
en hun leiders uitgeschakeld
09:10
before their ideas achieve critical mass.
169
538151
2911
nog voor hun ideeën kritische massa bereiken.
09:13
And ideas achieving critical mass
170
541062
2591
Ideeën die kritische massa bereiken,
09:15
is what political activism in popular government is all about.
171
543653
3936
daar draait elk politiek activisme om in een democratie.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Anonieme dodelijke wapens
kunnen van dodelijke actie
kunnen van dodelijke actie
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
een gemakkelijke keuze maken
voor allerlei concurrerende belangen.
voor allerlei concurrerende belangen.
09:27
And this would put a chill on free speech
174
555368
3734
Dat zou de vrije meningsuiting belemmeren
09:31
and popular political action, the very heart of democracy.
175
559102
5308
en politieke actie van het volk,
het hart van de democratie.
het hart van de democratie.
09:36
And this is why we need an international treaty
176
564410
2914
Daarom hebben we nood aan
een internationaal verdrag
een internationaal verdrag
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
over robotwapens, en meer bepaald
een wereldwijd verbod
een wereldwijd verbod
09:42
on the development and deployment of killer robots.
178
570864
3908
op het ontwikkelen en inzetten
van killerrobots.
van killerrobots.
09:46
Now we already have international treaties
179
574772
3254
We hebben al internationale verdragen
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
over nucleaire en biologische wapens.
Die zijn niet perfect,
Die zijn niet perfect,
09:53
these have largely worked.
181
581412
2288
maar ze hebben wel grotendeels gewerkt.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Robotwapens zouden even gevaarlijk
kunnen zijn,
kunnen zijn,
09:59
because they will almost certainly be used,
183
587468
3288
want ze zullen bijna zeker worden ingezet
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
en ze zouden onze democratische instellingen ondermijnen.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
In november 2012 verplichtte
het Ministerie van Defensie van de VS
het Ministerie van Defensie van de VS
10:11
issued a directive requiring
186
599251
2458
In november 2012 verplichtte
het Ministerie van Defensie van de VS
het Ministerie van Defensie van de VS
10:13
a human being be present in all lethal decisions.
187
601709
4519
de aanwezigheid van een mens
bij alle beslissingen over leven en dood.
bij alle beslissingen over leven en dood.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Daardoor werden automatische wapens
tijdelijk effectief verboden in het leger van de VS,
tijdelijk effectief verboden in het leger van de VS,
10:23
but that directive needs to be made permanent.
189
611004
3753
maar die richtlijn moet permanent worden.
10:26
And it could set the stage for global action.
190
614757
4376
Dat zou de voorbereiding kunnen zijn
van wereldwijde actie.
van wereldwijde actie.
10:31
Because we need an international legal framework
191
619133
3845
We hebben een internationaal wettelijk kader nodig
10:34
for robotic weapons.
192
622978
2138
voor robotwapens,
10:37
And we need it now, before there's a devastating attack
193
625116
2928
en wel meteen, voor er een verwoestende aanval is
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
of een terroristische aanslag waardoor landen
10:43
to rush to adopt these weapons
195
631196
1924
snel-snel deze wapens inzetten
zonder over de gevolgen na te denken.
zonder over de gevolgen na te denken.
10:45
before thinking through the consequences.
196
633120
3771
snel-snel deze wapens inzetten
zonder over de gevolgen na te denken.
zonder over de gevolgen na te denken.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Automatische robotwapens concentreren teveel macht
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
in te weinig handen, en ze zouden de democratie zelf
in gevaar brengen.
in gevaar brengen.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Begrijp me niet verkeerd,
ik denk dat er massa's
ik denk dat er massa's
11:00
of great uses for unarmed civilian drones:
200
648841
2618
toepassingen zijn voor onbewapende civiele drones:
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
milieubewaking, reddingsoperaties, logistiek.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Als we een internationaal verdrag op robotwapens hebben,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
hoe kunnen we dan de voordelen van autonome drones
11:13
and vehicles while still protecting ourselves
204
661811
2648
en voertuigen combineren met bescherming
11:16
against illegal robotic weapons?
205
664459
3980
tegen illegale robotwapens?
11:20
I think the secret will be transparency.
206
668439
4741
Ik denk dat het geheim transparantie zal zijn.
11:25
No robot should have an expectation of privacy
207
673180
3013
Geen enkele robot mag zich aan privacy verwachten
11:28
in a public place.
208
676193
3451
op een openbare plaats.
11:31
(Applause)
209
679644
5048
(Applaus)
11:36
Each robot and drone should have
210
684692
2045
In elke robot en drone zou een cryptografisch ondertekend
identiteitsbewijs moeten gegraveerd zijn
identiteitsbewijs moeten gegraveerd zijn
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
In elke robot en drone zou een cryptografisch ondertekend
identiteitsbewijs moeten gegraveerd zijn
identiteitsbewijs moeten gegraveerd zijn
11:41
that can be used to track its movement through public spaces.
212
689620
2923
dat kan worden gebruikt om zijn beweging
door publieke ruimtes te volgen.
door publieke ruimtes te volgen.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
We hebben nummerplaten op auto's
en staartnummers op vliegtuigen.
en staartnummers op vliegtuigen.
11:47
This is no different.
214
695924
1841
Dit is niet anders.
11:49
And every citizen should be able to download an app
215
697765
2012
Elke burger zou een app moeten kunnen downloaden
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
die de populatie van drones en autonome voertuigen toont
11:54
moving through public spaces around them,
217
702902
2429
die zich door de publieke ruimte om hem heen beweegt,
11:57
both right now and historically.
218
705331
2733
nu meteen en in het verleden.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
Burgerleiders zouden sensoren
en burgerlijke drones moeten inzetten
en burgerlijke drones moeten inzetten
12:03
to detect rogue drones,
220
711612
2344
om schurkendrones te detecteren.
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
In plaats van eigen killerdrones te sturen
om ze af te maken,
om ze af te maken,
12:09
they should notify humans to their presence.
222
717132
2992
zouden ze mensen
op hun aanwezigheid moeten wijzen.
op hun aanwezigheid moeten wijzen.
12:12
And in certain very high-security areas,
223
720124
2606
In bepaalde strenge veiligheidszones
12:14
perhaps civic drones would snare them
224
722730
1909
zouden burgerlijke drones ze kunnen strikken
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
en wegslepen naar een ontmijningsinstallatie.
12:19
But notice, this is more an immune system
226
727480
3027
Maar dit is veeleer een immuunsysteem
12:22
than a weapons system.
227
730507
1321
dan een wapensysteem.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Het zou ons toelaten om
12:26
of autonomous vehicles and drones
229
734420
2032
autonome voertuigen en drones te gebruiken
12:28
while still preserving our open, civil society.
230
736452
4295
zonder onze open, burgerlijke maatschappij op te geven.
12:32
We must ban the deployment and development
231
740747
2999
We moeten de inzet en ontwikkeling
12:35
of killer robots.
232
743746
1862
van killerrobots verbieden.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Laten we niet zwichten voor de verleiding
om oorlog te automatiseren.
om oorlog te automatiseren.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Autocratische regeringen
en criminele organisaties
en criminele organisaties
12:45
undoubtedly will, but let's not join them.
235
753176
2956
zullen dat zeker doen.
Laten we ze niet volgen.
Laten we ze niet volgen.
12:48
Autonomous robotic weapons
236
756132
1891
Autonome robotwapens
12:50
would concentrate too much power
237
758023
2051
zouden te veel macht concentreren
12:52
in too few unseen hands,
238
760074
2482
in te weinig onzichtbare handen.
12:54
and that would be corrosive to representative government.
239
762556
3255
Dat zou de representatieve democratie ondermijnen.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Laten we ervoor zorgen dat,
tenminste voor democratieën,
tenminste voor democratieën,
13:00
killer robots remain fiction.
241
768772
2604
killerrobots fictie blijven.
13:03
Thank you.
242
771376
1110
Dankuwel.
13:04
(Applause)
243
772486
4565
(Applaus)
13:09
Thank you. (Applause)
244
777051
4616
Dankuwel. (Applaus)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com