TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Danijel Suarez (Daniel Suarez): Odluku o ubistvu ne treba da donosi robot
Filmed:
Readability: 5.9
1,946,706 views
Kao romanopisac, Danijel Suarez priča distopijske priče o budućnosti. Ali na TEDGlobal pozornici, on nas vodi kroz realan scenario o kome svi treba više da znamo: razvoj autonomnih robotskih ratnih oružja. Napredne bespilotne letelice, automatizovano oružje i alati koje pokreće veštačka inteligencija mogli bi, kako kaže, da preuzmu iz ljudskih ruku donošenje odluka o ratu.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Ja pišem naučno fantastične trilere
00:15
so if I say "killer robots,"
1
3849
2193
i ako kažem "roboti ubice"
00:18
you'd probably think something like this.
2
6042
2361
verovatno ćete pomisliti
na ovako nešto.
na ovako nešto.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Ali nisam ovde
da bih pričao o fikciji.
da bih pričao o fikciji.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Ovde sam da bih pričao
o vrlo stvarnim robotima ubicama,
o vrlo stvarnim robotima ubicama,
00:25
autonomous combat drones.
5
13906
3122
autonomnim bespilotnim
letelicama za borbu.
letelicama za borbu.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Ne mislim pritom na bespilotne letelice
"Predator i "Riper"
"Predator i "Riper"
00:32
which have a human making targeting decisions.
7
20655
3260
gde odluke o ciljanju
donose ljudi.
donose ljudi.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Govorim o potpuno nezavisnom
robotskom oružju
robotskom oružju
00:39
that make lethal decisions about human beings
9
27044
2654
koje donosi odluke o smrti
ljudskih bića
ljudskih bića
00:41
all on their own.
10
29698
2417
potpuno samostalno.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
Postoji i tehnički izraz za to:
smrtonosna autonomija.
smrtonosna autonomija.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Smrtonosno autonomni roboti ubice
00:50
would take many forms -- flying, driving,
13
38971
3069
mogu imati više oblika -
leteći, na točkovima
leteći, na točkovima
00:54
or just lying in wait.
14
42040
2746
ili samo u zasedi.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
U stvari, oni vrlo brzo
postaju realnost.
postaju realnost.
00:59
These are two automatic sniper stations
16
47895
2484
Ovo su dve automatske
snajperske stanice
snajperske stanice
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
trenutno postavljene u demilitarizovanoj
zoni između Severne i Južne Koreje.
zoni između Severne i Južne Koreje.
01:06
Both of these machines are capable of automatically
18
54516
2171
Obe ove mašine su sposobne
za automatsko
za automatsko
01:08
identifying a human target and firing on it,
19
56687
3524
identifikovanje ljudskih meta
i pucanje na njih,
i pucanje na njih,
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
ona s leve strane, na razdaljini
od preko jednog kilometra.
od preko jednog kilometra.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
U oba slučaja
još uvek je čovek uključen
još uvek je čovek uključen
01:20
to make that lethal firing decision,
22
68124
2372
da donese odluku
o smrtonosnoj paljbi,
o smrtonosnoj paljbi,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
ali to nije zahtev tehnologije.
To je izbor.
To je izbor.
01:27
And it's that choice that I want to focus on,
24
75909
3093
I taj izbor je ono na šta
želim da se fokusiram,
želim da se fokusiram,
01:31
because as we migrate lethal decision-making
25
79002
2641
jer kako prenosimo
donošenje smrtonosne odluke
donošenje smrtonosne odluke
01:33
from humans to software,
26
81643
3109
sa ljudi na softver,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
rizikujemo ne samo to
da izbacimo ljudskost iz rata,
da izbacimo ljudskost iz rata,
01:40
but also changing our social landscape entirely,
28
88228
3526
nego i da potpuno promenimo
sliku našeg društva
sliku našeg društva
01:43
far from the battlefield.
29
91754
2224
daleko od bojnog polja.
01:45
That's because the way humans resolve conflict
30
93978
4509
To je zbog toga što način
na koji ljudi razrešavaju sukob
na koji ljudi razrešavaju sukob
01:50
shapes our social landscape.
31
98487
1733
oblikuje sliku našeg društva.
01:52
And this has always been the case, throughout history.
32
100220
2633
Ovo je uvek bio slučaj
tokom istorije.
tokom istorije.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Na primer, ovo su bili
moderni sistemi naoružanja
moderni sistemi naoružanja
01:57
in 1400 A.D.
34
105514
2079
1400. godine.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Oba su bila skupa
za izgradnju i održavanje,
za izgradnju i održavanje,
02:02
but with these you could dominate the populace,
36
110737
3240
ali njima ste mogli
da vladate narodom
da vladate narodom
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
i to se ogledalo u raspodeli
političke moći u feudalnom društvu.
političke moći u feudalnom društvu.
02:09
Power was focused at the very top.
38
117866
2687
Moć je bila koncentrisana
u samom vrhu.
u samom vrhu.
02:12
And what changed? Technological innovation.
39
120553
3528
Šta se promenilo?
Tehnološka inovacija.
Tehnološka inovacija.
02:16
Gunpowder, cannon.
40
124081
1871
Barut, top.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
I uskoro, oklopi i tvrđave
su postali beskorisni
su postali beskorisni
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
i bilo je manje važno
koga ste doveli na bojno polje
koga ste doveli na bojno polje
02:24
versus how many people you brought to the battlefield.
43
132302
3779
od toga koliko ste ljudi doveli
na bojno polje.
na bojno polje.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
I kako su vojske rasle,
nastajala je nacionalna država
nastajala je nacionalna država
02:31
as a political and logistical requirement of defense.
45
139719
3680
kao politički i logistički
zahtev odbrane.
zahtev odbrane.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
I kako su lideri morali
da se oslanjaju više na svoj narod,
da se oslanjaju više na svoj narod,
02:37
they began to share power.
47
145775
1833
počeli su da dele moć.
02:39
Representative government began to form.
48
147608
2599
Počela je da se formira vlada.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
I opet, sredstva koja koristimo
da razrešimo sukob
da razrešimo sukob
02:45
shape our social landscape.
50
153495
3304
oblikuju sliku našeg društva.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Autonomna robotička oružja
su takvo sredstvo,
su takvo sredstvo,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
koje osim što zahteva
da vrlo malo ljudi pođe u rat,
da vrlo malo ljudi pođe u rat,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
rizikuje ponovno centralizovanje moći
u mali broj ruku
u mali broj ruku
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
što bi verovatno obrnulo
petovekovni trend ka demokratiji.
petovekovni trend ka demokratiji.
03:09
Now, I think, knowing this,
55
177386
1757
Znajući ovo, mislim da možemo
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
preduzeti odlučne korake da sačuvamo
naše demokratske institucije,
naše demokratske institucije,
03:15
to do what humans do best, which is adapt.
57
183495
3979
da uradimo ono što ljudi rade najbolje,
a to je da se adaptiramo.
a to je da se adaptiramo.
03:19
But time is a factor.
58
187474
2005
Ali vreme je faktor.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
Sedamdeset nacija razvija
sopstvene daljinski upravljane
sopstvene daljinski upravljane
03:24
combat drones of their own,
60
192330
2157
bespilotne letelice
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
i kao što ćete videti, daljinski
upravljane bespilotne letelice
upravljane bespilotne letelice
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
su preteče autonomnih
robotskih letelica.
robotskih letelica.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
To je zato što, kad ste razmestili
daljinske bespilotne letelice,
daljinske bespilotne letelice,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
postoje tri moćna faktora koji podstiču
premeštanje donošenja odluke
premeštanje donošenja odluke
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
sa ljudi na sama oružja.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
Prvi od njih je poplava video snimaka
koje prave bespilotne letelice.
koje prave bespilotne letelice.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
Na primer 2004., flota bespilotnih
letelica SAD-a je proizvela
letelica SAD-a je proizvela
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
ukupno 71 sat
video nadzora za analizu.
video nadzora za analizu.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
Do 2011., taj broj se popeo
na 300.000 sati,
na 300.000 sati,
04:03
outstripping human ability to review it all,
70
231226
3149
prevazilazeći ljudsku sposobnost
da sve to pregleda
da sve to pregleda
04:06
but even that number is about to go up drastically.
71
234375
3664
i taj broj će se drastično povećavati.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
Programi Pentagona
"Gorgonin pogled" i "Argus"
"Gorgonin pogled" i "Argus"
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
će postaviti do 65 nezavisnih
objektiva kamere
objektiva kamere
04:15
on each drone platform,
74
243778
2038
na svaku bespilotnu letelicu
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
i ovo će uveliko prevazići
ljudsku sposobnost da sve to pregleda.
ljudsku sposobnost da sve to pregleda.
04:21
And that means visual intelligence software will need
76
249119
2160
To znači da će
vizuelno inteligentni softver morati
vizuelno inteligentni softver morati
04:23
to scan it for items of interest.
77
251279
4048
da to skenira da bi izdvojio
ono što je značajno.
ono što je značajno.
04:27
And that means very soon
78
255327
1348
A to znači da će uskoro
04:28
drones will tell humans what to look at,
79
256675
2747
bespilotne letelice
govoriti ljudima šta da pogledaju,
govoriti ljudima šta da pogledaju,
04:31
not the other way around.
80
259422
2497
a ne obratno.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Ali tu je i drugi moćni podsticaj
04:36
decision-making away from humans and onto machines,
82
264392
3383
za prenošenje donošenja odluka
sa ljudi na mašine
sa ljudi na mašine
04:39
and that's electromagnetic jamming,
83
267775
2872
i to je elektromagnetno
ometanje
ometanje
04:42
severing the connection between the drone
84
270647
2236
koje prekida vezu između
bespilotne letelice
bespilotne letelice
04:44
and its operator.
85
272883
2814
i onoga ko njom upravlja.
04:47
Now we saw an example of this in 2011
86
275697
2618
Videli smo primer ovoga 2011.
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
kada se američka bespilotna letelica
RQ-170 "Sentinel"
RQ-170 "Sentinel"
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
malo zbunila iznad Irana
usled napada pomoću GPS obmane,
usled napada pomoću GPS obmane,
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
ali bilo koja daljinska bespilotna letelica
bila bi podložna ovom tipu napada,
bila bi podložna ovom tipu napada,
05:02
and that means drones
90
290692
2052
a to znači da će bespilotne letelice
05:04
will have to shoulder more decision-making.
91
292744
3620
morati u većoj meri
da preuzmu donošenje odluke.
da preuzmu donošenje odluke.
05:08
They'll know their mission objective,
92
296364
3043
One će znati cilj svoje misije
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
i reagovaće na nove okolnosti
bez ljudskog vođstva.
bez ljudskog vođstva.
05:16
They'll ignore external radio signals
94
304252
2581
One će ignorisati
spoljne radio signale
spoljne radio signale
05:18
and send very few of their own.
95
306833
2330
i slati vrlo malo sopstvenih.
05:21
Which brings us to, really, the third
96
309163
2006
I to nas dovodi do trećeg
05:23
and most powerful incentive pushing decision-making
97
311169
3862
i najmoćnijeg podsticaja
za prenošenje donošenja odluka
za prenošenje donošenja odluka
05:27
away from humans and onto weapons:
98
315031
3342
sa ljudi na oružje:
05:30
plausible deniability.
99
318373
3293
uverljivo negiranje.
05:33
Now we live in a global economy.
100
321666
2887
Živimo u globalnoj ekonomiji.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
Proizvodnja visoke tehnologije
se dešava na uglavnom svim kontinentima.
se dešava na uglavnom svim kontinentima.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
Sajber špijunaža krijumčari
napredne dizajne
napredne dizajne
05:43
to parts unknown,
103
331801
1886
na nepoznate destinacije
05:45
and in that environment, it is very likely
104
333687
2014
i u takvom okruženju je vrlo verovatno
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
da će uspešan dizajn bespilotne letelice
stati u fabrikama
stati u fabrikama
05:52
proliferate in the gray market.
106
340435
2170
i umnožiti se na crnom tržištu.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
I u toj situaciji,
pretraživanjem olupine
pretraživanjem olupine
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
posle samoubilačkog napada
bespilotne letelice, biće vrlo teško reći
bespilotne letelice, biće vrlo teško reći
06:00
who sent that weapon.
109
348025
4400
ko je poslao to oružje.
06:04
This raises the very real possibility
110
352425
2800
Ovo predstavlja
realnu mogućnost
realnu mogućnost
06:07
of anonymous war.
111
355225
2935
anonimnog rata.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Ovo bi moglo okrenuti
geopolitičku ravnotežu naglavce
geopolitičku ravnotežu naglavce
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
i vrlo otežati naciji
da upotrebi svoju oružanu moć
da upotrebi svoju oružanu moć
06:16
against an attacker, and that could shift the balance
114
364265
2848
protiv napadača i to može
da promeni ravnotežu
da promeni ravnotežu
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
u 21. veku sa odbrane na napad.
06:22
It could make military action a viable option
116
370877
3124
Može da učini vojnu akciju
izvodljivom opcijom
izvodljivom opcijom
06:26
not just for small nations,
117
374001
2288
ne samo za male narode,
06:28
but criminal organizations, private enterprise,
118
376289
2545
nego i za kriminalne organizacije,
privatne poduhvate,
privatne poduhvate,
06:30
even powerful individuals.
119
378834
2479
pa čak i za moćne pojedince.
06:33
It could create a landscape of rival warlords
120
381313
3328
Može da kreira sliku
u kojoj rivalski gospodari rata
u kojoj rivalski gospodari rata
06:36
undermining rule of law and civil society.
121
384641
3680
podrivaju zakon prava
i civilnog društva.
i civilnog društva.
06:40
Now if responsibility and transparency
122
388321
3616
Ako su odgovornost
i transparentnost
i transparentnost
06:43
are two of the cornerstones of representative government,
123
391937
2384
dva stuba vlade,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
autonomna robotska oružja
bi mogla da ih potkopaju.
bi mogla da ih potkopaju.
06:50
Now you might be thinking that
125
398641
1546
Možda mislite da bi građani
06:52
citizens of high-tech nations
126
400187
2246
visoko tehnoloških nacija
06:54
would have the advantage in any robotic war,
127
402433
2703
imali prednost
u bilo kom robotskom ratu,
u bilo kom robotskom ratu,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
da bi građani ovih nacija
bili manje ranjivi,
bili manje ranjivi,
07:00
particularly against developing nations.
129
408769
4288
posebno u poređenju
sa nacijama u razvoju.
sa nacijama u razvoju.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Ali mislim da je istina
potpuno suprotna.
potpuno suprotna.
07:08
I think citizens of high-tech societies
131
416581
2251
Mislim da su građani
visoko tehnoloških društava
visoko tehnoloških društava
07:10
are more vulnerable to robotic weapons,
132
418832
3729
ranjiviji za robotska oružja
07:14
and the reason can be summed up in one word: data.
133
422561
4465
i razlog za to može
da se sumira u jednoj reči: podaci.
da se sumira u jednoj reči: podaci.
07:19
Data powers high-tech societies.
134
427026
3481
Podaci vladaju
visoko tehnološkim društvima.
visoko tehnološkim društvima.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Geolokacija mobilnih telefona,
telekomunikacioni metapodaci,
telekomunikacioni metapodaci,
07:25
social media, email, text, financial transaction data,
136
433697
3472
društveni mediji, e-mail, SMS,
podaci finansijskih transakcija
podaci finansijskih transakcija
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
saobraćajni podaci, to je bogatstvo
podataka u realnom vremenu
podataka u realnom vremenu
07:32
on the movements and social interactions of people.
138
440701
3373
o potezima
i društvenim interakcijama ljudi.
i društvenim interakcijama ljudi.
07:36
In short, we are more visible to machines
139
444074
3775
Ukratko, vidljiviji smo mašinama
07:39
than any people in history,
140
447849
2242
od bilo kojih drugih ljudi u istoriji
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
i ovo savršeno odgovara
ciljanim potrebama autonomnog oružja.
ciljanim potrebama autonomnog oružja.
07:47
What you're looking at here
142
455707
1738
Ono što vidite ovde
07:49
is a link analysis map of a social group.
143
457445
3246
je mapa analize veza
društvene grupe.
društvene grupe.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Linije označavaju društvenu povezanost
između osoba.
između osoba.
07:56
And these types of maps can be automatically generated
145
464325
2880
Ova vrsta mapa
može se generisati automatski
može se generisati automatski
07:59
based on the data trail modern people leave behind.
146
467205
4715
na osnovu tragova podataka
koje moderni ljudi ostavljaju za sobom.
koje moderni ljudi ostavljaju za sobom.
08:03
Now it's typically used to market goods and services
147
471920
2477
Obično se koristi
u tržištu robe i usluga
u tržištu robe i usluga
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
za ciljanu demografiju,
ali to je tehnologija za obe strane
ali to je tehnologija za obe strane
08:10
because targeting is used in another context.
149
478813
3360
jer je "ciljanje" upotrebljeno
u drugom kontekstu.
u drugom kontekstu.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Vidite da su određene osobe
istaknute.
istaknute.
08:16
These are the hubs of social networks.
151
484733
3280
Reč je o centrima društvenih mreža.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
To su organizatori, oni utiču
na formiranje mišljenja, vođe
na formiranje mišljenja, vođe
08:23
and these people also can be automatically identified
153
491603
2682
i ti ljudi takođe mogu biti
automatski identifikovani
automatski identifikovani
08:26
from their communication patterns.
154
494285
2382
pomoću svojih obrazaca komunikacije.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Ako ste prodavac,
onda ih možete naciljati
onda ih možete naciljati
08:30
with product samples, try to spread your brand
156
498813
2543
pomoću uzoraka proizvoda
i pokušati da proširite svoj brend
i pokušati da proširite svoj brend
08:33
through their social group.
157
501356
2829
u njihovoj društvenoj grupi.
08:36
But if you're a repressive government
158
504185
1953
Ali, ako ste represivna vlada
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
koja traži političke protivnike,
mogli biste umesto toga da ih uklonite,
mogli biste umesto toga da ih uklonite,
08:42
eliminate them, disrupt their social group,
160
510948
2760
eliminišete, poremetite
njihovu društvenu grupu
njihovu društvenu grupu
08:45
and those who remain behind lose social cohesion
161
513708
3169
i one koji stoje
u labavoj društvenoj koheziji
u labavoj društvenoj koheziji
08:48
and organization.
162
516877
2621
i organizaciji.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
U svetu jeftinih robotskih oružja
koja se sve više umnožavaju
koja se sve više umnožavaju
08:54
borders would offer very little protection
164
522822
2635
granice bi pružale
vrlo malu zaštitu
vrlo malu zaštitu
08:57
to critics of distant governments
165
525457
1946
kritičarima udaljenih vlada
08:59
or trans-national criminal organizations.
166
527403
3646
ili međunarodnim
kriminalnim organizacijama.
kriminalnim organizacijama.
09:03
Popular movements agitating for change
167
531049
3493
Narodni pokreti
koji agituju za promenu
koji agituju za promenu
09:06
could be detected early and their leaders eliminated
168
534542
3609
mogli bi biti otkriveni rano
i njihovi lideri eliminisani
i njihovi lideri eliminisani
09:10
before their ideas achieve critical mass.
169
538151
2911
pre neko što njihove ideje
usvoji kritična masa.
usvoji kritična masa.
09:13
And ideas achieving critical mass
170
541062
2591
A ideje koje dostižu
kritičnu masu
kritičnu masu
09:15
is what political activism in popular government is all about.
171
543653
3936
su ono čime se politički aktivizam
u narodnoj vladi bavi.
u narodnoj vladi bavi.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Anonimna smrtonosna oružja
mogu preduzeti smrtonosnu akciju,
mogu preduzeti smrtonosnu akciju,
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
lak izbor za sve vrste
takmičarskih interesa.
takmičarskih interesa.
09:27
And this would put a chill on free speech
174
555368
3734
I ovo bi stavilo tačku
na slobodu govora
na slobodu govora
09:31
and popular political action, the very heart of democracy.
175
559102
5308
i političku aktivnost naroda,
samu srž demokratije.
samu srž demokratije.
09:36
And this is why we need an international treaty
176
564410
2914
To je ono zbog čega nam treba
međunarodni sporazum
međunarodni sporazum
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
o robotskom oružju
i posebno globalna zabrana
i posebno globalna zabrana
09:42
on the development and deployment of killer robots.
178
570864
3908
razvoja i razmeštanja
robota ubica.
robota ubica.
09:46
Now we already have international treaties
179
574772
3254
Već imamo međunarodne sporazume
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
o nuklearnom i biološkom oružju
koji su uglavnom funkcionisali,
koji su uglavnom funkcionisali,
09:53
these have largely worked.
181
581412
2288
iako nisu savršeni.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Ali robotska oružja mogu biti
isto tako opasna
isto tako opasna
09:59
because they will almost certainly be used,
183
587468
3288
jer će ona skoro sigurno
biti upotrebljena
biti upotrebljena
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
i bila bi isto tako nagrizajuća
za naše demokratske institucije.
za naše demokratske institucije.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
U novembru 2012. Ministarstvo odbrane
Sjedinjenih Država
Sjedinjenih Država
10:11
issued a directive requiring
186
599251
2458
izdalo je direktivu
koja zahteva
koja zahteva
10:13
a human being be present in all lethal decisions.
187
601709
4519
da čovek bude prisutan
kod svih smrtonosnih odluka.
kod svih smrtonosnih odluka.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Ovim su u stvari zabranjena
autonomna oružja u američkoj vojsci,
autonomna oružja u američkoj vojsci,
10:23
but that directive needs to be made permanent.
189
611004
3753
ali ta direktiva bi trebalo
da postane trajna.
da postane trajna.
10:26
And it could set the stage for global action.
190
614757
4376
To bi moglo da pripremi pozornicu
za globalnu akciju.
za globalnu akciju.
10:31
Because we need an international legal framework
191
619133
3845
Zato što nam treba
međunarodni zakonski okvir
međunarodni zakonski okvir
10:34
for robotic weapons.
192
622978
2138
za robotska oružja.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
I potreban nam je odmah,
pre nego što se desi razoran napad
pre nego što se desi razoran napad
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
ili teroristički incident
koji uzrokuje da nacije sveta
koji uzrokuje da nacije sveta
10:43
to rush to adopt these weapons
195
631196
1924
požure da usvoje ova oružja
10:45
before thinking through the consequences.
196
633120
3771
pre nego što razmisle
o posledicama.
o posledicama.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Autonomna robotska oružja
koncentrišu previše moći
koncentrišu previše moći
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
u suviše malom broju ruku
i to bi ugrozilo samu demokratiju.
i to bi ugrozilo samu demokratiju.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Nemojte me shvatiti pogrešno,
mislim da ima mnogo
mislim da ima mnogo
11:00
of great uses for unarmed civilian drones:
200
648841
2618
sjajnih načina za upotrebu nenaoružanih
civilnih bespilotnih letelica:
civilnih bespilotnih letelica:
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
nadgledanje okoline,
potraga i spasavanje, logistika.
potraga i spasavanje, logistika.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Ako bismo imali međunarodni
sporazum o robotskom oružju,
sporazum o robotskom oružju,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
kako bismo onda dobili koristi
od autonomnih bespilotnih letelica
od autonomnih bespilotnih letelica
11:13
and vehicles while still protecting ourselves
204
661811
2648
i vozila,
dok se u isto vreme čuvamo
dok se u isto vreme čuvamo
11:16
against illegal robotic weapons?
205
664459
3980
od ilegalnog robotskog oružja?
11:20
I think the secret will be transparency.
206
668439
4741
Mislim da će tajna
biti u transparentnosti.
biti u transparentnosti.
11:25
No robot should have an expectation of privacy
207
673180
3013
Nijedan robot ne bi trebalo
da očekuje da ima privatnost
da očekuje da ima privatnost
11:28
in a public place.
208
676193
3451
u javnom prostoru.
11:31
(Applause)
209
679644
5048
(Aplauz)
11:36
Each robot and drone should have
210
684692
2045
Svaki robot i bespilotna letelica
bi trebalo da ima
bi trebalo da ima
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
kriptografsku identifikaciju
utisnutu u fabrici
utisnutu u fabrici
11:41
that can be used to track its movement through public spaces.
212
689620
2923
koja može da se iskoristi za praćenje
njegovog kretanja kroz javne prostore.
njegovog kretanja kroz javne prostore.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
Imamo tablice na kolima,
brojeve na repovima aviona.
brojeve na repovima aviona.
11:47
This is no different.
214
695924
1841
Ovo nije ništa drugačije.
11:49
And every citizen should be able to download an app
215
697765
2012
Svaki građanin bi trebalo
da može da skine aplikaciju
da može da skine aplikaciju
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
koja prikazuje populaciju
bespilotnih letelica i autonomnih vozila
bespilotnih letelica i autonomnih vozila
11:54
moving through public spaces around them,
217
702902
2429
koja se kreće
u javnim prostorima oko njih
u javnim prostorima oko njih
11:57
both right now and historically.
218
705331
2733
i u sadašnjem trenutku
i u prošlosti.
i u prošlosti.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
I gradske vođe bi trebalo da postave
senzore i gradske bespilotne letelice
senzore i gradske bespilotne letelice
12:03
to detect rogue drones,
220
711612
2344
da otkrivaju nezakonite letelice
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
i umesto da šalju same letelice ubice
da ih obore,
da ih obore,
12:09
they should notify humans to their presence.
222
717132
2992
trebalo bi da obaveste ljude
o njihovom prisustvu.
o njihovom prisustvu.
12:12
And in certain very high-security areas,
223
720124
2606
I u određenim oblastima
visoke bezbednosti
visoke bezbednosti
12:14
perhaps civic drones would snare them
224
722730
1909
možda bi gradske bespilotne letelice
mogle da ih uhvate
mogle da ih uhvate
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
i odvuku ih do mesta
za odlaganje bombi.
za odlaganje bombi.
12:19
But notice, this is more an immune system
226
727480
3027
Ali vidite,
ovo je otporniji sistem
ovo je otporniji sistem
12:22
than a weapons system.
227
730507
1321
od sistema oružja.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
To bi nam omogućilo
da iskoristimo upotrebu
da iskoristimo upotrebu
12:26
of autonomous vehicles and drones
229
734420
2032
autonomnih vozila i bespilotnih letelica
12:28
while still preserving our open, civil society.
230
736452
4295
dok u isto vreme čuvamo
naše otvoreno, građansko društvo.
naše otvoreno, građansko društvo.
12:32
We must ban the deployment and development
231
740747
2999
Moramo zabraniti
razmeštanje i razvoj
razmeštanje i razvoj
12:35
of killer robots.
232
743746
1862
robota ubica.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Nemojmo da podlegnemo iskušenju
da automatizujemo rat.
da automatizujemo rat.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Apsolutističke vlade
i kriminalne organizacije
i kriminalne organizacije
12:45
undoubtedly will, but let's not join them.
235
753176
2956
bez sumnje hoće,
ali nemojmo da im se pridružimo.
ali nemojmo da im se pridružimo.
12:48
Autonomous robotic weapons
236
756132
1891
Autonomna robotska oružja
12:50
would concentrate too much power
237
758023
2051
bi koncentrisala suviše moći
12:52
in too few unseen hands,
238
760074
2482
u suviše mali broj
nevidljivih ruku
nevidljivih ruku
12:54
and that would be corrosive to representative government.
239
762556
3255
i to bi bilo nagrizajuće
za predstavnike vlasti.
za predstavnike vlasti.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Osigurajmo da,
barem za demokratije,
barem za demokratije,
13:00
killer robots remain fiction.
241
768772
2604
roboti ubice ostanu fikcija.
13:03
Thank you.
242
771376
1110
Hvala vam.
13:04
(Applause)
243
772486
4565
(Aplauz)
13:09
Thank you. (Applause)
244
777051
4616
Hvala vam.
(Aplauz)
(Aplauz)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com