TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Деніел Суарес: Роботи не повинні виносити смертний вирок
Filmed:
Readability: 5.9
1,946,706 views
Письменник Деніел Суарес любить вигадувати похмурі історії про майбутнє. Проте на сцену TEDGlobal він вийшов, щоб поговорити про реальний розвиток подій, про те, що нам не завадило б знати: збільшення використання автономної роботизованої зброї. Він вважає, що сучасні моделі дронів, автоматизована зброя та розвідувальні системи, оснащені системами штучного інтелекту, зможуть ухвалювати рішення про початок війни без участі людини.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Я пишу науково-фантастичні трилери,
00:15
so if I say "killer robots,"
1
3849
2193
тож коли я кажу “роботи-вбивці”,
00:18
you'd probably think something like this.
2
6042
2361
ви мабуть уявляєте щось таке.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Та я тут не для того, щоб говорити про фантастику.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Я тут, щоб розповісти вам про справжніх роботів-убивць,
00:25
autonomous combat drones.
5
13906
3122
автономних бойових дронів.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Я не маю на увазі безпілотних літаків типу Predator [Хижак] чи Reaper [Жатка],
00:32
which have a human making targeting decisions.
7
20655
3260
де наведення на ціль здійснює людина.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
Я веду мову про повністю автономну роботизовану зброю,
00:39
that make lethal decisions about human beings
9
27044
2654
яка ухвалює смертоносні рішення щодо життя людей
00:41
all on their own.
10
29698
2417
самостійно.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
Насправді, для цього є навіть технічне поняття: смертельна автономність.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Смертельно-автономні роботи-вбивці
00:50
would take many forms -- flying, driving,
13
38971
3069
можуть літати, їздити
00:54
or just lying in wait.
14
42040
2746
або ж просто сидіти в засідці.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
І вони, насправді, дуже швидко стають реальністю.
00:59
These are two automatic sniper stations
16
47895
2484
Перед вами дві автоматичні снайперські установки,
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
розташовані в демілітаризованій зоні між Північною та Південною Кореєю.
01:06
Both of these machines are capable of automatically
18
54516
2171
Обидві ці машини здатні автоматично
01:08
identifying a human target and firing on it,
19
56687
3524
ідентифікувати людину як мішень і відкривати по ній вогонь.
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
Радіус дії машини зліва становить понад кілометр.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
Проте діями обох машин все ще керує людина,
01:20
to make that lethal firing decision,
22
68124
2372
яка й приймає смертоносне рішення,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
хоча це й не технічна вимога. Це вибір.
01:27
And it's that choice that I want to focus on,
24
75909
3093
І саме на цьому виборі я хочу зосередити вашу увагу,
01:31
because as we migrate lethal decision-making
25
79002
2641
адже коли ми передамо прийняття смертоносних рішень
01:33
from humans to software,
26
81643
3109
від людини до комп’ютерної програми,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
ми ризикуємо не тільки вивести людину з війни,
01:40
but also changing our social landscape entirely,
28
88228
3526
але й повністю змінити соціальну картину світу,
01:43
far from the battlefield.
29
91754
2224
того світу, що знаходиться далеко від поля бою.
01:45
That's because the way humans resolve conflict
30
93978
4509
Адже саме способи вирішення конфліктів людьми
01:50
shapes our social landscape.
31
98487
1733
формують соціальну картину світу.
01:52
And this has always been the case, throughout history.
32
100220
2633
І так в історії було завжди.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Наприклад, ось так виглядали найпередовіші види зброї
01:57
in 1400 A.D.
34
105514
2079
в 1400 році нашої ери.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Треба було багато грошей, щоб їх побудувати, а потім утримувати,
02:02
but with these you could dominate the populace,
36
110737
3240
проте з їх допомогою можна було легко управляти народом,
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
і це підтверджує розподіл політичної сили в феодальному суспільстві.
02:09
Power was focused at the very top.
38
117866
2687
Влада зосереджувалась на самій верхівці.
02:12
And what changed? Technological innovation.
39
120553
3528
Що ж змінилось? З’явились технологічні інновації.
02:16
Gunpowder, cannon.
40
124081
1871
Порох, гармати.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
І вже дуже скоро обладунки та замки вийшли з ужитку,
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
і те, кого ти привів на поле бою, стало менш важливим
02:24
versus how many people you brought to the battlefield.
43
132302
3779
проти того, скільки людей прийшло на поле бою.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
Коли чисельність армії зросла, з’явилось поняття нація-держава
02:31
as a political and logistical requirement of defense.
45
139719
3680
як складова політичного та тилового захисту.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
Лідери були змушені щораз більше покладатись на свій народ
02:37
they began to share power.
47
145775
1833
і тому стали ділитись владою.
02:39
Representative government began to form.
48
147608
2599
Так почала формуватись представницька влада.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
Тож, як бачите, способи вирішення конфліктів
02:45
shape our social landscape.
50
153495
3304
формують соціальну картину світу.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Автономна роботизована зброя є одним із таких способів,
02:52
except that, by requiring very few people to go to war,
52
160863
5168
проте використовуючи його, не потрібно багато військових,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
тож є ризик, що влада зосередиться в руках кількох людей,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
а це може змінити п’ятсотлітній напрям руху до демократії.
03:09
Now, I think, knowing this,
55
177386
1757
Я думаю, що знаючи це,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
ми можемо здійснити рішучі кроки для збереження наших інститутів демократії
03:15
to do what humans do best, which is adapt.
57
183495
3979
і зробити те, що у людей виходить найкраще – адаптуватися.
03:19
But time is a factor.
58
187474
2005
Проте у нас не так багато часу.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
70 країн нині розробляють власних
03:24
combat drones of their own,
60
192330
2157
дистанційно-пілотованих бойових дронів.
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
І, як ви розумієте, дистанційно-пілотовані бойові дрони
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
стануть попередниками автономної роботизованої зброї.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
І тому, як тільки ви застосували дистанційно-пілотовані дрони,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
з’являється три вагомі причини передати ухвалення рішення
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
від людини збройній платформі.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
Першою з них є потік відеозображення, який надають безпілотні літаки.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
Для прикладу, в 2004 році весь американський флот дронів зібрав
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
в загальному підсумку 71 годину відеоспостереження для аналізу.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
До 2011 року це число зросло до 300 000 годин,
04:03
outstripping human ability to review it all,
70
231226
3149
хоча опрацювати таку кількість людині не під силу.
04:06
but even that number is about to go up drastically.
71
234375
3664
Проте і це число різко зросте найближчим часом.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
Такі програми Пентагону як Gorgon Stare [Погляд Горгони] та Argus [Арґус]
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
мають на меті встановити 65 незалежно працюючих камер
04:15
on each drone platform,
74
243778
2038
на кожній платформі для дронів.
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
Опрацювати таку кількість відеоінформації людині точно не вдасться.
04:21
And that means visual intelligence software will need
76
249119
2160
А це означає, що знадобиться програмне забезпечення відеорозвідки,
04:23
to scan it for items of interest.
77
251279
4048
яке б відстежувало потрібну інформацію.
04:27
And that means very soon
78
255327
1348
Тож, вже дуже скоро
04:28
drones will tell humans what to look at,
79
256675
2747
саме дрони вказуватимуть людині, на що дивитись,
04:31
not the other way around.
80
259422
2497
а не навпаки.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Проте є і друга серйозна причина,
04:36
decision-making away from humans and onto machines,
82
264392
3383
яка спонукає передати прийняття рішення від людини машині,
04:39
and that's electromagnetic jamming,
83
267775
2872
і це електромагнітні перешкоди,
04:42
severing the connection between the drone
84
270647
2236
що розривають зв’язок між дроном
04:44
and its operator.
85
272883
2814
та його оператором.
04:47
Now we saw an example of this in 2011
86
275697
2618
Ми бачили приклад цього в 2011 році,
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
коли американський безпілотний літак RQ -170 Sentinel [Вартовий]
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
трохи збився з курсу над Іраном через підміну хакерами даних GPS.
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
Кожен дистанційно-пілотований дрон є вразливим до такого типу атаки,
05:02
and that means drones
90
290692
2052
тож, це означає,
05:04
will have to shoulder more decision-making.
91
292744
3620
що дрони мусять взяти на себе більше відповідальності за прийняття рішень.
05:08
They'll know their mission objective,
92
296364
3043
Знаючи свою місію,
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
вони зможуть діяти відповідно до нових обставин без людського втручання.
05:16
They'll ignore external radio signals
94
304252
2581
Вони ігноруватимуть зовнішні радіосигнали
05:18
and send very few of their own.
95
306833
2330
і надсилатимуть дуже мало своїх.
05:21
Which brings us to, really, the third
96
309163
2006
Саме це підвело нас до третьої
05:23
and most powerful incentive pushing decision-making
97
311169
3862
найвагомішої причини передачі прийняття рішення
05:27
away from humans and onto weapons:
98
315031
3342
від людини до машини:
05:30
plausible deniability.
99
318373
3293
вагоме заперечення.
05:33
Now we live in a global economy.
100
321666
2887
Ми живемо в умовах глобальної економіки.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
Високотехнологічне виробництво здійснюється на більшості континентів.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
За допомогою кібершпигунства
05:43
to parts unknown,
103
331801
1886
кудись зникають найновіші розробки,
05:45
and in that environment, it is very likely
104
333687
2014
а в таких умовах украй імовірно,
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
що вдалий дизайн дрона, зробленого на підпільній фабриці,
05:52
proliferate in the gray market.
106
340435
2170
швидко заполонить чорний ринок.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
У такій ситуації, розбираючи завали
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
після атаки дрона-самогубця, буде важко з’ясувати,
06:00
who sent that weapon.
109
348025
4400
хто його відправив.
06:04
This raises the very real possibility
110
352425
2800
А це підвищує цілком реальну можливість
06:07
of anonymous war.
111
355225
2935
анонімної війни.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Це може повністю змінити геополітичний баланс,
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
оскільки стане неможливим відкрити вогонь
06:16
against an attacker, and that could shift the balance
114
364265
2848
по агресору, що змістить пріорітети
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
в 21 столітті від захисту до нападу.
06:22
It could make military action a viable option
116
370877
3124
Таким чином, військові дії стануть цілком доступними
06:26
not just for small nations,
117
374001
2288
не тільки для малих народів,
06:28
but criminal organizations, private enterprise,
118
376289
2545
а й для кримінальних та приватних організацій
06:30
even powerful individuals.
119
378834
2479
чи навіть для впливових людей.
06:33
It could create a landscape of rival warlords
120
381313
3328
А це, своєю чергою, тільки сприятиме конкуруючим воєначальникам,
06:36
undermining rule of law and civil society.
121
384641
3680
підриваючи верховенство закону і громадянського суспільства.
06:40
Now if responsibility and transparency
122
388321
3616
Відповідальність та прозорість
06:43
are two of the cornerstones of representative government,
123
391937
2384
є двома наріжними каменями представницької влади,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
проте автономна роботизована зброя може підірвати обидва з них.
06:50
Now you might be thinking that
125
398641
1546
Ви, мабуть, думаєте,
06:52
citizens of high-tech nations
126
400187
2246
що жителі з технологічно розвинутих країн
06:54
would have the advantage in any robotic war,
127
402433
2703
будуть мати перевагу в роботизованій війні,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
що жителі цих країн будуть менш вразливими
07:00
particularly against developing nations.
129
408769
4288
порівняно з жителями країн, що розвиваються.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Та на мою думку, все буде якраз навпаки.
07:08
I think citizens of high-tech societies
131
416581
2251
Я вважаю, що жителі технологічно розвинутих країн
07:10
are more vulnerable to robotic weapons,
132
418832
3729
є вразливішими до роботизованої зброї
07:14
and the reason can be summed up in one word: data.
133
422561
4465
і причину можна підсумувати одним словом: інформація.
07:19
Data powers high-tech societies.
134
427026
3481
Інформація – це рушій технологічно розвинутих країн.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Мобільна служба геолокації, метадані операторів зв’язку,
07:25
social media, email, text, financial transaction data,
136
433697
3472
соціальні мережі, електронна пошта, текстові повідомлення, дані про фінансові операції
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
та перевезення – це надзвичайно великі обсяги інформації
07:32
on the movements and social interactions of people.
138
440701
3373
про переміщення та взаємодію людей в реальному часі.
07:36
In short, we are more visible to machines
139
444074
3775
Іншими словами, сьогодні машини стежать за нами так,
07:39
than any people in history,
140
447849
2242
як ніколи раніше за всю історію людства,
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
що чудово відповідає потребам прицілювання автономної зброї.
07:47
What you're looking at here
142
455707
1738
Те, що ви зараз тут бачите -
07:49
is a link analysis map of a social group.
143
457445
3246
це графічний аналіз зв’язків соціальної групи людей.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Лінії позначають соціальний зв’язок між людьми.
07:56
And these types of maps can be automatically generated
145
464325
2880
Подібні графіки можна автоматично побудувати
07:59
based on the data trail modern people leave behind.
146
467205
4715
на основі інформаційного сліду, що його залишають сучасні люди.
08:03
Now it's typically used to market goods and services
147
471920
2477
Зазвичай вони використовуються для продажу товарів та послуг
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
цільовому населенню, проте ця технологія має подвійне призначення,
08:10
because targeting is used in another context.
149
478813
3360
оскільки її можна використовувати і для інших цілей.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Зверніть увагу, що деякі особи виділяються.
08:16
These are the hubs of social networks.
151
484733
3280
Ці люди – центри уваги в соціальних мережах.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
Це організатори, творці громадської думки, лідери.
08:23
and these people also can be automatically identified
153
491603
2682
Усіх їх можна автоматично ідентифікувати
08:26
from their communication patterns.
154
494285
2382
за їхньою манерою спілкування.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Тож, якщо ви маркетолог, ви можете орієнтуватись на них,
08:30
with product samples, try to spread your brand
156
498813
2543
виготовляючи зразки своєї продукції, а також поширювати свою марку
08:33
through their social group.
157
501356
2829
через їхню соціальну групу.
08:36
But if you're a repressive government
158
504185
1953
Проте якщо ви репресивний уряд,
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
що розшукує політичного ворога, ви навпаки захочете їх усунути,
08:42
eliminate them, disrupt their social group,
160
510948
2760
позбутись, підірвати засади їхньої соціальної групи,
08:45
and those who remain behind lose social cohesion
161
513708
3169
і ті, хто залишиться за її межами втратять соціальну єдність
08:48
and organization.
162
516877
2621
та організацію.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
У світі, де швидко поширюється дешева роботизована зброя,
08:54
borders would offer very little protection
164
522822
2635
кордони не стануть на захист
08:57
to critics of distant governments
165
525457
1946
критиків віддалених урядів
08:59
or trans-national criminal organizations.
166
527403
3646
і транснаціональних кримінальних організацій.
09:03
Popular movements agitating for change
167
531049
3493
Народні рухи, що агітуватимуть за зміни,
09:06
could be detected early and their leaders eliminated
168
534542
3609
виявлять ще на ранніх стадіях, а їхніх лідерів усунуть
09:10
before their ideas achieve critical mass.
169
538151
2911
ще до того, як їхні ідеї досягнуть критичної маси.
09:13
And ideas achieving critical mass
170
541062
2591
Проте саме ідеї, які досягли критичної маси,
09:15
is what political activism in popular government is all about.
171
543653
3936
становлять основу політичного руху в демократичному суспільстві.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Анонімна смертоносна зброя може перехилити шальки терезів
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
на користь смертоносних дій для різних конкуруючих угрупувань
09:27
And this would put a chill on free speech
174
555368
3734
Це також заморозить свободу слова
09:31
and popular political action, the very heart of democracy.
175
559102
5308
та громадську політичну діяльність, тобто саме серце демократії.
09:36
And this is why we need an international treaty
176
564410
2914
Саме тому необхідно створити міжнародний договір
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
щодо використання роботизованої зброї, а також глобальної заборони на
09:42
on the development and deployment of killer robots.
178
570864
3908
створення та поширення роботів-вбивць.
09:46
Now we already have international treaties
179
574772
3254
Зараз ми вже маємо міжнародні договори
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
щодо використання ядерної та біологічної зброї, і хоч вони не є досконалі,
09:53
these have largely worked.
181
581412
2288
та все ж в основному вони працюють.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Роботизована зброя може бути така ж небезпечна,
09:59
because they will almost certainly be used,
183
587468
3288
тому що її точно використовуватимуть,
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
а також вона може стати руйнівною для наших інститутів демократії.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
У листопаді 2012 року Міністерство оборони США
10:11
issued a directive requiring
186
599251
2458
видало директиву, яка вимагає
10:13
a human being be present in all lethal decisions.
187
601709
4519
присутності людини при ухваленні всіх смертоносних рішень.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Ця директива також тимчасово забороняє використання автономної зброї збройними силами США,
10:23
but that directive needs to be made permanent.
189
611004
3753
проте це розпорядження має стати постійним.
10:26
And it could set the stage for global action.
190
614757
4376
Також це може послужити поштовхом для міжнародних дій.
10:31
Because we need an international legal framework
191
619133
3845
Адже ми потребуємо встановлення міжнародних правових рамок
10:34
for robotic weapons.
192
622978
2138
щодо використання роботизованої зброї.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
І ми потребуємо цього тепер, поки на нас не напали,
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
або ж не стався терористичний акт, який би змусив держави у всьому світі
10:43
to rush to adopt these weapons
195
631196
1924
поспішно використовувати цю зброю,
10:45
before thinking through the consequences.
196
633120
3771
не задумуючись про наслідки.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Автономна роботизована зброя дає можливість концентрувати занадто багато сили
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
в руках кількох людей, а це загрожує демократії.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Проте не зрозумійте мене неправильно - на мою думку, є сотні
11:00
of great uses for unarmed civilian drones:
200
648841
2618
віріантів використання цивільних неозброєних дронів:
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
моніторинг довкілля, пошуково-рятувальні роботи, логістика.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
Маючи міжнародній договір щодо використання роботизованої зброї,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
як ми зможемо користуватись перевагами автономних дронів
11:13
and vehicles while still protecting ourselves
204
661811
2648
та машин і водночас захищати себе
11:16
against illegal robotic weapons?
205
664459
3980
від нелегальної роботизованої зброї?
11:20
I think the secret will be transparency.
206
668439
4741
Я думаю, що тут нам допомогла б політика прозорості.
11:25
No robot should have an expectation of privacy
207
673180
3013
Робот не повинен мати право на анонімність
11:28
in a public place.
208
676193
3451
в громадському місці.
11:31
(Applause)
209
679644
5048
(Оплески)
11:36
Each robot and drone should have
210
684692
2045
Кожен робот та безпілотний літак мусить мати
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
криптографічне маркування, поставлене ще на заводі,
11:41
that can be used to track its movement through public spaces.
212
689620
2923
яке можна було б використовувати, щоб відстежити його рух громадськими місцями.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
Номерні знаки мають машини та літаки.
11:47
This is no different.
214
695924
1841
Тут теж не повинно бути винятків.
11:49
And every citizen should be able to download an app
215
697765
2012
Кожен житель мусить мати змогу завантажити додаток,
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
який би показував йому рух всіх дронів та автономних машин
11:54
moving through public spaces around them,
217
702902
2429
громадськими місцями
11:57
both right now and historically.
218
705331
2733
в реальному часі та в минулому.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
Громадські діячі повинні розмістити сенсорні датчики і мати в своєму розпорядженні цивільні дрони
12:03
to detect rogue drones,
220
711612
2344
для виявлення ворожих дронів,
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
проте замість того, щоб відправляти дронів-вбивць для їх знешкодження,
12:09
they should notify humans to their presence.
222
717132
2992
попереджати людей про їхню присутність.
12:12
And in certain very high-security areas,
223
720124
2606
І тільки в зонах підвищеної безпеки
12:14
perhaps civic drones would snare them
224
722730
1909
допускається, щоб цивільні дрони виловлювали їх
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
і відвозили на звалище для знешкодження.
12:19
But notice, this is more an immune system
226
727480
3027
Проте зверніть увагу, що це більше схоже на імунну систему,
12:22
than a weapons system.
227
730507
1321
ніж на збройну систему.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Це дозволить нам отримувати певну користь
12:26
of autonomous vehicles and drones
229
734420
2032
від автономних машин та дронів
12:28
while still preserving our open, civil society.
230
736452
4295
і водночас зберегти наше громадянське суспільство відкритим.
12:32
We must ban the deployment and development
231
740747
2999
Нам варто заборонити виробництво та розвиток
12:35
of killer robots.
232
743746
1862
роботів-вбивць.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Не піддаваймося спокусі зробити війну автоматизованою.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Без сумніву, диктаторські уряди та кримінальні організації
12:45
undoubtedly will, but let's not join them.
235
753176
2956
піддадуться, проте не приєднуймося до них.
12:48
Autonomous robotic weapons
236
756132
1891
Автономна роботизована зброя
12:50
would concentrate too much power
237
758023
2051
сконцентрує занадто багато сили
12:52
in too few unseen hands,
238
760074
2482
у кількох невидимих руках,
12:54
and that would be corrosive to representative government.
239
762556
3255
а це матиме руйнівний вплив на представницьку владу.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Постараймося, щоб хоча б у демократичному суспільстві
13:00
killer robots remain fiction.
241
768772
2604
роботи-вбивці залишались вигадкою.
13:03
Thank you.
242
771376
1110
Дякую.
13:04
(Applause)
243
772486
4565
(Оплески)
13:09
Thank you. (Applause)
244
777051
4616
Дякую. (Оплески)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com