TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
Дэниэл Суарес: Смертный приговор не должен выноситься роботами
Filmed:
Readability: 5.9
1,946,706 views
Как писатель, Дэниэл Суарес любит сочинять мрачные истории о будущем. Но на сцену TEDGlobal он вышел, чтобы поговорить о том, что происходит в реальной жизни, и о чём всем нам не мешает больше знать: увеличение использования автономного роботизированного оружия. По его мнению, современные модели беспилотных боевых самолётов, автоматическое оружие и разведывательные системы, оснащённые элементами искусственного интеллекта, могут принимать решения о начале военных действий самостоятельно, без участия людей.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
Я пишу научно-фантастические триллеры,
00:15
so if I say "killer robots,"
1
3849
2193
поэтому когда я говорю
о «роботах-убийцах»,
о «роботах-убийцах»,
00:18
you'd probably think something like this.
2
6042
2361
вам, вероятно, представляется
что-то вот в таком роде.
что-то вот в таком роде.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
Но сегодня речь пойдёт не о фантастике.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
Я хочу рассказать
о вполне реальных роботах-убийцах:
о вполне реальных роботах-убийцах:
00:25
autonomous combat drones.
5
13906
3122
беспилотных боевых самолётах.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
Не о дронах
типа «Predator» или «Reaper»,
типа «Predator» или «Reaper»,
00:32
which have a human making targeting decisions.
7
20655
3260
где наведение на цель
контролируется человеком,
контролируется человеком,
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
а о полностью автономном
роботизированном оружии,
роботизированном оружии,
00:39
that make lethal decisions about human beings
9
27044
2654
самостоятельно принимающем
смертоносные решения
смертоносные решения
00:41
all on their own.
10
29698
2417
в отношении людей.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
Для этого даже есть специальный термин:
смертельная автономия.
смертельная автономия.
00:48
Now, lethally autonomous killer robots
12
36115
2856
Смертельно автономные роботы-убийцы
00:50
would take many forms -- flying, driving,
13
38971
3069
могут управлять самолётами,
водить автомобили
водить автомобили
00:54
or just lying in wait.
14
42040
2746
или просто сидеть в засаде.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
Они стремительно входят
в нашу действительность.
в нашу действительность.
00:59
These are two automatic sniper stations
16
47895
2484
Перед вами две автоматические
снайперские установки,
снайперские установки,
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
установленные в демилитаризованной зоне
между Северной и Южной Кореей.
между Северной и Южной Кореей.
01:06
Both of these machines are capable of automatically
18
54516
2171
Обе эти машины способны
автоматически определять
автоматически определять
01:08
identifying a human target and firing on it,
19
56687
3524
человеческую цель
и открывать по ней огонь.
и открывать по ней огонь.
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
Радиус действия левой установки
составляет более километра.
составляет более километра.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
Здесь в обоих случаях
всё ещё задействован человек,
всё ещё задействован человек,
01:20
to make that lethal firing decision,
22
68124
2372
принимающий решение
о стрельбе на поражение,
о стрельбе на поражение,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
но это не часть технической спецификации.
Это выбор.
Это выбор.
01:27
And it's that choice that I want to focus on,
24
75909
3093
И я хочу сегодня
поговорить об этом выборе,
поговорить об этом выборе,
01:31
because as we migrate lethal decision-making
25
79002
2641
потому что чем чаще
мы передаём принятие
мы передаём принятие
01:33
from humans to software,
26
81643
3109
смертоносных решений
от человека к компьютерной программе,
от человека к компьютерной программе,
01:36
we risk not only taking the humanity out of war,
27
84752
3476
тем больше мы рискуем не только
лишить войну человеческого лица,
лишить войну человеческого лица,
01:40
but also changing our social landscape entirely,
28
88228
3526
но и полностью изменить
социальную картину мира.
социальную картину мира.
01:43
far from the battlefield.
29
91754
2224
Того мира, что находится
вдали от поля боя.
вдали от поля боя.
01:45
That's because the way humans resolve conflict
30
93978
4509
Потому что методы разрешения конфликтов
01:50
shapes our social landscape.
31
98487
1733
формируют социальную картину мира.
01:52
And this has always been the case, throughout history.
32
100220
2633
И так было в истории всегда.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
Например, вот так выглядели
самые совершенные
самые совершенные
01:57
in 1400 A.D.
34
105514
2079
виды оружия в 1400 году нашей эры.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
Они были очень дорогостоящи
в производстве и обслуживании,
в производстве и обслуживании,
02:02
but with these you could dominate the populace,
36
110737
3240
но с их помощью
было легко управлять массами,
было легко управлять массами,
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
и расклад политических сил в феодальном обществе —
лучшее тому доказательство.
лучшее тому доказательство.
02:09
Power was focused at the very top.
38
117866
2687
Власть была сосредоточена
у самой верхушки.
у самой верхушки.
02:12
And what changed? Technological innovation.
39
120553
3528
Что же изменилось?
Появились новые технологии.
Появились новые технологии.
02:16
Gunpowder, cannon.
40
124081
1871
Порох, пушки.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
Доспехи и замки быстро устарели,
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
и стало уже не так важно, кто пришёл
сражаться на твоей стороне,
сражаться на твоей стороне,
02:24
versus how many people you brought to the battlefield.
43
132302
3779
а важно, сколько человек
вышло на поле сражения.
вышло на поле сражения.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
Численность армий росла,
и возникло понятие государства-нации,
и возникло понятие государства-нации,
02:31
as a political and logistical requirement of defense.
45
139719
3680
как необходимой политической
и тыловой оборонной составляющей.
и тыловой оборонной составляющей.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
И поскольку главам государств
всё больше приходилось
всё больше приходилось
02:37
they began to share power.
47
145775
1833
полагаться на свой народ,
они стали делиться властью.
они стали делиться властью.
02:39
Representative government began to form.
48
147608
2599
Появилось понятие
представительного правления.
представительного правления.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
Таким образом,
методы разрешения конфликтов
методы разрешения конфликтов
02:45
shape our social landscape.
50
153495
3304
формируют социальную картину нашего мира.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
Автономное роботизированное оружие —
один из таких методов.
один из таких методов.
02:52
except that, by requiring very few people to go to war,
52
160863
5168
Но есть одно «но». Для его использования
не нужно много военных,
не нужно много военных,
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
а значит есть риск снова сосредоточить
власть в руках немногих,
власть в руках немногих,
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
повернув тем самым вспять
пять веков движения к демократии.
пять веков движения к демократии.
03:09
Now, I think, knowing this,
55
177386
1757
Если мы отдадим себе в этом отчёт,
мы сможем предпринять
мы сможем предпринять
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
решительные действия по защите
наших демократических ценностей
наших демократических ценностей
03:15
to do what humans do best, which is adapt.
57
183495
3979
и адаптироваться, что у людей
всегда получалось очень хорошо.
всегда получалось очень хорошо.
03:19
But time is a factor.
58
187474
2005
Но у нас не так много времени.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
Сегодня 70 государств
занимаются разработкой собственных
занимаются разработкой собственных
03:24
combat drones of their own,
60
192330
2157
дистанционно-пилотируемых боевых дронов.
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
Такие дистанционно-пилотируемые
боевые дроны —
боевые дроны —
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
предвестники автономного
роботизированного оружия.
роботизированного оружия.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
Как только эти дроны вступают в строй,
03:36
there are three powerful factors pushing decision-making
64
204319
3384
появляется три серьёзных основания
передать принятие решений
передать принятие решений
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
от человека непосредственно
на оружейную платформу.
на оружейную платформу.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
Во-первых, поток видеоинформации,
производимой дронами.
производимой дронами.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
В 2004 году, например,
весь парк американских дронов собрал
весь парк американских дронов собрал
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
в общей сложности
71 час видеонаблюдений для анализа.
71 час видеонаблюдений для анализа.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
К 2011 году это число
выросло до 300 000 часов.
выросло до 300 000 часов.
04:03
outstripping human ability to review it all,
70
231226
3149
Обработать столько информации
людям не под силу.
людям не под силу.
04:06
but even that number is about to go up drastically.
71
234375
3664
Но и это число кардинально вырастет
в ближайшее время.
в ближайшее время.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
Такие программы Пентагона,
как «Взгляд Горгоны» и «Аргус»,
как «Взгляд Горгоны» и «Аргус»,
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
нацелены на установку на каждом дроне
04:15
on each drone platform,
74
243778
2038
до 65 независимо работающих видеокамер.
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
Людям не под силу будет
обработать столько видеоданных.
обработать столько видеоданных.
04:21
And that means visual intelligence software will need
76
249119
2160
Понадобится
программное обеспечение видеоразведки
программное обеспечение видеоразведки
04:23
to scan it for items of interest.
77
251279
4048
для отслеживания интересующей информации.
04:27
And that means very soon
78
255327
1348
А значит, что очень скоро дроны начнут
04:28
drones will tell humans what to look at,
79
256675
2747
указывать людям,
на что обращать внимание,
на что обращать внимание,
04:31
not the other way around.
80
259422
2497
а не наоборот.
04:33
But there's a second powerful incentive pushing
81
261919
2473
Но есть и вторая серьёзная
причина для передачи
причина для передачи
04:36
decision-making away from humans and onto machines,
82
264392
3383
принятия решений от человека к машине.
04:39
and that's electromagnetic jamming,
83
267775
2872
Она связана
с электромагнитными помехами,
с электромагнитными помехами,
04:42
severing the connection between the drone
84
270647
2236
которые обрывают связь между дроном
04:44
and its operator.
85
272883
2814
и его оператором.
04:47
Now we saw an example of this in 2011
86
275697
2618
Мы видели пример тому в 2011 году,
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
когда американский дрон
«RQ-170 Sentinel» растерялся
«RQ-170 Sentinel» растерялся
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
в иранском воздушном пространстве
из-за спуфинг-атаки на GPS.
из-за спуфинг-атаки на GPS.
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
Любой дистанционно-управляемый дрон
может быть подвержен
может быть подвержен
05:02
and that means drones
90
290692
2052
атакам подобного типа,
а значит дроны должны будут
а значит дроны должны будут
05:04
will have to shoulder more decision-making.
91
292744
3620
брать на себя больше работы
по принятию решений.
по принятию решений.
05:08
They'll know their mission objective,
92
296364
3043
Понимая стоящую перед ними задачу,
они должны будут
они должны будут
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
реагировать на изменившуюся ситуацию
без участия человека.
без участия человека.
05:16
They'll ignore external radio signals
94
304252
2581
Они должны будут игнорировать
внешние радиосигналы
внешние радиосигналы
05:18
and send very few of their own.
95
306833
2330
и посылать минимальное количество
собственных сигналов.
собственных сигналов.
05:21
Which brings us to, really, the third
96
309163
2006
Что приводит нас к третьей,
самой серьёзной причине
самой серьёзной причине
05:23
and most powerful incentive pushing decision-making
97
311169
3862
для передачи принятия решений
05:27
away from humans and onto weapons:
98
315031
3342
от человека к оружию:
05:30
plausible deniability.
99
318373
3293
убедительное отрицание.
05:33
Now we live in a global economy.
100
321666
2887
Мы сегодня живём
в условиях мировой экономики.
в условиях мировой экономики.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
Производства на основе высоких технологий
развиты на большинстве континентов.
развиты на большинстве континентов.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
При помощи кибершпионажа
самые новейшие разработки
самые новейшие разработки
05:43
to parts unknown,
103
331801
1886
исчезают в никуда,
05:45
and in that environment, it is very likely
104
333687
2014
и с таким положением дел
очень может оказаться,
очень может оказаться,
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
что украденный удачный дизайн дрона,
сделанного на подпольной фабрике,
сделанного на подпольной фабрике,
05:52
proliferate in the gray market.
106
340435
2170
заполонит серый рынок.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
И в таком случае, разбирая завалы,
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
оставленные после атаки дрона-самоубийцы,
06:00
who sent that weapon.
109
348025
4400
трудно будет сказать, кем он был послан.
06:04
This raises the very real possibility
110
352425
2800
Тут возникает реальная угроза
06:07
of anonymous war.
111
355225
2935
анонимной войны.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
Это может перевернуть
геополитический баланс с ног на голову,
геополитический баланс с ног на голову,
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
усложнить государствам открытие
ответного огня против агрессора,
ответного огня против агрессора,
06:16
against an attacker, and that could shift the balance
114
364265
2848
и в 21-ом веке сместить баланс
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
от обороны в сторону нападения.
06:22
It could make military action a viable option
116
370877
3124
Таким образом,
война становится доступной
война становится доступной
06:26
not just for small nations,
117
374001
2288
не только для небольших государств,
06:28
but criminal organizations, private enterprise,
118
376289
2545
но и для криминальных структур,
частных предпринимателей,
частных предпринимателей,
06:30
even powerful individuals.
119
378834
2479
или для просто очень влиятельных людей.
06:33
It could create a landscape of rival warlords
120
381313
3328
Такая ситуация может
открыть дорогу воинствующим боевикам,
открыть дорогу воинствующим боевикам,
06:36
undermining rule of law and civil society.
121
384641
3680
подрывающим устои закона
и гражданского общества.
и гражданского общества.
06:40
Now if responsibility and transparency
122
388321
3616
Сознание ответственности и открытость —
06:43
are two of the cornerstones of representative government,
123
391937
2384
два краеугольных камня
представительного правления.
представительного правления.
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
Но оба могут быть подорваны с появлением
автономного роботизированного оружия.
автономного роботизированного оружия.
06:50
Now you might be thinking that
125
398641
1546
Вам может показаться, что жители стран
06:52
citizens of high-tech nations
126
400187
2246
с хорошо развитой индустрией
высоких технологий
высоких технологий
06:54
would have the advantage in any robotic war,
127
402433
2703
будут иметь преимущество
в роботизированной войне,
в роботизированной войне,
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
что они будут менее уязвимы,
07:00
particularly against developing nations.
129
408769
4288
особенно по сравнению
с развивающимися странами.
с развивающимися странами.
07:05
But I think the truth is the exact opposite.
130
413057
3524
Но мне кажется, что справедливо
как раз обратное.
как раз обратное.
07:08
I think citizens of high-tech societies
131
416581
2251
Общества с наиболее развитыми
высокими технологиями
высокими технологиями
07:10
are more vulnerable to robotic weapons,
132
418832
3729
и являются наиболее уязвимыми
для роботизированного оружия.
для роботизированного оружия.
07:14
and the reason can be summed up in one word: data.
133
422561
4465
Причину можно суммировать один словом:
информация.
информация.
07:19
Data powers high-tech societies.
134
427026
3481
Информация — двигатель любого
высокотехнологичного общества.
высокотехнологичного общества.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
Мобильные службы геолокации,
метаданные операторов связи,
метаданные операторов связи,
07:25
social media, email, text, financial transaction data,
136
433697
3472
социальные сети, электронная почта,
текстовые сообщения,
текстовые сообщения,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
данные о финансовых операциях
и перевозках — изобилие информации
и перевозках — изобилие информации
07:32
on the movements and social interactions of people.
138
440701
3373
о взаимодействии и перемещении людей
в реальном времени.
в реальном времени.
07:36
In short, we are more visible to machines
139
444074
3775
Сегодня машины знают про нас всё.
07:39
than any people in history,
140
447849
2242
Значительно больше, чем когда-либо
в истории человечества.
в истории человечества.
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
И это идеально отвечает
прицельным нуждам автономного оружия.
прицельным нуждам автономного оружия.
07:47
What you're looking at here
142
455707
1738
Перед вами графический анализ связей
07:49
is a link analysis map of a social group.
143
457445
3246
некой социальной группы людей.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
Линии обозначают
социальные связи между людьми.
социальные связи между людьми.
07:56
And these types of maps can be automatically generated
145
464325
2880
Такие графики можно
автоматически построить,
автоматически построить,
07:59
based on the data trail modern people leave behind.
146
467205
4715
используя информационный след,
оставляемый современными людьми.
оставляемый современными людьми.
08:03
Now it's typically used to market goods and services
147
471920
2477
Обычно эти данные используются
для продажи товаров и услуг
для продажи товаров и услуг
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
целевой аудитории, но это
технология двойного назначения,
технология двойного назначения,
08:10
because targeting is used in another context.
149
478813
3360
потому что существует
и другое определение цели.
и другое определение цели.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
Обратите внимание, что некоторые точки
выделены на графике.
выделены на графике.
08:16
These are the hubs of social networks.
151
484733
3280
Эти люди —
центры своих социальных сетей.
центры своих социальных сетей.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
Эти люди — организаторы,
лидеры общественного мнения.
лидеры общественного мнения.
08:23
and these people also can be automatically identified
153
491603
2682
Их можно автоматически выделить
08:26
from their communication patterns.
154
494285
2382
по их манере общения.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
Если вы маркетолог, вы будете стараться
привлечь их внимание,
привлечь их внимание,
08:30
with product samples, try to spread your brand
156
498813
2543
давая им образцы вашей продукции
и тем самым продвигая
и тем самым продвигая
08:33
through their social group.
157
501356
2829
ваш бренд внутри их социальной группы.
08:36
But if you're a repressive government
158
504185
1953
Но если вы —
репрессивный режим, занятый поиском
репрессивный режим, занятый поиском
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
политических врагов,
вы будете заинтересованы в том,
вы будете заинтересованы в том,
08:42
eliminate them, disrupt their social group,
160
510948
2760
чтобы убрать их, избавиться от них,
нарушить их социальную группировку,
нарушить их социальную группировку,
08:45
and those who remain behind lose social cohesion
161
513708
3169
таким образом,
что оставшиеся члены группы
что оставшиеся члены группы
08:48
and organization.
162
516877
2621
потеряют единство и организацию.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
В мире, где дешёвое
роботизированное оружие
роботизированное оружие
08:54
borders would offer very little protection
164
522822
2635
будет широко распространено,
границы не смогут защитить
границы не смогут защитить
08:57
to critics of distant governments
165
525457
1946
критиков удалённых правительств
08:59
or trans-national criminal organizations.
166
527403
3646
или транснациональных
преступных организаций.
преступных организаций.
09:03
Popular movements agitating for change
167
531049
3493
Народные движения, требующие перемен,
09:06
could be detected early and their leaders eliminated
168
534542
3609
можно будет подавить на ранних стадиях,
избавиться от их лидеров,
избавиться от их лидеров,
09:10
before their ideas achieve critical mass.
169
538151
2911
прежде чем их идеи
достигнут критической массы.
достигнут критической массы.
09:13
And ideas achieving critical mass
170
541062
2591
Достижение идеями критической массы —
09:15
is what political activism in popular government is all about.
171
543653
3936
основная цель любого политического
движения в демократическом обществе.
движения в демократическом обществе.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
Анонимное смертоносное оружие может
облегчить выбор в пользу смертоносной силы
облегчить выбор в пользу смертоносной силы
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
самыми разными
соперничающими группировками.
соперничающими группировками.
09:27
And this would put a chill on free speech
174
555368
3734
А это заморозит
свободу слова и гражданскую
свободу слова и гражданскую
09:31
and popular political action, the very heart of democracy.
175
559102
5308
политическую активность —
самое сердце демократии.
самое сердце демократии.
09:36
And this is why we need an international treaty
176
564410
2914
Именно поэтому нам необходимо
международное законодательство
международное законодательство
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
о применении роботизированного оружия, а также
09:42
on the development and deployment of killer robots.
178
570864
3908
повсеместный запрет на производство
и распространение роботов-убийц.
и распространение роботов-убийц.
09:46
Now we already have international treaties
179
574772
3254
У нас уже есть
международные договоры об использовании
международные договоры об использовании
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
ядерного и биологического оружия.
Они могут быть несовершенны,
Они могут быть несовершенны,
09:53
these have largely worked.
181
581412
2288
но они в большинстве своём работают.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
Роботизированное оружие
настолько же опасно,
настолько же опасно,
09:59
because they will almost certainly be used,
183
587468
3288
потому что его будут использовать,
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
и последствия будут разрушительны
для наших демократических устоев.
для наших демократических устоев.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
В ноябре 2012 года
министерство обороны США
министерство обороны США
10:11
issued a directive requiring
186
599251
2458
выпустило распоряжение, требующее
10:13
a human being be present in all lethal decisions.
187
601709
4519
обязательного присутствия человека
при принятии любых смертоносных решений.
при принятии любых смертоносных решений.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
Этот указ ввёл временный запрет
на использование автономного оружия
вооружёнными силами США,
на использование автономного оружия
вооружёнными силами США,
10:23
but that directive needs to be made permanent.
189
611004
3753
но запрет этот должен стать постоянным.
10:26
And it could set the stage for global action.
190
614757
4376
И он должен послужить толчком
для действий на международной арене.
для действий на международной арене.
10:31
Because we need an international legal framework
191
619133
3845
Потому что нам необходим
международный свод законов
международный свод законов
10:34
for robotic weapons.
192
622978
2138
об использовании
роботизированного оружия.
роботизированного оружия.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
И эти законы нужны уже сейчас,
не дожидаясь пока на нас нападут
не дожидаясь пока на нас нападут
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
или пока очередная угроза терроризма
не заставит государства во всём мире
не заставит государства во всём мире
10:43
to rush to adopt these weapons
195
631196
1924
в спешном порядке внедрять это оружие,
10:45
before thinking through the consequences.
196
633120
3771
не задумываясь о последствиях.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
Автономное роботизированное оружие
сосредоточивает слишком большую власть
сосредоточивает слишком большую власть
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
в руках немногих и угрожает демократии.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
Не поймите меня неправильно:
я считаю, что есть много
я считаю, что есть много
11:00
of great uses for unarmed civilian drones:
200
648841
2618
замечательных примеров использования
гражданских невооружённых дронов.
гражданских невооружённых дронов.
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
Охрана окружающей среды, поисково-спасательные работы,
транспортировка и снабжение.
транспортировка и снабжение.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
При наличии международного
законодательства об использовании
законодательства об использовании
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
роботизированного оружия, как мы можем
воспользоваться преимуществами
воспользоваться преимуществами
11:13
and vehicles while still protecting ourselves
204
661811
2648
беспилотных дронов и автомобилей,
и в то же время
и в то же время
11:16
against illegal robotic weapons?
205
664459
3980
защитить себя от нелегального
роботизированного оружия?
роботизированного оружия?
11:20
I think the secret will be transparency.
206
668439
4741
Я считаю, что нам поможет
политика открытости.
политика открытости.
11:25
No robot should have an expectation of privacy
207
673180
3013
У робота не может быть права на секреты
11:28
in a public place.
208
676193
3451
в общественном месте.
11:31
(Applause)
209
679644
5048
(Аплодисменты)
11:36
Each robot and drone should have
210
684692
2045
У каждого робота или дрона
должна быть шифрованная маркировка,
должна быть шифрованная маркировка,
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
поставленная на заводе,
которую можно будет использовать
которую можно будет использовать
11:41
that can be used to track its movement through public spaces.
212
689620
2923
для отслеживания его передвижений
в общественных местах.
в общественных местах.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
У наших машин и самолётов
есть номерные знаки.
есть номерные знаки.
11:47
This is no different.
214
695924
1841
Здесь должно быть то же самое.
11:49
And every citizen should be able to download an app
215
697765
2012
И любой человек должен иметь
доступ к приложению,
доступ к приложению,
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
которое бы показывало ему
все дроны и беспилотные автомобили
все дроны и беспилотные автомобили
11:54
moving through public spaces around them,
217
702902
2429
и их местоположение и траекторию
движения в общественных местах
движения в общественных местах
11:57
both right now and historically.
218
705331
2733
в реальном времени или в прошлом.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
Общественные деятели должны
установить сенсорные датчики
установить сенсорные датчики
12:03
to detect rogue drones,
220
711612
2344
и иметь в распоряжении гражданские дроны
для отслеживания неисправных машин,
для отслеживания неисправных машин,
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
но не посылать при этом свои дроны,
чтобы их уничтожить,
чтобы их уничтожить,
12:09
they should notify humans to their presence.
222
717132
2992
а вместо этого предупреждать людей
об их присутствии.
об их присутствии.
12:12
And in certain very high-security areas,
223
720124
2606
И только в зонах повышенной безопасности
12:14
perhaps civic drones would snare them
224
722730
1909
возможно гражданские дроны
будут ловить такие машины
будут ловить такие машины
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
и отвозить их на свалки оружия
для захоронения.
для захоронения.
12:19
But notice, this is more an immune system
226
727480
3027
Обратите внимание, что это больше похоже
на иммунную систему,
на иммунную систему,
12:22
than a weapons system.
227
730507
1321
чем на систему вооружений.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
Это позволит нам
извлекать выгоду из использования
извлекать выгоду из использования
12:26
of autonomous vehicles and drones
229
734420
2032
беспилотных машин и дронов,
12:28
while still preserving our open, civil society.
230
736452
4295
при этом сохраняя
наше открытое гражданское общество.
наше открытое гражданское общество.
12:32
We must ban the deployment and development
231
740747
2999
Мы должны запретить
производство и распространение
производство и распространение
12:35
of killer robots.
232
743746
1862
роботов-убийц.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
Давайте не будем поддаваться соблазну
автоматизировать военные действия.
автоматизировать военные действия.
12:42
Autocratic governments and criminal organizations
234
750458
2718
Вне всякого сомнения,
что диктатуры и криминальные структуры
что диктатуры и криминальные структуры
12:45
undoubtedly will, but let's not join them.
235
753176
2956
этим воспользуются,
но давайте не будем им уподобляться.
но давайте не будем им уподобляться.
12:48
Autonomous robotic weapons
236
756132
1891
Автономное роботизированное оружие
12:50
would concentrate too much power
237
758023
2051
сосредоточит слишком много власти
12:52
in too few unseen hands,
238
760074
2482
в невидимых руках немногих,
12:54
and that would be corrosive to representative government.
239
762556
3255
что будет разрушительно
для представительного правления.
для представительного правления.
12:57
Let's make sure, for democracies at least,
240
765811
2961
Давайте же постараемся, чтобы по крайней мере
в демократическом обществе
в демократическом обществе
13:00
killer robots remain fiction.
241
768772
2604
роботы-убийцы оставались
только на страницах книг.
только на страницах книг.
13:03
Thank you.
242
771376
1110
Спасибо.
13:04
(Applause)
243
772486
4565
(Аплодисменты)
13:09
Thank you. (Applause)
244
777051
4616
Спасибо. (Аплодисменты)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com