ABOUT THE SPEAKER
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com
TEDGlobal 2013

Daniel Suarez: The kill decision shouldn't belong to a robot

丹尼尔·苏亚雷斯: Daniel Suarez:机器人不该拥有致命决策的权力

Filmed:
1,946,706 views

小说家丹尼尔·苏亚雷斯(Daniel Suarez)讲述了未来反乌托邦的故事。但在 TEDGlobal 的讲台上,他透过真实生活的情境,与我们谈论了一个我们都需要了解更多的事情:自主机器武器的兴起。他认为,先进的无人驾驶飞机,自动化的武器和人工智能的情报收集工具,有可能摆脱人类的控制而走向战争。
- Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio

Double-click the English transcript below to play the video.

00:12
I write fiction小说 sci-fi科幻 thrillers惊悚片,
0
691
3158
我是写科幻惊悚小说的,
00:15
so if I say "killer凶手 robots机器人,"
1
3849
2193
所以如果我说"机器人杀手"
00:18
you'd probably大概 think something like this.
2
6042
2361
你也许会这么想。
00:20
But I'm actually其实 not here to talk about fiction小说.
3
8403
2555
但我其实不打算在这里谈论小说。
00:22
I'm here to talk about very real真实 killer凶手 robots机器人,
4
10958
2948
我在这里要谈论非常真实的杀手机器人,
00:25
autonomous自主性 combat战斗 drones无人驾驶飞机.
5
13906
3122
自主作战无人机。
00:29
Now, I'm not referring to Predator捕食者 and Reaper收割者 drones无人驾驶飞机,
6
17028
3627
现在,我不是指“捕食者”和“死神无人机”,
00:32
which哪一个 have a human人的 making制造 targeting针对 decisions决定.
7
20655
3260
他们是由人类决定攻击目标的。
00:35
I'm talking about fully充分 autonomous自主性 robotic机器人 weapons武器
8
23915
3129
我说的是完全自主的机器人武器
00:39
that make lethal致命 decisions决定 about human人的 beings众生
9
27044
2654
它们自己作出攻击
00:41
all on their own拥有.
10
29698
2417
人类的决定。
00:44
There's actually其实 a technical技术 term术语 for this: lethal致命 autonomy自治.
11
32115
4000
这实际上有一个技术术语: 致命的自主权。
00:48
Now, lethally致死 autonomous自主性 killer凶手 robots机器人
12
36115
2856
现在,致命的自主机器人杀手
00:50
would take many许多 forms形式 -- flying飞行, driving主动,
13
38971
3069
有许多形式——飞行、 驾驶、
00:54
or just lying说谎 in wait.
14
42040
2746
或只是埋伏。
00:56
And actually其实, they're very quickly很快 becoming变得 a reality现实.
15
44786
3109
实际上,他们正在很快成为现实。
00:59
These are two automatic自动 sniper狙击兵 stations
16
47895
2484
这些都是两个自动的狙击地点
01:02
currently目前 deployed部署 in the DMZDMZ between之间 North and South Korea韩国.
17
50379
4137
目前部署在朝鲜和韩国之间非军事区。
01:06
Both of these machines are capable of automatically自动
18
54516
2171
这些机器都能够自动
01:08
identifying识别 a human人的 target目标 and firing射击 on it,
19
56687
3524
识别人类目标并向其射击,
01:12
the one on the left at a distance距离 of over a kilometer公里.
20
60211
4324
左边的那个可以在一公里外(就发现目标)。
01:16
Now, in both cases, there's still a human人的 in the loop循环
21
64535
3589
现在,这两种情况下,仍有一个人类在控制
01:20
to make that lethal致命 firing射击 decision决定,
22
68124
2372
来下这一致命射击的决定,
01:22
but it's not a technological技术性 requirement需求. It's a choice选择.
23
70496
5413
但它不是一项技术要求。它是一种选择。
01:27
And it's that choice选择 that I want to focus焦点 on,
24
75909
3093
我重点关注的正是这一选择,
01:31
because as we migrate迁移 lethal致命 decision-making做决定
25
79002
2641
因为随着我们致命决策权的迁移
01:33
from humans人类 to software软件,
26
81643
3109
从人到软件,
01:36
we risk风险 not only taking服用 the humanity人性 out of war战争,
27
84752
3476
我们甘冒风险不只让人们远离战争
01:40
but also changing改变 our social社会 landscape景观 entirely完全,
28
88228
3526
而且也在改变我们的整个社会格局,
01:43
far from the battlefield战场.
29
91754
2224
使其远离战场。
01:45
That's because the way humans人类 resolve解决 conflict冲突
30
93978
4509
这是因为人类解决冲突的方式
01:50
shapes形状 our social社会 landscape景观.
31
98487
1733
决定了我们社会的格局。
01:52
And this has always been the case案件, throughout始终 history历史.
32
100220
2633
在整个历史长河中一直是如此。
01:54
For example, these were state-of-the-art最先进的 weapons武器 systems系统
33
102853
2661
例如,这些都是最先进的武器系统
01:57
in 1400 A.D.
34
105514
2079
在公元 1400 年
01:59
Now they were both very expensive昂贵 to build建立 and maintain保持,
35
107593
3144
现在建造和维护它们都很昂贵
02:02
but with these you could dominate支配 the populace民众,
36
110737
3240
但有了这些,你就可以主宰民众,
02:05
and the distribution分配 of political政治 power功率 in feudal封建 society社会 reflected反射的 that.
37
113977
3889
同时也反映了封建的社会中政治权力的分配。
02:09
Power功率 was focused重点 at the very top最佳.
38
117866
2687
权力集中在最顶端。
02:12
And what changed? Technological技术性 innovation革新.
39
120553
3528
什么改变了?技术创新。
02:16
Gunpowder火药, cannon大炮.
40
124081
1871
火药,加农炮。
02:17
And pretty漂亮 soon不久, armor盔甲 and castles城堡 were obsolete过时的,
41
125952
3817
很快,装甲和城堡都已过时,
02:21
and it mattered要紧 less who you brought to the battlefield战场
42
129769
2533
你带谁上战场已经不那么重要
02:24
versus how many许多 people you brought to the battlefield战场.
43
132302
3779
重要的是你带了多少人上战场。
02:28
And as armies军队 grew成长 in size尺寸, the nation-state民族国家 arose出现
44
136081
3638
并且随着军队的组织的扩大,为了满足国防上的
02:31
as a political政治 and logistical后勤 requirement需求 of defense防御.
45
139719
3680
政治和后勤要求,民族国家出现了。
02:35
And as leaders领导者 had to rely依靠 on more of their populace民众,
46
143399
2376
作为领导人不得不依靠更多的民众,
02:37
they began开始 to share分享 power功率.
47
145775
1833
他们开始分享权力。
02:39
Representative代表 government政府 began开始 to form形成.
48
147608
2599
代表政府开始形成。
02:42
So again, the tools工具 we use to resolve解决 conflict冲突
49
150207
3288
再次,我们用来解决冲突的工具
02:45
shape形状 our social社会 landscape景观.
50
153495
3304
塑造了我们社会的格局。
02:48
Autonomous自主性 robotic机器人 weapons武器 are such这样 a tool工具,
51
156799
4064
自主机器人武器就是这样一个工具,
02:52
except that, by requiring要求 very few少数 people to go to war战争,
52
160863
5168
除此之外,通过只需要很少的人去打仗,
02:58
they risk风险 re-centralizing重新集权 power功率 into very few少数 hands,
53
166031
4840
他们的风险在于权力可能重新回到少数人手里,
03:02
possibly或者 reversing倒车 a five-century五世纪 trend趋势 toward democracy民主.
54
170871
6515
可能扭转五个世纪的民主潮流。
03:09
Now, I think, knowing会心 this,
55
177386
1757
现在,我想,知道这个,
03:11
we can take decisive决定性 steps脚步 to preserve保留 our democratic民主的 institutions机构,
56
179143
4352
我们可以采取果断措施,维护我们的民主机构,
03:15
to do what humans人类 do best最好, which哪一个 is adapt适应.
57
183495
3979
做人类擅长的事情,这是适应。
03:19
But time is a factor因子.
58
187474
2005
但时间是一个因素。
03:21
Seventy七十 nations国家 are developing发展 remotely-piloted远程驾驶
59
189479
2851
七十个国家正在自主发展遥控
03:24
combat战斗 drones无人驾驶飞机 of their own拥有,
60
192330
2157
无人作战机,
03:26
and as you'll你会 see, remotely-piloted远程驾驶 combat战斗 drones无人驾驶飞机
61
194487
2593
如你所见,遥控作战无人机是
03:29
are the precursors前体 to autonomous自主性 robotic机器人 weapons武器.
62
197080
4472
自主机器人武器的前提。
03:33
That's because once一旦 you've deployed部署 remotely-piloted远程驾驶 drones无人驾驶飞机,
63
201552
2767
这是因为一旦您已经部署了遥控无人作战机,
03:36
there are three powerful强大 factors因素 pushing推动 decision-making做决定
64
204319
3384
有三个强大的因素迫使人类
03:39
away from humans人类 and on to the weapon武器 platform平台 itself本身.
65
207703
4600
把决策权交给武器平台本身。
03:44
The first of these is the deluge洪水 of video视频 that drones无人驾驶飞机 produce生产.
66
212303
5259
第一是无人机拍摄的大量视频。
03:49
For example, in 2004, the U.S. drone无人驾驶飞机 fleet舰队 produced生成
67
217562
3853
例如,2004 年,美国无人机梯队拍摄了
03:53
a grand盛大 total of 71 hours小时 of video视频 surveillance监控 for analysis分析.
68
221415
5312
总计 71 个小时的视频监控可供分析。
03:58
By 2011, this had gone走了 up to 300,000 hours小时,
69
226727
4499
2011 年,这已经达 300,000 小时
04:03
outstripping超过了 human人的 ability能力 to review评论 it all,
70
231226
3149
超过了人类的审查能力,
04:06
but even that number is about to go up drastically大幅.
71
234375
3664
但即使这一数字会猛烈地增长。
04:10
The Pentagon's五角大楼 Gorgon芡实 Stare and Argus阿格斯 programs程式
72
238039
2575
五角大楼的“戈尔贡凝视”(Gorgon Stare)和守卫程序
04:12
will put up to 65 independently独立地 operated操作 camera相机 eyes眼睛
73
240614
3164
还将把 65个 独立的照相机眼睛
04:15
on each drone无人驾驶飞机 platform平台,
74
243778
2038
安装在每个无人机平台上,
04:17
and this would vastly大大 outstrip超过 human人的 ability能力 to review评论 it.
75
245816
3303
这将远远超过人类的审查能力。
04:21
And that means手段 visual视觉 intelligence情报 software软件 will need
76
249119
2160
这就需要视觉情报软件
04:23
to scan扫描 it for items项目 of interest利益.
77
251279
4048
去扫描它感兴趣的目标。
04:27
And that means手段 very soon不久
78
255327
1348
这意味着很快
04:28
drones无人驾驶飞机 will tell humans人类 what to look at,
79
256675
2747
无人机将告诉人类要看什么
04:31
not the other way around.
80
259422
2497
不是其他方式。
04:33
But there's a second第二 powerful强大 incentive激励 pushing推动
81
261919
2473
但还有第二个的强大动力迫使
04:36
decision-making做决定 away from humans人类 and onto machines,
82
264392
3383
人类把决策权交给机器。
04:39
and that's electromagnetic电磁 jamming拥塞,
83
267775
2872
这就是电磁干扰,
04:42
severing切断 the connection连接 between之间 the drone无人驾驶飞机
84
270647
2236
它会切断无人飞机和操控者
04:44
and its operator操作者.
85
272883
2814
之间的联系。
04:47
Now we saw an example of this in 2011
86
275697
2618
现在我们看到的例子发生在 2011 年
04:50
when an American美国 RQ-RQ-170 Sentinel哨兵 drone无人驾驶飞机
87
278315
2956
当美国 RQ-170 哨兵无人机
04:53
got a bit confused困惑 over Iran伊朗 due应有 to a GPS全球定位系统 spoofing欺骗 attack攻击,
88
281271
4307
由于GPS欺骗攻击,在伊朗上空而发生混乱,
04:57
but any remotely-piloted远程驾驶 drone无人驾驶飞机 is susceptible易感 to this type类型 of attack攻击,
89
285578
5114
但任何遥控无人飞机都极易受这种类型的攻击,
05:02
and that means手段 drones无人驾驶飞机
90
290692
2052
这就意味着无人机
05:04
will have to shoulder more decision-making做决定.
91
292744
3620
将不得不承担更多的决策。
05:08
They'll他们会 know their mission任务 objective目的,
92
296364
3043
他们就会知道他们的使命目标
05:11
and they'll他们会 react应对 to new circumstances情况 without human人的 guidance指导.
93
299407
4845
他们在无人操纵的情况下有自主应对新情况的能力。
05:16
They'll他们会 ignore忽视 external外部 radio无线电 signals信号
94
304252
2581
他们会忽略外部的无线电信号
05:18
and send发送 very few少数 of their own拥有.
95
306833
2330
只发出极少量的无线信号。
05:21
Which哪一个 brings带来 us to, really, the third第三
96
309163
2006
这就引出了,第三个
05:23
and most powerful强大 incentive激励 pushing推动 decision-making做决定
97
311169
3862
最强大的诱因促使我们
05:27
away from humans人类 and onto weapons武器:
98
315031
3342
将决策权交给武器自身:
05:30
plausible似是而非 deniability推诿.
99
318373
3293
貌似合理的推脱。
05:33
Now we live生活 in a global全球 economy经济.
100
321666
2887
现在我们生活在一个全球化的经济大潮中。
05:36
High-tech高科技 manufacturing制造业 is occurring发生 on most continents大陆.
101
324553
4334
高科技制造业在大多数大陆上发生。
05:40
Cyber网络 espionage间谍 is spiritingspiriting away advanced高级 designs设计
102
328887
2914
网络间谍活动正在将先进的设计
05:43
to parts部分 unknown未知,
103
331801
1886
带到未知世界,
05:45
and in that environment环境, it is very likely容易
104
333687
2014
在那种环境下,它是很有可能
05:47
that a successful成功 drone无人驾驶飞机 design设计 will be knocked被撞 off in contract合同 factories工厂,
105
335701
4734
一个成功的无人驾驶飞机设计在授权工厂被停工,
05:52
proliferate增生 in the gray灰色 market市场.
106
340435
2170
导致其在灰色市场量产。
05:54
And in that situation情况, sifting筛选 through通过 the wreckage残骸
107
342605
2460
在这种情况,即使仔细筛查
05:57
of a suicide自杀 drone无人驾驶飞机 attack攻击, it will be very difficult to say
108
345065
2960
无人机自杀式攻击的残骸,
06:00
who sent发送 that weapon武器.
109
348025
4400
也很难说谁发射了这个武器。
06:04
This raises加薪 the very real真实 possibility可能性
110
352425
2800
这就引起了非常现实的可能性
06:07
of anonymous匿名 war战争.
111
355225
2935
匿名的战争。
06:10
This could tilt倾斜 the geopolitical地缘政治 balance平衡 on its head,
112
358160
2614
这将导致地缘政治失衡并倾向一头,
06:12
make it very difficult for a nation国家 to turn its firepower火力
113
360774
3491
使一个国家很难将其火力
06:16
against反对 an attacker攻击者, and that could shift转移 the balance平衡
114
364265
2848
对准攻击者,这可能会令21 世纪的平衡
06:19
in the 21stST century世纪 away from defense防御 and toward offense罪行.
115
367113
3764
从防御走向进攻。
06:22
It could make military军事 action行动 a viable可行 option选项
116
370877
3124
它能使军事行动成为可行的选择
06:26
not just for small nations国家,
117
374001
2288
不只是那些小国家
06:28
but criminal刑事 organizations组织, private私人的 enterprise企业,
118
376289
2545
甚至犯罪组织、 私人企业、
06:30
even powerful强大 individuals个人.
119
378834
2479
甚至是强大的个人都可以这么做。
06:33
It could create创建 a landscape景观 of rival对手 warlords军阀
120
381313
3328
它可以引起军阀割据的混战,
06:36
undermining破坏 rule规则 of law and civil国内 society社会.
121
384641
3680
破坏法治和文明社会。
06:40
Now if responsibility责任 and transparency透明度
122
388321
3616
现在如果责任和透明度
06:43
are two of the cornerstones基石 of representative代表 government政府,
123
391937
2384
是代议制政府的两个基石
06:46
autonomous自主性 robotic机器人 weapons武器 could undermine破坏 both.
124
394321
4320
自主机器人武器可能同时摧毁它们。
06:50
Now you might威力 be thinking思维 that
125
398641
1546
现在你可能会想,
06:52
citizens公民 of high-tech高科技 nations国家
126
400187
2246
高科技的国家的公民
06:54
would have the advantage优点 in any robotic机器人 war战争,
127
402433
2703
在任何机器人的战争中占有优势
06:57
that citizens公民 of those nations国家 would be less vulnerable弱势,
128
405136
3633
这些国家的公民将不再那么脆弱,
07:00
particularly尤其 against反对 developing发展 nations国家.
129
408769
4288
尤其是针对发展中国家。
07:05
But I think the truth真相 is the exact精确 opposite对面.
130
413057
3524
但事实是正好相反。
07:08
I think citizens公民 of high-tech高科技 societies社会
131
416581
2251
我认为高科技社会的公民
07:10
are more vulnerable弱势 to robotic机器人 weapons武器,
132
418832
3729
面对机器人武器更加脆弱,
07:14
and the reason原因 can be summed总结 up in one word: data数据.
133
422561
4465
原因可以用一个词概括: 数据。
07:19
Data数据 powers权力 high-tech高科技 societies社会.
134
427026
3481
数据掌控着高科技社会。
07:22
Cell细胞 phone电话 geolocation地理位置, telecom电信 metadata元数据,
135
430507
3190
手机定位,电信的元数据,
07:25
social社会 media媒体, email电子邮件, text文本, financial金融 transaction交易 data数据,
136
433697
3472
社会媒体、 电子邮件、 文本、 金融交易数据,
07:29
transportation运输 data数据, it's a wealth财富 of real-time即时的 data数据
137
437169
3532
交通数据,那么多丰富的实时数据
07:32
on the movements运动 and social社会 interactions互动 of people.
138
440701
3373
关于个人的动向和社交关系。
07:36
In short, we are more visible可见 to machines
139
444074
3775
简而言之,对于机器而言,
07:39
than any people in history历史,
140
447849
2242
我们比历史上任何人更显而易见,
07:42
and this perfectly完美 suits西装 the targeting针对 needs需求 of autonomous自主性 weapons武器.
141
450091
5616
这完全符合了自主武器瞄准的需要。
07:47
What you're looking at here
142
455707
1738
现在你正在看到的
07:49
is a link链接 analysis分析 map地图 of a social社会 group.
143
457445
3246
是某一社会群体的关系分析图。
07:52
Lines indicate表明 social社会 connectedness连通 between之间 individuals个人.
144
460691
3634
线表示人与人之间的社会联系。
07:56
And these types类型 of maps地图 can be automatically自动 generated产生
145
464325
2880
这类型的地图,基于现代人留下的数据追踪,
07:59
based基于 on the data数据 trail落后 modern现代 people leave离开 behind背后.
146
467205
4715
可以自动生成。
08:03
Now it's typically一般 used to market市场 goods产品 and services服务
147
471920
2477
现在它通常用于市场商品和服务
08:06
to targeted针对 demographics人口统计学, but it's a dual-use两用 technology技术,
148
474397
4416
有针对性的人口统计数据,但这种技术有双重用途,
08:10
because targeting针对 is used in another另一个 context上下文.
149
478813
3360
因为目标被用于另一种情境。
08:14
Notice注意 that certain某些 individuals个人 are highlighted突出.
150
482173
2560
请注意那些突出显示的个人。
08:16
These are the hubs集线器 of social社会 networks网络.
151
484733
3280
这些都是社交网络的枢纽。
08:20
These are organizers组织者, opinion-makers舆论制造者, leaders领导者,
152
488013
3590
这些都是组织者、 决策者、 领袖、
08:23
and these people also can be automatically自动 identified确定
153
491603
2682
这些人也可以进行通过他们的通讯模式
08:26
from their communication通讯 patterns模式.
154
494285
2382
被自动识别出来
08:28
Now, if you're a marketer营销, you might威力 then target目标 them
155
496667
2146
现在,如果你是营销人员,您可能瞄准他们
08:30
with product产品 samples样本, try to spread传播 your brand
156
498813
2543
用产品的样本,试图传播您的品牌
08:33
through通过 their social社会 group.
157
501356
2829
通过他们的社群。
08:36
But if you're a repressive压制性 government政府
158
504185
1953
但是如果你是一个专制的政府
08:38
searching搜索 for political政治 enemies敌人, you might威力 instead代替 remove去掉 them,
159
506138
4810
寻找政治的敌人,你反而可能会想要拔掉这些眼中钉,
08:42
eliminate消除 them, disrupt破坏 their social社会 group,
160
510948
2760
消灭他们,从而扰乱他们的社团
08:45
and those who remain behind背后 lose失去 social社会 cohesion凝聚
161
513708
3169
而那些留下的人将失去社会凝聚力
08:48
and organization组织.
162
516877
2621
和组织。
08:51
Now in a world世界 of cheap低廉, proliferating增殖 robotic机器人 weapons武器,
163
519498
3324
在一个机器人武器便宜又泛滥的世界里,
08:54
borders国界 would offer提供 very little protection保护
164
522822
2635
国界的保护微乎其微,
08:57
to critics批评者 of distant遥远 governments政府
165
525457
1946
无法防御远方政府批评者
08:59
or trans-national跨国 criminal刑事 organizations组织.
166
527403
3646
或跨国犯罪组织。
09:03
Popular流行 movements运动 agitating搅拌 for change更改
167
531049
3493
鼓动改革的民众运动
09:06
could be detected检测 early and their leaders领导者 eliminated淘汰
168
534542
3609
可以在早期即被发现,
09:10
before their ideas思路 achieve实现 critical危急 mass.
169
538151
2911
他们的领袖在向大众充分宣传他们的观点之前就会被消灭。
09:13
And ideas思路 achieving实现 critical危急 mass
170
541062
2591
向大众充分宣传其观点
09:15
is what political政治 activism行动 in popular流行 government政府 is all about.
171
543653
3936
正是政治激进主义政府所追求的。
09:19
Anonymous匿名 lethal致命 weapons武器 could make lethal致命 action行动
172
547589
3997
匿名致命武器能让致命行动
09:23
an easy简单 choice选择 for all sorts排序 of competing竞争 interests利益.
173
551586
3782
成为各种相互竞争利益的一种最简单的选择。
09:27
And this would put a chill寒意 on free自由 speech言语
174
555368
3734
这将会令民主的核心——言论自由
09:31
and popular流行 political政治 action行动, the very heart of democracy民主.
175
559102
5308
和民众政治运动受到限制。
09:36
And this is why we need an international国际 treaty条约
176
564410
2914
这就是为什么我们需要一项国际条约
09:39
on robotic机器人 weapons武器, and in particular特定 a global全球 ban禁止
177
567324
3540
关于机器人武器的禁令
09:42
on the development发展 and deployment部署 of killer凶手 robots机器人.
178
570864
3908
禁止全球开发和部署机器人杀手。
09:46
Now we already已经 have international国际 treaties条约
179
574772
3254
现在我们已经有国际条约
09:50
on nuclear and biological生物 weapons武器, and, while imperfect不完善,
180
578026
3386
关于核武器和生化武器,虽然不尽完善,
09:53
these have largely大部分 worked工作.
181
581412
2288
这些很大程度上起了作用。
09:55
But robotic机器人 weapons武器 might威力 be every一切 bit as dangerous危险,
182
583700
3768
但机器人武器可能一样危险
09:59
because they will almost几乎 certainly当然 be used,
183
587468
3288
因为它们几乎可以肯定将会被使用,
10:02
and they would also be corrosive腐蚀性的 to our democratic民主的 institutions机构.
184
590756
5027
他们也会侵蚀我们的民主机构。
10:07
Now in November十一月 2012 the U.S. Department of Defense防御
185
595783
3468
2012 年 11 月,美国国防部
10:11
issued发行 a directive指示 requiring要求
186
599251
2458
直接要求
10:13
a human人的 being存在 be present当下 in all lethal致命 decisions决定.
187
601709
4519
所有致命决定都必须有人类参与。
10:18
This temporarily暂时 effectively有效 banned取缔 autonomous自主性 weapons武器 in the U.S. military军事,
188
606228
4776
这暂时有效地阻止了自主武器在美国军队中的使用
10:23
but that directive指示 needs需求 to be made制作 permanent常驻.
189
611004
3753
但该指令需要永久有效。
10:26
And it could set the stage阶段 for global全球 action行动.
190
614757
4376
它可以为全球立法行动铺路。
10:31
Because we need an international国际 legal法律 framework骨架
191
619133
3845
因为,我们需要
10:34
for robotic机器人 weapons武器.
192
622978
2138
一个针对于机器人武器的国际法律框架。
10:37
And we need it now, before there's a devastating破坏性的 attack攻击
193
625116
2928
我们现在就需要这样的法律,用以防止一个具有破坏性攻击
10:40
or a terrorist恐怖分子 incident事件 that causes原因 nations国家 of the world世界
194
628044
3152
或一个恐怖袭击使得世界各国
10:43
to rush to adopt采用 these weapons武器
195
631196
1924
在完全不顾及后果的前提下,
10:45
before thinking思维 through通过 the consequences后果.
196
633120
3771
就急于采用这些武器。
10:48
Autonomous自主性 robotic机器人 weapons武器 concentrate集中 too much power功率
197
636891
2981
自主机器人武器集中了太多的权利
10:51
in too few少数 hands, and they would imperil威胁 democracy民主 itself本身.
198
639872
6283
集中在太少人手中,他们将会危及民主本身。
10:58
Now, don't get me wrong错误, I think there are tons
199
646155
2686
现在,别误会我,我觉得这些非武装的民用无人机
11:00
of great uses使用 for unarmed徒手 civilian平民 drones无人驾驶飞机:
200
648841
2618
用途很多:
11:03
environmental环境的 monitoring监控, search搜索 and rescue拯救, logistics后勤.
201
651459
3939
环境监测、 搜索和救援,物流。
11:07
If we have an international国际 treaty条约 on robotic机器人 weapons武器,
202
655398
2826
如果我们有一项关于机器人的武器国际条约,
11:10
how do we gain获得 the benefits好处 of autonomous自主性 drones无人驾驶飞机
203
658224
3587
我们如何从自主无人机和自主车上获得好处
11:13
and vehicles汽车 while still protecting保护 ourselves我们自己
204
661811
2648
同时还保护我们自己
11:16
against反对 illegal非法 robotic机器人 weapons武器?
205
664459
3980
免受非法机器人武器的攻击?
11:20
I think the secret秘密 will be transparency透明度.
206
668439
4741
我认为秘密会变得透明化。
11:25
No robot机器人 should have an expectation期望 of privacy隐私
207
673180
3013
任何机器人都不应该
11:28
in a public上市 place地点.
208
676193
3451
在公众领域有隐私。
11:31
(Applause掌声)
209
679644
5048
(掌声)
11:36
Each robot机器人 and drone无人驾驶飞机 should have
210
684692
2045
每个机器人和无人驾驶飞机都应该
11:38
a cryptographically加密 signed I.D. burned in at the factory
211
686737
2883
在工厂内被烙上一个加密的身份信息
11:41
that can be used to track跟踪 its movement运动 through通过 public上市 spaces空间.
212
689620
2923
可以用来对其在公共领域内动向的跟踪。
11:44
We have license执照 plates on cars汽车, tail尾巴 numbers数字 on aircraft飞机.
213
692543
3381
我们的汽车有车牌,飞机尾部有编号。
11:47
This is no different不同.
214
695924
1841
这没有什么不同。
11:49
And every一切 citizen公民 should be able能够 to download下载 an app应用
215
697765
2012
每个公民应能够下载应用程序
11:51
that shows节目 the population人口 of drones无人驾驶飞机 and autonomous自主性 vehicles汽车
216
699777
3125
能够显示通过他们周围公共空间的
11:54
moving移动 through通过 public上市 spaces空间 around them,
217
702902
2429
无人机和自主车的数量
11:57
both right now and historically历史.
218
705331
2733
不论现在还是过去。
12:00
And civic公民 leaders领导者 should deploy部署 sensors传感器 and civic公民 drones无人驾驶飞机
219
708064
3548
领导者应部署传感器和民用无人驾驶飞机
12:03
to detect检测 rogue流氓 drones无人驾驶飞机,
220
711612
2344
来检测流氓无人机,
12:05
and instead代替 of sending发出 killer凶手 drones无人驾驶飞机 of their own拥有 up to shoot射击 them down,
221
713956
3176
而不是发送能够击落他们的杀手无人机,
12:09
they should notify通知 humans人类 to their presence存在.
222
717132
2992
应该通知人们这些无人机的存在。
12:12
And in certain某些 very high-security高安全性 areas,
223
720124
2606
在某些非常高安全等级的地区,
12:14
perhaps也许 civic公民 drones无人驾驶飞机 would snare圈套 them
224
722730
1909
或许民用无人机可以将他们拖到
12:16
and drag拖动 them off to a bomb炸弹 disposal处置 facility设施.
225
724639
2841
一个设有炸弹设施处理掉。
12:19
But notice注意, this is more an immune免疫的 system系统
226
727480
3027
但请注意,这更象一个免疫系统,
12:22
than a weapons武器 system系统.
227
730507
1321
而不是武器系统。
12:23
It would allow允许 us to avail ourselves我们自己 of the use
228
731828
2592
这样,它将使我们能够利用
12:26
of autonomous自主性 vehicles汽车 and drones无人驾驶飞机
229
734420
2032
自主车辆和无人驾驶飞机的好处
12:28
while still preserving our open打开, civil国内 society社会.
230
736452
4295
同时仍然保留我们开放的公民社会。
12:32
We must必须 ban禁止 the deployment部署 and development发展
231
740747
2999
我们必须禁止部署与发展
12:35
of killer凶手 robots机器人.
232
743746
1862
机器人杀手。
12:37
Let's not succumb屈服于 to the temptation诱惑 to automate自动化 war战争.
233
745608
4850
我们不会屈服于自动化战争的诱惑。
12:42
Autocratic专制 governments政府 and criminal刑事 organizations组织
234
750458
2718
独裁政府和犯罪组织
12:45
undoubtedly无疑 will, but let's not join加入 them.
235
753176
2956
毫无疑问的会屈服,让我们不要加入他们。
12:48
Autonomous自主性 robotic机器人 weapons武器
236
756132
1891
自主机器人武器
12:50
would concentrate集中 too much power功率
237
758023
2051
集中了太多的权力
12:52
in too few少数 unseen看不见 hands,
238
760074
2482
在太少看不见的手中,
12:54
and that would be corrosive腐蚀性的 to representative代表 government政府.
239
762556
3255
那将是侵蚀我们的代议制政府。
12:57
Let's make sure, for democracies民主 at least最小,
240
765811
2961
让我们保证,至少为了民主的理由,
13:00
killer凶手 robots机器人 remain fiction小说.
241
768772
2604
让机器人杀手只存在于小说里吧。
13:03
Thank you.
242
771376
1110
谢谢。
13:04
(Applause掌声)
243
772486
4565
(掌声)
13:09
Thank you. (Applause掌声)
244
777051
4616
谢谢。(掌声)
Translated by Binglei Shea
Reviewed by Ning Zhang

▲Back to top

ABOUT THE SPEAKER
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com