TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
다니엘 수아레즈: 로봇이 살상권을 가져선 안됩니다
Filmed:
Readability: 5.9
1,946,706 views
소설가로서, 다니엘 수아레즈는 미래에 대한 디스토피아적인 이야기를 지어냅니다. 하지만 TEDGlobal 무대에서 그는 우리 모두가 알아야 하는 현실 생활의 시나리오, 무인 로봇 전쟁무기의 증가에 대해서 말합니다. 그는 최신 드론, 자동 무기, 인공지능을 가진 정보 수집 도구들이 인간의 손을 떠나 전쟁을 일으킬 수 있음을 일깨워 줍니다.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
저는 공상과학 스릴러 소설을 씁니다.
00:15
so if I say "killer robots,"
1
3849
2193
그래서 제가 '살인 로봇'이라고 하면
00:18
you'd probably think something like this.
2
6042
2361
여러분은 아마
이런 것을 떠올리실 테지만,
이런 것을 떠올리실 테지만,
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
저는 공상을 얘기하기 위해
이 자리에 선 것이 아닙니다.
이 자리에 선 것이 아닙니다.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
저는 진짜 실존하는
살인 로봇에 대해 말하려 합니다.
살인 로봇에 대해 말하려 합니다.
00:25
autonomous combat drones.
5
13906
3122
자동화된 전투용 드론 말입니다.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
사람이 목표물을 결정하는
00:32
which have a human making targeting decisions.
7
20655
3260
프레데터나 리퍼 드론을
뜻하는게 아닙니다.
뜻하는게 아닙니다.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
완전히 자율적인 로봇 무기를
말하는 겁니다.
말하는 겁니다.
00:39
that make lethal decisions about human beings
9
27044
2654
사람의 생사에 대해 치명적인 결정을
00:41
all on their own.
10
29698
2417
직접 내리는 무기 말입니다.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
이를 지칭하는 기술 용어도 있습니다.
바로 치명적 자율성입니다.
바로 치명적 자율성입니다.
00:48
Now, lethally autonomous killer robots
12
36115
2856
현재 치명적 자율성을 가진 살인 로봇에는
00:50
would take many forms -- flying, driving,
13
38971
3069
다양한 형태가 있습니다.
날거나 달리거나,
날거나 달리거나,
00:54
or just lying in wait.
14
42040
2746
또는 그저 놓여있기도 합니다.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
실제로 그것들은
빠르게 현실화되고 있습니다.
빠르게 현실화되고 있습니다.
00:59
These are two automatic sniper stations
16
47895
2484
이것은 두 개의 자동 저격 기지입니다.
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
현재 남한과 북한 사이의 DMZ에
배치되어 있습니다.
배치되어 있습니다.
01:06
Both of these machines are capable of automatically
18
54516
2171
둘 다 사람을 자동으로 식별하여
01:08
identifying a human target and firing on it,
19
56687
3524
발포하는 것이 가능한 기계들입니다.
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
왼쪽 것의 사정거리는 1km가 넘습니다.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
현재, 두 경우 모두 사람이 맨 위에서
01:20
to make that lethal firing decision,
22
68124
2372
살상 발포 결정을 내리고 있지만,
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
그게 기술적으로 필수사항은 아니며
그저 선택사항이죠.
그저 선택사항이죠.
01:27
And it's that choice that I want to focus on,
24
75909
3093
저는 오늘 그 선택에 주목하고자 합니다.
01:31
because as we migrate lethal decision-making
25
79002
2641
우리가 살상 결정권을
사람으로부터
사람으로부터
01:33
from humans to software,
26
81643
3109
소프트웨어로 옮긴다면
01:36
we risk not only taking the humanity out of war,
27
84752
3476
우리는 전쟁에서
인간성을 배제하게 될 뿐 아니라
인간성을 배제하게 될 뿐 아니라
01:40
but also changing our social landscape entirely,
28
88228
3526
우리 사회의 모습을 완전히
전장에서 멀리 떨어지게
전장에서 멀리 떨어지게
01:43
far from the battlefield.
29
91754
2224
바꾸어버리는 위험에 처합니다.
01:45
That's because the way humans resolve conflict
30
93978
4509
왜냐하면 사람들이
분쟁을 풀어나가는 방식이
분쟁을 풀어나가는 방식이
01:50
shapes our social landscape.
31
98487
1733
우리 사회의 모습을 형성하기 때문입니다.
01:52
And this has always been the case, throughout history.
32
100220
2633
역사적으로 항상 이러했습니다.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
예를 들면, 이것들은 서기 1400년 즈음의
01:57
in 1400 A.D.
34
105514
2079
최신 무기 시스템이었습니다.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
만들고 유지하는데 많은 돈이 들었지만
02:02
but with these you could dominate the populace,
36
110737
3240
이걸로 백성들을 다스릴 수 있었습니다.
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
봉건사회 내에서 정치적 힘의 분배가
그 사실을 반영합니다.
그 사실을 반영합니다.
02:09
Power was focused at the very top.
38
117866
2687
권력은 최상류층에 집중되어 있었습니다.
02:12
And what changed? Technological innovation.
39
120553
3528
그런데 무슨 일이 벌어졌을까요?
기술 혁신입니다.
기술 혁신입니다.
02:16
Gunpowder, cannon.
40
124081
1871
화약과 대포입니다.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
금새 갑옷과 성은 쓸모가 없어져 버렸죠.
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
그리고 전쟁터에 누구를 데려오는지보다
02:24
versus how many people you brought to the battlefield.
43
132302
3779
얼마나 많이 데려오는지가 중요해졌죠.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
군대의 규모가 커지면서
국민국가가 부상하여
국민국가가 부상하여
02:31
as a political and logistical requirement of defense.
45
139719
3680
정치적, 군사적
방어요건이 되었습니다.
방어요건이 되었습니다.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
지배자들은 더욱 국민들에게
의존해야 했기에
의존해야 했기에
02:37
they began to share power.
47
145775
1833
힘을 공유하기 시작했어요.
02:39
Representative government began to form.
48
147608
2599
대의 정치가 형성되기 시작했습니다.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
다시 말씀드리는데,
분쟁을 해결하는데 사용하는 도구가
분쟁을 해결하는데 사용하는 도구가
02:45
shape our social landscape.
50
153495
3304
우리 사회의 모습을 형성합니다.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
무인 로봇 무기가 그런 도구입니다.
02:52
except that, by requiring very few people to go to war,
52
160863
5168
다만, 매우 소수의 사람들만
전쟁에 투입함으로써
전쟁에 투입함으로써
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
권력을 극소수에게
다시 집중시키는 것이죠.
다시 집중시키는 것이죠.
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
민주주의를 향해 온 500년의 흐름을
뒤집는 것일 수 있습니다.
뒤집는 것일 수 있습니다.
03:09
Now, I think, knowing this,
55
177386
1757
제 생각엔, 이것을 안다면,
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
우리는 단호한 조처를 취해
민주주의 제도를 보호하고,
민주주의 제도를 보호하고,
03:15
to do what humans do best, which is adapt.
57
183495
3979
인류가 가장 잘 하는 일인
적응을 할 수 있습니다.
적응을 할 수 있습니다.
03:19
But time is a factor.
58
187474
2005
하지만 시간이 변수입니다.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
70개 국가에서
원격 조종 전투용 드론을
원격 조종 전투용 드론을
03:24
combat drones of their own,
60
192330
2157
자체 개발하고 있고,
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
여러분이 보시듯
원격 조종 전투용 드론은
원격 조종 전투용 드론은
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
무인 로봇 무기의 전 단계입니다.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
일단 원격 조종 드론을 배치하고 나면
03:36
there are three powerful factors pushing decision-making
64
204319
3384
세가지 강력한 요인으로 인해
의사 결정권이
의사 결정권이
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
인간에게서 무기 플랫폼으로
옮겨질 것이기 때문입니다.
옮겨질 것이기 때문입니다.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
그 첫번째 요인은 드론이 생산하는
녹화 영상이 엄청나다는 겁니다.
녹화 영상이 엄청나다는 겁니다.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
예를 들면, 2004년에
미국의 무인항공기는
미국의 무인항공기는
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
71시간 분량의 감시 비디오를
녹화했습니다.
녹화했습니다.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
2011년엔 이것이 30만 시간으로
늘어났습니다.
늘어났습니다.
04:03
outstripping human ability to review it all,
70
231226
3149
인간의 능력으로 전부
검토할 수 없을 정도죠.
검토할 수 없을 정도죠.
04:06
but even that number is about to go up drastically.
71
234375
3664
그럼에도 불구하고 그 숫자는
대폭 늘어날 전망입니다.
대폭 늘어날 전망입니다.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
미 국방부의 고르곤 스테어(영상 녹화),
아르고스(광역 감시) 프로그램은
아르고스(광역 감시) 프로그램은
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
최대 65개의 각각 작동하는 카메라를
04:15
on each drone platform,
74
243778
2038
각 드론 플랫폼에 설치할 것입니다.
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
이것은 인간의 검토 능력을
엄청나게 초과할 것입니다.
엄청나게 초과할 것입니다.
04:21
And that means visual intelligence software will need
76
249119
2160
이것이 의미하는 바는
시각 지능 소프트웨어가
시각 지능 소프트웨어가
04:23
to scan it for items of interest.
77
251279
4048
검토가 필요한 화면을
골라내야 한다는 것입니다.
골라내야 한다는 것입니다.
04:27
And that means very soon
78
255327
1348
즉 드론이 인간에게
04:28
drones will tell humans what to look at,
79
256675
2747
뭘 봐야 하는지 알려주게 되겠죠.
04:31
not the other way around.
80
259422
2497
거꾸로 되는 거죠.
두번째 강력한 요인은 더더욱
04:33
But there's a second powerful incentive pushing
81
261919
2473
04:36
decision-making away from humans and onto machines,
82
264392
3383
의사 결정권을 인간으로부터
기계로 옮기고 있습니다.
기계로 옮기고 있습니다.
04:39
and that's electromagnetic jamming,
83
267775
2872
그것은 전자기 전파방해입니다.
04:42
severing the connection between the drone
84
270647
2236
이것은 드론과 그 조종사 사이의 연결을
04:44
and its operator.
85
272883
2814
끊어 버립니다.
04:47
Now we saw an example of this in 2011
86
275697
2618
2011년의 사례를 볼 수 있습니다.
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
미국의 RQ-170 센티넬 드론이
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
GPS 스푸핑(위장) 공격으로 인해
이란에서 약간의 혼동을 겪었습니다.
이란에서 약간의 혼동을 겪었습니다.
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
원격 조종 드론은
이러한 유형의 공격에 취약합니다.
이러한 유형의 공격에 취약합니다.
05:02
and that means drones
90
290692
2052
그 말인 즉, 드론은
05:04
will have to shoulder more decision-making.
91
292744
3620
더욱 많은 의사 결정의 책임을
져야 한다는 거죠.
져야 한다는 거죠.
05:08
They'll know their mission objective,
92
296364
3043
드론은 임무의 목적을 알게 될 것이며
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
또한 인간의 지도가 없는
새로운 상황에 반응할 것입니다.
새로운 상황에 반응할 것입니다.
05:16
They'll ignore external radio signals
94
304252
2581
외부의 전파신호를 무시하고
05:18
and send very few of their own.
95
306833
2330
자체의 신호는 거의
내보내지 않을 것입니다.
내보내지 않을 것입니다.
05:21
Which brings us to, really, the third
96
309163
2006
이것은 곧 세번째 요인을 초래하게 되는데
05:23
and most powerful incentive pushing decision-making
97
311169
3862
이는 인간의 의사 결정권을
05:27
away from humans and onto weapons:
98
315031
3342
무기로 옮기는
가장 강력한 요인입니다.
가장 강력한 요인입니다.
05:30
plausible deniability.
99
318373
3293
타당한 거부권이죠.
05:33
Now we live in a global economy.
100
321666
2887
지금 우리는 지구촌 경제에서
살고 있습니다.
살고 있습니다.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
첨단 기술 제조업은 대부분의 대륙에서
이뤄지고 있습니다.
이뤄지고 있습니다.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
사이버 스파이는 앞선 디자인을
몰래 빼돌려
몰래 빼돌려
05:43
to parts unknown,
103
331801
1886
미지의 곳으로 가져갑니다.
05:45
and in that environment, it is very likely
104
333687
2014
그런 환경 속에서, 가능성이 높은 일은
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
성공한 드론 디자인이
위탁 제조 공장에서 털리고
위탁 제조 공장에서 털리고
05:52
proliferate in the gray market.
106
340435
2170
암시장에서 확산되는 것입니다.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
그런 상황에서는, 자살 공격 드론의
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
잔해를 조사하더라도,
누가 보낸 무기인지
누가 보낸 무기인지
06:00
who sent that weapon.
109
348025
4400
단언하기 어려울 것입니다.
06:04
This raises the very real possibility
110
352425
2800
이것은 익명 전쟁을 실제 현실로
06:07
of anonymous war.
111
355225
2935
만들 수 있습니다.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
이는 지정학적 균형을
한쪽으로 기울게 하여
한쪽으로 기울게 하여
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
한 나라가 공격자에 대해
화력으로 대응하기 어렵게 하고,
화력으로 대응하기 어렵게 하고,
06:16
against an attacker, and that could shift the balance
114
364265
2848
그로 인해 21세기의 균형이
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
방어에서 공격 위주로
바뀔 수 있습니다.
바뀔 수 있습니다.
06:22
It could make military action a viable option
116
370877
3124
군사적 행동이
실행 가능한 선택이 되는데,
실행 가능한 선택이 되는데,
06:26
not just for small nations,
117
374001
2288
이는 작은 국가 뿐만 아니라
06:28
but criminal organizations, private enterprise,
118
376289
2545
범죄 집단, 민간 기업,
06:30
even powerful individuals.
119
378834
2479
심지어 권력있는 개인에게도
해당됩니다.
해당됩니다.
06:33
It could create a landscape of rival warlords
120
381313
3328
이는 군벌 경쟁의 구조를 형성하고
06:36
undermining rule of law and civil society.
121
384641
3680
법치와 시민사회를 훼손할 수 있습니다.
06:40
Now if responsibility and transparency
122
388321
3616
만약 책임과 투명성이
06:43
are two of the cornerstones of representative government,
123
391937
2384
대의 정치의 두 가지 주춧돌이라고 한다면,
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
무인 로봇 무기는
둘 다 훼손할 수 있습니다.
둘 다 훼손할 수 있습니다.
06:50
Now you might be thinking that
125
398641
1546
여러분은 이렇게 생각할 수도 있겠죠.
06:52
citizens of high-tech nations
126
400187
2246
첨단기술 국가의 국민이
06:54
would have the advantage in any robotic war,
127
402433
2703
어떤 로봇 전쟁에서나 더 유리할 것이고
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
그런 국가의 국민은 덜 위험할 거라고요.
07:00
particularly against developing nations.
129
408769
4288
특히 개발도상국에 비해서 말이죠.
07:05
But I think the truth is the exact opposite.
130
413057
3524
그러나 실제는 그 반대입니다.
07:08
I think citizens of high-tech societies
131
416581
2251
제 생각엔 첨단기술 사회의 시민이
07:10
are more vulnerable to robotic weapons,
132
418832
3729
로봇 무기에 더 취약합니다.
07:14
and the reason can be summed up in one word: data.
133
422561
4465
그 이유는 한 단어로 요약할 수 있죠.
데이터.
데이터.
07:19
Data powers high-tech societies.
134
427026
3481
데이터는 첨단기술 사회의 동력입니다.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
휴대전화 위치정보, 통신 메타데이터,
07:25
social media, email, text, financial transaction data,
136
433697
3472
소셜미디어, 이메일, 문자메세지,
금융 거래 데이터,
금융 거래 데이터,
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
교통 정보 등
풍부한 실시간 데이터가
풍부한 실시간 데이터가
07:32
on the movements and social interactions of people.
138
440701
3373
사람들의 행동과 사회적 상호 작용을
나타냅니다.
나타냅니다.
07:36
In short, we are more visible to machines
139
444074
3775
간단히 말해, 우리는
역사상 그 누구보다도
역사상 그 누구보다도
07:39
than any people in history,
140
447849
2242
기계에 더 많이 노출되고 있단 겁니다.
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
무인 무기의 표적 지정에 필요한 것에
꼭 들어맞습니다.
꼭 들어맞습니다.
07:47
What you're looking at here
142
455707
1738
여기 여러분이 보고 계신 것은
07:49
is a link analysis map of a social group.
143
457445
3246
한 사회 그룹의 관련성 분석 지도입니다.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
선은 개인 간의 사회적 연결망을
나타냅니다.
나타냅니다.
07:56
And these types of maps can be automatically generated
145
464325
2880
이런 유형의 지도는 자동으로
생성될 수 있습니다.
생성될 수 있습니다.
07:59
based on the data trail modern people leave behind.
146
467205
4715
현대인들이 남겨놓은
데이터 흔적에 바탕해서요.
데이터 흔적에 바탕해서요.
08:03
Now it's typically used to market goods and services
147
471920
2477
현재 이 데이터는 보통 상품과 서비스를
특정 인구에게
특정 인구에게
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
파는데 사용되지만, 이는
민군 겸용의 기술입니다.
민군 겸용의 기술입니다.
08:10
because targeting is used in another context.
149
478813
3360
'목표물 지정'은 또 다른 상황에서도
쓰이니까요.
쓰이니까요.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
일부 개인들이 강조된 게 보이십니까?
08:16
These are the hubs of social networks.
151
484733
3280
이들은 소셜 네트워크의 중추입니다.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
이들은 조직자, 여론 형성자, 리더들이며
08:23
and these people also can be automatically identified
153
491603
2682
이 사람들은 커뮤니케이션 패턴에 의해
08:26
from their communication patterns.
154
494285
2382
자동으로 식별되죠.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
만약 당신이 마케팅 담당자라면
그들을 목표로 삼아서
그들을 목표로 삼아서
08:30
with product samples, try to spread your brand
156
498813
2543
제품 샘플을 건네고
그들의 사회 집단을 통해
그들의 사회 집단을 통해
08:33
through their social group.
157
501356
2829
당신의 브랜드를 알리려 할 거에요.
08:36
But if you're a repressive government
158
504185
1953
하지만 만약 당신이 억압적 정부이고
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
정적을 찾고 있다면,
그들을 쫓아내거나 제거하여
그들을 쫓아내거나 제거하여
08:42
eliminate them, disrupt their social group,
160
510948
2760
그들의 사회 집단을 무너뜨릴 수 있으며
그로 인해 그 뒤에 남은 사람들은
08:45
and those who remain behind lose social cohesion
161
513708
3169
조직과 화합을 잃어버릴 것입니다.
08:48
and organization.
162
516877
2621
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
이제 저렴해지고 급증하는
로봇 무기의 세계에선
로봇 무기의 세계에선
08:54
borders would offer very little protection
164
522822
2635
멀리서 정부나 초국가적인 범죄 단체를
08:57
to critics of distant governments
165
525457
1946
비판하는 사람들을
08:59
or trans-national criminal organizations.
166
527403
3646
국경이 보호하지 못하게 됩니다.
09:03
Popular movements agitating for change
167
531049
3493
변화를 요구하는 민중 운동은
09:06
could be detected early and their leaders eliminated
168
534542
3609
일찌감치 발각되고, 그들의 리더들은
09:10
before their ideas achieve critical mass.
169
538151
2911
그들의 생각이 임계점에 도달하기 전에
제거될 거에요.
제거될 거에요.
09:13
And ideas achieving critical mass
170
541062
2591
임계점에 도달하는 아이디어는
09:15
is what political activism in popular government is all about.
171
543653
3936
민주 정치에서 정치 활동의 핵심입니다.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
익명의 치명적 무기는 모든 경쟁상대가
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
치명적 행동을 쉽게 선택하게 만듭니다.
09:27
And this would put a chill on free speech
174
555368
3734
이것은 민주주의의 핵심인
언론의 자유나
언론의 자유나
09:31
and popular political action, the very heart of democracy.
175
559102
5308
민중의 정치적 운동을
냉각시켜 버릴 겁니다.
냉각시켜 버릴 겁니다.
09:36
And this is why we need an international treaty
176
564410
2914
이 때문에 우리는 로봇 무기에 대한
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
국제 조약을 필요로 하며,
특히 국제적으로
특히 국제적으로
09:42
on the development and deployment of killer robots.
178
570864
3908
살인 로봇의 개발과 배포를
금지시켜야 합니다.
금지시켜야 합니다.
09:46
Now we already have international treaties
179
574772
3254
현재 우리는 이미 핵무기와
생화학 무기에 대한
생화학 무기에 대한
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
국제조약이 있습니다.
비록 완벽하지는 않지만,
비록 완벽하지는 않지만,
09:53
these have largely worked.
181
581412
2288
이들은 큰 역할을 했습니다.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
하지만 로봇 무기도 그에 못지않게
위험합니다.
위험합니다.
09:59
because they will almost certainly be used,
183
587468
3288
사용될 것이 거의 확실하고,
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
민주적 기구들을
좀먹을 것이기 때문이죠.
좀먹을 것이기 때문이죠.
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
2012년 11월, 미국 국방부는
10:11
issued a directive requiring
186
599251
2458
지시문을 발행하여
10:13
a human being be present in all lethal decisions.
187
601709
4519
모든 살상 결정에 인간이
참여할 것을 요구했습니다.
참여할 것을 요구했습니다.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
이는 일시적이지만 효과적으로
미군의 무인 무기 사용을 막았습니다만,
미군의 무인 무기 사용을 막았습니다만,
10:23
but that directive needs to be made permanent.
189
611004
3753
그 지시문은 영구화되어야 합니다.
10:26
And it could set the stage for global action.
190
614757
4376
이로써 국제적 입법의 기초를
마련할 수 있습니다.
마련할 수 있습니다.
10:31
Because we need an international legal framework
191
619133
3845
왜냐하면 우리는 로봇 무기에 관한
국제적인 법률 체계가
국제적인 법률 체계가
10:34
for robotic weapons.
192
622978
2138
필요하기 때문이죠.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
지금 당장 필요합니다.
엄청난 공격이나
엄청난 공격이나
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
테러리스트의 습격으로 인해
세계 국가들이
세계 국가들이
10:43
to rush to adopt these weapons
195
631196
1924
결과를 고려하지 않고
10:45
before thinking through the consequences.
196
633120
3771
이런 무기를 사용하게 되기
전에 말입니다.
전에 말입니다.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
무인 로봇 무기가 극소수에게
너무 큰 힘을 실어주고
너무 큰 힘을 실어주고
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
민주주의 자체를 위태롭게
할 수 있습니다.
할 수 있습니다.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
오해하지는 마세요. 저는
11:00
of great uses for unarmed civilian drones:
200
648841
2618
비무장 민간 드론의 쓰임새는
아주 많다고 생각합니다.
아주 많다고 생각합니다.
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
환경 감시, 수색과 구조,
물류지원 말이에요.
물류지원 말이에요.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
만약 로봇 무기에 대한
국제조약이 있다면,
국제조약이 있다면,
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
우리가 무인 드론과 무인 차량을
11:13
and vehicles while still protecting ourselves
204
661811
2648
잘 사용하면서, 우리 자신을
11:16
against illegal robotic weapons?
205
664459
3980
불법 로봇 무기로부터
보호하는 방법은 뭘까요?
보호하는 방법은 뭘까요?
11:20
I think the secret will be transparency.
206
668439
4741
그 비밀은 투명성이라고 생각합니다.
11:25
No robot should have an expectation of privacy
207
673180
3013
어떤 로봇도 공공장소에서
11:28
in a public place.
208
676193
3451
개인 정보를 수집해서는 안됩니다.
11:31
(Applause)
209
679644
5048
(박수)
11:36
Each robot and drone should have
210
684692
2045
각각의 로봇과 드론은
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
공장에서 새긴
암호화된 아이디가 있어야 합니다.
암호화된 아이디가 있어야 합니다.
11:41
that can be used to track its movement through public spaces.
212
689620
2923
공공장소에서 로봇의 움직임을
추적할 수 있도록 말이죠.
추적할 수 있도록 말이죠.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
자동차에 번호판이 있고
항공기에 고유번호가 있는 것과
항공기에 고유번호가 있는 것과
11:47
This is no different.
214
695924
1841
전혀 다를 게 없습니다.
11:49
And every citizen should be able to download an app
215
697765
2012
그리고 모든 시민이 앱을 다운로드하여
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
주위의 공공장소에서 작동되는
드론과 무인 차량의
드론과 무인 차량의
11:54
moving through public spaces around them,
217
702902
2429
수량을 확인할 수 있어야 합니다.
11:57
both right now and historically.
218
705331
2733
지금이나 역사적으로나 말이죠.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
시민 지도자는 센서와
민간 드론을 배치하여
민간 드론을 배치하여
12:03
to detect rogue drones,
220
711612
2344
악당 드론을 탐지해야 하고,
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
그걸 알아서 쏴 버릴 킬러 드론을
배치하는 대신
배치하는 대신
12:09
they should notify humans to their presence.
222
717132
2992
사람들에게 그들의 존재를
알려야 합니다.
알려야 합니다.
12:12
And in certain very high-security areas,
223
720124
2606
보안이 매우 철저한 특정구역에서는
12:14
perhaps civic drones would snare them
224
722730
1909
아마도 민간 무인기가 그걸 잡아서
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
폭탄 처리 공장에 버릴 수 있겠죠.
12:19
But notice, this is more an immune system
226
727480
3027
주의할 것은, 이것은 무기 체계라기보단
12:22
than a weapons system.
227
730507
1321
면역 체계에 더 가깝다는 점입니다.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
이는 우리가 무인 차량 및
드론을 사용하는데
드론을 사용하는데
12:26
of autonomous vehicles and drones
229
734420
2032
도움이 되는 동시에
12:28
while still preserving our open, civil society.
230
736452
4295
열린 시민사회를 유지하도록 해줄 거에요.
12:32
We must ban the deployment and development
231
740747
2999
우리는 살인 로봇의 개발과 배포를
12:35
of killer robots.
232
743746
1862
금지해야 합니다.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
자동화 전쟁의 유혹에
굴복하지 맙시다.
굴복하지 맙시다.
12:42
Autocratic governments and criminal organizations
234
750458
2718
독재 정부와 범죄 조직은
12:45
undoubtedly will, but let's not join them.
235
753176
2956
틀림없이 그럴 테지만,
거기에 합류하지 맙시다.
거기에 합류하지 맙시다.
12:48
Autonomous robotic weapons
236
756132
1891
무인 로봇 무기는
12:50
would concentrate too much power
237
758023
2051
극소수의 보이지 않는 손에
12:52
in too few unseen hands,
238
760074
2482
너무 많은 힘을 쥐어 줄 것입니다.
12:54
and that would be corrosive to representative government.
239
762556
3255
그리고 이것은
대의 정치를 부식시킵니다.
대의 정치를 부식시킵니다.
12:57
Let's make sure, for democracies at least,
240
765811
2961
이것만 확실히 합시다.
적어도 민주주의를 위하여,
적어도 민주주의를 위하여,
13:00
killer robots remain fiction.
241
768772
2604
살인 로봇은 공상으로 남아야 합니다.
13:03
Thank you.
242
771376
1110
감사합니다.
13:04
(Applause)
243
772486
4565
(박수)
13:09
Thank you. (Applause)
244
777051
4616
감사합니다. (박수)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com