TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
دنیل سوآرز: تصمیم برای کشتن نباید بر عهده‌ی یک ربات قرار بگیرد
Filmed:
Readability: 5.9
1,946,706 views
به عنوان یک نویسنده‌ی رمان، «دنیل سوآرز» داستان‌هایی جهنمی از آینده تعریف می‌کند. ولی روی صحنه‌ی TEDGlobal، او درباره‌ی سناریویی واقعی به ما می‌گوید که همگی باید بیشتر درباره‌اش بدانیم: ظهور سلاح‌های رباتیک خودکنترل‌شونده‌ی جنگ. او می‌گوید پهپادهای پیشرفته، سلاح‌های خودکنترل‌شونده و ابزارهای قدرت گرفته از هوش مصنوعی که اطلاعات را جمع‌آوری می‌کنند، می‌توانند خارج از اختیار انسان‌ها تصمیم برپایی جنگ بگیرند.
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
من داستان‌های مهیجِ علمی‌ـ‌تخیلی می‌نویسم،
00:15
so if I say "killer robots,"
1
3849
2193
در نتیجه اگه من بگم «ربات‌های قاتل»،
00:18
you'd probably think something like this.
2
6042
2361
احتمالاً فکرتون بره سمتِ چیزی مثلِ این.
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
اما واقعیتش من اینجا نیومدم تا درباره‌ی تخیل حرف بزنم.
00:22
I'm here to talk about very real killer robots,
4
10958
2948
من این‌جام تا درباره‌ی ربات‌های قاتلِ خیلی واقعی صحبت کنم؛
00:25
autonomous combat drones.
5
13906
3122
پهپادهای رزمیِ خودکار.
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
الآن موضوعِ صحبتِ من پهپادهای «شکارچی» یا «درنده» نیستن
00:32
which have a human making targeting decisions.
7
20655
3260
که در اون‌ها یک انسان تصمیماتِ هدف‌گیری رو انجام میده.
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
من در موردِ سلاح‌های رباتیکِ تمام‌خودکاری صحبت می‌کنم
00:39
that make lethal decisions about human beings
9
27044
2654
که در موردِ مرگِ انسان‌ها تصمیم می‌گیرن،
00:41
all on their own.
10
29698
2417
اون هم کاملاً تنها و مستقل.
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
در واقع یه اصطلاح فنی هم براش وجود داره: «استقلالِ عمل مرگبار».
00:48
Now, lethally autonomous killer robots
12
36115
2856
ربات‌های قاتلِ دارای استقلالِ عملِ مرگبار،
00:50
would take many forms -- flying, driving,
13
38971
3069
می‌تونن شکل‌های مختلفی داشته باشن ــ پرواز کنن، رو زمین حرکت کنن،
00:54
or just lying in wait.
14
42040
2746
یا این که صرفاً کمین بکنن.
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
و راستش اونا به‌سرعت دارن به واقعیت نزدیک میشن.
00:59
These are two automatic sniper stations
16
47895
2484
اینا دو تا پایگاهِ تیراندازیِ خودکارن
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
که در حالِ حاضر توی منطقه‌ی بی‌طرف بینِ کره‌ی شمالی و جنوبی به کار گرفته شدن.
01:06
Both of these machines are capable of automatically
18
54516
2171
هر دوی این ماشین‌ها این قابلیتو دارن که به طورِ خودکار
01:08
identifying a human target and firing on it,
19
56687
3524
یه هدفِ انسانی رو شناسایی كرده و بهش شلیک کنن،
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
بردِ اون سمتِ چپی حتی بیشتر از یک کیلومترست.
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
الآن در هر دو نمونه، هنوز یه آدم وجود داره
01:20
to make that lethal firing decision,
22
68124
2372
که در موردِ اون شلیکِ مرگبار تصمیم می‌گیره.
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
اما این یه الزامِ تکنولوژیک نیست، صرفاً یه انتخابه.
01:27
And it's that choice that I want to focus on,
24
75909
3093
و من می‌خوام درست روی همین «انتخاب» تمرکز کنم،
01:31
because as we migrate lethal decision-making
25
79002
2641
چون همین طور که ما گرفتنِ این تصمیمِ مرگبار رو
01:33
from humans to software,
26
81643
3109
از انسان‌ها به نرم‌افزار منتقل می‌کنیم،
01:36
we risk not only taking the humanity out of war,
27
84752
3476
نه تنها خطرِ گرفتنِ انسانیت از جنگ‌هامون رو می‌پذیریم،
01:40
but also changing our social landscape entirely,
28
88228
3526
بلکه کلِ چشم‌اندازِ اجتماعی‌مون رو تغییر میدیم،
01:43
far from the battlefield.
29
91754
2224
کاملاً سوای میدانِ جنگ.
01:45
That's because the way humans resolve conflict
30
93978
4509
به این دلیل که شیوه‌ای که انسان‌ها باهاش کشمکش‌هاشون رو حل‌وفصل می‌کنن،
01:50
shapes our social landscape.
31
98487
1733
چشم‌اندازِ اجتماعی‌مون رو شکل میده.
01:52
And this has always been the case, throughout history.
32
100220
2633
در طولِ تاریخ همیشه همین طور بوده.
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
برای مثال، اینها پیشرفته‌ترین سیستمِ تسلیحاتی
01:57
in 1400 A.D.
34
105514
2079
در سده‌ی ۱۴۰۰ پس از میلاد بودند.
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
هم ساختن و هم نگهداریِ اون‌ها بسیار پرهزینه بود،
02:02
but with these you could dominate the populace,
36
110737
3240
اما با داشتنِ اون‌ها شما می‌تونستین به توده‌ی مردم مسلط بشین،
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
و توزیعِ قدرتِ سیاسی در جامعه‌ی فئودالی هم همین رو منعکس می‌کرد.
02:09
Power was focused at the very top.
38
117866
2687
قدرت در بالاترین نقطه متمرکز شده بود.
02:12
And what changed? Technological innovation.
39
120553
3528
و بعد چه تغییری ایجاد شد؟ نوآوری در تکنولوژی.
02:16
Gunpowder, cannon.
40
124081
1871
باروت، توپ.
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
و خیلی زود زره‌ها و قلعه‌ها از دور خارج شدند،
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
و این که شما «چه کسی» رو به میدانِ نبرد می‌فرستادید
02:24
versus how many people you brought to the battlefield.
43
132302
3779
اهمیتش کمتر شد در برابر این که شما «چند نفر» رو به میدان نبرد می‌فرستادین.
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
پس همین طور که اندازه‌ی ارتش‌ها بزرگتر می‌شد،
02:31
as a political and logistical requirement of defense.
45
139719
3680
دولت‌ـ‌ملت به مثابه یک الزامِ سیاسی و پشتیبانی برای دفاع پدید اومد.
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
و همون طور که رهبرها مجبور بودن به تعدادِ نفراتِ بیشتری از مردم‌شون تکیه بکنن،
02:37
they began to share power.
47
145775
1833
شروع به تقسیمِ قدرت با اون‌ها کردن.
02:39
Representative government began to form.
48
147608
2599
دولت‌های انتخابی شروع به شکل‌گیری کردند.
02:42
So again, the tools we use to resolve conflict
49
150207
3288
پس مجدداً، ابزارهایی که ما از اونا برای حل و فصلِ منازعه‌ها استفاده می‌کنیم،
02:45
shape our social landscape.
50
153495
3304
چشم‌اندازِ اجتماعیِ ما رو شکل میدن.
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
سلاح‌های رباتیکِ خودکار هم یک چنین ابزاری هستند،
02:52
except that, by requiring very few people to go to war,
52
160863
5168
اما چون با استفاده از اون‌ها، به عده‌ی بسیار اندکی برای رفتن به جنگ نیاز داریم،
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
این خطر وجود داره که دوباره قدرت در دستِ افراد بسیار کمی متمرکز بشه.
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
و ممکنه این ابزار روندِ پنج‌ـ‌سده‌ای به سمتِ دموکراسی رو معکوس بکنه.
03:09
Now, I think, knowing this,
55
177386
1757
من فکر می‌کنم با دونستنِ این موضوع،
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
می‌تونیم قدم‌های سرنوشت‌سازی رو برای حفظِ نهادهای دموکراتیک‌مون برداریم،
03:15
to do what humans do best, which is adapt.
57
183495
3979
برای انجامِ کاری که انسان‌ها از همه بهتر انجامش میدن، «تطبیق پیدا کردن».
03:19
But time is a factor.
58
187474
2005
اما عاملِ زمان رو نباید فراموش کنیم.
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
هفتاد کشور دارن به طورِ جداگانه
03:24
combat drones of their own,
60
192330
2157
پهپادهای رزمیِ هدایتـازـدور رو توسعه میدن،
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
و همون طور که خواهید دید، این پهپادهای هدایتـازـدور
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
پیش‌درآمدِ تسلیحاتِ رباتیکِ خودکنترل هستن.
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
دلیلش اینه که زمانی که شما از پهپادهای هدایتـازـدور استفاده می‌کنید،
03:36
there are three powerful factors pushing decision-making
64
204319
3384
سه عاملِ قدرتمند وجود دارن که باعثِ انتقالِ تصمیم‌گیری
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
از انسان‌ها به خودِ سامانه‌ی تسلیحاتی میشن.
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
عاملِ اول حجمِ انبوهِ ویدیوهاییه که پهپادها تولید می‌کنن.
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
برای مثال، در سالِ ۲۰۰۴، ناوگانِ پهپادهای ایالاتِ متحده
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
روی‌هم رفته ۷۱ ساعت ویدیوی نظارتی تولید کرده بود.
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
تا سالِ ۲۰۱۱ این رقم به ۳۰۰,۰۰۰ ساعت رسید،
04:03
outstripping human ability to review it all,
70
231226
3149
که بازبینیِ تمامِ اون‌ها فراتر از توانِ انسان بود،
04:06
but even that number is about to go up drastically.
71
234375
3664
اما حتی همین مقدار هم داره شدیداً افزایش پیدا می‌کنه.
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
برنامه‌های Gorgon Stare و Argus ِ پنتاگون
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
۶۵ دوربینِ مستقل از هم رو
04:15
on each drone platform,
74
243778
2038
روی هر پهپاد سوار خواهند کرد،
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
که بازبینیِ این حجمِ عظیم کاملاً فراتر از توانِ انسان خواهد بود.
04:21
And that means visual intelligence software will need
76
249119
2160
و این معنی‌ش اینه که نیازمندِ نرم‌افزارهای هوشِ بصری خواهیم بود
04:23
to scan it for items of interest.
77
251279
4048
تا این داده‌ها رو به‌دنبالِ مواردِ موردِ نظر مرور بکنن.
04:27
And that means very soon
78
255327
1348
و این به این معنى هست که به زودی
04:28
drones will tell humans what to look at,
79
256675
2747
این پهپادها هستند که به انسان‌ها میگن به چی نگاه کنن،
04:31
not the other way around.
80
259422
2497
بی برو برگرد.
04:33
But there's a second powerful incentive pushing
81
261919
2473
اما یه انگیزه‌ی قویِ دیگه هم وجود داره
04:36
decision-making away from humans and onto machines,
82
264392
3383
که بارِ تصمیم‌گیری رو از انسان‌ها برمی‌داره و به ماشین‌ها منتقل می‌کنه،
04:39
and that's electromagnetic jamming,
83
267775
2872
و اون پارازیتِ الکترومغناطیسیه،
04:42
severing the connection between the drone
84
270647
2236
که ارتباطِ بینِ پهپاد و اُپراتورش رو
04:44
and its operator.
85
272883
2814
قطع می‌کنه.
04:47
Now we saw an example of this in 2011
86
275697
2618
یه مثال از این موضوع رو در سال ۲۰۱۱ دیدیم،
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
جایی که پهپادِ آمریکاییِ دیده‌بانی «RQ-170»
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
به واسطه‌ی یه حمله‌ی «جعلِ جیپیاس» بر فرازِ ایران کمی سردرگم شد،
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
اما هر پهپادِ هدایت‌ـ‌ازـ‌دوری در معرضِ این نوع حمله قرار داره،
05:02
and that means drones
90
290692
2052
و این یعنی پهپادها مجبور خواهند شد
05:04
will have to shoulder more decision-making.
91
292744
3620
که بارِ تصمیم‌گیریِ بیشتری رو بر عهده بگیرن.
05:08
They'll know their mission objective,
92
296364
3043
اون‌ها هدفِ ماموریت‌شون رو خواهند دونست،
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
و بدونِ هدایتِ انسان نسبت به شرایطِ جدید واکنش نشون خواهند داد.
05:16
They'll ignore external radio signals
94
304252
2581
اون‌ها سیگنال‌های رادیوییِ خارجی رو نادیده می‌گیرن
05:18
and send very few of their own.
95
306833
2330
و خودشون هم سیگنال‌های بسیار کمی رو ارسال می‌کنن.
05:21
Which brings us to, really, the third
96
309163
2006
و در واقع، می‌رسیم به سومین
05:23
and most powerful incentive pushing decision-making
97
311169
3862
و قوی‌ترین عاملی که بارِ تصمیم‌گیری رو
05:27
away from humans and onto weapons:
98
315031
3342
از انسان‌ها به سمتِ اسلحه‌ها سوق میده:
05:30
plausible deniability.
99
318373
3293
«انکارِ موجّه».
05:33
Now we live in a global economy.
100
321666
2887
ما امروز در یک اقتصادِ جهانی زندگی می‌کنیم.
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
تولیداتِ های‌تک (فناوری پیشرفته) داره در بیشترِ قاره‌ها انجام میشه.
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
جاسوسیِ سایبری در حالِ ربودنِ طراحی‌های پیشرفته
05:43
to parts unknown,
103
331801
1886
برای طرف‌های نامعلومه،
05:45
and in that environment, it is very likely
104
333687
2014
و در این محیط، احتمالِ خیلی زیادی داره که
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
یه طراحیِ موفقیت‌آمیز پهپاد توی کارخونه‌های طرفِ قرارداد سرِ هم بشه،
05:52
proliferate in the gray market.
106
340435
2170
و توی بازارِ خاکستری پخش بشه.
05:54
And in that situation, sifting through the wreckage
107
342605
2460
و در چنین شرایطی، وقتی داریم بقایای حمله‌ی انتحاریِ یک پهپاد رو
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
موشکافی می‌کنیم، خیلی سخت خواهد بود که بفهمیم
06:00
who sent that weapon.
109
348025
4400
چه کسی اون سلاح رو فرستاده.
06:04
This raises the very real possibility
110
352425
2800
بدین ترتیب احتمال کاملا واقعیِ رخ دادنِ
06:07
of anonymous war.
111
355225
2935
یک «جنگِ ناشناس» رو زیاد می‌کنه.
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
این می‌تونه موازنه‌ی ژئوپولیتیک رو واژگون کنه،
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
و دیگه برای یک ملت بسیار دشوار خواهد بود که قدرتِ آتش خودش رو
06:16
against an attacker, and that could shift the balance
114
364265
2848
به سمتِ مهاجم نشونه بره و اون می‌تونه
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
موازنه‌ی قرنِ ۲۱ رو از دفاع به تهاجم سوق بده.
06:22
It could make military action a viable option
116
370877
3124
بدین ترتیب، اقدامِ نظامی به یک گزینه‌ی قابلِ اجرا تبدیل میشه،
06:26
not just for small nations,
117
374001
2288
نه فقط برای کشورهای کوچیک
06:28
but criminal organizations, private enterprise,
118
376289
2545
بلکه همچنین برای سازمان‌های جنایتکار، شرکت‌های خصوصی
06:30
even powerful individuals.
119
378834
2479
و حتی اشخاص قدرتمند.
06:33
It could create a landscape of rival warlords
120
381313
3328
این می‌تونه چشم‌اندازی از جنگ‌سالارانِ رقیبِ هم رو ایجاد کنه
06:36
undermining rule of law and civil society.
121
384641
3680
که حاکمیتِ قانون و جامعه‌ی مدنی رو تضعیف می‌کنه.
06:40
Now if responsibility and transparency
122
388321
3616
حالا اگه پاسخ‌گویی و شفافیت
06:43
are two of the cornerstones of representative government,
123
391937
2384
دو شالوده‌ی یک دولتِ انتخابی باشن،
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
تسلیحاتِ رباتیکِ خودکار می‌تونن هر دو رو سست بکنن.
06:50
Now you might be thinking that
125
398641
1546
شاید الآن دارین فکر می‌کنین که
06:52
citizens of high-tech nations
126
400187
2246
شهروندانِ کشورهای فوقِ پیشرفته
06:54
would have the advantage in any robotic war,
127
402433
2703
توی هر جنگِ رباتیک از این مزیت برخوردارن
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
که آسیب‌پذیریِ کمتری دارن،
07:00
particularly against developing nations.
129
408769
4288
به‌خصوص نسبت به کشورهای در حالِ توسعه.
07:05
But I think the truth is the exact opposite.
130
413057
3524
اما من فکر می‌کنم که حقیقت درست عکسِ اینه.
07:08
I think citizens of high-tech societies
131
416581
2251
من فکر می‌کنم که شهروندانِ جوامعِ فوقِ پیشرفته
07:10
are more vulnerable to robotic weapons,
132
418832
3729
نسبت به تسلیحاتِ رباتیک آسیب‌پذیرتر هستن.
07:14
and the reason can be summed up in one word: data.
133
422561
4465
و دلیلش رو میشه در یک کلمه خلاصه کرد: دیتا (داده).
07:19
Data powers high-tech societies.
134
427026
3481
دیتا به جوامعِ فوقِ پیشرفته نیرو میده.
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
موقعیتِ جغرافیاییِ تلفنِ همراه، فراداده‌های مخابراتی،
07:25
social media, email, text, financial transaction data,
136
433697
3472
رسانه‌های اجتماعی، ایمیل، پیامک، داده‌های تراکنش‌های مالی،
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
داده‌های حمل‌ونقل، اینها گنجینه‌ای از داده‌های بلادرنگ
07:32
on the movements and social interactions of people.
138
440701
3373
درباره‌ی جابه‌جایی‌ها و تعاملاتِ اجتماعیِ مردم هستن.
07:36
In short, we are more visible to machines
139
444074
3775
خلاصه‌ی کلام، ما بیشتر از هر مردمِ دیگه‌ای در طولِ تاریخ،
07:39
than any people in history,
140
447849
2242
برای ماشین‌ها قابلِ رؤیت هستیم،
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
و این درست همون چیزیه که سلاح‌های خودکنترل برای هدف‌گیری بهش نیاز دارن.
07:47
What you're looking at here
142
455707
1738
چیزی که اینجا دارین می‌بینین،
07:49
is a link analysis map of a social group.
143
457445
3246
نقشه‌ی تحلیل ارتباط یک گروه اجتماعیه.
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
خط‌ها متصل بودن اجتماعی بین اشخاص رو نشون میده.
07:56
And these types of maps can be automatically generated
145
464325
2880
و این نوع نقشه‌ها می‌تونن به صورت اتوماتیک بر اساس ردپای داده‌هایی
07:59
based on the data trail modern people leave behind.
146
467205
4715
که مردم امروزی به جا می‌ذارن ایجاد بشن.
08:03
Now it's typically used to market goods and services
147
471920
2477
این معمولا برای بازاریابی کالاها و خدمات برای جوامع هدف
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
استفاده میشه، ولی این یه فناوری دو-لبه است،
08:10
because targeting is used in another context.
149
478813
3360
چون هدف گرفتن در مفهوم دیگه‌ای هم استفاده میشه.
08:14
Notice that certain individuals are highlighted.
150
482173
2560
دقت کنین که افراد خاصی پررنگ شده‌اند.
08:16
These are the hubs of social networks.
151
484733
3280
اینها مراکز شبکه‌های اجتماعی هستن.
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
اینها سازمان‌دهنده، تاثیرگذار و رهبر هستند،
08:23
and these people also can be automatically identified
153
491603
2682
و این افراد هم می‌تونن به صورت اتوماتیک ازطریقِ
08:26
from their communication patterns.
154
494285
2382
الگوی ارتباطاتشون شناسایی بشن.
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
حالا اگه شما یه بازاریاب هستین، پس شما هم ممکنه اون‌ها رو با
08:30
with product samples, try to spread your brand
156
498813
2543
نمونه‌ی محصولات هدف بگیرین و سعی کنین که نشان تجاریتون رو
08:33
through their social group.
157
501356
2829
از طریق گروه اجتماعی اون‌ها گسترش بدین.
08:36
But if you're a repressive government
158
504185
1953
ولی اگه شما یه دولت سرکوبگر باشین
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
که به دنبال دشمنان سیاسی می‌گرده، به جاش ممکنه اونارو حذف کنید،
08:42
eliminate them, disrupt their social group,
160
510948
2760
نابودشون کنین، توی گروه اجتماعیشون ازهم گسیختگی ایجاد کنین،
08:45
and those who remain behind lose social cohesion
161
513708
3169
و اونایی هم که باقی می‌مونن پیوستگی و سازمان‌دهی اجتماعی
08:48
and organization.
162
516877
2621
رو از دست میدن.
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
حالا توی دنیایی از سلاح‌های رباتیک ارزون و در حالا گسترش،
08:54
borders would offer very little protection
164
522822
2635
مرزها حفاظت خیلی کمی رو در برابر
08:57
to critics of distant governments
165
525457
1946
تهدیدات کشورهای دور یا
08:59
or trans-national criminal organizations.
166
527403
3646
سازمان‌های جنایتکار فَرا-ملّی فراهم می‌کنن.
09:03
Popular movements agitating for change
167
531049
3493
جنبش‌های مردمیِ به دنبال تغییر
09:06
could be detected early and their leaders eliminated
168
534542
3609
می‌تونن زود شناسایی بشن و رهبرانشون قبل از این که
09:10
before their ideas achieve critical mass.
169
538151
2911
تفکراتشون ارزش و بار حساس و حیاتی پیدا کنه نابود بشن.
09:13
And ideas achieving critical mass
170
541062
2591
و تفکراتی که دارن ارزش مهمی پیدا می‌کنن،
09:15
is what political activism in popular government is all about.
171
543653
3936
در واقع همون چیزیه که توی دولت مردمی، فعالیت سیاسی بهش می‌پردازه.
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
سلاح‌های مرگبار ناشناس می‌تونن حرکت مهلک انجام بدن
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
انتخابی آسان برای همه‌ی انواع علائق مورد رقابت.
09:27
And this would put a chill on free speech
174
555368
3734
و این می‌تونه آزادی بیان و حرکت‌های سیاسی مردمی
09:31
and popular political action, the very heart of democracy.
175
559102
5308
رو دل‌سرد کنه، چیزایی که اساس دموکراسی هستن.
09:36
And this is why we need an international treaty
176
564410
2914
و به همین دلیله که به یك عهدنامه‌ی بین‌المللی در رابطه با
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
سلاح‌های رباتیک نیاز داریم، و به طور مشخصص‌تر یه منع بین‌المللی
09:42
on the development and deployment of killer robots.
178
570864
3908
برای گسترش و به‌کارگیری ربات‌های کشنده.
09:46
Now we already have international treaties
179
574772
3254
ما الآن تعهدهای بین‌المللی در رابطه با
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
سلاح‌های هسته‌ای و بیولوژیک داریم، که با وجود نقص‌هایی،
09:53
these have largely worked.
181
581412
2288
باز هم به طور گسترده‌ای کار کرده و تاثیرگذار بوده‌اند.
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
ولی سلاح‌های رباتیک می‌تونن به همون اندازه خطرناک باشن،
09:59
because they will almost certainly be used,
183
587468
3288
چون اون‌ها تقریبا با قطعیت میشه گفت که استفاده خواهند شد،
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
و همچنین می‌تونن برای نهادهای دموکراتیک ما نابود کننده باشن،
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
در نوامبر ۲۰۱۲ وزارت دفاع ایالات متحده
10:11
issued a directive requiring
186
599251
2458
بخشنامه‌ای صادر کرد که می‌گه در
10:13
a human being be present in all lethal decisions.
187
601709
4519
تمامی تصمیمات منجر به مرگ یک انسان باید حاضر باشه.
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
این دستور موقتا و به طور تاثیرگذاری سلاح‌های خودکنترل رو در ارتش ایالات متحده ممنوع کرد،
10:23
but that directive needs to be made permanent.
189
611004
3753
ولی اون بخشنامه باید دائمی بشه.
10:26
And it could set the stage for global action.
190
614757
4376
و می‌تونه زمینه رو برای اقدام جهانی فراهم کنه.
10:31
Because we need an international legal framework
191
619133
3845
چون نیاز به چهارچوبی بین‌المللی و قانونی
10:34
for robotic weapons.
192
622978
2138
برای سلاح‌های رباتیک دارم.
10:37
And we need it now, before there's a devastating attack
193
625116
2928
و همین حالا هم بهش نیاز داریم، قبل از این که حمله‌ای ویران‌کننده به وقوع بپیونده
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
یا یک حادثه‌ی تروریستی‌ای رخ بده که باعث بشه ملل جهان
10:43
to rush to adopt these weapons
195
631196
1924
بدون فکر کردن درباره‌ی پیامدهاش
10:45
before thinking through the consequences.
196
633120
3771
بخوان که از این سلاح‌ها استفاده بشه.
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
سلاح‌های رباتیک خودکنترل قدرت بسیار زیادی رو در دستان افراد بسیار اندکی
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
متمرکز می‌کنن که این خودش باعث به خطر افتادن دموکراسی میشه.
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
حالا، منظورم رو اشتباه برداشت نکنید، فکر می‌کنم هزاران کاربرد عالی
11:00
of great uses for unarmed civilian drones:
200
648841
2618
برای پهپادهای غیرمسلح غیرنظامی وجود داره:
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
مونیتور کردن شرایط محیط زیستی، جستجو و نجات، تدارکات.
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
اگه یه عهدنامه‌ی بین‌المللی در رابطه با سلاح‌های رباتیک داشته باشیم،
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
چطور از مزایای پهپادها و وسایط نقلیه‌ی خودکنترل بهره ببریم
11:13
and vehicles while still protecting ourselves
204
661811
2648
در همون حال که از خودمون هم در برابر سلاح‌های رباتیک غیرقانونی
11:16
against illegal robotic weapons?
205
664459
3980
محافظت می‌کنیم؟
11:20
I think the secret will be transparency.
206
668439
4741
فکر می‌کنم رازش «شفافیت» خواهد بود.
11:25
No robot should have an expectation of privacy
207
673180
3013
هیچ رباتی نباید توقع حریم خاص خودش رو
11:28
in a public place.
208
676193
3451
در یه مکان عمومی داشته باشه.
11:31
(Applause)
209
679644
5048
(تشویق حضار)
11:36
Each robot and drone should have
210
684692
2045
هر ربات و پهپاد باید یک ID
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
با امضای رمزنگاری شده که در کارخونه روی اون ثبت شده داشته باشه که
11:41
that can be used to track its movement through public spaces.
212
689620
2923
بتونه برای ردیابی حرکاتش در فضاهای عمومی استفاده بشه.
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
ما پلاک‌های شماره رو روی ماشین‌ها و هواپیماها داریم.
11:47
This is no different.
214
695924
1841
این هم تفاوتی نداره.
11:49
And every citizen should be able to download an app
215
697765
2012
و هر شهروندی باید بتونه یک برنامه رو دانلود کنه
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
که تراکم پهپادها و وسایط نقلیه‌ی خودکنترل رو که در فضای عمومی اطراف اون‌ها
11:54
moving through public spaces around them,
217
702902
2429
هم الآن و هم در گذشته
11:57
both right now and historically.
218
705331
2733
دارن حرکت می‌کنن نشون بده.
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
و مدیران شهری باید حسگرها و پهپادهای شهری رو برای
12:03
to detect rogue drones,
220
711612
2344
کشف پهپادهای ولگرد به کار بگیرن،
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
و به جای فرستادن پهپادهایی کشنده از نوع خودشون که برن و اونارو سرنگون کنن،
12:09
they should notify humans to their presence.
222
717132
2992
باید مردم رو از وجود اون‌ها آگاه کنن.
12:12
And in certain very high-security areas,
223
720124
2606
و در مناطق خیلی فوق‌امنیتی خاص،
12:14
perhaps civic drones would snare them
224
722730
1909
شاید ربات‌های شهری اونارو به تله بندازن
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
و اونا رو تا یک محل انهدام بمب ببرن.
12:19
But notice, this is more an immune system
226
727480
3027
ولی دقت کنین، این بیشتر یک سیستم ایمنی‌‌ست
12:22
than a weapons system.
227
730507
1321
تا یه سیستم تسلیحاتی.
12:23
It would allow us to avail ourselves of the use
228
731828
2592
این به ما اجازه خواهد داد تا به خودمون با استفاده از
12:26
of autonomous vehicles and drones
229
734420
2032
وسایط نقلیه‌ی خودکنترل و پهپادها سود برسونیم
12:28
while still preserving our open, civil society.
230
736452
4295
در همون حال که همچنان از جامعه‌ی مدنی و آزاد خودمون حفاظت می‌کنیم.
12:32
We must ban the deployment and development
231
740747
2999
ما باید استفاده و گسترش ربات‌های کشنده رو
12:35
of killer robots.
232
743746
1862
ممنوع کنیم.
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
بیاین تسلیم وسوسه‌ی جنگ خودکار نشیم.
12:42
Autocratic governments and criminal organizations
234
750458
2718
دولت‌های استبدادی و سازمان‌های جنایتکار بدون شک این کارو خواهند کرد،
12:45
undoubtedly will, but let's not join them.
235
753176
2956
ولی بیاین ما دیگه به اون‌ها ملحق نشیم.
12:48
Autonomous robotic weapons
236
756132
1891
سلاح‌های رباتیک خودکنترل
12:50
would concentrate too much power
237
758023
2051
قدرت بسیار زیادی رو در دستان افراد ناشناسِ
12:52
in too few unseen hands,
238
760074
2482
بسیار اندکی متمرکز می‌کنن،
12:54
and that would be corrosive to representative government.
239
762556
3255
و این برای حکومت منتخب مردم نابودگر خواهد بود.
12:57
Let's make sure, for democracies at least,
240
765811
2961
بیاین مطمئن بشیم که، حداقل برای دموکراسی‌ها،
13:00
killer robots remain fiction.
241
768772
2604
ربات‌های کشنده تخیلی باقی بمونن.
13:03
Thank you.
242
771376
1110
ممنونم.
13:04
(Applause)
243
772486
4565
(تشویق حضار)
13:09
Thank you. (Applause)
244
777051
4616
ممنونم. (تشویق حضار)
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com