13:21
TEDGlobal 2013

Daniel Suarez: The kill decision shouldn't belong to a robot

ダニエル・スアレース: 人殺しの決定をロボットに任せてはいけない

Filmed:

ダニエル・スアレースが普段小説家として描き出しているのは悲観的未来像ですが、TEDGlobalのステージで彼が語るのは私達がもっと知らなければならない現実のシナリオ、自律的ロボット兵器の台頭です。最新鋭のドローン、自動兵器、人工知能搭載の諜報ツールなどが、人の手を離れて自ら決断を下す可能性を彼は示しています。

- Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio

I write fiction sci-fi thrillers,
私はSFスリラーの
小説家です
00:12
so if I say "killer robots,"
その私が「殺人ロボット」
と言ったら
00:15
you'd probably think something like this.
おそらく こんな感じのものを
想像されるでしょう
00:18
But I'm actually not here to talk about fiction.
でも 今日はフィクションの話を
しに来たのではありません
00:20
I'm here to talk about very real killer robots,
まさに現実化している
「殺人ロボット」―
00:22
autonomous combat drones.
そう 完全自律型の戦闘ドローンのことを
話しに来ました
00:25
Now, I'm not referring to Predator and Reaper drones,
ご存知のプレデター型や
リーパー型のことではありません
00:29
which have a human making targeting decisions.
これらの無人機は 標的の決定を
人間が行っています
00:32
I'm talking about fully autonomous robotic weapons
私は完全自律型のロボット兵器のことを
言っているんです
00:35
that make lethal decisions about human beings
このロボット兵器は
人間殺害の決定を
00:39
all on their own.
ロボット自体が行います
00:41
There's actually a technical term for this: lethal autonomy.
実は これを指す専門用語もあります
「完全自律型殺傷機能」です
00:44
Now, lethally autonomous killer robots
「完全自律型殺傷機能」を持つ
殺人ロボットは
00:48
would take many forms -- flying, driving,
多様な姿で現れます
飛行し 走行し あるいは
00:50
or just lying in wait.
待ち伏せするような
ものもあるでしょう
00:54
And actually, they're very quickly becoming a reality.
実は これらのロボットは
急速に現実のものとなりつつあります
00:56
These are two automatic sniper stations
この2種類の
自動狙撃装置は
00:59
currently deployed in the DMZ between North and South Korea.
現在 北朝鮮との非武装地帯の
韓国側に配備されています
01:02
Both of these machines are capable of automatically
この機械はどちらも
攻撃対象となる—
01:06
identifying a human target and firing on it,
人間を自動的に特定し
銃撃する機能があります
01:08
the one on the left at a distance of over a kilometer.
左側のものには
1キロ以上の射程があります
01:12
Now, in both cases, there's still a human in the loop
現在のところは どちらの機械でも
射殺決定の枠組みに
01:16
to make that lethal firing decision,
今のところは
人間が介在しています
01:20
but it's not a technological requirement. It's a choice.
しかし 技術的には人を要するわけではなく
そこに人を介在させる選択をしたわけです
01:22
And it's that choice that I want to focus on,
この選択こそが
今日 私が焦点を当てたいことです
01:27
because as we migrate lethal decision-making
なぜなら この
殺人の意思決定が
01:31
from humans to software,
人間からソフトウェアに
移行しつつあって
01:33
we risk not only taking the humanity out of war,
それは 戦争から人間性を
取り去ってしまうだけでなく
01:36
but also changing our social landscape entirely,
戦場から遠く隔たった
社会の情勢をも
01:40
far from the battlefield.
変えてしまう危険が
あるからです
01:43
That's because the way humans resolve conflict
なぜなら人間が対立を解決する方法によって
私たちを取り巻く社会情勢が
01:45
shapes our social landscape.
形成されるからです
01:50
And this has always been the case, throughout history.
歴史上ずっと
そうやって形成されてきたのです
01:52
For example, these were state-of-the-art weapons systems
たとえば 西暦1400年には
これが最先端の―
01:54
in 1400 A.D.
兵器システムでした
01:57
Now they were both very expensive to build and maintain,
両方とも 作るのも維持するのも
とても高く付きましたが
01:59
but with these you could dominate the populace,
これがあれば民衆を
支配できました
02:02
and the distribution of political power in feudal society reflected that.
封建社会の政治権力の分布は
誰が武力を持つかを反映し
02:05
Power was focused at the very top.
力は権力のトップにいる人に
集中していたのです
02:09
And what changed? Technological innovation.
それから何が変わったのでしょう?
技術革新です
02:12
Gunpowder, cannon.
火薬 大砲
02:16
And pretty soon, armor and castles were obsolete,
すぐに 甲冑と城は
時代遅れになりました
02:17
and it mattered less who you brought to the battlefield
戦場に誰を連れて行くかは
重要でなくなり
02:21
versus how many people you brought to the battlefield.
戦場にどれだけの人数を
送り込めるかが重要になりました
02:24
And as armies grew in size, the nation-state arose
軍隊の人数が増えるようになると
防衛のための—
02:28
as a political and logistical requirement of defense.
政治的 物流的な要請から
国家が必要となりました
02:31
And as leaders had to rely on more of their populace,
指導者は民衆に
依存する必要が出てきて
02:35
they began to share power.
力が共有されるようになりました
02:37
Representative government began to form.
そして代議制が
形成されだします
02:39
So again, the tools we use to resolve conflict
ここでもまた
対立解消にどんな手段を取るかが
02:42
shape our social landscape.
私たちを取り巻く社会情勢を
形作っています
02:45
Autonomous robotic weapons are such a tool,
自律ロボット兵器も
そのような手段の1つです
02:48
except that, by requiring very few people to go to war,
ただ戦争を始めるのに
非常に少数の人間しか必要としないため
02:52
they risk re-centralizing power into very few hands,
ごく少数の人の手に力を
再び集中させるリスクがあります
02:58
possibly reversing a five-century trend toward democracy.
民主化の流れを 5世紀分ほど
逆戻りさせてしまうかもしれません
03:02
Now, I think, knowing this,
でも 私たちが
03:09
we can take decisive steps to preserve our democratic institutions,
このリスクを理解していれば
民主主義制度を守るための断固たる措置を取れます
03:11
to do what humans do best, which is adapt.
人間が長けている能力によって—
すなわち適応力です
03:15
But time is a factor.
しかし タイミングが
重要です
03:19
Seventy nations are developing remotely-piloted
70の国が遠隔操縦可能な―
03:21
combat drones of their own,
戦闘ドローンを
独自に開発しています
03:24
and as you'll see, remotely-piloted combat drones
おわかりと思いますが
遠隔操作戦闘ドローンは
03:26
are the precursors to autonomous robotic weapons.
自律ロボット兵器を
作り始める前兆です
03:29
That's because once you've deployed remotely-piloted drones,
なぜなら遠隔操作の無人機が
03:33
there are three powerful factors pushing decision-making
一旦配備されてしまうと
意思決定を人の手から
03:36
away from humans and on to the weapon platform itself.
兵器そのものへと押しやることになる
大きな要因が3つあるからです
03:39
The first of these is the deluge of video that drones produce.
1つ目の要因は
無人機が撮影するビデオが膨大になることです
03:44
For example, in 2004, the U.S. drone fleet produced
たとえば 2004 年に
米国のドローン軍団が撮影した
03:49
a grand total of 71 hours of video surveillance for analysis.
分析が必要な偵察映像は
総計71 時間でした
03:53
By 2011, this had gone up to 300,000 hours,
それが2011 年には 30万時間へと
増えたのです
03:58
outstripping human ability to review it all,
すべてを確認するのは
人間の能力を超えてしまいました
04:03
but even that number is about to go up drastically.
しかも この時間はまだまだ
増加しそうです
04:06
The Pentagon's Gorgon Stare and Argus programs
米国防総省のゴルゴンステアや
アーガスという計画では
04:10
will put up to 65 independently operated camera eyes
最大65個の独立した
カメラの目を
04:12
on each drone platform,
個々のドローンに付けるもので
04:15
and this would vastly outstrip human ability to review it.
これは人間が確認できる量を
大幅に上回るものとなります
04:17
And that means visual intelligence software will need
こうなると
関心を引く対象を発見するために
04:21
to scan it for items of interest.
視覚情報分析ソフトの力が
必要になります
04:23
And that means very soon
これは じきにドローンが
04:27
drones will tell humans what to look at,
注目すべき所を人間に
指示するようになるということで
04:28
not the other way around.
人間側からではありません
04:31
But there's a second powerful incentive pushing
意思決定を
人間から機械へと
04:33
decision-making away from humans and onto machines,
強く推しやる
2つ目の要因は
04:36
and that's electromagnetic jamming,
電磁波による妨害です
04:39
severing the connection between the drone
妨害されると
ドローンと遠隔操作者の間の
04:42
and its operator.
通信が途切れてしまいます
04:44
Now we saw an example of this in 2011
2011年に これが起こった
例がありました
04:47
when an American RQ-170 Sentinel drone
アメリカ軍の RQ-170
センチネル ドローンが
04:50
got a bit confused over Iran due to a GPS spoofing attack,
イラン軍による GPS 信号のなりすまし攻撃で
混乱させられたのです
04:53
but any remotely-piloted drone is susceptible to this type of attack,
遠隔操作型のドローンである限り
この種の攻撃には弱いものです
04:57
and that means drones
つまりドローンは
05:02
will have to shoulder more decision-making.
意思決定の より多くの割合を
背負わなければならなくなるのです
05:04
They'll know their mission objective,
ドローンは 作戦目的を把握し
05:08
and they'll react to new circumstances without human guidance.
人間の導きなしに
新しい状況に対応するようになるでしょう
05:11
They'll ignore external radio signals
ドローンは 外部からの
無線信号を無視し
05:16
and send very few of their own.
自分側からは ほとんど
発信しなくなります
05:18
Which brings us to, really, the third
そして ここから—
05:21
and most powerful incentive pushing decision-making
3つ目の
最も強力に意思決定を
05:23
away from humans and onto weapons:
人から兵器へ移すように
促す要因が出てきます
05:27
plausible deniability.
それは
「まことしやかな関与否定」です
05:30
Now we live in a global economy.
私たちは グローバル経済の
時代にいます
05:33
High-tech manufacturing is occurring on most continents.
ハイテク製品の製造は
ほとんどの大陸で行われています
05:36
Cyber espionage is spiriting away advanced designs
サイバー諜報戦の一環で
先進的設計を
05:40
to parts unknown,
様々な部品に隠しますが
05:43
and in that environment, it is very likely
このような環境では
05:45
that a successful drone design will be knocked off in contract factories,
ドローン設計が契約工場で模倣される
可能性が非常に高いのです
05:47
proliferate in the gray market.
そして裏市場へと
拡散します
05:52
And in that situation, sifting through the wreckage
こんな状況では
自爆攻撃ドローンの残骸を
05:54
of a suicide drone attack, it will be very difficult to say
調査したところで
05:57
who sent that weapon.
兵器で攻撃を仕掛けたのが
誰なのかわかりません
06:00
This raises the very real possibility
見えない敵との戦いが
06:04
of anonymous war.
非常に現実的な可能性として
浮かび上がります
06:07
This could tilt the geopolitical balance on its head,
地政学的なバランスを
180度変えてしまう可能性があり
06:10
make it very difficult for a nation to turn its firepower
国家が攻撃してきた相手へ反撃することを
非常に困難にします
06:12
against an attacker, and that could shift the balance
これによって 21世紀において
防衛中心の考えから
06:16
in the 21st century away from defense and toward offense.
攻撃中心の考えへと
重心が変わってしまうかもしれません
06:19
It could make military action a viable option
匿名での攻撃が可能になることで
06:22
not just for small nations,
小国家や 犯罪組織
民間企業
06:26
but criminal organizations, private enterprise,
さらには有力な個人にさえ
06:28
even powerful individuals.
軍事行動が有効な手段と
なりえるのです
06:30
It could create a landscape of rival warlords
これは 法の支配と市民社会の
土台を壊してしまい
06:33
undermining rule of law and civil society.
群雄割拠の情勢を
作り出すかもしれません
06:36
Now if responsibility and transparency
責任と透明性は
06:40
are two of the cornerstones of representative government,
代議制を支える
土台と言えるかもしれませんが
06:43
autonomous robotic weapons could undermine both.
自律ロボット兵器は
その両方を弱体化させる可能性があります
06:46
Now you might be thinking that
みなさんは こう考えるかもしれません
06:50
citizens of high-tech nations
ハイテク諸国の市民なら
06:52
would have the advantage in any robotic war,
ロボット戦争で優位に立っていて
06:54
that citizens of those nations would be less vulnerable,
これらの国の市民は
危険にさらされにくいと考えるかもしれません
06:57
particularly against developing nations.
特に途上国が相手なら
なおさらです
07:00
But I think the truth is the exact opposite.
しかし 真実は全く逆だと思います
07:05
I think citizens of high-tech societies
ハイテク社会の市民は
07:08
are more vulnerable to robotic weapons,
より大きく ロボット兵器の
危険にさらされています
07:10
and the reason can be summed up in one word: data.
この理由は 1語に要約できます
「データ」です
07:14
Data powers high-tech societies.
データは ハイテク社会を
動かしています
07:19
Cell phone geolocation, telecom metadata,
携帯電話の位置情報
電話の会話から集められるメタデータ
07:22
social media, email, text, financial transaction data,
ソーシャルメディア 電子メール
SMS 金融取引のデータ
07:25
transportation data, it's a wealth of real-time data
交通機関や移動のデータなどです
これらは人々の活動や
07:29
on the movements and social interactions of people.
社会的な交流を表す
膨大なリアルタイムデータの塊です
07:32
In short, we are more visible to machines
だから 私たちは
歴史上のどんな時代の人たちよりも
07:36
than any people in history,
機械に行動が
筒抜けになっているのです
07:39
and this perfectly suits the targeting needs of autonomous weapons.
これは自律的兵器が標的を探すために
絶好のものとなります
07:42
What you're looking at here
いま画面に映っているのは
07:47
is a link analysis map of a social group.
ある社会的集団が
どうつながっているか分析した図です
07:49
Lines indicate social connectedness between individuals.
線は個人間の社会的な
つながりを示しています
07:52
And these types of maps can be automatically generated
現代人が日常的に残す
データの痕跡から
07:56
based on the data trail modern people leave behind.
このような図を自動的に
生成することができます
07:59
Now it's typically used to market goods and services
この技術は通常は
人口動態で標的を割り出して
08:03
to targeted demographics, but it's a dual-use technology,
商品やサービスを販売するのに使われますが
諸刃の技術でもあります
08:06
because targeting is used in another context.
標的を割り出す技術が
別の用途に使われるからです
08:10
Notice that certain individuals are highlighted.
赤色で表示されている
人たちがいますが これは
08:14
These are the hubs of social networks.
社会的なネットワークの
ハブとなっている人たちです
08:16
These are organizers, opinion-makers, leaders,
この人たちは 組織のまとめ役や
オピニオンメーカーやリーダーです
08:20
and these people also can be automatically identified
この人たちも
通信のパターンを追跡することで
08:23
from their communication patterns.
自動的に見つけ出すことが可能です
08:26
Now, if you're a marketer, you might then target them
マーケティング担当者なら
08:28
with product samples, try to spread your brand
社会的グループに
ブランドを広めるために
08:30
through their social group.
製品サンプルを送る
標的にするでしょう
08:33
But if you're a repressive government
しかし もし抑圧的な政府で
08:36
searching for political enemies, you might instead remove them,
政治上の敵となる相手を探しているなら
彼らは排除する標的となるでしょう
08:38
eliminate them, disrupt their social group,
リーダーを抹殺し
社会的グループを混乱させ
08:42
and those who remain behind lose social cohesion
そして 残されたグループの人たちは
社会的つながりや
08:45
and organization.
組織を失ってしまいます
08:48
Now in a world of cheap, proliferating robotic weapons,
安いロボット兵器が
拡散するような世界になったら
08:51
borders would offer very little protection
遠くにいる政府反対派や
08:54
to critics of distant governments
国際的犯罪組織に対し
08:57
or trans-national criminal organizations.
国境はほとんど防衛線になりません
08:59
Popular movements agitating for change
支持されて 変革を起こすような
扇動活動があれば
09:03
could be detected early and their leaders eliminated
クリティカルマスに到達する前に
早期に検出されてしまい
09:06
before their ideas achieve critical mass.
指導者は排除される
ようになるでしょう
09:10
And ideas achieving critical mass
アイデアがクリティカルマスに
到達できる環境は
09:13
is what political activism in popular government is all about.
人民政府における
政治運動の全てと言ってもいいでしょう
09:15
Anonymous lethal weapons could make lethal action
正体不明の殺戮兵器があることで
あらゆる利害の対立において
09:19
an easy choice for all sorts of competing interests.
殺害という選択が
簡単にできてしまうようになるでしょう
09:23
And this would put a chill on free speech
そして このことは
民主主義のまさに中核と言える
09:27
and popular political action, the very heart of democracy.
言論の自由や支持される政治的行動を
縮み上がらせることになります
09:31
And this is why we need an international treaty
これが 私たちに
ロボット兵器の国際条約が
09:36
on robotic weapons, and in particular a global ban
必要な理由です
特に世界全体での
09:39
on the development and deployment of killer robots.
殺人ロボットの開発と配備を
禁止することが必要です
09:42
Now we already have international treaties
私たちにはすでに
核兵器と生物兵器に関する
09:46
on nuclear and biological weapons, and, while imperfect,
国際条約があります
不完全ではありますが
09:50
these have largely worked.
条約は概ね
効力を発揮してきました
09:53
But robotic weapons might be every bit as dangerous,
しかし ロボット兵器は 全ての点で
同じくらい危険なもので
09:55
because they will almost certainly be used,
ほぼ確実に
使われるようになるでしょう
09:59
and they would also be corrosive to our democratic institutions.
そして 民主主義制度を
蝕むものになるでしょう
10:02
Now in November 2012 the U.S. Department of Defense
2012年11月に
米国防総省が
10:07
issued a directive requiring
すべての殺害に関する
意思決定に
10:11
a human being be present in all lethal decisions.
人間の介在を義務づける
命令を出しました
10:13
This temporarily effectively banned autonomous weapons in the U.S. military,
これによって ひとまずは
米軍の自律的兵器を事実上禁止しました
10:18
but that directive needs to be made permanent.
しかし その命令を
恒久化する必要があります
10:23
And it could set the stage for global action.
これが行われれば
世界が同じように行動する基準となりえます
10:26
Because we need an international legal framework
ロボット兵器の
国際的な法的枠組みは
10:31
for robotic weapons.
必要なものなのです
10:34
And we need it now, before there's a devastating attack
しかも 今必要なのです
壊滅的な攻撃が起きたり
10:37
or a terrorist incident that causes nations of the world
テロ事件が起きたことが引き金となって
世界の国々が
10:40
to rush to adopt these weapons
ロボット兵器が招く
帰結を熟慮せずに
10:43
before thinking through the consequences.
これらの兵器をこぞって採用するようになる前に
必要なのです
10:45
Autonomous robotic weapons concentrate too much power
自律ロボット兵器を使うと
10:48
in too few hands, and they would imperil democracy itself.
少数の手に 余りに大きな力が集中することになり
民主主義そのものを危うくしてしまうでしょう
10:51
Now, don't get me wrong, I think there are tons
でも 誤解しないでください
民生の非武装無人ドローンには
10:58
of great uses for unarmed civilian drones:
優れた用途が沢山
あると考えています
11:00
environmental monitoring, search and rescue, logistics.
自然環境の観測や
捜索と救難 輸送などです
11:03
If we have an international treaty on robotic weapons,
もし ロボット兵器の
国際条約があるとして
11:07
how do we gain the benefits of autonomous drones
どのようにすれば自律無人機や
自律走行車の利便を享受しつつ
11:10
and vehicles while still protecting ourselves
違法なロボット兵器に対して
11:13
against illegal robotic weapons?
身を守ることができるでしょうか?
11:16
I think the secret will be transparency.
成功の秘密は
透明性にあるはずです
11:20
No robot should have an expectation of privacy
公共の場所にいる限り
ロボットに—
11:25
in a public place.
プライバシーがあるなどと
思ってもらっては困ります
11:28
(Applause)
(拍手)
11:31
Each robot and drone should have
ロボットやドローンは
1体1体 全てが
11:36
a cryptographically signed I.D. burned in at the factory
工場出荷時に個体番号を
暗号技術で署名し
11:38
that can be used to track its movement through public spaces.
公共の場所での動きを
追跡できるようにするべきです
11:41
We have license plates on cars, tail numbers on aircraft.
既に車にはナンバー プレートがあり
航空機には機体記号があります
11:44
This is no different.
ロボットも例外ではありません
11:47
And every citizen should be able to download an app
公共の空間を移動している―
11:49
that shows the population of drones and autonomous vehicles
ドローンや自律走行車の
所在を示すアプリを
11:51
moving through public spaces around them,
誰でもダウンロードできて
しかるべきです
11:54
both right now and historically.
現時点と過去の記録の両方を
把握可能にすべきです
11:57
And civic leaders should deploy sensors and civic drones
市民のリーダーは
不正なドローンを探索する―
12:00
to detect rogue drones,
探知機や無人偵察機を
展開すべきです
12:03
and instead of sending killer drones of their own up to shoot them down,
そして 不正ドローンを撃墜する
攻撃ドローンを送りこむ代わりに
12:05
they should notify humans to their presence.
人間に ドローンが居ることを
知らせるべきです
12:09
And in certain very high-security areas,
高い安全性が求められる地域なら
不正ドローンを
12:12
perhaps civic drones would snare them
市民のためのドローンが
捕獲して
12:14
and drag them off to a bomb disposal facility.
爆弾処理施設へと
引っ張って行くこともできるでしょう
12:16
But notice, this is more an immune system
これは兵器システムというより
免疫システムということに
12:19
than a weapons system.
注意してください
12:22
It would allow us to avail ourselves of the use
こうすれば
自律走行車両やドローンを
12:23
of autonomous vehicles and drones
人間側が利用しつつ
12:26
while still preserving our open, civil society.
開かれた市民社会を
維持できます
12:28
We must ban the deployment and development
私たちは 殺人ロボットの
開発と配備を
12:32
of killer robots.
禁止する必要があります
12:35
Let's not succumb to the temptation to automate war.
戦争を自動化する誘惑に
負けないようにしましょう
12:37
Autocratic governments and criminal organizations
独裁政府や犯罪組織は間違いなく
その魅力に屈するでしょうが
12:42
undoubtedly will, but let's not join them.
私たちは その同類に
ならないようにしましょう
12:45
Autonomous robotic weapons
自律ロボット兵器は
12:48
would concentrate too much power
あまりにも強力な力を
12:50
in too few unseen hands,
ごくわずかな人の手に
集中させることになります
12:52
and that would be corrosive to representative government.
そして 民主主義制度を
蝕むものになるでしょう
12:54
Let's make sure, for democracies at least,
民主主義のために
殺人ロボットは
12:57
killer robots remain fiction.
フィクションだけのものに
しておきましょう
13:00
Thank you.
ありがとう
13:03
(Applause)
(拍手)
13:04
Thank you. (Applause)
ありがとう
(拍手)
13:09
Translated by Akinori Oyama
Reviewed by Yasushi Aoki

▲Back to top

About the Speaker:

Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com