TEDSummit
Sam Harris: Can we build AI without losing control over it?
サム・ハリス: 人間より優れた人工知能を作って制御を失わずにいることは可能か？
Filmed:
Readability: 4.1
5,024,015 views
高度な知性を持つAI(人工知能)を怖いと感じますか？ 神経科学者であり思想家であるサム・ハリスは、単に理論的な可能性としてでなく、実際に怖れるべきだと警告します。人間を超える知力を持つAIがやがて作られることになるが、人間がアリを扱うように人間を扱うAIを作ることの問題に、我々はきちんと向き合っていないと、彼は指摘します。
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Double-click the English transcript below to play the video.
00:13
I'm going to talk
about a failure of intuition
about a failure of intuition
0
1000
2216
我々の多くが抱えている―
直感の誤りについて
お話しします
お話しします
00:15
that many of us suffer from.
1
3240
1600
00:17
It's really a failure
to detect a certain kind of danger.
to detect a certain kind of danger.
2
5480
3040
正確には ある種の危険を
察知し損なうということです
察知し損なうということです
これから説明するシナリオは
00:21
I'm going to describe a scenario
3
9360
1736
00:23
that I think is both terrifying
4
11120
3256
私の考えでは
恐ろしいと同時に
恐ろしいと同時に
00:26
and likely to occur,
5
14400
1760
起こりそうなこと
でもあります
でもあります
ありがたくない
組み合わせですね
組み合わせですね
00:28
and that's not a good combination,
6
16840
1656
00:30
as it turns out.
7
18520
1536
考えてみたら
00:32
And yet rather than be scared,
most of you will feel
most of you will feel
8
20080
2456
しかも 多くの人が
それを恐れるよりは
それを恐れるよりは
00:34
that what I'm talking about
is kind of cool.
is kind of cool.
9
22560
2080
素敵なことのように
感じています
感じています
人工知能によって
我々がどのように利益を得
我々がどのように利益を得
00:37
I'm going to describe
how the gains we make
how the gains we make
10
25200
2976
そして最終的には
破滅を招きかねないか お話しします
破滅を招きかねないか お話しします
00:40
in artificial intelligence
11
28200
1776
00:42
could ultimately destroy us.
12
30000
1776
人工知能が
人類を破滅させたり
人類を破滅させたり
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
to see how they won't destroy us
13
31800
3456
自滅に追い込んだりしない
シナリオは
シナリオは
00:47
or inspire us to destroy ourselves.
14
35280
1680
実際 考えにくい気がします
00:49
And yet if you're anything like me,
15
37400
1856
それでも皆さんが
私と同じなら
私と同じなら
00:51
you'll find that it's fun
to think about these things.
to think about these things.
16
39280
2656
そういったことについて考えるのは
楽しいことでしょう
楽しいことでしょう
00:53
And that response is part of the problem.
17
41960
3376
その反応自体が問題なのです
そういう反応は
懸念すべきです
懸念すべきです
00:57
OK? That response should worry you.
18
45360
1720
00:59
And if I were to convince you in this talk
19
47920
2656
仮にこの講演で
私の訴えていることが
私の訴えていることが
地球温暖化や
何かの大異変のため
何かの大異変のため
01:02
that we were likely
to suffer a global famine,
to suffer a global famine,
20
50600
3416
世界的な飢饉がやってくる
ということだったとしましょう
ということだったとしましょう
01:06
either because of climate change
or some other catastrophe,
or some other catastrophe,
21
54040
3056
01:09
and that your grandchildren,
or their grandchildren,
or their grandchildren,
22
57120
3416
私たちの孫や
その孫の世代は
その孫の世代は
この写真のような
有様になるんだと
有様になるんだと
01:12
are very likely to live like this,
23
60560
1800
その場合
こうは思わないでしょう
こうは思わないでしょう
01:15
you wouldn't think,
24
63200
1200
「やあ 面白いな
01:17
"Interesting.
25
65440
1336
このTEDトーク気に入ったよ」
01:18
I like this TED Talk."
26
66800
1200
01:21
Famine isn't fun.
27
69200
1520
飢饉は楽しいもの
ではありません
ではありません
一方で SFの中の破滅は
楽しいものなのです
楽しいものなのです
01:23
Death by science fiction,
on the other hand, is fun,
on the other hand, is fun,
28
71800
3376
01:27
and one of the things that worries me most
about the development of AI at this point
about the development of AI at this point
29
75200
3976
今の時点で AIの発展について
私が最も懸念するのは
私が最も懸念するのは
01:31
is that we seem unable to marshal
an appropriate emotional response
an appropriate emotional response
30
79200
4096
将来に待ち受けている
危険に対して
危険に対して
我々が感情的に適切な反応を
できずにいることです
できずにいることです
01:35
to the dangers that lie ahead.
31
83320
1816
01:37
I am unable to marshal this response,
and I'm giving this talk.
and I'm giving this talk.
32
85160
3200
こう話している私自身
そういう反応をできずにいます
そういう反応をできずにいます
我々は２つの扉を前に
立っているようなものです
立っているようなものです
01:42
It's as though we stand before two doors.
33
90120
2696
01:44
Behind door number one,
34
92840
1256
１つ目の扉の先には
01:46
we stop making progress
in building intelligent machines.
in building intelligent machines.
35
94120
3296
知的な機械の開発をやめるという
道があります
道があります
01:49
Our computer hardware and software
just stops getting better for some reason.
just stops getting better for some reason.
36
97440
4016
ハードウェアやソフトウェアの進歩が
何らかの理由で止まるのです
何らかの理由で止まるのです
01:53
Now take a moment
to consider why this might happen.
to consider why this might happen.
37
101480
3000
そういうことが起きうる要因を
ちょっと考えてみましょう
ちょっと考えてみましょう
自動化やインテリジェント化によって
得られる価値を考えれば
得られる価値を考えれば
01:57
I mean, given how valuable
intelligence and automation are,
intelligence and automation are,
38
105080
3656
人間は可能な限り
テクノロジーを進歩させ続けるはずです
テクノロジーを進歩させ続けるはずです
02:00
we will continue to improve our technology
if we are at all able to.
if we are at all able to.
39
108760
3520
02:05
What could stop us from doing this?
40
113200
1667
それが止まるとしたら
理由は何でしょう？
理由は何でしょう？
02:07
A full-scale nuclear war?
41
115800
1800
全面核戦争とか
世界的な疫病の大流行とか
02:11
A global pandemic?
42
119000
1560
02:14
An asteroid impact?
43
122320
1320
小惑星の衝突とか
ジャスティン・ビーバーの
大統領就任とか
大統領就任とか
02:17
Justin Bieber becoming
president of the United States?
president of the United States?
44
125640
2576
02:20
(Laughter)
45
128240
2280
(笑)
要は 何かで現在の文明が
崩壊する必要があるということです
崩壊する必要があるということです
02:24
The point is, something would have to
destroy civilization as we know it.
destroy civilization as we know it.
46
132760
3920
02:29
You have to imagine
how bad it would have to be
how bad it would have to be
47
137360
4296
それがどんなに ひどい事態であるはずか
考えてみてください
考えてみてください
技術の進歩を
02:33
to prevent us from making
improvements in our technology
improvements in our technology
48
141680
3336
幾世代にもわたり
02:37
permanently,
49
145040
1216
半永久的に妨げるようなことです
02:38
generation after generation.
50
146280
2016
ほぼ間違いなく
02:40
Almost by definition,
this is the worst thing
this is the worst thing
51
148320
2136
人類史上
最悪の出来事でしょう
最悪の出来事でしょう
02:42
that's ever happened in human history.
52
150480
2016
もう１つの選択肢
02:44
So the only alternative,
53
152520
1296
02:45
and this is what lies
behind door number two,
behind door number two,
54
153840
2336
２番目の扉の
向こうにあるのは
向こうにあるのは
02:48
is that we continue
to improve our intelligent machines
to improve our intelligent machines
55
156200
3136
知的な機械の進歩が
ずっと続いていく未来です
02:51
year after year after year.
56
159360
1600
するとどこかの時点で 人間よりも
知的な機械を作ることになるでしょう
知的な機械を作ることになるでしょう
02:53
At a certain point, we will build
machines that are smarter than we are,
machines that are smarter than we are,
57
161720
3640
そしてひとたび
人間より知的な機械が生まれたなら
人間より知的な機械が生まれたなら
02:58
and once we have machines
that are smarter than we are,
that are smarter than we are,
58
166080
2616
機械は自分で
進化していくでしょう
進化していくでしょう
03:00
they will begin to improve themselves.
59
168720
1976
そうなると我々は 数学者
I・J・グッドが言うところの
I・J・グッドが言うところの
03:02
And then we risk what
the mathematician IJ Good called
the mathematician IJ Good called
60
170720
2736
「知能爆発」の
リスクに直面します
リスクに直面します
03:05
an "intelligence explosion,"
61
173480
1776
03:07
that the process could get away from us.
62
175280
2000
進歩のプロセスが
人間の手を離れてしまうのです
人間の手を離れてしまうのです
03:10
Now, this is often caricatured,
as I have here,
as I have here,
63
178120
2816
それはこの絵のような
悪意を持つロボットの大群に
襲われる恐怖として
襲われる恐怖として
03:12
as a fear that armies of malicious robots
64
180960
3216
よく戯画化されています
03:16
will attack us.
65
184200
1256
でもそれは ごくありそうな
シナリオではないでしょう
シナリオではないでしょう
03:17
But that isn't the most likely scenario.
66
185480
2696
03:20
It's not that our machines
will become spontaneously malevolent.
will become spontaneously malevolent.
67
188200
4856
別に機械が悪意に目覚めるという
わけではありません
わけではありません
本当に 心配すべきなのは
03:25
The concern is really
that we will build machines
that we will build machines
68
193080
2616
人間よりもはるかに優れた
機械を作ってしまうと
機械を作ってしまうと
03:27
that are so much
more competent than we are
more competent than we are
69
195720
2056
人間と機械の目的の
ほんのわずかなズレによって
ほんのわずかなズレによって
03:29
that the slightest divergence
between their goals and our own
between their goals and our own
70
197800
3776
人類が破滅しかねないと
いうことです
いうことです
03:33
could destroy us.
71
201600
1200
03:35
Just think about how we relate to ants.
72
203960
2080
人類がアリのような存在になると
考えるといいです
考えるといいです
我々は アリが
嫌いなわけではなく
嫌いなわけではなく
03:38
We don't hate them.
73
206600
1656
03:40
We don't go out of our way to harm them.
74
208280
2056
わざわざ 潰しに
行きはしません
行きはしません
03:42
In fact, sometimes
we take pains not to harm them.
we take pains not to harm them.
75
210360
2376
潰してしまわないように
気を遣いさえして
気を遣いさえして
03:44
We step over them on the sidewalk.
76
212760
2016
アリを避けて歩きます
03:46
But whenever their presence
77
214800
2136
でもアリの存在が
我々の目的と衝突した時—
03:48
seriously conflicts with one of our goals,
78
216960
2496
たとえばこんな建造物を
作るという場合には
作るという場合には
03:51
let's say when constructing
a building like this one,
a building like this one,
79
219480
2477
03:53
we annihilate them without a qualm.
80
221981
1960
良心の呵責なしに
アリを全滅させてしまいます
アリを全滅させてしまいます
03:56
The concern is that we will
one day build machines
one day build machines
81
224480
2936
私が懸念するのは
意識的にせよ無意識にせよ
03:59
that, whether they're conscious or not,
82
227440
2736
人類をそのように軽く扱う機械を
我々がいつか作ってしまうことです
我々がいつか作ってしまうことです
04:02
could treat us with similar disregard.
83
230200
2000
考えすぎだと 多くの方は
思っていることでしょう
思っていることでしょう
04:05
Now, I suspect this seems
far-fetched to many of you.
far-fetched to many of you.
84
233760
2760
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
that superintelligent AI is possible,
85
237360
6336
超知的AIの実現可能性を
疑問視し
疑問視し
ましてや不可避などとは
思わない人もいるでしょう
思わない人もいるでしょう
04:15
much less inevitable.
86
243720
1656
でも それなら これから挙げる仮定に
間違いを見つけてほしいものです
間違いを見つけてほしいものです
04:17
But then you must find something wrong
with one of the following assumptions.
with one of the following assumptions.
87
245400
3620
04:21
And there are only three of them.
88
249044
1572
仮定は３つだけです
04:23
Intelligence is a matter of information
processing in physical systems.
processing in physical systems.
89
251800
4719
知性とは物質的なシステムにおける
情報処理である
情報処理である
04:29
Actually, this is a little bit more
than an assumption.
than an assumption.
90
257320
2615
実際これは
仮定以上のものです
仮定以上のものです
狭い意味での知性なら
もう機械で作り出されており
もう機械で作り出されており
04:31
We have already built
narrow intelligence into our machines,
narrow intelligence into our machines,
91
259959
3457
04:35
and many of these machines perform
92
263440
2016
そのような機械はすでに
人間を超える水準に
達しています
達しています
04:37
at a level of superhuman
intelligence already.
intelligence already.
93
265480
2640
そして様々な分野にわたって
04:40
And we know that mere matter
94
268840
2576
柔軟に思考できる能力である
「汎用知能」は
「汎用知能」は
04:43
can give rise to what is called
"general intelligence,"
"general intelligence,"
95
271440
2616
04:46
an ability to think flexibly
across multiple domains,
across multiple domains,
96
274080
3656
物質で構成可能なことを
我々は知っています
我々は知っています
04:49
because our brains have managed it. Right?
97
277760
3136
なぜなら人間の脳が
そうだからです
そうだからです
04:52
I mean, there's just atoms in here,
98
280920
3936
ここにあるのは
ただの原子の塊です
ただの原子の塊です
04:56
and as long as we continue
to build systems of atoms
to build systems of atoms
99
284880
4496
より知的な振る舞いをする
原子でできたシステムの構築を
続けていくなら
続けていくなら
05:01
that display more and more
intelligent behavior,
intelligent behavior,
100
289400
2696
何かで中断させられない限りは
05:04
we will eventually,
unless we are interrupted,
unless we are interrupted,
101
292120
2536
05:06
we will eventually
build general intelligence
build general intelligence
102
294680
3376
いつか汎用知能を
機械で作り出すことに
なるでしょう
なるでしょう
05:10
into our machines.
103
298080
1296
05:11
It's crucial to realize
that the rate of progress doesn't matter,
that the rate of progress doesn't matter,
104
299400
3656
重要なのは ここで進歩のスピードは
問題ではないことです
問題ではないことです
05:15
because any progress
is enough to get us into the end zone.
is enough to get us into the end zone.
105
303080
3176
どんな進歩であれ
そこに至るのに十分だからです
そこに至るのに十分だからです
ムーアの法則の持続も
指数爆発的な進歩も必要ありません
指数爆発的な進歩も必要ありません
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
We don't need exponential progress.
106
306280
3776
05:22
We just need to keep going.
107
310080
1600
ただ続けていくだけで
いいのです
いいのです
第２の仮定は
人間が進み続けていくこと
人間が進み続けていくこと
05:25
The second assumption
is that we will keep going.
is that we will keep going.
108
313480
2920
我々が知的な機械の
改良を続けていくことです
改良を続けていくことです
05:29
We will continue to improve
our intelligent machines.
our intelligent machines.
109
317000
2760
05:33
And given the value of intelligence --
110
321000
4376
知性の価値を考えてください
05:37
I mean, intelligence is either
the source of everything we value
the source of everything we value
111
325400
3536
知性は 我々が価値を置くもの
すべての源泉
すべての源泉
価値を置くものを守るために
必要なものです
必要なものです
05:40
or we need it to safeguard
everything we value.
everything we value.
112
328960
2776
05:43
It is our most valuable resource.
113
331760
2256
我々が持つ
最も貴重なリソースです
最も貴重なリソースです
05:46
So we want to do this.
114
334040
1536
我々は それを必要としています
05:47
We have problems
that we desperately need to solve.
that we desperately need to solve.
115
335600
3336
我々は解決すべき問題を
抱えています
抱えています
05:50
We want to cure diseases
like Alzheimer's and cancer.
like Alzheimer's and cancer.
116
338960
3200
アルツハイマーやガンのような病気を
治したいと思っています
治したいと思っています
経済の仕組みを理解したい
気象科学をもっと良くしたいと思っています
気象科学をもっと良くしたいと思っています
05:54
We want to understand economic systems.
We want to improve our climate science.
We want to improve our climate science.
117
342960
3936
だから 可能であれば
やるはずです
やるはずです
05:58
So we will do this, if we can.
118
346920
2256
06:01
The train is already out of the station,
and there's no brake to pull.
and there's no brake to pull.
119
349200
3286
列車はすでに駅を出発していて
ブレーキはありません
ブレーキはありません
06:05
Finally, we don't stand
on a peak of intelligence,
on a peak of intelligence,
120
353880
5456
３番目は 人間は知性の
頂点にはおらず
頂点にはおらず
その近くにすら
いないということ
いないということ
06:11
or anywhere near it, likely.
121
359360
1800
06:13
And this really is the crucial insight.
122
361640
1896
これは重要な洞察であり
我々の状況を
危うくするものです
危うくするものです
06:15
This is what makes
our situation so precarious,
our situation so precarious,
123
363560
2416
これはまた リスクについての我々の勘が
当てにならない理由でもあります
当てにならない理由でもあります
06:18
and this is what makes our intuitions
about risk so unreliable.
about risk so unreliable.
124
366000
4040
06:23
Now, just consider the smartest person
who has ever lived.
who has ever lived.
125
371120
2720
史上最も頭の良い人間について
考えてみましょう
考えてみましょう
ほぼ必ず上がってくる名前に
フォン・ノイマンがあります
フォン・ノイマンがあります
06:26
On almost everyone's shortlist here
is John von Neumann.
is John von Neumann.
126
374640
3416
06:30
I mean, the impression that von Neumann
made on the people around him,
made on the people around him,
127
378080
3336
ノイマンの周囲には
当時の 最も優れた数学者や
物理学者がいたわけですが
物理学者がいたわけですが
06:33
and this included the greatest
mathematicians and physicists of his time,
mathematicians and physicists of his time,
128
381440
4056
人々がノイマンから受けた印象については
いろいろ記述されています
いろいろ記述されています
06:37
is fairly well-documented.
129
385520
1936
06:39
If only half the stories
about him are half true,
about him are half true,
130
387480
3776
ノイマンにまつわる話で 半分でも
正しいものが 半分だけだったとしても
正しいものが 半分だけだったとしても
06:43
there's no question
131
391280
1216
疑いなく彼は
これまでに生きた最も頭の良い
人間の１人です
人間の１人です
06:44
he's one of the smartest people
who has ever lived.
who has ever lived.
132
392520
2456
06:47
So consider the spectrum of intelligence.
133
395000
2520
知能の分布を考えてみましょう
ここにフォン・ノイマンがいて
06:50
Here we have John von Neumann.
134
398320
1429
この辺に私や皆さんがいて
06:53
And then we have you and me.
135
401560
1334
この辺にニワトリがいます
06:56
And then we have a chicken.
136
404120
1296
06:57
(Laughter)
137
405440
1936
(笑)
失敬 ニワトリはこの辺です
06:59
Sorry, a chicken.
138
407400
1216
07:00
(Laughter)
139
408640
1256
(笑)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
more depressing than it needs to be.
140
409920
3736
元々滅入る話をさらに滅入るものに
することもないでしょう
することもないでしょう
07:05
(Laughter)
141
413680
1600
(笑)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
that the spectrum of intelligence
142
416339
3477
知能の分布には
今の我々に想像できるよりも
今の我々に想像できるよりも
07:11
extends much further
than we currently conceive,
than we currently conceive,
143
419840
3120
はるかに大きな広がりが
あることでしょう
あることでしょう
07:15
and if we build machines
that are more intelligent than we are,
that are more intelligent than we are,
144
423880
3216
そして我々が
人間よりも知的な機械を作ったなら
人間よりも知的な機械を作ったなら
07:19
they will very likely
explore this spectrum
explore this spectrum
145
427120
2296
それはこの知能の地平を
07:21
in ways that we can't imagine,
146
429440
1856
我々の想像が
及ばないくらい遠くまで
及ばないくらい遠くまで
07:23
and exceed us in ways
that we can't imagine.
that we can't imagine.
147
431320
2520
進んでいくことでしょう
07:27
And it's important to recognize that
this is true by virtue of speed alone.
this is true by virtue of speed alone.
148
435000
4336
重要なのは スピードの点だけを取っても
それは確かだということです
それは確かだということです
07:31
Right? So imagine if we just built
a superintelligent AI
a superintelligent AI
149
439360
5056
スタンフォードやMITの
平均的な研究者並みの
知能を持つ
知能を持つ
07:36
that was no smarter
than your average team of researchers
than your average team of researchers
150
444440
3456
超知的AIができたとしましょう
07:39
at Stanford or MIT.
151
447920
2296
電子回路は
生化学的回路より
生化学的回路より
07:42
Well, electronic circuits
function about a million times faster
function about a million times faster
152
450240
2976
100万倍も高速に稼働します
07:45
than biochemical ones,
153
453240
1256
07:46
so this machine should think
about a million times faster
about a million times faster
154
454520
3136
その機械は
それを作り出した頭脳よりも
それを作り出した頭脳よりも
100万倍速く
働くということです
働くということです
07:49
than the minds that built it.
155
457680
1816
だから１週間稼働させておくと
07:51
So you set it running for a week,
156
459520
1656
07:53
and it will perform 20,000 years
of human-level intellectual work,
of human-level intellectual work,
157
461200
4560
人間並みの知的作業を
２万年分こなすことになります
２万年分こなすことになります
毎週毎週です
07:58
week after week after week.
158
466400
1960
08:01
How could we even understand,
much less constrain,
much less constrain,
159
469640
3096
そのような進歩をする頭脳は
抑えるどころか理解することすら
おぼつかないでしょう
おぼつかないでしょう
08:04
a mind making this sort of progress?
160
472760
2280
正直言って 心配なことが
他にもあります
他にもあります
08:08
The other thing that's worrying, frankly,
161
476840
2136
08:11
is that, imagine the best case scenario.
162
479000
4976
それなら最良のシナリオは
どんなものでしょう？
どんなものでしょう？
08:16
So imagine we hit upon a design
of superintelligent AI
of superintelligent AI
163
484000
4176
安全性について心配のない
超知的AIのデザインを
超知的AIのデザインを
思い付いたとします
08:20
that has no safety concerns.
164
488200
1376
08:21
We have the perfect design
the first time around.
the first time around.
165
489600
3256
完璧なデザインを
最初に手にすることができた
最初に手にすることができた
08:24
It's as though we've been handed an oracle
166
492880
2216
神のお告げで
与えられたかのように
与えられたかのように
まったく意図したとおりに
振る舞います
振る舞います
08:27
that behaves exactly as intended.
167
495120
2016
08:29
Well, this machine would be
the perfect labor-saving device.
the perfect labor-saving device.
168
497160
3720
その機械は人間の労働を不要にする
完璧な装置になります
完璧な装置になります
08:33
It can design the machine
that can build the machine
that can build the machine
169
501680
2429
どんな肉体労働もこなす
機械を作るための
機械を作るための
08:36
that can do any physical work,
170
504133
1763
機械をデザインでき
08:37
powered by sunlight,
171
505920
1456
太陽光で稼働し
08:39
more or less for the cost
of raw materials.
of raw materials.
172
507400
2696
原材料費くらいしか
かかりません
かかりません
08:42
So we're talking about
the end of human drudgery.
the end of human drudgery.
173
510120
3256
人間は苦役から
解放されます
解放されます
08:45
We're also talking about the end
of most intellectual work.
of most intellectual work.
174
513400
2800
知的な仕事の多くすら
不要になります
不要になります
そのような状況で 我々のようなサルは
何をするのでしょう？
何をするのでしょう？
08:49
So what would apes like ourselves
do in this circumstance?
do in this circumstance?
175
517200
3056
08:52
Well, we'd be free to play Frisbee
and give each other massages.
and give each other massages.
176
520280
4080
気ままにフリスビーしたり
マッサージし合ったりでしょうか
マッサージし合ったりでしょうか
それにLSDと
奇抜な服を加えるなら
奇抜な服を加えるなら
08:57
Add some LSD and some
questionable wardrobe choices,
questionable wardrobe choices,
177
525840
2856
09:00
and the whole world
could be like Burning Man.
could be like Burning Man.
178
528720
2176
世界中がバーニングマンの
お祭りのようになるかもしれません
お祭りのようになるかもしれません
09:02
(Laughter)
179
530920
1640
(笑)
09:06
Now, that might sound pretty good,
180
534320
2000
それも結構かもしれませんが
現在の政治経済状況の元で
09:09
but ask yourself what would happen
181
537280
2376
09:11
under our current economic
and political order?
and political order?
182
539680
2736
どんなことが起きるだろうか
考えてみてください
考えてみてください
09:14
It seems likely that we would witness
183
542440
2416
経済格差や失業が
09:16
a level of wealth inequality
and unemployment
and unemployment
184
544880
4136
かつてない規模で生じる
可能性が高いでしょう
09:21
that we have never seen before.
185
549040
1496
09:22
Absent a willingness
to immediately put this new wealth
to immediately put this new wealth
186
550560
2616
この新しい富を即座に
全人類に進んで
提供する気がなければ
提供する気がなければ
09:25
to the service of all humanity,
187
553200
1480
一握りの兆万長者が
ビジネス誌の表紙を飾る一方で
ビジネス誌の表紙を飾る一方で
09:27
a few trillionaires could grace
the covers of our business magazines
the covers of our business magazines
188
555640
3616
09:31
while the rest of the world
would be free to starve.
would be free to starve.
189
559280
2440
残りの人々は
飢えることになるでしょう
飢えることになるでしょう
09:34
And what would the Russians
or the Chinese do
or the Chinese do
190
562320
2296
シリコンバレーの会社が
超知的AIを展開しようと
していると聞いたら
していると聞いたら
09:36
if they heard that some company
in Silicon Valley
in Silicon Valley
191
564640
2616
09:39
was about to deploy a superintelligent AI?
192
567280
2736
ロシアや中国は
どうするでしょう？
どうするでしょう？
09:42
This machine would be capable
of waging war,
of waging war,
193
570040
2856
その機械は 地上戦であれ
サイバー戦であれ
サイバー戦であれ
かつてない力でもって
09:44
whether terrestrial or cyber,
194
572920
2216
戦争を遂行する
能力があります
能力があります
09:47
with unprecedented power.
195
575160
1680
勝者がすべてを
手にするシナリオです
手にするシナリオです
09:50
This is a winner-take-all scenario.
196
578120
1856
09:52
To be six months ahead
of the competition here
of the competition here
197
580000
3136
競争で半年
先んじることで
先んじることで
少なくとも50万年分
09:55
is to be 500,000 years ahead,
198
583160
2776
先を行くことが
できるのです
できるのです
09:57
at a minimum.
199
585960
1496
09:59
So it seems that even mere rumors
of this kind of breakthrough
of this kind of breakthrough
200
587480
4736
そのような技術革新の
噂だけでも
噂だけでも
世界中が大騒ぎに
なるでしょう
なるでしょう
10:04
could cause our species to go berserk.
201
592240
2376
10:06
Now, one of the most frightening things,
202
594640
2896
今の時点で私が
いちばんゾッとするのは
10:09
in my view, at this moment,
203
597560
2776
10:12
are the kinds of things
that AI researchers say
that AI researchers say
204
600360
4296
AI研究者が
安心させようとして
安心させようとして
言うたぐいのことです
10:16
when they want to be reassuring.
205
604680
1560
心配すべきでない理由として
よく言われるのは 時間です
よく言われるのは 時間です
10:19
And the most common reason
we're told not to worry is time.
we're told not to worry is time.
206
607000
3456
10:22
This is all a long way off,
don't you know.
don't you know.
207
610480
2056
そんなのは ずっと先の話で
10:24
This is probably 50 or 100 years away.
208
612560
2440
50年とか100年も先の話だと
10:27
One researcher has said,
209
615720
1256
ある研究者は
10:29
"Worrying about AI safety
210
617000
1576
「AIの安全性を懸念するのは
10:30
is like worrying
about overpopulation on Mars."
about overpopulation on Mars."
211
618600
2280
火星の人口過剰を心配するようなものだ」と
言っています
言っています
これは「あなたの小さな頭を
そんなことで悩ませないで」というやつの
そんなことで悩ませないで」というやつの
10:34
This is the Silicon Valley version
212
622116
1620
10:35
of "don't worry your
pretty little head about it."
pretty little head about it."
213
623760
2376
シリコンバレー版です
10:38
(Laughter)
214
626160
1336
(笑)
誰も気付いていない
ように見えるのは
ように見えるのは
10:39
No one seems to notice
215
627520
1896
10:41
that referencing the time horizon
216
629440
2616
時間的スケールは
10:44
is a total non sequitur.
217
632080
2576
この際 無関係だと
いうことです
いうことです
10:46
If intelligence is just a matter
of information processing,
of information processing,
218
634680
3256
知性の実体が
情報処理にすぎず
情報処理にすぎず
10:49
and we continue to improve our machines,
219
637960
2656
人類が 機械の改良を
続けていくなら
続けていくなら
いずれ何らかの形の
超知性を生み出すことになるでしょう
超知性を生み出すことになるでしょう
10:52
we will produce
some form of superintelligence.
some form of superintelligence.
220
640640
2880
10:56
And we have no idea
how long it will take us
how long it will take us
221
644320
3656
それを安全に行える
条件を作り出すのに
条件を作り出すのに
どれくらい時間がかかるのか
我々には 見当も付きません
我々には 見当も付きません
11:00
to create the conditions
to do that safely.
to do that safely.
222
648000
2400
もう一度言いましょう
11:04
Let me say that again.
223
652200
1296
11:05
We have no idea how long it will take us
224
653520
3816
それを安全に行える
条件を作り出すのに
条件を作り出すのに
11:09
to create the conditions
to do that safely.
to do that safely.
225
657360
2240
どれくらい時間がかかるのか
我々には 見当も付きません
我々には 見当も付きません
11:12
And if you haven't noticed,
50 years is not what it used to be.
50 years is not what it used to be.
226
660920
3456
今の50年というのは
かつての50年とは違っています
かつての50年とは違っています
これは 50年を月の数で
表したものです
表したものです
11:16
This is 50 years in months.
227
664400
2456
11:18
This is how long we've had the iPhone.
228
666880
1840
これはiPhoneが
登場してからの時間
登場してからの時間
これは『シンプソンズ』の放送が
始まってからの時間
始まってからの時間
11:21
This is how long "The Simpsons"
has been on television.
has been on television.
229
669440
2600
11:24
Fifty years is not that much time
230
672680
2376
人類最大の難問に
取り組む時間としては
取り組む時間としては
11:27
to meet one of the greatest challenges
our species will ever face.
our species will ever face.
231
675080
3160
50年というのは
そんなに 長いものではありません
そんなに 長いものではありません
11:31
Once again, we seem to be failing
to have an appropriate emotional response
to have an appropriate emotional response
232
679640
4016
繰り返しになりますが
必ずやってくると思われるものに対して
必ずやってくると思われるものに対して
我々は感情的に適切な反応を
できずにいるようです
できずにいるようです
11:35
to what we have every reason
to believe is coming.
to believe is coming.
233
683680
2696
11:38
The computer scientist Stuart Russell
has a nice analogy here.
has a nice analogy here.
234
686400
3976
コンピューター科学者のスチュワート・
ラッセルが うまい例えをしています
ラッセルが うまい例えをしています
11:42
He said, imagine that we received
a message from an alien civilization,
a message from an alien civilization,
235
690400
4896
異星の文明から
こんなメッセージを受け取ったと
想像してください
想像してください
11:47
which read:
236
695320
1696
「地球の諸君
11:49
"People of Earth,
237
697040
1536
11:50
we will arrive on your planet in 50 years.
238
698600
2360
あと50年で
我々はそちらに着く
我々はそちらに着く
準備されたし」
11:53
Get ready."
239
701800
1576
我々は 彼らの母船が着陸する時を
ただ指折り数えて待つのでしょうか？
ただ指折り数えて待つのでしょうか？
11:55
And now we're just counting down
the months until the mothership lands?
the months until the mothership lands?
240
703400
4256
11:59
We would feel a little
more urgency than we do.
more urgency than we do.
241
707680
3000
もう少し 切迫感を抱くのでは
ないかと思います
ないかと思います
心配無用だとされる
別の理由は
別の理由は
12:04
Another reason we're told not to worry
242
712680
1856
12:06
is that these machines
can't help but share our values
can't help but share our values
243
714560
3016
そういった機械は
人間の延長であり
人間の延長であり
12:09
because they will be literally
extensions of ourselves.
extensions of ourselves.
244
717600
2616
人間と同じ価値観を
持つはずだというものです
持つはずだというものです
12:12
They'll be grafted onto our brains,
245
720240
1816
我々の脳に接続され
12:14
and we'll essentially
become their limbic systems.
become their limbic systems.
246
722080
2360
人間はその辺縁系のような
存在になるのだと
存在になるのだと
ちょっと考えてほしいんですが
12:17
Now take a moment to consider
247
725120
1416
12:18
that the safest
and only prudent path forward,
and only prudent path forward,
248
726560
3176
最も安全で
唯一分別のあるやり方として
勧められているのは
勧められているのは
12:21
recommended,
249
729760
1336
12:23
is to implant this technology
directly into our brains.
directly into our brains.
250
731120
2800
その技術を直接自分の脳に
埋め込むことだと言うのです
埋め込むことだと言うのです
12:26
Now, this may in fact be the safest
and only prudent path forward,
and only prudent path forward,
251
734600
3376
それは実際に 最も安全で
唯一分別のあるやり方なのかもしれませんが
唯一分別のあるやり方なのかもしれませんが
12:30
but usually one's safety concerns
about a technology
about a technology
252
738000
3056
テクノロジーに対する安全性の懸念は
ふつうであれば—
ふつうであれば—
12:33
have to be pretty much worked out
before you stick it inside your head.
before you stick it inside your head.
253
741080
3656
頭に埋め込む前に解消されている
べきではないでしょうか
べきではないでしょうか
12:36
(Laughter)
254
744760
2016
(笑)
12:38
The deeper problem is that
building superintelligent AI on its own
building superintelligent AI on its own
255
746800
5336
より根深い問題点は
超知的AIを作ること自体は
超知的AIを作ること自体は
12:44
seems likely to be easier
256
752160
1736
超知的AIを作り
12:45
than building superintelligent AI
257
753920
1856
かつ それを人間の脳に
統合するための
統合するための
12:47
and having the completed neuroscience
258
755800
1776
神経科学を
完成させることよりは
完成させることよりは
12:49
that allows us to seamlessly
integrate our minds with it.
integrate our minds with it.
259
757600
2680
簡単だろうことです
12:52
And given that the companies
and governments doing this work
and governments doing this work
260
760800
3176
これに取り組む国や企業は
12:56
are likely to perceive themselves
as being in a race against all others,
as being in a race against all others,
261
764000
3656
他の国や企業と競争を
していると認識しており
していると認識しており
勝者が全世界を
手に入れられるのだとすれば—
手に入れられるのだとすれば—
12:59
given that to win this race
is to win the world,
is to win the world,
262
767680
3256
次の瞬間に破滅させて
いたら別ですが—
いたら別ですが—
13:02
provided you don't destroy it
in the next moment,
in the next moment,
263
770960
2456
13:05
then it seems likely
that whatever is easier to do
that whatever is easier to do
264
773440
2616
そのような状況においては
何にせよ簡単な方が
先に成し遂げられることでしょう
先に成し遂げられることでしょう
13:08
will get done first.
265
776080
1200
あいにく 私はこの問題への答えを
持ち合わせてはおらず
持ち合わせてはおらず
13:10
Now, unfortunately,
I don't have a solution to this problem,
I don't have a solution to this problem,
266
778560
2856
ただもっと考えてみるように
お勧めするだけです
お勧めするだけです
13:13
apart from recommending
that more of us think about it.
that more of us think about it.
267
781440
2616
人工知能のための
「マンハッタン計画」のようなものが
「マンハッタン計画」のようなものが
13:16
I think we need something
like a Manhattan Project
like a Manhattan Project
268
784080
2376
13:18
on the topic of artificial intelligence.
269
786480
2016
必要なのでは
ないかと思います
ないかと思います
作るためではありません
それは不可避でしょうから
それは不可避でしょうから
13:20
Not to build it, because I think
we'll inevitably do that,
we'll inevitably do that,
270
788520
2736
軍拡競争のようになるのを
いかに避けられるか探り
いかに避けられるか探り
13:23
but to understand
how to avoid an arms race
how to avoid an arms race
271
791280
3336
人類の利益にかなうように
それが作られるようにするためです
それが作られるようにするためです
13:26
and to build it in a way
that is aligned with our interests.
that is aligned with our interests.
272
794640
3496
13:30
When you're talking
about superintelligent AI
about superintelligent AI
273
798160
2136
超知的AIが
自身を変えていけることを
考えると
考えると
13:32
that can make changes to itself,
274
800320
2256
13:34
it seems that we only have one chance
to get the initial conditions right,
to get the initial conditions right,
275
802600
4616
それを正しく作れるチャンスは
１度しかないでしょう
１度しかないでしょう
しかもその上で
それを正しくやるための
それを正しくやるための
13:39
and even then we will need to absorb
276
807240
2056
13:41
the economic and political
consequences of getting them right.
consequences of getting them right.
277
809320
3040
政治的・経済的な帰結を
受け入れる必要があります
受け入れる必要があります
知性の源は情報処理だと—
13:45
But the moment we admit
278
813760
2056
13:47
that information processing
is the source of intelligence,
is the source of intelligence,
279
815840
4000
知性の基礎をなしているのは
ある種の計算システムである
ということを認め
ということを認め
13:52
that some appropriate computational system
is what the basis of intelligence is,
is what the basis of intelligence is,
280
820720
4800
13:58
and we admit that we will improve
these systems continuously,
these systems continuously,
281
826360
3760
人類がそういうシステムを継続的に
改良していくだろうことを認め
改良していくだろうことを認め
14:03
and we admit that the horizon
of cognition very likely far exceeds
of cognition very likely far exceeds
282
831280
4456
そして認知の地平は
我々に今分かっているよりも
我々に今分かっているよりも
はるか遠くまで
続いているであろうことを認めるとき
続いているであろうことを認めるとき
14:07
what we currently know,
283
835760
1200
我々はある種の神を
作ろうとしていることを
作ろうとしていることを
14:10
then we have to admit
284
838120
1216
14:11
that we are in the process
of building some sort of god.
of building some sort of god.
285
839360
2640
認めないわけには
いかないでしょう
いかないでしょう
その神が一緒にやっていける相手か
確認したいなら
確認したいなら
14:15
Now would be a good time
286
843400
1576
14:17
to make sure it's a god we can live with.
287
845000
1953
今がその時です
14:20
Thank you very much.
288
848120
1536
ありがとうございました
14:21
(Applause)
289
849680
5093
(拍手)
ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopherSam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.
Why you should listen
Sam Harris is the author of five New York Times bestsellers. His books include The End of Faith, Letter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.
Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.
Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.
Sam Harris | Speaker | TED.com