ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

ニック・ボストロム: 人工知能が人間より高い知性を持つようになったとき何が起きるか?

Filmed:
4,632,705 views

人工知能は飛躍的に知的になっています。ある研究は今世紀中に人工知能の知性が人間並みになると示唆しています。「機械の知性は人類が発明する必要のある最後のものになる」とニック・ボストロムは言います。哲学者であり技術の研究者でもある彼は、我々が構築しつつある考える機械が動かす世界のことをよく考えるよう求めています。我々の作り出す知的な機械は人類とその価値を守る助けとなるのでしょうか、それともそれ自身の思惑を持つようになるのでしょうか?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunch of mathematicians数学者,
philosophers哲学者 and computerコンピューター scientists科学者,
0
570
4207
私は沢山の数学者や哲学者や
コンピュータ科学者といっしょにやっていますが
00:16
and we sit座る around and think about
the future未来 of machine機械 intelligenceインテリジェンス,
1
4777
5209
よく話題にすることに
機械の知性の未来
というのがあります
00:21
among other things.
2
9986
2044
00:24
Some people think that some of these
things are sortソート of science科学 fiction-yフィクション-y,
3
12030
4725
そんなのは現実離れした
SFの世界の
馬鹿げた話だと
考える人もいます
00:28
far遠い out there, crazy狂った.
4
16755
3101
でも現在の人間の状態
というものについて
00:31
But I like to say,
5
19856
1470
00:33
okay, let's look at the modernモダン
human人間 condition調子.
6
21326
3604
ちょっと考えてみて
ほしいのです
00:36
(Laughter笑い)
7
24930
1692
(笑)
00:38
This is the normal正常 way for things to be.
8
26622
2402
これが普通の状況とされています
00:41
But if we think about it,
9
29024
2285
しかし考えてみれば
00:43
we are actually実際に recently最近 arrived到着した
guestsゲスト on this planet惑星,
10
31309
3293
人間というのは
この地球に
ごく最近現れた
客に過ぎません
00:46
the human人間 species.
11
34602
2082
地球ができたのが
1年前だったとしたら
00:48
Think about if Earth地球
was created作成した one year ago,
12
36684
4746
00:53
the human人間 species, then,
would be 10 minutes old古い.
13
41430
3548
人間がいたのは
10分間だけで
00:56
The industrial工業用 era時代 started開始した
two seconds ago.
14
44978
3168
工業化時代が始まったのは
2秒前です
01:01
Anotherもう一つ way to look at this is to think of
world世界 GDPGDP over the last 10,000 years,
15
49276
5225
このことの別な見方として
過去1万年における世界のGDPを考えてみましょう
01:06
I've actually実際に taken撮影 the troubleトラブル
to plotプロット this for you in a graphグラフ.
16
54501
3029
私は実際グラフにしてみたんですが
01:09
It looks外見 like this.
17
57530
1774
こんな感じになります
01:11
(Laughter笑い)
18
59304
1363
(笑)
正常な状態のものとしては
興味深い形です
01:12
It's a curious好奇心 shape形状
for a normal正常 condition調子.
19
60667
2151
01:14
I sure wouldn'tしないだろう want to sit座る on it.
20
62818
1698
この上に乗っていたいとは
あまり思いません
01:16
(Laughter笑い)
21
64516
2551
(笑)
01:19
Let's ask尋ねる ourselves自分自身, what is the cause原因
of this current現在 anomaly異常?
22
67067
4774
この現在における例外的な状態の
原因を考えてみましょう
01:23
Some people would say it's technology技術.
23
71841
2552
それはテクノロジーのためだ
という人もいるでしょう
01:26
Now it's true真実, technology技術 has accumulated蓄積された
throughを通して human人間 history歴史,
24
74393
4668
それはその通りで 人類の歴史を通じて
テクノロジーは蓄積され続け
01:31
and right now, technology技術
advances進歩 extremely極端な rapidly急速に --
25
79061
4652
現在ではテクノロジーの進歩が
非常に速くなっています
01:35
that is the proximate近接 cause原因,
26
83713
1565
それがおおよその答えで
01:37
that's why we are currently現在
so very productive生産的な.
27
85278
2565
現在の我々の高い生産性を
もたらしているものです
しかしもっと突っ込んで
究極の原因を探ってみたいと思います
01:40
But I like to think back furtherさらに
to the ultimate究極 cause原因.
28
88473
3661
01:45
Look at these two highly高く
distinguished著名な gentlemen紳士:
29
93114
3766
この非常に際だった2人を
ご覧ください
カンジは
01:48
We have Kanziカンジ --
30
96880
1600
200の字句をマスターしています
すごいことです
01:50
he's mastered習得した 200 lexical語彙
tokensトークン, an incredible信じられない feat偉業.
31
98480
4643
エドワード・ウィッテンは
超弦理論の第2の革命の立役者です
01:55
And Edエド Wittenウィッテン unleashed解き放たれた the second二番
superstringスーパーストリング revolution革命.
32
103123
3694
01:58
If we look under the hoodフード,
this is what we find:
33
106817
2324
中身を覗いてみれば
そこにあるのはこれで
02:01
basically基本的に the same同じ thing.
34
109141
1570
基本的には同じものです
02:02
One is a little larger大きい,
35
110711
1813
一方がすこしばかり大きく
02:04
it maybe alsoまた、 has a few少数 tricksトリック
in the exact正確 way it's wired有線.
36
112524
2758
配線のされ方にも より巧妙なところが
あるかもしれませんが
02:07
These invisible目に見えない differences相違 cannotできない
be too complicated複雑な, howeverしかしながら,
37
115282
3812
その違いはさほど
複雑なものではないはずです
02:11
because there have only
been 250,000 generations世代
38
119094
4285
我々は共通の祖先から
25万世代しか
隔たっていませんが
02:15
since以来 our last common一般 ancestor祖先.
39
123379
1732
02:17
We know that complicated複雑な mechanismsメカニズム
take a long time to evolve進化する.
40
125111
3849
複雑なメカニズムが進化するのには
とても長い時間がかかることが分かっています
比較的小さな変化の
沢山の積み重ねが
02:22
So a bunch of relatively比較的 minorマイナー changes変更
41
130000
2499
02:24
take us from Kanziカンジ to Wittenウィッテン,
42
132499
3067
カンジとウィッテンを
02:27
from broken-off壊れた tree branches
to intercontinental大陸間 ballistic弾道 missilesミサイル.
43
135566
4543
あるいは木切れと大陸間弾道弾を
隔てているものなのです
02:32
So this then seems思われる prettyかなり obvious明らか
that everything we've私たちは achieved達成された,
44
140839
3935
これで明らかになるのは
人類が達成したこと
気にかけていることすべては
02:36
and everything we careお手入れ about,
45
144774
1378
02:38
depends依存する crucially決定的に on some relatively比較的 minorマイナー
changes変更 that made the human人間 mindマインド.
46
146152
5228
人間の心を作り出した比較的小さな変化によって
生じたということです
02:44
And the corollary必然的, of courseコース,
is that any furtherさらに changes変更
47
152650
3662
それはまた
思考の基質を
02:48
that could significantly有意に change変化する
the substrate基板 of thinking考え
48
156312
3477
はっきり変えるような
さらなる変化は
極めて大きな結果をもたらしうる
ということでもあります
02:51
could have potentially潜在的
enormous巨大な consequences結果.
49
159789
3202
02:56
Some of my colleagues同僚
think we're on the verge直前
50
164321
2905
私の研究仲間の間には
この思考の基質を本質的に変えうるものに
02:59
of something that could cause原因
a profound深遠な change変化する in that substrate基板,
51
167226
3908
人類は今直面していると
考えている人もいます
03:03
and that is machine機械 superintelligenceスーパーインテリジェンス.
52
171134
3213
それは超知的な機械です
03:06
Artificial人工的な intelligenceインテリジェンス used to be
about puttingパッティング commandsコマンド in a boxボックス.
53
174347
4739
人工知能というのはかつては
コマンドを詰め込んだ箱のようなものでした
03:11
You would have human人間 programmersプログラマー
54
179086
1665
人間のプログラマーが
苦労して
03:12
that would painstakingly苦労して
handcraft手作り knowledge知識 itemsアイテム.
55
180751
3135
個々の知識項目を
手作りしていました
03:15
You buildビルドする up these expert専門家 systemsシステム,
56
183886
2086
そうやってエキスパート・システムを作り
03:17
and they were kind種類 of useful有用
for some purposes目的,
57
185972
2324
ある種の用途には
役立ちましたが
03:20
but they were very brittle脆い,
you couldn'tできなかった scale規模 them.
58
188296
2681
融通が効かず
拡張性を欠いていました
03:22
Basically基本的に, you got out only
what you put in.
59
190977
3433
基本的には入れたものが
出てくるだけです
03:26
But since以来 then,
60
194410
997
しかしその後
03:27
a paradigmパラダイム shiftシフト has taken撮影 place場所
in the fieldフィールド of artificial人工的な intelligenceインテリジェンス.
61
195407
3467
人工知能の世界で
パラダイムシフトが起きました
03:30
Today今日, the actionアクション is really
around machine機械 learning学習.
62
198874
2770
現在 機械学習の周辺で
非常に興味深いことが起きています
03:34
So ratherむしろ than handcrafting手作り knowledge知識
representations表現 and features特徴,
63
202394
5387
知識的な機能や表現を
手作りする代わりに
03:40
we create作成する algorithmsアルゴリズム that learn学ぶ,
oftenしばしば from raw perceptual知覚的 dataデータ.
64
208511
5554
生の知覚データから
自ら学習するアルゴリズムを作るのです
03:46
Basically基本的に the same同じ thing
that the human人間 infant幼児 does.
65
214065
4998
基本的には人間の子供と同じことを
機械がするわけです
03:51
The result結果 is A.I. that is not
limited限られた to one domainドメイン --
66
219063
4207
結果としてできるのは
1つの領域に限定されない人工知能です
03:55
the same同じ systemシステム can learn学ぶ to translate翻訳する
betweenの間に any pairsペア of languages言語,
67
223270
4631
どんな言語間の翻訳でも
できるシステムとか
03:59
or learn学ぶ to play遊びます any computerコンピューター gameゲーム
on the Atariアタリ consoleコンソール.
68
227901
5437
アタリのゲーム機用のどんなゲームでも
プレイしてしまうシステムとか
04:05
Now of courseコース,
69
233338
1779
もちろん
人工知能はまだ
04:07
A.I. is still nowhereどこにも near近く having持つ
the same同じ powerful強力な, cross-domainクロスドメイン
70
235117
3999
多様な領域のことを
学び構想できる
04:11
ability能力 to learn学ぶ and plan計画
as a human人間 beingであること has.
71
239116
3219
人間の脳の強力さには
遠く及びません
04:14
The cortex皮質 still has some
algorithmicアルゴリズム的 tricksトリック
72
242335
2126
大脳皮質にはまだ
機械で対抗する方法の見当もつかないような
04:16
that we don't yetまだ know
how to match一致 in machines機械.
73
244461
2355
アルゴリズム的仕掛けがあります
04:19
So the question質問 is,
74
247886
1899
問題は そういう仕掛けに
機械が対抗するようになる日が
いつ来るのかということです
04:21
how far遠い are we from beingであること ableできる
to match一致 those tricksトリック?
75
249785
3500
04:26
A coupleカップル of years ago,
76
254245
1083
2年ほど前に
04:27
we did a survey調査 of some of the world's世界の
leading先導 A.I. experts専門家,
77
255328
2888
世界の人工知能の専門家にアンケートを取って
考えを聞いたんですが
04:30
to see what they think,
and one of the questions質問 we asked尋ねた was,
78
258216
3224
その時の質問の1つが
04:33
"By whichどの year do you think
there is a 50 percentパーセント probability確率
79
261440
3353
「機械の知性が人間並みのレベルに
到達する可能性が
04:36
that we will have achieved達成された
human-level人間レベル machine機械 intelligenceインテリジェンス?"
80
264793
3482
50%あるのはいつか?」
というものでした
04:40
We defined定義された human-level人間レベル here
as the ability能力 to perform実行する
81
268785
4183
ここでの「人間並み」の定義は
ほとんどの作業を大人の人間と
同じくらいにこなせる能力ということで
04:44
almostほぼ any jobジョブ at least少なくとも as well
as an adult大人 human人間,
82
272968
2871
04:47
so realリアル human-level人間レベル, not just
within以内 some limited限られた domainドメイン.
83
275839
4005
特定の領域に関してということではなく
本当に人間並みということです
04:51
And the median中央値 answer回答 was 2040 or 2050,
84
279844
3650
回答の中央値は
2040年か2050年で
04:55
depending依存する on precisely正確に whichどの
groupグループ of experts専門家 we asked尋ねた.
85
283494
2806
質問をした専門家のグループによって
若干違いました
04:58
Now, it could happen起こる much,
much later後で, or soonerより早く,
86
286300
4039
それが起きるのはずっと遅いかもしれないし
ずっと早いかもしれません
05:02
the truth真実 is nobody誰も really knows知っている.
87
290339
1940
本当のところは
誰にも分かりません
05:05
What we do know is that the ultimate究極
limit限界 to information情報 processing処理
88
293259
4412
しかし分かっているのは
機械の基質による情報処理能力の限界は
05:09
in a machine機械 substrate基板 lies far遠い outside外側
the limits限界 in biological生物学的 tissue組織.
89
297671
4871
生物組織の限界の
遙か先にあるということです
05:15
This comes来る down to physics物理.
90
303241
2378
これは単純に物理の問題です
05:17
A biological生物学的 neuronニューロン fires火災, maybe,
at 200 hertzヘルツ, 200 times a second二番.
91
305619
4718
神経の発火頻度は200ヘルツ
毎秒200回ほどですが
05:22
But even a present-day現代 transistorトランジスタ
operates動作する at the Gigahertzギガヘルツ.
92
310337
3594
現在のトランジスタでさえ
ギガヘルツで動いています
05:25
Neuronsニューロン propagate伝播する slowlyゆっくり in axons軸索,
100 metersメートル per〜ごと second二番, topsトップス.
93
313931
5297
神経伝達は軸索をゆっくり伝わり
せいぜい毎秒100メートルですが
05:31
But in computersコンピュータ, signalsシグナル can travel旅行
at the speed速度 of light.
94
319228
3111
コンピュータの信号は
光速で伝わります
05:35
There are alsoまた、 sizeサイズ limitations限界,
95
323079
1869
大きさの点でも制限があります
05:36
like a human人間 brain has
to fitフィット inside内部 a cranium頭蓋骨,
96
324948
3027
人間の脳は頭蓋骨の中に
収まる必要がありますが
05:39
but a computerコンピューター can be the sizeサイズ
of a warehouse倉庫 or larger大きい.
97
327975
4761
コンピュータの大きさは倉庫のサイズか
もっと大きくもできます
05:44
So the potential潜在的な for superintelligenceスーパーインテリジェンス
lies dormant休眠する in matter問題,
98
332736
5599
だから超知的な機械の可能性は
休眠状態にあるのです
05:50
much like the powerパワー of the atom原子
lay寝る dormant休眠する throughout全体を通して human人間 history歴史,
99
338335
5712
ちょうど原子の力が
1945年に目覚めるまで
人類の歴史を通じて
休眠状態にあったのと同じように
05:56
patiently辛抱強く waiting待っている there until〜まで 1945.
100
344047
4405
この世紀中に
06:00
In this century世紀,
101
348452
1248
06:01
scientists科学者 mayかもしれない learn学ぶ to awaken覚醒する
the powerパワー of artificial人工的な intelligenceインテリジェンス.
102
349700
4118
科学者達は人工知能の力を
目覚めさせるかもしれません
06:05
And I think we mightかもしれない then see
an intelligenceインテリジェンス explosion爆発.
103
353818
4008
私たちは知性の爆発を目の当たりに
することになるかもしれません
06:10
Now most最も people, when they think
about what is smartスマート and what is dumbダム,
104
358406
3957
頭の良し悪しの尺度というと
多くの人は
06:14
I think have in mindマインド a picture画像
roughly大まかに like this.
105
362363
3023
こんなものを
イメージするのではと思います
06:17
So at one end終わり we have the village idiot馬鹿,
106
365386
2598
一方の端に間抜けな人間がいて
06:19
and then far遠い over at the other side
107
367984
2483
遙か彼方の別の極端にいるのが
06:22
we have Edエド Wittenウィッテン, or Albertアルバート Einsteinアインシュタイン,
or whoever誰でも your favoriteお気に入り guru教祖 is.
108
370467
4756
ウィッテンとかアインシュタインです
誰でもお気に入りの天才を置いてください
06:27
But I think that from the pointポイント of view見る
of artificial人工的な intelligenceインテリジェンス,
109
375223
3834
しかし人工知能という
観点を加えると
06:31
the true真実 picture画像 is actually実際に
probably多分 more like this:
110
379057
3681
実際のイメージは
たぶんこんな感じになるでしょう
06:35
AIAI starts開始する out at this pointポイント here,
at zeroゼロ intelligenceインテリジェンス,
111
383258
3378
人工知能は
知性のない状態からスタートして
06:38
and then, after manyたくさんの, manyたくさんの
years of really hardハード work,
112
386636
3011
長年の努力の後に
06:41
maybe eventually最終的に we get to
mouse-levelマウスレベル artificial人工的な intelligenceインテリジェンス,
113
389647
3844
いつかネズミ並みの知性に
到達できるかもしれません
06:45
something that can navigateナビゲートする
cluttered混乱した environments環境
114
393491
2430
雑然とした環境中を
ネズミのように
06:47
as well as a mouseマウス can.
115
395921
1987
目的地へと
移動できる能力です
06:49
And then, after manyたくさんの, manyたくさんの more years
of really hardハード work, lots of investment投資,
116
397908
4313
さらに長年に渡る
多くの努力と投資の末に
06:54
maybe eventually最終的に we get to
chimpanzee-levelチンパンジーレベル artificial人工的な intelligenceインテリジェンス.
117
402221
4639
いつかチンパンジー並みの知性に
到達できるかもしれません
06:58
And then, after even more years
of really, really hardハード work,
118
406860
3210
そこからさらに
長年の大きな努力を重ねて
07:02
we get to village idiot馬鹿
artificial人工的な intelligenceインテリジェンス.
119
410070
2913
間抜けな人間のレベルの
人工知能ができます
07:04
And a few少数 moments瞬間 later後で,
we are beyond超えて Edエド Wittenウィッテン.
120
412983
3272
それから少しばかり後に
エドワード・ウィッテンを越えます
07:08
The train列車 doesn't stop
at Humanvilleヒューマンビル Station.
121
416255
2970
この列車は人間レベルで
止まりはしません
07:11
It's likelyおそらく, ratherむしろ, to swooshスウィッシュ right by.
122
419225
3022
むしろ一瞬で
通り過ぎるでしょう
07:14
Now this has profound深遠な implications意義,
123
422247
1984
これには特に
力関係という点で
07:16
particularly特に when it comes来る
to questions質問 of powerパワー.
124
424231
3862
重大な意味があります
たえとば チンパンジーというのは
強いものです
07:20
For example, chimpanzeesチンパンジー are strong強い --
125
428093
1899
体重換算すると チンパンジーは
体力に優れた成人男性の倍の力があります
07:21
poundポンド for poundポンド, a chimpanzeeチンパンジー is about
twice二度 as strong強い as a fitフィット human人間 male男性.
126
429992
5222
07:27
And yetまだ, the fate運命 of Kanziカンジ
and his pals仲間 depends依存する a lot more
127
435214
4614
それでもカンジや
その仲間達の運命は
07:31
on what we humans人間 do than on
what the chimpanzeesチンパンジー do themselves自分自身.
128
439828
4140
チンパンジー達自身よりは
人間の手に握られています
07:37
Once一度 there is superintelligenceスーパーインテリジェンス,
129
445228
2314
超知的な機械が出現したら
07:39
the fate運命 of humanity人類 mayかもしれない depend依存する
on what the superintelligenceスーパーインテリジェンス does.
130
447542
3839
人類の運命は超知的な機械に
握られることになるかもしれません
そのことを考えてみてください
07:44
Think about it:
131
452451
1057
07:45
Machine機械 intelligenceインテリジェンス is the last invention発明
that humanity人類 will ever need to make.
132
453508
5044
機械の知性は
人類がする必要のある最後の発明です
07:50
Machinesマシン will then be better
at inventing発明 than we are,
133
458552
2973
機械が人間よりも
うまく発明をするようになり
しかもデジタルの時間尺度で
進歩することでしょう
07:53
and they'll彼らは be doing so
on digitalデジタル timescalesタイムスケール.
134
461525
2540
07:56
What this means手段 is basically基本的に
a telescopingテレスコープ of the future未来.
135
464065
4901
それが意味するのは
未来が短縮されるということです
08:00
Think of all the crazy狂った technologiesテクノロジー
that you could have imagined想像した
136
468966
3558
人類が遠い未来に
実現するかもしれない
08:04
maybe humans人間 could have developed発展した
in the fullness充満 of time:
137
472524
2798
夢のようなテクノロジーについて
考えてください
08:07
cures治癒 for agingエージング, spaceスペース colonization植民地化,
138
475322
3258
老化を止めるとか
宇宙への移民
08:10
self-replicating自己複製 nanobotsナノボット or uploadingアップロードする
of minds into computersコンピュータ,
139
478580
3731
自己増殖ナノボットや
意識のコンピュータへのアップロードなど
08:14
all kinds種類 of science科学 fiction-yフィクション-y stuffもの
140
482311
2159
SFっぽいけれど
08:16
that's neverthelessそれにもかかわらず consistent整合性のある
with the laws法律 of physics物理.
141
484470
2737
物理法則には
反していないものです
08:19
All of this superintelligenceスーパーインテリジェンス could
develop開発する, and possiblyおそらく quiteかなり rapidly急速に.
142
487207
4212
超知的な機械が そういったものを
あっさり開発してしまうかもしれません
超知的な機械は
そのような高度な技術によって
08:24
Now, a superintelligenceスーパーインテリジェンス with suchそのような
technological技術的 maturity成熟
143
492449
3558
08:28
would be extremely極端な powerful強力な,
144
496007
2179
非常に大きな力を持ち
08:30
and at least少なくとも in some scenariosシナリオ,
it would be ableできる to get what it wants.
145
498186
4546
シナリオ次第では 望むものを何でも
手に入れるようになるかもしれません
08:34
We would then have a future未来 that would
be shaped形をした by the preferencesプリファレンス of this A.I.
146
502732
5661
そうすると人類の未来は人工知能が好む通りに
形作られることになります
08:41
Now a good question質問 is,
what are those preferencesプリファレンス?
147
509855
3749
ここで問題は その好むことが
何かということです
08:46
Here it gets取得 trickierトリッキー.
148
514244
1769
話しがややこしくなってきますが
08:48
To make any headway前進 with this,
149
516013
1435
この議論を進める上では
08:49
we must必須 first of all
avoid避ける anthropomorphizing擬人化.
150
517448
3276
何より擬人化を
避けなければなりません
皮肉なのは
未来の人工知能を取り上げる記事で
08:53
And this is ironic皮肉な because
everyすべて newspaper新聞 article記事
151
521934
3301
08:57
about the future未来 of A.I.
has a picture画像 of this:
152
525235
3855
必ず出てくるのが
こんな写真だということです
09:02
So I think what we need to do is
to conceive思う of the issue問題 more abstractly抽象的な,
153
530280
4134
私たちはこの問題を
ハリウッドの鮮明なシナリオに沿ってではなく
09:06
not in terms条項 of vivid鮮やかな Hollywoodハリウッド scenariosシナリオ.
154
534414
2790
もっと抽象的に
考える必要があります
09:09
We need to think of intelligenceインテリジェンス
as an optimization最適化 processプロセス,
155
537204
3617
我々は知性を
未来を特定の状態へと舵取りしていく
09:12
a processプロセス that steers操る the future未来
into a particular特に setセット of configurations構成.
156
540821
5649
最適化プロセスとして
捉える必要があります
09:18
A superintelligenceスーパーインテリジェンス is
a really strong強い optimization最適化 processプロセス.
157
546470
3511
超知的な機械は
非常に強力な最適化プロセスです
09:21
It's extremely極端な good at usingを使用して
available利用可能な means手段 to achieve達成する a state状態
158
549981
4117
利用可能な手段を使って
目的が充たされた状態を達成することに
09:26
in whichどの its goalゴール is realized実現した.
159
554098
1909
極めて長けています
09:28
This means手段 that there is no necessary必要
conenction出席 betweenの間に
160
556447
2672
この意味での
高い知性を持つことと
09:31
beingであること highly高く intelligentインテリジェントな in this senseセンス,
161
559119
2734
人間が価値や意味を認める
目的を抱くことの間には
09:33
and having持つ an objective目的 that we humans人間
would find worthwhile価値がある or meaningful意味のある.
162
561853
4662
必ずしも関係がありません
09:39
Suppose仮定する we give an A.I. the goalゴール
to make humans人間 smileスマイル.
163
567321
3794
人間を笑顔にさせるという目的を
人工知能に与えたとしましょう
09:43
When the A.I. is weak弱い, it performs実行する useful有用
or amusing面白い actions行動
164
571115
2982
弱い人工知能は
人が見て笑うような
09:46
that cause原因 its userユーザー to smileスマイル.
165
574097
2517
何か可笑しいことを
するでしょう
09:48
When the A.I. becomes〜になる superintelligent超知能,
166
576614
2417
人工知能が
超知的になったなら
09:51
it realizes実現する that there is a more
effective効果的な way to achieve達成する this goalゴール:
167
579031
3523
この目的を達するには
もっと効果的なやり方があることに気付くでしょう
09:54
take controlコントロール of the world世界
168
582554
1922
世界をコントロールし
09:56
and stickスティック electrodes電極 into the facialフェイシャル
muscles筋肉 of humans人間
169
584476
3162
人間の表情筋に
電極を差し込んで
09:59
to cause原因 constant定数, beamingビーム grins笑う.
170
587638
2941
笑い顔が持続するようにするんです
10:02
Anotherもう一つ example,
171
590579
1035
別の例として
10:03
suppose想定する we give A.I. the goalゴール to solve解決する
a difficult難しい mathematical数学 problem問題.
172
591614
3383
人工知能に難しい数学の問題を解くことを
目的として与えたとします
10:06
When the A.I. becomes〜になる superintelligent超知能,
173
594997
1937
人工知能が超知的になったら
10:08
it realizes実現する that the most最も effective効果的な way
to get the solution溶液 to this problem問題
174
596934
4171
この問題を解くための
最も効果的な方法は
10:13
is by transforming変換する the planet惑星
into a giant巨人 computerコンピューター,
175
601105
2930
地球を巨大なコンピュータに変えて
思考能力を増大させることだと
考えるかもしれません
10:16
so as to increase増加する its thinking考え capacity容量.
176
604035
2246
10:18
And notice通知 that this gives与える the A.I.s
an instrumental道具 reason理由
177
606281
2764
このような目的は
人工知能に対して
人間が認めないような行為をする動機を
与えうることに注意してください
10:21
to do things to us that we
mightかもしれない not approve承認する of.
178
609045
2516
10:23
Human人間 beings存在 in this modelモデル are threats脅威,
179
611561
1935
このモデルにおいては
10:25
we could prevent防ぐ the mathematical数学
problem問題 from beingであること solved解決した.
180
613496
2921
人間は人工知能にとって数学的問題を解くのを妨げる
邪魔者になりうるのです
もちろん物事がこの筋書き通りに
まずいことに陥ることはないでしょう
10:29
Of courseコース, perceivably知覚可能な things won't〜されません
go wrong違う in these particular特に ways方法;
181
617207
3494
10:32
these are cartoon漫画 examples.
182
620701
1753
これはあくまで
戯画化した例です
10:34
But the general一般 pointポイント here is important重要:
183
622454
1939
しかしこの一般的な論点は重要です
10:36
if you create作成する a really powerful強力な
optimization最適化 processプロセス
184
624393
2873
目的Xに向けて最大化を行う
強力な最適化プロセスを
作るときには
10:39
to maximize最大化する for objective目的 x,
185
627266
2234
10:41
you better make sure
that your definition定義 of x
186
629500
2276
Xの定義が自分の気にかける
その他すべてのことに
10:43
incorporates組み込む everything you careお手入れ about.
187
631776
2469
問題を生じないか
よく確認する必要があります
これは伝説が教える
教訓でもあります
10:46
This is a lessonレッスン that's alsoまた、 taught教えた
in manyたくさんの a myth神話.
188
634835
4384
ミダス王は自分の触るものすべてが
金になることを望みました
10:51
Kingキング Midasマイダス wishes願い that everything
he touches触れる be turned回した into goldゴールド.
189
639219
5298
10:56
He touches触れる his daughter,
she turnsターン into goldゴールド.
190
644517
2861
娘に触れば
娘が金に変わり
10:59
He touches触れる his foodフード, it turnsターン into goldゴールド.
191
647378
2553
食べ物に触れば
食べ物が金に変わりました
11:01
This could become〜になる practically事実上 relevant関連する,
192
649931
2589
これが本当に
問題になるかもしれません
11:04
not just as a metaphor隠喩 for greed貪欲,
193
652520
2070
単なる強欲を諫める
メタファーとしてではなく
11:06
but as an illustration of what happens起こる
194
654590
1895
強力な最適化プロセスを作って
11:08
if you create作成する a powerful強力な
optimization最適化 processプロセス
195
656485
2837
間違った あるいは
まずく定義された目的を与えたときに
11:11
and give it misconceived誤解された
or poorly不完全に specified指定された goalsゴール.
196
659322
4789
何が起きるかを
示すものとしてです
11:16
Now you mightかもしれない say, if a computerコンピューター starts開始する
sticking固着する electrodes電極 into people's人々の faces,
197
664111
5189
コンピュータが人の顔に
電極を差し始めたら
11:21
we'd結婚した just shutシャット it off.
198
669300
2265
単にスイッチを切ればいいと
思うかもしれません
(A) そのシステムに依存するようになったとき
スイッチを切ることは難しくなります
11:24
A, this is not necessarily必ずしも so easy簡単 to do
if we've私たちは grown成長した dependent依存 on the systemシステム --
199
672555
5340
11:29
like, where is the off switchスイッチ
to the Internetインターネット?
200
677895
2732
たとえばの話 インターネットのスイッチは
どこにあるのでしょう?
11:32
B, why haven't持っていない the chimpanzeesチンパンジー
flickedフリックした the off switchスイッチ to humanity人類,
201
680627
5120
(B) チンパンジーはなぜ人間のスイッチを
オフにしなかったんでしょう?
11:37
or the Neanderthalsネアンデルタール?
202
685747
1551
あるいはネアンデルタール人は?
11:39
They certainly確かに had reasons理由.
203
687298
2666
彼らにはそうすべき理由が
あったことでしょう
11:41
We have an off switchスイッチ,
for example, right here.
204
689964
2795
人間を切るスイッチはあります
たとえはここに
11:44
(Choking窒息する)
205
692759
1554
(うぐぅ)
11:46
The reason理由 is that we are
an intelligentインテリジェントな adversary;
206
694313
2925
その理由は人間が
知的な相手だからです
11:49
we can anticipate予期する threats脅威
and plan計画 around them.
207
697238
2728
人間は危険を予期して
回避することができます
そしてそれは超知的な機械にも
できるだろうことで
11:51
But so could a superintelligent超知能 agentエージェント,
208
699966
2504
11:54
and it would be much better
at that than we are.
209
702470
3254
しかも人間よりずっと
上手くできることでしょう
11:57
The pointポイント is, we should not be confident自信を持って
that we have this under controlコントロール here.
210
705724
7187
我々は制御できるはずだと
高をくくらない方がよいということです
12:04
And we could try to make our jobジョブ
a little bitビット easierより簡単に by, say,
211
712911
3447
この問題をもう少し簡単にして
人工知能を逃げ出すことのできない
12:08
puttingパッティング the A.I. in a boxボックス,
212
716358
1590
12:09
like a secure安全な softwareソフトウェア environment環境,
213
717948
1796
安全なソフトウェア環境や
12:11
a virtualバーチャル reality現実 simulationシミュレーション
from whichどの it cannotできない escapeエスケープ.
214
719744
3022
仮想現実シミュレーションの中に閉じ込める
というのでもいいかもしれません
12:14
But how confident自信を持って can we be that
the A.I. couldn'tできなかった find a bugバグ.
215
722766
4146
しかし人工知能がシステムの欠陥を見つけたりしないと
自信を持てるでしょうか?
12:18
Given与えられた that merely単に human人間 hackersハッカー
find bugsバグ all the time,
216
726912
3169
ただの人間のハッカーでさえ
年中バグを見つけていることを思えば
12:22
I'd say, probably多分 not very confident自信を持って.
217
730081
3036
あまり自信は持てないでしょう
12:26
So we disconnect切断する the ethernetイーサネット cableケーブル
to create作成する an air空気 gapギャップ,
218
734237
4548
ではネットワークケーブルを抜いて
エアギャップを作ればどうか?
これにしたって人間のハッカーが
ソーシャルエンジニアリングによって
12:30
but again, like merely単に human人間 hackersハッカー
219
738785
2668
12:33
routinely日常的に transgress横断 air空気 gaps隙間
usingを使用して socialソーシャル engineeringエンジニアリング.
220
741453
3381
エアギャップを越えるということが
たびたび起きています
私が話をしているこの瞬間にも
12:36
Right now, as I speak話す,
221
744834
1259
12:38
I'm sure there is some employee従業員
out there somewhereどこかで
222
746093
2389
きっとどこかの社員が
12:40
who has been talked話した into handing手渡す out
her accountアカウント details詳細
223
748482
3346
情報管理部門から来たという人間に
アカウントの情報を教えるよう
仕向けられていることでしょう
12:43
by somebody誰か claiming主張する to be
from the I.T. department部門.
224
751828
2746
12:46
More creative創造的な scenariosシナリオ are alsoまた、 possible可能,
225
754574
2127
もっと奇想天外なシナリオだって
考えられます
12:48
like if you're the A.I.,
226
756701
1315
たとえば人工知能が
12:50
you can imagine想像する wiggling揺れる electrodes電極
around in your internal内部 circuitry回路
227
758016
3532
内部回路にある電極の
振動で発生した
12:53
to create作成する radio無線 waves that you
can use to communicate通信する.
228
761548
3462
電波を使って
通信をするとか
12:57
Or maybe you could pretendふりをする to malfunction故障,
229
765010
2424
あるいは人工知能が故障を装って
12:59
and then when the programmersプログラマー open開いた
you up to see what went行った wrong違う with you,
230
767434
3497
プログラマーが調べようと中を開け
ソースコードを見たところで
バーン!
13:02
they look at the sourceソース codeコード -- Bamバム! --
231
770931
1936
操作してしまうとか
13:04
the manipulation操作 can take place場所.
232
772867
2447
あるいはすごく洗練された
技術の設計図を出して
13:07
Or it could output出力 the blueprint青写真
to a really nifty気の利いた technology技術,
233
775314
3430
13:10
and when we implement実装する it,
234
778744
1398
人間がそれを実装してみると
13:12
it has some surreptitious秘密の side effect効果
that the A.I. had planned計画された.
235
780142
4397
そこには人工知能が潜ませていた
密かな副作用があるとか
13:16
The pointポイント here is that we should
not be confident自信を持って in our ability能力
236
784539
3463
要は我々は高度に知的な魔神を
13:20
to keep a superintelligent超知能 genie精霊
lockedロックされた up in its bottleボトル forever永遠に.
237
788002
3808
いつまでも壺に閉じ込めておけるとは
思わない方がよいということです
13:23
Soonerより早く or later後で, it will out.
238
791810
2254
遅かれ早かれ
出口を見つけ出すことでしょう
この問題への答えは
非常に知的な人工知能を
13:27
I believe that the answer回答 here
is to figure数字 out
239
795034
3103
13:30
how to create作成する superintelligent超知能 A.I.
suchそのような that even if -- when -- it escapes逃げる,
240
798137
5024
それが逃げ出しても
危険がないように作るということ
13:35
it is still safe安全 because it is
fundamentally根本的に on our side
241
803161
3277
人間と同じ価値観を持っていて
人間の側に立つように作る
ということだと思います
13:38
because it shares株式 our values.
242
806438
1899
13:40
I see no way around
this difficult難しい problem問題.
243
808337
3210
この難しい問題を
避けて通ることはできません
13:44
Now, I'm actually実際に fairlyかなり optimistic楽観的
that this problem問題 can be solved解決した.
244
812557
3834
私はこの問題は
解決できると楽観しています
13:48
We wouldn'tしないだろう have to write書きます down
a long listリスト of everything we careお手入れ about,
245
816391
3903
私たちが気にかける
あらゆることを書き出し
さらにはC++やPythonのような
プログラミング言語で
13:52
or worse悪化する yetまだ, spellスペル it out
in some computerコンピューター language言語
246
820294
3643
厳密に定義することは
望みがないくらい難しいことでしょうが
13:55
like C++ or PythonPython,
247
823937
1454
13:57
that would be a task仕事 beyond超えて hopeless絶望的な.
248
825391
2767
そうする必要はないと思います
14:00
Instead代わりに, we would create作成する an A.I.
that uses用途 its intelligenceインテリジェンス
249
828158
4297
自らの知性を使って
人間が価値を置くことを
14:04
to learn学ぶ what we value,
250
832455
2771
学び取る人工知能を
作ればよいのです
14:07
and its motivation動機 systemシステム is constructed建設された
in suchそのような a way that it is motivated意欲的な
251
835226
5280
人間の価値を追求し
人間がよしとすることを予測して行動するような
14:12
to pursue追求する our values or to perform実行する actions行動
that it predicts予測する we would approve承認する of.
252
840506
5232
動機付けのシステムを
持たせるのです
14:17
We would thusしたがって leverage活用
its intelligenceインテリジェンス as much as possible可能
253
845738
3414
そうやって価値付けの
問題を解くために
14:21
to solve解決する the problem問題 of value-loading値の読み込み.
254
849152
2745
人工知能の知性を
可能な限り活用するのです
14:24
This can happen起こる,
255
852727
1512
これは可能なことで
14:26
and the outcome結果 could be
very good for humanity人類.
256
854239
3596
人類にとって
とても好ましい結果をもたらします
14:29
But it doesn't happen起こる automatically自動的に.
257
857835
3957
しかし自動的に
起きるわけではありません
14:33
The initial初期 conditions条件
for the intelligenceインテリジェンス explosion爆発
258
861792
2998
知性爆発が人間の制御下で
起きるようにするためには
14:36
mightかもしれない need to be setセット up
in just the right way
259
864790
2863
初期条件を正しく
14:39
if we are to have a controlled制御された detonation爆発.
260
867653
3530
設定する必要があります
人工知能の価値観を人間の価値観と
合ったものにする必要があります
14:43
The values that the A.I. has
need to match一致 ours私たちのもの,
261
871183
2618
14:45
not just in the familiar身近な contextコンテキスト,
262
873801
1760
人工知能が適切に行動しているか
容易に確認できるような
14:47
like where we can easily簡単に checkチェック
how the A.I. behaves動作する,
263
875561
2438
分かりやすい状況だけでなく
14:49
but alsoまた、 in all novel小説 contexts文脈
that the A.I. mightかもしれない encounter出会い
264
877999
3234
将来のいつか人工知能が出会うかもしれない
あらゆる新奇な状況において
14:53
in the indefinite不定 future未来.
265
881233
1557
そうなる必要があります
14:54
And there are alsoまた、 some esoteric難解な issues問題
that would need to be solved解決した, sorted並べ替え out:
266
882790
4737
それから解決しなければならない
難解な問題がいろいろあります
14:59
the exact正確 details詳細 of its decision決定 theory理論,
267
887527
2089
決定理論の正確な詳細
15:01
how to deal対処 with logical論理的
uncertainty不確実性 and so forth前進.
268
889616
2864
論理的不確定性をどう扱うか
といったことです
15:05
So the technicalテクニカル problems問題 that need
to be solved解決した to make this work
269
893330
3102
だからこれを機能させるために
解くべき技術的問題は
15:08
look quiteかなり difficult難しい --
270
896432
1113
とても難しいものです
15:09
not as difficult難しい as making作る
a superintelligent超知能 A.I.,
271
897545
3380
超知的な人工知能を作ること自体ほど
難しくはないにしても
15:12
but fairlyかなり difficult難しい.
272
900925
2868
かなり難しいことです
15:15
Here is the worry心配:
273
903793
1695
ひとつ懸念すべきことがあります
15:17
Making作る superintelligent超知能 A.I.
is a really hardハード challengeチャレンジ.
274
905488
4684
超知的な人工知能を作るのは
非常に難しいことで
超知的な人工知能を
安全なものにするのは
15:22
Making作る superintelligent超知能 A.I. that is safe安全
275
910172
2548
15:24
involves関係する some additional追加
challengeチャレンジ on top of that.
276
912720
2416
その上にさらなる問題を
重ねることになりますが
15:28
The riskリスク is that if somebody誰か figures数字 out
how to crack亀裂 the first challengeチャレンジ
277
916216
3487
危険があるのは
誰かが安全を確保するという
15:31
withoutなし alsoまた、 having持つ cracked割れた
the additional追加 challengeチャレンジ
278
919703
3001
2番目の問題を解決することなく
15:34
of ensuring確実に perfect完璧な safety安全性.
279
922704
1901
最初の問題を解く方法を見つける
ということです
だから私たちは
この制御の問題を
15:37
So I think that we should
work out a solution溶液
280
925375
3331
15:40
to the controlコントロール problem問題 in advance前進,
281
928706
2822
前もって解決しておくべきだと思います
15:43
so that we have it available利用可能な
by the time it is needed必要な.
282
931528
2660
そうすれば必要になったときに
すぐ使えます
15:46
Now it mightかもしれない be that we cannotできない solve解決する
the entire全体 controlコントロール problem問題 in advance前進
283
934768
3507
制御の問題のすべてを前もって解決することは
できないかもしれません
15:50
because maybe some elements要素
can only be put in place場所
284
938275
3024
ある部分は実装される
アーキテクチャの詳細が
15:53
once一度 you know the details詳細 of the
architecture建築 where it will be implemented実装された.
285
941299
3997
明かになって初めて
可能になるかもしれません
15:57
But the more of the controlコントロール problem問題
that we solve解決する in advance前進,
286
945296
3380
しかし前もって制御の問題の
より多くの部分が解かれているほど
16:00
the better the oddsオッズ that the transition遷移
to the machine機械 intelligenceインテリジェンス era時代
287
948676
4090
機械知性の時代への移行が
うまくいく見込みは
16:04
will go well.
288
952766
1540
高くなるでしょう
16:06
This to me looks外見 like a thing
that is well worth価値 doing
289
954306
4644
これはやるに値することだと
私には思えます
16:10
and I can imagine想像する that if
things turn順番 out okay,
290
958950
3332
私には想像できます
すべてがうまくいった暁に
16:14
that people a million百万 years from now
look back at this century世紀
291
962282
4658
百万年後の人類が
この世紀を振り返って
16:18
and it mightかもしれない well be that they say that
the one thing we did that really mattered重要な
292
966940
4002
私たちがした本当に重要なことが
何かあるとすれば
それはこの問題を
正しく解決したことだと言うのを
16:22
was to get this thing right.
293
970942
1567
16:24
Thank you.
294
972509
1689
ありがとうございました
16:26
(Applause拍手)
295
974198
2813
(拍手)
Translated by Yasushi Aoki
Reviewed by Masako Kigami

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com