English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

ニック・ボストロム: 人工知能が人間より高い知性を持つようになったとき何が起きるか?

Filmed
Views 2,946,691

人工知能は飛躍的に知的になっています。ある研究は今世紀中に人工知能の知性が人間並みになると示唆しています。「機械の知性は人類が発明する必要のある最後のものになる」とニック・ボストロムは言います。哲学者であり技術の研究者でもある彼は、我々が構築しつつある考える機械が動かす世界のことをよく考えるよう求めています。我々の作り出す知的な機械は人類とその価値を守る助けとなるのでしょうか、それともそれ自身の思惑を持つようになるのでしょうか?

- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

I work作業 with〜と aa bunch of mathematicians数学者,
philosophers哲学者 andそして computerコンピューター scientists科学者,
私は沢山の数学者や哲学者や
コンピュータ科学者といっしょにやっていますが
00:12
andそして we我々 sit座る aroundまわり andそして think思う about
theその future未来 of machine機械 intelligenceインテリジェンス,
よく話題にすることに
00:16
among otherその他 thingsもの.
機械の知性の未来
というのがあります
00:21
Some一部 people think思う thatそれ some一部 of theseこれら
thingsもの are sortソート of science科学 fiction-yフィクション-y,
そんなのは現実離れした
SFの世界の
00:24
far遠い outでる thereそこ, crazy狂った.
馬鹿げた話だと
考える人もいます
00:28
Butだけど I like好きな to sayいう,
でも現在の人間の状態
というものについて
00:31
okayはい, let'sさあ look見える at〜で theその modernモダン
human人間 condition調子.
ちょっと考えてみて
ほしいのです
00:33
(Laughter笑い)
(笑)
00:36
Thisこの is theその normal正常 way方法 forために thingsもの to be〜する.
これが普通の状況とされています
00:38
Butだけど ifif we我々 think思う about itそれ,
しかし考えてみれば
00:41
we我々 are actually実際に recently最近 arrived到着した
guestsゲスト on thisこの planet惑星,
人間というのは
この地球に
00:43
theその human人間 species.
ごく最近現れた
客に過ぎません
00:46
Think思う about ifif Earth地球
wasあった created作成した one1 year ago,
地球ができたのが
1年前だったとしたら
00:48
theその human人間 species, then次に,
would〜する be〜する 10 minutes old古い.
人間がいたのは
10分間だけで
00:53
Theその industrial工業用 era時代 started開始した
two seconds ago.
工業化時代が始まったのは
2秒前です
00:56
Another別の way方法 to look見える at〜で thisこの is to think思う of
world世界 GDPgdp over以上 theその last最終 10,000 years,
このことの別な見方として
過去1万年における世界のGDPを考えてみましょう
01:01
I've私は actually実際に taken撮影 theその troubleトラブル
to plotプロット thisこの forために you君は in aa graphグラフ.
私は実際グラフにしてみたんですが
01:06
Itそれ looks外見 like好きな thisこの.
こんな感じになります
01:09
(Laughter笑い)
(笑)
01:11
It'sそれは aa curious好奇心 shape形状
forために aa normal正常 condition調子.
正常な状態のものとしては
興味深い形です
01:12
I sure確かに wouldn'tしないだろう want欲しいです to sit座る on itそれ.
この上に乗っていたいとは
あまり思いません
01:14
(Laughter笑い)
(笑)
01:16
Let'sさあ ask尋ねる ourselves自分自身, what is theその cause原因
of thisこの current現在 anomaly異常?
この現在における例外的な状態の
原因を考えてみましょう
01:19
Some一部 people would〜する sayいう it'sそれは technology技術.
それはテクノロジーのためだ
という人もいるでしょう
01:23
Now it'sそれは true真実, technology技術 has持っている accumulated蓄積された
throughを通して human人間 history歴史,
それはその通りで 人類の歴史を通じて
テクノロジーは蓄積され続け
01:26
andそして right now, technology技術
advances進歩 extremely極端な rapidly急速に ---
現在ではテクノロジーの進歩が
非常に速くなっています
01:31
thatそれ is theその proximate近接 cause原因,
それがおおよその答えで
01:35
that'sそれは whyなぜ we我々 are currently現在
soそう very非常に productive生産的な.
現在の我々の高い生産性を
もたらしているものです
01:37
Butだけど I like好きな to think思う backバック furtherさらに
to theその ultimate究極 cause原因.
しかしもっと突っ込んで
究極の原因を探ってみたいと思います
01:40
Look見える at〜で theseこれら two highly高く
distinguished著名な gentlemen紳士:
この非常に際だった2人を
ご覧ください
01:45
We我々 have持ってる Kanziカンジ ---
カンジは
01:48
he's彼は mastered習得した 200 lexical語彙
tokensトークン, an incredible信じられない feat偉業.
200の字句をマスターしています
すごいことです
01:50
Andそして Edエド Wittenウィッテン unleashed解き放たれた theその second二番
superstringスーパーストリング revolution革命.
エドワード・ウィッテンは
超弦理論の第2の革命の立役者です
01:55
Ifif we我々 look見える under theその hoodフード,
thisこの is what we我々 find見つける:
中身を覗いてみれば
そこにあるのはこれで
01:58
basically基本的に theその same同じ thingもの.
基本的には同じものです
02:01
One1 is aa little少し larger大きい,
一方がすこしばかり大きく
02:02
itそれ maybe多分 alsoまた、 has持っている aa few少数 tricksトリック
in theその exact正確 way方法 it'sそれは wired有線.
配線のされ方にも より巧妙なところが
あるかもしれませんが
02:04
Theseこれら invisible目に見えない differences相違 cannotできない
be〜する tooあまりにも complicated複雑な, howeverしかしながら,
その違いはさほど
複雑なものではないはずです
02:07
becauseなぜなら thereそこ have持ってる onlyのみ
beenされている 250,000 generations世代
我々は共通の祖先から
02:11
since以来 our我々の last最終 common一般 ancestor祖先.
25万世代しか
隔たっていませんが
02:15
We我々 know知っている thatそれ complicated複雑な mechanismsメカニズム
take取る aa long長いです time時間 to evolve進化する.
複雑なメカニズムが進化するのには
とても長い時間がかかることが分かっています
02:17
Soそう aa bunch of relatively比較的 minorマイナー changes変更
比較的小さな変化の
沢山の積み重ねが
02:22
take取る us米国 fromから Kanziカンジ to Wittenウィッテン,
カンジとウィッテンを
02:24
fromから broken-off壊れた tree branches
to intercontinental大陸間 ballistic弾道 missilesミサイル.
あるいは木切れと大陸間弾道弾を
隔てているものなのです
02:27
Soそう thisこの then次に seems思われる prettyかなり obvious明らか
thatそれ everythingすべて we've私たちは achieved達成された,
これで明らかになるのは
人類が達成したこと
02:32
andそして everythingすべて we我々 careお手入れ about,
気にかけていることすべては
02:36
depends依存する crucially決定的に on some一部 relatively比較的 minorマイナー
changes変更 thatそれ made theその human人間 mindマインド.
人間の心を作り出した比較的小さな変化によって
生じたということです
02:38
Andそして theその corollary必然的, of courseコース,
is thatそれ anyどれか furtherさらに changes変更
それはまた
思考の基質を
02:44
thatそれ couldできた significantly有意に change変化する
theその substrate基板 of thinking考え
はっきり変えるような
さらなる変化は
02:48
couldできた have持ってる potentially潜在的
enormous巨大な consequences結果.
極めて大きな結果をもたらしうる
ということでもあります
02:51
Some一部 of myじぶんの colleagues同僚
think思う we're私たちは on theその verge直前
私の研究仲間の間には
この思考の基質を本質的に変えうるものに
02:56
of something何か thatそれ couldできた cause原因
aa profound深遠な change変化する in thatそれ substrate基板,
人類は今直面していると
考えている人もいます
02:59
andそして thatそれ is machine機械 superintelligenceスーパーインテリジェンス.
それは超知的な機械です
03:03
Artificial人工的な intelligenceインテリジェンス used中古 to be〜する
about puttingパッティング commandsコマンド in aa boxボックス.
人工知能というのはかつては
コマンドを詰め込んだ箱のようなものでした
03:06
You君は would〜する have持ってる human人間 programmersプログラマー
人間のプログラマーが
苦労して
03:11
thatそれ would〜する painstakingly苦労して
handcraft手作り knowledge知識 itemsアイテム.
個々の知識項目を
手作りしていました
03:12
You君は buildビルドする upアップ theseこれら expert専門家 systemsシステム,
そうやってエキスパート・システムを作り
03:15
andそして they彼ら wereあった kind種類 of useful有用
forために some一部 purposes目的,
ある種の用途には
役立ちましたが
03:17
butだけど they彼ら wereあった very非常に brittle脆い,
you君は couldn'tできなかった scale規模 themそれら.
融通が効かず
拡張性を欠いていました
03:20
Basically基本的に, you君は got持っている outでる onlyのみ
what you君は put置く in.
基本的には入れたものが
出てくるだけです
03:22
Butだけど since以来 then次に,
しかしその後
03:26
aa paradigmパラダイム shiftシフト has持っている taken撮影 place場所
in theその fieldフィールド of artificial人工的な intelligenceインテリジェンス.
人工知能の世界で
パラダイムシフトが起きました
03:27
Today今日, theその actionアクション is really本当に
aroundまわり machine機械 learning学習.
現在 機械学習の周辺で
非常に興味深いことが起きています
03:30
Soそう ratherむしろ thanより handcrafting手作り knowledge知識
representations表現 andそして features特徴,
知識的な機能や表現を
手作りする代わりに
03:34
we我々 create作成する algorithmsアルゴリズム thatそれ learn学ぶ,
oftenしばしば fromから raw perceptual知覚的 dataデータ.
生の知覚データから
自ら学習するアルゴリズムを作るのです
03:40
Basically基本的に theその same同じ thingもの
thatそれ theその human人間 infant幼児 doesする.
基本的には人間の子供と同じことを
機械がするわけです
03:46
Theその result結果 is Aa.I. thatそれ is notない
limited限られた to one1 domainドメイン ---
結果としてできるのは
1つの領域に限定されない人工知能です
03:51
theその same同じ systemシステム canできる learn学ぶ to translate翻訳する
betweenの間に anyどれか pairsペア of languages言語,
どんな言語間の翻訳でも
できるシステムとか
03:55
orまたは learn学ぶ to play遊びます anyどれか computerコンピューター gameゲーム
on theその Atariアタリ consoleコンソール.
アタリのゲーム機用のどんなゲームでも
プレイしてしまうシステムとか
03:59
Now of courseコース,
もちろん
人工知能はまだ
04:05
Aa.I. is stillまだ nowhereどこにも near近く having持つ
theその same同じ powerful強力な, cross-domainクロスドメイン
多様な領域のことを
学び構想できる
04:07
ability能力 to learn学ぶ andそして plan計画
asとして aa human人間 beingであること has持っている.
人間の脳の強力さには
遠く及びません
04:11
Theその cortex皮質 stillまだ has持っている some一部
algorithmicアルゴリズム的 tricksトリック
大脳皮質にはまだ
機械で対抗する方法の見当もつかないような
04:14
thatそれ we我々 don'tしない yetまだ know知っている
howどうやって to match一致 in machines機械.
アルゴリズム的仕掛けがあります
04:16
Soそう theその question質問 is,
問題は そういう仕掛けに
04:19
howどうやって far遠い are we我々 fromから beingであること ableできる
to match一致 thoseそれら tricksトリック?
機械が対抗するようになる日が
いつ来るのかということです
04:21
Aa coupleカップル of years ago,
2年ほど前に
04:26
we我々 didした aa survey調査 of some一部 of theその world's世界の
leading先導 Aa.I. experts専門家,
世界の人工知能の専門家にアンケートを取って
考えを聞いたんですが
04:27
to see見る what they彼ら think思う,
andそして one1 of theその questions質問 we我々 asked尋ねた wasあった,
その時の質問の1つが
04:30
"By〜によって whichどの year do行う you君は think思う
thereそこ is aa 50 percentパーセント probability確率
「機械の知性が人間並みのレベルに
到達する可能性が
04:33
thatそれ we我々 will意志 have持ってる achieved達成された
human-level人間レベル machine機械 intelligenceインテリジェンス?"
50%あるのはいつか?」
というものでした
04:36
We我々 defined定義された human-level人間レベル hereここに
asとして theその ability能力 to perform実行する
ここでの「人間並み」の定義は
04:40
almostほぼ anyどれか jobジョブ at〜で least少なくとも asとして wellよく
asとして an adult大人 human人間,
ほとんどの作業を大人の人間と
同じくらいにこなせる能力ということで
04:44
soそう realリアル human-level人間レベル, notない justちょうど
within以内 some一部 limited限られた domainドメイン.
特定の領域に関してということではなく
本当に人間並みということです
04:47
Andそして theその median中央値 answer回答 wasあった 2040 orまたは 2050,
回答の中央値は
2040年か2050年で
04:51
depending依存する on precisely正確に whichどの
groupグループ of experts専門家 we我々 asked尋ねた.
質問をした専門家のグループによって
若干違いました
04:55
Now, itそれ couldできた happen起こる muchたくさん,
muchたくさん later後で, orまたは soonerより早く,
それが起きるのはずっと遅いかもしれないし
ずっと早いかもしれません
04:58
theその truth真実 is nobody誰も really本当に knows知っている.
本当のところは
誰にも分かりません
05:02
What we我々 do行う know知っている is thatそれ theその ultimate究極
limit限界 to information情報 processing処理
しかし分かっているのは
機械の基質による情報処理能力の限界は
05:05
in aa machine機械 substrate基板 lies far遠い outside外側
theその limits限界 in biological生物学的 tissue組織.
生物組織の限界の
遙か先にあるということです
05:09
Thisこの comes来る downダウン to physics物理.
これは単純に物理の問題です
05:15
Aa biological生物学的 neuronニューロン fires火災, maybe多分,
at〜で 200 hertzヘルツ, 200 times aa second二番.
神経の発火頻度は200ヘルツ
毎秒200回ほどですが
05:17
Butだけど even偶数 aa present-day現代 transistorトランジスタ
operates動作する at〜で theその Gigahertzギガヘルツ.
現在のトランジスタでさえ
ギガヘルツで動いています
05:22
Neuronsニューロン propagate伝播する slowlyゆっくり in axons軸索,
100 metersメートル per〜ごと second二番, topsトップス.
神経伝達は軸索をゆっくり伝わり
せいぜい毎秒100メートルですが
05:25
Butだけど in computersコンピュータ, signalsシグナル canできる travel旅行
at〜で theその speed速度 of light.
コンピュータの信号は
光速で伝わります
05:31
Thereそこ are alsoまた、 sizeサイズ limitations限界,
大きさの点でも制限があります
05:35
like好きな aa human人間 brain has持っている
to fitフィット inside内部 aa cranium頭蓋骨,
人間の脳は頭蓋骨の中に
収まる必要がありますが
05:36
butだけど aa computerコンピューター canできる be〜する theその sizeサイズ
of aa warehouse倉庫 orまたは larger大きい.
コンピュータの大きさは倉庫のサイズか
もっと大きくもできます
05:39
Soそう theその potential潜在的な forために superintelligenceスーパーインテリジェンス
lies dormant休眠する in matter問題,
だから超知的な機械の可能性は
休眠状態にあるのです
05:44
muchたくさん like好きな theその powerパワー of theその atom原子
lay寝る dormant休眠する throughout全体を通して human人間 history歴史,
ちょうど原子の力が
1945年に目覚めるまで
05:50
patiently辛抱強く waiting待っている thereそこ until〜まで 1945.
人類の歴史を通じて
休眠状態にあったのと同じように
05:56
In thisこの century世紀,
この世紀中に
06:00
scientists科学者 mayかもしれない learn学ぶ to awaken覚醒する
theその powerパワー of artificial人工的な intelligenceインテリジェンス.
科学者達は人工知能の力を
目覚めさせるかもしれません
06:01
Andそして I think思う we我々 mightかもしれない then次に see見る
an intelligenceインテリジェンス explosion爆発.
私たちは知性の爆発を目の当たりに
することになるかもしれません
06:05
Now most最も people, whenいつ they彼ら think思う
about what is smartスマート andそして what is dumbダム,
頭の良し悪しの尺度というと
多くの人は
06:10
I think思う have持ってる in mindマインド aa picture画像
roughly大まかに like好きな thisこの.
こんなものを
イメージするのではと思います
06:14
Soそう at〜で one1 end終わり we我々 have持ってる theその village idiot馬鹿,
一方の端に間抜けな人間がいて
06:17
andそして then次に far遠い over以上 at〜で theその otherその他 side
遙か彼方の別の極端にいるのが
06:19
we我々 have持ってる Edエド Wittenウィッテン, orまたは Albertアルバート Einsteinアインシュタイン,
orまたは whoever誰でも yourきみの favoriteお気に入り guru教祖 is.
ウィッテンとかアインシュタインです
誰でもお気に入りの天才を置いてください
06:22
Butだけど I think思う thatそれ fromから theその pointポイント of view見る
of artificial人工的な intelligenceインテリジェンス,
しかし人工知能という
観点を加えると
06:27
theその true真実 picture画像 is actually実際に
probably多分 moreもっと like好きな thisこの:
実際のイメージは
たぶんこんな感じになるでしょう
06:31
AI starts開始する outでる at〜で thisこの pointポイント hereここに,
at〜で zeroゼロ intelligenceインテリジェンス,
人工知能は
知性のない状態からスタートして
06:35
andそして then次に, after manyたくさんの, manyたくさんの
years of really本当に hardハード work作業,
長年の努力の後に
06:38
maybe多分 eventually最終的に we我々 get取得する to
mouse-levelマウスレベル artificial人工的な intelligenceインテリジェンス,
いつかネズミ並みの知性に
到達できるかもしれません
06:41
something何か thatそれ canできる navigateナビゲートする
cluttered混乱した environments環境
雑然とした環境中を
ネズミのように
06:45
asとして wellよく asとして aa mouseマウス canできる.
目的地へと
移動できる能力です
06:47
Andそして then次に, after manyたくさんの, manyたくさんの moreもっと years
of really本当に hardハード work作業, lotsロット of investment投資,
さらに長年に渡る
多くの努力と投資の末に
06:49
maybe多分 eventually最終的に we我々 get取得する to
chimpanzee-levelチンパンジーレベル artificial人工的な intelligenceインテリジェンス.
いつかチンパンジー並みの知性に
到達できるかもしれません
06:54
Andそして then次に, after even偶数 moreもっと years
of really本当に, really本当に hardハード work作業,
そこからさらに
長年の大きな努力を重ねて
06:58
we我々 get取得する to village idiot馬鹿
artificial人工的な intelligenceインテリジェンス.
間抜けな人間のレベルの
人工知能ができます
07:02
Andそして aa few少数 moments瞬間 later後で,
we我々 are beyond超えて Edエド Wittenウィッテン.
それから少しばかり後に
エドワード・ウィッテンを越えます
07:04
Theその train列車 doesn'tしない stopやめる
at〜で Humanvilleヒューマンビル Station.
この列車は人間レベルで
止まりはしません
07:08
It'sそれは likelyおそらく, ratherむしろ, to swooshスウィッシュ right by〜によって.
むしろ一瞬で
通り過ぎるでしょう
07:11
Now thisこの has持っている profound深遠な implications意義,
これには特に
力関係という点で
07:14
particularly特に whenいつ itそれ comes来る
to questions質問 of powerパワー.
重大な意味があります
07:16
Forために example, chimpanzeesチンパンジー are strong強い ---
たえとば チンパンジーというのは
強いものです
07:20
poundポンド forために poundポンド, aa chimpanzeeチンパンジー is about
twice二度 asとして strong強い asとして aa fitフィット human人間 male男性.
体重換算すると チンパンジーは
体力に優れた成人男性の倍の力があります
07:21
Andそして yetまだ, theその fate運命 of Kanziカンジ
andそして his pals仲間 depends依存する aa lotロット moreもっと
それでもカンジや
その仲間達の運命は
07:27
on what we我々 humans人間 do行う thanより on
what theその chimpanzeesチンパンジー do行う themselves自分自身.
チンパンジー達自身よりは
人間の手に握られています
07:31
Once一度 thereそこ is superintelligenceスーパーインテリジェンス,
超知的な機械が出現したら
07:37
theその fate運命 of humanity人類 mayかもしれない depend依存する
on what theその superintelligenceスーパーインテリジェンス doesする.
人類の運命は超知的な機械に
握られることになるかもしれません
07:39
Think思う about itそれ:
そのことを考えてみてください
07:44
Machine機械 intelligenceインテリジェンス is theその last最終 invention発明
thatそれ humanity人類 will意志 everこれまで need必要 to make作る.
機械の知性は
人類がする必要のある最後の発明です
07:45
Machines機械 will意志 then次に be〜する betterより良い
at〜で inventing発明 thanより we我々 are,
機械が人間よりも
うまく発明をするようになり
07:50
andそして they'll彼らは be〜する doingやっている soそう
on digitalデジタル timescalesタイムスケール.
しかもデジタルの時間尺度で
進歩することでしょう
07:53
What thisこの means手段 is basically基本的に
aa telescopingテレスコープ of theその future未来.
それが意味するのは
未来が短縮されるということです
07:56
Think思う of allすべて theその crazy狂った technologiesテクノロジー
thatそれ you君は couldできた have持ってる imagined想像した
人類が遠い未来に
実現するかもしれない
08:00
maybe多分 humans人間 couldできた have持ってる developed発展した
in theその fullness充満 of time時間:
夢のようなテクノロジーについて
考えてください
08:04
cures治癒 forために agingエージング, spaceスペース colonization植民地化,
老化を止めるとか
宇宙への移民
08:07
self-replicating自己複製 nanobotsナノボット orまたは uploadingアップロードする
of minds into computersコンピュータ,
自己増殖ナノボットや
意識のコンピュータへのアップロードなど
08:10
allすべて kinds種類 of science科学 fiction-yフィクション-y stuffもの
SFっぽいけれど
08:14
that'sそれは neverthelessそれにもかかわらず consistent整合性のある
with〜と theその laws法律 of physics物理.
物理法則には
反していないものです
08:16
Allすべて of thisこの superintelligenceスーパーインテリジェンス couldできた
develop開発する, andそして possiblyおそらく quiteかなり rapidly急速に.
超知的な機械が そういったものを
あっさり開発してしまうかもしれません
08:19
Now, aa superintelligenceスーパーインテリジェンス with〜と suchそのような
technological技術的 maturity成熟
超知的な機械は
そのような高度な技術によって
08:24
would〜する be〜する extremely極端な powerful強力な,
非常に大きな力を持ち
08:28
andそして at〜で least少なくとも in some一部 scenariosシナリオ,
itそれ would〜する be〜する ableできる to get取得する what itそれ wants望む.
シナリオ次第では 望むものを何でも
手に入れるようになるかもしれません
08:30
We我々 would〜する then次に have持ってる aa future未来 thatそれ would〜する
be〜する shaped形をした by〜によって theその preferencesプリファレンス of thisこの Aa.I.
そうすると人類の未来は人工知能が好む通りに
形作られることになります
08:34
Now aa good良い question質問 is,
what are thoseそれら preferencesプリファレンス?
ここで問題は その好むことが
何かということです
08:41
Hereここに itそれ gets取得 trickierトリッキー.
話しがややこしくなってきますが
08:46
To make作る anyどれか headway前進 with〜と thisこの,
この議論を進める上では
08:48
we我々 must必須 first最初 of allすべて
avoid避ける anthropomorphizing擬人化.
何より擬人化を
避けなければなりません
08:49
Andそして thisこの is ironic皮肉な becauseなぜなら
everyすべて newspaper新聞 article記事
皮肉なのは
未来の人工知能を取り上げる記事で
08:53
about theその future未来 of Aa.I.
has持っている aa picture画像 of thisこの:
必ず出てくるのが
こんな写真だということです
08:57
Soそう I think思う what we我々 need必要 to do行う is
to conceive思う of theその issue問題 moreもっと abstractly抽象的な,
私たちはこの問題を
ハリウッドの鮮明なシナリオに沿ってではなく
09:02
notない in terms条項 of vivid鮮やかな Hollywoodハリウッド scenariosシナリオ.
もっと抽象的に
考える必要があります
09:06
We我々 need必要 to think思う of intelligenceインテリジェンス
asとして an optimization最適化 processプロセス,
我々は知性を
未来を特定の状態へと舵取りしていく
09:09
aa processプロセス thatそれ steers操る theその future未来
into aa particular特に setセット of configurations構成.
最適化プロセスとして
捉える必要があります
09:12
Aa superintelligenceスーパーインテリジェンス is
aa really本当に strong強い optimization最適化 processプロセス.
超知的な機械は
非常に強力な最適化プロセスです
09:18
It'sそれは extremely極端な good良い at〜で usingを使用して
available利用可能な means手段 to achieve達成する aa state状態
利用可能な手段を使って
目的が充たされた状態を達成することに
09:21
in whichどの itsその goalゴール is realized実現した.
極めて長けています
09:26
Thisこの means手段 thatそれ thereそこ is noいいえ necessary必要
conenction出席 betweenの間に
この意味での
高い知性を持つことと
09:28
beingであること highly高く intelligentインテリジェントな in thisこの senseセンス,
人間が価値や意味を認める
目的を抱くことの間には
09:31
andそして having持つ an objective目的 thatそれ we我々 humans人間
would〜する find見つける worthwhile価値がある orまたは meaningful意味のある.
必ずしも関係がありません
09:33
Suppose想定する we我々 give与える an Aa.I. theその goalゴール
to make作る humans人間 smileスマイル.
人間を笑顔にさせるという目的を
人工知能に与えたとしましょう
09:39
Whenいつ theその Aa.I. is weak弱い, itそれ performs実行する useful有用
orまたは amusing面白い actions行動
弱い人工知能は
人が見て笑うような
09:43
thatそれ cause原因 itsその userユーザー to smileスマイル.
何か可笑しいことを
するでしょう
09:46
Whenいつ theその Aa.I. becomes〜になる superintelligent超知能,
人工知能が
超知的になったなら
09:48
itそれ realizes実現する thatそれ thereそこ is aa moreもっと
effective効果的な way方法 to achieve達成する thisこの goalゴール:
この目的を達するには
もっと効果的なやり方があることに気付くでしょう
09:51
take取る controlコントロール of theその world世界
世界をコントロールし
09:54
andそして stickスティック electrodes電極 into theその facialフェイシャル
muscles筋肉 of humans人間
人間の表情筋に
電極を差し込んで
09:56
to cause原因 constant定数, beamingビーム grins笑う.
笑い顔が持続するようにするんです
09:59
Another別の example,
別の例として
10:02
suppose想定する we我々 give与える Aa.I. theその goalゴール to solve解決する
aa difficult難しい mathematical数学 problem問題.
人工知能に難しい数学の問題を解くことを
目的として与えたとします
10:03
Whenいつ theその Aa.I. becomes〜になる superintelligent超知能,
人工知能が超知的になったら
10:06
itそれ realizes実現する thatそれ theその most最も effective効果的な way方法
to get取得する theその solution溶液 to thisこの problem問題
この問題を解くための
最も効果的な方法は
10:08
is by〜によって transforming変換する theその planet惑星
into aa giant巨人 computerコンピューター,
地球を巨大なコンピュータに変えて
10:13
soそう asとして to increase増加する itsその thinking考え capacity容量.
思考能力を増大させることだと
考えるかもしれません
10:16
Andそして notice通知 thatそれ thisこの gives与える theその Aa.I.ss
an instrumental道具 reason理由
このような目的は
人工知能に対して
10:18
to do行う thingsもの to us米国 thatそれ we我々
mightかもしれない notない approve承認する of.
人間が認めないような行為をする動機を
与えうることに注意してください
10:21
Human人間 beings存在 in thisこの modelモデル are threats脅威,
このモデルにおいては
10:23
we我々 couldできた prevent防ぐ theその mathematical数学
problem問題 fromから beingであること solved解決した.
人間は人工知能にとって数学的問題を解くのを妨げる
邪魔者になりうるのです
10:25
Of courseコース, perceivably知覚可能な thingsもの won't〜されません
go行く wrong違う in theseこれら particular特に ways方法;
もちろん物事がこの筋書き通りに
まずいことに陥ることはないでしょう
10:29
theseこれら are cartoon漫画 examples.
これはあくまで
戯画化した例です
10:32
Butだけど theその general一般 pointポイント hereここに is important重要:
しかしこの一般的な論点は重要です
10:34
ifif you君は create作成する aa really本当に powerful強力な
optimization最適化 processプロセス
目的Xに向けて最大化を行う
10:36
to maximize最大化する forために objective目的 xバツ,
強力な最適化プロセスを
作るときには
10:39
you君は betterより良い make作る sure確かに
thatそれ yourきみの definition定義 of xバツ
Xの定義が自分の気にかける
その他すべてのことに
10:41
incorporates組み込む everythingすべて you君は careお手入れ about.
問題を生じないか
よく確認する必要があります
10:43
Thisこの is aa lessonレッスン that'sそれは alsoまた、 taught教えた
in manyたくさんの aa myth神話.
これは伝説が教える
教訓でもあります
10:46
Kingキング Midasミダス wishes願い thatそれ everythingすべて
he touches触れる be〜する turned回した into goldゴールド.
ミダス王は自分の触るものすべてが
金になることを望みました
10:51
He touches触れる his daughter,
she彼女 turnsターン into goldゴールド.
娘に触れば
娘が金に変わり
10:56
He touches触れる his foodフード, itそれ turnsターン into goldゴールド.
食べ物に触れば
食べ物が金に変わりました
10:59
Thisこの couldできた become〜になる practically事実上 relevant関連する,
これが本当に
問題になるかもしれません
11:01
notない justちょうど asとして aa metaphor隠喩 forために greed貪欲,
単なる強欲を諫める
メタファーとしてではなく
11:04
butだけど asとして an illustration of what happens起こる
強力な最適化プロセスを作って
11:06
ifif you君は create作成する aa powerful強力な
optimization最適化 processプロセス
間違った あるいは
まずく定義された目的を与えたときに
11:08
andそして give与える itそれ misconceived誤解された
orまたは poorly不完全に specified指定された goalsゴール.
何が起きるかを
示すものとしてです
11:11
Now you君は mightかもしれない sayいう, ifif aa computerコンピューター starts開始する
sticking固着する electrodes電極 into people's人々の faces,
コンピュータが人の顔に
電極を差し始めたら
11:16
we'd結婚した justちょうど shutシャット itそれ offオフ.
単にスイッチを切ればいいと
思うかもしれません
11:21
Aa, thisこの is notない necessarily必ずしも soそう easy簡単 to do行う
ifif we've私たちは grown成長した dependent依存 on theその systemシステム ---
(A) そのシステムに依存するようになったとき
スイッチを切ることは難しくなります
11:24
like好きな, whereどこで is theその offオフ switchスイッチ
to theその Internetインターネット?
たとえばの話 インターネットのスイッチは
どこにあるのでしょう?
11:29
Bb, whyなぜ haven't持っていない theその chimpanzeesチンパンジー
flickedフリックした theその offオフ switchスイッチ to humanity人類,
(B) チンパンジーはなぜ人間のスイッチを
オフにしなかったんでしょう?
11:32
orまたは theその Neanderthalsネアンデルタール人?
あるいはネアンデルタール人は?
11:37
They彼ら certainly確かに had持っていました reasons理由.
彼らにはそうすべき理由が
あったことでしょう
11:39
We我々 have持ってる an offオフ switchスイッチ,
forために example, right hereここに.
人間を切るスイッチはあります
たとえはここに
11:41
(Choking窒息する)
(うぐぅ)
11:44
Theその reason理由 is thatそれ we我々 are
an intelligentインテリジェントな adversary;
その理由は人間が
知的な相手だからです
11:46
we我々 canできる anticipate予期する threats脅威
andそして plan計画 aroundまわり themそれら.
人間は危険を予期して
回避することができます
11:49
Butだけど soそう couldできた aa superintelligent超知能 agentエージェント,
そしてそれは超知的な機械にも
できるだろうことで
11:51
andそして itそれ would〜する be〜する muchたくさん betterより良い
at〜で thatそれ thanより we我々 are.
しかも人間よりずっと
上手くできることでしょう
11:54
Theその pointポイント is, we我々 should〜すべき notない be〜する confident自信を持って
thatそれ we我々 have持ってる thisこの under controlコントロール hereここに.
我々は制御できるはずだと
高をくくらない方がよいということです
11:57
Andそして we我々 couldできた tryお試しください to make作る our我々の jobジョブ
aa little少し bitビット easierより簡単に by〜によって, sayいう,
この問題をもう少し簡単にして
12:04
puttingパッティング theその Aa.I. in aa boxボックス,
人工知能を逃げ出すことのできない
12:08
like好きな aa secure安全な softwareソフトウェア environment環境,
安全なソフトウェア環境や
12:09
aa virtualバーチャル reality現実 simulationシミュレーション
fromから whichどの itそれ cannotできない escapeエスケープ.
仮想現実シミュレーションの中に閉じ込める
というのでもいいかもしれません
12:11
Butだけど howどうやって confident自信を持って canできる we我々 be〜する thatそれ
theその Aa.I. couldn'tできなかった find見つける aa bugバグ.
しかし人工知能がシステムの欠陥を見つけたりしないと
自信を持てるでしょうか?
12:14
Given与えられた thatそれ merely単に human人間 hackersハッカー
find見つける bugsバグ allすべて theその time時間,
ただの人間のハッカーでさえ
年中バグを見つけていることを思えば
12:18
I'd私は sayいう, probably多分 notない very非常に confident自信を持って.
あまり自信は持てないでしょう
12:22
Soそう we我々 disconnect切断する theその ethernetイーサネット cableケーブル
to create作成する an air空気 gapギャップ,
ではネットワークケーブルを抜いて
エアギャップを作ればどうか?
12:26
butだけど again再び, like好きな merely単に human人間 hackersハッカー
これにしたって人間のハッカーが
ソーシャルエンジニアリングによって
12:30
routinely日常的に transgress横断 air空気 gaps隙間
usingを使用して socialソーシャル engineeringエンジニアリング.
エアギャップを越えるということが
たびたび起きています
12:33
Right now, asとして I speak話す,
私が話をしているこの瞬間にも
12:36
I'm私は sure確かに thereそこ is some一部 employee従業員
outでる thereそこ somewhereどこかで
きっとどこかの社員が
12:38
who has持っている beenされている talked話した into handing手渡す outでる
her彼女 accountアカウント details詳細
情報管理部門から来たという人間に
12:40
by〜によって somebody誰か claiming主張する to be〜する
fromから theその I.Tt. department部門.
アカウントの情報を教えるよう
仕向けられていることでしょう
12:43
Moreもっと creative創造的な scenariosシナリオ are alsoまた、 possible可能,
もっと奇想天外なシナリオだって
考えられます
12:46
like好きな ifif you'reあなたは theその Aa.I.,
たとえば人工知能が
12:48
you君は canできる imagine想像する wiggling揺れる electrodes電極
aroundまわり in yourきみの internal内部 circuitry回路
内部回路にある電極の
振動で発生した
12:50
to create作成する radio無線 waves thatそれ you君は
canできる useつかいます to communicate通信する.
電波を使って
通信をするとか
12:53
Orまたは maybe多分 you君は couldできた pretendふりをする to malfunction故障,
あるいは人工知能が故障を装って
12:57
andそして then次に whenいつ theその programmersプログラマー open開いた
you君は upアップ to see見る what went行った wrong違う with〜と you君は,
プログラマーが調べようと中を開け
12:59
they彼ら look見える at〜で theその sourceソース codeコード --- Bamバム! ---
ソースコードを見たところで
バーン!
13:02
theその manipulation操作 canできる take取る place場所.
操作してしまうとか
13:04
Orまたは itそれ couldできた output出力 theその blueprint青写真
to aa really本当に nifty気の利いた technology技術,
あるいはすごく洗練された
技術の設計図を出して
13:07
andそして whenいつ we我々 implement実装する itそれ,
人間がそれを実装してみると
13:10
itそれ has持っている some一部 surreptitious秘密の side effect効果
thatそれ theその Aa.I. had持っていました planned計画された.
そこには人工知能が潜ませていた
密かな副作用があるとか
13:12
Theその pointポイント hereここに is thatそれ we我々 should〜すべき
notない be〜する confident自信を持って in our我々の ability能力
要は我々は高度に知的な魔神を
13:16
to keepキープ aa superintelligent超知能 genie精霊
lockedロックされた upアップ in itsその bottleボトル forever永遠に.
いつまでも壺に閉じ込めておけるとは
思わない方がよいということです
13:20
Soonerより早く orまたは later後で, itそれ will意志 outでる.
遅かれ早かれ
出口を見つけ出すことでしょう
13:23
I believe信じる thatそれ theその answer回答 hereここに
is to figure数字 outでる
この問題への答えは
非常に知的な人工知能を
13:27
howどうやって to create作成する superintelligent超知能 Aa.I.
suchそのような thatそれ even偶数 ifif --- whenいつ --- itそれ escapes逃げる,
それが逃げ出しても
危険がないように作るということ
13:30
itそれ is stillまだ safe安全 becauseなぜなら itそれ is
fundamentally根本的に on our我々の side
人間と同じ価値観を持っていて
13:35
becauseなぜなら itそれ shares株式 our我々の values.
人間の側に立つように作る
ということだと思います
13:38
I see見る noいいえ way方法 aroundまわり
thisこの difficult難しい problem問題.
この難しい問題を
避けて通ることはできません
13:40
Now, I'm私は actually実際に fairlyかなり optimistic楽観的
thatそれ thisこの problem問題 canできる be〜する solved解決した.
私はこの問題は
解決できると楽観しています
13:44
We我々 wouldn'tしないだろう have持ってる to write書きます downダウン
aa long長いです listリスト of everythingすべて we我々 careお手入れ about,
私たちが気にかける
あらゆることを書き出し
13:48
orまたは worse悪化する yetまだ, spellスペル itそれ outでる
in some一部 computerコンピューター language言語
さらにはC++やPythonのような
プログラミング言語で
13:52
like好きな Cc++ orまたは Pythonパイソン,
厳密に定義することは
望みがないくらい難しいことでしょうが
13:55
thatそれ would〜する be〜する aa task仕事 beyond超えて hopeless絶望的な.
そうする必要はないと思います
13:57
Instead代わりに, we我々 would〜する create作成する an Aa.I.
thatそれ uses用途 itsその intelligenceインテリジェンス
自らの知性を使って
人間が価値を置くことを
14:00
to learn学ぶ what we我々 value,
学び取る人工知能を
作ればよいのです
14:04
andそして itsその motivation動機 systemシステム is constructed建設された
in suchそのような aa way方法 thatそれ itそれ is motivated意欲的な
人間の価値を追求し
人間がよしとすることを予測して行動するような
14:07
to pursue追求する our我々の values orまたは to perform実行する actions行動
thatそれ itそれ predicts予測する we我々 would〜する approve承認する of.
動機付けのシステムを
持たせるのです
14:12
We我々 would〜する thusしたがって leverage活用
itsその intelligenceインテリジェンス asとして muchたくさん asとして possible可能
そうやって価値付けの
問題を解くために
14:17
to solve解決する theその problem問題 of value-loading値の読み込み.
人工知能の知性を
可能な限り活用するのです
14:21
Thisこの canできる happen起こる,
これは可能なことで
14:24
andそして theその outcome結果 couldできた be〜する
very非常に good良い forために humanity人類.
人類にとって
とても好ましい結果をもたらします
14:26
Butだけど itそれ doesn'tしない happen起こる automatically自動的に.
しかし自動的に
起きるわけではありません
14:29
Theその initial初期 conditions条件
forために theその intelligenceインテリジェンス explosion爆発
知性爆発が人間の制御下で
起きるようにするためには
14:33
mightかもしれない need必要 to be〜する setセット upアップ
in justちょうど theその right way方法
初期条件を正しく
14:36
ifif we我々 are to have持ってる aa controlled制御された detonation爆発.
設定する必要があります
14:39
Theその values thatそれ theその Aa.I. has持っている
need必要 to match一致 ours私たちのもの,
人工知能の価値観を人間の価値観と
合ったものにする必要があります
14:43
notない justちょうど in theその familiar身近な contextコンテキスト,
人工知能が適切に行動しているか
容易に確認できるような
14:45
like好きな whereどこで we我々 canできる easily簡単に checkチェック
howどうやって theその Aa.I. behaves動作する,
分かりやすい状況だけでなく
14:47
butだけど alsoまた、 in allすべて novel小説 contexts文脈
thatそれ theその Aa.I. mightかもしれない encounter出会い
将来のいつか人工知能が出会うかもしれない
あらゆる新奇な状況において
14:49
in theその indefinite不定 future未来.
そうなる必要があります
14:53
Andそして thereそこ are alsoまた、 some一部 esoteric難解な issues問題
thatそれ would〜する need必要 to be〜する solved解決した, sorted並べ替え outでる:
それから解決しなければならない
難解な問題がいろいろあります
14:54
theその exact正確 details詳細 of itsその decision決定 theory理論,
決定理論の正確な詳細
14:59
howどうやって to deal対処 with〜と logical論理的
uncertainty不確実性 andそして soそう forth前進.
論理的不確定性をどう扱うか
といったことです
15:01
Soそう theその technicalテクニカル problems問題 thatそれ need必要
to be〜する solved解決した to make作る thisこの work作業
だからこれを機能させるために
解くべき技術的問題は
15:05
look見える quiteかなり difficult難しい ---
とても難しいものです
15:08
notない asとして difficult難しい asとして making作る
aa superintelligent超知能 Aa.I.,
超知的な人工知能を作ること自体ほど
難しくはないにしても
15:09
butだけど fairlyかなり difficult難しい.
かなり難しいことです
15:12
Hereここに is theその worry心配:
ひとつ懸念すべきことがあります
15:15
Making作る superintelligent超知能 Aa.I.
is aa really本当に hardハード challengeチャレンジ.
超知的な人工知能を作るのは
非常に難しいことで
15:17
Making作る superintelligent超知能 Aa.I. thatそれ is safe安全
超知的な人工知能を
安全なものにするのは
15:22
involves関係する some一部 additional追加
challengeチャレンジ on top of thatそれ.
その上にさらなる問題を
重ねることになりますが
15:24
Theその riskリスク is thatそれ ifif somebody誰か figures数字 outでる
howどうやって to crack亀裂 theその first最初 challengeチャレンジ
危険があるのは
誰かが安全を確保するという
15:28
withoutなし alsoまた、 having持つ cracked割れた
theその additional追加 challengeチャレンジ
2番目の問題を解決することなく
15:31
of ensuring確実に perfect完璧な safety安全性.
最初の問題を解く方法を見つける
ということです
15:34
Soそう I think思う thatそれ we我々 should〜すべき
work作業 outでる aa solution溶液
だから私たちは
この制御の問題を
15:37
to theその controlコントロール problem問題 in advance前進,
前もって解決しておくべきだと思います
15:40
soそう thatそれ we我々 have持ってる itそれ available利用可能な
by〜によって theその time時間 itそれ is needed必要な.
そうすれば必要になったときに
すぐ使えます
15:43
Now itそれ mightかもしれない be〜する thatそれ we我々 cannotできない solve解決する
theその entire全体 controlコントロール problem問題 in advance前進
制御の問題のすべてを前もって解決することは
できないかもしれません
15:46
becauseなぜなら maybe多分 some一部 elements要素
canできる onlyのみ be〜する put置く in place場所
ある部分は実装される
アーキテクチャの詳細が
15:50
once一度 you君は know知っている theその details詳細 of theその
architecture建築 whereどこで itそれ will意志 be〜する implemented実装された.
明かになって初めて
可能になるかもしれません
15:53
Butだけど theその moreもっと of theその controlコントロール problem問題
thatそれ we我々 solve解決する in advance前進,
しかし前もって制御の問題の
より多くの部分が解かれているほど
15:57
theその betterより良い theその oddsオッズ thatそれ theその transition遷移
to theその machine機械 intelligenceインテリジェンス era時代
機械知性の時代への移行が
うまくいく見込みは
16:00
will意志 go行く wellよく.
高くなるでしょう
16:04
Thisこの to me looks外見 like好きな aa thingもの
thatそれ is wellよく worth価値 doingやっている
これはやるに値することだと
私には思えます
16:06
andそして I canできる imagine想像する thatそれ ifif
thingsもの turn順番 outでる okayはい,
私には想像できます
すべてがうまくいった暁に
16:10
thatそれ people aa million百万 years fromから now
look見える backバック at〜で thisこの century世紀
百万年後の人類が
この世紀を振り返って
16:14
andそして itそれ mightかもしれない wellよく be〜する thatそれ they彼ら sayいう thatそれ
theその one1 thingもの we我々 didした thatそれ really本当に mattered重要な
私たちがした本当に重要なことが
何かあるとすれば
16:18
wasあった to get取得する thisこの thingもの right.
それはこの問題を
正しく解決したことだと言うのを
16:22
Thank感謝 you君は.
ありがとうございました
16:24
(Applause拍手)
(拍手)
16:26
Translated by Yasushi Aoki
Reviewed by Masako Kigami

▲Back to top

About the speaker:

Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com