sponsored links
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

ニック・ボストロム: 人工知能が人間より高い知性を持つようになったとき何が起きるか?

March 18, 2015

人工知能は飛躍的に知的になっています。ある研究は今世紀中に人工知能の知性が人間並みになると示唆しています。「機械の知性は人類が発明する必要のある最後のものになる」とニック・ボストロムは言います。哲学者であり技術の研究者でもある彼は、我々が構築しつつある考える機械が動かす世界のことをよく考えるよう求めています。我々の作り出す知的な機械は人類とその価値を守る助けとなるのでしょうか、それともそれ自身の思惑を持つようになるのでしょうか?

Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

sponsored links
Double-click the English subtitles below to play the video.
I work with a bunch of mathematicians,
philosophers and computer scientists,
私は沢山の数学者や哲学者や
コンピュータ科学者といっしょにやっていますが
00:12
and we sit around and think about
the future of machine intelligence,
よく話題にすることに
00:16
among other things.
機械の知性の未来
というのがあります
00:21
Some people think that some of these
things are sort of science fiction-y,
そんなのは現実離れした
SFの世界の
00:23
far out there, crazy.
馬鹿げた話だと
考える人もいます
00:28
But I like to say,
でも現在の人間の状態
というものについて
00:31
okay, let's look at the modern
human condition.
ちょっと考えてみて
ほしいのです
00:33
(Laughter)
(笑)
00:36
This is the normal way for things to be.
これが普通の状況とされています
00:38
But if we think about it,
しかし考えてみれば
00:40
we are actually recently arrived
guests on this planet,
人間というのは
この地球に
00:43
the human species.
ごく最近現れた
客に過ぎません
00:46
Think about if Earth
was created one year ago,
地球ができたのが
1年前だったとしたら
00:48
the human species, then,
would be 10 minutes old.
人間がいたのは
10分間だけで
00:53
The industrial era started
two seconds ago.
工業化時代が始まったのは
2秒前です
00:56
Another way to look at this is to think of
world GDP over the last 10,000 years,
このことの別な見方として
過去1万年における世界のGDPを考えてみましょう
01:01
I've actually taken the trouble
to plot this for you in a graph.
私は実際グラフにしてみたんですが
01:06
It looks like this.
こんな感じになります
01:09
(Laughter)
(笑)
01:11
It's a curious shape
for a normal condition.
正常な状態のものとしては
興味深い形です
01:12
I sure wouldn't want to sit on it.
この上に乗っていたいとは
あまり思いません
01:14
(Laughter)
(笑)
01:16
Let's ask ourselves, what is the cause
of this current anomaly?
この現在における例外的な状態の
原因を考えてみましょう
01:18
Some people would say it's technology.
それはテクノロジーのためだ
という人もいるでしょう
01:23
Now it's true, technology has accumulated
through human history,
それはその通りで 人類の歴史を通じて
テクノロジーは蓄積され続け
01:26
and right now, technology
advances extremely rapidly --
現在ではテクノロジーの進歩が
非常に速くなっています
01:30
that is the proximate cause,
それがおおよその答えで
01:35
that's why we are currently
so very productive.
現在の我々の高い生産性を
もたらしているものです
01:37
But I like to think back further
to the ultimate cause.
しかしもっと突っ込んで
究極の原因を探ってみたいと思います
01:40
Look at these two highly
distinguished gentlemen:
この非常に際だった2人を
ご覧ください
01:44
We have Kanzi --
カンジは
01:48
he's mastered 200 lexical
tokens, an incredible feat.
200の字句をマスターしています
すごいことです
01:50
And Ed Witten unleashed the second
superstring revolution.
エドワード・ウィッテンは
超弦理論の第2の革命の立役者です
01:54
If we look under the hood,
this is what we find:
中身を覗いてみれば
そこにあるのはこれで
01:58
basically the same thing.
基本的には同じものです
02:00
One is a little larger,
一方がすこしばかり大きく
02:02
it maybe also has a few tricks
in the exact way it's wired.
配線のされ方にも より巧妙なところが
あるかもしれませんが
02:04
These invisible differences cannot
be too complicated, however,
その違いはさほど
複雑なものではないはずです
02:07
because there have only
been 250,000 generations
我々は共通の祖先から
02:10
since our last common ancestor.
25万世代しか
隔たっていませんが
02:15
We know that complicated mechanisms
take a long time to evolve.
複雑なメカニズムが進化するのには
とても長い時間がかかることが分かっています
02:16
So a bunch of relatively minor changes
比較的小さな変化の
沢山の積み重ねが
02:21
take us from Kanzi to Witten,
カンジとウィッテンを
02:24
from broken-off tree branches
to intercontinental ballistic missiles.
あるいは木切れと大陸間弾道弾を
隔てているものなのです
02:27
So this then seems pretty obvious
that everything we've achieved,
これで明らかになるのは
人類が達成したこと
02:32
and everything we care about,
気にかけていることすべては
02:36
depends crucially on some relatively minor
changes that made the human mind.
人間の心を作り出した比較的小さな変化によって
生じたということです
02:37
And the corollary, of course,
is that any further changes
それはまた
思考の基質を
02:44
that could significantly change
the substrate of thinking
はっきり変えるような
さらなる変化は
02:48
could have potentially
enormous consequences.
極めて大きな結果をもたらしうる
ということでもあります
02:51
Some of my colleagues
think we're on the verge
私の研究仲間の間には
この思考の基質を本質的に変えうるものに
02:56
of something that could cause
a profound change in that substrate,
人類は今直面していると
考えている人もいます
02:59
and that is machine superintelligence.
それは超知的な機械です
03:02
Artificial intelligence used to be
about putting commands in a box.
人工知能というのはかつては
コマンドを詰め込んだ箱のようなものでした
03:06
You would have human programmers
人間のプログラマーが
苦労して
03:10
that would painstakingly
handcraft knowledge items.
個々の知識項目を
手作りしていました
03:12
You build up these expert systems,
そうやってエキスパート・システムを作り
03:15
and they were kind of useful
for some purposes,
ある種の用途には
役立ちましたが
03:17
but they were very brittle,
you couldn't scale them.
融通が効かず
拡張性を欠いていました
03:20
Basically, you got out only
what you put in.
基本的には入れたものが
出てくるだけです
03:22
But since then,
しかしその後
03:26
a paradigm shift has taken place
in the field of artificial intelligence.
人工知能の世界で
パラダイムシフトが起きました
03:27
Today, the action is really
around machine learning.
現在 機械学習の周辺で
非常に興味深いことが起きています
03:30
So rather than handcrafting knowledge
representations and features,
知識的な機能や表現を
手作りする代わりに
03:34
we create algorithms that learn,
often from raw perceptual data.
生の知覚データから
自ら学習するアルゴリズムを作るのです
03:40
Basically the same thing
that the human infant does.
基本的には人間の子供と同じことを
機械がするわけです
03:45
The result is A.I. that is not
limited to one domain --
結果としてできるのは
1つの領域に限定されない人工知能です
03:50
the same system can learn to translate
between any pairs of languages,
どんな言語間の翻訳でも
できるシステムとか
03:55
or learn to play any computer game
on the Atari console.
アタリのゲーム機用のどんなゲームでも
プレイしてしまうシステムとか
03:59
Now of course,
もちろん
人工知能はまだ
04:05
A.I. is still nowhere near having
the same powerful, cross-domain
多様な領域のことを
学び構想できる
04:06
ability to learn and plan
as a human being has.
人間の脳の強力さには
遠く及びません
04:10
The cortex still has some
algorithmic tricks
大脳皮質にはまだ
機械で対抗する方法の見当もつかないような
04:14
that we don't yet know
how to match in machines.
アルゴリズム的仕掛けがあります
04:16
So the question is,
問題は そういう仕掛けに
04:19
how far are we from being able
to match those tricks?
機械が対抗するようになる日が
いつ来るのかということです
04:21
A couple of years ago,
2年ほど前に
04:26
we did a survey of some of the world's
leading A.I. experts,
世界の人工知能の専門家にアンケートを取って
考えを聞いたんですが
04:27
to see what they think,
and one of the questions we asked was,
その時の質問の1つが
04:30
"By which year do you think
there is a 50 percent probability
「機械の知性が人間並みのレベルに
到達する可能性が
04:33
that we will have achieved
human-level machine intelligence?"
50%あるのはいつか?」
というものでした
04:36
We defined human-level here
as the ability to perform
ここでの「人間並み」の定義は
04:40
almost any job at least as well
as an adult human,
ほとんどの作業を大人の人間と
同じくらいにこなせる能力ということで
04:44
so real human-level, not just
within some limited domain.
特定の領域に関してということではなく
本当に人間並みということです
04:47
And the median answer was 2040 or 2050,
回答の中央値は
2040年か2050年で
04:51
depending on precisely which
group of experts we asked.
質問をした専門家のグループによって
若干違いました
04:55
Now, it could happen much,
much later, or sooner,
それが起きるのはずっと遅いかもしれないし
ずっと早いかもしれません
04:58
the truth is nobody really knows.
本当のところは
誰にも分かりません
05:02
What we do know is that the ultimate
limit to information processing
しかし分かっているのは
機械の基質による情報処理能力の限界は
05:05
in a machine substrate lies far outside
the limits in biological tissue.
生物組織の限界の
遙か先にあるということです
05:09
This comes down to physics.
これは単純に物理の問題です
05:15
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
神経の発火頻度は200ヘルツ
毎秒200回ほどですが
05:17
But even a present-day transistor
operates at the Gigahertz.
現在のトランジスタでさえ
ギガヘルツで動いています
05:22
Neurons propagate slowly in axons,
100 meters per second, tops.
神経伝達は軸索をゆっくり伝わり
せいぜい毎秒100メートルですが
05:25
But in computers, signals can travel
at the speed of light.
コンピュータの信号は
光速で伝わります
05:31
There are also size limitations,
大きさの点でも制限があります
05:34
like a human brain has
to fit inside a cranium,
人間の脳は頭蓋骨の中に
収まる必要がありますが
05:36
but a computer can be the size
of a warehouse or larger.
コンピュータの大きさは倉庫のサイズか
もっと大きくもできます
05:39
So the potential for superintelligence
lies dormant in matter,
だから超知的な機械の可能性は
休眠状態にあるのです
05:44
much like the power of the atom
lay dormant throughout human history,
ちょうど原子の力が
1945年に目覚めるまで
05:50
patiently waiting there until 1945.
人類の歴史を通じて
休眠状態にあったのと同じように
05:55
In this century,
この世紀中に
06:00
scientists may learn to awaken
the power of artificial intelligence.
科学者達は人工知能の力を
目覚めさせるかもしれません
06:01
And I think we might then see
an intelligence explosion.
私たちは知性の爆発を目の当たりに
することになるかもしれません
06:05
Now most people, when they think
about what is smart and what is dumb,
頭の良し悪しの尺度というと
多くの人は
06:10
I think have in mind a picture
roughly like this.
こんなものを
イメージするのではと思います
06:14
So at one end we have the village idiot,
一方の端に間抜けな人間がいて
06:17
and then far over at the other side
遙か彼方の別の極端にいるのが
06:19
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
ウィッテンとかアインシュタインです
誰でもお気に入りの天才を置いてください
06:22
But I think that from the point of view
of artificial intelligence,
しかし人工知能という
観点を加えると
06:27
the true picture is actually
probably more like this:
実際のイメージは
たぶんこんな感じになるでしょう
06:30
AI starts out at this point here,
at zero intelligence,
人工知能は
知性のない状態からスタートして
06:35
and then, after many, many
years of really hard work,
長年の努力の後に
06:38
maybe eventually we get to
mouse-level artificial intelligence,
いつかネズミ並みの知性に
到達できるかもしれません
06:41
something that can navigate
cluttered environments
雑然とした環境中を
ネズミのように
06:45
as well as a mouse can.
目的地へと
移動できる能力です
06:47
And then, after many, many more years
of really hard work, lots of investment,
さらに長年に渡る
多くの努力と投資の末に
06:49
maybe eventually we get to
chimpanzee-level artificial intelligence.
いつかチンパンジー並みの知性に
到達できるかもしれません
06:54
And then, after even more years
of really, really hard work,
そこからさらに
長年の大きな努力を重ねて
06:58
we get to village idiot
artificial intelligence.
間抜けな人間のレベルの
人工知能ができます
07:01
And a few moments later,
we are beyond Ed Witten.
それから少しばかり後に
エドワード・ウィッテンを越えます
07:04
The train doesn't stop
at Humanville Station.
この列車は人間レベルで
止まりはしません
07:08
It's likely, rather, to swoosh right by.
むしろ一瞬で
通り過ぎるでしょう
07:11
Now this has profound implications,
これには特に
力関係という点で
07:14
particularly when it comes
to questions of power.
重大な意味があります
07:16
For example, chimpanzees are strong --
たえとば チンパンジーというのは
強いものです
07:19
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
体重換算すると チンパンジーは
体力に優れた成人男性の倍の力があります
07:21
And yet, the fate of Kanzi
and his pals depends a lot more
それでもカンジや
その仲間達の運命は
07:27
on what we humans do than on
what the chimpanzees do themselves.
チンパンジー達自身よりは
人間の手に握られています
07:31
Once there is superintelligence,
超知的な機械が出現したら
07:37
the fate of humanity may depend
on what the superintelligence does.
人類の運命は超知的な機械に
握られることになるかもしれません
07:39
Think about it:
そのことを考えてみてください
07:44
Machine intelligence is the last invention
that humanity will ever need to make.
機械の知性は
人類がする必要のある最後の発明です
07:45
Machines will then be better
at inventing than we are,
機械が人間よりも
うまく発明をするようになり
07:50
and they'll be doing so
on digital timescales.
しかもデジタルの時間尺度で
進歩することでしょう
07:53
What this means is basically
a telescoping of the future.
それが意味するのは
未来が短縮されるということです
07:55
Think of all the crazy technologies
that you could have imagined
人類が遠い未来に
実現するかもしれない
08:00
maybe humans could have developed
in the fullness of time:
夢のようなテクノロジーについて
考えてください
08:04
cures for aging, space colonization,
老化を止めるとか
宇宙への移民
08:07
self-replicating nanobots or uploading
of minds into computers,
自己増殖ナノボットや
意識のコンピュータへのアップロードなど
08:10
all kinds of science fiction-y stuff
SFっぽいけれど
08:14
that's nevertheless consistent
with the laws of physics.
物理法則には
反していないものです
08:16
All of this superintelligence could
develop, and possibly quite rapidly.
超知的な機械が そういったものを
あっさり開発してしまうかもしれません
08:19
Now, a superintelligence with such
technological maturity
超知的な機械は
そのような高度な技術によって
08:24
would be extremely powerful,
非常に大きな力を持ち
08:27
and at least in some scenarios,
it would be able to get what it wants.
シナリオ次第では 望むものを何でも
手に入れるようになるかもしれません
08:30
We would then have a future that would
be shaped by the preferences of this A.I.
そうすると人類の未来は人工知能が好む通りに
形作られることになります
08:34
Now a good question is,
what are those preferences?
ここで問題は その好むことが
何かということです
08:41
Here it gets trickier.
話しがややこしくなってきますが
08:46
To make any headway with this,
この議論を進める上では
08:47
we must first of all
avoid anthropomorphizing.
何より擬人化を
避けなければなりません
08:49
And this is ironic because
every newspaper article
皮肉なのは
未来の人工知能を取り上げる記事で
08:53
about the future of A.I.
has a picture of this:
必ず出てくるのが
こんな写真だということです
08:57
So I think what we need to do is
to conceive of the issue more abstractly,
私たちはこの問題を
ハリウッドの鮮明なシナリオに沿ってではなく
09:02
not in terms of vivid Hollywood scenarios.
もっと抽象的に
考える必要があります
09:06
We need to think of intelligence
as an optimization process,
我々は知性を
未来を特定の状態へと舵取りしていく
09:09
a process that steers the future
into a particular set of configurations.
最適化プロセスとして
捉える必要があります
09:12
A superintelligence is
a really strong optimization process.
超知的な機械は
非常に強力な最適化プロセスです
09:18
It's extremely good at using
available means to achieve a state
利用可能な手段を使って
目的が充たされた状態を達成することに
09:21
in which its goal is realized.
極めて長けています
09:25
This means that there is no necessary
conenction between
この意味での
高い知性を持つことと
09:28
being highly intelligent in this sense,
人間が価値や意味を認める
目的を抱くことの間には
09:30
and having an objective that we humans
would find worthwhile or meaningful.
必ずしも関係がありません
09:33
Suppose we give an A.I. the goal
to make humans smile.
人間を笑顔にさせるという目的を
人工知能に与えたとしましょう
09:39
When the A.I. is weak, it performs useful
or amusing actions
弱い人工知能は
人が見て笑うような
09:42
that cause its user to smile.
何か可笑しいことを
するでしょう
09:45
When the A.I. becomes superintelligent,
人工知能が
超知的になったなら
09:48
it realizes that there is a more
effective way to achieve this goal:
この目的を達するには
もっと効果的なやり方があることに気付くでしょう
09:50
take control of the world
世界をコントロールし
09:54
and stick electrodes into the facial
muscles of humans
人間の表情筋に
電極を差し込んで
09:56
to cause constant, beaming grins.
笑い顔が持続するようにするんです
09:59
Another example,
別の例として
10:02
suppose we give A.I. the goal to solve
a difficult mathematical problem.
人工知能に難しい数学の問題を解くことを
目的として与えたとします
10:03
When the A.I. becomes superintelligent,
人工知能が超知的になったら
10:06
it realizes that the most effective way
to get the solution to this problem
この問題を解くための
最も効果的な方法は
10:08
is by transforming the planet
into a giant computer,
地球を巨大なコンピュータに変えて
10:12
so as to increase its thinking capacity.
思考能力を増大させることだと
考えるかもしれません
10:15
And notice that this gives the A.I.s
an instrumental reason
このような目的は
人工知能に対して
10:18
to do things to us that we
might not approve of.
人間が認めないような行為をする動機を
与えうることに注意してください
10:20
Human beings in this model are threats,
このモデルにおいては
10:23
we could prevent the mathematical
problem from being solved.
人間は人工知能にとって数学的問題を解くのを妨げる
邪魔者になりうるのです
10:25
Of course, perceivably things won't
go wrong in these particular ways;
もちろん物事がこの筋書き通りに
まずいことに陥ることはないでしょう
10:29
these are cartoon examples.
これはあくまで
戯画化した例です
10:32
But the general point here is important:
しかしこの一般的な論点は重要です
10:34
if you create a really powerful
optimization process
目的Xに向けて最大化を行う
10:36
to maximize for objective x,
強力な最適化プロセスを
作るときには
10:39
you better make sure
that your definition of x
Xの定義が自分の気にかける
その他すべてのことに
10:41
incorporates everything you care about.
問題を生じないか
よく確認する必要があります
10:43
This is a lesson that's also taught
in many a myth.
これは伝説が教える
教訓でもあります
10:46
King Midas wishes that everything
he touches be turned into gold.
ミダス王は自分の触るものすべてが
金になることを望みました
10:51
He touches his daughter,
she turns into gold.
娘に触れば
娘が金に変わり
10:56
He touches his food, it turns into gold.
食べ物に触れば
食べ物が金に変わりました
10:59
This could become practically relevant,
これが本当に
問題になるかもしれません
11:01
not just as a metaphor for greed,
単なる強欲を諫める
メタファーとしてではなく
11:04
but as an illustration of what happens
強力な最適化プロセスを作って
11:06
if you create a powerful
optimization process
間違った あるいは
まずく定義された目的を与えたときに
11:08
and give it misconceived
or poorly specified goals.
何が起きるかを
示すものとしてです
11:11
Now you might say, if a computer starts
sticking electrodes into people's faces,
コンピュータが人の顔に
電極を差し始めたら
11:15
we'd just shut it off.
単にスイッチを切ればいいと
思うかもしれません
11:21
A, this is not necessarily so easy to do
if we've grown dependent on the system --
(A) そのシステムに依存するようになったとき
スイッチを切ることは難しくなります
11:24
like, where is the off switch
to the Internet?
たとえばの話 インターネットのスイッチは
どこにあるのでしょう?
11:29
B, why haven't the chimpanzees
flicked the off switch to humanity,
(B) チンパンジーはなぜ人間のスイッチを
オフにしなかったんでしょう?
11:32
or the Neanderthals?
あるいはネアンデルタール人は?
11:37
They certainly had reasons.
彼らにはそうすべき理由が
あったことでしょう
11:39
We have an off switch,
for example, right here.
人間を切るスイッチはあります
たとえはここに
11:41
(Choking)
(うぐぅ)
11:44
The reason is that we are
an intelligent adversary;
その理由は人間が
知的な相手だからです
11:46
we can anticipate threats
and plan around them.
人間は危険を予期して
回避することができます
11:49
But so could a superintelligent agent,
そしてそれは超知的な機械にも
できるだろうことで
11:51
and it would be much better
at that than we are.
しかも人間よりずっと
上手くできることでしょう
11:54
The point is, we should not be confident
that we have this under control here.
我々は制御できるはずだと
高をくくらない方がよいということです
11:57
And we could try to make our job
a little bit easier by, say,
この問題をもう少し簡単にして
12:04
putting the A.I. in a box,
人工知能を逃げ出すことのできない
12:08
like a secure software environment,
安全なソフトウェア環境や
12:09
a virtual reality simulation
from which it cannot escape.
仮想現実シミュレーションの中に閉じ込める
というのでもいいかもしれません
12:11
But how confident can we be that
the A.I. couldn't find a bug.
しかし人工知能がシステムの欠陥を見つけたりしないと
自信を持てるでしょうか?
12:14
Given that merely human hackers
find bugs all the time,
ただの人間のハッカーでさえ
年中バグを見つけていることを思えば
12:18
I'd say, probably not very confident.
あまり自信は持てないでしょう
12:21
So we disconnect the ethernet cable
to create an air gap,
ではネットワークケーブルを抜いて
エアギャップを作ればどうか?
12:26
but again, like merely human hackers
これにしたって人間のハッカーが
ソーシャルエンジニアリングによって
12:30
routinely transgress air gaps
using social engineering.
エアギャップを越えるということが
たびたび起きています
12:33
Right now, as I speak,
私が話をしているこの瞬間にも
12:36
I'm sure there is some employee
out there somewhere
きっとどこかの社員が
12:37
who has been talked into handing out
her account details
情報管理部門から来たという人間に
12:40
by somebody claiming to be
from the I.T. department.
アカウントの情報を教えるよう
仕向けられていることでしょう
12:43
More creative scenarios are also possible,
もっと奇想天外なシナリオだって
考えられます
12:46
like if you're the A.I.,
たとえば人工知能が
12:48
you can imagine wiggling electrodes
around in your internal circuitry
内部回路にある電極の
振動で発生した
12:49
to create radio waves that you
can use to communicate.
電波を使って
通信をするとか
12:53
Or maybe you could pretend to malfunction,
あるいは人工知能が故障を装って
12:56
and then when the programmers open
you up to see what went wrong with you,
プログラマーが調べようと中を開け
12:59
they look at the source code -- Bam! --
ソースコードを見たところで
バーン!
13:02
the manipulation can take place.
操作してしまうとか
13:04
Or it could output the blueprint
to a really nifty technology,
あるいはすごく洗練された
技術の設計図を出して
13:07
and when we implement it,
人間がそれを実装してみると
13:10
it has some surreptitious side effect
that the A.I. had planned.
そこには人工知能が潜ませていた
密かな副作用があるとか
13:11
The point here is that we should
not be confident in our ability
要は我々は高度に知的な魔神を
13:16
to keep a superintelligent genie
locked up in its bottle forever.
いつまでも壺に閉じ込めておけるとは
思わない方がよいということです
13:19
Sooner or later, it will out.
遅かれ早かれ
出口を見つけ出すことでしょう
13:23
I believe that the answer here
is to figure out
この問題への答えは
非常に知的な人工知能を
13:26
how to create superintelligent A.I.
such that even if -- when -- it escapes,
それが逃げ出しても
危険がないように作るということ
13:29
it is still safe because it is
fundamentally on our side
人間と同じ価値観を持っていて
13:34
because it shares our values.
人間の側に立つように作る
ということだと思います
13:38
I see no way around
this difficult problem.
この難しい問題を
避けて通ることはできません
13:40
Now, I'm actually fairly optimistic
that this problem can be solved.
私はこの問題は
解決できると楽観しています
13:44
We wouldn't have to write down
a long list of everything we care about,
私たちが気にかける
あらゆることを書き出し
13:48
or worse yet, spell it out
in some computer language
さらにはC++やPythonのような
プログラミング言語で
13:52
like C++ or Python,
厳密に定義することは
望みがないくらい難しいことでしょうが
13:55
that would be a task beyond hopeless.
そうする必要はないと思います
13:57
Instead, we would create an A.I.
that uses its intelligence
自らの知性を使って
人間が価値を置くことを
13:59
to learn what we value,
学び取る人工知能を
作ればよいのです
14:04
and its motivation system is constructed
in such a way that it is motivated
人間の価値を追求し
人間がよしとすることを予測して行動するような
14:07
to pursue our values or to perform actions
that it predicts we would approve of.
動機付けのシステムを
持たせるのです
14:12
We would thus leverage
its intelligence as much as possible
そうやって価値付けの
問題を解くために
14:17
to solve the problem of value-loading.
人工知能の知性を
可能な限り活用するのです
14:20
This can happen,
これは可能なことで
14:24
and the outcome could be
very good for humanity.
人類にとって
とても好ましい結果をもたらします
14:26
But it doesn't happen automatically.
しかし自動的に
起きるわけではありません
14:29
The initial conditions
for the intelligence explosion
知性爆発が人間の制御下で
起きるようにするためには
14:33
might need to be set up
in just the right way
初期条件を正しく
14:36
if we are to have a controlled detonation.
設定する必要があります
14:39
The values that the A.I. has
need to match ours,
人工知能の価値観を人間の価値観と
合ったものにする必要があります
14:43
not just in the familiar context,
人工知能が適切に行動しているか
容易に確認できるような
14:45
like where we can easily check
how the A.I. behaves,
分かりやすい状況だけでなく
14:47
but also in all novel contexts
that the A.I. might encounter
将来のいつか人工知能が出会うかもしれない
あらゆる新奇な状況において
14:49
in the indefinite future.
そうなる必要があります
14:53
And there are also some esoteric issues
that would need to be solved, sorted out:
それから解決しなければならない
難解な問題がいろいろあります
14:54
the exact details of its decision theory,
決定理論の正確な詳細
14:59
how to deal with logical
uncertainty and so forth.
論理的不確定性をどう扱うか
といったことです
15:01
So the technical problems that need
to be solved to make this work
だからこれを機能させるために
解くべき技術的問題は
15:05
look quite difficult --
とても難しいものです
15:08
not as difficult as making
a superintelligent A.I.,
超知的な人工知能を作ること自体ほど
難しくはないにしても
15:09
but fairly difficult.
かなり難しいことです
15:12
Here is the worry:
ひとつ懸念すべきことがあります
15:15
Making superintelligent A.I.
is a really hard challenge.
超知的な人工知能を作るのは
非常に難しいことで
15:17
Making superintelligent A.I. that is safe
超知的な人工知能を
安全なものにするのは
15:21
involves some additional
challenge on top of that.
その上にさらなる問題を
重ねることになりますが
15:24
The risk is that if somebody figures out
how to crack the first challenge
危険があるのは
誰かが安全を確保するという
15:28
without also having cracked
the additional challenge
2番目の問題を解決することなく
15:31
of ensuring perfect safety.
最初の問題を解く方法を見つける
ということです
15:34
So I think that we should
work out a solution
だから私たちは
この制御の問題を
15:37
to the control problem in advance,
前もって解決しておくべきだと思います
15:40
so that we have it available
by the time it is needed.
そうすれば必要になったときに
すぐ使えます
15:43
Now it might be that we cannot solve
the entire control problem in advance
制御の問題のすべてを前もって解決することは
できないかもしれません
15:46
because maybe some elements
can only be put in place
ある部分は実装される
アーキテクチャの詳細が
15:50
once you know the details of the
architecture where it will be implemented.
明かになって初めて
可能になるかもしれません
15:53
But the more of the control problem
that we solve in advance,
しかし前もって制御の問題の
より多くの部分が解かれているほど
15:57
the better the odds that the transition
to the machine intelligence era
機械知性の時代への移行が
うまくいく見込みは
16:00
will go well.
高くなるでしょう
16:04
This to me looks like a thing
that is well worth doing
これはやるに値することだと
私には思えます
16:06
and I can imagine that if
things turn out okay,
私には想像できます
すべてがうまくいった暁に
16:10
that people a million years from now
look back at this century
百万年後の人類が
この世紀を振り返って
16:14
and it might well be that they say that
the one thing we did that really mattered
私たちがした本当に重要なことが
何かあるとすれば
16:18
was to get this thing right.
それはこの問題を
正しく解決したことだと言うのを
16:22
Thank you.
ありがとうございました
16:24
(Applause)
(拍手)
16:26
Translator:Yasushi Aoki
Reviewer:Masako Kigami

sponsored links

Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

sponsored links

If you need translations, you can install "Google Translate" extension into your Chrome Browser.
Furthermore, you can change playback rate by installing "Video Speed Controller" extension.

Data provided by TED.

This website is owned and operated by Tokyo English Network.
The developer's blog is here.