Nick Bostrom: What happens when our computers get smarter than we are?
ニック・ボストロム: 人工知能が人間より高い知性を持つようになったとき何が起きるか?
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
philosophers and computer scientists,
コンピュータ科学者といっしょにやっていますが
the future of machine intelligence,
というのがあります
things are sort of science fiction-y,
SFの世界の
考える人もいます
というものについて
human condition.
ほしいのです
guests on this planet,
この地球に
客に過ぎません
1年前だったとしたら
was created one year ago,
would be 10 minutes old.
10分間だけで
two seconds ago.
2秒前です
world GDP over the last 10,000 years,
過去1万年における世界のGDPを考えてみましょう
to plot this for you in a graph.
興味深い形です
for a normal condition.
あまり思いません
of this current anomaly?
原因を考えてみましょう
という人もいるでしょう
through human history,
テクノロジーは蓄積され続け
advances extremely rapidly --
非常に速くなっています
so very productive.
もたらしているものです
究極の原因を探ってみたいと思います
to the ultimate cause.
distinguished gentlemen:
ご覧ください
すごいことです
tokens, an incredible feat.
超弦理論の第2の革命の立役者です
superstring revolution.
this is what we find:
そこにあるのはこれで
in the exact way it's wired.
あるかもしれませんが
be too complicated, however,
複雑なものではないはずです
been 250,000 generations
隔たっていませんが
take a long time to evolve.
とても長い時間がかかることが分かっています
沢山の積み重ねが
to intercontinental ballistic missiles.
隔てているものなのです
that everything we've achieved,
人類が達成したこと
changes that made the human mind.
生じたということです
is that any further changes
思考の基質を
the substrate of thinking
さらなる変化は
ということでもあります
enormous consequences.
think we're on the verge
この思考の基質を本質的に変えうるものに
a profound change in that substrate,
考えている人もいます
about putting commands in a box.
コマンドを詰め込んだ箱のようなものでした
苦労して
handcraft knowledge items.
手作りしていました
for some purposes,
役立ちましたが
you couldn't scale them.
拡張性を欠いていました
what you put in.
出てくるだけです
in the field of artificial intelligence.
パラダイムシフトが起きました
around machine learning.
非常に興味深いことが起きています
representations and features,
手作りする代わりに
often from raw perceptual data.
自ら学習するアルゴリズムを作るのです
that the human infant does.
機械がするわけです
limited to one domain --
1つの領域に限定されない人工知能です
between any pairs of languages,
できるシステムとか
on the Atari console.
プレイしてしまうシステムとか
人工知能はまだ
the same powerful, cross-domain
学び構想できる
as a human being has.
遠く及びません
algorithmic tricks
機械で対抗する方法の見当もつかないような
how to match in machines.
いつ来るのかということです
to match those tricks?
leading A.I. experts,
考えを聞いたんですが
and one of the questions we asked was,
there is a 50 percent probability
到達する可能性が
human-level machine intelligence?"
というものでした
as the ability to perform
同じくらいにこなせる能力ということで
as an adult human,
within some limited domain.
本当に人間並みということです
2040年か2050年で
group of experts we asked.
若干違いました
much later, or sooner,
ずっと早いかもしれません
誰にも分かりません
limit to information processing
機械の基質による情報処理能力の限界は
the limits in biological tissue.
遙か先にあるということです
at 200 hertz, 200 times a second.
毎秒200回ほどですが
operates at the Gigahertz.
ギガヘルツで動いています
100 meters per second, tops.
せいぜい毎秒100メートルですが
at the speed of light.
光速で伝わります
to fit inside a cranium,
収まる必要がありますが
of a warehouse or larger.
もっと大きくもできます
lies dormant in matter,
休眠状態にあるのです
lay dormant throughout human history,
1945年に目覚めるまで
休眠状態にあったのと同じように
the power of artificial intelligence.
目覚めさせるかもしれません
an intelligence explosion.
することになるかもしれません
about what is smart and what is dumb,
多くの人は
roughly like this.
イメージするのではと思います
or whoever your favorite guru is.
誰でもお気に入りの天才を置いてください
of artificial intelligence,
観点を加えると
probably more like this:
たぶんこんな感じになるでしょう
at zero intelligence,
知性のない状態からスタートして
years of really hard work,
mouse-level artificial intelligence,
到達できるかもしれません
cluttered environments
ネズミのように
移動できる能力です
of really hard work, lots of investment,
多くの努力と投資の末に
chimpanzee-level artificial intelligence.
到達できるかもしれません
of really, really hard work,
長年の大きな努力を重ねて
artificial intelligence.
人工知能ができます
we are beyond Ed Witten.
エドワード・ウィッテンを越えます
at Humanville Station.
止まりはしません
通り過ぎるでしょう
力関係という点で
to questions of power.
強いものです
体力に優れた成人男性の倍の力があります
twice as strong as a fit human male.
and his pals depends a lot more
その仲間達の運命は
what the chimpanzees do themselves.
人間の手に握られています
on what the superintelligence does.
握られることになるかもしれません
that humanity will ever need to make.
人類がする必要のある最後の発明です
at inventing than we are,
うまく発明をするようになり
進歩することでしょう
on digital timescales.
a telescoping of the future.
未来が短縮されるということです
that you could have imagined
実現するかもしれない
in the fullness of time:
考えてください
宇宙への移民
of minds into computers,
意識のコンピュータへのアップロードなど
with the laws of physics.
反していないものです
develop, and possibly quite rapidly.
あっさり開発してしまうかもしれません
そのような高度な技術によって
technological maturity
it would be able to get what it wants.
手に入れるようになるかもしれません
be shaped by the preferences of this A.I.
形作られることになります
what are those preferences?
何かということです
avoid anthropomorphizing.
避けなければなりません
未来の人工知能を取り上げる記事で
every newspaper article
has a picture of this:
こんな写真だということです
to conceive of the issue more abstractly,
ハリウッドの鮮明なシナリオに沿ってではなく
考える必要があります
as an optimization process,
未来を特定の状態へと舵取りしていく
into a particular set of configurations.
捉える必要があります
a really strong optimization process.
非常に強力な最適化プロセスです
available means to achieve a state
目的が充たされた状態を達成することに
conenction between
高い知性を持つことと
目的を抱くことの間には
would find worthwhile or meaningful.
to make humans smile.
人工知能に与えたとしましょう
or amusing actions
人が見て笑うような
するでしょう
超知的になったなら
effective way to achieve this goal:
もっと効果的なやり方があることに気付くでしょう
muscles of humans
電極を差し込んで
a difficult mathematical problem.
目的として与えたとします
to get the solution to this problem
最も効果的な方法は
into a giant computer,
考えるかもしれません
an instrumental reason
人工知能に対して
与えうることに注意してください
might not approve of.
problem from being solved.
邪魔者になりうるのです
まずいことに陥ることはないでしょう
go wrong in these particular ways;
戯画化した例です
optimization process
作るときには
that your definition of x
その他すべてのことに
よく確認する必要があります
教訓でもあります
in many a myth.
金になることを望みました
he touches be turned into gold.
she turns into gold.
娘が金に変わり
食べ物が金に変わりました
問題になるかもしれません
メタファーとしてではなく
optimization process
まずく定義された目的を与えたときに
or poorly specified goals.
示すものとしてです
sticking electrodes into people's faces,
電極を差し始めたら
思うかもしれません
スイッチを切ることは難しくなります
if we've grown dependent on the system --
to the Internet?
どこにあるのでしょう?
flicked the off switch to humanity,
オフにしなかったんでしょう?
あったことでしょう
for example, right here.
たとえはここに
an intelligent adversary;
知的な相手だからです
and plan around them.
回避することができます
できるだろうことで
at that than we are.
上手くできることでしょう
that we have this under control here.
高をくくらない方がよいということです
a little bit easier by, say,
from which it cannot escape.
というのでもいいかもしれません
the A.I. couldn't find a bug.
自信を持てるでしょうか?
find bugs all the time,
年中バグを見つけていることを思えば
to create an air gap,
エアギャップを作ればどうか?
ソーシャルエンジニアリングによって
using social engineering.
たびたび起きています
out there somewhere
her account details
仕向けられていることでしょう
from the I.T. department.
考えられます
around in your internal circuitry
振動で発生した
can use to communicate.
通信をするとか
you up to see what went wrong with you,
バーン!
技術の設計図を出して
to a really nifty technology,
that the A.I. had planned.
密かな副作用があるとか
not be confident in our ability
locked up in its bottle forever.
思わない方がよいということです
出口を見つけ出すことでしょう
非常に知的な人工知能を
is to figure out
such that even if -- when -- it escapes,
危険がないように作るということ
fundamentally on our side
ということだと思います
this difficult problem.
避けて通ることはできません
that this problem can be solved.
解決できると楽観しています
a long list of everything we care about,
あらゆることを書き出し
プログラミング言語で
in some computer language
望みがないくらい難しいことでしょうが
that uses its intelligence
人間が価値を置くことを
作ればよいのです
in such a way that it is motivated
人間がよしとすることを予測して行動するような
that it predicts we would approve of.
持たせるのです
its intelligence as much as possible
問題を解くために
可能な限り活用するのです
very good for humanity.
とても好ましい結果をもたらします
起きるわけではありません
for the intelligence explosion
起きるようにするためには
in just the right way
合ったものにする必要があります
need to match ours,
容易に確認できるような
how the A.I. behaves,
that the A.I. might encounter
あらゆる新奇な状況において
that would need to be solved, sorted out:
難解な問題がいろいろあります
uncertainty and so forth.
といったことです
to be solved to make this work
解くべき技術的問題は
a superintelligent A.I.,
難しくはないにしても
is a really hard challenge.
非常に難しいことで
安全なものにするのは
challenge on top of that.
重ねることになりますが
how to crack the first challenge
誰かが安全を確保するという
the additional challenge
ということです
この制御の問題を
work out a solution
by the time it is needed.
すぐ使えます
the entire control problem in advance
できないかもしれません
can only be put in place
アーキテクチャの詳細が
architecture where it will be implemented.
可能になるかもしれません
that we solve in advance,
より多くの部分が解かれているほど
to the machine intelligence era
うまくいく見込みは
that is well worth doing
私には思えます
things turn out okay,
すべてがうまくいった暁に
look back at this century
この世紀を振り返って
the one thing we did that really mattered
何かあるとすれば
正しく解決したことだと言うのを
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com