English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED@IBM

Grady Booch: Don't fear superintelligent AI

グラディ・ブーチ: 人工知能が人間を超えるのを怖れることはない

Filmed
Views 1,400,311

新たな技術は新たな不安を呼び起こすものですが、非常に強力で感情のない人工知能を怖れることはないと、科学者であり思想家であるグラディ・ブーチは言います。我々は人工知能をプログラムするのでなく、人間の価値観を共有するように教えるのだと説明し、超知的なコンピューターに対する(SF的な)最悪の恐怖を和らげた上で、ありそうにない人類存亡の危機を怖れるよりも、人工知能が人の生活をどう良くするか考えるようにと促します。

- Scientist, philosopher
IBM's Grady Booch is shaping the future of cognitive computing by building intelligent systems that can reason and learn. Full bio

When I was a kid,
I was the quintessential nerd.
子供の頃 私はごく典型的な
オタク少年でした
00:12
I think some of you were, too.
皆さんの中にも
いるでしょう
00:17
(Laughter)
(笑)
00:19
And you, sir, who laughed the loudest,
you probably still are.
そこで大声で笑った人
あなたは今もそうでしょう
00:20
(Laughter)
(笑)
00:24
I grew up in a small town
in the dusty plains of north Texas,
北テキサスのほこりっぽい平原の
小さな町で育ち
00:26
the son of a sheriff
who was the son of a pastor.
父は牧師の子で
保安官をしていました
00:29
Getting into trouble was not an option.
トラブルを起こすなんて論外です
00:33
And so I started reading
calculus books for fun.
それで趣味として
解析学の本を読むようになりました
00:36
(Laughter)
(笑)
00:39
You did, too.
あなたもですか?
00:40
That led me to building a laser
and a computer and model rockets,
それでレーザーやコンピューターや
ロケットなんかを作るようになり
00:42
and that led me to making
rocket fuel in my bedroom.
さらには自分の部屋で
ロケット燃料まで作りました
00:46
Now, in scientific terms,
科学用語で言うと これは
00:49
we call this a very bad idea.
「とってもまずい考え」です
00:53
(Laughter)
(笑)
00:56
Around that same time,
同じ頃
00:58
Stanley Kubrick's "2001: A Space Odyssey"
came to the theaters,
スタンリー・キューブリックの
『2001年宇宙の旅』が劇場公開され
01:00
and my life was forever changed.
私の人生を永遠に
変えることになりました
01:03
I loved everything about that movie,
あの映画の
すべてが好きで
01:06
especially the HAL 9000.
ことに HAL 9000が
好きでした
01:08
Now, HAL was a sentient computer
HALは 知覚力のある
コンピューターで
01:10
designed to guide the Discovery spacecraft
宇宙船ディスカバリー号を
地球から木星へとガイドすべく
01:13
from the Earth to Jupiter.
設計されていました
01:15
HAL was also a flawed character,
HALにはまた
性格上の欠陥があり
01:18
for in the end he chose
to value the mission over human life.
最終的に人間の命よりも
ミッションを優先させます
01:20
Now, HAL was a fictional character,
HALは架空のキャラクターですが
01:24
but nonetheless he speaks to our fears,
私たちの恐怖を
呼び起こします
01:26
our fears of being subjugated
人間に無関心な
01:29
by some unfeeling, artificial intelligence
感情のない人工知能に
01:31
who is indifferent to our humanity.
支配されるという恐怖です
01:34
I believe that such fears are unfounded.
そのような恐怖は
根拠のないものです
01:37
Indeed, we stand at a remarkable time
私たちは実際
01:40
in human history,
人類史の中でも
目覚ましい時代にいます
01:43
where, driven by refusal to accept
the limits of our bodies and our minds,
肉体や精神の限界を
受け入れることを拒み
01:44
we are building machines
精緻で美しく
01:49
of exquisite, beautiful
complexity and grace
複雑で優雅な機械を作り
01:51
that will extend the human experience
それが我々の想像を
超えるような仕方で
01:55
in ways beyond our imagining.
人間の体験を
拡張することになるでしょう
01:57
After a career that led me
from the Air Force Academy
私は空軍士官学校を出て
01:59
to Space Command to now,
宇宙軍で働いた後
02:02
I became a systems engineer,
システム屋になりましたが
02:04
and recently I was drawn
into an engineering problem
最近 NASAの
火星ミッションに関連する
02:06
associated with NASA's mission to Mars.
エンジニアリング上の問題へと
引き寄せられました
02:08
Now, in space flights to the Moon,
月へ行くのであれば
02:11
we can rely upon
mission control in Houston
ヒューストンの
地上管制センターから
02:13
to watch over all aspects of a flight.
飛行の全過程を
見守れます
02:17
However, Mars is 200 times further away,
しかし火星は月より
200倍も離れています
02:19
and as a result it takes
on average 13 minutes
そのため 信号が地球から
火星に届くのには
02:22
for a signal to travel
from the Earth to Mars.
平均で13分もかかります
02:25
If there's trouble,
there's not enough time.
トラブルが起きた場合
そんなに待ってはいられません
02:29
And so a reasonable engineering solution
妥当な工学的解決策として
02:32
calls for us to put mission control
オリオン号の壁の中に
02:35
inside the walls of the Orion spacecraft.
管制機能を設けることにしました
02:37
Another fascinating idea
in the mission profile
ミッション概略にある
別の面白いアイデアとして
02:41
places humanoid robots
on the surface of Mars
人間型ロボットを火星表面に
02:43
before the humans themselves arrive,
人間が行く前に送って
02:46
first to build facilities
施設を作らせ
02:48
and later to serve as collaborative
members of the science team.
その後は 科学者チームの一員として
働かせるというのがあります
02:50
Now, as I looked at this
from an engineering perspective,
これを工学的な観点で見て
明らかになったのは
02:55
it became very clear to me
that what I needed to architect
ここで設計する必要があるのは
02:58
was a smart, collaborative,
賢く 協力的で
03:01
socially intelligent
artificial intelligence.
社会的な人工知能
だということです
03:03
In other words, I needed to build
something very much like a HAL
言い換えると 何かHALのようなものを
作る必要があるということです
03:05
but without the homicidal tendencies.
ただし殺人癖は抜きで
03:10
(Laughter)
(笑)
03:12
Let's pause for a moment.
少し立ち止まって
考えてみましょう
03:14
Is it really possible to build
an artificial intelligence like that?
そのような人工知能を作ることは
可能なのでしょうか
03:16
Actually, it is.
可能です
03:20
In many ways,
何にせよ
03:22
this is a hard engineering problem
これは人工知能の
要素がある
03:23
with elements of AI,
工学上の問題であって
03:25
not some wet hair ball of an AI problem
that needs to be engineered.
得体の知れない
人工知能の問題ではありません
03:26
To paraphrase Alan Turing,
チューリングの言葉を
少し変えて言うと
03:31
I'm not interested
in building a sentient machine.
知覚力のある機械を作ることには
関心がありません
03:34
I'm not building a HAL.
HALを作ろうとは
していません
03:36
All I'm after is a simple brain,
私がやろうとしているのは
単純な脳
03:38
something that offers
the illusion of intelligence.
知性の幻想を
提供する何かです
03:40
The art and the science of computing
have come a long way
HALが映画に現れて以来
03:45
since HAL was onscreen,
コンピューターの科学と技術は
大きく進歩しました
03:48
and I'd imagine if his inventor
Dr. Chandra were here today,
HALの生みの親のチャンドラ博士が
ここにいたなら
03:49
he'd have a whole lot of questions for us.
我々に聞きたいことが
山ほどあるはずです
03:52
Is it really possible for us
何百万 何千万という
デバイスを使い
03:55
to take a system of millions
upon millions of devices,
そのデータストリームを読んで
03:57
to read in their data streams,
故障を予期し
04:01
to predict their failures
and act in advance?
前もって対処することは
できるのか?
04:02
Yes.
できます
04:05
Can we build systems that converse
with humans in natural language?
自然言語で人間と会話するシステムを
構築することはできるのか?
04:06
Yes.
できます
04:09
Can we build systems
that recognize objects, identify emotions,
物を認識し 人の感情を判断し
自分の感情を表現し ゲームをし
04:10
emote themselves,
play games and even read lips?
唇の動きすら読めるシステムを
作ることはできるのか?
04:13
Yes.
できます
04:17
Can we build a system that sets goals,
目標を設定し
その実現のための計画を実行し
04:18
that carries out plans against those goals
and learns along the way?
その過程で学習するシステムを
作ることはできるのか?
04:20
Yes.
できます
04:24
Can we build systems
that have a theory of mind?
心の理論を備えたシステムを
作ることはできるのか?
04:25
This we are learning to do.
これは我々がやり方を
学ぼうとしていることです
04:28
Can we build systems that have
an ethical and moral foundation?
倫理的・道徳的基盤を持つシステムを
作ることはできるのか?
04:30
This we must learn how to do.
これは我々がやり方を
学ぶ必要のあることです
04:34
So let's accept for a moment
このようなミッションや
その他のことための
04:37
that it's possible to build
such an artificial intelligence
人工知能を作ることは
可能であると
04:38
for this kind of mission and others.
認めることにしましょう
04:41
The next question
you must ask yourself is,
次に問わなければ
ならないのは
04:43
should we fear it?
我々はそれを怖れるべきか
ということです
04:46
Now, every new technology
どんな新技術も
04:47
brings with it
some measure of trepidation.
常にある程度の怖れは
引き起こすものです
04:49
When we first saw cars,
始めて自動車を
目にした人々は
04:52
people lamented that we would see
the destruction of the family.
家族が壊されるのを見ることに
なるだろうと嘆いたものです
04:54
When we first saw telephones come in,
始めて電話機を
目にした人々は
04:58
people were worried it would destroy
all civil conversation.
礼儀にかなった会話が
損なわれると懸念したものです
05:01
At a point in time we saw
the written word become pervasive,
書かれたもので
溢れるのを見た人々は
05:04
people thought we would lose
our ability to memorize.
記憶力が失われるのでは
と思ったものです
05:08
These things are all true to a degree,
ある程度は合っていますが
05:10
but it's also the case
that these technologies
そういった技術は
05:12
brought to us things
that extended the human experience
人間の体験を
05:15
in some profound ways.
根本的に広げてもくれました
05:18
So let's take this a little further.
さらに話を進めましょう
05:21
I do not fear the creation
of an AI like this,
私はそのような人工知能を
作ることに怖れは感じません
05:25
because it will eventually
embody some of our values.
それは人間の価値観を
体現することになるからです
05:29
Consider this: building a cognitive system
is fundamentally different
認知システムを作るのは
05:33
than building a traditional
software-intensive system of the past.
従来のソフトウェア中心のシステムを
作るのとは 根本的に異なります
05:37
We don't program them. We teach them.
プログラムするのではなく
教えるのです
05:40
In order to teach a system
how to recognize flowers,
システムに花を
認識させるために
05:43
I show it thousands of flowers
of the kinds I like.
私は自分の好きな
何千という花を見せます
05:45
In order to teach a system
how to play a game --
システムにゲームの遊び方を
教えるには —
05:48
Well, I would. You would, too.
私だってゲームはしますよ
皆さんもでしょう?
05:51
I like flowers. Come on.
花だって好きだし
らしくないですか?
05:54
To teach a system
how to play a game like Go,
碁のようなゲームの遊び方を
システムに教えるには
05:57
I'd have it play thousands of games of Go,
碁を何千回も指させ
06:00
but in the process I also teach it
その過程で
06:02
how to discern
a good game from a bad game.
良い盤面・悪い盤面を
識別する方法を教えます
06:04
If I want to create an artificially
intelligent legal assistant,
人工知能の弁護士助手を
作ろうと思ったら
06:06
I will teach it some corpus of law
法律も教えますが
06:10
but at the same time I am fusing with it
同時に法の一部をなす
06:12
the sense of mercy and justice
that is part of that law.
慈悲や公正の感覚を
吹き込むでしょう
06:14
In scientific terms,
this is what we call ground truth,
科学用語では これを
グランドトゥルースと言います
06:18
and here's the important point:
重要なのは
06:21
in producing these machines,
そういう機械を作るとき
06:23
we are therefore teaching them
a sense of our values.
我々は自分の価値観を
教えることになるということです
06:25
To that end, I trust
an artificial intelligence
それだから私は
人工知能を
06:28
the same, if not more,
as a human who is well-trained.
きちんと訓練された人間と同様に
信頼するのです
06:31
But, you may ask,
でも悪いことをする工作員や
06:36
what about rogue agents,
ある種の資金豊富な
非政府組織なんかの
06:37
some well-funded
nongovernment organization?
手にかかったなら?
06:39
I do not fear an artificial intelligence
in the hand of a lone wolf.
一匹狼の扱う人工知能には
怖れを感じません
06:43
Clearly, we cannot protect ourselves
against all random acts of violence,
あらゆる暴力から
身を守れるわけではありませんが
06:47
but the reality is such a system
そのようなシステムには
06:51
requires substantial training
and subtle training
個人のリソースの範囲を
大きく超えた
06:53
far beyond the resources of an individual.
膨大で精妙なトレーニングが
必要になります
06:57
And furthermore,
さらにそれは 単にインターネットへ
ウィルスを送り込むより
06:59
it's far more than just injecting
an internet virus to the world,
遙かに大変なことです
07:00
where you push a button,
all of a sudden it's in a million places
ウィルスならボタン1つで
そこら中のパソコンが
07:03
and laptops start blowing up
all over the place.
突然吹き飛んで
しまうでしょうが
07:06
Now, these kinds of substances
are much larger,
そういうたぐいの
実体はずっと大きく
07:09
and we'll certainly see them coming.
それがやってくるのは
確かに目にすることになります
07:12
Do I fear that such
an artificial intelligence
そういう人工知能が
07:14
might threaten all of humanity?
全人類を脅かすのを
怖れるか?
07:17
If you look at movies
such as "The Matrix," "Metropolis,"
『マトリックス』『メトロポリス』
『ターミネーター』みたいな映画や
07:20
"The Terminator,"
shows such as "Westworld,"
『ウエストワールド』
みたいな番組を見ると
07:24
they all speak of this kind of fear.
みんなそのような恐怖を
語っています
07:27
Indeed, in the book "Superintelligence"
by the philosopher Nick Bostrom,
『スーパーインテリジェンス
(Superintelligence)』という本で
07:30
he picks up on this theme
思想家のニック・ボストロムは
このテーマを取り上げ
07:34
and observes that a superintelligence
might not only be dangerous,
人間を超える機械の知能は
危険なだけでなく
07:35
it could represent an existential threat
to all of humanity.
人類存亡の危機に
つながり得ると見ています
07:39
Dr. Bostrom's basic argument
ボストロム博士の
基本的な議論は
07:43
is that such systems will eventually
そのようなシステムはやがて
07:46
have such an insatiable
thirst for information
抑えがたい情報への渇望を
抱くようになり
07:48
that they will perhaps learn how to learn
学び方を学んで
07:52
and eventually discover
that they may have goals
最終的には人間の要求に
反する目的を
07:55
that are contrary to human needs.
持つようになる
ということです
07:57
Dr. Bostrom has a number of followers.
ボストロム博士には
多くの支持者がいて
08:00
He is supported by people
such as Elon Musk and Stephen Hawking.
その中にはイーロン・マスクや
スティーヴン・ホーキングもいます
08:01
With all due respect
そのような聡明な方々に
08:06
to these brilliant minds,
恐れながら申し上げると
08:10
I believe that they
are fundamentally wrong.
彼らは根本的に
間違っていると思います
08:12
Now, there are a lot of pieces
of Dr. Bostrom's argument to unpack,
検討すべきボストロム博士の議論は
沢山ありますが
08:14
and I don't have time to unpack them all,
全部見ていく
時間はないので
08:17
but very briefly, consider this:
ごく簡単に
1点だけ挙げるなら
08:19
super knowing is very different
than super doing.
「すごく知っている」のと
「すごいことができる」のとは違うということです
08:22
HAL was a threat to the Discovery crew
HALは ディスカバリー号のあらゆる面を
コントロールする限りにおいて
08:26
only insofar as HAL commanded
all aspects of the Discovery.
乗組員にとって脅威でした
08:28
So it would have to be
with a superintelligence.
スーパーインテリジェンスも
そうです
08:32
It would have to have dominion
over all of our world.
それが世界全体を支配している
必要があります
08:35
This is the stuff of Skynet
from the movie "The Terminator"
スーパーインテリジェンスが
人の意志を支配する
08:37
in which we had a superintelligence
『ターミネーター』の世界で
08:40
that commanded human will,
スカイネットは世界の
あらゆるデバイスを
08:42
that directed every device
that was in every corner of the world.
操っていました
08:43
Practically speaking,
実際のところ
08:47
it ain't gonna happen.
そんなことは
起こりません
08:49
We are not building AIs
that control the weather,
天気を制御したり
潮の干満を決めたり
08:51
that direct the tides,
気まぐれで無秩序な人間を
従わせるような人工知能を
08:54
that command us
capricious, chaotic humans.
我々は作りはしません
08:55
And furthermore, if such
an artificial intelligence existed,
もしそのような人工知能が
存在したら
08:59
it would have to compete
with human economies,
人間の経済と
競合することになり
09:03
and thereby compete for resources with us.
リソースを人間と
取り合うことになるでしょう
09:06
And in the end --
最終的には
09:09
don't tell Siri this --
Siriには内緒ですが
09:10
we can always unplug them.
我々は電源プラグを
引っこ抜くことができます
09:12
(Laughter)
(笑)
09:13
We are on an incredible journey
私たちは機械と
共進化していく
09:17
of coevolution with our machines.
ものすごい旅の
途上にあります
09:19
The humans we are today
今日の人類は
09:22
are not the humans we will be then.
明日の人類とは違っています
09:24
To worry now about the rise
of a superintelligence
人間を超えた人工知能の
台頭を懸念するのは
09:27
is in many ways a dangerous distraction
コンピューターの台頭自体が
引き起こす
09:30
because the rise of computing itself
対処を要する
人間や社会の問題から
09:33
brings to us a number
of human and societal issues
注意をそらすことになり
09:36
to which we must now attend.
危険です
09:39
How shall I best organize society
人間の労働の必要が
減っていく社会を
09:41
when the need for human labor diminishes?
どうすれば上手く
運営できるのか?
09:44
How can I bring understanding
and education throughout the globe
理解と教育を
地球全体に広げつつ
09:46
and still respect our differences?
互いの違いに敬意を払うことは
どうすれば可能か?
09:50
How might I extend and enhance human life
through cognitive healthcare?
認知システムによる医療で 人の生涯を
長く豊かなものにするにはどうしたら良いか?
09:52
How might I use computing
星々に到るために
09:56
to help take us to the stars?
コンピューターは
いかに役立てられるか?
09:59
And that's the exciting thing.
これはワクワクすることです
10:01
The opportunities to use computing
コンピューターを使って
10:04
to advance the human experience
人間の体験を
10:06
are within our reach,
発展させられる機会が
10:08
here and now,
今 手の届くところにあり
10:09
and we are just beginning.
それは始まったばかりです
10:11
Thank you very much.
ありがとうございました
10:14
(Applause)
(拍手)
10:15
Translated by Yasushi Aoki
Reviewed by Misaki Sato

▲Back to top

About the speaker:

Grady Booch - Scientist, philosopher
IBM's Grady Booch is shaping the future of cognitive computing by building intelligent systems that can reason and learn.

Why you should listen

When he was 13, Grady Booch saw 2001: A Space Odyssey in the theaters for the first time. Ever since, he's been trying to build Hal (albeit one without the homicidal tendencies). A scientist, storyteller and philosopher, Booch is Chief Scientist for Software Engineering as well as Chief Scientist for Watson/M at IBM Research, where he leads IBM's research and development for embodied cognition. Having originated the term and the practice of object-oriented design, he is best known for his work in advancing the fields of software engineering and software architecture.

A co-author of the Unified Modeling Language (UML), a founding member of the Agile Allianc, and a founding member of the Hillside Group, Booch has published six books and several hundred technical articles, including an ongoing column for IEEE Software. He's also a trustee for the Computer History Museum, an IBM Fellow, an ACM Fellow and IEEE Fellow. He has been awarded the Lovelace Medal and has given the Turing Lecture for the BCS, and was recently named an IEEE Computer Pioneer.

Booch is currently deeply involved in the development of cognitive systems and is also developing a major trans-media documentary for public broadcast on the intersection of computing and the human experience.

More profile about the speaker
Grady Booch | Speaker | TED.com