17:36
TED2017

Stuart Russell: 3 principles for creating safer AI

スチュワート・ラッセル: 安全なAIのための3原則

Filmed:

超知的な人工知能(AI)の力を享受しながら、機械に支配される破滅的な未来を避けるというのは、どうしたらできるのでしょう? 全知の機械の到来が近づきつつある中、AIのパイオニアであるスチュワート・ラッセルが取り組んでいるのは少し違ったもの──確信のないロボットです。常識や利他性その他の深い人間的価値に基づいて問題解決をする「人間互換のAI」という彼のビジョンに耳を傾けましょう。

- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

This is Lee Sedol.
これは李世ドルです
00:12
Lee Sedol is one of the world's
greatest Go players,
李世ドルは 世界で最も強い
碁打ちの1人ですが
00:14
and he's having what my friends
in Silicon Valley call
シリコンバレーの
友人たちなら
00:18
a "Holy Cow" moment --
「なんてこった」と言う
瞬間を迎えています
00:21
(Laughter)
(笑)
00:22
a moment where we realize
我々が予想していたよりも
ずっと早く
00:23
that AI is actually progressing
a lot faster than we expected.
AIが進歩していることに
気付いた瞬間です
00:26
So humans have lost on the Go board.
What about the real world?
人間は碁盤上で機械に負けましたが
実際の世の中ではどうでしょう?
00:30
Well, the real world is much bigger,
実際の世界は
00:33
much more complicated than the Go board.
碁盤よりもずっと大きく
ずっと複雑で
00:35
It's a lot less visible,
ずっと見通し難いですが
00:37
but it's still a decision problem.
決定問題であることに
違いはありません
00:39
And if we think about some
of the technologies
到来しつつある
00:42
that are coming down the pike ...
テクノロジーのことを考えるなら —
00:45
Noriko [Arai] mentioned that reading
is not yet happening in machines,
機械は 本当に理解して文を読めるようには
まだなっていないことに
00:47
at least with understanding.
新井紀子氏が
触れていましたが
00:52
But that will happen,
それもやがて
できるようになるでしょう
00:53
and when that happens,
そして そうなったとき
00:55
very soon afterwards,
機械は人類がかつて書いた
すべてのものを
00:56
machines will have read everything
that the human race has ever written.
速やかに読破することでしょう
00:58
And that will enable machines,
そうなると機械は
01:03
along with the ability to look
further ahead than humans can,
碁において見せた
01:05
as we've already seen in Go,
人間より遠くまで
見通す力と合わせ
01:08
if they also have access
to more information,
より多くの情報に
触れられるようになることで
01:10
they'll be able to make better decisions
in the real world than we can.
実際の世の中でも 人間より優れた
判断ができるようになるでしょう
01:12
So is that a good thing?
それは良いこと
なのでしょうか?
01:18
Well, I hope so.
そうだと望みたいです
01:21
Our entire civilization,
everything that we value,
我々の文明そのもの
我々が価値を置くすべては
01:26
is based on our intelligence.
我々の知性を
拠り所としています
01:29
And if we had access
to a lot more intelligence,
はるかに多くの知性が
使えるようになったなら
01:32
then there's really no limit
to what the human race can do.
人類に可能なことに
限界はないでしょう
01:35
And I think this could be,
as some people have described it,
ある人々が言っているように
01:40
the biggest event in human history.
これは人類史上最大の出来事に
なるかもしれません
01:44
So why are people saying things like this,
ではなぜ「AIは人類の終焉を
意味するかもしれない」などと
01:48
that AI might spell the end
of the human race?
言われているのでしょう?
01:51
Is this a new thing?
これは新しいこと
なのでしょうか?
01:55
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
ただイーロン・マスクと ビル・ゲイツと
ホーキングが言っているだけなのか?
01:57
Actually, no. This idea
has been around for a while.
違います
この考えは結構前からありました
02:01
Here's a quotation:
ここに ある人の
言葉があります
02:05
"Even if we could keep the machines
in a subservient position,
「重大な瞬間にスイッチを切る
といったことによって
02:07
for instance, by turning off the power
at strategic moments" --
機械を 従属的な位置に
保てたとしても —
02:11
and I'll come back to that
"turning off the power" idea later on --
この “スイッチを切る” ことについては
後でまた戻ってきます —
02:14
"we should, as a species,
feel greatly humbled."
種としての我々は
謙虚に捉えるべきである」
02:17
So who said this?
This is Alan Turing in 1951.
誰の言葉でしょう? アラン・チューリングが
1951年に言ったことです
02:22
Alan Turing, as you know,
is the father of computer science
ご存じのように チューリングは
コンピューター科学の父であり
02:26
and in many ways,
the father of AI as well.
いろいろな意味で
AIの父でもあります
02:29
So if we think about this problem,
この問題を考えてみると
02:33
the problem of creating something
more intelligent than your own species,
つまり自分の種よりも知的なものを
生み出してしまうという問題ですが
02:35
we might call this "the gorilla problem,"
これは「ゴリラの問題」と呼んでも
良いかもしれません
02:38
because gorillas' ancestors did this
a few million years ago,
なぜなら数百万年前に
ゴリラの祖先がそうしているからで
02:42
and now we can ask the gorillas:
ゴリラたちに
尋ねることができます
02:46
Was this a good idea?
「いいアイデアだったと思う?」
02:48
So here they are having a meeting
to discuss whether it was a good idea,
ゴリラたちが いいアイデアだったのか
議論するために 集まっていますが
02:49
and after a little while,
they conclude, no,
しばらくして
出した結論は
02:53
this was a terrible idea.
「あれは酷いアイデアだった」
というものです
02:56
Our species is in dire straits.
おかげで我々の種は
ひどい苦境に置かれていると
02:58
In fact, you can see the existential
sadness in their eyes.
彼らの目に実存的な悲哀を
見て取れるでしょう
03:00
(Laughter)
(笑)
03:04
So this queasy feeling that making
something smarter than your own species
「自分の種より知的なものを
生み出すのは
03:06
is maybe not a good idea --
良い考えではないのでは?」
という不安な感覚があります
03:11
what can we do about that?
それについて
何ができるのでしょう?
03:14
Well, really nothing,
except stop doing AI,
AIの開発をやめてしまう以外
ないかもしれませんが
03:16
and because of all
the benefits that I mentioned
AIのもたらす様々な利点や
03:20
and because I'm an AI researcher,
私自身AI研究者である
という理由によって
03:23
I'm not having that.
私にはそういう選択肢は
ありません
03:25
I actually want to be able
to keep doing AI.
実際AIは続けたいと
思っています
03:27
So we actually need to nail down
the problem a bit more.
この問題をもう少し
明確にする必要があるでしょう
03:30
What exactly is the problem?
正確に何が問題なのか?
03:33
Why is better AI possibly a catastrophe?
優れたAIが我々の破滅に繋がりうるのは
なぜなのか?
03:34
So here's another quotation:
ここにもう1つ
引用があります
03:39
"We had better be quite sure
that the purpose put into the machine
「機械に与える目的については
03:41
is the purpose which we really desire."
それが本当に望むものだと
確信があるものにする必要がある」
03:45
This was said by Norbert Wiener in 1960,
これはノーバート・ウィーナーが
1960年に言ったことで
03:48
shortly after he watched
one of the very early learning systems
最初期の学習システムが
03:51
learn to play checkers
better than its creator.
作り手よりもうまくチェッカーを
指すのを見た すぐ後のことです
03:55
But this could equally have been said
しかしこれはミダス王の
言葉だったとしても
04:00
by King Midas.
おかしくないでしょう
04:03
King Midas said, "I want everything
I touch to turn to gold,"
ミダス王は「自分の触れたものすべてが
金になってほしい」と望み
04:05
and he got exactly what he asked for.
そして その望みが
叶えられました
04:08
That was the purpose
that he put into the machine,
これはいわば
04:10
so to speak,
彼が「機械に与えた目的」です
04:13
and then his food and his drink
and his relatives turned to gold
そして彼の食べ物や飲み物や親類は
みんな金に変わってしまい
04:14
and he died in misery and starvation.
彼は悲嘆と飢えの中で
死んでいきました
04:18
So we'll call this
"the King Midas problem"
だから自分が本当に望むことと合わない
目的を掲げることを
04:22
of stating an objective
which is not, in fact,
「ミダス王の問題」と
04:24
truly aligned with what we want.
呼ぶことにしましょう
04:28
In modern terms, we call this
"the value alignment problem."
現代的な用語では これを
「価値整合の問題」と言います
04:30
Putting in the wrong objective
is not the only part of the problem.
間違った目的を与えてしまうというのが
問題のすべてではありません
04:37
There's another part.
別の側面もあります
04:40
If you put an objective into a machine,
「コーヒーを取ってくる」というような
04:42
even something as simple as,
"Fetch the coffee,"
ごく単純な目的を
機械に与えたとします
04:44
the machine says to itself,
機械は考えます
04:47
"Well, how might I fail
to fetch the coffee?
「コーヒーを取ってくるのに失敗する
どんな状況がありうるだろう?
04:50
Someone might switch me off.
誰かが自分のスイッチを
切るかもしれない
04:53
OK, I have to take steps to prevent that.
そのようなことを防止する
手を打たなければ
04:55
I will disable my 'off' switch.
自分の「オフ」スイッチを
無効にしておこう
04:58
I will do anything to defend myself
against interference
与えられた目的の遂行を阻むものから
自分を守るためであれば
05:00
with this objective
that I have been given."
何だってやろう」
05:03
So this single-minded pursuit
1つの目的を
05:06
in a very defensive mode
of an objective that is, in fact,
非常に防御的に
一途に追求すると
05:09
not aligned with the true objectives
of the human race --
人類の本当の目的に
沿わなくなるというのが
05:12
that's the problem that we face.
我々の直面する問題です
05:16
And in fact, that's the high-value
takeaway from this talk.
実際それが この講演から学べる
価値ある教訓です
05:19
If you want to remember one thing,
もし1つだけ覚えておくとしたら
それは —
05:23
it's that you can't fetch
the coffee if you're dead.
「死んだらコーヒーを取ってこれない」
ということです
05:25
(Laughter)
(笑)
05:28
It's very simple. Just remember that.
Repeat it to yourself three times a day.
簡単でしょう
記憶して1日3回唱えてください
05:29
(Laughter)
(笑)
05:33
And in fact, this is exactly the plot
実際 映画『2001年宇宙の旅』の筋は
05:35
of "2001: [A Space Odyssey]"
そういうものでした
05:38
HAL has an objective, a mission,
HALの目的・ミッションは
05:41
which is not aligned
with the objectives of the humans,
人間の目的とは合わず
05:43
and that leads to this conflict.
そのため衝突が起きます
05:47
Now fortunately, HAL
is not superintelligent.
幸いHALは非常に賢くはあっても
超知的ではありませんでした
05:49
He's pretty smart,
but eventually Dave outwits him
それで最終的には
主人公が出し抜いて
05:52
and manages to switch him off.
スイッチを切ることができました
05:56
But we might not be so lucky.
でも私たちはそんなに幸運では
ないかもしれません
06:01
So what are we going to do?
では どうしたらいいのでしょう?
06:08
I'm trying to redefine AI
「知的に目的を追求する機械」という
06:12
to get away from this classical notion
古典的な見方から離れて
06:14
of machines that intelligently
pursue objectives.
AIの再定義を試みようと思います
06:17
There are three principles involved.
3つの原則があります
06:22
The first one is a principle
of altruism, if you like,
第1は「利他性の原則」で
06:24
that the robot's only objective
ロボットの唯一の目的は
06:27
is to maximize the realization
of human objectives,
人間の目的
人間にとって価値あることが
06:31
of human values.
最大限に実現される
ようにすることです
06:35
And by values here I don't mean
touchy-feely, goody-goody values.
ここで言う価値は
善人ぶった崇高そうな価値ではありません
06:36
I just mean whatever it is
that the human would prefer
単に何であれ
06:40
their life to be like.
人間が自分の生活に
望むものということです
06:43
And so this actually violates Asimov's law
この原則は
06:47
that the robot has to protect
its own existence.
「ロボットは自己を守らなければならない」
というアシモフの原則に反します
06:49
It has no interest in preserving
its existence whatsoever.
自己の存在維持には
まったく関心を持たないのです
06:52
The second law is a law
of humility, if you like.
第2の原則は
言うなれば「謙虚の原則」です
06:57
And this turns out to be really
important to make robots safe.
これはロボットを安全なものにする上で
非常に重要であることがわかります
07:01
It says that the robot does not know
この原則は
07:05
what those human values are,
ロボットが人間の価値が何か
知らないものとしています
07:08
so it has to maximize them,
but it doesn't know what they are.
ロボットは最大化すべきものが何か
知らないということです
07:10
And that avoids this problem
of single-minded pursuit
1つの目的を
一途に追求することの問題を
07:15
of an objective.
これで避けることができます
07:17
This uncertainty turns out to be crucial.
この不確定性が
極めて重要なのです
07:19
Now, in order to be useful to us,
人間にとって有用であるためには
07:21
it has to have some idea of what we want.
我々が何を望むのかについて
大まかな理解は必要です
07:23
It obtains that information primarily
by observation of human choices,
ロボットはその情報を主として
人間の選択を観察することで得ます
07:27
so our own choices reveal information
我々が自分の生活に望むのが
何かという情報が
07:32
about what it is that we prefer
our lives to be like.
我々のする選択を通して
明かされるわけです
07:35
So those are the three principles.
以上が3つの原則です
07:40
Let's see how that applies
to this question of:
これがチューリングの提起した
「機械のスイッチを切れるか」という問題に
07:42
"Can you switch the machine off?"
as Turing suggested.
どう適用できるか
見てみましょう
07:44
So here's a PR2 robot.
これは PR2 ロボットです
07:49
This is one that we have in our lab,
私たちの研究室にあるもので
07:51
and it has a big red "off" switch
right on the back.
背中に大きな赤い
「オフ」スイッチがあります
07:53
The question is: Is it
going to let you switch it off?
問題は ロボットがスイッチを
切らせてくれるかということです
07:56
If we do it the classical way,
古典的なやり方をするなら
07:59
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
「コーヒーを取ってくる」
という目的に対し
08:00
I can't fetch the coffee if I'm dead,"
「コーヒーを取ってこなければならない」
「死んだらコーヒーを取ってこれない」と考え
08:04
so obviously the PR2
has been listening to my talk,
私の講演を聴いていたPR2は
08:06
and so it says, therefore,
"I must disable my 'off' switch,
「オフ・スイッチは無効にしなければ」
と判断し
08:10
and probably taser all the other
people in Starbucks
「スターバックスで邪魔になる
他の客はみんな
08:14
who might interfere with me."
テーザー銃で眠らせよう」
となります
08:17
(Laughter)
(笑)
08:19
So this seems to be inevitable, right?
これは避けがたい
ように見えます
08:21
This kind of failure mode
seems to be inevitable,
このような故障モードは
不可避に見え
08:23
and it follows from having
a concrete, definite objective.
そしてそれは具体的で絶対的な
目的があることから来ています
08:25
So what happens if the machine
is uncertain about the objective?
目的が何なのか機械に
確信がないとしたら どうなるでしょう?
08:30
Well, it reasons in a different way.
違ったように推論するはずです
08:33
It says, "OK, the human
might switch me off,
「人間は自分のスイッチを
切るかもしれないが
08:36
but only if I'm doing something wrong.
それは自分が何か
悪いことをしたときだけだ
08:39
Well, I don't really know what wrong is,
悪いことが何か
よく分からないけど
08:41
but I know that I don't want to do it."
悪いことはしたくない」
08:44
So that's the first and second
principles right there.
ここで 第1 および第2の原則が
効いています
08:46
"So I should let the human switch me off."
「だからスイッチを切るのを
人間に許すべきだ」
08:49
And in fact you can calculate
the incentive that the robot has
実際ロボットが人間に
スイッチを切ることを許す
08:53
to allow the human to switch it off,
インセンティブを
計算することができ
08:57
and it's directly tied to the degree
それは目的の不確かさの度合いと
09:00
of uncertainty about
the underlying objective.
直接的に結びついています
09:02
And then when the machine is switched off,
機械のスイッチが切られると
09:05
that third principle comes into play.
第3の原則が働いて
09:08
It learns something about the objectives
it should be pursuing,
追求すべき目的について
何かを学びます
09:10
because it learns that
what it did wasn't right.
自分の間違った行いから
学ぶのです
09:13
In fact, we can, with suitable use
of Greek symbols,
数学者がよくやるように
09:16
as mathematicians usually do,
ギリシャ文字をうまく使って
09:20
we can actually prove a theorem
そのようなロボットが
人間にとって有益であるという定理を
09:22
that says that such a robot
is provably beneficial to the human.
証明することができます
09:24
You are provably better off
with a machine that's designed in this way
そのようにデザインされた機械の方が
そうでないものより良い結果になると
09:27
than without it.
証明可能なのです
09:31
So this is a very simple example,
but this is the first step
これは単純な例ですが
09:33
in what we're trying to do
with human-compatible AI.
人間互換のAIを手にするための
第一歩です
09:36
Now, this third principle,
3番目の原則については
09:42
I think is the one that you're probably
scratching your head over.
皆さん困惑しているのでは
と思います
09:45
You're probably thinking, "Well,
you know, I behave badly.
「自分の行動は
見上げたものではない
09:49
I don't want my robot to behave like me.
ロボットに自分のように
振る舞って欲しくはない
09:52
I sneak down in the middle of the night
and take stuff from the fridge.
真夜中にこっそり台所に行って
冷蔵庫から食べ物を失敬したり
09:55
I do this and that."
あんなことや こんなことを
しているから」
09:58
There's all kinds of things
you don't want the robot doing.
ロボットにしてほしくない
様々なことがあります
09:59
But in fact, it doesn't
quite work that way.
でも実際そういう風に
働くわけではありません
10:02
Just because you behave badly
自分がまずい振る舞いをしたら
10:04
doesn't mean the robot
is going to copy your behavior.
ロボットがそれを真似する
というわけではありません
10:07
It's going to understand your motivations
and maybe help you resist them,
人がそのようにする
動機を理解して
10:09
if appropriate.
誘惑に抵抗する手助けさえ
してくれるかもしれません
10:13
But it's still difficult.
それでも難しいです
10:16
What we're trying to do, in fact,
私たちがやろうとしているのは
10:18
is to allow machines to predict
for any person and for any possible life
あらゆる状況にある
10:20
that they could live,
あらゆる人のことを
10:26
and the lives of everybody else:
機械に予測させる
ということです
10:27
Which would they prefer?
その人たちは
どちらを好むのか?
10:29
And there are many, many
difficulties involved in doing this;
これには難しいことが
たくさんあって
10:34
I don't expect that this
is going to get solved very quickly.
ごく速やかに解決されるだろうとは
思っていません
10:37
The real difficulties, in fact, are us.
本当に難しい部分は
私たちにあります
10:39
As I have already mentioned,
we behave badly.
言いましたように 私たちは
まずい振る舞いをします
10:44
In fact, some of us are downright nasty.
人によっては
悪質でさえあります
10:47
Now the robot, as I said,
doesn't have to copy the behavior.
しかしロボットは人間の振るまいを
真似する必要はありません
10:50
The robot does not have
any objective of its own.
ロボットは それ自身の目的
というのを持ちません
10:53
It's purely altruistic.
純粋に利他的です
10:56
And it's not designed just to satisfy
the desires of one person, the user,
そして1人の人間の望みだけ
満たそうとするのではなく
10:59
but in fact it has to respect
the preferences of everybody.
みんなの好みに敬意を払うよう
デザインされています
11:04
So it can deal with a certain
amount of nastiness,
だからある程度
悪いことも扱え
11:09
and it can even understand
that your nastiness, for example,
人間の悪い面も
理解できます
11:11
you may take bribes as a passport official
例えば入国審査官が
賄賂を受け取っているけれど
11:15
because you need to feed your family
and send your kids to school.
それは家族を食べさせ
子供を学校に行かせるためなのだとか
11:18
It can understand that;
it doesn't mean it's going to steal.
ロボットはそれを理解できますが
そのために盗みをするわけではありません
11:22
In fact, it'll just help you
send your kids to school.
ただ子供が学校に行けるよう
手助けをするだけです
11:25
We are also computationally limited.
また人間は計算能力の点で
限界があります
11:28
Lee Sedol is a brilliant Go player,
李世ドルは
素晴らしい碁打ちですが
11:32
but he still lost.
それでも負けました
11:34
So if we look at his actions,
he took an action that lost the game.
彼の行動を見れば 勝負に負けることになる
手を打ったのが分かるでしょう
11:35
That doesn't mean he wanted to lose.
しかしそれは 彼が負けを
望んだことを意味しません
11:40
So to understand his behavior,
彼の行動を理解するためには
11:43
we actually have to invert
through a model of human cognition
人の認知モデルを
逆にたどる必要がありますが
11:45
that includes our computational
limitations -- a very complicated model.
それは計算能力の限界も含む
とても複雑なモデルです
11:49
But it's still something
that we can work on understanding.
それでも私たちが理解すべく
取り組めるものではあります
11:54
Probably the most difficult part,
from my point of view as an AI researcher,
AI研究者として見たとき
最も難しいと思える部分は
11:57
is the fact that there are lots of us,
私たち人間が
沢山いるということです
12:02
and so the machine has to somehow
trade off, weigh up the preferences
だから機械は
トレードオフを考え
12:06
of many different people,
沢山の異なる人間の好みを
比較考量する必要があり
12:09
and there are different ways to do that.
それには いろいろな
やり方があります
12:12
Economists, sociologists,
moral philosophers have understood that,
経済学者 社会学者 倫理学者は
そういうことを分かっており
12:14
and we are actively
looking for collaboration.
私たちは協同の道を
探っています
12:17
Let's have a look and see what happens
when you get that wrong.
そこをうまくやらないと
どうなるか見てみましょう
12:20
So you can have
a conversation, for example,
たとえばこんな会話を
考えてみます
12:23
with your intelligent personal assistant
知的な秘書AIが
12:25
that might be available
in a few years' time.
数年内に利用可能に
なるかもしれません
12:27
Think of a Siri on steroids.
強化されたSiriのようなものです
12:29
So Siri says, "Your wife called
to remind you about dinner tonight."
Siriが「今晩のディナーについて
奥様から確認の電話がありました」と言います
12:33
And of course, you've forgotten.
"What? What dinner?
あなたはもちろん忘れています
「何のディナーだって?
12:38
What are you talking about?"
何の話をしているんだ?」
12:41
"Uh, your 20th anniversary at 7pm."
「20周年のディナーですよ
夜7時の」
12:42
"I can't do that. I'm meeting
with the secretary-general at 7:30.
「無理だよ 7時半に
事務総長と会わなきゃならない
12:48
How could this have happened?"
どうして こんなことに
なったんだ?」
12:52
"Well, I did warn you, but you overrode
my recommendation."
「警告は致しましたが
あなたは推奨案を無視されました」
12:54
"Well, what am I going to do?
I can't just tell him I'm too busy."
「どうしたらいいんだ?
忙しくて行けないなんて言えないぞ」
13:00
"Don't worry. I arranged
for his plane to be delayed."
「ご心配には及びません
事務総長の飛行機が遅れるように手配済みです」
13:04
(Laughter)
(笑)
13:07
"Some kind of computer malfunction."
「コンピューターに
細工しておきました」
13:10
(Laughter)
(笑)
13:12
"Really? You can do that?"
「えっ そんなことできるのか?」
13:13
"He sends his profound apologies
「大変恐縮して
13:16
and looks forward to meeting you
for lunch tomorrow."
明日のランチでお会いするのを
楽しみにしている とのことです」
13:18
(Laughter)
(笑)
13:21
So the values here --
there's a slight mistake going on.
ここでは価値について
ちょっと行き違いが起きています
13:22
This is clearly following my wife's values
Siri は明らかに
妻の価値観に従っています
13:26
which is "Happy wife, happy life."
「妻の幸せが 夫の幸せ」です
13:29
(Laughter)
(笑)
13:32
It could go the other way.
別の方向に行くことも
あり得ます
13:33
You could come home
after a hard day's work,
忙しい仕事を終え 帰宅すると
コンピューターが言います
13:35
and the computer says, "Long day?"
「大変な1日だったようですね」
13:38
"Yes, I didn't even have time for lunch."
「昼を食べる時間もなかったよ」
13:40
"You must be very hungry."
「お腹が空いたことでしょう」
13:42
"Starving, yeah.
Could you make some dinner?"
「ああ 腹ペコだよ
何か夕食を作ってもらえるかな?」
13:43
"There's something I need to tell you."
「そのことで お話ししなければ
ならないことがあります」
13:48
(Laughter)
(笑)
13:50
"There are humans in South Sudan
who are in more urgent need than you."
「南スーダンには あなたよりも
必要に迫られている人々がいます」
13:52
(Laughter)
(笑)
13:57
"So I'm leaving. Make your own dinner."
「行くことに致しましたので
夕食はご自分で作ってください」
13:58
(Laughter)
(笑)
14:00
So we have to solve these problems,
こういった問題を
解かなければなりません
14:02
and I'm looking forward
to working on them.
そういう問題に取り組むのは
楽しみです
14:04
There are reasons for optimism.
楽観しているのには
理由があります
14:07
One reason is,
1つには
14:08
there is a massive amount of data.
膨大なデータがあること
14:10
Because remember -- I said
they're going to read everything
思い出してください
14:12
the human race has ever written.
機械は人類が書いたあらゆるものを
読むことになるでしょう
14:14
Most of what we write about
is human beings doing things
人間の書いたものはたいがい
14:16
and other people getting upset about it.
誰かが何かをし
他の人がそれに腹を立てたというものです
14:19
So there's a massive amount
of data to learn from.
学べるデータが膨大にあります
14:21
There's also a very
strong economic incentive
また これを正しくやるための
14:23
to get this right.
強い経済的インセンティブが
存在します
14:27
So imagine your domestic robot's at home.
家に家事ロボットがいると
想像してください
14:28
You're late from work again
and the robot has to feed the kids,
あなたはまた仕事で帰りが遅く
ロボットは子供達に食べさせなければなりません
14:30
and the kids are hungry
and there's nothing in the fridge.
子供達はお腹を空かせていますが
冷蔵庫は空っぽです
14:33
And the robot sees the cat.
そこでロボットは
猫に目を止めます
14:36
(Laughter)
(笑)
14:39
And the robot hasn't quite learned
the human value function properly,
ロボットは人間の価値観を
ちゃんと学んでいないため
14:40
so it doesn't understand
猫の持つ感情的価値が
14:45
the sentimental value of the cat outweighs
the nutritional value of the cat.
猫の栄養的価値を上回ることを
理解しません
14:46
(Laughter)
(笑)
14:51
So then what happens?
するとどうなるでしょう?
14:52
Well, it happens like this:
「狂ったロボット
子猫を料理して夕食に出す」
14:54
"Deranged robot cooks kitty
for family dinner."
みたいな見出しを
見ることになります
14:57
That one incident would be the end
of the domestic robot industry.
このような出来事1つで
家事ロボット産業はお終いです
15:00
So there's a huge incentive
to get this right
だから超知的な機械に到達する
ずっと以前に
15:04
long before we reach
superintelligent machines.
この問題を正すよう
大きなインセンティブが働きます
15:08
So to summarize:
要約すると
15:12
I'm actually trying to change
the definition of AI
私はAIの定義を変えて
15:13
so that we have provably
beneficial machines.
人間のためになると証明可能な機械が
得られるよう試みています
15:16
And the principles are:
その原則は
15:19
machines that are altruistic,
機械は利他的であり
15:20
that want to achieve only our objectives,
人間の目的のみを
達成しようとするが
15:22
but that are uncertain
about what those objectives are,
その目的が何かは
確信を持たず
15:25
and will watch all of us
そしてすべての人間を
観察することで
15:28
to learn more about what it is
that we really want.
我々の本当に望むことが何かを学ぶ
ということです
15:30
And hopefully in the process,
we will learn to be better people.
その過程で 人類がより良い者になる術を
学ぶことを望みます
15:34
Thank you very much.
ありがとうございました
15:37
(Applause)
(拍手)
15:39
Chris Anderson: So interesting, Stuart.
(クリス・アンダーソン) すごく興味深いね
スチュワート
15:42
We're going to stand here a bit
because I think they're setting up
次のスピーカーのための
準備があるので
15:44
for our next speaker.
少しここで話しましょう
15:47
A couple of questions.
質問があるんですが
15:49
So the idea of programming in ignorance
seems intuitively really powerful.
「無知にプログラムする」というアイデアは
とても強力であるように思えます
15:50
As you get to superintelligence,
超知的になったロボットが
文献を読んで
15:56
what's going to stop a robot
無知よりも知識がある方が
良いと気付き
15:57
reading literature and discovering
this idea that knowledge
自分の目的を変えて
プログラムを書き換えてしまう —
16:00
is actually better than ignorance
そういうことに
ならないためには
16:02
and still just shifting its own goals
and rewriting that programming?
どうすれば
良いのでしょう?
16:04
Stuart Russell: Yes, so we want
it to learn more, as I said,
(スチュワート・ラッセル) 私たちはロボットに
16:09
about our objectives.
人間の目的をよく学んで
ほしいと思っています
16:16
It'll only become more certain
as it becomes more correct,
ロボットは より正しくなるほど
確信を強めます
16:17
so the evidence is there
手がかりはそこに
あるわけですから
16:22
and it's going to be designed
to interpret it correctly.
それを正しく解釈するよう
デザインするのです
16:24
It will understand, for example,
that books are very biased
たとえば本の内容には
16:27
in the evidence they contain.
バイアスがあることを
理解するでしょう
16:31
They only talk about kings and princes
王や王女や
エリートの白人男性がしたことばかり
16:33
and elite white male people doing stuff.
書かれているといった風に
16:35
So it's a complicated problem,
だから複雑な問題ではありますが
16:38
but as it learns more about our objectives
ロボットが我々の目的を
学べは学ぶほど
16:40
it will become more and more useful to us.
我々にとって
有用なものになるでしょう
16:44
CA: And you couldn't
just boil it down to one law,
(クリス) 1つの原則に
まとめられないんですか?
16:46
you know, hardwired in:
固定したプログラムとして
16:49
"if any human ever tries to switch me off,
「人間がスイッチを切ろうとしたら
16:50
I comply. I comply."
無条件に従う」みたいな
16:54
SR: Absolutely not.
(スチュワート) それは駄目ですね
16:55
That would be a terrible idea.
まずいアイデアです
16:57
So imagine that you have
a self-driving car
自動運転車で
16:58
and you want to send your five-year-old
5歳の子を幼稚園に
送るところを
17:01
off to preschool.
考えてみてください
17:03
Do you want your five-year-old
to be able to switch off the car
車に1人で乗っている
5歳児が
17:05
while it's driving along?
車のスイッチを切れるように
したいと思いますか?
17:08
Probably not.
違うでしょう
17:09
So it needs to understand how rational
and sensible the person is.
ロボットは その人間がどれほど理性的で
分別があるかを理解する必要があります
17:10
The more rational the person,
人間が理性的であるほど
17:15
the more willing you are
to be switched off.
スイッチを切らせる見込みは
高くなります
17:17
If the person is completely
random or even malicious,
まったくランダムな相手や
悪意ある人間に対しては
17:19
then you're less willing
to be switched off.
なかなかスイッチを切らせようとは
しないでしょう
17:21
CA: All right. Stuart, can I just say,
(クリス) スチュワート
17:24
I really, really hope you
figure this out for us.
あなたが みんなのために
この問題を解決してくれることを切に望みます
17:26
Thank you so much for that talk.
That was amazing.
ありがとうございました
素晴らしいお話でした
17:28
SR: Thank you.
(スチュワート) どうもありがとう
17:30
(Applause)
(拍手)
17:32
Translated by Yasushi Aoki
Reviewed by Yuko Yoshida

▲Back to top

About the Speaker:

Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com