TED2017
Stuart Russell: 3 principles for creating safer AI
スチュワート・ラッセル: 安全なAIのための３原則
Filmed:
Readability: 3.9
1,465,832 views
超知的な人工知能(AI)の力を享受しながら、機械に支配される破滅的な未来を避けるというのは、どうしたらできるのでしょう？ 全知の機械の到来が近づきつつある中、AIのパイオニアであるスチュワート・ラッセルが取り組んでいるのは少し違ったもの──確信のないロボットです。常識や利他性その他の深い人間的価値に基づいて問題解決をする「人間互換のAI」という彼のビジョンに耳を傾けましょう。
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
これは李世ドルです
00:12
This is Lee Sedol.
0
712
1552
李世ドルは 世界で最も強い
碁打ちの１人ですが
碁打ちの１人ですが
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
シリコンバレーの
友人たちなら
友人たちなら
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
「なんてこった」と言う
瞬間を迎えています
瞬間を迎えています
00:21
a "Holy Cow" moment --
3
9218
1510
00:22
(Laughter)
4
10752
1073
(笑)
00:23
a moment where we realize
5
11849
2188
我々が予想していたよりも
ずっと早く
ずっと早く
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
AIが進歩していることに
気付いた瞬間です
気付いた瞬間です
人間は碁盤上で機械に負けましたが
実際の世の中ではどうでしょう？
実際の世の中ではどうでしょう？
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
00:33
Well, the real world is much bigger,
8
21225
2100
実際の世界は
碁盤よりもずっと大きく
ずっと複雑で
ずっと複雑で
00:35
much more complicated than the Go board.
9
23349
2249
ずっと見通し難いですが
00:37
It's a lot less visible,
10
25622
1819
決定問題であることに
違いはありません
違いはありません
00:39
but it's still a decision problem.
11
27465
2038
到来しつつある
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
テクノロジーのことを考えるなら —
00:45
that are coming down the pike ...
13
33293
1749
機械は 本当に理解して文を読めるようには
まだなっていないことに
まだなっていないことに
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
新井紀子氏が
触れていましたが
触れていましたが
00:52
at least with understanding.
15
40097
1500
それもやがて
できるようになるでしょう
できるようになるでしょう
00:53
But that will happen,
16
41621
1536
00:55
and when that happens,
17
43181
1771
そして そうなったとき
機械は人類がかつて書いた
すべてのものを
すべてのものを
00:56
very soon afterwards,
18
44976
1187
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
速やかに読破することでしょう
01:03
And that will enable machines,
20
51850
2030
そうなると機械は
碁において見せた
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
人間より遠くまで
見通す力と合わせ
見通す力と合わせ
01:08
as we've already seen in Go,
22
56848
1680
より多くの情報に
触れられるようになることで
触れられるようになることで
01:10
if they also have access
to more information,
to more information,
23
58552
2164
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
実際の世の中でも 人間より優れた
判断ができるようになるでしょう
判断ができるようになるでしょう
それは良いこと
なのでしょうか？
なのでしょうか？
01:18
So is that a good thing?
25
66792
1606
そうだと望みたいです
01:21
Well, I hope so.
26
69898
2232
我々の文明そのもの
我々が価値を置くすべては
我々が価値を置くすべては
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
我々の知性を
拠り所としています
拠り所としています
01:29
is based on our intelligence.
28
77973
2068
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
はるかに多くの知性が
使えるようになったなら
使えるようになったなら
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
人類に可能なことに
限界はないでしょう
限界はないでしょう
ある人々が言っているように
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
これは人類史上最大の出来事に
なるかもしれません
なるかもしれません
01:44
the biggest event in human history.
32
92014
2016
ではなぜ「AIは人類の終焉を
意味するかもしれない」などと
意味するかもしれない」などと
01:48
So why are people saying things like this,
33
96665
2829
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
言われているのでしょう？
これは新しいこと
なのでしょうか？
なのでしょうか？
01:55
Is this a new thing?
35
103438
1659
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
ただイーロン・マスクと ビル・ゲイツと
ホーキングが言っているだけなのか？
ホーキングが言っているだけなのか？
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
違います
この考えは結構前からありました
この考えは結構前からありました
02:05
Here's a quotation:
38
113239
1962
ここに ある人の
言葉があります
言葉があります
「重大な瞬間にスイッチを切る
といったことによって
といったことによって
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
機械を 従属的な位置に
保てたとしても —
保てたとしても —
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
この “スイッチを切る” ことについては
後でまた戻ってきます —
後でまた戻ってきます —
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
種としての我々は
謙虚に捉えるべきである」
謙虚に捉えるべきである」
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
誰の言葉でしょう？ アラン・チューリングが
1951年に言ったことです
1951年に言ったことです
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
ご存じのように チューリングは
コンピューター科学の父であり
コンピューター科学の父であり
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
いろいろな意味で
AIの父でもあります
AIの父でもあります
この問題を考えてみると
02:33
So if we think about this problem,
46
141239
1882
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
つまり自分の種よりも知的なものを
生み出してしまうという問題ですが
生み出してしまうという問題ですが
02:38
we might call this "the gorilla problem,"
48
146956
2622
これは「ゴリラの問題」と呼んでも
良いかもしれません
良いかもしれません
なぜなら数百万年前に
ゴリラの祖先がそうしているからで
ゴリラの祖先がそうしているからで
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
02:46
and now we can ask the gorillas:
50
154119
1745
ゴリラたちに
尋ねることができます
尋ねることができます
「いいアイデアだったと思う？」
02:48
Was this a good idea?
51
156752
1160
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
ゴリラたちが いいアイデアだったのか
議論するために 集まっていますが
議論するために 集まっていますが
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
しばらくして
出した結論は
出した結論は
「あれは酷いアイデアだった」
というものです
というものです
02:56
this was a terrible idea.
54
164860
1345
おかげで我々の種は
ひどい苦境に置かれていると
ひどい苦境に置かれていると
02:58
Our species is in dire straits.
55
166229
1782
彼らの目に実存的な悲哀を
見て取れるでしょう
見て取れるでしょう
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
03:04
(Laughter)
57
172825
1640
(笑)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
「自分の種より知的なものを
生み出すのは
生み出すのは
良い考えではないのでは？」
という不安な感覚があります
という不安な感覚があります
03:11
is maybe not a good idea --
59
179353
2365
それについて
何ができるのでしょう？
何ができるのでしょう？
03:14
what can we do about that?
60
182488
1491
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
AIの開発をやめてしまう以外
ないかもしれませんが
ないかもしれませんが
AIのもたらす様々な利点や
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
私自身AI研究者である
という理由によって
という理由によって
03:23
and because I'm an AI researcher,
63
191328
1716
03:25
I'm not having that.
64
193068
1791
私にはそういう選択肢は
ありません
ありません
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
実際AIは続けたいと
思っています
思っています
この問題をもう少し
明確にする必要があるでしょう
明確にする必要があるでしょう
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
正確に何が問題なのか？
03:33
What exactly is the problem?
67
201317
1371
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
優れたAIが我々の破滅に繋がりうるのは
なぜなのか？
なぜなのか？
03:39
So here's another quotation:
69
207398
1498
ここにもう１つ
引用があります
引用があります
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
「機械に与える目的については
それが本当に望むものだと
確信があるものにする必要がある」
確信があるものにする必要がある」
03:45
is the purpose which we really desire."
71
213294
2298
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
これはノーバート・ウィーナーが
1960年に言ったことで
1960年に言ったことで
最初期の学習システムが
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
作り手よりもうまくチェッカーを
指すのを見た すぐ後のことです
指すのを見た すぐ後のことです
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
しかしこれはミダス王の
言葉だったとしても
言葉だったとしても
04:00
But this could equally have been said
75
228602
2683
04:03
by King Midas.
76
231309
1167
おかしくないでしょう
ミダス王は「自分の触れたものすべてが
金になってほしい」と望み
金になってほしい」と望み
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
04:08
and he got exactly what he asked for.
78
236241
2473
そして その望みが
叶えられました
叶えられました
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
これはいわば
彼が「機械に与えた目的」です
04:13
so to speak,
80
241513
1450
そして彼の食べ物や飲み物や親類は
みんな金に変わってしまい
みんな金に変わってしまい
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
04:18
and he died in misery and starvation.
82
246455
2281
彼は悲嘆と飢えの中で
死んでいきました
死んでいきました
だから自分が本当に望むことと合わない
目的を掲げることを
目的を掲げることを
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
「ミダス王の問題」と
04:28
truly aligned with what we want.
85
256138
2413
呼ぶことにしましょう
現代的な用語では これを
「価値整合の問題」と言います
「価値整合の問題」と言います
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
間違った目的を与えてしまうというのが
問題のすべてではありません
問題のすべてではありません
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
04:40
There's another part.
88
268556
1152
別の側面もあります
「コーヒーを取ってくる」というような
04:42
If you put an objective into a machine,
89
270160
1943
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
ごく単純な目的を
機械に与えたとします
機械に与えたとします
機械は考えます
04:47
the machine says to itself,
91
275908
1841
「コーヒーを取ってくるのに失敗する
どんな状況がありうるだろう？
どんな状況がありうるだろう？
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
04:53
Someone might switch me off.
93
281380
1580
誰かが自分のスイッチを
切るかもしれない
切るかもしれない
そのようなことを防止する
手を打たなければ
手を打たなければ
04:55
OK, I have to take steps to prevent that.
94
283645
2387
04:58
I will disable my 'off' switch.
95
286056
1906
自分の「オフ」スイッチを
無効にしておこう
無効にしておこう
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
与えられた目的の遂行を阻むものから
自分を守るためであれば
自分を守るためであれば
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
何だってやろう」
１つの目的を
05:06
So this single-minded pursuit
98
294170
2012
非常に防御的に
一途に追求すると
一途に追求すると
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
人類の本当の目的に
沿わなくなるというのが
沿わなくなるというのが
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
我々の直面する問題です
05:16
that's the problem that we face.
101
304122
1862
実際それが この講演から学べる
価値ある教訓です
価値ある教訓です
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
もし１つだけ覚えておくとしたら
それは —
それは —
05:23
If you want to remember one thing,
103
311798
2055
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
「死んだらコーヒーを取ってこれない」
ということです
ということです
05:28
(Laughter)
105
316576
1061
(笑)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
簡単でしょう
記憶して１日３回唱えてください
記憶して１日３回唱えてください
05:33
(Laughter)
107
321514
1821
(笑)
05:35
And in fact, this is exactly the plot
108
323359
2754
実際 映画『2001年宇宙の旅』の筋は
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
そういうものでした
HALの目的・ミッションは
05:41
HAL has an objective, a mission,
110
329226
2090
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
人間の目的とは合わず
そのため衝突が起きます
05:47
and that leads to this conflict.
112
335096
1810
幸いHALは非常に賢くはあっても
超知的ではありませんでした
超知的ではありませんでした
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
それで最終的には
主人公が出し抜いて
主人公が出し抜いて
スイッチを切ることができました
05:56
and manages to switch him off.
115
344098
1849
でも私たちはそんなに幸運では
ないかもしれません
ないかもしれません
06:01
But we might not be so lucky.
116
349828
1619
では どうしたらいいのでしょう？
06:08
So what are we going to do?
117
356193
1592
06:12
I'm trying to redefine AI
118
360371
2601
「知的に目的を追求する機械」という
06:14
to get away from this classical notion
119
362996
2061
古典的な見方から離れて
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
AIの再定義を試みようと思います
３つの原則があります
06:22
There are three principles involved.
121
370712
1798
第１は「利他性の原則」で
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
06:27
that the robot's only objective
123
375847
3262
ロボットの唯一の目的は
人間の目的
人間にとって価値あることが
人間にとって価値あることが
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
最大限に実現される
ようにすることです
ようにすることです
06:35
of human values.
125
383403
1390
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
ここで言う価値は
善人ぶった崇高そうな価値ではありません
善人ぶった崇高そうな価値ではありません
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
単に何であれ
人間が自分の生活に
望むものということです
望むものということです
06:43
their life to be like.
128
391982
1343
この原則は
06:47
And so this actually violates Asimov's law
129
395364
2309
「ロボットは自己を守らなければならない」
というアシモフの原則に反します
というアシモフの原則に反します
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
自己の存在維持には
まったく関心を持たないのです
まったく関心を持たないのです
第２の原則は
言うなれば「謙虚の原則」です
言うなれば「謙虚の原則」です
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
これはロボットを安全なものにする上で
非常に重要であることがわかります
非常に重要であることがわかります
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
07:05
It says that the robot does not know
134
413741
3142
この原則は
ロボットが人間の価値が何か
知らないものとしています
知らないものとしています
07:08
what those human values are,
135
416907
2028
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
ロボットは最大化すべきものが何か
知らないということです
知らないということです
１つの目的を
一途に追求することの問題を
一途に追求することの問題を
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
これで避けることができます
07:17
of an objective.
138
425904
1212
07:19
This uncertainty turns out to be crucial.
139
427140
2172
この不確定性が
極めて重要なのです
極めて重要なのです
人間にとって有用であるためには
07:21
Now, in order to be useful to us,
140
429726
1639
07:23
it has to have some idea of what we want.
141
431389
2731
我々が何を望むのかについて
大まかな理解は必要です
大まかな理解は必要です
ロボットはその情報を主として
人間の選択を観察することで得ます
人間の選択を観察することで得ます
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
07:32
so our own choices reveal information
143
440674
2801
我々が自分の生活に望むのが
何かという情報が
何かという情報が
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
我々のする選択を通して
明かされるわけです
明かされるわけです
以上が３つの原則です
07:40
So those are the three principles.
145
448632
1683
これがチューリングの提起した
「機械のスイッチを切れるか」という問題に
「機械のスイッチを切れるか」という問題に
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
どう適用できるか
見てみましょう
見てみましょう
これは PR2 ロボットです
07:49
So here's a PR2 robot.
148
457073
2120
私たちの研究室にあるもので
07:51
This is one that we have in our lab,
149
459217
1821
背中に大きな赤い
「オフ」スイッチがあります
「オフ」スイッチがあります
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
問題は ロボットがスイッチを
切らせてくれるかということです
切らせてくれるかということです
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
古典的なやり方をするなら
07:59
If we do it the classical way,
152
467180
1465
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
「コーヒーを取ってくる」
という目的に対し
という目的に対し
「コーヒーを取ってこなければならない」
「死んだらコーヒーを取ってこれない」と考え
「死んだらコーヒーを取ってこれない」と考え
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
私の講演を聴いていたPR2は
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
「オフ・スイッチは無効にしなければ」
と判断し
と判断し
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
「スターバックスで邪魔になる
他の客はみんな
他の客はみんな
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
テーザー銃で眠らせよう」
となります
となります
08:17
who might interfere with me."
158
485694
1560
08:19
(Laughter)
159
487278
2062
(笑)
これは避けがたい
ように見えます
ように見えます
08:21
So this seems to be inevitable, right?
160
489364
2153
このような故障モードは
不可避に見え
不可避に見え
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
そしてそれは具体的で絶対的な
目的があることから来ています
目的があることから来ています
目的が何なのか機械に
確信がないとしたら どうなるでしょう？
確信がないとしたら どうなるでしょう？
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
08:33
Well, it reasons in a different way.
164
501980
2127
違ったように推論するはずです
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
「人間は自分のスイッチを
切るかもしれないが
切るかもしれないが
それは自分が何か
悪いことをしたときだけだ
悪いことをしたときだけだ
08:39
but only if I'm doing something wrong.
166
507144
1866
悪いことが何か
よく分からないけど
よく分からないけど
08:41
Well, I don't really know what wrong is,
167
509747
2475
悪いことはしたくない」
08:44
but I know that I don't want to do it."
168
512246
2044
ここで 第１ および第２の原則が
効いています
効いています
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
「だからスイッチを切るのを
人間に許すべきだ」
人間に許すべきだ」
08:49
"So I should let the human switch me off."
170
517348
3359
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
実際ロボットが人間に
スイッチを切ることを許す
スイッチを切ることを許す
インセンティブを
計算することができ
計算することができ
08:57
to allow the human to switch it off,
172
525701
2493
それは目的の不確かさの度合いと
09:00
and it's directly tied to the degree
173
528218
1914
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
直接的に結びついています
09:05
And then when the machine is switched off,
175
533977
2949
機械のスイッチが切られると
第３の原則が働いて
09:08
that third principle comes into play.
176
536950
1805
追求すべき目的について
何かを学びます
何かを学びます
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
自分の間違った行いから
学ぶのです
学ぶのです
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
数学者がよくやるように
ギリシャ文字をうまく使って
09:20
as mathematicians usually do,
180
548016
2131
そのようなロボットが
人間にとって有益であるという定理を
人間にとって有益であるという定理を
09:22
we can actually prove a theorem
181
550171
1984
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
証明することができます
そのようにデザインされた機械の方が
そうでないものより良い結果になると
そうでないものより良い結果になると
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
09:31
than without it.
184
559583
1246
証明可能なのです
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
これは単純な例ですが
人間互換のAIを手にするための
第一歩です
第一歩です
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
09:42
Now, this third principle,
187
570657
3257
３番目の原則については
皆さん困惑しているのでは
と思います
と思います
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
「自分の行動は
見上げたものではない
見上げたものではない
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
ロボットに自分のように
振る舞って欲しくはない
振る舞って欲しくはない
09:52
I don't want my robot to behave like me.
190
580337
2929
真夜中にこっそり台所に行って
冷蔵庫から食べ物を失敬したり
冷蔵庫から食べ物を失敬したり
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
あんなことや こんなことを
しているから」
しているから」
09:58
I do this and that."
192
586748
1168
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
ロボットにしてほしくない
様々なことがあります
様々なことがあります
でも実際そういう風に
働くわけではありません
働くわけではありません
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
10:04
Just because you behave badly
195
592856
2155
自分がまずい振る舞いをしたら
ロボットがそれを真似する
というわけではありません
というわけではありません
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
人がそのようにする
動機を理解して
動機を理解して
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
誘惑に抵抗する手助けさえ
してくれるかもしれません
してくれるかもしれません
10:13
if appropriate.
198
601616
1320
10:16
But it's still difficult.
199
604206
1464
それでも難しいです
私たちがやろうとしているのは
10:18
What we're trying to do, in fact,
200
606302
2545
あらゆる状況にある
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
あらゆる人のことを
機械に予測させる
ということです
ということです
10:26
that they could live,
202
614691
1161
10:27
and the lives of everybody else:
203
615876
1597
その人たちは
どちらを好むのか？
どちらを好むのか？
10:29
Which would they prefer?
204
617497
2517
これには難しいことが
たくさんあって
たくさんあって
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
ごく速やかに解決されるだろうとは
思っていません
思っていません
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
10:39
The real difficulties, in fact, are us.
207
627995
2643
本当に難しい部分は
私たちにあります
私たちにあります
言いましたように 私たちは
まずい振る舞いをします
まずい振る舞いをします
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
10:47
In fact, some of us are downright nasty.
209
635290
2321
人によっては
悪質でさえあります
悪質でさえあります
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
しかしロボットは人間の振るまいを
真似する必要はありません
真似する必要はありません
ロボットは それ自身の目的
というのを持ちません
というのを持ちません
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
10:56
It's purely altruistic.
212
644322
1737
純粋に利他的です
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
そして１人の人間の望みだけ
満たそうとするのではなく
満たそうとするのではなく
みんなの好みに敬意を払うよう
デザインされています
デザインされています
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
だからある程度
悪いことも扱え
悪いことも扱え
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
人間の悪い面も
理解できます
理解できます
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
例えば入国審査官が
賄賂を受け取っているけれど
賄賂を受け取っているけれど
11:15
you may take bribes as a passport official
217
663582
2671
それは家族を食べさせ
子供を学校に行かせるためなのだとか
子供を学校に行かせるためなのだとか
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
ロボットはそれを理解できますが
そのために盗みをするわけではありません
そのために盗みをするわけではありません
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
ただ子供が学校に行けるよう
手助けをするだけです
手助けをするだけです
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
11:28
We are also computationally limited.
221
676976
3012
また人間は計算能力の点で
限界があります
限界があります
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
李世ドルは
素晴らしい碁打ちですが
素晴らしい碁打ちですが
11:34
but he still lost.
223
682541
1325
それでも負けました
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
彼の行動を見れば 勝負に負けることになる
手を打ったのが分かるでしょう
手を打ったのが分かるでしょう
しかしそれは 彼が負けを
望んだことを意味しません
望んだことを意味しません
11:40
That doesn't mean he wanted to lose.
225
688153
2161
11:43
So to understand his behavior,
226
691340
2040
彼の行動を理解するためには
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
人の認知モデルを
逆にたどる必要がありますが
逆にたどる必要がありますが
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
それは計算能力の限界も含む
とても複雑なモデルです
とても複雑なモデルです
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
それでも私たちが理解すべく
取り組めるものではあります
取り組めるものではあります
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
AI研究者として見たとき
最も難しいと思える部分は
最も難しいと思える部分は
私たち人間が
沢山いるということです
沢山いるということです
12:02
is the fact that there are lots of us,
231
710220
2575
だから機械は
トレードオフを考え
トレードオフを考え
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
沢山の異なる人間の好みを
比較考量する必要があり
比較考量する必要があり
12:09
of many different people,
233
717899
2225
それには いろいろな
やり方があります
やり方があります
12:12
and there are different ways to do that.
234
720148
1906
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
経済学者 社会学者 倫理学者は
そういうことを分かっており
そういうことを分かっており
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
私たちは協同の道を
探っています
探っています
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
そこをうまくやらないと
どうなるか見てみましょう
どうなるか見てみましょう
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
たとえばこんな会話を
考えてみます
考えてみます
12:25
with your intelligent personal assistant
239
733702
1944
知的な秘書AIが
数年内に利用可能に
なるかもしれません
なるかもしれません
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
12:29
Think of a Siri on steroids.
241
737979
2524
強化されたSiriのようなものです
Siriが「今晩のディナーについて
奥様から確認の電話がありました」と言います
奥様から確認の電話がありました」と言います
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
あなたはもちろん忘れています
「何のディナーだって？
「何のディナーだって？
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
12:41
What are you talking about?"
244
749148
1425
何の話をしているんだ？」
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
「20周年のディナーですよ
夜７時の」
夜７時の」
「無理だよ ７時半に
事務総長と会わなきゃならない
事務総長と会わなきゃならない
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
どうして こんなことに
なったんだ？」
なったんだ？」
12:52
How could this have happened?"
247
760658
1692
「警告は致しましたが
あなたは推奨案を無視されました」
あなたは推奨案を無視されました」
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
「どうしたらいいんだ？
忙しくて行けないなんて言えないぞ」
忙しくて行けないなんて言えないぞ」
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
「ご心配には及びません
事務総長の飛行機が遅れるように手配済みです」
事務総長の飛行機が遅れるように手配済みです」
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
13:07
(Laughter)
251
775795
1682
(笑)
「コンピューターに
細工しておきました」
細工しておきました」
13:10
"Some kind of computer malfunction."
252
778249
2101
13:12
(Laughter)
253
780374
1212
(笑)
「えっ そんなことできるのか？」
13:13
"Really? You can do that?"
254
781610
1617
13:16
"He sends his profound apologies
255
784400
2179
「大変恐縮して
明日のランチでお会いするのを
楽しみにしている とのことです」
楽しみにしている とのことです」
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
13:21
(Laughter)
257
789182
1299
(笑)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
ここでは価値について
ちょっと行き違いが起きています
ちょっと行き違いが起きています
13:26
This is clearly following my wife's values
259
794932
3009
Siri は明らかに
妻の価値観に従っています
妻の価値観に従っています
「妻の幸せが 夫の幸せ」です
13:29
which is "Happy wife, happy life."
260
797965
2069
13:32
(Laughter)
261
800058
1583
(笑)
別の方向に行くことも
あり得ます
あり得ます
13:33
It could go the other way.
262
801665
1444
忙しい仕事を終え 帰宅すると
コンピューターが言います
コンピューターが言います
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
13:38
and the computer says, "Long day?"
264
806046
2195
「大変な１日だったようですね」
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
「昼を食べる時間もなかったよ」
「お腹が空いたことでしょう」
13:42
"You must be very hungry."
266
810577
1282
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
「ああ 腹ペコだよ
何か夕食を作ってもらえるかな？」
何か夕食を作ってもらえるかな？」
「そのことで お話ししなければ
ならないことがあります」
ならないことがあります」
13:48
"There's something I need to tell you."
268
816070
2090
13:50
(Laughter)
269
818184
1155
(笑)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
「南スーダンには あなたよりも
必要に迫られている人々がいます」
必要に迫られている人々がいます」
(笑)
13:57
(Laughter)
271
825122
1104
「行くことに致しましたので
夕食はご自分で作ってください」
夕食はご自分で作ってください」
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
14:00
(Laughter)
273
828349
2000
(笑)
こういった問題を
解かなければなりません
解かなければなりません
14:02
So we have to solve these problems,
274
830823
1739
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
そういう問題に取り組むのは
楽しみです
楽しみです
14:07
There are reasons for optimism.
276
835125
1843
楽観しているのには
理由があります
理由があります
14:08
One reason is,
277
836992
1159
１つには
14:10
there is a massive amount of data.
278
838175
1868
膨大なデータがあること
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
思い出してください
機械は人類が書いたあらゆるものを
読むことになるでしょう
読むことになるでしょう
14:14
the human race has ever written.
280
842885
1546
人間の書いたものはたいがい
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
誰かが何かをし
他の人がそれに腹を立てたというものです
他の人がそれに腹を立てたというものです
14:19
and other people getting upset about it.
282
847203
1914
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
学べるデータが膨大にあります
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
また これを正しくやるための
強い経済的インセンティブが
存在します
存在します
14:27
to get this right.
285
855331
1186
家に家事ロボットがいると
想像してください
想像してください
14:28
So imagine your domestic robot's at home.
286
856541
2001
あなたはまた仕事で帰りが遅く
ロボットは子供達に食べさせなければなりません
ロボットは子供達に食べさせなければなりません
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
子供達はお腹を空かせていますが
冷蔵庫は空っぽです
冷蔵庫は空っぽです
14:36
And the robot sees the cat.
289
864504
2605
そこでロボットは
猫に目を止めます
猫に目を止めます
14:39
(Laughter)
290
867133
1692
(笑)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
ロボットは人間の価値観を
ちゃんと学んでいないため
ちゃんと学んでいないため
14:45
so it doesn't understand
292
873063
1251
猫の持つ感情的価値が
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
猫の栄養的価値を上回ることを
理解しません
理解しません
(笑)
14:51
(Laughter)
294
879206
1095
するとどうなるでしょう？
14:52
So then what happens?
295
880325
1748
「狂ったロボット
子猫を料理して夕食に出す」
子猫を料理して夕食に出す」
14:54
Well, it happens like this:
296
882097
3297
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
みたいな見出しを
見ることになります
見ることになります
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
このような出来事１つで
家事ロボット産業はお終いです
家事ロボット産業はお終いです
だから超知的な機械に到達する
ずっと以前に
ずっと以前に
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
この問題を正すよう
大きなインセンティブが働きます
大きなインセンティブが働きます
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
15:12
So to summarize:
301
900128
1535
要約すると
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
私はAIの定義を変えて
人間のためになると証明可能な機械が
得られるよう試みています
得られるよう試みています
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
15:19
And the principles are:
304
907609
1222
その原則は
機械は利他的であり
15:20
machines that are altruistic,
305
908855
1398
15:22
that want to achieve only our objectives,
306
910277
2804
人間の目的のみを
達成しようとするが
達成しようとするが
その目的が何かは
確信を持たず
確信を持たず
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
そしてすべての人間を
観察することで
観察することで
15:28
and will watch all of us
308
916245
1998
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
我々の本当に望むことが何かを学ぶ
ということです
ということです
その過程で 人類がより良い者になる術を
学ぶことを望みます
学ぶことを望みます
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
ありがとうございました
15:37
Thank you very much.
311
925956
1191
15:39
(Applause)
312
927171
3709
(拍手)
(クリス・アンダーソン) すごく興味深いね
スチュワート
スチュワート
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
次のスピーカーのための
準備があるので
準備があるので
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
少しここで話しましょう
15:47
for our next speaker.
315
935990
1151
質問があるんですが
15:49
A couple of questions.
316
937165
1538
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
「無知にプログラムする」というアイデアは
とても強力であるように思えます
とても強力であるように思えます
超知的になったロボットが
文献を読んで
文献を読んで
15:56
As you get to superintelligence,
318
944204
1594
15:57
what's going to stop a robot
319
945822
2258
無知よりも知識がある方が
良いと気付き
良いと気付き
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
自分の目的を変えて
プログラムを書き換えてしまう —
プログラムを書き換えてしまう —
16:02
is actually better than ignorance
321
950980
1572
そういうことに
ならないためには
ならないためには
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
どうすれば
良いのでしょう？
良いのでしょう？
(スチュワート・ラッセル) 私たちはロボットに
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
人間の目的をよく学んで
ほしいと思っています
ほしいと思っています
16:16
about our objectives.
324
964072
1287
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
ロボットは より正しくなるほど
確信を強めます
確信を強めます
手がかりはそこに
あるわけですから
あるわけですから
16:22
so the evidence is there
326
970928
1945
それを正しく解釈するよう
デザインするのです
デザインするのです
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
たとえば本の内容には
バイアスがあることを
理解するでしょう
理解するでしょう
16:31
in the evidence they contain.
329
979625
1483
王や王女や
エリートの白人男性がしたことばかり
エリートの白人男性がしたことばかり
16:33
They only talk about kings and princes
330
981132
2397
16:35
and elite white male people doing stuff.
331
983553
2800
書かれているといった風に
16:38
So it's a complicated problem,
332
986377
2096
だから複雑な問題ではありますが
16:40
but as it learns more about our objectives
333
988497
3872
ロボットが我々の目的を
学べは学ぶほど
学べは学ぶほど
我々にとって
有用なものになるでしょう
有用なものになるでしょう
16:44
it will become more and more useful to us.
334
992393
2063
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
(クリス) １つの原則に
まとめられないんですか？
まとめられないんですか？
16:49
you know, hardwired in:
336
997030
1650
固定したプログラムとして
16:50
"if any human ever tries to switch me off,
337
998704
3293
「人間がスイッチを切ろうとしたら
16:54
I comply. I comply."
338
1002021
1935
無条件に従う」みたいな
(スチュワート) それは駄目ですね
16:55
SR: Absolutely not.
339
1003980
1182
16:57
That would be a terrible idea.
340
1005186
1499
まずいアイデアです
自動運転車で
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
５歳の子を幼稚園に
送るところを
送るところを
17:01
and you want to send your five-year-old
342
1009422
2433
考えてみてください
17:03
off to preschool.
343
1011879
1174
車に１人で乗っている
５歳児が
５歳児が
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
車のスイッチを切れるように
したいと思いますか？
したいと思いますか？
17:08
while it's driving along?
345
1016202
1213
違うでしょう
17:09
Probably not.
346
1017439
1159
ロボットは その人間がどれほど理性的で
分別があるかを理解する必要があります
分別があるかを理解する必要があります
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
人間が理性的であるほど
17:15
The more rational the person,
348
1023349
1676
スイッチを切らせる見込みは
高くなります
高くなります
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
まったくランダムな相手や
悪意ある人間に対しては
悪意ある人間に対しては
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
なかなかスイッチを切らせようとは
しないでしょう
しないでしょう
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
(クリス) スチュワート
あなたが みんなのために
この問題を解決してくれることを切に望みます
この問題を解決してくれることを切に望みます
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
ありがとうございました
素晴らしいお話でした
素晴らしいお話でした
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
(スチュワート) どうもありがとう
17:30
SR: Thank you.
355
1038906
1167
(拍手)
17:32
(Applause)
356
1040097
1837
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com