ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

スチュワート・ラッセル: 安全なAIのための3原則

Filmed:
1,465,832 views

超知的な人工知能(AI)の力を享受しながら、機械に支配される破滅的な未来を避けるというのは、どうしたらできるのでしょう? 全知の機械の到来が近づきつつある中、AIのパイオニアであるスチュワート・ラッセルが取り組んでいるのは少し違ったもの──確信のないロボットです。常識や利他性その他の深い人間的価値に基づいて問題解決をする「人間互換のAI」という彼のビジョンに耳を傾けましょう。
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

これは李世ドルです
00:12
This is Leeリー Sedolセドル.
0
712
1552
李世ドルは 世界で最も強い
碁打ちの1人ですが
00:14
Leeリー Sedolセドル is one of the world's世界の
greatest最大 Go players選手,
1
2288
3997
シリコンバレーの
友人たちなら
00:18
and he's having持つ what my friends友達
in Siliconシリコン Valley call
2
6309
2885
「なんてこった」と言う
瞬間を迎えています
00:21
a "Holy聖なる Cow" moment瞬間 --
3
9218
1510
00:22
(Laughter笑い)
4
10752
1073
(笑)
00:23
a moment瞬間 where we realize実現する
5
11849
2188
我々が予想していたよりも
ずっと早く
00:26
that AIAI is actually実際に progressing進行中
a lot fasterもっと早く than we expected期待される.
6
14061
3296
AIが進歩していることに
気付いた瞬間です
人間は碁盤上で機械に負けましたが
実際の世の中ではどうでしょう?
00:30
So humans人間 have lost失われた on the Go boardボード.
What about the realリアル world世界?
7
18154
3047
00:33
Well, the realリアル world世界 is much biggerより大きい,
8
21225
2100
実際の世界は
碁盤よりもずっと大きく
ずっと複雑で
00:35
much more complicated複雑な than the Go boardボード.
9
23349
2249
ずっと見通し難いですが
00:37
It's a lot lessもっと少なく visible目に見える,
10
25622
1819
決定問題であることに
違いはありません
00:39
but it's still a decision決定 problem問題.
11
27465
2038
到来しつつある
00:42
And if we think about some
of the technologiesテクノロジー
12
30948
2321
テクノロジーのことを考えるなら —
00:45
that are coming到来 down the pikeパイク ...
13
33293
1749
機械は 本当に理解して文を読めるようには
まだなっていないことに
00:47
Norikoノリコ [Arai新井] mentioned言及した that reading読書
is not yetまだ happeningハプニング in machines機械,
14
35738
4335
新井紀子氏が
触れていましたが
00:52
at least少なくとも with understanding理解.
15
40097
1500
それもやがて
できるようになるでしょう
00:53
But that will happen起こる,
16
41621
1536
00:55
and when that happens起こる,
17
43181
1771
そして そうなったとき
機械は人類がかつて書いた
すべてのものを
00:56
very soonすぐに afterwardsその後,
18
44976
1187
00:58
machines機械 will have read読む everything
that the human人間 raceレース has ever written書かれた.
19
46187
4572
速やかに読破することでしょう
01:03
And that will enable有効にする machines機械,
20
51850
2030
そうなると機械は
碁において見せた
01:05
along一緒に with the ability能力 to look
furtherさらに ahead前方に than humans人間 can,
21
53904
2920
人間より遠くまで
見通す力と合わせ
01:08
as we've私たちは already既に seen見た in Go,
22
56848
1680
より多くの情報に
触れられるようになることで
01:10
if they alsoまた、 have accessアクセス
to more information情報,
23
58552
2164
01:12
they'll彼らは be ableできる to make better decisions決定
in the realリアル world世界 than we can.
24
60740
4268
実際の世の中でも 人間より優れた
判断ができるようになるでしょう
それは良いこと
なのでしょうか?
01:18
So is that a good thing?
25
66792
1606
そうだと望みたいです
01:21
Well, I hope希望 so.
26
69898
2232
我々の文明そのもの
我々が価値を置くすべては
01:26
Our entire全体 civilization文明,
everything that we value,
27
74694
3255
我々の知性を
拠り所としています
01:29
is basedベース on our intelligenceインテリジェンス.
28
77973
2068
01:32
And if we had accessアクセス
to a lot more intelligenceインテリジェンス,
29
80065
3694
はるかに多くの知性が
使えるようになったなら
01:35
then there's really no limit限界
to what the human人間 raceレース can do.
30
83783
3302
人類に可能なことに
限界はないでしょう
ある人々が言っているように
01:40
And I think this could be,
as some people have described記載された it,
31
88665
3325
これは人類史上最大の出来事に
なるかもしれません
01:44
the biggest最大 eventイベント in human人間 history歴史.
32
92014
2016
ではなぜ「AIは人類の終焉を
意味するかもしれない」などと
01:48
So why are people saying言って things like this,
33
96665
2829
01:51
that AIAI mightかもしれない spellスペル the end終わり
of the human人間 raceレース?
34
99518
2876
言われているのでしょう?
これは新しいこと
なのでしょうか?
01:55
Is this a new新しい thing?
35
103438
1659
01:57
Is it just Elonエロン Muskムスク and Billビル Gatesゲイツ
and Stephenスティーヴン Hawkingホーキング?
36
105121
4110
ただイーロン・マスクと ビル・ゲイツと
ホーキングが言っているだけなのか?
02:01
Actually実際に, no. This ideaアイディア
has been around for a while.
37
109953
3262
違います
この考えは結構前からありました
02:05
Here'sここにいる a quotation引用:
38
113239
1962
ここに ある人の
言葉があります
「重大な瞬間にスイッチを切る
といったことによって
02:07
"Even if we could keep the machines機械
in a subservient従順な positionポジション,
39
115225
4350
機械を 従属的な位置に
保てたとしても —
02:11
for instanceインスタンス, by turning旋回 off the powerパワー
at strategic戦略的 moments瞬間" --
40
119599
2984
この “スイッチを切る” ことについては
後でまた戻ってきます —
02:14
and I'll come back to that
"turning旋回 off the powerパワー" ideaアイディア later後で on --
41
122607
3237
種としての我々は
謙虚に捉えるべきである」
02:17
"we should, as a species,
feel greatly大きく humbled謙虚な."
42
125868
2804
誰の言葉でしょう? アラン・チューリングが
1951年に言ったことです
02:22
So who said this?
This is Alanアラン Turingチューリング in 1951.
43
130177
3448
ご存じのように チューリングは
コンピューター科学の父であり
02:26
Alanアラン Turingチューリング, as you know,
is the fatherお父さん of computerコンピューター science科学
44
134300
2763
02:29
and in manyたくさんの ways方法,
the fatherお父さん of AIAI as well.
45
137087
3048
いろいろな意味で
AIの父でもあります
この問題を考えてみると
02:33
So if we think about this problem問題,
46
141239
1882
02:35
the problem問題 of creating作成 something
more intelligentインテリジェントな than your own自分の species,
47
143145
3787
つまり自分の種よりも知的なものを
生み出してしまうという問題ですが
02:38
we mightかもしれない call this "the gorillaゴリラ problem問題,"
48
146956
2622
これは「ゴリラの問題」と呼んでも
良いかもしれません
なぜなら数百万年前に
ゴリラの祖先がそうしているからで
02:42
because gorillas'ゴリラ ' ancestors祖先 did this
a few少数 million百万 years ago,
49
150345
3750
02:46
and now we can ask尋ねる the gorillasゴリラ:
50
154119
1745
ゴリラたちに
尋ねることができます
「いいアイデアだったと思う?」
02:48
Was this a good ideaアイディア?
51
156752
1160
02:49
So here they are having持つ a meeting会議
to discuss話し合います whetherかどうか it was a good ideaアイディア,
52
157936
3530
ゴリラたちが いいアイデアだったのか
議論するために 集まっていますが
02:53
and after a little while,
they conclude結論づける, no,
53
161490
3346
しばらくして
出した結論は
「あれは酷いアイデアだった」
というものです
02:56
this was a terribleひどい ideaアイディア.
54
164860
1345
おかげで我々の種は
ひどい苦境に置かれていると
02:58
Our species is in dire恐ろしい straits海峡.
55
166229
1782
彼らの目に実存的な悲哀を
見て取れるでしょう
03:00
In fact事実, you can see the existential存在
sadness悲しみ in their彼らの eyes.
56
168538
4263
03:04
(Laughter笑い)
57
172825
1640
(笑)
03:06
So this queasy不気味な feeling感じ that making作る
something smarterスマートな than your own自分の species
58
174489
4840
「自分の種より知的なものを
生み出すのは
良い考えではないのでは?」
という不安な感覚があります
03:11
is maybe not a good ideaアイディア --
59
179353
2365
それについて
何ができるのでしょう?
03:14
what can we do about that?
60
182488
1491
03:16
Well, really nothing,
exceptを除いて stop doing AIAI,
61
184003
4767
AIの開発をやめてしまう以外
ないかもしれませんが
AIのもたらす様々な利点や
03:20
and because of all
the benefits利点 that I mentioned言及した
62
188794
2510
私自身AI研究者である
という理由によって
03:23
and because I'm an AIAI researcher研究者,
63
191328
1716
03:25
I'm not having持つ that.
64
193068
1791
私にはそういう選択肢は
ありません
03:27
I actually実際に want to be ableできる
to keep doing AIAI.
65
195283
2468
実際AIは続けたいと
思っています
この問題をもう少し
明確にする必要があるでしょう
03:30
So we actually実際に need to nailネイル down
the problem問題 a bitビット more.
66
198615
2678
正確に何が問題なのか?
03:33
What exactly正確に is the problem問題?
67
201317
1371
03:34
Why is better AIAI possiblyおそらく a catastrophe災害?
68
202712
3246
優れたAIが我々の破滅に繋がりうるのは
なぜなのか?
03:39
So here'sここにいる another別の quotation引用:
69
207398
1498
ここにもう1つ
引用があります
03:41
"We had better be quiteかなり sure
that the purpose目的 put into the machine機械
70
209935
3335
「機械に与える目的については
それが本当に望むものだと
確信があるものにする必要がある」
03:45
is the purpose目的 whichどの we really desire慾望."
71
213294
2298
03:48
This was said by Norbertノーベルト Wienerウィーナー in 1960,
72
216282
3498
これはノーバート・ウィーナーが
1960年に言ったことで
最初期の学習システムが
03:51
shortlyまもなく after he watched見た
one of the very early早い learning学習 systemsシステム
73
219804
4002
作り手よりもうまくチェッカーを
指すのを見た すぐ後のことです
03:55
learn学ぶ to play遊びます checkersチェッカーズ
better than its creator創作者.
74
223830
2583
しかしこれはミダス王の
言葉だったとしても
04:00
But this could equally均等に have been said
75
228602
2683
04:03
by Kingキング Midasマイダス.
76
231309
1167
おかしくないでしょう
ミダス王は「自分の触れたものすべてが
金になってほしい」と望み
04:05
Kingキング Midasマイダス said, "I want everything
I touchタッチ to turn順番 to goldゴールド,"
77
233083
3134
04:08
and he got exactly正確に what he asked尋ねた for.
78
236241
2473
そして その望みが
叶えられました
04:10
That was the purpose目的
that he put into the machine機械,
79
238738
2751
これはいわば
彼が「機械に与えた目的」です
04:13
so to speak話す,
80
241513
1450
そして彼の食べ物や飲み物や親類は
みんな金に変わってしまい
04:14
and then his foodフード and his drinkドリンク
and his relatives親族 turned回した to goldゴールド
81
242987
3444
04:18
and he died死亡しました in misery不幸 and starvation餓死.
82
246455
2281
彼は悲嘆と飢えの中で
死んでいきました
だから自分が本当に望むことと合わない
目的を掲げることを
04:22
So we'll私たちは call this
"the Kingキング Midasマイダス problem問題"
83
250444
2341
04:24
of stating述べる an objective目的
whichどの is not, in fact事実,
84
252809
3305
「ミダス王の問題」と
04:28
truly真に aligned整列した with what we want.
85
256138
2413
呼ぶことにしましょう
現代的な用語では これを
「価値整合の問題」と言います
04:30
In modernモダン terms条項, we call this
"the value alignmentアライメント problem問題."
86
258575
3253
間違った目的を与えてしまうというのが
問題のすべてではありません
04:37
Puttingパッティング in the wrong違う objective目的
is not the only part of the problem問題.
87
265047
3485
04:40
There's another別の part.
88
268556
1152
別の側面もあります
「コーヒーを取ってくる」というような
04:42
If you put an objective目的 into a machine機械,
89
270160
1943
04:44
even something as simple単純 as,
"Fetchフェッチ the coffeeコーヒー,"
90
272127
2448
ごく単純な目的を
機械に与えたとします
機械は考えます
04:47
the machine機械 says言う to itself自体,
91
275908
1841
「コーヒーを取ってくるのに失敗する
どんな状況がありうるだろう?
04:50
"Well, how mightかもしれない I fail失敗します
to fetchフェッチ the coffeeコーヒー?
92
278733
2623
04:53
Someone誰か mightかもしれない switchスイッチ me off.
93
281380
1580
誰かが自分のスイッチを
切るかもしれない
そのようなことを防止する
手を打たなければ
04:55
OK, I have to take stepsステップ to prevent防ぐ that.
94
283645
2387
04:58
I will disable無効にする my 'off''オフ' switchスイッチ.
95
286056
1906
自分の「オフ」スイッチを
無効にしておこう
05:00
I will do anything to defend守る myself私自身
againstに対して interference干渉
96
288534
2959
与えられた目的の遂行を阻むものから
自分を守るためであれば
05:03
with this objective目的
that I have been given与えられた."
97
291517
2629
何だってやろう」
1つの目的を
05:06
So this single-minded一心 pursuit追求
98
294170
2012
非常に防御的に
一途に追求すると
05:09
in a very defensive防御的 modeモード
of an objective目的 that is, in fact事実,
99
297213
2945
人類の本当の目的に
沿わなくなるというのが
05:12
not aligned整列した with the true真実 objectives目的
of the human人間 raceレース --
100
300182
2814
我々の直面する問題です
05:16
that's the problem問題 that we face.
101
304122
1862
実際それが この講演から学べる
価値ある教訓です
05:19
And in fact事実, that's the high-value高い価値
takeaway取り除く from this talk.
102
307007
4767
もし1つだけ覚えておくとしたら
それは —
05:23
If you want to remember思い出す one thing,
103
311798
2055
05:25
it's that you can't fetchフェッチ
the coffeeコーヒー if you're deadデッド.
104
313877
2675
「死んだらコーヒーを取ってこれない」
ということです
05:28
(Laughter笑い)
105
316576
1061
(笑)
05:29
It's very simple単純. Just remember思い出す that.
Repeat繰り返す it to yourselfあなた自身 three times a day.
106
317661
3829
簡単でしょう
記憶して1日3回唱えてください
05:33
(Laughter笑い)
107
321514
1821
(笑)
05:35
And in fact事実, this is exactly正確に the plotプロット
108
323359
2754
実際 映画『2001年宇宙の旅』の筋は
05:38
of "2001: [A Spaceスペース Odysseyオデッセイ]"
109
326137
2648
そういうものでした
HALの目的・ミッションは
05:41
HALHAL has an objective目的, a missionミッション,
110
329226
2090
05:43
whichどの is not aligned整列した
with the objectives目的 of the humans人間,
111
331340
3732
人間の目的とは合わず
そのため衝突が起きます
05:47
and that leadsリード to this conflict紛争.
112
335096
1810
幸いHALは非常に賢くはあっても
超知的ではありませんでした
05:49
Now fortunately幸いにも, HALHAL
is not superintelligent超知能.
113
337494
2969
05:52
He's prettyかなり smartスマート,
but eventually最終的に Daveデイブ outwits外出 him
114
340487
3587
それで最終的には
主人公が出し抜いて
スイッチを切ることができました
05:56
and manages管理する to switchスイッチ him off.
115
344098
1849
でも私たちはそんなに幸運では
ないかもしれません
06:01
But we mightかもしれない not be so lucky幸運な.
116
349828
1619
では どうしたらいいのでしょう?
06:08
So what are we going to do?
117
356193
1592
06:12
I'm trying試す to redefine再定義する AIAI
118
360371
2601
「知的に目的を追求する機械」という
06:14
to get away from this classicalクラシック notion概念
119
362996
2061
古典的な見方から離れて
06:17
of machines機械 that intelligently知的に
pursue追求する objectives目的.
120
365081
4567
AIの再定義を試みようと思います
3つの原則があります
06:22
There are three principles原則 involved関係する.
121
370712
1798
第1は「利他性の原則」で
06:24
The first one is a principle原理
of altruism利他主義, if you like,
122
372534
3289
06:27
that the robot'sロボットの only objective目的
123
375847
3262
ロボットの唯一の目的は
人間の目的
人間にとって価値あることが
06:31
is to maximize最大化する the realization実現
of human人間 objectives目的,
124
379133
4246
最大限に実現される
ようにすることです
06:35
of human人間 values.
125
383403
1390
06:36
And by values here I don't mean
touchy-feelyかっこいい, goody-goodyおいしいお菓子 values.
126
384817
3330
ここで言う価値は
善人ぶった崇高そうな価値ではありません
06:40
I just mean whateverなんでも it is
that the human人間 would prefer好む
127
388171
3787
単に何であれ
人間が自分の生活に
望むものということです
06:43
their彼らの life to be like.
128
391982
1343
この原則は
06:47
And so this actually実際に violates違反する Asimov'sアシモフの law法律
129
395364
2309
「ロボットは自己を守らなければならない」
というアシモフの原則に反します
06:49
that the robotロボット has to protect保護する
its own自分の existence存在.
130
397697
2329
06:52
It has no interest利子 in preserving保存
its existence存在 whatsoever何でも.
131
400050
3723
自己の存在維持には
まったく関心を持たないのです
第2の原則は
言うなれば「謙虚の原則」です
06:57
The second二番 law法律 is a law法律
of humility謙虚, if you like.
132
405420
3768
これはロボットを安全なものにする上で
非常に重要であることがわかります
07:01
And this turnsターン out to be really
important重要 to make robotsロボット safe安全.
133
409974
3743
07:05
It says言う that the robotロボット does not know
134
413741
3142
この原則は
ロボットが人間の価値が何か
知らないものとしています
07:08
what those human人間 values are,
135
416907
2028
07:10
so it has to maximize最大化する them,
but it doesn't know what they are.
136
418959
3178
ロボットは最大化すべきものが何か
知らないということです
1つの目的を
一途に追求することの問題を
07:15
And that avoids回避する this problem問題
of single-minded一心 pursuit追求
137
423254
2626
これで避けることができます
07:17
of an objective目的.
138
425904
1212
07:19
This uncertainty不確実性 turnsターン out to be crucial重大な.
139
427140
2172
この不確定性が
極めて重要なのです
人間にとって有用であるためには
07:21
Now, in order注文 to be useful有用 to us,
140
429726
1639
07:23
it has to have some ideaアイディア of what we want.
141
431389
2731
我々が何を望むのかについて
大まかな理解は必要です
ロボットはその情報を主として
人間の選択を観察することで得ます
07:27
It obtains獲得する that information情報 primarily主に
by observation観察 of human人間 choices選択肢,
142
435223
5427
07:32
so our own自分の choices選択肢 reveal明らかにする information情報
143
440674
2801
我々が自分の生活に望むのが
何かという情報が
07:35
about what it is that we prefer好む
our lives人生 to be like.
144
443499
3300
我々のする選択を通して
明かされるわけです
以上が3つの原則です
07:40
So those are the three principles原則.
145
448632
1683
これがチューリングの提起した
「機械のスイッチを切れるか」という問題に
07:42
Let's see how that applies適用する
to this question質問 of:
146
450339
2318
07:44
"Can you switchスイッチ the machine機械 off?"
as Turingチューリング suggested示唆.
147
452681
2789
どう適用できるか
見てみましょう
これは PR2 ロボットです
07:49
So here'sここにいる a PRPR2 robotロボット.
148
457073
2120
私たちの研究室にあるもので
07:51
This is one that we have in our lab研究室,
149
459217
1821
背中に大きな赤い
「オフ」スイッチがあります
07:53
and it has a big大きい red "off" switchスイッチ
right on the back.
150
461062
2903
問題は ロボットがスイッチを
切らせてくれるかということです
07:56
The question質問 is: Is it
going to let you switchスイッチ it off?
151
464541
2615
古典的なやり方をするなら
07:59
If we do it the classicalクラシック way,
152
467180
1465
08:00
we give it the objective目的 of, "Fetchフェッチ
the coffeeコーヒー, I must必須 fetchフェッチ the coffeeコーヒー,
153
468669
3482
「コーヒーを取ってくる」
という目的に対し
「コーヒーを取ってこなければならない」
「死んだらコーヒーを取ってこれない」と考え
08:04
I can't fetchフェッチ the coffeeコーヒー if I'm deadデッド,"
154
472175
2580
私の講演を聴いていたPR2は
08:06
so obviously明らかに the PRPR2
has been listening聞いている to my talk,
155
474779
3341
「オフ・スイッチは無効にしなければ」
と判断し
08:10
and so it says言う, thereforeしたがって、,
"I must必須 disable無効にする my 'off''オフ' switchスイッチ,
156
478144
3753
「スターバックスで邪魔になる
他の客はみんな
08:14
and probably多分 taserテーザー all the other
people in Starbucksスターバックス
157
482976
2694
テーザー銃で眠らせよう」
となります
08:17
who mightかもしれない interfere干渉する with me."
158
485694
1560
08:19
(Laughter笑い)
159
487278
2062
(笑)
これは避けがたい
ように見えます
08:21
So this seems思われる to be inevitable必然的, right?
160
489364
2153
このような故障モードは
不可避に見え
08:23
This kind種類 of failure失敗 modeモード
seems思われる to be inevitable必然的,
161
491541
2398
08:25
and it follows続く from having持つ
a concreteコンクリート, definite明確 objective目的.
162
493963
3543
そしてそれは具体的で絶対的な
目的があることから来ています
目的が何なのか機械に
確信がないとしたら どうなるでしょう?
08:30
So what happens起こる if the machine機械
is uncertain不確実な about the objective目的?
163
498812
3144
08:33
Well, it reasons理由 in a different異なる way.
164
501980
2127
違ったように推論するはずです
08:36
It says言う, "OK, the human人間
mightかもしれない switchスイッチ me off,
165
504131
2424
「人間は自分のスイッチを
切るかもしれないが
それは自分が何か
悪いことをしたときだけだ
08:39
but only if I'm doing something wrong違う.
166
507144
1866
悪いことが何か
よく分からないけど
08:41
Well, I don't really know what wrong違う is,
167
509747
2475
悪いことはしたくない」
08:44
but I know that I don't want to do it."
168
512246
2044
ここで 第1 および第2の原則が
効いています
08:46
So that's the first and second二番
principles原則 right there.
169
514314
3010
「だからスイッチを切るのを
人間に許すべきだ」
08:49
"So I should let the human人間 switchスイッチ me off."
170
517348
3359
08:53
And in fact事実 you can calculate計算する
the incentiveインセンティブ that the robotロボット has
171
521721
3956
実際ロボットが人間に
スイッチを切ることを許す
インセンティブを
計算することができ
08:57
to allow許す the human人間 to switchスイッチ it off,
172
525701
2493
それは目的の不確かさの度合いと
09:00
and it's directly直接 tied結ばれた to the degree
173
528218
1914
09:02
of uncertainty不確実性 about
the underlying根底にある objective目的.
174
530156
2746
直接的に結びついています
09:05
And then when the machine機械 is switched切り替え off,
175
533977
2949
機械のスイッチが切られると
第3の原則が働いて
09:08
that third三番 principle原理 comes来る into play遊びます.
176
536950
1805
追求すべき目的について
何かを学びます
09:10
It learns学ぶ something about the objectives目的
it should be pursuing追求,
177
538779
3062
自分の間違った行いから
学ぶのです
09:13
because it learns学ぶ that
what it did wasn'tなかった right.
178
541865
2533
09:16
In fact事実, we can, with suitable適切な use
of Greekギリシャ語 symbolsシンボル,
179
544422
3570
数学者がよくやるように
ギリシャ文字をうまく使って
09:20
as mathematicians数学者 usually通常 do,
180
548016
2131
そのようなロボットが
人間にとって有益であるという定理を
09:22
we can actually実際に prove証明する a theorem定理
181
550171
1984
09:24
that says言う that suchそのような a robotロボット
is provably確かに beneficial有益 to the human人間.
182
552179
3553
証明することができます
そのようにデザインされた機械の方が
そうでないものより良い結果になると
09:27
You are provably確かに better off
with a machine機械 that's designed設計 in this way
183
555756
3803
09:31
than withoutなし it.
184
559583
1246
証明可能なのです
09:33
So this is a very simple単純 example,
but this is the first stepステップ
185
561237
2906
これは単純な例ですが
人間互換のAIを手にするための
第一歩です
09:36
in what we're trying試す to do
with human-compatible人間と互換性のある AIAI.
186
564167
3903
09:42
Now, this third三番 principle原理,
187
570657
3257
3番目の原則については
皆さん困惑しているのでは
と思います
09:45
I think is the one that you're probably多分
scratching引っ掻く your head over.
188
573938
3112
「自分の行動は
見上げたものではない
09:49
You're probably多分 thinking考え, "Well,
you know, I behave行動する badlyひどく.
189
577074
3239
ロボットに自分のように
振る舞って欲しくはない
09:52
I don't want my robotロボット to behave行動する like me.
190
580337
2929
真夜中にこっそり台所に行って
冷蔵庫から食べ物を失敬したり
09:55
I sneakこっそりした down in the middle中間 of the night
and take stuffもの from the fridge冷蔵庫.
191
583290
3434
あんなことや こんなことを
しているから」
09:58
I do this and that."
192
586748
1168
09:59
There's all kinds種類 of things
you don't want the robotロボット doing.
193
587940
2797
ロボットにしてほしくない
様々なことがあります
でも実際そういう風に
働くわけではありません
10:02
But in fact事実, it doesn't
quiteかなり work that way.
194
590761
2071
10:04
Just because you behave行動する badlyひどく
195
592856
2155
自分がまずい振る舞いをしたら
ロボットがそれを真似する
というわけではありません
10:07
doesn't mean the robotロボット
is going to copyコピー your behavior動作.
196
595035
2623
人がそのようにする
動機を理解して
10:09
It's going to understandわかる your motivations動機
and maybe help you resistレジスト them,
197
597682
3910
誘惑に抵抗する手助けさえ
してくれるかもしれません
10:13
if appropriate適切な.
198
601616
1320
10:16
But it's still difficult難しい.
199
604206
1464
それでも難しいです
私たちがやろうとしているのは
10:18
What we're trying試す to do, in fact事実,
200
606302
2545
あらゆる状況にある
10:20
is to allow許す machines機械 to predict予測する
for any person and for any possible可能 life
201
608871
5796
あらゆる人のことを
機械に予測させる
ということです
10:26
that they could liveライブ,
202
614691
1161
10:27
and the lives人生 of everybodyみんな elseelse:
203
615876
1597
その人たちは
どちらを好むのか?
10:29
Whichどの would they prefer好む?
204
617497
2517
これには難しいことが
たくさんあって
10:34
And there are manyたくさんの, manyたくさんの
difficulties困難 involved関係する in doing this;
205
622061
2954
ごく速やかに解決されるだろうとは
思っていません
10:37
I don't expect期待する that this
is going to get solved解決した very quickly早く.
206
625039
2932
10:39
The realリアル difficulties困難, in fact事実, are us.
207
627995
2643
本当に難しい部分は
私たちにあります
言いましたように 私たちは
まずい振る舞いをします
10:44
As I have already既に mentioned言及した,
we behave行動する badlyひどく.
208
632149
3117
10:47
In fact事実, some of us are downright完全に nasty不快な.
209
635290
2321
人によっては
悪質でさえあります
10:50
Now the robotロボット, as I said,
doesn't have to copyコピー the behavior動作.
210
638431
3052
しかしロボットは人間の振るまいを
真似する必要はありません
ロボットは それ自身の目的
というのを持ちません
10:53
The robotロボット does not have
any objective目的 of its own自分の.
211
641507
2791
10:56
It's purely純粋に altruistic利他的.
212
644322
1737
純粋に利他的です
10:59
And it's not designed設計 just to satisfy満たす
the desires願望 of one person, the userユーザー,
213
647293
5221
そして1人の人間の望みだけ
満たそうとするのではなく
みんなの好みに敬意を払うよう
デザインされています
11:04
but in fact事実 it has to respect尊敬
the preferencesプリファレンス of everybodyみんな.
214
652538
3138
だからある程度
悪いことも扱え
11:09
So it can deal対処 with a certainある
amount of nastiness不幸,
215
657263
2570
人間の悪い面も
理解できます
11:11
and it can even understandわかる
that your nastiness不幸, for example,
216
659857
3701
例えば入国審査官が
賄賂を受け取っているけれど
11:15
you mayかもしれない take bribes賄賂 as a passportパスポート official公式
217
663582
2671
それは家族を食べさせ
子供を学校に行かせるためなのだとか
11:18
because you need to feedフィード your family家族
and send送信する your kids子供たち to school学校.
218
666277
3812
ロボットはそれを理解できますが
そのために盗みをするわけではありません
11:22
It can understandわかる that;
it doesn't mean it's going to stealスチール.
219
670113
2906
ただ子供が学校に行けるよう
手助けをするだけです
11:25
In fact事実, it'llそれはよ just help you
send送信する your kids子供たち to school学校.
220
673043
2679
11:28
We are alsoまた、 computationally計算上 limited限られた.
221
676976
3012
また人間は計算能力の点で
限界があります
11:32
Leeリー Sedolセドル is a brilliantブリリアント Go playerプレーヤー,
222
680012
2505
李世ドルは
素晴らしい碁打ちですが
11:34
but he still lost失われた.
223
682541
1325
それでも負けました
11:35
So if we look at his actions行動,
he took取った an actionアクション that lost失われた the gameゲーム.
224
683890
4239
彼の行動を見れば 勝負に負けることになる
手を打ったのが分かるでしょう
しかしそれは 彼が負けを
望んだことを意味しません
11:40
That doesn't mean he wanted to lose失う.
225
688153
2161
11:43
So to understandわかる his behavior動作,
226
691340
2040
彼の行動を理解するためには
11:45
we actually実際に have to invert反転
throughを通して a modelモデル of human人間 cognition認知
227
693404
3644
人の認知モデルを
逆にたどる必要がありますが
11:49
that includes含む our computational計算上の
limitations限界 -- a very complicated複雑な modelモデル.
228
697072
4977
それは計算能力の限界も含む
とても複雑なモデルです
11:54
But it's still something
that we can work on understanding理解.
229
702073
2993
それでも私たちが理解すべく
取り組めるものではあります
11:57
Probably多分 the most最も difficult難しい part,
from my pointポイント of view見る as an AIAI researcher研究者,
230
705876
4320
AI研究者として見たとき
最も難しいと思える部分は
私たち人間が
沢山いるということです
12:02
is the fact事実 that there are lots of us,
231
710220
2575
だから機械は
トレードオフを考え
12:06
and so the machine機械 has to somehow何とか
tradeトレード off, weigh体重を計る up the preferencesプリファレンス
232
714294
3581
沢山の異なる人間の好みを
比較考量する必要があり
12:09
of manyたくさんの different異なる people,
233
717899
2225
それには いろいろな
やり方があります
12:12
and there are different異なる ways方法 to do that.
234
720148
1906
12:14
Economistsエコノミスト, sociologists社会学者,
moral道徳 philosophers哲学者 have understood理解された that,
235
722078
3689
経済学者 社会学者 倫理学者は
そういうことを分かっており
12:17
and we are actively積極的に
looking for collaborationコラボレーション.
236
725791
2455
私たちは協同の道を
探っています
12:20
Let's have a look and see what happens起こる
when you get that wrong違う.
237
728270
3251
そこをうまくやらないと
どうなるか見てみましょう
12:23
So you can have
a conversation会話, for example,
238
731545
2133
たとえばこんな会話を
考えてみます
12:25
with your intelligentインテリジェントな personal個人的 assistantアシスタント
239
733702
1944
知的な秘書AIが
数年内に利用可能に
なるかもしれません
12:27
that mightかもしれない be available利用可能な
in a few少数 years' time.
240
735670
2285
12:29
Think of a Siriシリ on steroidsステロイド.
241
737979
2524
強化されたSiriのようなものです
Siriが「今晩のディナーについて
奥様から確認の電話がありました」と言います
12:33
So Siriシリ says言う, "Your wife calledと呼ばれる
to remind思い出させる you about dinnerディナー tonight今晩."
242
741627
4322
あなたはもちろん忘れています
「何のディナーだって?
12:38
And of courseコース, you've forgotten忘れた.
"What? What dinnerディナー?
243
746616
2508
12:41
What are you talking話す about?"
244
749148
1425
何の話をしているんだ?」
12:42
"Uh, your 20thth anniversary記念日 at 7pm午後."
245
750597
3746
「20周年のディナーですよ
夜7時の」
「無理だよ 7時半に
事務総長と会わなきゃならない
12:48
"I can't do that. I'm meeting会議
with the secretary-general事務総長 at 7:30.
246
756915
3719
どうして こんなことに
なったんだ?」
12:52
How could this have happened起こった?"
247
760658
1692
「警告は致しましたが
あなたは推奨案を無視されました」
12:54
"Well, I did warn警告する you, but you overrodeオーバーロード
my recommendation勧告."
248
762374
4660
「どうしたらいいんだ?
忙しくて行けないなんて言えないぞ」
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy忙しい."
249
768146
3328
「ご心配には及びません
事務総長の飛行機が遅れるように手配済みです」
13:04
"Don't worry心配. I arranged整えられた
for his plane飛行機 to be delayed遅延."
250
772490
3281
13:07
(Laughter笑い)
251
775795
1682
(笑)
「コンピューターに
細工しておきました」
13:10
"Some kind種類 of computerコンピューター malfunction故障."
252
778249
2101
13:12
(Laughter笑い)
253
780374
1212
(笑)
「えっ そんなことできるのか?」
13:13
"Really? You can do that?"
254
781610
1617
13:16
"He sendsセンド his profound深遠な apologies謝罪
255
784400
2179
「大変恐縮して
明日のランチでお会いするのを
楽しみにしている とのことです」
13:18
and looks外見 forward前進 to meeting会議 you
for lunchランチ tomorrow明日."
256
786603
2555
13:21
(Laughter笑い)
257
789182
1299
(笑)
13:22
So the values here --
there's a slightわずかな mistake間違い going on.
258
790505
4403
ここでは価値について
ちょっと行き違いが起きています
13:26
This is clearlyはっきりと following以下 my wife's妻の values
259
794932
3009
Siri は明らかに
妻の価値観に従っています
「妻の幸せが 夫の幸せ」です
13:29
whichどの is "Happyハッピー wife, happyハッピー life."
260
797965
2069
13:32
(Laughter笑い)
261
800058
1583
(笑)
別の方向に行くことも
あり得ます
13:33
It could go the other way.
262
801665
1444
忙しい仕事を終え 帰宅すると
コンピューターが言います
13:35
You could come home
after a hardハード day's日々 work,
263
803821
2201
13:38
and the computerコンピューター says言う, "Long day?"
264
806046
2195
「大変な1日だったようですね」
13:40
"Yes, I didn't even have time for lunchランチ."
265
808265
2288
「昼を食べる時間もなかったよ」
「お腹が空いたことでしょう」
13:42
"You must必須 be very hungry空腹."
266
810577
1282
13:43
"Starving飢えている, yeah.
Could you make some dinnerディナー?"
267
811883
2646
「ああ 腹ペコだよ
何か夕食を作ってもらえるかな?」
「そのことで お話ししなければ
ならないことがあります」
13:48
"There's something I need to tell you."
268
816070
2090
13:50
(Laughter笑い)
269
818184
1155
(笑)
13:52
"There are humans人間 in South Sudanスーダン
who are in more urgent緊急 need than you."
270
820193
4905
「南スーダンには あなたよりも
必要に迫られている人々がいます」
(笑)
13:57
(Laughter笑い)
271
825122
1104
「行くことに致しましたので
夕食はご自分で作ってください」
13:58
"So I'm leaving去る. Make your own自分の dinnerディナー."
272
826250
2075
14:00
(Laughter笑い)
273
828349
2000
(笑)
こういった問題を
解かなければなりません
14:02
So we have to solve解決する these problems問題,
274
830823
1739
14:04
and I'm looking forward前進
to workingワーキング on them.
275
832586
2515
そういう問題に取り組むのは
楽しみです
14:07
There are reasons理由 for optimism楽観.
276
835125
1843
楽観しているのには
理由があります
14:08
One reason理由 is,
277
836992
1159
1つには
14:10
there is a massive大規模 amount of dataデータ.
278
838175
1868
膨大なデータがあること
14:12
Because remember思い出す -- I said
they're going to read読む everything
279
840067
2794
思い出してください
機械は人類が書いたあらゆるものを
読むことになるでしょう
14:14
the human人間 raceレース has ever written書かれた.
280
842885
1546
人間の書いたものはたいがい
14:16
Most最も of what we write書きます about
is human人間 beings存在 doing things
281
844455
2724
誰かが何かをし
他の人がそれに腹を立てたというものです
14:19
and other people getting取得 upset動揺 about it.
282
847203
1914
14:21
So there's a massive大規模 amount
of dataデータ to learn学ぶ from.
283
849141
2398
学べるデータが膨大にあります
14:23
There's alsoまた、 a very
strong強い economic経済的 incentiveインセンティブ
284
851563
2236
また これを正しくやるための
強い経済的インセンティブが
存在します
14:27
to get this right.
285
855331
1186
家に家事ロボットがいると
想像してください
14:28
So imagine想像する your domestic国内の robot'sロボットの at home.
286
856541
2001
あなたはまた仕事で帰りが遅く
ロボットは子供達に食べさせなければなりません
14:30
You're late遅く from work again
and the robotロボット has to feedフィード the kids子供たち,
287
858566
3067
14:33
and the kids子供たち are hungry空腹
and there's nothing in the fridge冷蔵庫.
288
861657
2823
子供達はお腹を空かせていますが
冷蔵庫は空っぽです
14:36
And the robotロボット sees見える the catネコ.
289
864504
2605
そこでロボットは
猫に目を止めます
14:39
(Laughter笑い)
290
867133
1692
(笑)
14:40
And the robotロボット hasn't持っていない quiteかなり learned学んだ
the human人間 value function関数 properly正しく,
291
868849
4190
ロボットは人間の価値観を
ちゃんと学んでいないため
14:45
so it doesn't understandわかる
292
873063
1251
猫の持つ感情的価値が
14:46
the sentimentalセンチメンタル value of the catネコ outweighs重くなる
the nutritional栄養 value of the catネコ.
293
874338
4844
猫の栄養的価値を上回ることを
理解しません
(笑)
14:51
(Laughter笑い)
294
879206
1095
するとどうなるでしょう?
14:52
So then what happens起こる?
295
880325
1748
「狂ったロボット
子猫を料理して夕食に出す」
14:54
Well, it happens起こる like this:
296
882097
3297
14:57
"Deranged荒れ狂った robotロボット cooks料理人 kitty子猫
for family家族 dinnerディナー."
297
885418
2964
みたいな見出しを
見ることになります
15:00
That one incident入射 would be the end終わり
of the domestic国内の robotロボット industry業界.
298
888406
4523
このような出来事1つで
家事ロボット産業はお終いです
だから超知的な機械に到達する
ずっと以前に
15:04
So there's a huge巨大 incentiveインセンティブ
to get this right
299
892953
3372
この問題を正すよう
大きなインセンティブが働きます
15:08
long before we reachリーチ
superintelligent超知能 machines機械.
300
896349
2715
15:12
So to summarize要約する:
301
900128
1535
要約すると
15:13
I'm actually実際に trying試す to change変化する
the definition定義 of AIAI
302
901687
2881
私はAIの定義を変えて
人間のためになると証明可能な機械が
得られるよう試みています
15:16
so that we have provably確かに
beneficial有益 machines機械.
303
904592
2993
15:19
And the principles原則 are:
304
907609
1222
その原則は
機械は利他的であり
15:20
machines機械 that are altruistic利他的,
305
908855
1398
15:22
that want to achieve達成する only our objectives目的,
306
910277
2804
人間の目的のみを
達成しようとするが
その目的が何かは
確信を持たず
15:25
but that are uncertain不確実な
about what those objectives目的 are,
307
913105
3116
そしてすべての人間を
観察することで
15:28
and will watch all of us
308
916245
1998
15:30
to learn学ぶ more about what it is
that we really want.
309
918267
3203
我々の本当に望むことが何かを学ぶ
ということです
その過程で 人類がより良い者になる術を
学ぶことを望みます
15:34
And hopefullyうまくいけば in the processプロセス,
we will learn学ぶ to be better people.
310
922373
3559
ありがとうございました
15:37
Thank you very much.
311
925956
1191
15:39
(Applause拍手)
312
927171
3709
(拍手)
(クリス・アンダーソン) すごく興味深いね
スチュワート
15:42
Chrisクリス Andersonアンダーソン: So interesting面白い, Stuartスチュワート.
313
930904
1868
次のスピーカーのための
準備があるので
15:44
We're going to standスタンド here a bitビット
because I think they're setting設定 up
314
932796
3170
少しここで話しましょう
15:47
for our next speakerスピーカー.
315
935990
1151
質問があるんですが
15:49
A coupleカップル of questions質問.
316
937165
1538
15:50
So the ideaアイディア of programmingプログラミング in ignorance無知
seems思われる intuitively直感的に really powerful強力な.
317
938727
5453
「無知にプログラムする」というアイデアは
とても強力であるように思えます
超知的になったロボットが
文献を読んで
15:56
As you get to superintelligenceスーパーインテリジェンス,
318
944204
1594
15:57
what's going to stop a robotロボット
319
945822
2258
無知よりも知識がある方が
良いと気付き
16:00
reading読書 literature文献 and discovering発見する
this ideaアイディア that knowledge知識
320
948104
2852
自分の目的を変えて
プログラムを書き換えてしまう —
16:02
is actually実際に better than ignorance無知
321
950980
1572
そういうことに
ならないためには
16:04
and still just shiftingシフト its own自分の goalsゴール
and rewriting書き換え that programmingプログラミング?
322
952576
4218
どうすれば
良いのでしょう?
(スチュワート・ラッセル) 私たちはロボットに
16:09
Stuartスチュワート Russellラッセル: Yes, so we want
it to learn学ぶ more, as I said,
323
957692
6356
人間の目的をよく学んで
ほしいと思っています
16:16
about our objectives目的.
324
964072
1287
16:17
It'llそれは only become〜になる more certainある
as it becomes〜になる more correct正しい,
325
965383
5521
ロボットは より正しくなるほど
確信を強めます
手がかりはそこに
あるわけですから
16:22
so the evidence証拠 is there
326
970928
1945
それを正しく解釈するよう
デザインするのです
16:24
and it's going to be designed設計
to interpret解釈する it correctly正しく.
327
972897
2724
16:27
It will understandわかる, for example,
that books are very biased偏った
328
975645
3956
たとえば本の内容には
バイアスがあることを
理解するでしょう
16:31
in the evidence証拠 they contain含む.
329
979625
1483
王や王女や
エリートの白人男性がしたことばかり
16:33
They only talk about kings王様 and princes王子
330
981132
2397
16:35
and eliteエリート white male男性 people doing stuffもの.
331
983553
2800
書かれているといった風に
16:38
So it's a complicated複雑な problem問題,
332
986377
2096
だから複雑な問題ではありますが
16:40
but as it learns学ぶ more about our objectives目的
333
988497
3872
ロボットが我々の目的を
学べは学ぶほど
我々にとって
有用なものになるでしょう
16:44
it will become〜になる more and more useful有用 to us.
334
992393
2063
16:46
CACA: And you couldn'tできなかった
just boil煮る it down to one law法律,
335
994480
2526
(クリス) 1つの原則に
まとめられないんですか?
16:49
you know, hardwiredハードワイヤード in:
336
997030
1650
固定したプログラムとして
16:50
"if any human人間 ever tries試行する to switchスイッチ me off,
337
998704
3293
「人間がスイッチを切ろうとしたら
16:54
I comply遵守する. I comply遵守する."
338
1002021
1935
無条件に従う」みたいな
(スチュワート) それは駄目ですね
16:55
SRSR: Absolutely絶対に not.
339
1003980
1182
16:57
That would be a terribleひどい ideaアイディア.
340
1005186
1499
まずいアイデアです
自動運転車で
16:58
So imagine想像する that you have
a self-driving自己運転 car
341
1006709
2689
5歳の子を幼稚園に
送るところを
17:01
and you want to send送信する your five-year-old5歳
342
1009422
2433
考えてみてください
17:03
off to preschool幼稚園.
343
1011879
1174
車に1人で乗っている
5歳児が
17:05
Do you want your five-year-old5歳
to be ableできる to switchスイッチ off the car
344
1013077
3101
車のスイッチを切れるように
したいと思いますか?
17:08
while it's driving運転 along一緒に?
345
1016202
1213
違うでしょう
17:09
Probably多分 not.
346
1017439
1159
ロボットは その人間がどれほど理性的で
分別があるかを理解する必要があります
17:10
So it needsニーズ to understandわかる how rationalラショナル
and sensible感覚的 the person is.
347
1018622
4703
人間が理性的であるほど
17:15
The more rationalラショナル the person,
348
1023349
1676
スイッチを切らせる見込みは
高くなります
17:17
the more willing喜んで you are
to be switched切り替え off.
349
1025049
2103
まったくランダムな相手や
悪意ある人間に対しては
17:19
If the person is completely完全に
randomランダム or even malicious悪意のある,
350
1027176
2543
なかなかスイッチを切らせようとは
しないでしょう
17:21
then you're lessもっと少なく willing喜んで
to be switched切り替え off.
351
1029743
2512
17:24
CACA: All right. Stuartスチュワート, can I just say,
352
1032279
1866
(クリス) スチュワート
あなたが みんなのために
この問題を解決してくれることを切に望みます
17:26
I really, really hope希望 you
figure数字 this out for us.
353
1034169
2314
ありがとうございました
素晴らしいお話でした
17:28
Thank you so much for that talk.
That was amazing素晴らしい.
354
1036507
2375
(スチュワート) どうもありがとう
17:30
SRSR: Thank you.
355
1038906
1167
(拍手)
17:32
(Applause拍手)
356
1040097
1837
Translated by Yasushi Aoki
Reviewed by Yuko Yoshida

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com