English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2017

Stuart Russell: 3 principles for creating safer AI

スチュワート・ラッセル: 安全なAIのための3原則

Filmed
Views 1,177,195

超知的な人工知能(AI)の力を享受しながら、機械に支配される破滅的な未来を避けるというのは、どうしたらできるのでしょう? 全知の機械の到来が近づきつつある中、AIのパイオニアであるスチュワート・ラッセルが取り組んでいるのは少し違ったもの──確信のないロボットです。常識や利他性その他の深い人間的価値に基づいて問題解決をする「人間互換のAI」という彼のビジョンに耳を傾けましょう。

- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Thisこの is Leeリー Sedolセドル.
これは李世ドルです
00:12
Leeリー Sedolセドル is one1 of theその world's世界の
greatest最大 Go行く players選手,
李世ドルは 世界で最も強い
碁打ちの1人ですが
00:14
andそして he's彼は having持つ what myじぶんの friends友達
in Siliconシリコン Valley callコール
シリコンバレーの
友人たちなら
00:18
aa "Holy聖なる Cow" moment瞬間 ---
「なんてこった」と言う
瞬間を迎えています
00:21
(Laughter笑い)
(笑)
00:22
aa moment瞬間 whereどこで we我々 realize実現する
我々が予想していたよりも
ずっと早く
00:23
thatそれ AI is actually実際に progressing進行中
aa lotロット fasterもっと早く thanより we我々 expected期待される.
AIが進歩していることに
気付いた瞬間です
00:26
Soそう humans人間 have持ってる lost失われた on theその Go行く boardボード.
What about theその realリアル world世界?
人間は碁盤上で機械に負けましたが
実際の世の中ではどうでしょう?
00:30
Wellよく, theその realリアル world世界 is muchたくさん biggerより大きい,
実際の世界は
00:33
muchたくさん moreもっと complicated複雑な thanより theその Go行く boardボード.
碁盤よりもずっと大きく
ずっと複雑で
00:35
It'sそれは aa lotロット lessもっと少なく visible目に見える,
ずっと見通し難いですが
00:37
butだけど it'sそれは stillまだ aa decision決定 problem問題.
決定問題であることに
違いはありません
00:39
Andそして ifif we我々 think思う about some一部
of theその technologiesテクノロジー
到来しつつある
00:42
thatそれ are coming到来 downダウン theその pikeパイク ...
テクノロジーのことを考えるなら —
00:45
Norikoノリコ [Arai荒井] mentioned言及した thatそれ reading読書
is notない yetまだ happeningハプニング in machines機械,
機械は 本当に理解して文を読めるようには
まだなっていないことに
00:47
at〜で least少なくとも with〜と understanding理解.
新井紀子氏が
触れていましたが
00:52
Butだけど thatそれ will意志 happen起こる,
それもやがて
できるようになるでしょう
00:53
andそして whenいつ thatそれ happens起こる,
そして そうなったとき
00:55
very非常に soonすぐに afterwardsその後,
機械は人類がかつて書いた
すべてのものを
00:56
machines機械 will意志 have持ってる read読む everythingすべて
thatそれ theその human人間 raceレース has持っている everこれまで written書かれた.
速やかに読破することでしょう
00:58
Andそして thatそれ will意志 enable有効にする machines機械,
そうなると機械は
01:03
along一緒に with〜と theその ability能力 to look見える
furtherさらに ahead前方に thanより humans人間 canできる,
碁において見せた
01:05
asとして we've私たちは already既に seen見た in Go行く,
人間より遠くまで
見通す力と合わせ
01:08
ifif they彼ら alsoまた、 have持ってる accessアクセス
to moreもっと information情報,
より多くの情報に
触れられるようになることで
01:10
they'll彼らは be〜する ableできる to make作る betterより良い decisions決定
in theその realリアル world世界 thanより we我々 canできる.
実際の世の中でも 人間より優れた
判断ができるようになるでしょう
01:12
Soそう is thatそれ aa good良い thingもの?
それは良いこと
なのでしょうか?
01:18
Wellよく, I hope希望 soそう.
そうだと望みたいです
01:21
Our我々の entire全体 civilization文明,
everythingすべて thatそれ we我々 value,
我々の文明そのもの
我々が価値を置くすべては
01:26
is basedベース on our我々の intelligenceインテリジェンス.
我々の知性を
拠り所としています
01:29
Andそして ifif we我々 had持っていました accessアクセス
to aa lotロット moreもっと intelligenceインテリジェンス,
はるかに多くの知性が
使えるようになったなら
01:32
then次に there'sそこに really本当に noいいえ limit限界
to what theその human人間 raceレース canできる do行う.
人類に可能なことに
限界はないでしょう
01:35
Andそして I think思う thisこの couldできた be〜する,
asとして some一部 people have持ってる described記載された itそれ,
ある人々が言っているように
01:40
theその biggest最大 eventイベント in human人間 history歴史.
これは人類史上最大の出来事に
なるかもしれません
01:44
Soそう whyなぜ are people saying言って thingsもの like好きな thisこの,
ではなぜ「AIは人類の終焉を
意味するかもしれない」などと
01:48
thatそれ AI mightかもしれない spellスペル theその end終わり
of theその human人間 raceレース?
言われているのでしょう?
01:51
Is thisこの aa new新しい thingもの?
これは新しいこと
なのでしょうか?
01:55
Is itそれ justちょうど Elonエロン Muskムスク andそして Billビル Gatesゲート
andそして Stephenスティーブン Hawking鷹狩り?
ただイーロン・マスクと ビル・ゲイツと
ホーキングが言っているだけなのか?
01:57
Actually実際に, noいいえ. Thisこの ideaアイディア
has持っている beenされている aroundまわり forために aa whilewhile.
違います
この考えは結構前からありました
02:01
Here'sここにいる aa quotation引用:
ここに ある人の
言葉があります
02:05
"Even偶数 ifif we我々 couldできた keepキープ theその machines機械
in aa subservient従順な positionポジション,
「重大な瞬間にスイッチを切る
といったことによって
02:07
forために instanceインスタンス, by〜によって turning旋回 offオフ theその powerパワー
at〜で strategic戦略的 moments瞬間" ---
機械を 従属的な位置に
保てたとしても —
02:11
andそして I'll私はよ come来る backバック to thatそれ
"turning旋回 offオフ theその powerパワー" ideaアイディア later後で on ---
この “スイッチを切る” ことについては
後でまた戻ってきます —
02:14
"we我々 should〜すべき, asとして aa species,
feel感じる greatly大きく humbled謙虚な."
種としての我々は
謙虚に捉えるべきである」
02:17
Soそう who said前記 thisこの?
Thisこの is Alanアラン Turingチューリング in 1951.
誰の言葉でしょう? アラン・チューリングが
1951年に言ったことです
02:22
Alanアラン Turingチューリング, asとして you君は know知っている,
is theその fatherお父さん of computerコンピューター science科学
ご存じのように チューリングは
コンピューター科学の父であり
02:26
andそして in manyたくさんの ways方法,
theその fatherお父さん of AI asとして wellよく.
いろいろな意味で
AIの父でもあります
02:29
Soそう ifif we我々 think思う about thisこの problem問題,
この問題を考えてみると
02:33
theその problem問題 of creating作成 something何か
moreもっと intelligentインテリジェントな thanより yourきみの own自分の species,
つまり自分の種よりも知的なものを
生み出してしまうという問題ですが
02:35
we我々 mightかもしれない callコール thisこの "theその gorillaゴリラ problem問題,"
これは「ゴリラの問題」と呼んでも
良いかもしれません
02:38
becauseなぜなら gorillas'ゴリラ ' ancestors祖先 didした thisこの
aa few少数 million百万 years ago,
なぜなら数百万年前に
ゴリラの祖先がそうしているからで
02:42
andそして now we我々 canできる ask尋ねる theその gorillasゴリラ:
ゴリラたちに
尋ねることができます
02:46
Wasあった thisこの aa good良い ideaアイディア?
「いいアイデアだったと思う?」
02:48
Soそう hereここに they彼ら are having持つ aa meeting会議
to discuss話し合います whetherかどうか itそれ wasあった aa good良い ideaアイディア,
ゴリラたちが いいアイデアだったのか
議論するために 集まっていますが
02:49
andそして after aa little少し whilewhile,
they彼ら conclude結論づける, noいいえ,
しばらくして
出した結論は
02:53
thisこの wasあった aa terribleひどい ideaアイディア.
「あれは酷いアイデアだった」
というものです
02:56
Our我々の species is in dire恐ろしい straits海峡.
おかげで我々の種は
ひどい苦境に置かれていると
02:58
In fact事実, you君は canできる see見る theその existential存在
sadness悲しみ in their彼らの eyes.
彼らの目に実存的な悲哀を
見て取れるでしょう
03:00
(Laughter笑い)
(笑)
03:04
Soそう thisこの queasy不気味な feeling感じ thatそれ making作る
something何か smarterスマートな thanより yourきみの own自分の species
「自分の種より知的なものを
生み出すのは
03:06
is maybe多分 notない aa good良い ideaアイディア ---
良い考えではないのでは?」
という不安な感覚があります
03:11
what canできる we我々 do行う about thatそれ?
それについて
何ができるのでしょう?
03:14
Wellよく, really本当に nothing何も,
exceptを除いて stopやめる doingやっている AI,
AIの開発をやめてしまう以外
ないかもしれませんが
03:16
andそして becauseなぜなら of allすべて
theその benefits利点 thatそれ I mentioned言及した
AIのもたらす様々な利点や
03:20
andそして becauseなぜなら I'm私は an AI researcher研究者,
私自身AI研究者である
という理由によって
03:23
I'm私は notない having持つ thatそれ.
私にはそういう選択肢は
ありません
03:25
I actually実際に want欲しいです to be〜する ableできる
to keepキープ doingやっている AI.
実際AIは続けたいと
思っています
03:27
Soそう we我々 actually実際に need必要 to nailネイル downダウン
theその problem問題 aa bitビット moreもっと.
この問題をもう少し
明確にする必要があるでしょう
03:30
What exactly正確に is theその problem問題?
正確に何が問題なのか?
03:33
Whyなぜ is betterより良い AI possiblyおそらく aa catastrophe災害?
優れたAIが我々の破滅に繋がりうるのは
なぜなのか?
03:34
Soそう here'sここにいる another別の quotation引用:
ここにもう1つ
引用があります
03:39
"We我々 had持っていました betterより良い be〜する quiteかなり sure確かに
thatそれ theその purpose目的 put置く into theその machine機械
「機械に与える目的については
03:41
is theその purpose目的 whichどの we我々 really本当に desire慾望."
それが本当に望むものだと
確信があるものにする必要がある」
03:45
Thisこの wasあった said前記 by〜によって Norbertノルベルト Wienerウィナー in 1960,
これはノーバート・ウィーナーが
1960年に言ったことで
03:48
shortlyまもなく after he watched見た
one1 of theその very非常に early早い learning学習 systemsシステム
最初期の学習システムが
03:51
learn学ぶ to play遊びます checkersチェッカーズ
betterより良い thanより itsその creator創作者.
作り手よりもうまくチェッカーを
指すのを見た すぐ後のことです
03:55
Butだけど thisこの couldできた equally均等に have持ってる beenされている said前記
しかしこれはミダス王の
言葉だったとしても
04:00
by〜によって Kingキング Midasミダス.
おかしくないでしょう
04:03
Kingキング Midasミダス said前記, "I want欲しいです everythingすべて
I touchタッチ to turn順番 to goldゴールド,"
ミダス王は「自分の触れたものすべてが
金になってほしい」と望み
04:05
andそして he got持っている exactly正確に what he asked尋ねた forために.
そして その望みが
叶えられました
04:08
Thatそれ wasあった theその purpose目的
thatそれ he put置く into theその machine機械,
これはいわば
04:10
soそう to speak話す,
彼が「機械に与えた目的」です
04:13
andそして then次に his foodフード andそして his drinkドリンク
andそして his relatives親族 turned回した to goldゴールド
そして彼の食べ物や飲み物や親類は
みんな金に変わってしまい
04:14
andそして he died死亡しました in misery不幸 andそして starvation餓死.
彼は悲嘆と飢えの中で
死んでいきました
04:18
Soそう we'll私たちは callコール thisこの
"theその Kingキング Midasミダス problem問題"
だから自分が本当に望むことと合わない
目的を掲げることを
04:22
of stating述べる an objective目的
whichどの is notない, in fact事実,
「ミダス王の問題」と
04:24
truly真に aligned整列した with〜と what we我々 want欲しいです.
呼ぶことにしましょう
04:28
In modernモダン terms条項, we我々 callコール thisこの
"theその value alignmentアライメント problem問題."
現代的な用語では これを
「価値整合の問題」と言います
04:30
Puttingパッティング in theその wrong違う objective目的
is notない theその onlyのみ part of theその problem問題.
間違った目的を与えてしまうというのが
問題のすべてではありません
04:37
There'sそこに another別の part.
別の側面もあります
04:40
Ifif you君は put置く an objective目的 into aa machine機械,
「コーヒーを取ってくる」というような
04:42
even偶数 something何か asとして simple単純 asとして,
"Fetchフェッチ theその coffeeコーヒー,"
ごく単純な目的を
機械に与えたとします
04:44
theその machine機械 says言う to itself自体,
機械は考えます
04:47
"Wellよく, howどうやって mightかもしれない I fail失敗します
to fetchフェッチ theその coffeeコーヒー?
「コーヒーを取ってくるのに失敗する
どんな状況がありうるだろう?
04:50
Someone誰か mightかもしれない switchスイッチ me offオフ.
誰かが自分のスイッチを
切るかもしれない
04:53
OKOK, I have持ってる to take取る stepsステップ to prevent防ぐ thatそれ.
そのようなことを防止する
手を打たなければ
04:55
I will意志 disable無効にする myじぶんの 'off''オフ' switchスイッチ.
自分の「オフ」スイッチを
無効にしておこう
04:58
I will意志 do行う anything何でも to defend守る myself私自身
againstに対して interference干渉
与えられた目的の遂行を阻むものから
自分を守るためであれば
05:00
with〜と thisこの objective目的
thatそれ I have持ってる beenされている given与えられた."
何だってやろう」
05:03
Soそう thisこの single-minded一心 pursuit追求
1つの目的を
05:06
in aa very非常に defensive防御的 modeモード
of an objective目的 thatそれ is, in fact事実,
非常に防御的に
一途に追求すると
05:09
notない aligned整列した with〜と theその true真実 objectives目的
of theその human人間 raceレース ---
人類の本当の目的に
沿わなくなるというのが
05:12
that'sそれは theその problem問題 thatそれ we我々 face.
我々の直面する問題です
05:16
Andそして in fact事実, that'sそれは theその high-value高い価値
takeaway取り除く fromから thisこの talkトーク.
実際それが この講演から学べる
価値ある教訓です
05:19
Ifif you君は want欲しいです to remember思い出す one1 thingもの,
もし1つだけ覚えておくとしたら
それは —
05:23
it'sそれは thatそれ you君は can'tできない fetchフェッチ
theその coffeeコーヒー ifif you'reあなたは deadデッド.
「死んだらコーヒーを取ってこれない」
ということです
05:25
(Laughter笑い)
(笑)
05:28
It'sそれは very非常に simple単純. Justちょうど remember思い出す thatそれ.
Repeat繰り返す itそれ to yourselfあなた自身 three times aa day.
簡単でしょう
記憶して1日3回唱えてください
05:29
(Laughter笑い)
(笑)
05:33
Andそして in fact事実, thisこの is exactly正確に theその plotプロット
実際 映画『2001年宇宙の旅』の筋は
05:35
of "2001: [Aa Spaceスペース Odysseyオデッセイ]"
そういうものでした
05:38
HALハル has持っている an objective目的, aa missionミッション,
HALの目的・ミッションは
05:41
whichどの is notない aligned整列した
with〜と theその objectives目的 of theその humans人間,
人間の目的とは合わず
05:43
andそして thatそれ leadsリード to thisこの conflict紛争.
そのため衝突が起きます
05:47
Now fortunately幸いにも, HALハル
is notない superintelligent超知能.
幸いHALは非常に賢くはあっても
超知的ではありませんでした
05:49
He's彼は prettyかなり smartスマート,
butだけど eventually最終的に Daveデイブ outwits外出 him
それで最終的には
主人公が出し抜いて
05:52
andそして manages管理する to switchスイッチ him offオフ.
スイッチを切ることができました
05:56
Butだけど we我々 mightかもしれない notない be〜する soそう lucky幸運な.
でも私たちはそんなに幸運では
ないかもしれません
06:01
Soそう what are we我々 going行く to do行う?
では どうしたらいいのでしょう?
06:08
I'm私は trying試す to redefine再定義する AI
「知的に目的を追求する機械」という
06:12
to get取得する away離れて fromから thisこの classicalクラシック notion概念
古典的な見方から離れて
06:14
of machines機械 thatそれ intelligently知的に
pursue追求する objectives目的.
AIの再定義を試みようと思います
06:17
Thereそこ are three principles原則 involved関係する.
3つの原則があります
06:22
Theその first最初 one1 is aa principle原理
of altruism利他主義, ifif you君は like好きな,
第1は「利他性の原則」で
06:24
thatそれ theその robot'sロボットの onlyのみ objective目的
ロボットの唯一の目的は
06:27
is to maximize最大化する theその realization実現
of human人間 objectives目的,
人間の目的
人間にとって価値あることが
06:31
of human人間 values.
最大限に実現される
ようにすることです
06:35
Andそして by〜によって values hereここに I don'tしない mean平均
touchy-feelyかっこいい, goody-goodyおいしいお菓子 values.
ここで言う価値は
善人ぶった崇高そうな価値ではありません
06:36
I justちょうど mean平均 whateverなんでも itそれ is
thatそれ theその human人間 would〜する prefer好む
単に何であれ
06:40
their彼らの life生活 to be〜する like好きな.
人間が自分の生活に
望むものということです
06:43
Andそして soそう thisこの actually実際に violates違反する Asimov'sアシモフの law法律
この原則は
06:47
thatそれ theその robotロボット has持っている to protect保護する
itsその own自分の existence存在.
「ロボットは自己を守らなければならない」
というアシモフの原則に反します
06:49
Itそれ has持っている noいいえ interest利子 in preserving保存
itsその existence存在 whatsoever何でも.
自己の存在維持には
まったく関心を持たないのです
06:52
Theその second二番 law法律 is aa law法律
of humility謙虚, ifif you君は like好きな.
第2の原則は
言うなれば「謙虚の原則」です
06:57
Andそして thisこの turnsターン outでる to be〜する really本当に
important重要 to make作る robotsロボット safe安全.
これはロボットを安全なものにする上で
非常に重要であることがわかります
07:01
Itそれ says言う thatそれ theその robotロボット doesする notない know知っている
この原則は
07:05
what thoseそれら human人間 values are,
ロボットが人間の価値が何か
知らないものとしています
07:08
soそう itそれ has持っている to maximize最大化する themそれら,
butだけど itそれ doesn'tしない know知っている what they彼ら are.
ロボットは最大化すべきものが何か
知らないということです
07:10
Andそして thatそれ avoids回避する thisこの problem問題
of single-minded一心 pursuit追求
1つの目的を
一途に追求することの問題を
07:15
of an objective目的.
これで避けることができます
07:17
Thisこの uncertainty不確実性 turnsターン outでる to be〜する crucial重大な.
この不確定性が
極めて重要なのです
07:19
Now, in order注文 to be〜する useful有用 to us米国,
人間にとって有用であるためには
07:21
itそれ has持っている to have持ってる some一部 ideaアイディア of what we我々 want欲しいです.
我々が何を望むのかについて
大まかな理解は必要です
07:23
Itそれ obtains獲得する thatそれ information情報 primarily主に
by〜によって observation観察 of human人間 choices選択肢,
ロボットはその情報を主として
人間の選択を観察することで得ます
07:27
soそう our我々の own自分の choices選択肢 reveal明らかにする information情報
我々が自分の生活に望むのが
何かという情報が
07:32
about what itそれ is thatそれ we我々 prefer好む
our我々の lives人生 to be〜する like好きな.
我々のする選択を通して
明かされるわけです
07:35
Soそう thoseそれら are theその three principles原則.
以上が3つの原則です
07:40
Let'sさあ see見る howどうやって thatそれ applies適用する
to thisこの question質問 of:
これがチューリングの提起した
「機械のスイッチを切れるか」という問題に
07:42
"Canできる you君は switchスイッチ theその machine機械 offオフ?"
asとして Turingチューリング suggested示唆.
どう適用できるか
見てみましょう
07:44
Soそう here'sここにいる aa PRpr2 robotロボット.
これは PR2 ロボットです
07:49
Thisこの is one1 thatそれ we我々 have持ってる in our我々の lab研究室,
私たちの研究室にあるもので
07:51
andそして itそれ has持っている aa big大きい red "offオフ" switchスイッチ
right on theその backバック.
背中に大きな赤い
「オフ」スイッチがあります
07:53
Theその question質問 is: Is itそれ
going行く to let〜する you君は switchスイッチ itそれ offオフ?
問題は ロボットがスイッチを
切らせてくれるかということです
07:56
Ifif we我々 do行う itそれ theその classicalクラシック way方法,
古典的なやり方をするなら
07:59
we我々 give与える itそれ theその objective目的 of, "Fetchフェッチ
theその coffeeコーヒー, I must必須 fetchフェッチ theその coffeeコーヒー,
「コーヒーを取ってくる」
という目的に対し
08:00
I can'tできない fetchフェッチ theその coffeeコーヒー ifif I'm私は deadデッド,"
「コーヒーを取ってこなければならない」
「死んだらコーヒーを取ってこれない」と考え
08:04
soそう obviously明らかに theその PRpr2
has持っている beenされている listening聞いている to myじぶんの talkトーク,
私の講演を聴いていたPR2は
08:06
andそして soそう itそれ says言う, thereforeしたがって、,
"I must必須 disable無効にする myじぶんの 'off''オフ' switchスイッチ,
「オフ・スイッチは無効にしなければ」
と判断し
08:10
andそして probably多分 taserテーザー allすべて theその otherその他
people in Starbucksスターバックス
「スターバックスで邪魔になる
他の客はみんな
08:14
who mightかもしれない interfere干渉する with〜と me."
テーザー銃で眠らせよう」
となります
08:17
(Laughter笑い)
(笑)
08:19
Soそう thisこの seems思われる to be〜する inevitable必然的, right?
これは避けがたい
ように見えます
08:21
Thisこの kind種類 of failure失敗 modeモード
seems思われる to be〜する inevitable必然的,
このような故障モードは
不可避に見え
08:23
andそして itそれ follows続く fromから having持つ
aa concreteコンクリート, definite明確 objective目的.
そしてそれは具体的で絶対的な
目的があることから来ています
08:25
Soそう what happens起こる ifif theその machine機械
is uncertain不確実な about theその objective目的?
目的が何なのか機械に
確信がないとしたら どうなるでしょう?
08:30
Wellよく, itそれ reasons理由 in aa different異なる way方法.
違ったように推論するはずです
08:33
Itそれ says言う, "OKOK, theその human人間
mightかもしれない switchスイッチ me offオフ,
「人間は自分のスイッチを
切るかもしれないが
08:36
butだけど onlyのみ ifif I'm私は doingやっている something何か wrong違う.
それは自分が何か
悪いことをしたときだけだ
08:39
Wellよく, I don'tしない really本当に know知っている what wrong違う is,
悪いことが何か
よく分からないけど
08:41
butだけど I know知っている thatそれ I don'tしない want欲しいです to do行う itそれ."
悪いことはしたくない」
08:44
Soそう that'sそれは theその first最初 andそして second二番
principles原則 right thereそこ.
ここで 第1 および第2の原則が
効いています
08:46
"Soそう I should〜すべき let〜する theその human人間 switchスイッチ me offオフ."
「だからスイッチを切るのを
人間に許すべきだ」
08:49
Andそして in fact事実 you君は canできる calculate計算する
theその incentiveインセンティブ thatそれ theその robotロボット has持っている
実際ロボットが人間に
スイッチを切ることを許す
08:53
to allow許す theその human人間 to switchスイッチ itそれ offオフ,
インセンティブを
計算することができ
08:57
andそして it'sそれは directly直接 tied結ばれた to theその degree
それは目的の不確かさの度合いと
09:00
of uncertainty不確実性 about
theその underlying根底にある objective目的.
直接的に結びついています
09:02
Andそして then次に whenいつ theその machine機械 is switched切り替え offオフ,
機械のスイッチが切られると
09:05
thatそれ third三番 principle原理 comes来る into play遊びます.
第3の原則が働いて
09:08
Itそれ learns学ぶ something何か about theその objectives目的
itそれ should〜すべき be〜する pursuing追求,
追求すべき目的について
何かを学びます
09:10
becauseなぜなら itそれ learns学ぶ thatそれ
what itそれ didした wasn'tなかった right.
自分の間違った行いから
学ぶのです
09:13
In fact事実, we我々 canできる, with〜と suitable適切な useつかいます
of Greekギリシャ語 symbolsシンボル,
数学者がよくやるように
09:16
asとして mathematicians数学者 usually通常 do行う,
ギリシャ文字をうまく使って
09:20
we我々 canできる actually実際に prove証明する aa theorem定理
そのようなロボットが
人間にとって有益であるという定理を
09:22
thatそれ says言う thatそれ suchそのような aa robotロボット
is provably確かに beneficial有益 to theその human人間.
証明することができます
09:24
You君は are provably確かに betterより良い offオフ
with〜と aa machine機械 that'sそれは designed設計 in thisこの way方法
そのようにデザインされた機械の方が
そうでないものより良い結果になると
09:27
thanより withoutなし itそれ.
証明可能なのです
09:31
Soそう thisこの is aa very非常に simple単純 example,
butだけど thisこの is theその first最初 stepステップ
これは単純な例ですが
09:33
in what we're私たちは trying試す to do行う
with〜と human-compatible人間と互換性のある AI.
人間互換のAIを手にするための
第一歩です
09:36
Now, thisこの third三番 principle原理,
3番目の原則については
09:42
I think思う is theその one1 thatそれ you'reあなたは probably多分
scratching引っ掻く yourきみの head over以上.
皆さん困惑しているのでは
と思います
09:45
You'reあなたは probably多分 thinking考え, "Wellよく,
you君は know知っている, I behave行動する badlyひどく.
「自分の行動は
見上げたものではない
09:49
I don'tしない want欲しいです myじぶんの robotロボット to behave行動する like好きな me.
ロボットに自分のように
振る舞って欲しくはない
09:52
I sneakこっそりした downダウン in theその middle中間 of theその night
andそして take取る stuffもの fromから theその fridge冷蔵庫.
真夜中にこっそり台所に行って
冷蔵庫から食べ物を失敬したり
09:55
I do行う thisこの andそして thatそれ."
あんなことや こんなことを
しているから」
09:58
There'sそこに allすべて kinds種類 of thingsもの
you君は don'tしない want欲しいです theその robotロボット doingやっている.
ロボットにしてほしくない
様々なことがあります
09:59
Butだけど in fact事実, itそれ doesn'tしない
quiteかなり work作業 thatそれ way方法.
でも実際そういう風に
働くわけではありません
10:02
Justちょうど becauseなぜなら you君は behave行動する badlyひどく
自分がまずい振る舞いをしたら
10:04
doesn'tしない mean平均 theその robotロボット
is going行く to copyコピー yourきみの behavior動作.
ロボットがそれを真似する
というわけではありません
10:07
It'sそれは going行く to understandわかる yourきみの motivations動機
andそして maybe多分 help助けて you君は resistレジスト themそれら,
人がそのようにする
動機を理解して
10:09
ifif appropriate適切な.
誘惑に抵抗する手助けさえ
してくれるかもしれません
10:13
Butだけど it'sそれは stillまだ difficult難しい.
それでも難しいです
10:16
What we're私たちは trying試す to do行う, in fact事実,
私たちがやろうとしているのは
10:18
is to allow許す machines機械 to predict予測する
forために anyどれか person andそして forために anyどれか possible可能 life生活
あらゆる状況にある
10:20
thatそれ they彼ら couldできた liveライブ,
あらゆる人のことを
10:26
andそして theその lives人生 of everybodyみんな elseelse:
機械に予測させる
ということです
10:27
Whichどの would〜する they彼ら prefer好む?
その人たちは
どちらを好むのか?
10:29
Andそして thereそこ are manyたくさんの, manyたくさんの
difficulties困難 involved関係する in doingやっている thisこの;
これには難しいことが
たくさんあって
10:34
I don'tしない expect期待する thatそれ thisこの
is going行く to get取得する solved解決した very非常に quickly早く.
ごく速やかに解決されるだろうとは
思っていません
10:37
Theその realリアル difficulties困難, in fact事実, are us米国.
本当に難しい部分は
私たちにあります
10:39
Asとして I have持ってる already既に mentioned言及した,
we我々 behave行動する badlyひどく.
言いましたように 私たちは
まずい振る舞いをします
10:44
In fact事実, some一部 of us米国 are downright完全に nasty不快な.
人によっては
悪質でさえあります
10:47
Now theその robotロボット, asとして I said前記,
doesn'tしない have持ってる to copyコピー theその behavior動作.
しかしロボットは人間の振るまいを
真似する必要はありません
10:50
Theその robotロボット doesする notない have持ってる
anyどれか objective目的 of itsその own自分の.
ロボットは それ自身の目的
というのを持ちません
10:53
It'sそれは purely純粋に altruistic利他的.
純粋に利他的です
10:56
Andそして it'sそれは notない designed設計 justちょうど to satisfy満たす
theその desires願望 of one1 person, theその userユーザー,
そして1人の人間の望みだけ
満たそうとするのではなく
10:59
butだけど in fact事実 itそれ has持っている to respect尊敬
theその preferencesプリファレンス of everybodyみんな.
みんなの好みに敬意を払うよう
デザインされています
11:04
Soそう itそれ canできる deal対処 with〜と aa certainある
amount of nastiness不幸,
だからある程度
悪いことも扱え
11:09
andそして itそれ canできる even偶数 understandわかる
thatそれ yourきみの nastiness不幸, forために example,
人間の悪い面も
理解できます
11:11
you君は mayかもしれない take取る bribes賄賂 asとして aa passportパスポート official公式
例えば入国審査官が
賄賂を受け取っているけれど
11:15
becauseなぜなら you君は need必要 to feedフィード yourきみの family家族
andそして send送信する yourきみの kids子供たち to school学校.
それは家族を食べさせ
子供を学校に行かせるためなのだとか
11:18
Itそれ canできる understandわかる thatそれ;
itそれ doesn'tしない mean平均 it'sそれは going行く to stealスチール.
ロボットはそれを理解できますが
そのために盗みをするわけではありません
11:22
In fact事実, it'llそれはよ justちょうど help助けて you君は
send送信する yourきみの kids子供たち to school学校.
ただ子供が学校に行けるよう
手助けをするだけです
11:25
We我々 are alsoまた、 computationally計算上 limited限られた.
また人間は計算能力の点で
限界があります
11:28
Leeリー Sedolセドル is aa brilliantブリリアント Go行く playerプレーヤー,
李世ドルは
素晴らしい碁打ちですが
11:32
butだけど he stillまだ lost失われた.
それでも負けました
11:34
Soそう ifif we我々 look見える at〜で his actions行動,
he took取った an actionアクション thatそれ lost失われた theその gameゲーム.
彼の行動を見れば 勝負に負けることになる
手を打ったのが分かるでしょう
11:35
Thatそれ doesn'tしない mean平均 he wanted欲しい to lose失う.
しかしそれは 彼が負けを
望んだことを意味しません
11:40
Soそう to understandわかる his behavior動作,
彼の行動を理解するためには
11:43
we我々 actually実際に have持ってる to invert反転
throughを通して aa modelモデル of human人間 cognition認知
人の認知モデルを
逆にたどる必要がありますが
11:45
thatそれ includes含む our我々の computational計算上の
limitations限界 --- aa very非常に complicated複雑な modelモデル.
それは計算能力の限界も含む
とても複雑なモデルです
11:49
Butだけど it'sそれは stillまだ something何か
thatそれ we我々 canできる work作業 on understanding理解.
それでも私たちが理解すべく
取り組めるものではあります
11:54
Probably多分 theその most最も difficult難しい part,
fromから myじぶんの pointポイント of view見る asとして an AI researcher研究者,
AI研究者として見たとき
最も難しいと思える部分は
11:57
is theその fact事実 thatそれ thereそこ are lotsロット of us米国,
私たち人間が
沢山いるということです
12:02
andそして soそう theその machine機械 has持っている to somehow何とか
tradeトレード offオフ, weigh体重を計る upアップ theその preferencesプリファレンス
だから機械は
トレードオフを考え
12:06
of manyたくさんの different異なる people,
沢山の異なる人間の好みを
比較考量する必要があり
12:09
andそして thereそこ are different異なる ways方法 to do行う thatそれ.
それには いろいろな
やり方があります
12:12
Economistsエコノミスト, sociologists社会学者,
moral道徳 philosophers哲学者 have持ってる understood理解された thatそれ,
経済学者 社会学者 倫理学者は
そういうことを分かっており
12:14
andそして we我々 are actively積極的に
looking探している forために collaborationコラボレーション.
私たちは協同の道を
探っています
12:17
Let'sさあ have持ってる aa look見える andそして see見る what happens起こる
whenいつ you君は get取得する thatそれ wrong違う.
そこをうまくやらないと
どうなるか見てみましょう
12:20
Soそう you君は canできる have持ってる
aa conversation会話, forために example,
たとえばこんな会話を
考えてみます
12:23
with〜と yourきみの intelligentインテリジェントな personal個人的 assistantアシスタント
知的な秘書AIが
12:25
thatそれ mightかもしれない be〜する available利用可能な
in aa few少数 years' time時間.
数年内に利用可能に
なるかもしれません
12:27
Think思う of aa Siriシリ on steroidsステロイド.
強化されたSiriのようなものです
12:29
Soそう Siriシリ says言う, "Yourきみの wife calledと呼ばれる
to remind思い出させる you君は about dinnerディナー tonight今晩."
Siriが「今晩のディナーについて
奥様から確認の電話がありました」と言います
12:33
Andそして of courseコース, you'veあなたは forgotten忘れた.
"What? What dinnerディナー?
あなたはもちろん忘れています
「何のディナーだって?
12:38
What are you君は talking話す about?"
何の話をしているんだ?」
12:41
"Uhああ, yourきみの 20thth anniversary記念日 at〜で 7pm午後."
「20周年のディナーですよ
夜7時の」
12:42
"I can'tできない do行う thatそれ. I'm私は meeting会議
with〜と theその secretary-general事務総長 at〜で 7:30.
「無理だよ 7時半に
事務総長と会わなきゃならない
12:48
Howどうやって couldできた thisこの have持ってる happened起こった?"
どうして こんなことに
なったんだ?」
12:52
"Wellよく, I didした warn警告する you君は, butだけど you君は overrodeオーバーロード
myじぶんの recommendation勧告."
「警告は致しましたが
あなたは推奨案を無視されました」
12:54
"Wellよく, what am午前 I going行く to do行う?
I can'tできない justちょうど telltell him I'm私は tooあまりにも busy忙しい."
「どうしたらいいんだ?
忙しくて行けないなんて言えないぞ」
13:00
"Don'tしない worry心配. I arranged整えられた
forために his plane飛行機 to be〜する delayed遅延."
「ご心配には及びません
事務総長の飛行機が遅れるように手配済みです」
13:04
(Laughter笑い)
(笑)
13:07
"Some一部 kind種類 of computerコンピューター malfunction故障."
「コンピューターに
細工しておきました」
13:10
(Laughter笑い)
(笑)
13:12
"Really本当に? You君は canできる do行う thatそれ?"
「えっ そんなことできるのか?」
13:13
"He sendsセンド his profound深遠な apologies謝罪
「大変恐縮して
13:16
andそして looks外見 forward前進 to meeting会議 you君は
forために lunchランチ tomorrow明日."
明日のランチでお会いするのを
楽しみにしている とのことです」
13:18
(Laughter笑い)
(笑)
13:21
Soそう theその values hereここに ---
there'sそこに aa slightわずかな mistake間違い going行く on.
ここでは価値について
ちょっと行き違いが起きています
13:22
Thisこの is clearlyはっきりと following以下 myじぶんの wife's妻の values
Siri は明らかに
妻の価値観に従っています
13:26
whichどの is "Happyハッピー wife, happyハッピー life生活."
「妻の幸せが 夫の幸せ」です
13:29
(Laughter笑い)
(笑)
13:32
Itそれ couldできた go行く theその otherその他 way方法.
別の方向に行くことも
あり得ます
13:33
You君は couldできた come来る home自宅
after aa hardハード day's日々 work作業,
忙しい仕事を終え 帰宅すると
コンピューターが言います
13:35
andそして theその computerコンピューター says言う, "Long長いです day?"
「大変な1日だったようですね」
13:38
"Yesはい, I didn'tしなかった even偶数 have持ってる time時間 forために lunchランチ."
「昼を食べる時間もなかったよ」
13:40
"You君は must必須 be〜する very非常に hungry空腹."
「お腹が空いたことでしょう」
13:42
"Starving飢えている, yeahええ.
Couldできた you君は make作る some一部 dinnerディナー?"
「ああ 腹ペコだよ
何か夕食を作ってもらえるかな?」
13:43
"There'sそこに something何か I need必要 to telltell you君は."
「そのことで お話ししなければ
ならないことがあります」
13:48
(Laughter笑い)
(笑)
13:50
"Thereそこ are humans人間 in South Sudanスーダン
who are in moreもっと urgent緊急 need必要 thanより you君は."
「南スーダンには あなたよりも
必要に迫られている人々がいます」
13:52
(Laughter笑い)
(笑)
13:57
"Soそう I'm私は leaving去る. Make作る yourきみの own自分の dinnerディナー."
「行くことに致しましたので
夕食はご自分で作ってください」
13:58
(Laughter笑い)
(笑)
14:00
Soそう we我々 have持ってる to solve解決する theseこれら problems問題,
こういった問題を
解かなければなりません
14:02
andそして I'm私は looking探している forward前進
to workingワーキング on themそれら.
そういう問題に取り組むのは
楽しみです
14:04
Thereそこ are reasons理由 forために optimism楽観.
楽観しているのには
理由があります
14:07
One1 reason理由 is,
1つには
14:08
thereそこ is aa massive大規模 amount of dataデータ.
膨大なデータがあること
14:10
Becauseなぜなら remember思い出す --- I said前記
they're彼らは going行く to read読む everythingすべて
思い出してください
14:12
theその human人間 raceレース has持っている everこれまで written書かれた.
機械は人類が書いたあらゆるものを
読むことになるでしょう
14:14
Most最も of what we我々 write書きます about
is human人間 beings存在 doingやっている thingsもの
人間の書いたものはたいがい
14:16
andそして otherその他 people getting取得 upset動揺 about itそれ.
誰かが何かをし
他の人がそれに腹を立てたというものです
14:19
Soそう there'sそこに aa massive大規模 amount
of dataデータ to learn学ぶ fromから.
学べるデータが膨大にあります
14:21
There'sそこに alsoまた、 aa very非常に
strong強い economic経済的 incentiveインセンティブ
また これを正しくやるための
14:23
to get取得する thisこの right.
強い経済的インセンティブが
存在します
14:27
Soそう imagine想像する yourきみの domestic国内の robot'sロボットの at〜で home自宅.
家に家事ロボットがいると
想像してください
14:28
You'reあなたは late遅く fromから work作業 again再び
andそして theその robotロボット has持っている to feedフィード theその kids子供たち,
あなたはまた仕事で帰りが遅く
ロボットは子供達に食べさせなければなりません
14:30
andそして theその kids子供たち are hungry空腹
andそして there'sそこに nothing何も in theその fridge冷蔵庫.
子供達はお腹を空かせていますが
冷蔵庫は空っぽです
14:33
Andそして theその robotロボット sees見える theその catネコ.
そこでロボットは
猫に目を止めます
14:36
(Laughter笑い)
(笑)
14:39
Andそして theその robotロボット hasn't持っていない quiteかなり learned学んだ
theその human人間 value function関数 properly正しく,
ロボットは人間の価値観を
ちゃんと学んでいないため
14:40
soそう itそれ doesn'tしない understandわかる
猫の持つ感情的価値が
14:45
theその sentimentalセンチメンタル value of theその catネコ outweighs重くなる
theその nutritional栄養 value of theその catネコ.
猫の栄養的価値を上回ることを
理解しません
14:46
(Laughter笑い)
(笑)
14:51
Soそう then次に what happens起こる?
するとどうなるでしょう?
14:52
Wellよく, itそれ happens起こる like好きな thisこの:
「狂ったロボット
子猫を料理して夕食に出す」
14:54
"Deranged混乱した robotロボット cooks料理人 kitty子猫
forために family家族 dinnerディナー."
みたいな見出しを
見ることになります
14:57
Thatそれ one1 incident入射 would〜する be〜する theその end終わり
of theその domestic国内の robotロボット industry業界.
このような出来事1つで
家事ロボット産業はお終いです
15:00
Soそう there'sそこに aa huge巨大 incentiveインセンティブ
to get取得する thisこの right
だから超知的な機械に到達する
ずっと以前に
15:04
long長いです before we我々 reachリーチ
superintelligent超知能 machines機械.
この問題を正すよう
大きなインセンティブが働きます
15:08
Soそう to summarize要約する:
要約すると
15:12
I'm私は actually実際に trying試す to change変化する
theその definition定義 of AI
私はAIの定義を変えて
15:13
soそう thatそれ we我々 have持ってる provably確かに
beneficial有益 machines機械.
人間のためになると証明可能な機械が
得られるよう試みています
15:16
Andそして theその principles原則 are:
その原則は
15:19
machines機械 thatそれ are altruistic利他的,
機械は利他的であり
15:20
thatそれ want欲しいです to achieve達成する onlyのみ our我々の objectives目的,
人間の目的のみを
達成しようとするが
15:22
butだけど thatそれ are uncertain不確実な
about what thoseそれら objectives目的 are,
その目的が何かは
確信を持たず
15:25
andそして will意志 watch時計 allすべて of us米国
そしてすべての人間を
観察することで
15:28
to learn学ぶ moreもっと about what itそれ is
thatそれ we我々 really本当に want欲しいです.
我々の本当に望むことが何かを学ぶ
ということです
15:30
Andそして hopefullyうまくいけば in theその processプロセス,
we我々 will意志 learn学ぶ to be〜する betterより良い people.
その過程で 人類がより良い者になる術を
学ぶことを望みます
15:34
Thank感謝 you君は very非常に muchたくさん.
ありがとうございました
15:37
(Applause拍手)
(拍手)
15:39
Chrisクリス Andersonアンダーソン: Soそう interesting面白い, Stuartスチュアート.
(クリス・アンダーソン) すごく興味深いね
スチュワート
15:42
We're私たちは going行く to standスタンド hereここに aa bitビット
becauseなぜなら I think思う they're彼らは setting設定 upアップ
次のスピーカーのための
準備があるので
15:44
forために our我々の next speakerスピーカー.
少しここで話しましょう
15:47
Aa coupleカップル of questions質問.
質問があるんですが
15:49
Soそう theその ideaアイディア of programmingプログラミング in ignorance無知
seems思われる intuitively直感的に really本当に powerful強力な.
「無知にプログラムする」というアイデアは
とても強力であるように思えます
15:50
Asとして you君は get取得する to superintelligenceスーパーインテリジェンス,
超知的になったロボットが
文献を読んで
15:56
what's何ですか going行く to stopやめる aa robotロボット
無知よりも知識がある方が
良いと気付き
15:57
reading読書 literature文献 andそして discovering発見する
thisこの ideaアイディア thatそれ knowledge知識
自分の目的を変えて
プログラムを書き換えてしまう —
16:00
is actually実際に betterより良い thanより ignorance無知
そういうことに
ならないためには
16:02
andそして stillまだ justちょうど shiftingシフト itsその own自分の goalsゴール
andそして rewriting書き換え thatそれ programmingプログラミング?
どうすれば
良いのでしょう?
16:04
Stuartスチュアート Russellラッセル: Yesはい, soそう we我々 want欲しいです
itそれ to learn学ぶ moreもっと, asとして I said前記,
(スチュワート・ラッセル) 私たちはロボットに
16:09
about our我々の objectives目的.
人間の目的をよく学んで
ほしいと思っています
16:16
It'llそれはよ onlyのみ become〜になる moreもっと certainある
asとして itそれ becomes〜になる moreもっと correct正しい,
ロボットは より正しくなるほど
確信を強めます
16:17
soそう theその evidence証拠 is thereそこ
手がかりはそこに
あるわけですから
16:22
andそして it'sそれは going行く to be〜する designed設計
to interpret解釈する itそれ correctly正しく.
それを正しく解釈するよう
デザインするのです
16:24
Itそれ will意志 understandわかる, forために example,
thatそれ books are very非常に biased偏った
たとえば本の内容には
16:27
in theその evidence証拠 they彼ら contain含む.
バイアスがあることを
理解するでしょう
16:31
They彼ら onlyのみ talkトーク about kings王様 andそして princes王子
王や王女や
エリートの白人男性がしたことばかり
16:33
andそして eliteエリート white male男性 people doingやっている stuffもの.
書かれているといった風に
16:35
Soそう it'sそれは aa complicated複雑な problem問題,
だから複雑な問題ではありますが
16:38
butだけど asとして itそれ learns学ぶ moreもっと about our我々の objectives目的
ロボットが我々の目的を
学べは学ぶほど
16:40
itそれ will意志 become〜になる moreもっと andそして moreもっと useful有用 to us米国.
我々にとって
有用なものになるでしょう
16:44
CAca: Andそして you君は couldn'tできなかった
justちょうど boil煮る itそれ downダウン to one1 law法律,
(クリス) 1つの原則に
まとめられないんですか?
16:46
you君は know知っている, hardwiredハードワイヤード in:
固定したプログラムとして
16:49
"ifif anyどれか human人間 everこれまで tries試行する to switchスイッチ me offオフ,
「人間がスイッチを切ろうとしたら
16:50
I comply遵守する. I comply遵守する."
無条件に従う」みたいな
16:54
SRsr: Absolutely絶対に notない.
(スチュワート) それは駄目ですね
16:55
Thatそれ would〜する be〜する aa terribleひどい ideaアイディア.
まずいアイデアです
16:57
Soそう imagine想像する thatそれ you君は have持ってる
aa self-driving自己運転 car
自動運転車で
16:58
andそして you君は want欲しいです to send送信する yourきみの five-year-old5歳
5歳の子を幼稚園に
送るところを
17:01
offオフ to preschool幼稚園.
考えてみてください
17:03
Do行う you君は want欲しいです yourきみの five-year-old5歳
to be〜する ableできる to switchスイッチ offオフ theその car
車に1人で乗っている
5歳児が
17:05
whilewhile it'sそれは driving運転 along一緒に?
車のスイッチを切れるように
したいと思いますか?
17:08
Probably多分 notない.
違うでしょう
17:09
Soそう itそれ needsニーズ to understandわかる howどうやって rationalラショナル
andそして sensible感覚的 theその person is.
ロボットは その人間がどれほど理性的で
分別があるかを理解する必要があります
17:10
Theその moreもっと rationalラショナル theその person,
人間が理性的であるほど
17:15
theその moreもっと willing喜んで you君は are
to be〜する switched切り替え offオフ.
スイッチを切らせる見込みは
高くなります
17:17
Ifif theその person is completely完全に
randomランダム orまたは even偶数 malicious悪意のある,
まったくランダムな相手や
悪意ある人間に対しては
17:19
then次に you'reあなたは lessもっと少なく willing喜んで
to be〜する switched切り替え offオフ.
なかなかスイッチを切らせようとは
しないでしょう
17:21
CAca: Allすべて right. Stuartスチュアート, canできる I justちょうど sayいう,
(クリス) スチュワート
17:24
I really本当に, really本当に hope希望 you君は
figure数字 thisこの outでる forために us米国.
あなたが みんなのために
この問題を解決してくれることを切に望みます
17:26
Thank感謝 you君は soそう muchたくさん forために thatそれ talkトーク.
Thatそれ wasあった amazing素晴らしい.
ありがとうございました
素晴らしいお話でした
17:28
SRsr: Thank感謝 you君は.
(スチュワート) どうもありがとう
17:30
(Applause拍手)
(拍手)
17:32
Translated by Yasushi Aoki
Reviewed by Yuko Yoshida

▲Back to top

About the speaker:

Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com