ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

استوارت راسل: چگونه هوش مصنوعی ما را تبدیل به مردمانی بهتر می‌کند

Filmed:
1,465,832 views

چگونه میتوانیم قدرت هوش مصنوعی بسیار هوشمند را مهار کنیم در حالی که از فاجعه گرفتن کنترل اوضاع توسط ربات‌ها جلوگیری کنیم؟ همانطور که به ساخت ماشین‌هایی که همه چیز را می‌دانند نزدیکتر می‌شویم، استورات راسل یکی از پیشگامان هوش‌ مصنوعی در حال کار بر روی چیزی متفاوت است: ربات‌هایی با عدم قطعیت. چشم انداز او را بشنوید، برای هوش مصنوعی با قابلیت سازش با انسان را که می‌تواند مسائل را با استفاده حس مشترک، نوع دوستی و سایر ارزش‌های انسانی حل کند.
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

00:12
This is Leeلی Sedolسدول.
0
712
1552
این لی سادل هست.
00:14
Leeلی Sedolسدول is one of the world'sجهان
greatestبزرگترین Go playersبازیکنان,
1
2288
3997
لی سادل یکی از بزرگترین
بازیکن های Go (یک بازی فکری)در جهان هست.
00:18
and he's havingداشتن what my friendsدوستان
in Siliconسیلیکون Valleyدره call
2
6309
2885
و در حال تجربه لحظه‌ای هست
که دوستان من در سیلیکون ولی
00:21
a "Holyمقدس Cowگاو" momentلحظه --
3
9218
1510
بهش میگن لحظه "یا پیغمبر!"
00:22
(Laughterخنده)
4
10752
1073
(خنده حاضرین)
00:23
a momentلحظه where we realizeتحقق بخشیدن
5
11849
2188
لحظه‌ای که م‌ف‌همیم
00:26
that AIAI is actuallyدر واقع progressingپیشرفت
a lot fasterسریعتر than we expectedانتظار می رود.
6
14061
3296
هوش مصنوعی واقعا داره سریعتر از چیزی که
انتظارشو داشتیم پیشرفت میکنه.
00:30
So humansانسان have lostکم شده on the Go boardهیئت مدیره.
What about the realواقعی worldجهان?
7
18154
3047
پس، انسان‌ها روی تخته Go باخته‌‌اند.
در دنیای واقعی چطور؟
00:33
Well, the realواقعی worldجهان is much biggerبزرگتر,
8
21225
2100
باید بگم که دنیای واقعی خیلی بزرگتر
00:35
much more complicatedبغرنج than the Go boardهیئت مدیره.
9
23349
2249
و بسیار بسیار پیچیده‌تر
از تخته بازی Go هست.
00:37
It's a lot lessکمتر visibleقابل رویت,
10
25622
1819
(دنیای واقعی) خیلی نامرئی‌تر هست،
00:39
but it's still a decisionتصمیم گیری problemمسئله.
11
27465
2038
ولی همچنان مساله تصمیم گیری هست.
00:42
And if we think about some
of the technologiesفن آوری ها
12
30948
2321
و اگر درباره برخی از تکنولوژی‌ها فکر کنیم
00:45
that are comingآینده down the pikeتپه ...
13
33293
1749
که در حال ظهور هستند...
00:47
Norikoنوریکو [AraiArai] mentionedذکر شده that readingخواندن
is not yetهنوز happeningاتفاق می افتد in machinesماشین آلات,
14
35738
4335
[Noriko [Arai اشاره کرده است که
توانایی خواندن هنوز در ماشین‌ها وجود ندارد،
00:52
at leastکمترین with understandingدرك كردن.
15
40097
1500
حداقل همراه با فهمیدن نیست.
00:53
But that will happenبه وقوع پیوستن,
16
41621
1536
ولی این اتفاق خواهد افتاد.
00:55
and when that happensاتفاق می افتد,
17
43181
1771
و وقتی که به وقوع بپیوندد،
00:56
very soonبه زودی afterwardsپس از آن,
18
44976
1187
پس از آن، خیلی زود
00:58
machinesماشین آلات will have readخواندن everything
that the humanانسان raceنژاد has ever writtenنوشته شده است.
19
46187
4572
ماشین‌ها تمام آن‌چه را که
بشر نوشته است، خواهند خواند.
01:03
And that will enableفعال کردن machinesماشین آلات,
20
51850
2030
و این ماشین‌ها را قادر می‌سازد
01:05
alongدر امتداد with the abilityتوانایی to look
furtherبیشتر aheadدر پیش than humansانسان can,
21
53904
2920
که فراتر از انسان‌ها به آینده نگاه کنند،
01:08
as we'veما هستیم alreadyقبلا seenمشاهده گردید in Go,
22
56848
1680
همانطور که قبلاً در ‌Go دیده‌ایم،
01:10
if they alsoهمچنین have accessدسترسی به
to more informationاطلاعات,
23
58552
2164
اگر ماشین‌ها به اطلاعات بیشتری
دسترسی داشته باشند،
01:12
they'llآنها خواهند شد be ableتوانایی to make better decisionsتصمیمات
in the realواقعی worldجهان than we can.
24
60740
4268
می‌توانند تصمیمات بهتری
در جهان واقعی نسبت به ما بگیرند.
01:18
So is that a good thing?
25
66792
1606
آیا این یک اتفاق خوب است؟
01:21
Well, I hopeامید so.
26
69898
2232
خب، امیدوارم که باشه.
01:26
Our entireکل civilizationتمدن,
everything that we valueارزش,
27
74694
3255
تمام تمدن ما،
هر چیزی که برایش ارزش قائل هستیم،
01:29
is basedمستقر on our intelligenceهوش.
28
77973
2068
بر پایه هوشمندی ما است.
01:32
And if we had accessدسترسی به
to a lot more intelligenceهوش,
29
80065
3694
و اگر ما هوش بیشتری در اختیار داشتیم،
01:35
then there's really no limitحد
to what the humanانسان raceنژاد can do.
30
83783
3302
آن‌ وقت هیچ حد و مرزی برای کارهایی
که انسان می‌تواند بکند وجود نداشت.
01:40
And I think this could be,
as some people have describedشرح داده شده it,
31
88665
3325
و من فکر می‌کنم که،
همانطور که برخی توصیف کرد‌اند،
01:44
the biggestبزرگترین eventرویداد in humanانسان historyتاریخ.
32
92014
2016
این می‌تواند
بزرگترین رویداد تاریخ بشریت باشد.
01:48
So why are people sayingگفت: things like this,
33
96665
2829
پس چرا بعضی‌ها حرفهایی میزنند،
01:51
that AIAI mightممکن spellهجی کردن the endپایان
of the humanانسان raceنژاد?
34
99518
2876
مثلا اینکه هوش مصنوعی می‌تواند
خاتمه دهنده نسل بشر باشد؟
01:55
Is this a newجدید thing?
35
103438
1659
آیا این یک پدیده جدید است؟
01:57
Is it just Elonالون Muskمسک and Billبیل Gatesگیتس
and Stephenاستفان Hawkingهاوکینگ?
36
105121
4110
آیا فقط ایلان ماسک و بیل گیتس
و استیون هاوکینگ هستند؟
02:01
Actuallyدر واقع, no. This ideaاندیشه
has been around for a while.
37
109953
3262
راستش، نه.
این ایده خیلی وقته که وجود دارد.
02:05
Here'sاینجاست a quotationنقل قول:
38
113239
1962
یه نقل قول میگه:
02:07
"Even if we could keep the machinesماشین آلات
in a subservientزیرمجموعه positionموقعیت,
39
115225
4350
«حتی اگر میتونستیم ماشین‌ها رو
فرمانبردار نگه داریم
02:11
for instanceنمونه, by turningچرخش off the powerقدرت
at strategicاستراتژیک momentsلحظات" --
40
119599
2984
مثلا با خاموش کردنشان در لحظات استراتژیک»
02:14
and I'll come back to that
"turningچرخش off the powerقدرت" ideaاندیشه laterبعد on --
41
122607
3237
-- و من بعداً
به ایده «خاموش کردن»برمی‌گردم--
02:17
"we should, as a speciesگونه ها,
feel greatlyتا حد زیادی humbledفروتنی."
42
125868
2804
«ما به عنوان یک گونه،
باید خیلی احساس پستی کنیم»
02:22
So who said this?
This is Alanآلن Turingتورینگ in 1951.
43
130177
3448
کی این رو گفته؟
آلن تورینگ در سال ۱۹۵۱
02:26
Alanآلن Turingتورینگ, as you know,
is the fatherپدر of computerکامپیوتر scienceعلوم پایه
44
134300
2763
آلن تورینگ، همانطور که می‌دانید
پدر علم کامپیوتر هست.
02:29
and in manyبسیاری waysراه ها,
the fatherپدر of AIAI as well.
45
137087
3048
و از خیلی از جهات،
پدر علم هوش مصنوعی هم هست.
02:33
So if we think about this problemمسئله,
46
141239
1882
پس اگر درباره این مساله فکر کنیم،
02:35
the problemمسئله of creatingپدید آوردن something
more intelligentباهوش - هوشمند than your ownخودت speciesگونه ها,
47
143145
3787
مساله ساختن چیزی هوشمندتر از
گونه خودمان،
02:38
we mightممکن call this "the gorillaگوریل problemمسئله,"
48
146956
2622
شاید این رو «مساله گوریل» بنامیم.
02:42
because gorillas'گوریل ها ancestorsاجداد did this
a fewتعداد کمی millionمیلیون yearsسالها agoپیش,
49
150345
3750
چون اجداد گوریل‌ها این کار رو
چند میلیون‌ سال قبل انجام داده اند،
02:46
and now we can askپرسیدن the gorillasگوریل ها:
50
154119
1745
و الان می‌توانیم از گوریل‌ها بپرسیم که:
02:48
Was this a good ideaاندیشه?
51
156752
1160
آیا این کار ایده‌ خوبی بود؟
02:49
So here they are havingداشتن a meetingملاقات
to discussبحث و گفتگو whetherچه it was a good ideaاندیشه,
52
157936
3530
اینم از گوریل‌هایی که در جلسه‌ای،
درباره اینکه آیا ایده خوبی بود بحث میکنند
02:53
and after a little while,
they concludeنتیجه گرفتن, no,
53
161490
3346
و بعد از مدت کوتاهی،
به این نتیجه میرسن که، نه
02:56
this was a terribleوحشتناک ideaاندیشه.
54
164860
1345
یک ایده افتضاح بود
02:58
Our speciesگونه ها is in direوخیم straitsتنگه.
55
166229
1782
گونه ما،‌ در تنگنای بدی قرار دارد
03:00
In factواقعیت, you can see the existentialوجودی
sadnessغمگینی in theirخودشان eyesچشم ها.
56
168538
4263
در واقع، شما می‌توانید غم عالم رو
در چشمانشان ببینید
03:04
(Laughterخنده)
57
172825
1640
(خنده حاضرین)
03:06
So this queasyآرامش feelingاحساس that makingساخت
something smarterهوشمندانه than your ownخودت speciesگونه ها
58
174489
4840
پس شاید این احساس ناراحتی از به وجود آوردن
چیزی هوشمندتر از گونه خود
03:11
is maybe not a good ideaاندیشه --
59
179353
2365
ایده خوبی نباشد
03:14
what can we do about that?
60
182488
1491
ما چه کاری از دستمان برمی‌آید؟
03:16
Well, really nothing,
exceptبجز stop doing AIAI,
61
184003
4767
درواقع، هیچی به جز متوقف کردن هوش مصنوعی،
03:20
and because of all
the benefitsمنافع that I mentionedذکر شده
62
188794
2510
و به دلیل تمام فوایدی که گفتم
03:23
and because I'm an AIAI researcherپژوهشگر,
63
191328
1716
و به دلیل اینکه من یک
محقق هوش مصنوعی هستم
03:25
I'm not havingداشتن that.
64
193068
1791
من این مورد رو قبول ندارم.
03:27
I actuallyدر واقع want to be ableتوانایی
to keep doing AIAI.
65
195283
2468
من میخوام که بتوانم همچنان
روی هوش مصنوعی کار کنم.
03:30
So we actuallyدر واقع need to nailناخن - میخ down
the problemمسئله a bitبیت more.
66
198615
2678
پس باید این مساله رو بیشتر واکاوی کنیم.
03:33
What exactlyدقیقا is the problemمسئله?
67
201317
1371
مشکل واقعا چی هست؟
03:34
Why is better AIAI possiblyاحتمالا a catastropheفاجعه?
68
202712
3246
چرا هوش مصنوعی بهتر
منجر به فاجعه می‌شود؟
03:39
So here'sاینجاست anotherیکی دیگر quotationنقل قول:
69
207398
1498
اینم یک نقل قول دیگه:
03:41
"We had better be quiteکاملا sure
that the purposeهدف put into the machineدستگاه
70
209935
3335
«بهتره که مطمئن باشیم
هدفی که در ماشین‌ قرار‌ میدهیم
03:45
is the purposeهدف whichکه we really desireمیل."
71
213294
2298
همان هدفی است که واقعا میخواهیم.»
03:48
This was said by Norbertنوربرت Wienerوینر in 1960,
72
216282
3498
که توسط نوربرت وینر در ۱۹۶۰ گفته شده،
03:51
shortlyبه زودی after he watchedتماشا کردم
one of the very earlyزود learningیادگیری systemsسیستم های
73
219804
4002
بلافاصله بعد از اینکه وی دید
یکی از سیستم‌های یادگیرنده اولیه
03:55
learnیاد گرفتن to playبازی checkersچکرز
better than its creatorایجاد کننده.
74
223830
2583
بازی چکرز رو
بهتر از سازندگانش بازی می‌کند.
04:00
But this could equallyبه همان اندازه have been said
75
228602
2683
ولی این جمله می‌توانست توسط
04:03
by Kingپادشاه Midasمیاداس.
76
231309
1167
شاه میداس هم گفته شده باشد.
04:05
Kingپادشاه Midasمیاداس said, "I want everything
I touchدست زدن به to turnدور زدن to goldطلا,"
77
233083
3134
شاه میداس گفت: «من میخواهم
هرچه را که لمس میکنم تبدیل به طلا شود،»
04:08
and he got exactlyدقیقا what he askedپرسید: for.
78
236241
2473
و او دقیقاً چیزی را که خواسته بود گرفت.
04:10
That was the purposeهدف
that he put into the machineدستگاه,
79
238738
2751
و آن هدفی بود که وی در ماشین قرار داد.
04:13
so to speakصحبت,
80
241513
1450
اینطور که میگن،
04:14
and then his foodغذا and his drinkنوشیدن
and his relativesبستگان turnedتبدیل شد to goldطلا
81
242987
3444
و بعدش غذا، نوشیدنی و اقوامش
تبدیل به طلا شدند.
04:18
and he diedفوت کرد in miseryبدبختی and starvationگرسنگی.
82
246455
2281
و از بدبختی و گشنگی مرد.
04:22
So we'llخوب call this
"the Kingپادشاه Midasمیاداس problemمسئله"
83
250444
2341
پس ما به این مشکل میگوییم:
«مشکل شاه میداس»
04:24
of statingاظهار داشت an objectiveهدف، واقعگرایانه
whichکه is not, in factواقعیت,
84
252809
3305
که در آن هدف را چیزی قرار می‌دهیم،
04:28
trulyبراستی alignedهم راستا with what we want.
85
256138
2413
که واقعاً هم جهت با
چیزی که ما مي‌خواهیم نیست.
04:30
In modernمدرن termsاصطلاحات, we call this
"the valueارزش alignmentهم ترازی problemمسئله."
86
258575
3253
به بیان جدیدتر، به این مشکل میگیم:
«مشکل هم جهت سازی ارزش»
04:37
Puttingقرار دادن in the wrongاشتباه objectiveهدف، واقعگرایانه
is not the only partبخشی of the problemمسئله.
87
265047
3485
هدف گذاری اشتباه تنها بخش مشکل نیست.
04:40
There's anotherیکی دیگر partبخشی.
88
268556
1152
بخش دیگری هم هست
04:42
If you put an objectiveهدف، واقعگرایانه into a machineدستگاه,
89
270160
1943
اگر شما یک هدف برای ماشین قرار دهید
04:44
even something as simpleساده as,
"Fetchرفتن و آوردن the coffeeقهوه,"
90
272127
2448
حتی به سادگیج «آوردن قهوه»
04:47
the machineدستگاه saysمی گوید to itselfخودش,
91
275908
1841
ماشین به خودش میگه
04:50
"Well, how mightممکن I failشکست
to fetchرفتن و آوردن the coffeeقهوه?
92
278733
2623
«چطوری ممکنه که من
نتونم قهوه رو بیارم؟
04:53
Someoneکسی mightممکن switchسوئیچ me off.
93
281380
1580
یکی ممکنه منو خاموش کنه..
04:55
OK, I have to take stepsمراحل to preventجلوگیری کردن that.
94
283645
2387
خب پس من باید کاری کنم
که جلوی این کار رو بگیرم.
04:58
I will disableغیر فعال کردن my 'off'"خاموش" switchسوئیچ.
95
286056
1906
من دکمه «خاموش» خودمو غیرفعال می‌کنم.
05:00
I will do anything to defendدفاع myselfخودم
againstدر برابر interferenceدخالت
96
288534
2959
من هرکاری میکنم تا
از خودم در برابر موانعی که
05:03
with this objectiveهدف، واقعگرایانه
that I have been givenداده شده."
97
291517
2629
سد راه هدفی که به من داده شده می‌شوند،
دفاع کنم.»
05:06
So this single-mindedبا اراده pursuitدستیابی
98
294170
2012
بنابراین، این دنبال کردن تک-ذهنه
05:09
in a very defensiveدفاعی modeحالت
of an objectiveهدف، واقعگرایانه that is, in factواقعیت,
99
297213
2945
در یک حالت خیلی دفاعی از هدف،
05:12
not alignedهم راستا with the trueدرست است objectivesاهداف
of the humanانسان raceنژاد --
100
300182
2814
در واقع، هم جهت با اهداف گونه انسان نیست.
05:16
that's the problemمسئله that we faceصورت.
101
304122
1862
این مشکلی هست
که باهاش مواجه هستیم
05:19
And in factواقعیت, that's the high-valueارزش بالا
takeawayبردن from this talk.
102
307007
4767
و در واقع، این
نکته با ارزش این سخنرانی هست.
05:23
If you want to rememberیاد آوردن one thing,
103
311798
2055
اگر میخواهید
فقط یک چیز را به خاطرتون بسپرید،
05:25
it's that you can't fetchرفتن و آوردن
the coffeeقهوه if you're deadمرده.
104
313877
2675
اون اینه که اگر شما بمیرین،
دیگه نمی‌تونین قهوه رو بیارین
05:28
(Laughterخنده)
105
316576
1061
(خنده حاضرین)
05:29
It's very simpleساده. Just rememberیاد آوردن that.
Repeatتکرار it to yourselfخودت threeسه timesبار a day.
106
317661
3829
خیلی سادست. فقط اینو یادتون باشه.
روزی سه بار با خودتون تکرار کنین.
05:33
(Laughterخنده)
107
321514
1821
(خنده حضار)
05:35
And in factواقعیت, this is exactlyدقیقا the plotطرح
108
323359
2754
و در واقع، این نکته
05:38
of "2001: [A Spaceفضا Odysseyاودیسه]"
109
326137
2648
دقیقا پلات فیلم 2001 [A space Odyssey] است.
05:41
HALهال has an objectiveهدف، واقعگرایانه, a missionماموریت,
110
329226
2090
HAL یک هدف داره، یک ماموریت
05:43
whichکه is not alignedهم راستا
with the objectivesاهداف of the humansانسان,
111
331340
3732
که هم‌جهت با اهداف انسان‌ها نیست
05:47
and that leadsمنجر می شود to this conflictدرگیری.
112
335096
1810
و این باعث بروز مشکلاتی میشه
05:49
Now fortunatelyخوشبختانه, HALهال
is not superintelligentفوق العاده هوشمند.
113
337494
2969
البته خوشبختانه، HAL خیلی باهوش نیست
05:52
He's prettyبسیار smartهوشمندانه,
but eventuallyدر نهایت Daveدیو outwitsفراموشی him
114
340487
3587
اون نسبتا باهوش هست، ولی در نهایت
Dave گولش میزنه.
05:56
and managesمدیریت می کند to switchسوئیچ him off.
115
344098
1849
و میتونه خاموشش کنه.
06:01
But we mightممکن not be so luckyخوش شانس.
116
349828
1619
ولی شاید ما خیلی خوش‌ شانس نباشیم.
06:08
So what are we going to do?
117
356193
1592
پس باید چیکار کنیم؟
06:12
I'm tryingتلاش کن to redefineدوباره تعریف کنید AIAI
118
360371
2601
من سعی میکنم هوش مصنوعی رو باز تعریف کنم.
06:14
to get away from this classicalکلاسیک notionایده
119
362996
2061
تا از این تصور سنتی بیرون بیایم.
06:17
of machinesماشین آلات that intelligentlyهوشمندانه
pursueدنبال کردن objectivesاهداف.
120
365081
4567
که طبق اون، ماشین‌هایی هستند
که به صورت هوشمند اهداف رو دنبال میکنن.
06:22
There are threeسه principlesاصول involvedگرفتار.
121
370712
1798
۳ تا اصل رو باید در نظر گرفت.
06:24
The first one is a principleاصل
of altruismبی نظیری, if you like,
122
372534
3289
اولین اصل، نوع دوستی هست.
اگر شما دوست داشته باشین
06:27
that the robot'sربات only objectiveهدف، واقعگرایانه
123
375847
3262
تنها هدف ربات
06:31
is to maximizeبه حداکثر رساندن the realizationتحقق
of humanانسان objectivesاهداف,
124
379133
4246
این باشه که اهداف انسان رو واقعیت ببخشه.
06:35
of humanانسان valuesارزش های.
125
383403
1390
و ارزش‌های انسانی رو.
06:36
And by valuesارزش های here I don't mean
touchy-feelyلمس کردن, goody-goodyخوشگله valuesارزش های.
126
384817
3330
و منظورم از ارزش‌ها،
ارزش‌های احساسی یا خیرخواهانه نیست.
06:40
I just mean whateverهر چه it is
that the humanانسان would preferترجیح می دهند
127
388171
3787

منظورم هر چیزی هست که انسان ترجیح میده
06:43
theirخودشان life to be like.
128
391982
1343
زندگیش اون شکلی باشه.
06:47
And so this actuallyدر واقع violatesنقض می کند Asimov'sآسیموف lawقانون
129
395364
2309
و این در واقع قانون آسیموف رو نقض میکنه.
06:49
that the robotربات has to protectمحافظت
its ownخودت existenceوجود داشتن.
130
397697
2329
که ربات باید از حیات خودش محافظت کنه.
06:52
It has no interestعلاقه in preservingحفظ کردن
its existenceوجود داشتن whatsoeverهرچه.
131
400050
3723
ربات هیچ علاقه‌ای
به مراقبت از حیات خودش نداره.
06:57
The secondدومین lawقانون is a lawقانون
of humilityفروتنی, if you like.
132
405420
3768
قانون دوم، قانون فروتنی هست.
البته اگه خوشتون بیاد.
07:01
And this turnsچرخش out to be really
importantمهم to make robotsروبات ها safeبی خطر.
133
409974
3743
و این قانون نقش مهمی
در امن کردن ربات‌ها داره.
07:05
It saysمی گوید that the robotربات does not know
134
413741
3142
طبق این قانون، ربات نمیدونه که
07:08
what those humanانسان valuesارزش های are,
135
416907
2028
ارزش‌های انسانی چه چیز‌هایی هستند
07:10
so it has to maximizeبه حداکثر رساندن them,
but it doesn't know what they are.
136
418959
3178
باید در راستای محقق شدنشون تلاش کنه،
ولی نمیدونه چه چیزهایی هستند.
07:15
And that avoidsاجتناب می کند this problemمسئله
of single-mindedبا اراده pursuitدستیابی
137
423254
2626
و این از مشکل دنبال کردن تک-ذهنی هدف
07:17
of an objectiveهدف، واقعگرایانه.
138
425904
1212
جلوگیری می‌کنه.
07:19
This uncertaintyعدم قطعیت turnsچرخش out to be crucialحیاتی.
139
427140
2172
این عدم قطعیت بسیار مهم هست.
07:21
Now, in orderسفارش to be usefulمفید است to us,
140
429726
1639
حالا، برای اینکه ربات برای ما مفید باشه
07:23
it has to have some ideaاندیشه of what we want.
141
431389
2731
باید یک ایده‌ای
ازچیزی که میخوایم داشته باشه.
07:27
It obtainsبه دست آوردن that informationاطلاعات primarilyدر درجه اول
by observationمشاهده of humanانسان choicesگزینه های,
142
435223
5427
و این اطلاعات رو در درجه اول
از مشاهده انتخاب‌های انسان به دست می‌آره.
07:32
so our ownخودت choicesگزینه های revealآشکار ساختن informationاطلاعات
143
440674
2801
پس، انتخاب‌های خود ما هستند
که اطلاعات رو آشکار میکنن
07:35
about what it is that we preferترجیح می دهند
our livesزندگی می کند to be like.
144
443499
3300
درباره چیزی که ما ترجیح میدیم
زندگیمون شبیه به اون باشه.
07:40
So those are the threeسه principlesاصول.
145
448632
1683
پس این ۳ اصل بیان شد.
07:42
Let's see how that appliesاعمال میشود
to this questionسوال of:
146
450339
2318
حالا بیاین ببینیم که این اصول،
چگونه روی این سوال عمل میکند:
07:44
"Can you switchسوئیچ the machineدستگاه off?"
as Turingتورینگ suggestedپیشنهادی.
147
452681
2789
«آیا میتونی ماشین رو خاموش کنی؟»
همانطور که تورینگ پیشنهاد داد.
07:49
So here'sاینجاست a PRPR2 robotربات.
148
457073
2120
این یک ربات مدل PR2 هستش.
07:51
This is one that we have in our labآزمایشگاه,
149
459217
1821
که ما یک نمونه از آن در آزمایشگاهمون داریم
07:53
and it has a bigبزرگ redقرمز "off" switchسوئیچ
right on the back.
150
461062
2903
و یک دکمه بزرگ قرمز
برای «خاموش» کردن در پشتش داره.
07:56
The questionسوال is: Is it
going to let you switchسوئیچ it off?
151
464541
2615
سوال اینه که آیا
این ربات بهتون اجازه میده که خاموشش کنین؟
07:59
If we do it the classicalکلاسیک way,
152
467180
1465
اگر ما از راه سنتی عمل کنیم،
08:00
we give it the objectiveهدف، واقعگرایانه of, "Fetchرفتن و آوردن
the coffeeقهوه, I mustباید fetchرفتن و آوردن the coffeeقهوه,
153
468669
3482
بهش هدف این هدف رو میدیم:
«قهوه روبیار، من باید قهوه رو بیارم
08:04
I can't fetchرفتن و آوردن the coffeeقهوه if I'm deadمرده,"
154
472175
2580
من نمیتونم قهوه بیارم اگر مرده باشم»
08:06
so obviouslyبدیهی است the PRPR2
has been listeningاستماع to my talk,
155
474779
3341
به وضوح، PR2 به سخنرانی من گوش کرده،
08:10
and so it saysمی گوید, thereforeاز این رو,
"I mustباید disableغیر فعال کردن my 'off'"خاموش" switchسوئیچ,
156
478144
3753
پس میگه
من باید دکمه «خاموش» رو غیرفعال کنم.
08:14
and probablyشاید taserچاق کننده all the other
people in Starbucksاستارباکس
157
482976
2694
و احتمالاً با دستگاه شوک،
به تمام مردم داخل استارباکس شلیک کنم!
08:17
who mightممکن interfereمداخله کردن with me."
158
485694
1560
کسانی که ممکنه سد راه من باشن.
08:19
(Laughterخنده)
159
487278
2062
(خنده حاضرین)
08:21
So this seemsبه نظر می رسد to be inevitableاجتناب ناپذیر, right?
160
489364
2153
پس این مساله
به نظر اجتناب ناپذیر میاد، درسته؟
08:23
This kindنوع of failureشکست modeحالت
seemsبه نظر می رسد to be inevitableاجتناب ناپذیر,
161
491541
2398
این حالت شکست به نظر اجتناب ناپذیر هست،
08:25
and it followsبه دنبال آن است from havingداشتن
a concreteبتن, definiteقطعی objectiveهدف، واقعگرایانه.
162
493963
3543
و از داشتن یک هدف دقیق و محکم نشأت میگیره.
08:30
So what happensاتفاق می افتد if the machineدستگاه
is uncertainنا معلوم about the objectiveهدف، واقعگرایانه?
163
498812
3144
حالا چه اتفاقی می‌افته
اگه ماشین درباره هدف مطمئن نباشه؟
08:33
Well, it reasonsدلایل in a differentناهمسان way.
164
501980
2127
اینطوری، یک جور دیگه استدلال میکنه.
08:36
It saysمی گوید, "OK, the humanانسان
mightممکن switchسوئیچ me off,
165
504131
2424
میگه: «باشه، انسان ممکنه منو خاموش کنه
08:39
but only if I'm doing something wrongاشتباه.
166
507144
1866
ولی تنها در صورتی این کارو میکنه
که من کار اشتباهی بکنم.
08:41
Well, I don't really know what wrongاشتباه is,
167
509747
2475
من نمیدونم چه کاری اشتباهه
08:44
but I know that I don't want to do it."
168
512246
2044
ولی میدونم که نمیخوام انجامش بدم.»
08:46
So that's the first and secondدومین
principlesاصول right there.
169
514314
3010
این اصل اول و دوم گفته شده بود.
08:49
"So I should let the humanانسان switchسوئیچ me off."
170
517348
3359
«پس باید بذارم که که انسان منو خاموش کنه.»
08:53
And in factواقعیت you can calculateمحاسبه
the incentiveانگیزه that the robotربات has
171
521721
3956
و درواقع، شما میتونین انگیزه ای که ربات
برای خاموش کردنش
08:57
to allowاجازه دادن the humanانسان to switchسوئیچ it off,
172
525701
2493
توسط انسان دارد رو محاسبه کنید،
09:00
and it's directlyبه طور مستقیم tiedگره خورده است to the degreeدرجه
173
528218
1914
و این مستقیماً مرتبطه با درجه عدم قطعیت
09:02
of uncertaintyعدم قطعیت about
the underlyingاساسی objectiveهدف، واقعگرایانه.
174
530156
2746
درباره اهداف اصولی دارد.
09:05
And then when the machineدستگاه is switchedتغییر کرد off,
175
533977
2949
و وقتی که ماشین خاموش بشه
09:08
that thirdسوم principleاصل comesمی آید into playبازی.
176
536950
1805
اصل سوم وارد عمل میشه.
09:10
It learnsیاد میگیرد something about the objectivesاهداف
it should be pursuingپیگیری,
177
538779
3062
ربات یه چیزی درباره اهداف یاد میگیره،
باید پیگیر باشه،
09:13
because it learnsیاد میگیرد that
what it did wasn'tنبود right.
178
541865
2533
چون‌ یاد میگیره کاری که کرده درست نبوده.
09:16
In factواقعیت, we can, with suitableمناسب use
of Greekیونانی symbolsنمادها,
179
544422
3570
در واقع، ما میتونیم
با استفاده درست از نماد‌های یونانی
09:20
as mathematiciansریاضیدانان usuallyمعمولا do,
180
548016
2131
همانطور که معمولاً
ریاضیدانان این کار رو میکنن
09:22
we can actuallyدر واقع proveثابت كردن a theoremقضیه
181
550171
1984
میتونیم یک قضیه رو ثابت کنیم
09:24
that saysمی گوید that suchچنین a robotربات
is provablyقابل اعتماد beneficialسودمند to the humanانسان.
182
552179
3553
که میگه،‌ این چنین رباتی
قطعا برای انسان مفید است.
09:27
You are provablyقابل اعتماد better off
with a machineدستگاه that's designedطراحی شده in this way
183
555756
3803
قطعا وجود ماشینی که اینطوری طراحی شده باشه
09:31
than withoutبدون it.
184
559583
1246
از نبودنش بهتره.
09:33
So this is a very simpleساده exampleمثال,
but this is the first stepگام
185
561237
2906
این یک مثال ساده است،
ولی قدم اول راه ماست.
09:36
in what we're tryingتلاش کن to do
with human-compatibleانسان سازگار است AIAI.
186
564167
3903
راه استفاده از هوش مصنوعی سازگار با انسان.
09:42
Now, this thirdسوم principleاصل,
187
570657
3257
حالا، اصل سوم
09:45
I think is the one that you're probablyشاید
scratchingخارش your headسر over.
188
573938
3112
فکر کنم چیزی باشه
که احتمالا درکش براتون سخت باشه.
09:49
You're probablyشاید thinkingفكر كردن, "Well,
you know, I behaveرفتار كردن badlyبدی.
189
577074
3239
احتمالا شما فکر میکنین که
«راستش، من بد رفتار میکنم
09:52
I don't want my robotربات to behaveرفتار كردن like me.
190
580337
2929
و نمیخوام که ربات من مثل من رفتار کنه.
09:55
I sneakدزدکی حرکت کردن down in the middleوسط of the night
and take stuffچیز from the fridgeیخچال.
191
583290
3434
من نصف شب دزدکی میرم سر یخچال.
09:58
I do this and that."
192
586748
1168
یا فلان کار رو میکنم.»
09:59
There's all kindsانواع of things
you don't want the robotربات doing.
193
587940
2797
خیلی از کارها هست که شما دوست ندارین
رباتتون انجامشون بده
10:02
But in factواقعیت, it doesn't
quiteکاملا work that way.
194
590761
2071
ولی در واقع، اصل مطلب اینطوری نیست.
10:04
Just because you behaveرفتار كردن badlyبدی
195
592856
2155
به صرف اینکه شما بد رفتار میکنین،
10:07
doesn't mean the robotربات
is going to copyکپی کنید your behaviorرفتار.
196
595035
2623
دلیل نمیشه ربات هم از رفتار شما تقلید کنه.
10:09
It's going to understandفهمیدن your motivationsانگیزه ها
and maybe help you resistمقاومت کردن them,
197
597682
3910
ربات قراره که انگیزه‌های شما رو بفهمه،
و شاید در راستای رسیدن بهش کمکتون کنه،
10:13
if appropriateمناسب.
198
601616
1320
البته اگر مناسب باشه.
10:16
But it's still difficultدشوار.
199
604206
1464
ولی همچنان کاری سختیه.
10:18
What we're tryingتلاش کن to do, in factواقعیت,
200
606302
2545
در واقع، کاری که ما سعی میکنیم انجام بدیم
10:20
is to allowاجازه دادن machinesماشین آلات to predictپیش بینی
for any personفرد and for any possibleامکان پذیر است life
201
608871
5796
اینه که به ماشین‌ها اجازه بدیم
برای هر فرد و هر زندگی ممکن پیش‌بینی کنند
10:26
that they could liveزنده,
202
614691
1161
که آیا میتونن زنده بمونن
10:27
and the livesزندگی می کند of everybodyهمه elseچیز دیگری:
203
615876
1597
و البته جان بقیه:
10:29
Whichکدام would they preferترجیح می دهند?
204
617497
2517
این که کدوم رو ترجیح میدن؟
10:34
And there are manyبسیاری, manyبسیاری
difficultiesمشکلات involvedگرفتار in doing this;
205
622061
2954
و سختی‌های بسیار زیادی
برای انجام این کار وجود دارن؛
10:37
I don't expectانتظار that this
is going to get solvedحل شد very quicklyبه سرعت.
206
625039
2932
و من انتظار ندارم
که این مساله به زودی‌‌ حل بشه.
10:39
The realواقعی difficultiesمشکلات, in factواقعیت, are us.
207
627995
2643
و چالش اصلی، در واقع خود ما هستیم.
10:44
As I have alreadyقبلا mentionedذکر شده,
we behaveرفتار كردن badlyبدی.
208
632149
3117
همانطور که قبلا اشاره کردم،
ما بد رفتار میکنیم.
10:47
In factواقعیت, some of us are downrightدرست است nastyتند و زننده.
209
635290
2321
در واقعا بعضی از ما
کاملا بدجنس هستیم.
10:50
Now the robotربات, as I said,
doesn't have to copyکپی کنید the behaviorرفتار.
210
638431
3052
حالا همانطور که گفتم،
ربات مجبور نیست که رفتار رو تقلید کنه.
10:53
The robotربات does not have
any objectiveهدف، واقعگرایانه of its ownخودت.
211
641507
2791
ربات از خودش هیچ هدفی ندارد.
10:56
It's purelyصرفا altruisticaltruistic.
212
644322
1737
و کاملا نوع دوست هست.
10:59
And it's not designedطراحی شده just to satisfyبرآورده
the desiresخواسته ها of one personفرد, the userکاربر,
213
647293
5221
و برای این طراحی نشده که خواسته های
یک انسان یا کاربر رو برآورده کنه،
11:04
but in factواقعیت it has to respectتوجه
the preferencesاولویت ها of everybodyهمه.
214
652538
3138
در حقیقت،‌ ربات باید
به ترجیحات همه احترام بگذارد.
11:09
So it can dealمعامله with a certainمسلم - قطعی
amountمیزان of nastinessترس و وحشت,
215
657263
2570
پس میتونه مقدار مشخصی
از بدرفتاری رو تحمل کنه،
11:11
and it can even understandفهمیدن
that your nastinessترس و وحشت, for exampleمثال,
216
659857
3701
و حتی میتونه سوءرفتار شما رو درک کنه،
11:15
you mayممکن است take bribesرشوه as a passportگذرنامه officialرسمی
217
663582
2671
مثلا اینکه شما
به عنوان مامور اداره گذرنامه رشوه میگیرد
11:18
because you need to feedخوراک your familyخانواده
and sendارسال your kidsبچه ها to schoolمدرسه.
218
666277
3812
دلیلش اینه که شما نان آور خانواده اید
و بچه هاتون رو به مدرسه بفرستین.
11:22
It can understandفهمیدن that;
it doesn't mean it's going to stealسرقت کن.
219
670113
2906
ربات میتونه این موضوع رو بفهمه،
و اینطوری نیست که دزدی کنه.
11:25
In factواقعیت, it'llآن خواهد شد just help you
sendارسال your kidsبچه ها to schoolمدرسه.
220
673043
2679
در واقع کمکتون خواهد کرد
که بچه‌هاتون رو به مدرسه بفرستین.
11:28
We are alsoهمچنین computationallyمحاسباتی limitedمحدود.
221
676976
3012
ما همچنین از نظر محاسباتی هم محدود هستیم.
11:32
Leeلی Sedolسدول is a brilliantدرخشان Go playerبازیکن,
222
680012
2505
Lee Sedol یک بازیکن با استعداد Go هست.
11:34
but he still lostکم شده.
223
682541
1325
ولی با این وجود بازنده است.
11:35
So if we look at his actionsاقدامات,
he tookگرفت an actionعمل that lostکم شده the gameبازی.
224
683890
4239
پس اگر به حرکاتش دقت کنیم،
یک حرکتی بود که به شکستش منجر شد.
11:40
That doesn't mean he wanted to loseاز دست دادن.
225
688153
2161
این به این معنی نیست که اون میخواست ببازه.
11:43
So to understandفهمیدن his behaviorرفتار,
226
691340
2040
پس برای فهمیدن رفتارش
11:45
we actuallyدر واقع have to invertچرخش
throughاز طریق a modelمدل of humanانسان cognitionشناختن
227
693404
3644
ما باید از یک مدل
انسان شناختی استفاده کنیم
11:49
that includesشامل می شود our computationalمحاسباتی
limitationsمحدودیت ها -- a very complicatedبغرنج modelمدل.
228
697072
4977
که شامل محدودیت‌های محاسباتی می‌شود.
که یک مدل بسیار پیچیده است.
11:54
But it's still something
that we can work on understandingدرك كردن.
229
702073
2993
ولی همچنان این چیزی هست
که برای فهمیدن میتونیم روش کار کنیم.
11:57
Probablyشاید the mostاکثر difficultدشوار partبخشی,
from my pointنقطه of viewچشم انداز as an AIAI researcherپژوهشگر,
230
705876
4320
به نظر من به عنوان یک محقق هوش مصنوعی،
دشوارترین بخش ماجرا
12:02
is the factواقعیت that there are lots of us,
231
710220
2575
این حقیقته که
تعداد زیادی از ما(انسان‌ها) وجود دارد.
12:06
and so the machineدستگاه has to somehowبه نحوی
tradeتجارت off, weighوزن کن up the preferencesاولویت ها
232
714294
3581
بنابراین ماشین‌ها باید به طریقی
یک مصالحه‌ و توازن
12:09
of manyبسیاری differentناهمسان people,
233
717899
2225
بین ترجیحات افراد مختلف برقرار کنن.
12:12
and there are differentناهمسان waysراه ها to do that.
234
720148
1906
و راه‌های زیادی برای این کار وجود دارند.
12:14
Economistsاقتصاددانان, sociologistsجامعه شناسان,
moralاخلاقی philosophersفیلسوفان have understoodفهمید that,
235
722078
3689
اقتصاددان‌ها، جامعه شناس ها،
فلاسفه اخلاق مدار متوجه شده اند
12:17
and we are activelyفعالانه
looking for collaborationهمکاری.
236
725791
2455
که ما فعالانه در حال همکاری هستیم.
12:20
Let's have a look and see what happensاتفاق می افتد
when you get that wrongاشتباه.
237
728270
3251
بیاین ببینیم وقتی که
اشتباه برداشت کنید چه اتفاقی خواهد افتاد.
12:23
So you can have
a conversationگفتگو, for exampleمثال,
238
731545
2133
شما میتونین یک گفتگو داشته باشین،
12:25
with your intelligentباهوش - هوشمند personalشخصی assistantدستیار
239
733702
1944
مثلا با دستیار شخصی هوشمندتان،
12:27
that mightممکن be availableدر دسترس است
in a fewتعداد کمی years'سال ها' time.
240
735670
2285
که احتمالا در آینده نزدیک در دسترس باشد.
12:29
Think of a Siriسیری on steroidsاستروئیدها.
241
737979
2524
مثلا به یک نمونه قوی از Siri فکر کنید
12:33
So Siriسیری saysمی گوید, "Your wifeهمسر calledبه نام
to remindیادآوری کن you about dinnerشام tonightامشب."
242
741627
4322
Siri بهتون میگه که: «همسرتون زنگ زد
تا برای شام امشب بهتون یادآوری کنه»
12:38
And of courseدوره, you've forgottenفراموش شده.
"What? What dinnerشام?
243
746616
2508
و البته شما هم فراموش کرده بودید
چی؟ کدوم شام؟
12:41
What are you talkingصحبت کردن about?"
244
749148
1425
راجع به چی حرف میزنی؟
12:42
"Uh, your 20thth anniversaryسالگرد at 7pmساعت."
245
750597
3746
امم...بیستمین سالگرد ازدواجتون ساعت ۷ شب
12:48
"I can't do that. I'm meetingملاقات
with the secretary-generalدبیر کل at 7:30.
246
756915
3719
من نمیتونم برم.
ساعت ۷:۳۰ با دبیرکل سازمان ملل جلسه دارم.
12:52
How could this have happenedاتفاق افتاد?"
247
760658
1692
چطوری اینطوری شد؟»
12:54
"Well, I did warnهشدار بده you, but you overrodeبالا بردن
my recommendationتوصیه."
248
762374
4660
«من بهت هشدار داده بودم،
ولی تو پیشنهاد من رو نشنیده گرفتی.»
13:00
"Well, what am I going to do?
I can't just tell him I'm too busyمشغول."
249
768146
3328
«خب حالا چیکار کنم؟
نمیتونم بهش بگم که من خیلی سرم شلوغه.
13:04
"Don't worryنگرانی. I arrangedمرتب شده اند
for his planeسطح to be delayedتاخیر."
250
772490
3281
نگران نباش. من پروازش رو طوری گذاشتم
که تاخیر داشته باشه.»
13:07
(Laughterخنده)
251
775795
1682
(خنده حاضرین)
13:10
"Some kindنوع of computerکامپیوتر malfunctionاشکال در عملکرد."
252
778249
2101
«یک نوع خطای کارکرد کامپیوتری.»
13:12
(Laughterخنده)
253
780374
1212
(خنده حاضرین)
13:13
"Really? You can do that?"
254
781610
1617
«جدی؟ تو میتونی این کارو بکنی؟»
13:16
"He sendsمی فرستد his profoundعمیق apologiesعذر خواهی
255
784400
2179
«ایشان ازتون عمیقاً عذرخواهی خواهد کرد.
13:18
and looksبه نظر می رسد forwardرو به جلو to meetingملاقات you
for lunchناهار tomorrowفردا."
256
786603
2555
و از شما خواهد خواست که
فردا ناهار همدیگررو ببینین.»
13:21
(Laughterخنده)
257
789182
1299
(خنده حاضرین)
13:22
So the valuesارزش های here --
there's a slightکمی mistakeاشتباه going on.
258
790505
4403
ولی اینجا یک مشکلی هست.
13:26
This is clearlyبه وضوح followingذیل my wife'sهمسر valuesارزش های
259
794932
3009
ربات به وضوح داره
به ارزش‌های همسر من توجه میکنه:
13:29
whichکه is "Happyخوشحال wifeهمسر, happyخوشحال life."
260
797965
2069
که همون "همسر شاد، زندگی شاد" است.
13:32
(Laughterخنده)
261
800058
1583
(خنده حاضرین)
13:33
It could go the other way.
262
801665
1444
میتونست جور دیگه ای باشه.
13:35
You could come home
after a hardسخت day'sروزها work,
263
803821
2201
ممکن بود شما بعد از یک روز سخت کاری
بیاین خونه،
13:38
and the computerکامپیوتر saysمی گوید, "Long day?"
264
806046
2195
و کامپیوتر بگه:
«روز سخت و طولانی بود؟»
13:40
"Yes, I didn't even have time for lunchناهار."
265
808265
2288
«آره، حتی برای ناهار خوردن هم وقت نداشتم.»
13:42
"You mustباید be very hungryگرسنه."
266
810577
1282
«باید خیلی گرسنت باشه.»
13:43
"Starvingگرسنگی, yeah.
Could you make some dinnerشام?"
267
811883
2646
«آره دارم از گشنگی میمیرم.
میتونی برام شام درست کنی؟»
13:48
"There's something I need to tell you."
268
816070
2090
«یه چیزی هست که باید بهت بگم.»
13:50
(Laughterخنده)
269
818184
1155
(خنده حاضرین)
13:52
"There are humansانسان in Southجنوب Sudanسودان
who are in more urgentفوری need than you."
270
820193
4905
«یه سری آدم در سودان جنوبی هستن
که بیشتر از تو در شرایط اضطراری قرار دارن»
13:57
(Laughterخنده)
271
825122
1104
(خنده حاضرین)
13:58
"So I'm leavingترک. Make your ownخودت dinnerشام."
272
826250
2075
«پس من میرم. خودت شامت رو درست کن.»
14:00
(Laughterخنده)
273
828349
2000
(خنده حاضرین)
14:02
So we have to solveحل these problemsمشکلات,
274
830823
1739
بنابراین باید این مشکلات رو حل کنیم
14:04
and I'm looking forwardرو به جلو
to workingکار کردن on them.
275
832586
2515
و من با رغبت دارم
روی این مشکلات کار میکنم.
14:07
There are reasonsدلایل for optimismخوش بینی.
276
835125
1843
دلایلی برای خوشبین بودن وجود دارن.
14:08
One reasonدلیل is,
277
836992
1159
یک دلیل،
14:10
there is a massiveعظیم amountمیزان of dataداده ها.
278
838175
1868
اینه که حجم زیادی از داده داریم.
14:12
Because rememberیاد آوردن -- I said
they're going to readخواندن everything
279
840067
2794
چون اگر یادتون باشه،
من گفتم که ربات‌ها هر چیزی که
14:14
the humanانسان raceنژاد has ever writtenنوشته شده است.
280
842885
1546
انسان تا کنون نوشته
را خواهند خواند.
14:16
Mostاکثر of what we writeنوشتن about
is humanانسان beingsموجودات doing things
281
844455
2724
بیشتر چیزهایی که ما مینویسیم
درباره کارهای بشر هستش.
14:19
and other people gettingگرفتن upsetناراحت about it.
282
847203
1914
و بقیه مردم به خاطرش ناراحت میشن.
14:21
So there's a massiveعظیم amountمیزان
of dataداده ها to learnیاد گرفتن from.
283
849141
2398
پس انبوهی از داده برای یادگیری وجود داره.
14:23
There's alsoهمچنین a very
strongقوی economicاقتصادی incentiveانگیزه
284
851563
2236
یک انگیزه اقتصادی قوی هم برای انجام
14:27
to get this right.
285
855331
1186
این کار هست.
14:28
So imagineتصور کن your domesticداخلی robot'sربات at home.
286
856541
2001
ربات خدمتکارتون در منزل رو تصور کنید.
14:30
You're lateدیر است from work again
and the robotربات has to feedخوراک the kidsبچه ها,
287
858566
3067
شما باز هم دیر از سر کار بر میگردین،
و ربات باید به بچه‌ها غذا بده.
14:33
and the kidsبچه ها are hungryگرسنه
and there's nothing in the fridgeیخچال.
288
861657
2823
بچه‌ها گشنه هستند
و هیچ غذایی در یخچال نیست.
14:36
And the robotربات seesمی بیند the catگربه.
289
864504
2605
و ربات گربه رو میبینه!
14:39
(Laughterخنده)
290
867133
1692
(خنده حاضرین)
14:40
And the robotربات hasn'tنه quiteکاملا learnedیاد گرفتم
the humanانسان valueارزش functionعملکرد properlyبه درستی,
291
868849
4190
و ربات تابع ارزش گذاری انسان ها رو
به خوبی یاد نگرفته
14:45
so it doesn't understandفهمیدن
292
873063
1251
بنابراین نمیفهمه
14:46
the sentimentalاحساساتی valueارزش of the catگربه outweighsجبران می کند
the nutritionalغذایی valueارزش of the catگربه.
293
874338
4844
که ارزش معنوی گربه
از ارزش غذایی آن بیشتر است.
14:51
(Laughterخنده)
294
879206
1095
(خنده حضار)
14:52
So then what happensاتفاق می افتد?
295
880325
1748
بعدش چی میشه؟
14:54
Well, it happensاتفاق می افتد like this:
296
882097
3297
یه چیزی تو این مایه‌ها:
14:57
"DerangedDeranged robotربات cooksآشپز kittyبچه گربه
for familyخانواده dinnerشام."
297
885418
2964
"ربات ظالم، برای شام خانواده گربه می‌پزد"
15:00
That one incidentحادثه would be the endپایان
of the domesticداخلی robotربات industryصنعت.
298
888406
4523
این حادثه احتمالا
پایان صنعت ربات‌های خانگی باشد.
15:04
So there's a hugeبزرگ incentiveانگیزه
to get this right
299
892953
3372
پس انگیزه زیادی
برای درست شدن این موضوع وجود دارد.
15:08
long before we reachنائل شدن
superintelligentفوق العاده هوشمند machinesماشین آلات.
300
896349
2715
خیلی زودتر از اینکه
به ماشین‌های فوق هوشمند برسیم.
15:12
So to summarizeخلاصه کن:
301
900128
1535
پس برای جمع بندی:
15:13
I'm actuallyدر واقع tryingتلاش کن to changeتغییر دادن
the definitionتعریف of AIAI
302
901687
2881
من در اصل دارم سعی میکنم
که تعریف هوش مصنوعی رو طوری عوض کنم
15:16
so that we have provablyقابل اعتماد
beneficialسودمند machinesماشین آلات.
303
904592
2993
که ماشین های سودمندی داشته باشیم.
15:19
And the principlesاصول are:
304
907609
1222
و این اصول عبارتند از:
15:20
machinesماشین آلات that are altruisticaltruistic,
305
908855
1398
ماشین‌ها نوع دوست هستند.
15:22
that want to achieveرسیدن only our objectivesاهداف,
306
910277
2804
و فقط میخوان به اهدافی که ما داریم برسن.
15:25
but that are uncertainنا معلوم
about what those objectivesاهداف are,
307
913105
3116
ولی درباره چیستی این اهداف مطمئن نیستند.
15:28
and will watch all of us
308
916245
1998
و به ما نگاه میکنند
15:30
to learnیاد گرفتن more about what it is
that we really want.
309
918267
3203
تا یادبگیرند
این اهدافی که ما میخواهیم چه هستند.
15:34
And hopefullyخوشبختانه in the processروند,
we will learnیاد گرفتن to be better people.
310
922373
3559
و امیدوارم در این فرآیند،
ما هم یادبگیریم که مردم بهتری باشیم.
15:37
Thank you very much.
311
925956
1191
خیلی ممنون.
15:39
(Applauseتشویق و تمجید)
312
927171
3709
(تشویق حاضرین)
15:42
Chrisکریس Andersonاندرسون: So interestingجالب هست, Stuartاستوارت.
313
930904
1868
کریس اندسون: خیلی جالب بود استوارت.
15:44
We're going to standایستادن here a bitبیت
because I think they're settingتنظیمات up
314
932796
3170
ما یکم باید اینجا وایستیم
چون عوامل دارن صحنه رو
15:47
for our nextبعد speakerبلندگو.
315
935990
1151
برای سخنرانی بعدی آماده میکنن.
15:49
A coupleزن و شوهر of questionsسوالات.
316
937165
1538
چندتا سوال:
15:50
So the ideaاندیشه of programmingبرنامه نويسي in ignoranceجهل
seemsبه نظر می رسد intuitivelyبه طور مستقیم really powerfulقدرتمند.
317
938727
5453
ایده برنامه‌ریزی در بی خبری
به نظر خیلی قدرتمند میاد.
15:56
As you get to superintelligenceسوپر هوش,
318
944204
1594
وقتی که که به هوش قوی برسیم.
15:57
what's going to stop a robotربات
319
945822
2258
چه چیزی مانع رباتی میشه که
16:00
readingخواندن literatureادبیات and discoveringکشف
this ideaاندیشه that knowledgeدانش
320
948104
2852
متنی رو میخونه و به این ایده میرسه که
16:02
is actuallyدر واقع better than ignoranceجهل
321
950980
1572
اون دانش بهتر از ندانستن است
16:04
and still just shiftingانتقال its ownخودت goalsاهداف
and rewritingبازنویسی that programmingبرنامه نويسي?
322
952576
4218
و اهدافش رو تغییر بده
و دوباره برنامه ریزی کنه؟
16:09
Stuartاستوارت Russellراسل: Yes, so we want
it to learnیاد گرفتن more, as I said,
323
957692
6356
استوارت راسل: آره همانطور که گفتم،
ما میخوایم که ربات درباره اهداف ما
16:16
about our objectivesاهداف.
324
964072
1287
بیشتر یاد بگیره.
16:17
It'llاین خواهد شد only becomeتبدیل شدن به more certainمسلم - قطعی
as it becomesتبدیل می شود more correctدرست,
325
965383
5521
ربات فقط وقتی مطمئن تر میشه
که موضوع درست‌تر باشه.
16:22
so the evidenceشواهد is there
326
970928
1945
شواهد گویا هستند.
16:24
and it's going to be designedطراحی شده
to interpretتفسیر it correctlyبه درستی.
327
972897
2724
و ربات طوری طراحی میشه که درست تفسیر کنه.
16:27
It will understandفهمیدن, for exampleمثال,
that booksکتاب ها are very biasedجانبدارانه
328
975645
3956
مثلا میفهمه که کتاب‌ها خیلی
در شواهدی که دارند
16:31
in the evidenceشواهد they containحاوی.
329
979625
1483
جانبدارانه عمل میکنند.
16:33
They only talk about kingsپادشاهان and princesشاهزادگان
330
981132
2397
فقط درباره پادشاهان و شاهزادگان حرف میزنن.
16:35
and eliteنخبه whiteسفید maleنر people doing stuffچیز.
331
983553
2800
و مردان سفید پوست فوق‌ العاده ای
که مشغول کاری هستند.
16:38
So it's a complicatedبغرنج problemمسئله,
332
986377
2096
بنابراین این یک مشکل پیچیده است.
16:40
but as it learnsیاد میگیرد more about our objectivesاهداف
333
988497
3872
ولی همانطور که ربات
داره درباره اهداف ما یاد میگیره.
16:44
it will becomeتبدیل شدن به more and more usefulمفید است to us.
334
992393
2063
برای ما بیشتر و بیشتر کاربردی میشه.
16:46
CACA: And you couldn'tنمی توانستم
just boilجوشیدن it down to one lawقانون,
335
994480
2526
ک آ: پس نمیشه اینو تبدیل به یک قانون کنیم
16:49
you know, hardwiredسخت افزار in:
336
997030
1650
و به صورت کورکورانه بگیم که:
16:50
"if any humanانسان ever triesتلاش می کند to switchسوئیچ me off,
337
998704
3293
«اگر هر انسانی سعی کرد منو خاموش کنه
16:54
I complyمطابق. I complyمطابق."
338
1002021
1935
من پیروی میکنم. من پیروی میکنم.»
16:55
SRSR: Absolutelyکاملا not.
339
1003980
1182
قطعا اینطور نیست.
16:57
That would be a terribleوحشتناک ideaاندیشه.
340
1005186
1499
اینطوری خیلی بد میشد.
16:58
So imagineتصور کن that you have
a self-drivingخود رانندگی carماشین
341
1006709
2689
مثلا تصور کنید که یک ماشین خودران دارید.
17:01
and you want to sendارسال your five-year-oldپنج ساله
342
1009422
2433
و میخواهید بچه پنج سالتون رو
17:03
off to preschoolپیش دبستانی.
343
1011879
1174
به مدرسه بفرستید.
17:05
Do you want your five-year-oldپنج ساله
to be ableتوانایی to switchسوئیچ off the carماشین
344
1013077
3101
آیا شما میخواین که بچه پنج سالتون
بتونه ماشین رو موقع رانندگی
17:08
while it's drivingرانندگی alongدر امتداد?
345
1016202
1213
خاموش کنه؟
17:09
Probablyشاید not.
346
1017439
1159
احتمالا نه.
17:10
So it needsنیاز دارد to understandفهمیدن how rationalگویا
and sensibleمعقول the personفرد is.
347
1018622
4703
پس ربات باید بتونه درک کنه
که آدم چقدر منطقی و معقول هست.
17:15
The more rationalگویا the personفرد,
348
1023349
1676
هرچه انسان منطقی تر باشد،
17:17
the more willingمایلم you are
to be switchedتغییر کرد off.
349
1025049
2103
ربات بیشتر تمایل دارد
که بگذارد خاموش شود.
17:19
If the personفرد is completelyبه صورت کامل
randomتصادفی or even maliciousمخرب,
350
1027176
2543
اگر شخص کاملا تصادفی یا خرابکار باشد
17:21
then you're lessکمتر willingمایلم
to be switchedتغییر کرد off.
351
1029743
2512
ربات کمتر تمایل دارد که بگذارد خاموش شود.
17:24
CACA: All right. Stuartاستوارت, can I just say,
352
1032279
1866
خب استوارت، فقط میتونم بگم که
17:26
I really, really hopeامید you
figureشکل this out for us.
353
1034169
2314
من واقعا، واقعا امیدوارم تو برای ما
این مشکل رو حل کنی.
17:28
Thank you so much for that talk.
That was amazingحیرت آور.
354
1036507
2375
ممنون بابت سخنرانی.
فوق العاده بود.
17:30
SRSR: Thank you.
355
1038906
1167
ممنون.
17:32
(Applauseتشویق و تمجید)
356
1040097
1837
(تشویق حضار)
Translated by Iman Mirzadeh
Reviewed by Leila Ataei

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com