TED2017
Stuart Russell: 3 principles for creating safer AI
استوارت راسل: چگونه هوش مصنوعی ما را تبدیل به مردمانی بهتر میکند
Filmed:
Readability: 3.9
1,465,832 views
چگونه میتوانیم قدرت هوش مصنوعی بسیار هوشمند را مهار کنیم در حالی که از فاجعه گرفتن کنترل اوضاع توسط ربات‌ها جلوگیری کنیم؟ همانطور که به ساخت ماشین‌هایی که همه چیز را می‌دانند نزدیکتر می‌شویم، استورات راسل یکی از پیشگامان هوش مصنوعی در حال کار بر روی چیزی متفاوت است: ربات‌هایی با عدم قطعیت. چشم انداز او را بشنوید، برای هوش مصنوعی با قابلیت سازش با انسان را که می‌تواند مسائل را با استفاده حس مشترک، نوع دوستی و سایر ارزش‌های انسانی حل کند.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
00:12
This is Lee Sedol.
0
712
1552
این لی سادل هست.
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
لی سادل یکی از بزرگترین
بازیکن های Go (یک بازی فکری)در جهان هست.
بازیکن های Go (یک بازی فکری)در جهان هست.
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
و در حال تجربه لحظه‌ای هست
که دوستان من در سیلیکون ولی
که دوستان من در سیلیکون ولی
00:21
a "Holy Cow" moment --
3
9218
1510
بهش میگن لحظه "یا پیغمبر!"
00:22
(Laughter)
4
10752
1073
(خنده حاضرین)
00:23
a moment where we realize
5
11849
2188
لحظه‌ای که م‌ف‌همیم
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
هوش مصنوعی واقعا داره سریعتر از چیزی که
انتظارشو داشتیم پیشرفت میکنه.
انتظارشو داشتیم پیشرفت میکنه.
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
پس، انسان‌ها روی تخته Go باخته‌‌اند.
در دنیای واقعی چطور؟
در دنیای واقعی چطور؟
00:33
Well, the real world is much bigger,
8
21225
2100
باید بگم که دنیای واقعی خیلی بزرگتر
00:35
much more complicated than the Go board.
9
23349
2249
و بسیار بسیار پیچیده‌تر
از تخته بازی Go هست.
از تخته بازی Go هست.
00:37
It's a lot less visible,
10
25622
1819
(دنیای واقعی) خیلی نامرئی‌تر هست،
00:39
but it's still a decision problem.
11
27465
2038
ولی همچنان مساله تصمیم گیری هست.
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
و اگر درباره برخی از تکنولوژی‌ها فکر کنیم
00:45
that are coming down the pike ...
13
33293
1749
که در حال ظهور هستند...
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
[Noriko [Arai اشاره کرده است که
توانایی خواندن هنوز در ماشین‌ها وجود ندارد،
توانایی خواندن هنوز در ماشین‌ها وجود ندارد،
00:52
at least with understanding.
15
40097
1500
حداقل همراه با فهمیدن نیست.
00:53
But that will happen,
16
41621
1536
ولی این اتفاق خواهد افتاد.
00:55
and when that happens,
17
43181
1771
و وقتی که به وقوع بپیوندد،
00:56
very soon afterwards,
18
44976
1187
پس از آن، خیلی زود
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
ماشین‌ها تمام آن‌چه را که
بشر نوشته است، خواهند خواند.
بشر نوشته است، خواهند خواند.
01:03
And that will enable machines,
20
51850
2030
و این ماشین‌ها را قادر می‌سازد
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
که فراتر از انسان‌ها به آینده نگاه کنند،
01:08
as we've already seen in Go,
22
56848
1680
همانطور که قبلاً در Go دیده‌ایم،
01:10
if they also have access
to more information,
to more information,
23
58552
2164
اگر ماشین‌ها به اطلاعات بیشتری
دسترسی داشته باشند،
دسترسی داشته باشند،
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
می‌توانند تصمیمات بهتری
در جهان واقعی نسبت به ما بگیرند.
در جهان واقعی نسبت به ما بگیرند.
01:18
So is that a good thing?
25
66792
1606
آیا این یک اتفاق خوب است؟
01:21
Well, I hope so.
26
69898
2232
خب، امیدوارم که باشه.
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
تمام تمدن ما،
هر چیزی که برایش ارزش قائل هستیم،
هر چیزی که برایش ارزش قائل هستیم،
01:29
is based on our intelligence.
28
77973
2068
بر پایه هوشمندی ما است.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
و اگر ما هوش بیشتری در اختیار داشتیم،
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
آن وقت هیچ حد و مرزی برای کارهایی
که انسان می‌تواند بکند وجود نداشت.
که انسان می‌تواند بکند وجود نداشت.
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
و من فکر میکنم که،
همانطور که برخی توصیف کرد‌اند،
همانطور که برخی توصیف کرد‌اند،
01:44
the biggest event in human history.
32
92014
2016
این می‌تواند
بزرگترین رویداد تاریخ بشریت باشد.
بزرگترین رویداد تاریخ بشریت باشد.
01:48
So why are people saying things like this,
33
96665
2829
پس چرا بعضی‌ها حرفهایی میزنند،
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
مثلا اینکه هوش مصنوعی می‌تواند
خاتمه دهنده نسل بشر باشد؟
خاتمه دهنده نسل بشر باشد؟
01:55
Is this a new thing?
35
103438
1659
آیا این یک پدیده جدید است؟
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
آیا فقط ایلان ماسک و بیل گیتس
و استیون هاوکینگ هستند؟
و استیون هاوکینگ هستند؟
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
راستش، نه.
این ایده خیلی وقته که وجود دارد.
این ایده خیلی وقته که وجود دارد.
02:05
Here's a quotation:
38
113239
1962
یه نقل قول میگه:
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
«حتی اگر میتونستیم ماشین‌ها رو
فرمانبردار نگه داریم
فرمانبردار نگه داریم
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
مثلا با خاموش کردنشان در لحظات استراتژیک»
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
-- و من بعداً
به ایده «خاموش کردن»برمی‌گردم--
به ایده «خاموش کردن»برمی‌گردم--
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
«ما به عنوان یک گونه،
باید خیلی احساس پستی کنیم»
باید خیلی احساس پستی کنیم»
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
کی این رو گفته؟
آلن تورینگ در سال ۱۹۵۱
آلن تورینگ در سال ۱۹۵۱
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
آلن تورینگ، همانطور که می‌دانید
پدر علم کامپیوتر هست.
پدر علم کامپیوتر هست.
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
و از خیلی از جهات،
پدر علم هوش مصنوعی هم هست.
پدر علم هوش مصنوعی هم هست.
02:33
So if we think about this problem,
46
141239
1882
پس اگر درباره این مساله فکر کنیم،
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
مساله ساختن چیزی هوشمندتر از
گونه خودمان،
گونه خودمان،
02:38
we might call this "the gorilla problem,"
48
146956
2622
شاید این رو «مساله گوریل» بنامیم.
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
چون اجداد گوریل‌ها این کار رو
چند میلیون سال قبل انجام داده اند،
چند میلیون سال قبل انجام داده اند،
02:46
and now we can ask the gorillas:
50
154119
1745
و الان میتوانیم از گوریل‌ها بپرسیم که:
02:48
Was this a good idea?
51
156752
1160
آیا این کار ایده خوبی بود؟
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
اینم از گوریل‌هایی که در جلسه‌ای،
درباره اینکه آیا ایده خوبی بود بحث میکنند
درباره اینکه آیا ایده خوبی بود بحث میکنند
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
و بعد از مدت کوتاهی،
به این نتیجه میرسن که، نه
به این نتیجه میرسن که، نه
02:56
this was a terrible idea.
54
164860
1345
یک ایده افتضاح بود
02:58
Our species is in dire straits.
55
166229
1782
گونه ما، در تنگنای بدی قرار دارد
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
در واقع، شما می‌توانید غم عالم رو
در چشمانشان ببینید
در چشمانشان ببینید
03:04
(Laughter)
57
172825
1640
(خنده حاضرین)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
پس شاید این احساس ناراحتی از به وجود آوردن
چیزی هوشمندتر از گونه خود
چیزی هوشمندتر از گونه خود
03:11
is maybe not a good idea --
59
179353
2365
ایده خوبی نباشد
03:14
what can we do about that?
60
182488
1491
ما چه کاری از دستمان برمی‌آید؟
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
درواقع، هیچی به جز متوقف کردن هوش مصنوعی،
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
و به دلیل تمام فوایدی که گفتم
03:23
and because I'm an AI researcher,
63
191328
1716
و به دلیل اینکه من یک
محقق هوش مصنوعی هستم
محقق هوش مصنوعی هستم
03:25
I'm not having that.
64
193068
1791
من این مورد رو قبول ندارم.
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
من میخوام که بتوانم همچنان
روی هوش مصنوعی کار کنم.
روی هوش مصنوعی کار کنم.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
پس باید این مساله رو بیشتر واکاوی کنیم.
03:33
What exactly is the problem?
67
201317
1371
مشکل واقعا چی هست؟
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
چرا هوش مصنوعی بهتر
منجر به فاجعه میشود؟
منجر به فاجعه میشود؟
03:39
So here's another quotation:
69
207398
1498
اینم یک نقل قول دیگه:
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
«بهتره که مطمئن باشیم
هدفی که در ماشین قرار میدهیم
هدفی که در ماشین قرار میدهیم
03:45
is the purpose which we really desire."
71
213294
2298
همان هدفی است که واقعا میخواهیم.»
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
که توسط نوربرت وینر در ۱۹۶۰ گفته شده،
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
بلافاصله بعد از اینکه وی دید
یکی از سیستم‌های یادگیرنده اولیه
یکی از سیستم‌های یادگیرنده اولیه
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
بازی چکرز رو
بهتر از سازندگانش بازی میکند.
بهتر از سازندگانش بازی میکند.
04:00
But this could equally have been said
75
228602
2683
ولی این جمله می‌توانست توسط
04:03
by King Midas.
76
231309
1167
شاه میداس هم گفته شده باشد.
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
شاه میداس گفت: «من میخواهم
هرچه را که لمس میکنم تبدیل به طلا شود،»
هرچه را که لمس میکنم تبدیل به طلا شود،»
04:08
and he got exactly what he asked for.
78
236241
2473
و او دقیقاً چیزی را که خواسته بود گرفت.
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
و آن هدفی بود که وی در ماشین قرار داد.
04:13
so to speak,
80
241513
1450
اینطور که میگن،
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
و بعدش غذا، نوشیدنی و اقوامش
تبدیل به طلا شدند.
تبدیل به طلا شدند.
04:18
and he died in misery and starvation.
82
246455
2281
و از بدبختی و گشنگی مرد.
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
پس ما به این مشکل میگوییم:
«مشکل شاه میداس»
«مشکل شاه میداس»
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
که در آن هدف را چیزی قرار میدهیم،
04:28
truly aligned with what we want.
85
256138
2413
که واقعاً هم جهت با
چیزی که ما مي‌خواهیم نیست.
چیزی که ما مي‌خواهیم نیست.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
به بیان جدیدتر، به این مشکل میگیم:
«مشکل هم جهت سازی ارزش»
«مشکل هم جهت سازی ارزش»
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
هدف گذاری اشتباه تنها بخش مشکل نیست.
04:40
There's another part.
88
268556
1152
بخش دیگری هم هست
04:42
If you put an objective into a machine,
89
270160
1943
اگر شما یک هدف برای ماشین قرار دهید
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
حتی به سادگیج «آوردن قهوه»
04:47
the machine says to itself,
91
275908
1841
ماشین به خودش میگه
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
«چطوری ممکنه که من
نتونم قهوه رو بیارم؟
نتونم قهوه رو بیارم؟
04:53
Someone might switch me off.
93
281380
1580
یکی ممکنه منو خاموش کنه..
04:55
OK, I have to take steps to prevent that.
94
283645
2387
خب پس من باید کاری کنم
که جلوی این کار رو بگیرم.
که جلوی این کار رو بگیرم.
04:58
I will disable my 'off' switch.
95
286056
1906
من دکمه «خاموش» خودمو غیرفعال میکنم.
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
من هرکاری میکنم تا
از خودم در برابر موانعی که
از خودم در برابر موانعی که
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
سد راه هدفی که به من داده شده می‌شوند،
دفاع کنم.»
دفاع کنم.»
05:06
So this single-minded pursuit
98
294170
2012
بنابراین، این دنبال کردن تک-ذهنه
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
در یک حالت خیلی دفاعی از هدف،
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
در واقع، هم جهت با اهداف گونه انسان نیست.
05:16
that's the problem that we face.
101
304122
1862
این مشکلی هست
که باهاش مواجه هستیم
که باهاش مواجه هستیم
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
و در واقع، این
نکته با ارزش این سخنرانی هست.
نکته با ارزش این سخنرانی هست.
05:23
If you want to remember one thing,
103
311798
2055
اگر میخواهید
فقط یک چیز را به خاطرتون بسپرید،
فقط یک چیز را به خاطرتون بسپرید،
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
اون اینه که اگر شما بمیرین،
دیگه نمی‌تونین قهوه رو بیارین
دیگه نمی‌تونین قهوه رو بیارین
05:28
(Laughter)
105
316576
1061
(خنده حاضرین)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
خیلی سادست. فقط اینو یادتون باشه.
روزی سه بار با خودتون تکرار کنین.
روزی سه بار با خودتون تکرار کنین.
05:33
(Laughter)
107
321514
1821
(خنده حضار)
05:35
And in fact, this is exactly the plot
108
323359
2754
و در واقع، این نکته
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
دقیقا پلات فیلم 2001 [A space Odyssey] است.
05:41
HAL has an objective, a mission,
110
329226
2090
HAL یک هدف داره، یک ماموریت
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
که هم‌جهت با اهداف انسان‌ها نیست
05:47
and that leads to this conflict.
112
335096
1810
و این باعث بروز مشکلاتی میشه
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
البته خوشبختانه، HAL خیلی باهوش نیست
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
اون نسبتا باهوش هست، ولی در نهایت
Dave گولش میزنه.
Dave گولش میزنه.
05:56
and manages to switch him off.
115
344098
1849
و میتونه خاموشش کنه.
06:01
But we might not be so lucky.
116
349828
1619
ولی شاید ما خیلی خوش شانس نباشیم.
06:08
So what are we going to do?
117
356193
1592
پس باید چیکار کنیم؟
06:12
I'm trying to redefine AI
118
360371
2601
من سعی میکنم هوش مصنوعی رو باز تعریف کنم.
06:14
to get away from this classical notion
119
362996
2061
تا از این تصور سنتی بیرون بیایم.
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
که طبق اون، ماشین‌هایی هستند
که به صورت هوشمند اهداف رو دنبال میکنن.
که به صورت هوشمند اهداف رو دنبال میکنن.
06:22
There are three principles involved.
121
370712
1798
۳ تا اصل رو باید در نظر گرفت.
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
اولین اصل، نوع دوستی هست.
اگر شما دوست داشته باشین
اگر شما دوست داشته باشین
06:27
that the robot's only objective
123
375847
3262
تنها هدف ربات
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
این باشه که اهداف انسان رو واقعیت ببخشه.
06:35
of human values.
125
383403
1390
و ارزش‌های انسانی رو.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
و منظورم از ارزش‌ها،
ارزش‌های احساسی یا خیرخواهانه نیست.
ارزش‌های احساسی یا خیرخواهانه نیست.
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
منظورم هر چیزی هست که انسان ترجیح میده
06:43
their life to be like.
128
391982
1343
زندگیش اون شکلی باشه.
06:47
And so this actually violates Asimov's law
129
395364
2309
و این در واقع قانون آسیموف رو نقض میکنه.
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
که ربات باید از حیات خودش محافظت کنه.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
ربات هیچ علاقه‌ای
به مراقبت از حیات خودش نداره.
به مراقبت از حیات خودش نداره.
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
قانون دوم، قانون فروتنی هست.
البته اگه خوشتون بیاد.
البته اگه خوشتون بیاد.
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
و این قانون نقش مهمی
در امن کردن ربات‌ها داره.
در امن کردن ربات‌ها داره.
07:05
It says that the robot does not know
134
413741
3142
طبق این قانون، ربات نمیدونه که
07:08
what those human values are,
135
416907
2028
ارزش‌های انسانی چه چیزهایی هستند
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
باید در راستای محقق شدنشون تلاش کنه،
ولی نمیدونه چه چیزهایی هستند.
ولی نمیدونه چه چیزهایی هستند.
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
و این از مشکل دنبال کردن تک-ذهنی هدف
07:17
of an objective.
138
425904
1212
جلوگیری میکنه.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
این عدم قطعیت بسیار مهم هست.
07:21
Now, in order to be useful to us,
140
429726
1639
حالا، برای اینکه ربات برای ما مفید باشه
07:23
it has to have some idea of what we want.
141
431389
2731
باید یک ایده‌ای
ازچیزی که میخوایم داشته باشه.
ازچیزی که میخوایم داشته باشه.
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
و این اطلاعات رو در درجه اول
از مشاهده انتخاب‌های انسان به دست می‌آره.
از مشاهده انتخاب‌های انسان به دست می‌آره.
07:32
so our own choices reveal information
143
440674
2801
پس، انتخاب‌های خود ما هستند
که اطلاعات رو آشکار میکنن
که اطلاعات رو آشکار میکنن
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
درباره چیزی که ما ترجیح میدیم
زندگیمون شبیه به اون باشه.
زندگیمون شبیه به اون باشه.
07:40
So those are the three principles.
145
448632
1683
پس این ۳ اصل بیان شد.
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
حالا بیاین ببینیم که این اصول،
چگونه روی این سوال عمل میکند:
چگونه روی این سوال عمل میکند:
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
«آیا میتونی ماشین رو خاموش کنی؟»
همانطور که تورینگ پیشنهاد داد.
همانطور که تورینگ پیشنهاد داد.
07:49
So here's a PR2 robot.
148
457073
2120
این یک ربات مدل PR2 هستش.
07:51
This is one that we have in our lab,
149
459217
1821
که ما یک نمونه از آن در آزمایشگاهمون داریم
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
و یک دکمه بزرگ قرمز
برای «خاموش» کردن در پشتش داره.
برای «خاموش» کردن در پشتش داره.
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
سوال اینه که آیا
این ربات بهتون اجازه میده که خاموشش کنین؟
این ربات بهتون اجازه میده که خاموشش کنین؟
07:59
If we do it the classical way,
152
467180
1465
اگر ما از راه سنتی عمل کنیم،
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
بهش هدف این هدف رو میدیم:
«قهوه روبیار، من باید قهوه رو بیارم
«قهوه روبیار، من باید قهوه رو بیارم
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
من نمیتونم قهوه بیارم اگر مرده باشم»
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
به وضوح، PR2 به سخنرانی من گوش کرده،
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
پس میگه
من باید دکمه «خاموش» رو غیرفعال کنم.
من باید دکمه «خاموش» رو غیرفعال کنم.
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
و احتمالاً با دستگاه شوک،
به تمام مردم داخل استارباکس شلیک کنم!
به تمام مردم داخل استارباکس شلیک کنم!
08:17
who might interfere with me."
158
485694
1560
کسانی که ممکنه سد راه من باشن.
08:19
(Laughter)
159
487278
2062
(خنده حاضرین)
08:21
So this seems to be inevitable, right?
160
489364
2153
پس این مساله
به نظر اجتناب ناپذیر میاد، درسته؟
به نظر اجتناب ناپذیر میاد، درسته؟
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
این حالت شکست به نظر اجتناب ناپذیر هست،
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
و از داشتن یک هدف دقیق و محکم نشأت میگیره.
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
حالا چه اتفاقی می‌افته
اگه ماشین درباره هدف مطمئن نباشه؟
اگه ماشین درباره هدف مطمئن نباشه؟
08:33
Well, it reasons in a different way.
164
501980
2127
اینطوری، یک جور دیگه استدلال میکنه.
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
میگه: «باشه، انسان ممکنه منو خاموش کنه
08:39
but only if I'm doing something wrong.
166
507144
1866
ولی تنها در صورتی این کارو میکنه
که من کار اشتباهی بکنم.
که من کار اشتباهی بکنم.
08:41
Well, I don't really know what wrong is,
167
509747
2475
من نمیدونم چه کاری اشتباهه
08:44
but I know that I don't want to do it."
168
512246
2044
ولی میدونم که نمیخوام انجامش بدم.»
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
این اصل اول و دوم گفته شده بود.
08:49
"So I should let the human switch me off."
170
517348
3359
«پس باید بذارم که که انسان منو خاموش کنه.»
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
و درواقع، شما میتونین انگیزه ای که ربات
برای خاموش کردنش
برای خاموش کردنش
08:57
to allow the human to switch it off,
172
525701
2493
توسط انسان دارد رو محاسبه کنید،
09:00
and it's directly tied to the degree
173
528218
1914
و این مستقیماً مرتبطه با درجه عدم قطعیت
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
درباره اهداف اصولی دارد.
09:05
And then when the machine is switched off,
175
533977
2949
و وقتی که ماشین خاموش بشه
09:08
that third principle comes into play.
176
536950
1805
اصل سوم وارد عمل میشه.
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
ربات یه چیزی درباره اهداف یاد میگیره،
باید پیگیر باشه،
باید پیگیر باشه،
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
چون یاد میگیره کاری که کرده درست نبوده.
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
در واقع، ما میتونیم
با استفاده درست از نماد‌های یونانی
با استفاده درست از نماد‌های یونانی
09:20
as mathematicians usually do,
180
548016
2131
همانطور که معمولاً
ریاضیدانان این کار رو میکنن
ریاضیدانان این کار رو میکنن
09:22
we can actually prove a theorem
181
550171
1984
میتونیم یک قضیه رو ثابت کنیم
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
که میگه، این چنین رباتی
قطعا برای انسان مفید است.
قطعا برای انسان مفید است.
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
قطعا وجود ماشینی که اینطوری طراحی شده باشه
09:31
than without it.
184
559583
1246
از نبودنش بهتره.
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
این یک مثال ساده است،
ولی قدم اول راه ماست.
ولی قدم اول راه ماست.
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
راه استفاده از هوش مصنوعی سازگار با انسان.
09:42
Now, this third principle,
187
570657
3257
حالا، اصل سوم
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
فکر کنم چیزی باشه
که احتمالا درکش براتون سخت باشه.
که احتمالا درکش براتون سخت باشه.
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
احتمالا شما فکر میکنین که
«راستش، من بد رفتار میکنم
«راستش، من بد رفتار میکنم
09:52
I don't want my robot to behave like me.
190
580337
2929
و نمیخوام که ربات من مثل من رفتار کنه.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
من نصف شب دزدکی میرم سر یخچال.
09:58
I do this and that."
192
586748
1168
یا فلان کار رو میکنم.»
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
خیلی از کارها هست که شما دوست ندارین
رباتتون انجامشون بده
رباتتون انجامشون بده
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
ولی در واقع، اصل مطلب اینطوری نیست.
10:04
Just because you behave badly
195
592856
2155
به صرف اینکه شما بد رفتار میکنین،
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
دلیل نمیشه ربات هم از رفتار شما تقلید کنه.
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
ربات قراره که انگیزه‌های شما رو بفهمه،
و شاید در راستای رسیدن بهش کمکتون کنه،
و شاید در راستای رسیدن بهش کمکتون کنه،
10:13
if appropriate.
198
601616
1320
البته اگر مناسب باشه.
10:16
But it's still difficult.
199
604206
1464
ولی همچنان کاری سختیه.
10:18
What we're trying to do, in fact,
200
606302
2545
در واقع، کاری که ما سعی میکنیم انجام بدیم
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
اینه که به ماشین‌ها اجازه بدیم
برای هر فرد و هر زندگی ممکن پیش‌بینی کنند
برای هر فرد و هر زندگی ممکن پیش‌بینی کنند
10:26
that they could live,
202
614691
1161
که آیا میتونن زنده بمونن
10:27
and the lives of everybody else:
203
615876
1597
و البته جان بقیه:
10:29
Which would they prefer?
204
617497
2517
این که کدوم رو ترجیح میدن؟
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
و سختی‌های بسیار زیادی
برای انجام این کار وجود دارن؛
برای انجام این کار وجود دارن؛
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
و من انتظار ندارم
که این مساله به زودی حل بشه.
که این مساله به زودی حل بشه.
10:39
The real difficulties, in fact, are us.
207
627995
2643
و چالش اصلی، در واقع خود ما هستیم.
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
همانطور که قبلا اشاره کردم،
ما بد رفتار میکنیم.
ما بد رفتار میکنیم.
10:47
In fact, some of us are downright nasty.
209
635290
2321
در واقعا بعضی از ما
کاملا بدجنس هستیم.
کاملا بدجنس هستیم.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
حالا همانطور که گفتم،
ربات مجبور نیست که رفتار رو تقلید کنه.
ربات مجبور نیست که رفتار رو تقلید کنه.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
ربات از خودش هیچ هدفی ندارد.
10:56
It's purely altruistic.
212
644322
1737
و کاملا نوع دوست هست.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
و برای این طراحی نشده که خواسته های
یک انسان یا کاربر رو برآورده کنه،
یک انسان یا کاربر رو برآورده کنه،
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
در حقیقت، ربات باید
به ترجیحات همه احترام بگذارد.
به ترجیحات همه احترام بگذارد.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
پس میتونه مقدار مشخصی
از بدرفتاری رو تحمل کنه،
از بدرفتاری رو تحمل کنه،
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
و حتی میتونه سوءرفتار شما رو درک کنه،
11:15
you may take bribes as a passport official
217
663582
2671
مثلا اینکه شما
به عنوان مامور اداره گذرنامه رشوه میگیرد
به عنوان مامور اداره گذرنامه رشوه میگیرد
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
دلیلش اینه که شما نان آور خانواده اید
و بچه هاتون رو به مدرسه بفرستین.
و بچه هاتون رو به مدرسه بفرستین.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
ربات میتونه این موضوع رو بفهمه،
و اینطوری نیست که دزدی کنه.
و اینطوری نیست که دزدی کنه.
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
در واقع کمکتون خواهد کرد
که بچه‌هاتون رو به مدرسه بفرستین.
که بچه‌هاتون رو به مدرسه بفرستین.
11:28
We are also computationally limited.
221
676976
3012
ما همچنین از نظر محاسباتی هم محدود هستیم.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Lee Sedol یک بازیکن با استعداد Go هست.
11:34
but he still lost.
223
682541
1325
ولی با این وجود بازنده است.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
پس اگر به حرکاتش دقت کنیم،
یک حرکتی بود که به شکستش منجر شد.
یک حرکتی بود که به شکستش منجر شد.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
این به این معنی نیست که اون میخواست ببازه.
11:43
So to understand his behavior,
226
691340
2040
پس برای فهمیدن رفتارش
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
ما باید از یک مدل
انسان شناختی استفاده کنیم
انسان شناختی استفاده کنیم
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
که شامل محدودیت‌های محاسباتی میشود.
که یک مدل بسیار پیچیده است.
که یک مدل بسیار پیچیده است.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
ولی همچنان این چیزی هست
که برای فهمیدن میتونیم روش کار کنیم.
که برای فهمیدن میتونیم روش کار کنیم.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
به نظر من به عنوان یک محقق هوش مصنوعی،
دشوارترین بخش ماجرا
دشوارترین بخش ماجرا
12:02
is the fact that there are lots of us,
231
710220
2575
این حقیقته که
تعداد زیادی از ما(انسان‌ها) وجود دارد.
تعداد زیادی از ما(انسان‌ها) وجود دارد.
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
بنابراین ماشین‌ها باید به طریقی
یک مصالحه و توازن
یک مصالحه و توازن
12:09
of many different people,
233
717899
2225
بین ترجیحات افراد مختلف برقرار کنن.
12:12
and there are different ways to do that.
234
720148
1906
و راه‌های زیادی برای این کار وجود دارند.
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
اقتصاددان‌ها، جامعه شناس ها،
فلاسفه اخلاق مدار متوجه شده اند
فلاسفه اخلاق مدار متوجه شده اند
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
که ما فعالانه در حال همکاری هستیم.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
بیاین ببینیم وقتی که
اشتباه برداشت کنید چه اتفاقی خواهد افتاد.
اشتباه برداشت کنید چه اتفاقی خواهد افتاد.
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
شما میتونین یک گفتگو داشته باشین،
12:25
with your intelligent personal assistant
239
733702
1944
مثلا با دستیار شخصی هوشمندتان،
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
که احتمالا در آینده نزدیک در دسترس باشد.
12:29
Think of a Siri on steroids.
241
737979
2524
مثلا به یک نمونه قوی از Siri فکر کنید
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
Siri بهتون میگه که: «همسرتون زنگ زد
تا برای شام امشب بهتون یادآوری کنه»
تا برای شام امشب بهتون یادآوری کنه»
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
و البته شما هم فراموش کرده بودید
چی؟ کدوم شام؟
چی؟ کدوم شام؟
12:41
What are you talking about?"
244
749148
1425
راجع به چی حرف میزنی؟
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
امم...بیستمین سالگرد ازدواجتون ساعت ۷ شب
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
من نمیتونم برم.
ساعت ۷:۳۰ با دبیرکل سازمان ملل جلسه دارم.
ساعت ۷:۳۰ با دبیرکل سازمان ملل جلسه دارم.
12:52
How could this have happened?"
247
760658
1692
چطوری اینطوری شد؟»
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
«من بهت هشدار داده بودم،
ولی تو پیشنهاد من رو نشنیده گرفتی.»
ولی تو پیشنهاد من رو نشنیده گرفتی.»
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
«خب حالا چیکار کنم؟
نمیتونم بهش بگم که من خیلی سرم شلوغه.
نمیتونم بهش بگم که من خیلی سرم شلوغه.
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
نگران نباش. من پروازش رو طوری گذاشتم
که تاخیر داشته باشه.»
که تاخیر داشته باشه.»
13:07
(Laughter)
251
775795
1682
(خنده حاضرین)
13:10
"Some kind of computer malfunction."
252
778249
2101
«یک نوع خطای کارکرد کامپیوتری.»
13:12
(Laughter)
253
780374
1212
(خنده حاضرین)
13:13
"Really? You can do that?"
254
781610
1617
«جدی؟ تو میتونی این کارو بکنی؟»
13:16
"He sends his profound apologies
255
784400
2179
«ایشان ازتون عمیقاً عذرخواهی خواهد کرد.
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
و از شما خواهد خواست که
فردا ناهار همدیگررو ببینین.»
فردا ناهار همدیگررو ببینین.»
13:21
(Laughter)
257
789182
1299
(خنده حاضرین)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
ولی اینجا یک مشکلی هست.
13:26
This is clearly following my wife's values
259
794932
3009
ربات به وضوح داره
به ارزش‌های همسر من توجه میکنه:
به ارزش‌های همسر من توجه میکنه:
13:29
which is "Happy wife, happy life."
260
797965
2069
که همون "همسر شاد، زندگی شاد" است.
13:32
(Laughter)
261
800058
1583
(خنده حاضرین)
13:33
It could go the other way.
262
801665
1444
میتونست جور دیگه ای باشه.
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
ممکن بود شما بعد از یک روز سخت کاری
بیاین خونه،
بیاین خونه،
13:38
and the computer says, "Long day?"
264
806046
2195
و کامپیوتر بگه:
«روز سخت و طولانی بود؟»
«روز سخت و طولانی بود؟»
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
«آره، حتی برای ناهار خوردن هم وقت نداشتم.»
13:42
"You must be very hungry."
266
810577
1282
«باید خیلی گرسنت باشه.»
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
«آره دارم از گشنگی میمیرم.
میتونی برام شام درست کنی؟»
میتونی برام شام درست کنی؟»
13:48
"There's something I need to tell you."
268
816070
2090
«یه چیزی هست که باید بهت بگم.»
13:50
(Laughter)
269
818184
1155
(خنده حاضرین)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
«یه سری آدم در سودان جنوبی هستن
که بیشتر از تو در شرایط اضطراری قرار دارن»
که بیشتر از تو در شرایط اضطراری قرار دارن»
13:57
(Laughter)
271
825122
1104
(خنده حاضرین)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
«پس من میرم. خودت شامت رو درست کن.»
14:00
(Laughter)
273
828349
2000
(خنده حاضرین)
14:02
So we have to solve these problems,
274
830823
1739
بنابراین باید این مشکلات رو حل کنیم
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
و من با رغبت دارم
روی این مشکلات کار میکنم.
روی این مشکلات کار میکنم.
14:07
There are reasons for optimism.
276
835125
1843
دلایلی برای خوشبین بودن وجود دارن.
14:08
One reason is,
277
836992
1159
یک دلیل،
14:10
there is a massive amount of data.
278
838175
1868
اینه که حجم زیادی از داده داریم.
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
چون اگر یادتون باشه،
من گفتم که ربات‌ها هر چیزی که
من گفتم که ربات‌ها هر چیزی که
14:14
the human race has ever written.
280
842885
1546
انسان تا کنون نوشته
را خواهند خواند.
را خواهند خواند.
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
بیشتر چیزهایی که ما مینویسیم
درباره کارهای بشر هستش.
درباره کارهای بشر هستش.
14:19
and other people getting upset about it.
282
847203
1914
و بقیه مردم به خاطرش ناراحت میشن.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
پس انبوهی از داده برای یادگیری وجود داره.
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
یک انگیزه اقتصادی قوی هم برای انجام
14:27
to get this right.
285
855331
1186
این کار هست.
14:28
So imagine your domestic robot's at home.
286
856541
2001
ربات خدمتکارتون در منزل رو تصور کنید.
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
شما باز هم دیر از سر کار بر میگردین،
و ربات باید به بچه‌ها غذا بده.
و ربات باید به بچه‌ها غذا بده.
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
بچه‌ها گشنه هستند
و هیچ غذایی در یخچال نیست.
و هیچ غذایی در یخچال نیست.
14:36
And the robot sees the cat.
289
864504
2605
و ربات گربه رو میبینه!
14:39
(Laughter)
290
867133
1692
(خنده حاضرین)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
و ربات تابع ارزش گذاری انسان ها رو
به خوبی یاد نگرفته
به خوبی یاد نگرفته
14:45
so it doesn't understand
292
873063
1251
بنابراین نمیفهمه
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
که ارزش معنوی گربه
از ارزش غذایی آن بیشتر است.
از ارزش غذایی آن بیشتر است.
14:51
(Laughter)
294
879206
1095
(خنده حضار)
14:52
So then what happens?
295
880325
1748
بعدش چی میشه؟
14:54
Well, it happens like this:
296
882097
3297
یه چیزی تو این مایه‌ها:
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
"ربات ظالم، برای شام خانواده گربه می‌پزد"
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
این حادثه احتمالا
پایان صنعت ربات‌های خانگی باشد.
پایان صنعت ربات‌های خانگی باشد.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
پس انگیزه زیادی
برای درست شدن این موضوع وجود دارد.
برای درست شدن این موضوع وجود دارد.
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
خیلی زودتر از اینکه
به ماشین‌های فوق هوشمند برسیم.
به ماشین‌های فوق هوشمند برسیم.
15:12
So to summarize:
301
900128
1535
پس برای جمع بندی:
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
من در اصل دارم سعی میکنم
که تعریف هوش مصنوعی رو طوری عوض کنم
که تعریف هوش مصنوعی رو طوری عوض کنم
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
که ماشین های سودمندی داشته باشیم.
15:19
And the principles are:
304
907609
1222
و این اصول عبارتند از:
15:20
machines that are altruistic,
305
908855
1398
ماشین‌ها نوع دوست هستند.
15:22
that want to achieve only our objectives,
306
910277
2804
و فقط میخوان به اهدافی که ما داریم برسن.
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
ولی درباره چیستی این اهداف مطمئن نیستند.
15:28
and will watch all of us
308
916245
1998
و به ما نگاه میکنند
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
تا یادبگیرند
این اهدافی که ما میخواهیم چه هستند.
این اهدافی که ما میخواهیم چه هستند.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
و امیدوارم در این فرآیند،
ما هم یادبگیریم که مردم بهتری باشیم.
ما هم یادبگیریم که مردم بهتری باشیم.
15:37
Thank you very much.
311
925956
1191
خیلی ممنون.
15:39
(Applause)
312
927171
3709
(تشویق حاضرین)
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
کریس اندسون: خیلی جالب بود استوارت.
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
ما یکم باید اینجا وایستیم
چون عوامل دارن صحنه رو
چون عوامل دارن صحنه رو
15:47
for our next speaker.
315
935990
1151
برای سخنرانی بعدی آماده میکنن.
15:49
A couple of questions.
316
937165
1538
چندتا سوال:
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
ایده برنامه‌ریزی در بی خبری
به نظر خیلی قدرتمند میاد.
به نظر خیلی قدرتمند میاد.
15:56
As you get to superintelligence,
318
944204
1594
وقتی که که به هوش قوی برسیم.
15:57
what's going to stop a robot
319
945822
2258
چه چیزی مانع رباتی میشه که
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
متنی رو میخونه و به این ایده میرسه که
16:02
is actually better than ignorance
321
950980
1572
اون دانش بهتر از ندانستن است
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
و اهدافش رو تغییر بده
و دوباره برنامه ریزی کنه؟
و دوباره برنامه ریزی کنه؟
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
استوارت راسل: آره همانطور که گفتم،
ما میخوایم که ربات درباره اهداف ما
ما میخوایم که ربات درباره اهداف ما
16:16
about our objectives.
324
964072
1287
بیشتر یاد بگیره.
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
ربات فقط وقتی مطمئن تر میشه
که موضوع درست‌تر باشه.
که موضوع درست‌تر باشه.
16:22
so the evidence is there
326
970928
1945
شواهد گویا هستند.
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
و ربات طوری طراحی میشه که درست تفسیر کنه.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
مثلا میفهمه که کتاب‌ها خیلی
در شواهدی که دارند
در شواهدی که دارند
16:31
in the evidence they contain.
329
979625
1483
جانبدارانه عمل میکنند.
16:33
They only talk about kings and princes
330
981132
2397
فقط درباره پادشاهان و شاهزادگان حرف میزنن.
16:35
and elite white male people doing stuff.
331
983553
2800
و مردان سفید پوست فوق العاده ای
که مشغول کاری هستند.
که مشغول کاری هستند.
16:38
So it's a complicated problem,
332
986377
2096
بنابراین این یک مشکل پیچیده است.
16:40
but as it learns more about our objectives
333
988497
3872
ولی همانطور که ربات
داره درباره اهداف ما یاد میگیره.
داره درباره اهداف ما یاد میگیره.
16:44
it will become more and more useful to us.
334
992393
2063
برای ما بیشتر و بیشتر کاربردی میشه.
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
ک آ: پس نمیشه اینو تبدیل به یک قانون کنیم
16:49
you know, hardwired in:
336
997030
1650
و به صورت کورکورانه بگیم که:
16:50
"if any human ever tries to switch me off,
337
998704
3293
«اگر هر انسانی سعی کرد منو خاموش کنه
16:54
I comply. I comply."
338
1002021
1935
من پیروی میکنم. من پیروی میکنم.»
16:55
SR: Absolutely not.
339
1003980
1182
قطعا اینطور نیست.
16:57
That would be a terrible idea.
340
1005186
1499
اینطوری خیلی بد میشد.
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
مثلا تصور کنید که یک ماشین خودران دارید.
17:01
and you want to send your five-year-old
342
1009422
2433
و میخواهید بچه پنج سالتون رو
17:03
off to preschool.
343
1011879
1174
به مدرسه بفرستید.
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
آیا شما میخواین که بچه پنج سالتون
بتونه ماشین رو موقع رانندگی
بتونه ماشین رو موقع رانندگی
17:08
while it's driving along?
345
1016202
1213
خاموش کنه؟
17:09
Probably not.
346
1017439
1159
احتمالا نه.
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
پس ربات باید بتونه درک کنه
که آدم چقدر منطقی و معقول هست.
که آدم چقدر منطقی و معقول هست.
17:15
The more rational the person,
348
1023349
1676
هرچه انسان منطقی تر باشد،
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
ربات بیشتر تمایل دارد
که بگذارد خاموش شود.
که بگذارد خاموش شود.
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
اگر شخص کاملا تصادفی یا خرابکار باشد
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
ربات کمتر تمایل دارد که بگذارد خاموش شود.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
خب استوارت، فقط میتونم بگم که
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
من واقعا، واقعا امیدوارم تو برای ما
این مشکل رو حل کنی.
این مشکل رو حل کنی.
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
ممنون بابت سخنرانی.
فوق العاده بود.
فوق العاده بود.
17:30
SR: Thank you.
355
1038906
1167
ممنون.
17:32
(Applause)
356
1040097
1837
(تشویق حضار)
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com