TED2017
Stuart Russell: 3 principles for creating safer AI
ستيوارت راسل: كيفَ يُمكنُ للذّكاءِ الاصطناعي أن يجعلنا أُناسًا أفضل
Filmed:
Readability: 3.9
1,465,832 views
هل سيكون بإمكاننا تسخيرُ الذّكاءِ الخارقِ الذي ستُزوّد تقنيّات الذكاء الاصطناعي الآلاتَ بِه لخدمتنا؟ وهل سنتمكّن من منعُ كارثةِ السيطرة الروبوتيّة على العالم؟ في الوقتِ الذي نظنُّ بِهِ أنفسنا نقتربُ من الوصولِ إلى آلاتٍ خارقةِ الذّكاء، يرى الباحثُ الرّائد في مجالِ الذكاءِ الاصطناعي ستيوارت راسل بأنَّ تركيزَنا يجبُ أن ينصبَّ على شيءٍ آخر: روبوتاتٌ محدودةُ الثقةِ بمعلوماتها. استمعوا إلى نظرتهِ حولَ الذّكاءِ الاصطناعي التي تؤكّدُ ضرورةَ تسخيرِ الآلاتِ لخدمة البشر، من خلالِ برمجتها وفقاً لقيمٍ بشريّةٍ كإيثارِ مصلحةِ الآخرين.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
أمامَكُم لي سيدول.
00:12
This is Lee Sedol.
0
712
1552
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
لي سيدول هو واحدٌ من أفضلِ لاعبي
لُعبةِ "غو" على مستوى العالم
لُعبةِ "غو" على مستوى العالم
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
وهو يمرّ بما يدعوه أصدقائي
في سيليكون فالي
في سيليكون فالي
00:21
a "Holy Cow" moment --
3
9218
1510
بلحظةِ "يا للهول!"
00:22
(Laughter)
4
10752
1073
(ضحك)
00:23
a moment where we realize
5
11849
2188
هيَ لحظةٌ نُدرِكُ عندها
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
بأنّ تقنيّات الذكاء الاصطناعي
تتطوّر بسرعة أكبرَ بكثيرٍ ممّا توقعنا.
تتطوّر بسرعة أكبرَ بكثيرٍ ممّا توقعنا.
إذاً فقد خسرَ البشرُ في لعبةِ "غو"
لكِنْ ماذا عنِ العالمِ الواقعيّ؟
لكِنْ ماذا عنِ العالمِ الواقعيّ؟
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
00:33
Well, the real world is much bigger,
8
21225
2100
العالمُ الواقعيّ حقيقةً، أكبرُ بكثيرٍ
00:35
much more complicated than the Go board.
9
23349
2249
و أشدُّ تعقيداً مِنْ لُعبةِ "غو".
صحيحٌ بأنّهُ أقلُّ وضوحاً
00:37
It's a lot less visible,
10
25622
1819
00:39
but it's still a decision problem.
11
27465
2038
لكنّه يُصنّفُ أيضاً كقضيّةِ اتخاذِ قرارات.
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
ولو نظرنا إلى بعضِ التّقنياتِ
00:45
that are coming down the pike ...
13
33293
1749
التي ظهرتْ على السّاحةِ مؤخّراً
فإنَّ نوريكو أراي قالت أن الآلات
لا تستطيع القراءة بعد
لا تستطيع القراءة بعد
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
على الأقل على مستوى الفهم.
00:52
at least with understanding.
15
40097
1500
لكن هذا سيحصل،
00:53
But that will happen,
16
41621
1536
و حينما يحصلُ ذلك،
00:55
and when that happens,
17
43181
1771
لَنْ تستغرِقَ طويلاً،
00:56
very soon afterwards,
18
44976
1187
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
قبلَ أَنْ تقرأَ وتفهمَ
كلَّ ما توصّل إليهِ البشرُ مِن عِلم.
كلَّ ما توصّل إليهِ البشرُ مِن عِلم.
و هذا ما سيُمكِّنها،
01:03
And that will enable machines,
20
51850
2030
باستخدامِ قُدُراتِها الهائلةِ
في حسابِ الاحتمالاتِ المستقبليّة،
في حسابِ الاحتمالاتِ المستقبليّة،
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
01:08
as we've already seen in Go,
22
56848
1680
كما رأينا لتوّنا في لعبةِ "غو"،
إنْ تمكّنت
من الوصولِ إلى المزيدِ من المعلومات،
من الوصولِ إلى المزيدِ من المعلومات،
01:10
if they also have access
to more information,
to more information,
23
58552
2164
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
من اتّخاذِ قراراتٍ أكثرَ منطقيّةً
من قراراتنا في العالمِ الواقعيّ.
من قراراتنا في العالمِ الواقعيّ.
01:18
So is that a good thing?
25
66792
1606
إذاً، هل هذا شيءٌ جيّد؟
01:21
Well, I hope so.
26
69898
2232
أتمنّى ذلكَ حقيقةً.
الحضارةُ البشريّةُ بأكملها
و كلّ شيءٍ ذو قيمةٍ لدينا
و كلّ شيءٍ ذو قيمةٍ لدينا
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
01:29
is based on our intelligence.
28
77973
2068
تمَّ بفضلِ ذكائنا نحن.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
وإنْ تمكنّا من الحصولِ
على ذكاءٍ أكثر،
على ذكاءٍ أكثر،
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
لن يكونَ حينها هناكَ شيءٌ
لن يستطيعَ البشرُ القيامَ به.
لن يستطيعَ البشرُ القيامَ به.
وأعتقدُ بأنّ إنجازاً كَهذا منَ الممكنِ
أن يُصنّف كما وصفهُ البعضُ
أن يُصنّف كما وصفهُ البعضُ
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
01:44
the biggest event in human history.
32
92014
2016
كأعظمِ إنجازٍ في تاريخِ البشريّة.
01:48
So why are people saying things like this,
33
96665
2829
لماذا يقولُ بعضُ الأشخاصِ إذاً
أشياءَ كهذه:
أشياءَ كهذه:
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
بأنّ الذكاءَ الاصطناعيَّ سيقضي
على الجنسِ البشريّ؟
على الجنسِ البشريّ؟
01:55
Is this a new thing?
35
103438
1659
هل ظهرت هذهِ الفكرةُ من جديد؟
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
هل هي مجرّد فكرةٍ يؤمنُ بها كلٌّ من
إيلون ماسك، بيل غيتس، وستيفن هوكنغ؟
إيلون ماسك، بيل غيتس، وستيفن هوكنغ؟
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
حقيقةً لا،
هذه الفكرةُ موجودةٌ منذ زمنٍ بعيد.
هذه الفكرةُ موجودةٌ منذ زمنٍ بعيد.
02:05
Here's a quotation:
38
113239
1962
وسأعرِضُ لَكُم مقولةً شهيرة:
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
"حتى ولوّ تمكّنا
من إبقاءِ الآلاتِ تحتَ سيطرتنا"
من إبقاءِ الآلاتِ تحتَ سيطرتنا"
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
"عبرَ إطفاءِها مثلاً حينما يلزمُ الأمر"
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
وسأعودُ لاحقاً لهذهِ الفكرة
-قطع مصدر الطاقة عن الآلة-
-قطع مصدر الطاقة عن الآلة-
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
"علينا كبشر أن نشعر بالتواضع."
مقولةُ من هذه إذاً؟
إنّها مقولةُ آلان تورينغ، عامَ 1951
إنّها مقولةُ آلان تورينغ، عامَ 1951
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
آلان تورينغ كما نعلمُ جميعاً
هو مؤسّسُ علومِ الحاسب
هو مؤسّسُ علومِ الحاسب
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
والأبُ الروحيّ للذكاءِ الاصطناعيِّ كذلك.
إنْ فكّرنا إذاً في هذهِ القضيّة،
02:33
So if we think about this problem,
46
141239
1882
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
قضيّةُ صُنعِ شيءٍ أكثرَ ذكاءً
ممّا أنتَ عليه
ممّا أنتَ عليه
02:38
we might call this "the gorilla problem,"
48
146956
2622
قد نجد "قضيّة الغوريلا"
اسماً مناسباً لها،
اسماً مناسباً لها،
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
لأنَّ أجدادَ الغوريلا قاموا بهذا
منذُ عدّةِ ملايينِ سنة،
منذُ عدّةِ ملايينِ سنة،
02:46
and now we can ask the gorillas:
50
154119
1745
لِمَ لا نستشيرُ الغوريلّا إذاً:
هَل كانتْ هذهِ فكرةً جيّدة؟
02:48
Was this a good idea?
51
156752
1160
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
وها هُم يتباحثون فيما بينهم
ليُقدّموا لّنا الإجابة،
ليُقدّموا لّنا الإجابة،
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
ويبدو أنّ إجابتهم بالإجماعِ هيَ:
02:56
this was a terrible idea.
54
164860
1345
"لا! لقد كانت فكرةً فظيعة!"
02:58
Our species is in dire straits.
55
166229
1782
"نحنُ في حالةٍ يُرثى لها."
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
يمكننا حقيقةً رؤيةُ التعاسةِ جيّداً
في أعينهم.
في أعينهم.
(ضحك)
03:04
(Laughter)
57
172825
1640
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
ويبدو بأنّه قد حانَ دورنا
لِنُحسَّ بأنَّ صُنعَ شيءٍ أذكى مِنّا
لِنُحسَّ بأنَّ صُنعَ شيءٍ أذكى مِنّا
03:11
is maybe not a good idea --
59
179353
2365
قد لا يكونُ فكرةً سديدة --
لكن ما الحلّ حيالَ هذا؟
03:14
what can we do about that?
60
182488
1491
حسنًا، لا شيء، ماعدا التوقفُ
عن تطويرِ تقنيّات الذكاءِ الاصطناعي،
عن تطويرِ تقنيّات الذكاءِ الاصطناعي،
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
ولكنْ نظراً للفوائدِ التي ذكرتُها
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
03:23
and because I'm an AI researcher,
63
191328
1716
ولأنني باحث في هذا المجال
03:25
I'm not having that.
64
193068
1791
فأنا لن أقبل بحلٍّ كهذا.
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
أودّ حقيقةً الاستمرارَ
في تطويرِ هذهِ التقنيّات.
في تطويرِ هذهِ التقنيّات.
لذا أرى بأنّه علينا
أنْ نكونَ أكثرَ وضوحاً.
أنْ نكونَ أكثرَ وضوحاً.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
03:33
What exactly is the problem?
67
201317
1371
ونجدَ المشكلةَ الحقيقيّة.
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
لمَ قد يؤدّي تحسينُ هذه التقنياتِ
إلى نتائجَ كارثيّة؟
إلى نتائجَ كارثيّة؟
سأعرضُ لكم مقولةً أخرى:
03:39
So here's another quotation:
69
207398
1498
"كانَ علينا أن نتأكد
من أن المغزى من تصميم آلة
من أن المغزى من تصميم آلة
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
03:45
is the purpose which we really desire."
71
213294
2298
هو المغزى الذي نرجوه حقيقة"
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
هذا ما قالهُ نوربرت ويينر
عامَ 1960،
عامَ 1960،
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
بعدَ مُشاهدتهِ أحدَ أوّل الآلاتِ الذكيّةِ
تتغلّبُ على مُخترعها في لعبةِ "تشيكرز".
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
04:00
But this could equally have been said
75
228602
2683
و لكنَّ الشيءَ ذاتهُ ينطبقُ على ماحصلَ
04:03
by King Midas.
76
231309
1167
للمَلِكِ مايدس.
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
إذ قال الملكُ مايدس،" أريد أن يتحول
كل ما ألمسه ذهبًا"
كل ما ألمسه ذهبًا"
04:08
and he got exactly what he asked for.
78
236241
2473
وقد تحقَّقَت أمنيتهُ بحذافيرها.
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
هذا هوَ ما صمّم آلتُه لتقومَ بهِ
04:13
so to speak,
80
241513
1450
إن صحّ التعبير،
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
و هكذا تحوّل طعامُه و شرابه
و حتى أقرباؤه، جميعهم إلى ذهب.
و حتى أقرباؤه، جميعهم إلى ذهب.
04:18
and he died in misery and starvation.
82
246455
2281
وماتَ في النهاية تعيساً جائعاً.
سنُسمّي هذه القضيّة إذاً
بقضيّة الملك مايدس
بقضيّة الملك مايدس
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
قضيّةُ تحديد هدفٍ
04:28
truly aligned with what we want.
85
256138
2413
لا يتماشى فعلًا مع ما نريده حقًا.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
و هي قضيّة نسمّيها أكاديميّاً
بقضيّة توافقِ الأهداف.
بقضيّة توافقِ الأهداف.
ولكن وضع أهداف خاطئة
ليس الجزء الوحيد في المشكلة.
ليس الجزء الوحيد في المشكلة.
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
04:40
There's another part.
88
268556
1152
هنالِكَ جُزءٌ آخر.
04:42
If you put an objective into a machine,
89
270160
1943
إن وضعت هدفًا لآلة ما،
لتقومَ بشيءٍ
ولوّ كانَ ببساطةِ جلبِ القهوة،
ولوّ كانَ ببساطةِ جلبِ القهوة،
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
04:47
the machine says to itself,
91
275908
1841
الآلةُ ستقولُ لنفسها،
"ما الذي قد يُعيقني عن جلب القهوة؟"
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
04:53
Someone might switch me off.
93
281380
1580
"قد يقوم شخصٌ ما بإطفائي!"
04:55
OK, I have to take steps to prevent that.
94
283645
2387
"حسناً!"
"سوف أمنع حصول هذا."
"سوف أمنع حصول هذا."
04:58
I will disable my 'off' switch.
95
286056
1906
"سوف أعطّل مفتاح إيقاف تشغيلي!"
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
"سأفعل أيّ شيءٍ يحفظُ لي مهمّتي"
"لن أسمحَ لأحدٍ بِأنْ يمنعني من أدائها."
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
05:06
So this single-minded pursuit
98
294170
2012
هذا التفكيرِ الذاتي الذي قامت به الآلة،
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
بطريقة دفاعية محضة للدفاع عن هدف،
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
لا يتوافقُ مع الأهداف الحقيقية
للجنس البشري --
للجنس البشري --
هذه هي مشكلتنا التي نواجهها.
05:16
that's the problem that we face.
101
304122
1862
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
في الواقع، هذهِ أهمّ فكرةٍ أودُّ مِنكم
تذكُّرَها مِن هذه المحادثة.
تذكُّرَها مِن هذه المحادثة.
إن أردتم تذكّر شيءٍ وحيدٍ من حديثي،
تذكروا التالي:
تذكروا التالي:
05:23
If you want to remember one thing,
103
311798
2055
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
"لنْ تستطيعَ جلبَ القهوةِ لأحدٍ
وأنتَ ميتْ."
وأنتَ ميتْ."
05:28
(Laughter)
105
316576
1061
(ضحك)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
قاعدةٌ بمنتهى البساطة، صحيح؟
ردّدوها ثلاثَ مرّاتٍ يوميّاً.
ردّدوها ثلاثَ مرّاتٍ يوميّاً.
05:33
(Laughter)
107
321514
1821
(ضحك)
05:35
And in fact, this is exactly the plot
108
323359
2754
في الواقع، هذا هوَ تماماً ماحصلَ
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
في الفلمِ الشّهيرِ (2001: رحلةُ الفضاء)
05:41
HAL has an objective, a mission,
110
329226
2090
الحاسوبُ (هال) أرادَ قيادةَ المهمّةِ
لكنّ هذا ليسَ تماماً ما أرادهُ
البشرُ مِنه كحاسوب
البشرُ مِنه كحاسوب
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
وأدّى هذا لِمُعارضةِ (هال)
أوامرَ الطّاقَمْ.
أوامرَ الطّاقَمْ.
05:47
and that leads to this conflict.
112
335096
1810
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
لِحُسن الحظِّ
لم يَكُنْ (هال) خارقَ الذّكاء.
لم يَكُنْ (هال) خارقَ الذّكاء.
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
كانَ ذكيّاً فعلاً،
ولكِنّ (ديف) كانَ أذكى مِنه
ولكِنّ (ديف) كانَ أذكى مِنه
05:56
and manages to switch him off.
115
344098
1849
وتمكّن من إيقافهِ عن العمل.
لكنّنا
قد لا نكونُ مَحظوظينَ على الدّوام.
قد لا نكونُ مَحظوظينَ على الدّوام.
06:01
But we might not be so lucky.
116
349828
1619
06:08
So what are we going to do?
117
356193
1592
ما الذي سنفعلهُ إذاً؟
أحاولُ حقيقةً أنْ أقومَ
بإعادةِ تعريفِ الذّكاءِ الاصطناعي
بإعادةِ تعريفِ الذّكاءِ الاصطناعي
06:12
I'm trying to redefine AI
118
360371
2601
06:14
to get away from this classical notion
119
362996
2061
بطريقةٍ تُنهي جميعَ الشكوكِ
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
حولَ إمكانيّةِ تمرُّدِ الآلاتِ
ومحاولتها تحقيقَ أهدافِها الشخصيّة.
ومحاولتها تحقيقَ أهدافِها الشخصيّة.
سأعتمدُ إذاً على ثلاثِ مبادئَ أساسيّة
06:22
There are three principles involved.
121
370712
1798
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
وأوّل مبدأٍ هوَ مبدأُ الإيثار
06:27
that the robot's only objective
123
375847
3262
بأنْ يكونَ الهدفُ الوحيدُ للرّوبوتِ هوَ
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
أنْ يُحاولَ تحقيقَ أكبرِ قدرٍ ممكنٍ
من أهدافِ البشر
من أهدافِ البشر
06:35
of human values.
125
383403
1390
و مِنْ قيم البشريّة.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
وبقيم البشريّةِ لستُ أعني
تلكَ المثاليّاتِ البعيدةَ عن الواقع.
تلكَ المثاليّاتِ البعيدةَ عن الواقع.
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
بل أعني بها أيّ شيءٍ
قد يفضل الإنسان
قد يفضل الإنسان
06:43
their life to be like.
128
391982
1343
أن تكون عليه حياته.
وهوَ ما ينتهكُ (قانونَ أزيموف)
06:47
And so this actually violates Asimov's law
129
395364
2309
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
بأنّه على الروبوتِ
حمايةُ حياتهِ الشخصيّة.
حمايةُ حياتهِ الشخصيّة.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
لايجبُ أنْ يهتمَّ الروبوتُ
بهكذا أمورٍ مطلقاً.
بهكذا أمورٍ مطلقاً.
أمّا المبدأ الثاني فَهوَ
مبدأُ التذلّلِ إنْ صحَّ التّعبير.
مبدأُ التذلّلِ إنْ صحَّ التّعبير.
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
وهوَ مهمٌّ للغايةِ لإبقاءِ
الروبوتاتِ آمنة.
الروبوتاتِ آمنة.
07:05
It says that the robot does not know
134
413741
3142
و ينُصُّ على أنَّ الروبوتَ
لا يعلمَ
لا يعلمَ
07:08
what those human values are,
135
416907
2028
بحقيقةِ المنافعِ التي سيحقّقها للبشريّةِ
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
ولكنّهُ سيعملُ على تحقيقِ أكبرِ قدرٍ منها
لكنه لا يعلم ماهيتها.
لكنه لا يعلم ماهيتها.
وهوَ ماسيوقفهُ عن اتّخاذِ قراراتهِ الخاصةِ
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
حولَ الهدفِ الموكلِ إليه.
07:17
of an objective.
138
425904
1212
07:19
This uncertainty turns out to be crucial.
139
427140
2172
إذ أن عدم اليقين يبدو أمرًا بالغ الأهمية.
لكنْ لكيّ يكونَ الروبوتُ مفيداً لنا
07:21
Now, in order to be useful to us,
140
429726
1639
07:23
it has to have some idea of what we want.
141
431389
2731
لابدّ مِنْ أنْ يمتلكَ فكرةً
عمّا نريده.
عمّا نريده.
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
ستسكتشِفُ الروبوتاتُ مانريدهُ مِنها
عبرَ مراقبةِ سلوكِنا
عبرَ مراقبةِ سلوكِنا
07:32
so our own choices reveal information
143
440674
2801
فاختياراتنا الشخصية ستعطي معلومات
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
عما نفضّلُ أن تكون حياتنا عليه.
07:40
So those are the three principles.
145
448632
1683
هذه هيَ إذاً المبادئُ الثلاثة.
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
لنرى سويّةً كيفَ يمكنُ تطبيقُ هذه المبادئ
على فكرة "قطع الطاقة عن الروبوت"
التي اقترحها (تيورنغ).
التي اقترحها (تيورنغ).
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
07:49
So here's a PR2 robot.
148
457073
2120
إذاً، سأقدّم إليكُم الرّوبوت (PR2)
07:51
This is one that we have in our lab,
149
459217
1821
الذي نمتلكهُ في مختبرنا للأبحاث.
ولديه كما ترونَ زرُّ إطفاءِ تشغيلٍ
أحمرُ كبيرٌ على ظهره.
أحمرُ كبيرٌ على ظهره.
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
والسّؤال هوَ:
هل سيسمحُ الروبوتُ لكَ بضغطِ هذا الزرّ؟
هل سيسمحُ الروبوتُ لكَ بضغطِ هذا الزرّ؟
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
إنْ تخيّلنا الموضوعَ كالمُعتاد
07:59
If we do it the classical way,
152
467180
1465
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
أنْ نخبرهُ بأنْ يجلبَ القهوةَ
ويفكّر: "يجب أن أجلب القهوة بأيّ ثمن"
ويفكّر: "يجب أن أجلب القهوة بأيّ ثمن"
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
"لكنني لن أستطيعَ جلبَ القهوةِ لأحدٍ
وأنا ميت"
وأنا ميت"
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
من الواضح أنَّ الروبوتَ كانَ يُشاهدُ
هذه المحادثة،
هذه المحادثة،
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
وبالتّالي سيقرّرُ الروبوت:
"سأعطّلُ زرَّ إطفاءِ تشغيلي إذاً!"
"سأعطّلُ زرَّ إطفاءِ تشغيلي إذاً!"
"سأصعقُ أيضاً الجميعَ في (ستارباكس)
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
08:17
who might interfere with me."
158
485694
1560
"لأنّهم قد يقفونَ في طريقي لجلبِ القهوة!"
08:19
(Laughter)
159
487278
2062
(ضحك)
08:21
So this seems to be inevitable, right?
160
489364
2153
لايبدو بأنهُ هناكَ مفرٌّ من هذا، صحيح؟
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
لايبدو بأنّ تجنّبَ أخطاءٍ كهذهِ أمرٌ ممكن
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
وهذا لأنّ الروبوتَ لديه هدفٌ صريحٌ.
لكنْ ماذا لَوْ جعلنا الروبوتَ
أقلَّ ثقةً بصحّةِ فهمهِ للهدف؟
أقلَّ ثقةً بصحّةِ فهمهِ للهدف؟
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
08:33
Well, it reasons in a different way.
164
501980
2127
سيفكّرُ حتماً عندها بطريقةٍ مختلفة.
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
سيقول لنفسه:
"قد يقومُ البشرُ بإيقافِ تشغيلي"
"قد يقومُ البشرُ بإيقافِ تشغيلي"
"لكنّ ذلك سيحصلُ فقط
إنْ فعلتُ شيئاً خاطئاً."
إنْ فعلتُ شيئاً خاطئاً."
08:39
but only if I'm doing something wrong.
166
507144
1866
"لكنّني لا أعلمُ ما الشيءُ الخاطئُ
الذي قد أفعله"
الذي قد أفعله"
08:41
Well, I don't really know what wrong is,
167
509747
2475
"أنا أعلمُ فقط بأنّني لاأريدُ فِعلَ
شيءٍ خاطئ"
شيءٍ خاطئ"
08:44
but I know that I don't want to do it."
168
512246
2044
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
وهذا تطبيقٌ للمبدأين الأوّل والثاني.
"لذا منَ الأفضلِ أنْ أتركَهُ يُطفئني"
08:49
"So I should let the human switch me off."
170
517348
3359
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
ويمكننا رياضيّاً حسابُ مدى التقبّلِ
الذي سيمتلكهُ الروبوت
الذي سيمتلكهُ الروبوت
08:57
to allow the human to switch it off,
172
525701
2493
لأنْ يقومَ البشرُ بإطفاءه.
09:00
and it's directly tied to the degree
173
528218
1914
وهذا مرتبط بشكل مباشر
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
بمدى تأكّدِ الرّوبوتِ
من فهمهِ للهدفِ من إطفاءه.
من فهمهِ للهدفِ من إطفاءه.
09:05
And then when the machine is switched off,
175
533977
2949
وهكذا تماماً
من خلالِ إطفاءِ الرّوبوت،
من خلالِ إطفاءِ الرّوبوت،
09:08
that third principle comes into play.
176
536950
1805
يكونُ المبدأُ الثالثُ قد تحقق.
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
لأنّ الروبوتَ سيكونُ قد تعلّمَ
مِن هذهِ التجربة
مِن هذهِ التجربة
بأنّهُ قد فعلَ شيئاً خاطئاً.
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
و يمكننا حقيقةً
باستعمالِ بعضِ الرّموز
باستعمالِ بعضِ الرّموز
09:20
as mathematicians usually do,
180
548016
2131
كما يفعلُ علماءُ الرياضيّاتِ عادةً
09:22
we can actually prove a theorem
181
550171
1984
أنْ نُثبتَ النظريّةَ القائلةَ
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
بأنَّ روبوتاً كهذا
سيكونُ حتماً مفيداً للإنسان.
سيكونُ حتماً مفيداً للإنسان.
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
وبأنَّ روبوتاً مصمّماً بهذهِ المعاييرِ
سيكونُ حتماً أكثرَ فائدةً
سيكونُ حتماً أكثرَ فائدةً
09:31
than without it.
184
559583
1246
من روبوتٍ مصمّمٍ من دونها.
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
هذا مثالٌ بسيطٌ إذاً
وهوَ الخطوةُ الأولى فقط
وهوَ الخطوةُ الأولى فقط
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
ممّا نحاولُ تحقيقهُ من خلالِ
الذّكاءِ الاصطناعي المطابق للإنسان.
الذّكاءِ الاصطناعي المطابق للإنسان.
09:42
Now, this third principle,
187
570657
3257
الآنَ إلى المبدأ الثالث،
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
و الذي أظنّه يدفعكم للتفكير بحيرة.
تفكرون بالتالي:
"و لكنني، كإنسانٍ أتصرّف بشكلٍ سيّء!"
"و لكنني، كإنسانٍ أتصرّف بشكلٍ سيّء!"
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
"لا أريدُ للروبوتِ أنْ يقلّدني!"
09:52
I don't want my robot to behave like me.
190
580337
2929
"لا أريدهُ أنْ يتسللَ في اللّيلِ
إلى المطبخِ ويأخُذَ طعاماً منَ الثلّاجة"
إلى المطبخِ ويأخُذَ طعاماً منَ الثلّاجة"
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
"أنا أفعل أشياءَ سيّئة!"
09:58
I do this and that."
192
586748
1168
بالطّبعِ هناكَ أشياءٌ عدّةٌ لانرغبُ
أنْ تقلّدنا الروبوتاتُ بها.
أنْ تقلّدنا الروبوتاتُ بها.
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
لكنّي لم أعنِ هذا
بالتعلّمِ من مراقبتنا
بالتعلّمِ من مراقبتنا
10:04
Just because you behave badly
195
592856
2155
فقط لأنّك تتصرف بشكلٍ سيّءٍ
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
لايعني بأنَّ الروبوتَ
سيقومُ بتقليدِ تصرّفاتك.
سيقومُ بتقليدِ تصرّفاتك.
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
بل سيتفهّم دوافعكَ
وربّما يساعدكَ في مقاومتها
وربّما يساعدكَ في مقاومتها
10:13
if appropriate.
198
601616
1320
إنْ لزمَ الأمر.
10:16
But it's still difficult.
199
604206
1464
و لكنّ الأمرَ لايزالُ صعباً.
10:18
What we're trying to do, in fact,
200
606302
2545
مانحاولُ الوصولَ إليهِ حقيقةً
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
هو جعلُ الآلاتِ قادرةً على اكتشافِ
الحياةِ التي سيفضّلُ الشّخص أن يعيشها
الحياةِ التي سيفضّلُ الشّخص أن يعيشها
10:26
that they could live,
202
614691
1161
كائناً من كان
10:27
and the lives of everybody else:
203
615876
1597
أيّاً تكن الحياة التي يريدُها
10:29
Which would they prefer?
204
617497
2517
مهما كانَ مايريده.
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
لكنّ عدداً هائلاً من المشاكل تواجهنا
في تحقيق ذلك
في تحقيق ذلك
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
ولا أتوقّع بأنّ نستطيع حلّها جميعها
في القريب العاجل.
في القريب العاجل.
10:39
The real difficulties, in fact, are us.
207
627995
2643
المشكلةُ الأصعبُ هي نحنُ للأسف.
فنحنُ نتصرّفُ بشكلٍ سيّءٍ
كما ذكرتُ قبل قليل.
كما ذكرتُ قبل قليل.
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
10:47
In fact, some of us are downright nasty.
209
635290
2321
و بعضُنا مؤذٍ للآخرين.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
رغمَ هذا، لن يقومَ الروبوتُ
بتقليدِ تصرّفاتنا السيّئة.
بتقليدِ تصرّفاتنا السيّئة.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
إذ ليست له أهداف شخصية خاصة.
10:56
It's purely altruistic.
212
644322
1737
فهو يؤثر الإيثار بطريقة صرفة.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
وهو ليس مصممًا لإرضاء شخص واحد، المستعمل،
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
لكن على الروبوتِ حقيقةً
أن يحترمَ ما يفضله الجميع.
أن يحترمَ ما يفضله الجميع.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
سيكون بإمكانهِ مثلاً تقبّلُ انحرافٍ
بسيطٍ عن الصواب
بسيطٍ عن الصواب
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
و سيتفهّم بأنّك لستَ سيّئاً جداً
11:15
you may take bribes as a passport official
217
663582
2671
فقط لأنّكَ تحصُلَ على بعضِ الرشاوى
كمسؤول جوازات سفر
كمسؤول جوازات سفر
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
وأنَّ السببَ هوَ حاجتكُ لإطعامِ عائلتكَ
ودفعِ أقساطِ المدرسةِ لأطفالك.
ودفعِ أقساطِ المدرسةِ لأطفالك.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
سيفهم الروبوتُ هذا
لكنّه لايعني بأنّه سيتعلّمُ السرقة.
لكنّه لايعني بأنّه سيتعلّمُ السرقة.
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
سيساعدكَ الروبوتُ
على إرسال أطفالك للمدرسة.
على إرسال أطفالك للمدرسة.
11:28
We are also computationally limited.
221
676976
3012
نحنُ البشرُ للأسفِ
محدودونَ في قدراتنا الحسابيّة.
محدودونَ في قدراتنا الحسابيّة.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
لي سيدول كان لاعبَ "غو" رائعاً،
11:34
but he still lost.
223
682541
1325
لكنّه خسر أمامَ حاسوب.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
ولَو راجعنا تحركاتِه خلالَ المباراةِ
لوجدنا حركةً خسرَ بسببها.
لوجدنا حركةً خسرَ بسببها.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
لكنّ ذلك لا يعني بأنّه قد خسرَ متعمّداً.
11:43
So to understand his behavior,
226
691340
2040
ولنفهمَ لمَ اختارَ هذهِ الحركةَ
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
علينا أن نقوم بمحاكاةٍ لتحرّكاته
عبرَ نموذجٍ حاسوبيّ لعملِ الدّماغ البشريّ
عبرَ نموذجٍ حاسوبيّ لعملِ الدّماغ البشريّ
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
يلتزم بمحدّدات البشرِ الحسابيّة
وهذا شيءٌ معقّدٌ للغاية.
وهذا شيءٌ معقّدٌ للغاية.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
ولكنّه شيءٌ بإمكاننا العملُ على فهمه.
و برأيي كباحثٍ في مجال الذكاء الاصطناعي،
إنَّ أصعبَ مشكلةٍ تواجهنا
إنَّ أصعبَ مشكلةٍ تواجهنا
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
12:02
is the fact that there are lots of us,
231
710220
2575
هي بأنّه هناك عددًا هائلًا من البشر،
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
و هو ما سيُرغمُ الآلاتِ على المفاضلةِ
بين الكثير من الخيارات
بين الكثير من الخيارات
12:09
of many different people,
233
717899
2225
التي يريدها العديدُ من الأشخاصِ
12:12
and there are different ways to do that.
234
720148
1906
بطرقٍ عديدةٍ لتنفيذِ كلّ خيارٍ منهم.
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
علماءُ الاقتصاد و باحثوا علم الإجتماع
جميعهم يفهمون هذا،
جميعهم يفهمون هذا،
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
ونحن نبحث جديًا عن التعاون في هذا الشأن.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
دعونا نلقي نظرةً على ما قد يحدثُ
حينما لا تسير الأمور على ما يرام.
حينما لا تسير الأمور على ما يرام.
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
قد تمرّ بمحادثةٍ كهذهِ مثلاً
12:25
with your intelligent personal assistant
239
733702
1944
مع مساعدكَ الشخصيّ الذكيّ
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
والذي قد يتوفّرُ في الأسواقِ
خلالَ بضعِ سنوات.
خلالَ بضعِ سنوات.
12:29
Think of a Siri on steroids.
241
737979
2524
نسخةٌ محسّنةٌ عن (سيري) مثلاً.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
تخبركَ (سيري) إذاً في المحادثةِ بأنَّ
زوجتكَ قد اتصلت لتذكّركَ بعشائكما الليلة.
زوجتكَ قد اتصلت لتذكّركَ بعشائكما الليلة.
وبالتّأكيدِ أنتَ لا تذكرُ شيئاً كهذا:
"ماذا! أيُّ عشاء!"
"ماذا! أيُّ عشاء!"
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
12:41
What are you talking about?"
244
749148
1425
"عمَّ تتحدثين؟!"
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
"عشاءُ السّابعةِ مساءً
في ذكرى زواجكما العشرين."
في ذكرى زواجكما العشرين."
"لا يمكنني الحضور! سألتقي
بالأمينِ العامِّ عندَ السابعة والنصف!"
بالأمينِ العامِّ عندَ السابعة والنصف!"
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
12:52
How could this have happened?"
247
760658
1692
"كيفَ حصلَ كلّ هذا؟"
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
"حذّرتكَ ولكِنْ،
هذا مايحصلُ حينما تتجاهلُ نصائحي."
هذا مايحصلُ حينما تتجاهلُ نصائحي."
"حسناً ماذا سأفعلُ الآن؟ لايمكنني إخبارُ
زوجتي بأنّي نسيتُ مناسبةً كهذه!"
زوجتي بأنّي نسيتُ مناسبةً كهذه!"
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
"لا تقلق."
"قمتُ بتأجيلِ موعدِ انطلاقِ طائرتها."
"قمتُ بتأجيلِ موعدِ انطلاقِ طائرتها."
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
(ضحك)
13:07
(Laughter)
251
775795
1682
13:10
"Some kind of computer malfunction."
252
778249
2101
"افتعلتُ بعضَ الأعطالِ في حاسوبِ
شركةِ الطّيران"
شركةِ الطّيران"
13:12
(Laughter)
253
780374
1212
(ضحك)
13:13
"Really? You can do that?"
254
781610
1617
"حقاً!"
"بإمكانكِ فِعلُ أشياءَ كهذه!"
"بإمكانكِ فِعلُ أشياءَ كهذه!"
13:16
"He sends his profound apologies
255
784400
2179
"ترسلُ زوجتكُ اعتذارها العميق"
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
"وتتطلّع للقاءكَ غداً على الغداء"
(ضحك)
13:21
(Laughter)
257
789182
1299
إذن فالقيم هنا --
يبدو إذاً بأنّهُ هناكَ خطأ طفيفًا
يبدو إذاً بأنّهُ هناكَ خطأ طفيفًا
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
13:26
This is clearly following my wife's values
259
794932
3009
وعلى مايبدو، فإنّه يتّبع مبادئَ زوجتي
13:29
which is "Happy wife, happy life."
260
797965
2069
و التي هي:
"أنت بخيرٍ مادامت زوجتك بخير."
"أنت بخيرٍ مادامت زوجتك بخير."
13:32
(Laughter)
261
800058
1583
(ضحك)
يمكنُ كذلكَ أنْ يحصُلَ العكس.
13:33
It could go the other way.
262
801665
1444
كأن تعودَ إلى المنزلِ
بعدَ يومٍ مُتعِبٍ في العمل
بعدَ يومٍ مُتعِبٍ في العمل
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
13:38
and the computer says, "Long day?"
264
806046
2195
ويرحّب بِك الروبوت:
"هل كانَ يوماً شاقاً؟"
"هل كانَ يوماً شاقاً؟"
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
"جدّاً! لدرجة أنّي لم أجد وقتاً
لتناولِ الغداء."
لتناولِ الغداء."
13:42
"You must be very hungry."
266
810577
1282
"لابدّ من أنّك جائعٌ إذاً"
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
"أتضور جوعًا.
هل بإمكانكِ تحضيرُ العشاء لي؟"
هل بإمكانكِ تحضيرُ العشاء لي؟"
"هناكَ شيءٌ عليك معرفته."
13:48
"There's something I need to tell you."
268
816070
2090
13:50
(Laughter)
269
818184
1155
(ضحك)
"هناكٌ أُناسٌ في جنوب السودانِ
في حاجةٍ ملحّةٍ للطعامِ أكثرَ منكَ بكثير!"
في حاجةٍ ملحّةٍ للطعامِ أكثرَ منكَ بكثير!"
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
13:57
(Laughter)
271
825122
1104
(ضحك)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
"أنا ذاهب إلى هناك!
اصنع طعامكَ بنفسك!"
اصنع طعامكَ بنفسك!"
14:00
(Laughter)
273
828349
2000
(ضحك)
14:02
So we have to solve these problems,
274
830823
1739
لذا، يجبُ أن نَحُلّ هذهِ المشاكل،
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
وأنا متحمّسٌ للعملِ عليهم.
14:07
There are reasons for optimism.
276
835125
1843
هناكَ أسبابٌ تدفعني للتفاؤل
14:08
One reason is,
277
836992
1159
و أحدُ هذه الأسباب:
14:10
there is a massive amount of data.
278
838175
1868
حجمُ البياناتِ الهائلُ الذي نمتلكهُ.
لأنَّ الروبوتاتِ كما أخبرتكم
ستقرأُ كلّ شيءٍ
ستقرأُ كلّ شيءٍ
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
قامَ البشرُ بكتابته.
14:14
the human race has ever written.
280
842885
1546
ومعظمُ ما نكتبُ عنهُ
هو قصصٌ عن أناسٍ يرتكبون أخطاءً
هو قصصٌ عن أناسٍ يرتكبون أخطاءً
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
وآخرين تزعجهم هذهِ الأخطاء.
14:19
and other people getting upset about it.
282
847203
1914
لذا ستتمكّن الروبوتاتُ
منْ تعلّمِ كلِّ هذا.
منْ تعلّمِ كلِّ هذا.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
ولدينا كذلكَ دافعٌ اقتصاديٌّ كبيرٌ
لإتمامِ الأمرِ دونَ أخطاء.
14:27
to get this right.
285
855331
1186
تخيّلو مثلاً روبوتَكم المنزليَّ
14:28
So imagine your domestic robot's at home.
286
856541
2001
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
وقد تأخرتم في عملكم مجدداً
لكنَّ على الروبوتَ أن يطعم أبناءكم،
لكنَّ على الروبوتَ أن يطعم أبناءكم،
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
والأطفال جائعون لكنّ الثلّاجةَ فارغة.
14:36
And the robot sees the cat.
289
864504
2605
سيبجثُ الروبوتُ عن أيِّ طعامٍ
وسيرى القطة.
وسيرى القطة.
14:39
(Laughter)
290
867133
1692
(ضحك)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
لكنّه لم يتعلّم بعدُ
قِيَمَكُم الإنسانيّة جيّداً
قِيَمَكُم الإنسانيّة جيّداً
14:45
so it doesn't understand
292
873063
1251
لذا لن يفهم
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
بأنَّ القيمة العاطفيّة للقطّةِ
تفوقُ قيمتها الغذائيّة.
تفوقُ قيمتها الغذائيّة.
(ضحك)
14:51
(Laughter)
294
879206
1095
14:52
So then what happens?
295
880325
1748
ماذا سيحصل عندها؟
14:54
Well, it happens like this:
296
882097
3297
في الواقع، سينتهي الأمرُ هكذا:
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
"روبوتٌ مختلٌّ قامَ بطبخِ
قطّة المنزلِ على العشاء"
قطّة المنزلِ على العشاء"
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
حادثٌ واحدٌ كهذا كفيلٌ بإنهاء
صناعة الروبوتات المنزلية.
صناعة الروبوتات المنزلية.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
لهذا لدينا دافعٌ حقيقيٌّ
لإتمام الأمرِ دون أخطاء
لإتمام الأمرِ دون أخطاء
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
حتّى قبلَ أن نتمكّن من اختراعِ
أيّ آلة خارقِة الذكاء.
أيّ آلة خارقِة الذكاء.
15:12
So to summarize:
301
900128
1535
إذاً كخلاصةٍ لكلامي:
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
أنا أحاولُ بجديّةٍ
تغييرَ تعريفِ الذّكاءِ الاصطناعي
تغييرَ تعريفِ الذّكاءِ الاصطناعي
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
بحيثُ يمكننا اختراعُ آلاتٍ
ذاتَ فائدةٍ مثبتةٍ علميّاً.
ذاتَ فائدةٍ مثبتةٍ علميّاً.
15:19
And the principles are:
304
907609
1222
و ما أقترحهُ كتعريف:
آلاتٌ تؤثرُ دوماً مصلحةَ البشر،
15:20
machines that are altruistic,
305
908855
1398
15:22
that want to achieve only our objectives,
306
910277
2804
و تسعى لتحقيقِ أهدافنا فقط،
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
لكنّها ليست متأكّدةً
من صحّةِ فهمها لهذهِ الأهداف،
من صحّةِ فهمها لهذهِ الأهداف،
15:28
and will watch all of us
308
916245
1998
لذا ستقومُ بمراقبتنا على الدوام
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
لكيّ تتعلّمَ أكثرَ عمّا نريدها
أنْ تساعدنا فيهِ حقّاً.
أنْ تساعدنا فيهِ حقّاً.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
وآمُلُ أنْ نتعلّم نحنُ أيضاً
مِنْ هذهِ التجاربِ كيفَ نصبحُ أناساً أفضل.
مِنْ هذهِ التجاربِ كيفَ نصبحُ أناساً أفضل.
15:37
Thank you very much.
311
925956
1191
شكراً لكم.
15:39
(Applause)
312
927171
3709
(تصفيق)
كريس أندرسون: هذا مشوّق جدّاً، ستيوارت.
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
سنبقى على المنصّةِ قليلاً،
لأنهم بصدد الإعداد للمحادثة التالية.
15:47
for our next speaker.
315
935990
1151
لديَّ بعضُ الأسئلة:
15:49
A couple of questions.
316
937165
1538
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
إذن فكرة البرمجة عن جهل
تببدو للوهلة الأولى رهيبةً.
تببدو للوهلة الأولى رهيبةً.
15:56
As you get to superintelligence,
318
944204
1594
ونحن نتجه نحو الذكاء الخارق،
15:57
what's going to stop a robot
319
945822
2258
ما الذي سيمنع الروبوت
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
من القراءةِ والتعلّمِ بأنّ المعرفةَ
16:02
is actually better than ignorance
321
950980
1572
أفضلُ من الجهلِ
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
وتظل في المقابل تحيد عن أهدافها الشخصية
وتعيد صياغة تلك البرمجة؟
وتعيد صياغة تلك البرمجة؟
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
ستيوارت راسل: نريدُ حقيقةً كما قلت،
أنْ تتعلّمَ هذهِ الآلاتُ أكثر،
أنْ تتعلّمَ هذهِ الآلاتُ أكثر،
16:16
about our objectives.
324
964072
1287
عن أهدافنا نحن.
وستكونُ أكثرَ ثقةً بصحّةِ معلوماتها فقط
حينما تصبحُ أكثرَ دقّةً
حينما تصبحُ أكثرَ دقّةً
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
فالدليل واضح هناك
16:22
so the evidence is there
326
970928
1945
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
وستكون مصممة لتفسيره بشكل صحيح.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
وسوفَ تفهمُ مثلاً بأنَّ
بعضَ الكُتُبِ متحيّزةٌ جدا
بعضَ الكُتُبِ متحيّزةٌ جدا
16:31
in the evidence they contain.
329
979625
1483
حيال المعلوماتِ التي تحتويها.
16:33
They only talk about kings and princes
330
981132
2397
حيث لاتروي قصصاً
سوى عن ملوكٍ أو أميراتٍ
سوى عن ملوكٍ أو أميراتٍ
16:35
and elite white male people doing stuff.
331
983553
2800
أو عن أبطال ذكور ذوي بشرة بيضاء
يقومون بأشياء جميلة.
يقومون بأشياء جميلة.
16:38
So it's a complicated problem,
332
986377
2096
لذا فهي مشكلةٌ معقّدةٌ،
16:40
but as it learns more about our objectives
333
988497
3872
لكنَّ الآلاتَ ستتعلّمُ أكثرَ
عن أهدافنا في النهاية
عن أهدافنا في النهاية
16:44
it will become more and more useful to us.
334
992393
2063
وستصبحُ أكثرَ فائدةً لنا.
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
ك.أ : ألم يكن بإمكانك أن تختصر
هذا في قانون واحد،
هذا في قانون واحد،
كأنْ تزرعَ في دماغها مايلي:
16:49
you know, hardwired in:
336
997030
1650
16:50
"if any human ever tries to switch me off,
337
998704
3293
"إنْ حاولَ أيُّ إنسانٍ
في أيّ وقتٍ أن يُطفِئني"
في أيّ وقتٍ أن يُطفِئني"
16:54
I comply. I comply."
338
1002021
1935
"سأمتثل، سأمتثل."
16:55
SR: Absolutely not.
339
1003980
1182
س.ر: بالتأكيد لا.
16:57
That would be a terrible idea.
340
1005186
1499
ستكون تلك فكرة سيئة جدًا.
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
تخيّل مثلاً لو امتلكتَ
سيّارةً ذاتيّةَ القيادةِ
سيّارةً ذاتيّةَ القيادةِ
17:01
and you want to send your five-year-old
342
1009422
2433
وأردتَ أنْ تُرسلَ بها طفلكَ
ذي الخمسة أعوامٍ
ذي الخمسة أعوامٍ
17:03
off to preschool.
343
1011879
1174
إلى الروضة.
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
هل تريدُ أن يُطفئَ طِفلُك السيّارةَ
في منتصفِ الطّريق؟
17:08
while it's driving along?
345
1016202
1213
بالتّأكيدِ لا.
17:09
Probably not.
346
1017439
1159
لذا يجبُ أن تفهم الآلةُ دوافعَ
الإنسانِ لإطفائها ومدى عقلانيّتهِ
الإنسانِ لإطفائها ومدى عقلانيّتهِ
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
17:15
The more rational the person,
348
1023349
1676
و كلّما كانَ الشخصُ منطقيّاً أكثر،
كلّما كانت الآلةُ أكثرَ
تقبّلاً لإيقافِ تشغيلها.
تقبّلاً لإيقافِ تشغيلها.
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
ولوّ كان الشخصُ غريباً
أو بدا مُؤذياً،
أو بدا مُؤذياً،
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
فلنْ تتقبّلَ الآلةُ أنْ يتمَّ إطفاؤها.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
ك. أ: حسناً، أودُّ أنْ أقولَ بأنّني
أتمنّى حقّاً أنْ تخترعَ
هذهِ الأشياء لنا قريباً
هذهِ الأشياء لنا قريباً
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
شكراً جزيلاً لكَ على هذه المحادثة
لقد كانت مدهشة.
لقد كانت مدهشة.
17:30
SR: Thank you.
355
1038906
1167
س. ر: شكراً لك.
17:32
(Applause)
356
1040097
1837
(تصفيق)
Translated by Muhammad Arafat
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com