TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
نيك بوستروم: ماذا يحدث عندما تصبح أجهزة الكمبيوتر أكثر ذكاءً من البشر
Filmed:
Readability: 4.4
4,632,705 views
يتطور الذكاء الصناعي ليكون أكثر ذكاءً بسرعة كبيرة. تشير الأبحاث التي تم القيام بها في القرن الحالي إلى أن الذكاء الصناعي للكمبيوتر قد يصبح في مثل"ذكاء" الإنسان. ومن ثم، يقول (نيك بوستروم)، إن هذا الذكاء الصناعي سوف يحل محل الإنسان: "ذكاء الآلة هو أحد أخر الاختراعات التي تحتاج الإنسانية إليها." يطلب إلينا عالم الفلسفة وأخصائي التكنولوجيا،(بوستروم) أن نفكر بجد عن العالم الذي نعمل على بناءه الآن، ذلك العالم الذي يعتمد على تفكير الآلات. فهل أن الآلات الذكية سوف تساعدنا في الحفاظ على إنسانيتنا وقيمنا، أم هل سيكون لها قيمها الخاصة بها؟
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
أنا أعمل مع مجموعة من أخصائي الرياضيات
والفلاسفة وعلماء الكمبيوتر،
والفلاسفة وعلماء الكمبيوتر،
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
نجلس معًا نفكر
في مستقبل ذكاء الآلة،
في مستقبل ذكاء الآلة،
00:21
among other things.
2
9986
2044
و أمور أخرى.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
بعض الناس يعتقد أن بعضًا من هذه الأمور
هي ضرب من الخيال العلمي،
هي ضرب من الخيال العلمي،
00:28
far out there, crazy.
4
16755
3101
وأنها بعيدة المنال، بل ضرب من الجنون.
00:31
But I like to say,
5
19856
1470
ولكنني أود أن أقول،
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
حسنًا، لنلق نظرة على الوضع
الحالي للبشر.
الحالي للبشر.
00:36
(Laughter)
7
24930
1692
(ضحك)
00:38
This is the normal way for things to be.
8
26622
2402
هذه هو الوضع الطبيعي للأمور.
00:41
But if we think about it,
9
29024
2285
ولكن إذا أمعنا النظر فيها،
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
فسنجد أننا قد وصلنا إلى
مرحلة أننا ضيوف على هذا الكوكب،
مرحلة أننا ضيوف على هذا الكوكب،
00:46
the human species.
11
34602
2082
أقصد بذلك الجنس البشري.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
فكر فيما إذا كانت الأرض قد
وجدت منذ عام مضى،
وجدت منذ عام مضى،
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
فإن الجنس البشري حينها،
سيكون عمره 10 دقائق فقط.
سيكون عمره 10 دقائق فقط.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
وستكون الحقبة الصناعية
قد بدأت منذ ثانيتين.
قد بدأت منذ ثانيتين.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
ثمة طريقة أخرى للتفكير في هذا وهي
إجمالي الناتج العالمي منذ 10,000 سنة،
إجمالي الناتج العالمي منذ 10,000 سنة،
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
لقد وفرت عليكم عناء التفكير في هذا
من خلال هذا الرسم البياني.
من خلال هذا الرسم البياني.
01:09
It looks like this.
17
57530
1774
إنه الأمر سيكون مثل هذا.
01:11
(Laughter)
18
59304
1363
(ضحك)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
إنه شكل يبعث على الفضول
في أي حالة طبيعية.
في أي حالة طبيعية.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
ومتأكد أننا لانرغب بالتوقف عنده.
01:16
(Laughter)
21
64516
2551
(ضحك)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
لنسأل أنفسنا، ما هو السبب
في هذه الحالة غير الطبيعية؟
في هذه الحالة غير الطبيعية؟
01:23
Some people would say it's technology.
23
71841
2552
قد يقول بعض الناس إنه بسبب التكنولوجيا.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
والآن إن هذا الأمر صحيح، فالتكنولوجيا
تتجمع بشكل تراكمي على مدار التاريخ البشري،
تتجمع بشكل تراكمي على مدار التاريخ البشري،
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
وحاليًا، فإن التكنولوجيا
تتقدم بسرعة كبيرة جدًا
تتقدم بسرعة كبيرة جدًا
01:35
that is the proximate cause,
26
83713
1565
وهذا سبب تقريبي،
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
ويعزي إليه الفضل
في أننا أصبحنا أكثر إنتاجية.
في أننا أصبحنا أكثر إنتاجية.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
ولكنني أود أن أعود بتفكيري
إلى الواراء قليلاً لمعرفة السبب الرئيسي.
إلى الواراء قليلاً لمعرفة السبب الرئيسي.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
للنظر إلى هذين السيدين
المحترمين للغاية.
المحترمين للغاية.
01:48
We have Kanzi --
30
96880
1600
لدينا (كانزي)
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
لقد تمكن من إتقان 200 رمز لغوي،
ولديه سرعة رهيبة.
ولديه سرعة رهيبة.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
أما (إيد ويتين) فقد اكتشف
ثورة الأوتار الثانية.
ثورة الأوتار الثانية.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
وإذا أمعنا النظر بشكل أكبر،
فسوف نجد:
فسوف نجد:
02:01
basically the same thing.
34
109141
1570
نفس الشيء.
02:02
One is a little larger,
35
110711
1813
واحد أكبر قليلاً،
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
ولربما لديه أيضًا أساليب
مثل الطريقة التي تتواصل بها.
مثل الطريقة التي تتواصل بها.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
إن هذه الاختلافات غير المرئية
لا يمكن أن تكون أكثر تعقيدًا، ومع ذلك،
لا يمكن أن تكون أكثر تعقيدًا، ومع ذلك،
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
نظرًا لوجود
250,000 جيل فقط
250,000 جيل فقط
02:15
since our last common ancestor.
39
123379
1732
منذ جدودنا الأوائل.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
وإننا نعرف أن الآليات المعقدة
تأخذ وقتًا طويلاً للتطور.
تأخذ وقتًا طويلاً للتطور.
02:22
So a bunch of relatively minor changes
41
130000
2499
ولهذا فبعضًا من التغييرات الطفيفة نسبيًا
02:24
take us from Kanzi to Witten,
42
132499
3067
لننتقل من (كانزي) إلى (ويتين)،
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
من أفرع الشجرة المحطمة
إلى الصواريخ الباليستية العابرة للقارات.
إلى الصواريخ الباليستية العابرة للقارات.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
هذا يبدو جليًا للغاية
فهذا كل ما حققناه،
فهذا كل ما حققناه،
02:36
and everything we care about,
45
144774
1378
وكل ما نهتم لأجله،
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
يعتمد بشكل أساسي على التغييرات
الطفيفة التي شكلت العقل البشري.
الطفيفة التي شكلت العقل البشري.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
والنتيجة الطبيعية، في الواقع،
هي أن أية تغييرات أخرى
هي أن أية تغييرات أخرى
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
قد تغير بشكل كبير
في ركيزة التفكير
في ركيزة التفكير
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
ومن المحتمل أن يكون لها
عواقب كبيرة.
عواقب كبيرة.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
إن بعضًا من زملائي
يعتقدون أننا على شفا
يعتقدون أننا على شفا
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
شيء ما قد يحدث تغيرًا
عميقًا في هذه الركيزة،
عميقًا في هذه الركيزة،
03:03
and that is machine superintelligence.
52
171134
3213
وهذا الشيء هو الذكاء الفائق للألة.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
لقد استخدم الذكاء الصناعي
لوضع أوامر في صندوق مغلق.
لوضع أوامر في صندوق مغلق.
03:11
You would have human programmers
54
179086
1665
فلدينا المبرمجين من البشر
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
الذين صنعوا بشكل جاد
عناصر المعرفة.
عناصر المعرفة.
03:15
You build up these expert systems,
56
183886
2086
لقد عملنا على بناء هذه الأنظمة المخضرمة،
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
ولقد كانت مفيدة إلى حد ما
في بعض الأمور،
في بعض الأمور،
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
ولكنها هشة للغاية،
حيث لا يمكنك أن تقيس حجمها.
حيث لا يمكنك أن تقيس حجمها.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
وبشكل أساسي، فإنك تحصل فقط
على ما تضعه.
على ما تضعه.
03:26
But since then,
60
194410
997
ولكن منذ ذلك الحين،
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
فقد حدث تحول نظري في مجال
الذكاء الصناعي.
الذكاء الصناعي.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
واليوم، فإن التركيز ينصب على
تعليم الآلة.
تعليم الآلة.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
وبالتالي، فإنه بدلاً عن صياغة رموز
وخصائص المعرفة،
وخصائص المعرفة،
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
فإننا ننشيء خوارزميات يمكنها،
التعلم من البيانات الإدراكية غالبًا.
التعلم من البيانات الإدراكية غالبًا.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
تمامًا مثلما يفعل الرضع لدينا.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
وبالتالي فالنتيجة هي ذكاء صناعي
غير محدود على مجال بعينه،
غير محدود على مجال بعينه،
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
فالنظام ذاته يمكنه أن يتعلم الترجمة بين
أي زوجين من اللغات،
أي زوجين من اللغات،
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
أو تعلم لعب أي لعبة كمبيوتر
على وحدة معالج الأتاري.
على وحدة معالج الأتاري.
04:05
Now of course,
69
233338
1779
والآن بالطبع،
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
فإن الذكاء الصناعي غير بعيد
عن الحصول على قدرة في مجالات عديدة
عن الحصول على قدرة في مجالات عديدة
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
تمكنه من التعلم والتخطيط
مثل ما يفعل الإنسان.
مثل ما يفعل الإنسان.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
فقشرة المخ تشتمل على
حيل لوغاريتمية
حيل لوغاريتمية
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
ومع ذلك فمازلنا نحتاج إلى
معرفة التوافق مع الآلات.
معرفة التوافق مع الآلات.
04:19
So the question is,
74
247886
1899
يتمثل السؤال في،
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
ما هو مدى بُعدنا عن مقدرتنا
على التوافق مع تلك الحيل؟
على التوافق مع تلك الحيل؟
04:26
A couple of years ago,
76
254245
1083
منذ عامين،
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
قمنا بعمل استبيان لبعض خبراء
الذكاء الصناعي في العالم،
الذكاء الصناعي في العالم،
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
لكي نعرف ما الذي يفكرون به،
وكان أحد الأسئلة التي طرحناها،
وكان أحد الأسئلة التي طرحناها،
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"بأي عام تعتقد أننا قد
نصل إلى احتمالية بنسبة 50 في المائة
نصل إلى احتمالية بنسبة 50 في المائة
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
من مستوى ذكاء صناعي
للآلة يحاكي المستوى البشري؟"
للآلة يحاكي المستوى البشري؟"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
وقد عرفنا المستوى البشري هنا
بالقدرة على القيام
بالقدرة على القيام
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
بأي مهمة تقريبًا مثل
أي إنسان بالغ،
أي إنسان بالغ،
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
ومن ثم فإن المستوى البشري في الواقع،
لا يقتصر على بعض المجالات المحددة.
لا يقتصر على بعض المجالات المحددة.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
وكان متوسط الإجابة بحلول عام 2040 أو 2050،
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
وذلك بحسب أي مجموعة
من الخبراء تم طرح هذه الأسئلة عليها.
من الخبراء تم طرح هذه الأسئلة عليها.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
والآن، فمن الممكن أن يحدث الكثير،
والكثير فيما بعد، أو في القريب العاجل،
والكثير فيما بعد، أو في القريب العاجل،
05:02
the truth is nobody really knows.
87
290339
1940
والحقيقة هي أنه لا أحد يعلم متى ذلك.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
إن كل ما نعرفه هو أن الحد النهائي
على معالجة المعلومات
على معالجة المعلومات
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
في ركيزة الآلة يقع خارج نطاق
حدود النسيج البيولوجي.
حدود النسيج البيولوجي.
05:15
This comes down to physics.
90
303241
2378
ويتعلق هذا الأمر بالفيزياء.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
فالخلية العصبية الحيوية، تنطلق،
عند 200 هرتز، 200 ضعف في الثانية.
عند 200 هرتز، 200 ضعف في الثانية.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
بل إن الترانزستور الحديث
يعمل بسرعة جيجا هرتز.
يعمل بسرعة جيجا هرتز.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
تتكاثر الخلا العصبية ببطىء في محاور عصبية،
100 متر في الثانية أو أكثر.
100 متر في الثانية أو أكثر.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
أما في الكمبيوتر، فإن الإشارات
تنتقل بسرعة الضوء.
تنتقل بسرعة الضوء.
05:35
There are also size limitations,
95
323079
1869
كما أن هنالك حدود للأحجام،
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
مثل المخ البشري
لديه حدود داخل الجمجمة،
لديه حدود داخل الجمجمة،
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
أما الكمبيوتر فيمكن أن
يكون بحجم مخزن أو أكبر.
يكون بحجم مخزن أو أكبر.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
ومن ثم فإن احتمالية الذكاء الصناعي
تظل كامنه في المادة،
تظل كامنه في المادة،
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
وهذا الأمر أشبه بالذرة الكامنة
عبر التاريخ البشرية،
عبر التاريخ البشرية،
05:56
patiently waiting there until 1945.
100
344047
4405
والتي انتظرت بصبر حتى عام 1945.
06:00
In this century,
101
348452
1248
وفي هذا القرن،
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
فإن العلماء قد يتعلمون إيقاظ
قوة الذكاء الصناعي.
قوة الذكاء الصناعي.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
وإنني أعتقد أننا ربما نرى حينئذ
انفجار الذكاء.
انفجار الذكاء.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
والآن فإن معظم الأشخاص، عندما يفكرون
بشأن ما الذكي وما هو الساذج،
بشأن ما الذكي وما هو الساذج،
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
فإنني أتصور أن الصورة
في ذهني أشبه بهذا الأمر.
في ذهني أشبه بهذا الأمر.
06:17
So at one end we have the village idiot,
106
365386
2598
ولدينا في أحد الطرفين قروي ساذج،
06:19
and then far over at the other side
107
367984
2483
وفي النهاية الأخرى البعيدة
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
لدينا (إيد ويتين)، أو (ألبرت أينشتين)
أوأياً كان العبقري المفضل لديكم.
أوأياً كان العبقري المفضل لديكم.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
ولكنني أعتقد أنه من وجهة نظر
الذكاء الصناعي،
الذكاء الصناعي،
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
فإن الصورة الحقيقية هي
أكثر واقعية مثل هذا:
أكثر واقعية مثل هذا:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
يبدأ الذكاء الصناعي في هذه النقطة هنا،
نقطة صفر الذكاء،
نقطة صفر الذكاء،
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
وحينها، وبعد الكثير، والكثير
من الأعوام من العمل الجاد،
من الأعوام من العمل الجاد،
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
فإننا قد نصل إلى مستوى
ذكاء صناعي بمستوى الفأر،
ذكاء صناعي بمستوى الفأر،
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
شيء يمكنه أن
يتنقل عبر البيئات المتناثرة
يتنقل عبر البيئات المتناثرة
06:47
as well as a mouse can.
115
395921
1987
مثلما يستطيع الفأر أن يفعل.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
ثم بعد ذلك، وبعد أعوام كثيرة جدًا
من العمل الجاد، والكثير من الاستثمارات،
من العمل الجاد، والكثير من الاستثمارات،
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
فقد يمكننا بالنهاية أن نصل
إلى ذكاء صناعي بمستوى الشمبانزي.
إلى ذكاء صناعي بمستوى الشمبانزي.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
ثم بعد ذلك، وبعد أعوام كثيرة جدًا
من العمل الجاد حقًا،
من العمل الجاد حقًا،
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
فسوف نصل إلى ذكاء صناعي
بمستوى القروي الساذج.
بمستوى القروي الساذج.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
وبعد بعض الوقت،
فإننا سوف نصل إلى (إيد ويتين).
فإننا سوف نصل إلى (إيد ويتين).
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
ولا تتوقف المسيرة
في محطة (هيومان فيل).
في محطة (هيومان فيل).
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
بل ستحدث إنطلاقة مدوية.
07:14
Now this has profound implications,
123
422247
1984
والآن فإن هذا ينطوي على تأثيرات عميقة،
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
لاسيما عندما يتعلق الأمر بالقوة.
07:20
For example, chimpanzees are strong --
125
428093
1899
فمثلاً، فإن الشمبانزي قوي
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
وبمقياس رطل لكل رطل، فإن الشمبانزي
أقوى مرتان من ذكر الإنسان.
أقوى مرتان من ذكر الإنسان.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
ومع ذلك، فإن مصير (لكانزي)
وأقرانه يعتمد على الكثير
وأقرانه يعتمد على الكثير
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
مما نفعله نحن البشر بخلاف
ما يفعله الشمبانزي بنفسه.
ما يفعله الشمبانزي بنفسه.
07:37
Once there is superintelligence,
129
445228
2314
وبمجرد وجود الذكاء الصناعي،
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
فإن مصير الإنسانية قد يعتمد على
ما يفعله الذكاء الصناعي.
ما يفعله الذكاء الصناعي.
07:44
Think about it:
131
452451
1057
فكر في هذا الأمر:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
ذكاء الآلة هو أحد آخر الابتكارات
التي تحتاج إليها الإنسانية.
التي تحتاج إليها الإنسانية.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
فاللآلات حينها سوف تكون أفضل
في الاختراعات عنا.
في الاختراعات عنا.
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
وسوف تفعل ذلك
وفق جدول زمني رقمي.
وفق جدول زمني رقمي.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
إن هذا يعني
نظرة استشرافية على المستقبل.
نظرة استشرافية على المستقبل.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
فكروا في كل التكنولوجيا العجيبة
حسبما يمكنكم تخيله
حسبما يمكنكم تخيله
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
فلربما استطاع الإنسان
التطور بعد مرور ما يكفي من الزمن:
التطور بعد مرور ما يكفي من الزمن:
08:07
cures for aging, space colonization,
138
475322
3258
علاج الشيخوخة، واحتلال الفضاء،
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
واليرقات النانونية القابلة للنسخ ذاتيًا
أو تحميل العقول إلى أجهزة الكمبيوتر.
أو تحميل العقول إلى أجهزة الكمبيوتر.
08:14
all kinds of science fiction-y stuff
140
482311
2159
كافة الأنواع من الخيال العلمي
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
التي لم تتوافق بعد مع
مع قوانين الفيزياء.
مع قوانين الفيزياء.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
كل هذا الذكاء الفائققد يتطور،
ويمكن أن يكون ذلك سريعًا.
ويمكن أن يكون ذلك سريعًا.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
والآن، فإن الذكاء الصناعي
مع النضوج الهائل للتكنولوجيا
مع النضوج الهائل للتكنولوجيا
08:28
would be extremely powerful,
144
496007
2179
قد يكون قويًا للغاية،
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
وفي أضعف الحالات،
فسوف يمكنه أن يحصل على ما يريد.
فسوف يمكنه أن يحصل على ما يريد.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
وبالتالي سيكون لدينا مستقبلاً
يشكله تفضيلات هذا الذكاء الصناعي.
يشكله تفضيلات هذا الذكاء الصناعي.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
والآن السؤال الوجيه هو،
ما هي هذه التفضيلات؟
ما هي هذه التفضيلات؟
08:46
Here it gets trickier.
148
514244
1769
إن هذا أمر مثير للغاية.
08:48
To make any headway with this,
149
516013
1435
لكي يتم إحراز تقدم في هذا،
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
فيجب أولاً أن نتجنب أن نرجعالسبب
إلى تصرفات البشر.
إلى تصرفات البشر.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
حيث إن هذا الأمر يثير السخرية
نظرًا لأن كل مقال في جريدة
نظرًا لأن كل مقال في جريدة
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
يتعلق بشأن مستقبل الذكاء الصناعي
يرسم هذه الصورة:
يرسم هذه الصورة:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
ومن ثم فإنني أعتقد أن ما نحتاج إلى القيام
به هو أن ننظر إلى الموضوع بتجرد،
به هو أن ننظر إلى الموضوع بتجرد،
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
وليس مثل سيناريوهات هوليود المثيرة.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
إننا بحاجة إلى أن نفكر بالذكاء
كعملية للتحسين،
كعملية للتحسين،
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
عملية توجه المستقبل إلىمجموعة معينة
من عمليات التهيئة.
من عمليات التهيئة.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
الذكاء الفائق هو عملية تحسين قوية
في الواقع.
في الواقع.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
وهو مفيد للغاية لاستخدام الوسائل المتاحة
لتحقيق حالة
لتحقيق حالة
09:26
in which its goal is realized.
159
554098
1909
يتم فيها تحقيق الهدف الخاص بها.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
وهذا يعني عدم وجود تواصل
ضروري بين
ضروري بين
09:31
being highly intelligent in this sense,
161
559119
2734
أن تكون ذكيًا جدًا بهذا المفهوم،
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
وبين أن يكون لدينا هدف كبشر نبحث
عن أن يكون جدير بالاهتمام أو له معنى.
عن أن يكون جدير بالاهتمام أو له معنى.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
لنفترض أننا أعطينا الذكاء الصناعي
هدفًا لكي يصنع ابتسامة بشرية.
هدفًا لكي يصنع ابتسامة بشرية.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
فعندما يكون الذكاء الصناعي ضعيفًا،
فيقوم بحركات مفيدة أو مذهلة
فيقوم بحركات مفيدة أو مذهلة
09:46
that cause its user to smile.
165
574097
2517
تجعل مستخدمه يبتسم.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
فعندما يصبح الذكاء الصناعي ذكاءً فائقًا،
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
فإنه يدرك أن هنالك طريقة
أكثر فعالية لتحقيق هذا الهدف:
أكثر فعالية لتحقيق هذا الهدف:
09:54
take control of the world
168
582554
1922
السيطرة على العالم
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
ومن ثم يبدأ في وضع أقطاب كهربائة
في عضلات وجه الإنسان
في عضلات وجه الإنسان
09:59
to cause constant, beaming grins.
170
587638
2941
لكي يجعله يطلق ابتسامات ثابتة عريضة.
10:02
Another example,
171
590579
1035
ومثال آخر،
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
لنفترض أننا أعطينا الذكاء الصناعي الهدف
لحل مسألة رياضية صعبة.
لحل مسألة رياضية صعبة.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
فعندما يصبح الذكاء الصناعي ذكاءً فائقًا،
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
فإنه سيتعرف على الطريقة الأكثر فعالية
للحصول على حل لهذه المسألة
للحصول على حل لهذه المسألة
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
وبالتالي فإن هذا بمثابة تحويل الكوكب
إلى كمبيوتر عملاق،
إلى كمبيوتر عملاق،
10:16
so as to increase its thinking capacity.
176
604035
2246
من أجل زيادة قدرته على التفكير.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
وعلينا أن نلاحظ أن هذا يعطي الذكاء الصناعي
سببًا وجيهًا
سببًا وجيهًا
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
للقيام بأشياء لنا
قد لا نوافق عليها.
قد لا نوافق عليها.
10:23
Human beings in this model are threats,
179
611561
1935
ففي هذا النموذج يصبح الإنسان مصدر تهديد،
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
حيث يمكننا أن نمنع حل المسألة الرياضية.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
وبالطبلع، فإن الأمور لن تخرج
عن مسارها في هذه الطرق المحددة؛
عن مسارها في هذه الطرق المحددة؛
10:32
these are cartoon examples.
182
620701
1753
فهي أمثلة ساذجة للغاية.
10:34
But the general point here is important:
183
622454
1939
ولكن النقطة العامة هنا هامة للغاية:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
فإذا قمنا بإنشاء عملية تحسين
قوية بالفعل
قوية بالفعل
10:39
to maximize for objective x,
185
627266
2234
لزيادة قدرة الهدف (×)،
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
فعلينا أن نتأكد بشكل أفضل
من تعريف الهدف (×)
من تعريف الهدف (×)
10:43
incorporates everything you care about.
187
631776
2469
وهذا يشتمل على كل شيء نهتم لأجله.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
وهذا هو الدرس الذي يتم تعلمه
من الأسطورة.
من الأسطورة.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
فالملك "ميداس" كان يأمل في أن كل
شيء يلمسه يتحول إلى ذهب.
شيء يلمسه يتحول إلى ذهب.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
فلمس ابنته فتحولت إلى ذهب.
10:59
He touches his food, it turns into gold.
191
647378
2553
ولمس طعامه، فتحول إلى ذهب.
11:01
This could become practically relevant,
192
649931
2589
ويمكن أن يكون هذا الأمر وثيق الصلة عمليًا،
11:04
not just as a metaphor for greed,
193
652520
2070
وليس مجرد كناية عن الطمع،
11:06
but as an illustration of what happens
194
654590
1895
بل إنه توضيح لما يحدث
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
إذا قمنا بإنشاء عملية تحسين قوية
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
وقمنا بإعطائها أهدافًا
أُسيء فهمها أو محددة بشكل غير جيد.
أُسيء فهمها أو محددة بشكل غير جيد.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
والآن قد تقولون، إذا بدأ الكمبيوتر
في وضع أقطاب كهربائية في وجه البشر،
في وضع أقطاب كهربائية في وجه البشر،
11:21
we'd just shut it off.
198
669300
2265
فيمكننا أن نقوم بإطفائه.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
أولاً، إن هذا الأمر ليس سهلاً
لاسيما إذا أصبحنا نعتمد على النظام .
لاسيما إذا أصبحنا نعتمد على النظام .
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
مثلاً، أين يوجد مفتاح إطفاء الإنترنت؟
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
ثانيًا، لماذا لم يتوقف الشمبانزي
عن التطور إلى بشر،
عن التطور إلى بشر،
11:37
or the Neanderthals?
202
685747
1551
أوالبشر البدائيّون؟
11:39
They certainly had reasons.
203
687298
2666
لقد كان لديهم سبب بالتأكيد.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
إن لدينا مفتاح إطفاء، مثلاً، هنا.
11:44
(Choking)
205
692759
1554
(خنق)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
يكمن السبب في أننا عدو ذكي؛
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
حيث يمكننا توقع التهديدات
ونخطط للتعامل معها.
ونخطط للتعامل معها.
11:51
But so could a superintelligent agent,
208
699966
2504
وهكذا يستطيع العميل الفائق الذكاء أن يفعل،
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
بل وبطريقة أفضل عما يمكننا القيام به.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
فالمغزى من هذا، يتمثل في أنه يجب
ألا نثق في أن هذا الأمر تحت سيطرتنا.
ألا نثق في أن هذا الأمر تحت سيطرتنا.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
ويجب أن نحاول أن نجعل
من مهمتنا أيسر، من خلال،
من مهمتنا أيسر، من خلال،
12:08
putting the A.I. in a box,
212
716358
1590
وضع الذكاء الصناعي في صندوق،
12:09
like a secure software environment,
213
717948
1796
وذلك مثل بيئات البرمجيات،
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
وهي محاكاة وهمية للواقع
لا يمكنه الإفلات منه.
لا يمكنه الإفلات منه.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
ولكن ما مدى ثقتنا في أن الذكاء الصناعي
لا يمكنه أن يجد ثغرة.
لا يمكنه أن يجد ثغرة.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
على اعتبار أن قراصنة الكمبيوتر
يجدون ثغرات دائمًا،
يجدون ثغرات دائمًا،
12:22
I'd say, probably not very confident.
217
730081
3036
وأود أن أقول، يجب ألا نكون واثقين للغاية.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
وبالتالي يجب أن نقوم بفصل كابل الإيثيرنت
لكي نعمل على إيجاد ثغرة في المجال،
لكي نعمل على إيجاد ثغرة في المجال،
12:30
but again, like merely human hackers
219
738785
2668
ومرة أخرى، مثلما يفعل قراصنة الكمبيوتر
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
فسوف يتم التسلسل عبر هذه الثغرات
باستخدام الهندسة الاجتماعية.
باستخدام الهندسة الاجتماعية.
12:36
Right now, as I speak,
221
744834
1259
وحتى الآن، فمثلما تحدثت،
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
فإنني واثق من أنه توجد إحدى الموظفات
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
التي تتحدث دائمًا عن إعطاء
تفاصيل حسابها
تفاصيل حسابها
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
إلى شخص ما يدعي
أنه من إدارة تكنولوجيا المعلومات.
أنه من إدارة تكنولوجيا المعلومات.
12:46
More creative scenarios are also possible,
225
754574
2127
كما توجد سيناريوهات أكثر إبداعًا،
12:48
like if you're the A.I.,
226
756701
1315
كأن تكون أنت الذكاء الصناعي
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
لك أن تتخيل وضع أقطاب كهربائية
داخل أجهزتك الداخلية
داخل أجهزتك الداخلية
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
لإيجاد موجات لاسلكية
يمكنك استخدامها في التواصل.
يمكنك استخدامها في التواصل.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
أو يمكنك التظاهر بالعطب،
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
وعندما يقوم المبرجمون بفتح الغطاء
من عليك لرؤية ماذا حدث لك،
من عليك لرؤية ماذا حدث لك،
13:02
they look at the source code -- Bam! --
231
770931
1936
فسوف ينظرون إلى كود المصدر
13:04
the manipulation can take place.
232
772867
2447
يمكن أن يحدث تلاعب.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
أو من الممكن تعديل المخطط
إلى تكنولوجيا متطورة للغاية،
إلى تكنولوجيا متطورة للغاية،
13:10
and when we implement it,
234
778744
1398
وعندما نقوم بتنفيذها،
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
وهو يحتوي على بعض الآثار الجانبية السلبية
التي خطط لها الذكاء الصناعي.
التي خطط لها الذكاء الصناعي.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
والمغزى هُنا هو أنه يجب ألا
يكون لدينا ثقة مطلقة في قدرتنا
يكون لدينا ثقة مطلقة في قدرتنا
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
على الاحتفاظ بقدرات الذكاء
الصناعي للغاية ضمن حدود السيطرة.
الصناعي للغاية ضمن حدود السيطرة.
13:23
Sooner or later, it will out.
238
791810
2254
فأجلاً أم عاجلاً، سوف ينطلق بقوة.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
وإنني أعتقد أن الإجابة هُنا تتمثل
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
في معرفة كيف أن الذكاء الصناعي
مثل هذا حتى عندما ينطلق،
مثل هذا حتى عندما ينطلق،
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
فسوف يظل آمنًا نظرًا لأنه
إلى جانبنا بشكل متأصل
إلى جانبنا بشكل متأصل
13:38
because it shares our values.
242
806438
1899
حيث إنه يتشارك القيم معنًا.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
وإنني لا أرى ثمة طريقة أخرى
للتعامل مع هذه المشكلة العصيبة.
للتعامل مع هذه المشكلة العصيبة.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
والآن، فإنني متفائل إلى حد ما
بأن هذه المشكلة يمكن أن يتم حلها.
بأن هذه المشكلة يمكن أن يتم حلها.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
حيث إنه لا يتعين علينا أن نكتب
قائمة طويلة بكل شيء نهتم لأجله،
قائمة طويلة بكل شيء نهتم لأجله،
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
أو الأسوأ، أن نقوم بتهجئته
في بعض لغات البرمجة
في بعض لغات البرمجة
13:55
like C++ or Python,
247
823937
1454
مثل (++C) أو( بيثون)،
13:57
that would be a task beyond hopeless.
248
825391
2767
حيث إنها ستكون مهمة خارج حدود المأمول.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
وبدلاً عن ذلك، فيمكننا أن نقوم بإنشاء
ذكاء صناعي يستخدم ذكاؤه
ذكاء صناعي يستخدم ذكاؤه
14:04
to learn what we value,
250
832455
2771
لتعلم القيم التي نقدرها،
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
ويتم بناء نظامه التحفيزي
بطريقة تنطوي على التحفيز
بطريقة تنطوي على التحفيز
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
لمواصلة قيمنا أو للقيام بإجراءات
تتوقع ما نتفق معه.
تتوقع ما نتفق معه.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
وبالتالي فإننا نعزز من ذكاءه
بأكبر قدر ممكن
بأكبر قدر ممكن
14:21
to solve the problem of value-loading.
254
849152
2745
لحل مشكلة تحميل القيم.
14:24
This can happen,
255
852727
1512
ويمكن أن يحدث هذا،
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
ويمكن أن تكون النتيجة
جيدة جدًا للإنسانية.
جيدة جدًا للإنسانية.
14:29
But it doesn't happen automatically.
257
857835
3957
ولكن هذا لا يحدث من تلقاء نفسه.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
إن هذه الشروط الأولية
لانفجار الذكاء
لانفجار الذكاء
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
قد تكون بحاجة إلى أن يتم إعدادها
بالطريقة الصحيحة
بالطريقة الصحيحة
14:39
if we are to have a controlled detonation.
260
867653
3530
إذا أردنا الحصول على انفجار تحت السيطرة.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
قيمنا التي يتعين على الذكاء الصناعي
أن يتوافق معها،
أن يتوافق معها،
14:45
not just in the familiar context,
262
873801
1760
وليس مجرد السياق الشائع،
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
مثل أينما نتحقق بسهولة من تصرف
الذكاء الصناعي،
الذكاء الصناعي،
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
ولكن في كافة السياقات الجديدة
التي قد يواجهها الذكاء الصناعي
التي قد يواجهها الذكاء الصناعي
14:53
in the indefinite future.
265
881233
1557
في المستقبل المحتوم.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
كما توجد كذلك بعض المشاكل الخفية
التي تحتاج إل حل، والتعامل معها:
التي تحتاج إل حل، والتعامل معها:
14:59
the exact details of its decision theory,
267
887527
2089
التفاصيل الدقيقة لنظرية القرار الخاص به،
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
كيفية التعامل مع
عدم التأكد المنطقي وما إلى ذلك.
عدم التأكد المنطقي وما إلى ذلك.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
وبالتالي فالمشاكل الفنية التي تحتاج
إلى حل لكي يعمل هذا
إلى حل لكي يعمل هذا
15:08
look quite difficult --
270
896432
1113
تبدو أكثر صعوبة
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
ولكنها ليست صعبة بنفس كيفية
صنع الذكاء الصناعي فائق الذكاء،
صنع الذكاء الصناعي فائق الذكاء،
15:12
but fairly difficult.
272
900925
2868
ولكنها صعبة إلى حد ما.
15:15
Here is the worry:
273
903793
1695
وهنا يكمن القلق:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
حيث إن جعل الذكاء الصناعي ذكاءً فائقًا
يمثل تحديًا صعبًا للغاية.
يمثل تحديًا صعبًا للغاية.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
ومن ثم فإن جعل الذكاء الصناعي
عبارة عن فائق بشكل آمن
عبارة عن فائق بشكل آمن
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
يتطلب بعضًا من التحديات
على قائمة أولوياته.
على قائمة أولوياته.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
فالخطورة تتأتى عندما يتصور شخص ما
كيفية التغلب على أول تحد
كيفية التغلب على أول تحد
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
بدون التعامل مع التحديات الإضافية
15:34
of ensuring perfect safety.
279
922704
1901
الخاصة بضمان سلامة مثالية.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
ولذا فإنني أعتقد أنه
ينبغي أن نعمل على إيجاد حل
ينبغي أن نعمل على إيجاد حل
15:40
to the control problem in advance,
281
928706
2822
لمشكلة السيطرة مقدمًا،
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
وبالتالي يكون هذا الحل متاحًا
عندما نحتاج إليه.
عندما نحتاج إليه.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
والآن فربما يبدو الأمر أنه لا يمكننا
حل مشكلة السيطرة مقدمًا
حل مشكلة السيطرة مقدمًا
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
نظرًا لأنه يمكن فقط وضع
بعض العناصر في محلها
بعض العناصر في محلها
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
بمجرد أن نعرف تفاصيل
التركيبة التي سوف يتم تنفيذها.
التركيبة التي سوف يتم تنفيذها.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
ولكن كلما استطعنا حل مشكلة
السيطرة مقدمًا،
السيطرة مقدمًا،
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
كانت الاحتمالات أفضل في الانتقال
إلى حقبة الآلة
إلى حقبة الآلة
16:04
will go well.
288
952766
1540
بشكل سلسل.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
إن هذا يبدو بالنسبة لي
مثل شيء يجدر القيام به
مثل شيء يجدر القيام به
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
وأستطيع أن أتخيل أنه
إذا صارت الأمور بشكل جيد،
إذا صارت الأمور بشكل جيد،
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
فإن الناس بعد ملايين السنوات
من الآن سوف ينظرون إلى هذا القرن
من الآن سوف ينظرون إلى هذا القرن
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
وقد يستحسنون قول
لقد كان أهم شيء قمنا به
لقد كان أهم شيء قمنا به
16:22
was to get this thing right.
293
970942
1567
هو أننا فعلنا هذا بالشكل الصحيح.
16:24
Thank you.
294
972509
1689
شكرًا لكم.
16:26
(Applause)
295
974198
2813
(تصفيق)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com