ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

نيك بوستروم: ماذا يحدث عندما تصبح أجهزة الكمبيوتر أكثر ذكاءً من البشر

Filmed:
4,632,705 views

يتطور الذكاء الصناعي ليكون أكثر ذكاءً بسرعة كبيرة. تشير الأبحاث التي تم القيام بها في القرن الحالي إلى أن الذكاء الصناعي للكمبيوتر قد يصبح في مثل"ذكاء" الإنسان. ومن ثم، يقول (نيك بوستروم)، إن هذا الذكاء الصناعي سوف يحل محل الإنسان: "ذكاء الآلة هو أحد أخر الاختراعات التي تحتاج الإنسانية إليها." يطلب إلينا عالم الفلسفة وأخصائي التكنولوجيا،(بوستروم) أن نفكر بجد عن العالم الذي نعمل على بناءه الآن، ذلك العالم الذي يعتمد على تفكير الآلات. فهل أن الآلات الذكية سوف تساعدنا في الحفاظ على إنسانيتنا وقيمنا، أم هل سيكون لها قيمها الخاصة بها؟
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunchباقة of mathematiciansعلماء الرياضيات,
philosophersالفلاسفة and computerالحاسوب scientistsالعلماء,
0
570
4207
أنا أعمل مع مجموعة من أخصائي الرياضيات
والفلاسفة وعلماء الكمبيوتر،
00:16
and we sitتجلس around and think about
the futureمستقبل of machineآلة intelligenceالمخابرات,
1
4777
5209
نجلس معًا نفكر
في مستقبل ذكاء الآلة،
00:21
amongمن بين other things.
2
9986
2044
و أمور أخرى.
00:24
Some people think that some of these
things are sortفرز of scienceعلم fiction-yالخيال ذ,
3
12030
4725
بعض الناس يعتقد أن بعضًا من هذه الأمور
هي ضرب من الخيال العلمي،
00:28
farبعيدا out there, crazyمجنون.
4
16755
3101
وأنها بعيدة المنال، بل ضرب من الجنون.
00:31
But I like to say,
5
19856
1470
ولكنني أود أن أقول،
00:33
okay, let's look at the modernحديث
humanبشري conditionشرط.
6
21326
3604
حسنًا، لنلق نظرة على الوضع
الحالي للبشر.
00:36
(Laughterضحك)
7
24930
1692
(ضحك)
00:38
This is the normalعادي way for things to be.
8
26622
2402
هذه هو الوضع الطبيعي للأمور.
00:41
But if we think about it,
9
29024
2285
ولكن إذا أمعنا النظر فيها،
00:43
we are actuallyفعلا recentlyمؤخرا arrivedوصل
guestsضيوف on this planetكوكب,
10
31309
3293
فسنجد أننا قد وصلنا إلى
مرحلة أننا ضيوف على هذا الكوكب،
00:46
the humanبشري speciesمحيط.
11
34602
2082
أقصد بذلك الجنس البشري.
00:48
Think about if Earthأرض
was createdخلقت one yearعام agoمنذ,
12
36684
4746
فكر فيما إذا كانت الأرض قد
وجدت منذ عام مضى،
00:53
the humanبشري speciesمحيط, then,
would be 10 minutesالدقائق oldقديم.
13
41430
3548
فإن الجنس البشري حينها،
سيكون عمره 10 دقائق فقط.
00:56
The industrialصناعي eraعصر startedبدأت
two secondsثواني agoمنذ.
14
44978
3168
وستكون الحقبة الصناعية
قد بدأت منذ ثانيتين.
01:01
Anotherآخر way to look at this is to think of
worldالعالمية GDPالناتج المحلي الإجمالي over the last 10,000 yearsسنوات,
15
49276
5225
ثمة طريقة أخرى للتفكير في هذا وهي
إجمالي الناتج العالمي منذ 10,000 سنة،
01:06
I've actuallyفعلا takenتؤخذ the troubleمشكلة
to plotقطعة this for you in a graphرسم بياني.
16
54501
3029
لقد وفرت عليكم عناء التفكير في هذا
من خلال هذا الرسم البياني.
01:09
It looksتبدو like this.
17
57530
1774
إنه الأمر سيكون مثل هذا.
01:11
(Laughterضحك)
18
59304
1363
(ضحك)
01:12
It's a curiousفضولي shapeشكل
for a normalعادي conditionشرط.
19
60667
2151
إنه شكل يبعث على الفضول
في أي حالة طبيعية.
01:14
I sure wouldn'tلن want to sitتجلس on it.
20
62818
1698
ومتأكد أننا لانرغب بالتوقف عنده.
01:16
(Laughterضحك)
21
64516
2551
(ضحك)
01:19
Let's askيطلب ourselvesأنفسنا, what is the causeسبب
of this currentتيار anomalyشذوذ?
22
67067
4774
لنسأل أنفسنا، ما هو السبب
في هذه الحالة غير الطبيعية؟
01:23
Some people would say it's technologyتقنية.
23
71841
2552
قد يقول بعض الناس إنه بسبب التكنولوجيا.
01:26
Now it's trueصحيح, technologyتقنية has accumulatedمتراكم
throughعبر humanبشري historyالتاريخ,
24
74393
4668
والآن إن هذا الأمر صحيح، فالتكنولوجيا
تتجمع بشكل تراكمي على مدار التاريخ البشري،
01:31
and right now, technologyتقنية
advancesالتقدم extremelyجدا rapidlyبسرعة --
25
79061
4652
وحاليًا، فإن التكنولوجيا
تتقدم بسرعة كبيرة جدًا
01:35
that is the proximateعلى مقربة causeسبب,
26
83713
1565
وهذا سبب تقريبي،
01:37
that's why we are currentlyحاليا
so very productiveإنتاجي.
27
85278
2565
ويعزي إليه الفضل
في أننا أصبحنا أكثر إنتاجية.
01:40
But I like to think back furtherبالإضافة إلى ذلك
to the ultimateأقصى causeسبب.
28
88473
3661
ولكنني أود أن أعود بتفكيري
إلى الواراء قليلاً لمعرفة السبب الرئيسي.
01:45
Look at these two highlyجدا
distinguishedمتميز gentlemenالسادة الأفاضل:
29
93114
3766
للنظر إلى هذين السيدين
المحترمين للغاية.
01:48
We have KanziKanzi --
30
96880
1600
لدينا (كانزي)
01:50
he's masteredيتقن 200 lexicalمعجمي
tokensالرموز, an incredibleلا يصدق featعمل.
31
98480
4643
لقد تمكن من إتقان 200 رمز لغوي،
ولديه سرعة رهيبة.
01:55
And Edإد Wittenويتن unleashedالعنان the secondثانيا
superstringالأوتار الفائقة revolutionثورة.
32
103123
3694
أما (إيد ويتين) فقد اكتشف
ثورة الأوتار الثانية.
01:58
If we look underتحت the hoodغطاء محرك السيارة,
this is what we find:
33
106817
2324
وإذا أمعنا النظر بشكل أكبر،
فسوف نجد:
02:01
basicallyفي الأساس the sameنفسه thing.
34
109141
1570
نفس الشيء.
02:02
One is a little largerأكبر,
35
110711
1813
واحد أكبر قليلاً،
02:04
it maybe alsoأيضا has a fewقليل tricksالخدع
in the exactدقيق way it's wiredسلكي.
36
112524
2758
ولربما لديه أيضًا أساليب
مثل الطريقة التي تتواصل بها.
02:07
These invisibleغير مرئى differencesاختلافات cannotلا تستطيع
be too complicatedمعقد, howeverومع ذلك,
37
115282
3812
إن هذه الاختلافات غير المرئية
لا يمكن أن تكون أكثر تعقيدًا، ومع ذلك،
02:11
because there have only
been 250,000 generationsأجيال
38
119094
4285
نظرًا لوجود
250,000 جيل فقط
02:15
sinceمنذ our last commonمشترك ancestorسلف.
39
123379
1732
منذ جدودنا الأوائل.
02:17
We know that complicatedمعقد mechanismsآليات
take a long time to evolveتتطور.
40
125111
3849
وإننا نعرف أن الآليات المعقدة
تأخذ وقتًا طويلاً للتطور.
02:22
So a bunchباقة of relativelyنسبيا minorتحت السن القانوني changesالتغييرات
41
130000
2499
ولهذا فبعضًا من التغييرات الطفيفة نسبيًا
02:24
take us from KanziKanzi to Wittenويتن,
42
132499
3067
لننتقل من (كانزي) إلى (ويتين)،
02:27
from broken-offانقطع treeشجرة branchesالفروع
to intercontinentalصاروخ عابر للقارات ballisticقذفي missilesصواريخ.
43
135566
4543
من أفرع الشجرة المحطمة
إلى الصواريخ الباليستية العابرة للقارات.
02:32
So this then seemsيبدو prettyجميلة obviousواضح
that everything we'veقمنا achievedحقق,
44
140839
3935
هذا يبدو جليًا للغاية
فهذا كل ما حققناه،
02:36
and everything we careرعاية about,
45
144774
1378
وكل ما نهتم لأجله،
02:38
dependsيعتمد على cruciallyبشكل حاسم on some relativelyنسبيا minorتحت السن القانوني
changesالتغييرات that madeمصنوع the humanبشري mindعقل.
46
146152
5228
يعتمد بشكل أساسي على التغييرات
الطفيفة التي شكلت العقل البشري.
02:44
And the corollaryاللازمة - النتيجة, of courseدورة,
is that any furtherبالإضافة إلى ذلك changesالتغييرات
47
152650
3662
والنتيجة الطبيعية، في الواقع،
هي أن أية تغييرات أخرى
02:48
that could significantlyبشكل كبير changeيتغيرون
the substrateالمادة المتفاعلة of thinkingتفكير
48
156312
3477
قد تغير بشكل كبير
في ركيزة التفكير
02:51
could have potentiallyيحتمل
enormousضخم consequencesالآثار.
49
159789
3202
ومن المحتمل أن يكون لها
عواقب كبيرة.
02:56
Some of my colleaguesالزملاء
think we're on the vergeحافة
50
164321
2905
إن بعضًا من زملائي
يعتقدون أننا على شفا
02:59
of something that could causeسبب
a profoundعميق changeيتغيرون in that substrateالمادة المتفاعلة,
51
167226
3908
شيء ما قد يحدث تغيرًا
عميقًا في هذه الركيزة،
03:03
and that is machineآلة superintelligenceالخارق.
52
171134
3213
وهذا الشيء هو الذكاء الفائق للألة.
03:06
Artificialمصطنع intelligenceالمخابرات used to be
about puttingوضع commandsالأوامر in a boxصندوق.
53
174347
4739
لقد استخدم الذكاء الصناعي
لوضع أوامر في صندوق مغلق.
03:11
You would have humanبشري programmersالمبرمجين
54
179086
1665
فلدينا المبرمجين من البشر
03:12
that would painstakinglyبعناء
handcraftالحرفية knowledgeالمعرفه itemsالعناصر.
55
180751
3135
الذين صنعوا بشكل جاد
عناصر المعرفة.
03:15
You buildبناء up these expertخبير systemsأنظمة,
56
183886
2086
لقد عملنا على بناء هذه الأنظمة المخضرمة،
03:17
and they were kindطيب القلب of usefulمفيد
for some purposesالمقاصد,
57
185972
2324
ولقد كانت مفيدة إلى حد ما
في بعض الأمور،
03:20
but they were very brittleهش,
you couldn'tلم أستطع scaleمقياس them.
58
188296
2681
ولكنها هشة للغاية،
حيث لا يمكنك أن تقيس حجمها.
03:22
Basicallyفي الأساس, you got out only
what you put in.
59
190977
3433
وبشكل أساسي، فإنك تحصل فقط
على ما تضعه.
03:26
But sinceمنذ then,
60
194410
997
ولكن منذ ذلك الحين،
03:27
a paradigmنموذج shiftتحول has takenتؤخذ placeمكان
in the fieldحقل of artificialمصطنع intelligenceالمخابرات.
61
195407
3467
فقد حدث تحول نظري في مجال
الذكاء الصناعي.
03:30
Todayاليوم, the actionعمل is really
around machineآلة learningتعلم.
62
198874
2770
واليوم، فإن التركيز ينصب على
تعليم الآلة.
03:34
So ratherبدلا than handcraftingالمهارة اليدوية knowledgeالمعرفه
representationsالتوكيلات and featuresالميزات,
63
202394
5387
وبالتالي، فإنه بدلاً عن صياغة رموز
وخصائص المعرفة،
03:40
we createخلق algorithmsخوارزميات that learnتعلم,
oftenغالبا from rawالخام perceptualإدراكي حسي خاص بالادراك dataالبيانات.
64
208511
5554
فإننا ننشيء خوارزميات يمكنها،
التعلم من البيانات الإدراكية غالبًا.
03:46
Basicallyفي الأساس the sameنفسه thing
that the humanبشري infantرضيع does.
65
214065
4998
تمامًا مثلما يفعل الرضع لدينا.
03:51
The resultنتيجة is A.I. that is not
limitedمحدود to one domainنطاق --
66
219063
4207
وبالتالي فالنتيجة هي ذكاء صناعي
غير محدود على مجال بعينه،
03:55
the sameنفسه systemالنظام can learnتعلم to translateترجمه
betweenما بين any pairsأزواج of languagesاللغات,
67
223270
4631
فالنظام ذاته يمكنه أن يتعلم الترجمة بين
أي زوجين من اللغات،
03:59
or learnتعلم to playلعب any computerالحاسوب gameلعبه
on the Atariأتاري consoleوحدة التحكم.
68
227901
5437
أو تعلم لعب أي لعبة كمبيوتر
على وحدة معالج الأتاري.
04:05
Now of courseدورة,
69
233338
1779
والآن بالطبع،
04:07
A.I. is still nowhereلا مكان nearقريب havingوجود
the sameنفسه powerfulقوي, cross-domainعبر النطاق
70
235117
3999
فإن الذكاء الصناعي غير بعيد
عن الحصول على قدرة في مجالات عديدة
04:11
abilityالقدرة to learnتعلم and planخطة
as a humanبشري beingيجرى has.
71
239116
3219
تمكنه من التعلم والتخطيط
مثل ما يفعل الإنسان.
04:14
The cortexقشرة still has some
algorithmicالخوارزمية tricksالخدع
72
242335
2126
فقشرة المخ تشتمل على
حيل لوغاريتمية
04:16
that we don't yetبعد know
how to matchمباراة in machinesآلات.
73
244461
2355
ومع ذلك فمازلنا نحتاج إلى
معرفة التوافق مع الآلات.
04:19
So the questionسؤال is,
74
247886
1899
يتمثل السؤال في،
04:21
how farبعيدا are we from beingيجرى ableقادر
to matchمباراة those tricksالخدع?
75
249785
3500
ما هو مدى بُعدنا عن مقدرتنا
على التوافق مع تلك الحيل؟
04:26
A coupleزوجان of yearsسنوات agoمنذ,
76
254245
1083
منذ عامين،
04:27
we did a surveyالدراسة الاستقصائية of some of the world'sالعالم
leadingقيادة A.I. expertsخبراء,
77
255328
2888
قمنا بعمل استبيان لبعض خبراء
الذكاء الصناعي في العالم،
04:30
to see what they think,
and one of the questionsالأسئلة we askedطلبت was,
78
258216
3224
لكي نعرف ما الذي يفكرون به،
وكان أحد الأسئلة التي طرحناها،
04:33
"By whichالتي yearعام do you think
there is a 50 percentنسبه مئويه probabilityاحتمالا
79
261440
3353
"بأي عام تعتقد أننا قد
نصل إلى احتمالية بنسبة 50 في المائة
04:36
that we will have achievedحقق
human-levelعلى المستوى البشري machineآلة intelligenceالمخابرات?"
80
264793
3482
من مستوى ذكاء صناعي
للآلة يحاكي المستوى البشري؟"
04:40
We definedتعريف human-levelعلى المستوى البشري here
as the abilityالقدرة to performنفذ
81
268785
4183
وقد عرفنا المستوى البشري هنا
بالقدرة على القيام
04:44
almostتقريبيا any jobوظيفة at leastالأقل as well
as an adultبالغ humanبشري,
82
272968
2871
بأي مهمة تقريبًا مثل
أي إنسان بالغ،
04:47
so realحقيقة human-levelعلى المستوى البشري, not just
withinفي غضون some limitedمحدود domainنطاق.
83
275839
4005
ومن ثم فإن المستوى البشري في الواقع،
لا يقتصر على بعض المجالات المحددة.
04:51
And the medianالوسيط answerإجابة was 2040 or 2050,
84
279844
3650
وكان متوسط الإجابة بحلول عام 2040 أو 2050،
04:55
dependingاعتمادا on preciselyعلى وجه التحديد whichالتي
groupمجموعة of expertsخبراء we askedطلبت.
85
283494
2806
وذلك بحسب أي مجموعة
من الخبراء تم طرح هذه الأسئلة عليها.
04:58
Now, it could happenيحدث much,
much laterفي وقت لاحق, or soonerعاجلا,
86
286300
4039
والآن، فمن الممكن أن يحدث الكثير،
والكثير فيما بعد، أو في القريب العاجل،
05:02
the truthحقيقة is nobodyلا أحد really knowsيعرف.
87
290339
1940
والحقيقة هي أنه لا أحد يعلم متى ذلك.
05:05
What we do know is that the ultimateأقصى
limitحد to informationمعلومات processingمعالجة
88
293259
4412
إن كل ما نعرفه هو أن الحد النهائي
على معالجة المعلومات
05:09
in a machineآلة substrateالمادة المتفاعلة liesالأكاذيب farبعيدا outsideفي الخارج
the limitsحدود in biologicalبيولوجي tissueمناديل ورقية.
89
297671
4871
في ركيزة الآلة يقع خارج نطاق
حدود النسيج البيولوجي.
05:15
This comesيأتي down to physicsعلوم فيزيائية.
90
303241
2378
ويتعلق هذا الأمر بالفيزياء.
05:17
A biologicalبيولوجي neuronالخلايا العصبية firesحرائق, maybe,
at 200 hertzالموجه الهرتزى, 200 timesمرات a secondثانيا.
91
305619
4718
فالخلية العصبية الحيوية، تنطلق،
عند 200 هرتز، 200 ضعف في الثانية.
05:22
But even a present-dayيومنا هذا transistorالترانزستور
operatesتعمل at the Gigahertzجيجاهيرتز.
92
310337
3594
بل إن الترانزستور الحديث
يعمل بسرعة جيجا هرتز.
05:25
Neuronsالخلايا العصبية propagateبث slowlyببطء in axonsالمحاور,
100 metersمتر perلكل secondثانيا, topsقمم.
93
313931
5297
تتكاثر الخلا العصبية ببطىء في محاور عصبية،
100 متر في الثانية أو أكثر.
05:31
But in computersأجهزة الكمبيوتر, signalsإشارات can travelالسفر
at the speedسرعة of lightضوء.
94
319228
3111
أما في الكمبيوتر، فإن الإشارات
تنتقل بسرعة الضوء.
05:35
There are alsoأيضا sizeبحجم limitationsمحددات,
95
323079
1869
كما أن هنالك حدود للأحجام،
05:36
like a humanبشري brainدماغ has
to fitلائق بدنيا insideفي داخل a craniumقحف,
96
324948
3027
مثل المخ البشري
لديه حدود داخل الجمجمة،
05:39
but a computerالحاسوب can be the sizeبحجم
of a warehouseمستودع or largerأكبر.
97
327975
4761
أما الكمبيوتر فيمكن أن
يكون بحجم مخزن أو أكبر.
05:44
So the potentialمحتمل for superintelligenceالخارق
liesالأكاذيب dormantفي سبات عميق in matterشيء,
98
332736
5599
ومن ثم فإن احتمالية الذكاء الصناعي
تظل كامنه في المادة،
05:50
much like the powerقوة of the atomذرة
layبسط dormantفي سبات عميق throughoutعلى مدار humanبشري historyالتاريخ,
99
338335
5712
وهذا الأمر أشبه بالذرة الكامنة
عبر التاريخ البشرية،
05:56
patientlyبصبر waitingانتظار there untilحتى 1945.
100
344047
4405
والتي انتظرت بصبر حتى عام 1945.
06:00
In this centuryمئة عام,
101
348452
1248
وفي هذا القرن،
06:01
scientistsالعلماء mayقد learnتعلم to awakenأيقظ
the powerقوة of artificialمصطنع intelligenceالمخابرات.
102
349700
4118
فإن العلماء قد يتعلمون إيقاظ
قوة الذكاء الصناعي.
06:05
And I think we mightربما then see
an intelligenceالمخابرات explosionانفجار.
103
353818
4008
وإنني أعتقد أننا ربما نرى حينئذ
انفجار الذكاء.
06:10
Now mostعظم people, when they think
about what is smartذكي and what is dumbأبكم,
104
358406
3957
والآن فإن معظم الأشخاص، عندما يفكرون
بشأن ما الذكي وما هو الساذج،
06:14
I think have in mindعقل a pictureصورة
roughlyبقسوة like this.
105
362363
3023
فإنني أتصور أن الصورة
في ذهني أشبه بهذا الأمر.
06:17
So at one endالنهاية we have the villageقرية idiotالأبله,
106
365386
2598
ولدينا في أحد الطرفين قروي ساذج،
06:19
and then farبعيدا over at the other sideجانب
107
367984
2483
وفي النهاية الأخرى البعيدة
06:22
we have Edإد Wittenويتن, or Albertألبرت Einsteinاينشتاين,
or whoeverمن your favoriteالمفضل guruالمعلم is.
108
370467
4756
لدينا (إيد ويتين)، أو (ألبرت أينشتين)
أوأياً كان العبقري المفضل لديكم.
06:27
But I think that from the pointنقطة of viewرأي
of artificialمصطنع intelligenceالمخابرات,
109
375223
3834
ولكنني أعتقد أنه من وجهة نظر
الذكاء الصناعي،
06:31
the trueصحيح pictureصورة is actuallyفعلا
probablyالمحتمل more like this:
110
379057
3681
فإن الصورة الحقيقية هي
أكثر واقعية مثل هذا:
06:35
AIAI startsيبدأ out at this pointنقطة here,
at zeroصفر intelligenceالمخابرات,
111
383258
3378
يبدأ الذكاء الصناعي في هذه النقطة هنا،
نقطة صفر الذكاء،
06:38
and then, after manyكثير, manyكثير
yearsسنوات of really hardالصعب work,
112
386636
3011
وحينها، وبعد الكثير، والكثير
من الأعوام من العمل الجاد،
06:41
maybe eventuallyفي النهاية we get to
mouse-levelالماوس على مستوى artificialمصطنع intelligenceالمخابرات,
113
389647
3844
فإننا قد نصل إلى مستوى
ذكاء صناعي بمستوى الفأر،
06:45
something that can navigateالتنقل
clutteredتشوش environmentsالبيئات
114
393491
2430
شيء يمكنه أن
يتنقل عبر البيئات المتناثرة
06:47
as well as a mouseالفأر can.
115
395921
1987
مثلما يستطيع الفأر أن يفعل.
06:49
And then, after manyكثير, manyكثير more yearsسنوات
of really hardالصعب work, lots of investmentاستثمار,
116
397908
4313
ثم بعد ذلك، وبعد أعوام كثيرة جدًا
من العمل الجاد، والكثير من الاستثمارات،
06:54
maybe eventuallyفي النهاية we get to
chimpanzee-levelعلى مستوى الشمبانزي artificialمصطنع intelligenceالمخابرات.
117
402221
4639
فقد يمكننا بالنهاية أن نصل
إلى ذكاء صناعي بمستوى الشمبانزي.
06:58
And then, after even more yearsسنوات
of really, really hardالصعب work,
118
406860
3210
ثم بعد ذلك، وبعد أعوام كثيرة جدًا
من العمل الجاد حقًا،
07:02
we get to villageقرية idiotالأبله
artificialمصطنع intelligenceالمخابرات.
119
410070
2913
فسوف نصل إلى ذكاء صناعي
بمستوى القروي الساذج.
07:04
And a fewقليل momentsلحظات laterفي وقت لاحق,
we are beyondوراء Edإد Wittenويتن.
120
412983
3272
وبعد بعض الوقت،
فإننا سوف نصل إلى (إيد ويتين).
07:08
The trainقطار doesn't stop
at HumanvilleHumanville Stationمحطة.
121
416255
2970
ولا تتوقف المسيرة
في محطة (هيومان فيل).
07:11
It's likelyالمحتمل أن, ratherبدلا, to swooshسووش right by.
122
419225
3022
بل ستحدث إنطلاقة مدوية.
07:14
Now this has profoundعميق implicationsآثار,
123
422247
1984
والآن فإن هذا ينطوي على تأثيرات عميقة،
07:16
particularlyخصوصا when it comesيأتي
to questionsالأسئلة of powerقوة.
124
424231
3862
لاسيما عندما يتعلق الأمر بالقوة.
07:20
For exampleمثال, chimpanzeesالشمبانزي are strongقوي --
125
428093
1899
فمثلاً، فإن الشمبانزي قوي
07:21
poundجنيه for poundجنيه, a chimpanzeeشيمبانزي قرد is about
twiceمرتين as strongقوي as a fitلائق بدنيا humanبشري maleالذكر.
126
429992
5222
وبمقياس رطل لكل رطل، فإن الشمبانزي
أقوى مرتان من ذكر الإنسان.
07:27
And yetبعد, the fateمصير of KanziKanzi
and his palsالزملاء dependsيعتمد على a lot more
127
435214
4614
ومع ذلك، فإن مصير (لكانزي)
وأقرانه يعتمد على الكثير
07:31
on what we humansالبشر do than on
what the chimpanzeesالشمبانزي do themselvesأنفسهم.
128
439828
4140
مما نفعله نحن البشر بخلاف
ما يفعله الشمبانزي بنفسه.
07:37
Onceذات مرة there is superintelligenceالخارق,
129
445228
2314
وبمجرد وجود الذكاء الصناعي،
07:39
the fateمصير of humanityإنسانية mayقد dependتعتمد
on what the superintelligenceالخارق does.
130
447542
3839
فإن مصير الإنسانية قد يعتمد على
ما يفعله الذكاء الصناعي.
07:44
Think about it:
131
452451
1057
فكر في هذا الأمر:
07:45
Machineآلة intelligenceالمخابرات is the last inventionاختراع
that humanityإنسانية will ever need to make.
132
453508
5044
ذكاء الآلة هو أحد آخر الابتكارات
التي تحتاج إليها الإنسانية.
07:50
Machinesآلات will then be better
at inventingاختراع than we are,
133
458552
2973
فاللآلات حينها سوف تكون أفضل
في الاختراعات عنا.
07:53
and they'llأنها سوف be doing so
on digitalرقمي timescalesالجداول الزمنية.
134
461525
2540
وسوف تفعل ذلك
وفق جدول زمني رقمي.
07:56
What this meansيعني is basicallyفي الأساس
a telescopingتصغير of the futureمستقبل.
135
464065
4901
إن هذا يعني
نظرة استشرافية على المستقبل.
08:00
Think of all the crazyمجنون technologiesالتقنيات
that you could have imaginedيتصور
136
468966
3558
فكروا في كل التكنولوجيا العجيبة
حسبما يمكنكم تخيله
08:04
maybe humansالبشر could have developedالمتقدمة
in the fullnessالامتلاء of time:
137
472524
2798
فلربما استطاع الإنسان
التطور بعد مرور ما يكفي من الزمن:
08:07
curesعلاج for agingشيخوخة, spaceالفراغ colonizationالاستعمار,
138
475322
3258
علاج الشيخوخة، واحتلال الفضاء،
08:10
self-replicatingتكرار الذات nanobotsالروبوتات الصغيرة or uploadingتحميل
of mindsالعقول into computersأجهزة الكمبيوتر,
139
478580
3731
واليرقات النانونية القابلة للنسخ ذاتيًا
أو تحميل العقول إلى أجهزة الكمبيوتر.
08:14
all kindsأنواع of scienceعلم fiction-yالخيال ذ stuffأمور
140
482311
2159
كافة الأنواع من الخيال العلمي
08:16
that's neverthelessومع ذلك consistentثابتة
with the lawsقوانين of physicsعلوم فيزيائية.
141
484470
2737
التي لم تتوافق بعد مع
مع قوانين الفيزياء.
08:19
All of this superintelligenceالخارق could
developطور, and possiblyربما quiteالى حد كبير rapidlyبسرعة.
142
487207
4212
كل هذا الذكاء الفائققد يتطور،
ويمكن أن يكون ذلك سريعًا.
08:24
Now, a superintelligenceالخارق with suchهذه
technologicalالتكنولوجية maturityنضج
143
492449
3558
والآن، فإن الذكاء الصناعي
مع النضوج الهائل للتكنولوجيا
08:28
would be extremelyجدا powerfulقوي,
144
496007
2179
قد يكون قويًا للغاية،
08:30
and at leastالأقل in some scenariosسيناريوهات,
it would be ableقادر to get what it wants.
145
498186
4546
وفي أضعف الحالات،
فسوف يمكنه أن يحصل على ما يريد.
08:34
We would then have a futureمستقبل that would
be shapedعلى شكل by the preferencesالتفضيلات of this A.I.
146
502732
5661
وبالتالي سيكون لدينا مستقبلاً
يشكله تفضيلات هذا الذكاء الصناعي.
08:41
Now a good questionسؤال is,
what are those preferencesالتفضيلات?
147
509855
3749
والآن السؤال الوجيه هو،
ما هي هذه التفضيلات؟
08:46
Here it getsيحصل على trickierاصعب.
148
514244
1769
إن هذا أمر مثير للغاية.
08:48
To make any headwayتقدم with this,
149
516013
1435
لكي يتم إحراز تقدم في هذا،
08:49
we mustيجب first of all
avoidتجنب anthropomorphizinganthropomorphizing.
150
517448
3276
فيجب أولاً أن نتجنب أن نرجعالسبب
إلى تصرفات البشر.
08:53
And this is ironicساخر because
everyكل newspaperجريدة articleمقالة - سلعة
151
521934
3301
حيث إن هذا الأمر يثير السخرية
نظرًا لأن كل مقال في جريدة
08:57
about the futureمستقبل of A.I.
has a pictureصورة of this:
152
525235
3855
يتعلق بشأن مستقبل الذكاء الصناعي
يرسم هذه الصورة:
09:02
So I think what we need to do is
to conceiveتحديد of the issueالقضية more abstractlyتجريدي,
153
530280
4134
ومن ثم فإنني أعتقد أن ما نحتاج إلى القيام
به هو أن ننظر إلى الموضوع بتجرد،
09:06
not in termsشروط of vividحي Hollywoodهوليوود scenariosسيناريوهات.
154
534414
2790
وليس مثل سيناريوهات هوليود المثيرة.
09:09
We need to think of intelligenceالمخابرات
as an optimizationالاقوي processمعالج,
155
537204
3617
إننا بحاجة إلى أن نفكر بالذكاء
كعملية للتحسين،
09:12
a processمعالج that steersيرسم the futureمستقبل
into a particularبصفة خاصة setجلس of configurationsتكوينات.
156
540821
5649
عملية توجه المستقبل إلىمجموعة معينة
من عمليات التهيئة.
09:18
A superintelligenceالخارق is
a really strongقوي optimizationالاقوي processمعالج.
157
546470
3511
الذكاء الفائق هو عملية تحسين قوية
في الواقع.
09:21
It's extremelyجدا good at usingاستخدام
availableمتاح meansيعني to achieveالتوصل a stateحالة
158
549981
4117
وهو مفيد للغاية لاستخدام الوسائل المتاحة
لتحقيق حالة
09:26
in whichالتي its goalهدف is realizedأدرك.
159
554098
1909
يتم فيها تحقيق الهدف الخاص بها.
09:28
This meansيعني that there is no necessaryضروري
conenctionconenction betweenما بين
160
556447
2672
وهذا يعني عدم وجود تواصل
ضروري بين
09:31
beingيجرى highlyجدا intelligentذكي in this senseإحساس,
161
559119
2734
أن تكون ذكيًا جدًا بهذا المفهوم،
09:33
and havingوجود an objectiveموضوعي that we humansالبشر
would find worthwhileجدير بالاهتمام or meaningfulذو معنى.
162
561853
4662
وبين أن يكون لدينا هدف كبشر نبحث
عن أن يكون جدير بالاهتمام أو له معنى.
09:39
Supposeافترض we give an A.I. the goalهدف
to make humansالبشر smileابتسامة.
163
567321
3794
لنفترض أننا أعطينا الذكاء الصناعي
هدفًا لكي يصنع ابتسامة بشرية.
09:43
When the A.I. is weakضعيف, it performsينفذ usefulمفيد
or amusingمسل actionsأفعال
164
571115
2982
فعندما يكون الذكاء الصناعي ضعيفًا،
فيقوم بحركات مفيدة أو مذهلة
09:46
that causeسبب its userالمستعمل to smileابتسامة.
165
574097
2517
تجعل مستخدمه يبتسم.
09:48
When the A.I. becomesيصبح superintelligentsuperintelligent,
166
576614
2417
فعندما يصبح الذكاء الصناعي ذكاءً فائقًا،
09:51
it realizesيدرك that there is a more
effectiveفعال way to achieveالتوصل this goalهدف:
167
579031
3523
فإنه يدرك أن هنالك طريقة
أكثر فعالية لتحقيق هذا الهدف:
09:54
take controlمراقبة of the worldالعالمية
168
582554
1922
السيطرة على العالم
09:56
and stickعصا electrodesالأقطاب الكهربائية into the facialتجميل الوجه
musclesالعضلات of humansالبشر
169
584476
3162
ومن ثم يبدأ في وضع أقطاب كهربائة
في عضلات وجه الإنسان
09:59
to causeسبب constantثابت, beamingمشع grinsالتكشير.
170
587638
2941
لكي يجعله يطلق ابتسامات ثابتة عريضة.
10:02
Anotherآخر exampleمثال,
171
590579
1035
ومثال آخر،
10:03
supposeافترض we give A.I. the goalهدف to solveحل
a difficultصعب mathematicalرياضي problemمشكلة.
172
591614
3383
لنفترض أننا أعطينا الذكاء الصناعي الهدف
لحل مسألة رياضية صعبة.
10:06
When the A.I. becomesيصبح superintelligentsuperintelligent,
173
594997
1937
فعندما يصبح الذكاء الصناعي ذكاءً فائقًا،
10:08
it realizesيدرك that the mostعظم effectiveفعال way
to get the solutionحل to this problemمشكلة
174
596934
4171
فإنه سيتعرف على الطريقة الأكثر فعالية
للحصول على حل لهذه المسألة
10:13
is by transformingالمغيرة the planetكوكب
into a giantعملاق computerالحاسوب,
175
601105
2930
وبالتالي فإن هذا بمثابة تحويل الكوكب
إلى كمبيوتر عملاق،
10:16
so as to increaseزيادة its thinkingتفكير capacityسعة.
176
604035
2246
من أجل زيادة قدرته على التفكير.
10:18
And noticeتنويه that this givesيعطي the A.I.s
an instrumentalدور فعال reasonالسبب
177
606281
2764
وعلينا أن نلاحظ أن هذا يعطي الذكاء الصناعي
سببًا وجيهًا
10:21
to do things to us that we
mightربما not approveيوافق of.
178
609045
2516
للقيام بأشياء لنا
قد لا نوافق عليها.
10:23
Humanبشري beingsالكائنات in this modelنموذج are threatsالتهديدات,
179
611561
1935
ففي هذا النموذج يصبح الإنسان مصدر تهديد،
10:25
we could preventيحول دون the mathematicalرياضي
problemمشكلة from beingيجرى solvedتم حلها.
180
613496
2921
حيث يمكننا أن نمنع حل المسألة الرياضية.
10:29
Of courseدورة, perceivablyperceivably things won'tمتعود
go wrongخطأ in these particularبصفة خاصة waysطرق;
181
617207
3494
وبالطبلع، فإن الأمور لن تخرج
عن مسارها في هذه الطرق المحددة؛
10:32
these are cartoonرسوم متحركة examplesأمثلة.
182
620701
1753
فهي أمثلة ساذجة للغاية.
10:34
But the generalجنرال لواء pointنقطة here is importantمهم:
183
622454
1939
ولكن النقطة العامة هنا هامة للغاية:
10:36
if you createخلق a really powerfulقوي
optimizationالاقوي processمعالج
184
624393
2873
فإذا قمنا بإنشاء عملية تحسين
قوية بالفعل
10:39
to maximizeتحقيق أقصى قدر for objectiveموضوعي x,
185
627266
2234
لزيادة قدرة الهدف (×)،
10:41
you better make sure
that your definitionفريف of x
186
629500
2276
فعلينا أن نتأكد بشكل أفضل
من تعريف الهدف (×)
10:43
incorporatesيدمج everything you careرعاية about.
187
631776
2469
وهذا يشتمل على كل شيء نهتم لأجله.
10:46
This is a lessonدرس that's alsoأيضا taughtيعلم
in manyكثير a mythأسطورة.
188
634835
4384
وهذا هو الدرس الذي يتم تعلمه
من الأسطورة.
10:51
Kingملك Midasميداس wishesالتمنيات that everything
he touchesاللمسات be turnedتحول into goldذهب.
189
639219
5298
فالملك "ميداس" كان يأمل في أن كل
شيء يلمسه يتحول إلى ذهب.
10:56
He touchesاللمسات his daughterابنة,
she turnsيتحول into goldذهب.
190
644517
2861
فلمس ابنته فتحولت إلى ذهب.
10:59
He touchesاللمسات his foodطعام, it turnsيتحول into goldذهب.
191
647378
2553
ولمس طعامه، فتحول إلى ذهب.
11:01
This could becomeيصبح practicallyعمليا relevantذو صلة,
192
649931
2589
ويمكن أن يكون هذا الأمر وثيق الصلة عمليًا،
11:04
not just as a metaphorتشابه مستعار for greedجشع,
193
652520
2070
وليس مجرد كناية عن الطمع،
11:06
but as an illustrationتوضيح of what happensيحدث
194
654590
1895
بل إنه توضيح لما يحدث
11:08
if you createخلق a powerfulقوي
optimizationالاقوي processمعالج
195
656485
2837
إذا قمنا بإنشاء عملية تحسين قوية
11:11
and give it misconceivedتصور خاطئ
or poorlyسيئة specifiedمحدد goalsأهداف.
196
659322
4789
وقمنا بإعطائها أهدافًا
أُسيء فهمها أو محددة بشكل غير جيد.
11:16
Now you mightربما say, if a computerالحاسوب startsيبدأ
stickingالالتصاق electrodesالأقطاب الكهربائية into people'sوالناس facesوجوه,
197
664111
5189
والآن قد تقولون، إذا بدأ الكمبيوتر
في وضع أقطاب كهربائية في وجه البشر،
11:21
we'dكنا just shutاغلق it off.
198
669300
2265
فيمكننا أن نقوم بإطفائه.
11:24
A, this is not necessarilyبالضرورة so easyسهل to do
if we'veقمنا grownنابعة dependentيعتمد on the systemالنظام --
199
672555
5340
أولاً، إن هذا الأمر ليس سهلاً
لاسيما إذا أصبحنا نعتمد على النظام .
11:29
like, where is the off switchمفتاح كهربائي
to the Internetالإنترنت?
200
677895
2732
مثلاً، أين يوجد مفتاح إطفاء الإنترنت؟
11:32
B, why haven'tلم the chimpanzeesالشمبانزي
flickedانقض the off switchمفتاح كهربائي to humanityإنسانية,
201
680627
5120
ثانيًا، لماذا لم يتوقف الشمبانزي
عن التطور إلى بشر،
11:37
or the Neanderthalsالبشر البدائيون?
202
685747
1551
أوالبشر البدائيّون؟
11:39
They certainlyمن المؤكد had reasonsأسباب.
203
687298
2666
لقد كان لديهم سبب بالتأكيد.
11:41
We have an off switchمفتاح كهربائي,
for exampleمثال, right here.
204
689964
2795
إن لدينا مفتاح إطفاء، مثلاً، هنا.
11:44
(Chokingخانق)
205
692759
1554
(خنق)
11:46
The reasonالسبب is that we are
an intelligentذكي adversaryخصم;
206
694313
2925
يكمن السبب في أننا عدو ذكي؛
11:49
we can anticipateتوقع threatsالتهديدات
and planخطة around them.
207
697238
2728
حيث يمكننا توقع التهديدات
ونخطط للتعامل معها.
11:51
But so could a superintelligentsuperintelligent agentوكيل,
208
699966
2504
وهكذا يستطيع العميل الفائق الذكاء أن يفعل،
11:54
and it would be much better
at that than we are.
209
702470
3254
بل وبطريقة أفضل عما يمكننا القيام به.
11:57
The pointنقطة is, we should not be confidentواثق
that we have this underتحت controlمراقبة here.
210
705724
7187
فالمغزى من هذا، يتمثل في أنه يجب
ألا نثق في أن هذا الأمر تحت سيطرتنا.
12:04
And we could try to make our jobوظيفة
a little bitقليلا easierأسهل by, say,
211
712911
3447
ويجب أن نحاول أن نجعل
من مهمتنا أيسر، من خلال،
12:08
puttingوضع the A.I. in a boxصندوق,
212
716358
1590
وضع الذكاء الصناعي في صندوق،
12:09
like a secureتأمين softwareالبرمجيات environmentبيئة,
213
717948
1796
وذلك مثل بيئات البرمجيات،
12:11
a virtualافتراضية realityواقع simulationمحاكاة
from whichالتي it cannotلا تستطيع escapeهرب.
214
719744
3022
وهي محاكاة وهمية للواقع
لا يمكنه الإفلات منه.
12:14
But how confidentواثق can we be that
the A.I. couldn'tلم أستطع find a bugبق.
215
722766
4146
ولكن ما مدى ثقتنا في أن الذكاء الصناعي
لا يمكنه أن يجد ثغرة.
12:18
Givenمعطى that merelyمجرد humanبشري hackersقراصنة
find bugsالبق all the time,
216
726912
3169
على اعتبار أن قراصنة الكمبيوتر
يجدون ثغرات دائمًا،
12:22
I'd say, probablyالمحتمل not very confidentواثق.
217
730081
3036
وأود أن أقول، يجب ألا نكون واثقين للغاية.
12:26
So we disconnectقطع الاتصال the ethernetإيثرنت cableكابل
to createخلق an airهواء gapالفارق,
218
734237
4548
وبالتالي يجب أن نقوم بفصل كابل الإيثيرنت
لكي نعمل على إيجاد ثغرة في المجال،
12:30
but again, like merelyمجرد humanبشري hackersقراصنة
219
738785
2668
ومرة أخرى، مثلما يفعل قراصنة الكمبيوتر
12:33
routinelyبصورة روتينية transgressتجاوز airهواء gapsثغرات
usingاستخدام socialاجتماعي engineeringهندسة.
220
741453
3381
فسوف يتم التسلسل عبر هذه الثغرات
باستخدام الهندسة الاجتماعية.
12:36
Right now, as I speakتحدث,
221
744834
1259
وحتى الآن، فمثلما تحدثت،
12:38
I'm sure there is some employeeموظف
out there somewhereمكان ما
222
746093
2389
فإنني واثق من أنه توجد إحدى الموظفات
12:40
who has been talkedتحدث into handingتسليم out
her accountالحساب detailsتفاصيل
223
748482
3346
التي تتحدث دائمًا عن إعطاء
تفاصيل حسابها
12:43
by somebodyشخص ما claimingادعاء to be
from the I.T. department قسم، أقسام.
224
751828
2746
إلى شخص ما يدعي
أنه من إدارة تكنولوجيا المعلومات.
12:46
More creativeخلاق scenariosسيناريوهات are alsoأيضا possibleممكن,
225
754574
2127
كما توجد سيناريوهات أكثر إبداعًا،
12:48
like if you're the A.I.,
226
756701
1315
كأن تكون أنت الذكاء الصناعي
12:50
you can imagineتخيل wigglingالتلوي electrodesالأقطاب الكهربائية
around in your internalداخلي circuitryالدوائر
227
758016
3532
لك أن تتخيل وضع أقطاب كهربائية
داخل أجهزتك الداخلية
12:53
to createخلق radioراديو wavesأمواج that you
can use to communicateنقل.
228
761548
3462
لإيجاد موجات لاسلكية
يمكنك استخدامها في التواصل.
12:57
Or maybe you could pretendتظاهر to malfunctionعطل,
229
765010
2424
أو يمكنك التظاهر بالعطب،
12:59
and then when the programmersالمبرمجين openفتح
you up to see what wentذهب wrongخطأ with you,
230
767434
3497
وعندما يقوم المبرجمون بفتح الغطاء
من عليك لرؤية ماذا حدث لك،
13:02
they look at the sourceمصدر codeالشفرة -- Bamبام! --
231
770931
1936
فسوف ينظرون إلى كود المصدر
13:04
the manipulationبمعالجة can take placeمكان.
232
772867
2447
يمكن أن يحدث تلاعب.
13:07
Or it could outputانتاج the blueprintمخطط
to a really niftyأنيق technologyتقنية,
233
775314
3430
أو من الممكن تعديل المخطط
إلى تكنولوجيا متطورة للغاية،
13:10
and when we implementتنفيذ it,
234
778744
1398
وعندما نقوم بتنفيذها،
13:12
it has some surreptitiousخفي، سري sideجانب effectتأثير
that the A.I. had plannedمخطط.
235
780142
4397
وهو يحتوي على بعض الآثار الجانبية السلبية
التي خطط لها الذكاء الصناعي.
13:16
The pointنقطة here is that we should
not be confidentواثق in our abilityالقدرة
236
784539
3463
والمغزى هُنا هو أنه يجب ألا
يكون لدينا ثقة مطلقة في قدرتنا
13:20
to keep a superintelligentsuperintelligent genieالجني
lockedمقفل up in its bottleزجاجة foreverإلى الأبد.
237
788002
3808
على الاحتفاظ بقدرات الذكاء
الصناعي للغاية ضمن حدود السيطرة.
13:23
Soonerعاجلا or laterفي وقت لاحق, it will out.
238
791810
2254
فأجلاً أم عاجلاً، سوف ينطلق بقوة.
13:27
I believe that the answerإجابة here
is to figureالشكل out
239
795034
3103
وإنني أعتقد أن الإجابة هُنا تتمثل
13:30
how to createخلق superintelligentsuperintelligent A.I.
suchهذه that even if -- when -- it escapesهروب,
240
798137
5024
في معرفة كيف أن الذكاء الصناعي
مثل هذا حتى عندما ينطلق،
13:35
it is still safeآمنة because it is
fundamentallyفي الأساس on our sideجانب
241
803161
3277
فسوف يظل آمنًا نظرًا لأنه
إلى جانبنا بشكل متأصل
13:38
because it sharesتشارك our valuesالقيم.
242
806438
1899
حيث إنه يتشارك القيم معنًا.
13:40
I see no way around
this difficultصعب problemمشكلة.
243
808337
3210
وإنني لا أرى ثمة طريقة أخرى
للتعامل مع هذه المشكلة العصيبة.
13:44
Now, I'm actuallyفعلا fairlyتماما optimisticمتفائل
that this problemمشكلة can be solvedتم حلها.
244
812557
3834
والآن، فإنني متفائل إلى حد ما
بأن هذه المشكلة يمكن أن يتم حلها.
13:48
We wouldn'tلن have to writeاكتب down
a long listقائمة of everything we careرعاية about,
245
816391
3903
حيث إنه لا يتعين علينا أن نكتب
قائمة طويلة بكل شيء نهتم لأجله،
13:52
or worseأسوأ yetبعد, spellتهجئه it out
in some computerالحاسوب languageلغة
246
820294
3643
أو الأسوأ، أن نقوم بتهجئته
في بعض لغات البرمجة
13:55
like C++ or Pythonالثعبان,
247
823937
1454
مثل (++C) أو( بيثون)،
13:57
that would be a taskمهمة beyondوراء hopelessميئوس منه.
248
825391
2767
حيث إنها ستكون مهمة خارج حدود المأمول.
14:00
Insteadفي حين أن, we would createخلق an A.I.
that usesالاستخدامات its intelligenceالمخابرات
249
828158
4297
وبدلاً عن ذلك، فيمكننا أن نقوم بإنشاء
ذكاء صناعي يستخدم ذكاؤه
14:04
to learnتعلم what we valueالقيمة,
250
832455
2771
لتعلم القيم التي نقدرها،
14:07
and its motivationالتحفيز systemالنظام is constructedإنشاؤه
in suchهذه a way that it is motivatedمتحفز، مندفع
251
835226
5280
ويتم بناء نظامه التحفيزي
بطريقة تنطوي على التحفيز
14:12
to pursueلاحق our valuesالقيم or to performنفذ actionsأفعال
that it predictsتتوقع we would approveيوافق of.
252
840506
5232
لمواصلة قيمنا أو للقيام بإجراءات
تتوقع ما نتفق معه.
14:17
We would thusوهكذا leverageتأثير ايجابي
its intelligenceالمخابرات as much as possibleممكن
253
845738
3414
وبالتالي فإننا نعزز من ذكاءه
بأكبر قدر ممكن
14:21
to solveحل the problemمشكلة of value-loadingقيمة التحميل.
254
849152
2745
لحل مشكلة تحميل القيم.
14:24
This can happenيحدث,
255
852727
1512
ويمكن أن يحدث هذا،
14:26
and the outcomeنتيجة could be
very good for humanityإنسانية.
256
854239
3596
ويمكن أن تكون النتيجة
جيدة جدًا للإنسانية.
14:29
But it doesn't happenيحدث automaticallyتلقائيا.
257
857835
3957
ولكن هذا لا يحدث من تلقاء نفسه.
14:33
The initialمبدئي conditionsالظروف
for the intelligenceالمخابرات explosionانفجار
258
861792
2998
إن هذه الشروط الأولية
لانفجار الذكاء
14:36
mightربما need to be setجلس up
in just the right way
259
864790
2863
قد تكون بحاجة إلى أن يتم إعدادها
بالطريقة الصحيحة
14:39
if we are to have a controlledخاضع للسيطرة detonationتفجير.
260
867653
3530
إذا أردنا الحصول على انفجار تحت السيطرة.
14:43
The valuesالقيم that the A.I. has
need to matchمباراة oursلنا,
261
871183
2618
قيمنا التي يتعين على الذكاء الصناعي
أن يتوافق معها،
14:45
not just in the familiarمألوف contextسياق الكلام,
262
873801
1760
وليس مجرد السياق الشائع،
14:47
like where we can easilyبسهولة checkالتحقق من
how the A.I. behavesيسلك,
263
875561
2438
مثل أينما نتحقق بسهولة من تصرف
الذكاء الصناعي،
14:49
but alsoأيضا in all novelرواية contextsالسياقات
that the A.I. mightربما encounterنصادف، نواجه
264
877999
3234
ولكن في كافة السياقات الجديدة
التي قد يواجهها الذكاء الصناعي
14:53
in the indefiniteغير محدد futureمستقبل.
265
881233
1557
في المستقبل المحتوم.
14:54
And there are alsoأيضا some esotericمقصور على فئة معينة issuesمسائل
that would need to be solvedتم حلها, sortedمرتبة out:
266
882790
4737
كما توجد كذلك بعض المشاكل الخفية
التي تحتاج إل حل، والتعامل معها:
14:59
the exactدقيق detailsتفاصيل of its decisionقرار theoryنظرية,
267
887527
2089
التفاصيل الدقيقة لنظرية القرار الخاص به،
15:01
how to dealصفقة with logicalمنطقي
uncertaintyشك and so forthعليها.
268
889616
2864
كيفية التعامل مع
عدم التأكد المنطقي وما إلى ذلك.
15:05
So the technicalتقني problemsمشاكل that need
to be solvedتم حلها to make this work
269
893330
3102
وبالتالي فالمشاكل الفنية التي تحتاج
إلى حل لكي يعمل هذا
15:08
look quiteالى حد كبير difficultصعب --
270
896432
1113
تبدو أكثر صعوبة
15:09
not as difficultصعب as makingصناعة
a superintelligentsuperintelligent A.I.,
271
897545
3380
ولكنها ليست صعبة بنفس كيفية
صنع الذكاء الصناعي فائق الذكاء،
15:12
but fairlyتماما difficultصعب.
272
900925
2868
ولكنها صعبة إلى حد ما.
15:15
Here is the worryقلق:
273
903793
1695
وهنا يكمن القلق:
15:17
Makingصناعة superintelligentsuperintelligent A.I.
is a really hardالصعب challengeالتحدي.
274
905488
4684
حيث إن جعل الذكاء الصناعي ذكاءً فائقًا
يمثل تحديًا صعبًا للغاية.
15:22
Makingصناعة superintelligentsuperintelligent A.I. that is safeآمنة
275
910172
2548
ومن ثم فإن جعل الذكاء الصناعي
عبارة عن فائق بشكل آمن
15:24
involvesيتضمن some additionalإضافي
challengeالتحدي on topأعلى of that.
276
912720
2416
يتطلب بعضًا من التحديات
على قائمة أولوياته.
15:28
The riskخطر is that if somebodyشخص ما figuresالأرقام out
how to crackالكراك the first challengeالتحدي
277
916216
3487
فالخطورة تتأتى عندما يتصور شخص ما
كيفية التغلب على أول تحد
15:31
withoutبدون alsoأيضا havingوجود crackedمشقوق
the additionalإضافي challengeالتحدي
278
919703
3001
بدون التعامل مع التحديات الإضافية
15:34
of ensuringضمان perfectفي احسن الاحوال safetyسلامة.
279
922704
1901
الخاصة بضمان سلامة مثالية.
15:37
So I think that we should
work out a solutionحل
280
925375
3331
ولذا فإنني أعتقد أنه
ينبغي أن نعمل على إيجاد حل
15:40
to the controlمراقبة problemمشكلة in advanceتقدم,
281
928706
2822
لمشكلة السيطرة مقدمًا،
15:43
so that we have it availableمتاح
by the time it is neededبحاجة.
282
931528
2660
وبالتالي يكون هذا الحل متاحًا
عندما نحتاج إليه.
15:46
Now it mightربما be that we cannotلا تستطيع solveحل
the entireكامل controlمراقبة problemمشكلة in advanceتقدم
283
934768
3507
والآن فربما يبدو الأمر أنه لا يمكننا
حل مشكلة السيطرة مقدمًا
15:50
because maybe some elementsعناصر
can only be put in placeمكان
284
938275
3024
نظرًا لأنه يمكن فقط وضع
بعض العناصر في محلها
15:53
onceذات مرة you know the detailsتفاصيل of the
architectureهندسة معمارية where it will be implementedنفذت.
285
941299
3997
بمجرد أن نعرف تفاصيل
التركيبة التي سوف يتم تنفيذها.
15:57
But the more of the controlمراقبة problemمشكلة
that we solveحل in advanceتقدم,
286
945296
3380
ولكن كلما استطعنا حل مشكلة
السيطرة مقدمًا،
16:00
the better the oddsخلاف that the transitionانتقال
to the machineآلة intelligenceالمخابرات eraعصر
287
948676
4090
كانت الاحتمالات أفضل في الانتقال
إلى حقبة الآلة
16:04
will go well.
288
952766
1540
بشكل سلسل.
16:06
This to me looksتبدو like a thing
that is well worthيستحق doing
289
954306
4644
إن هذا يبدو بالنسبة لي
مثل شيء يجدر القيام به
16:10
and I can imagineتخيل that if
things turnمنعطف أو دور out okay,
290
958950
3332
وأستطيع أن أتخيل أنه
إذا صارت الأمور بشكل جيد،
16:14
that people a millionمليون yearsسنوات from now
look back at this centuryمئة عام
291
962282
4658
فإن الناس بعد ملايين السنوات
من الآن سوف ينظرون إلى هذا القرن
16:18
and it mightربما well be that they say that
the one thing we did that really matteredيهم
292
966940
4002
وقد يستحسنون قول
لقد كان أهم شيء قمنا به
16:22
was to get this thing right.
293
970942
1567
هو أننا فعلنا هذا بالشكل الصحيح.
16:24
Thank you.
294
972509
1689
شكرًا لكم.
16:26
(Applauseتصفيق)
295
974198
2813
(تصفيق)
Translated by Mohamed Gouraizim
Reviewed by Mohammed Alwi

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com