ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

نیک بوستروم: وقتی کامپیوترها باهوش تر از ما شوند، چه خواهد شد؟

Filmed:
4,632,705 views

هوش مصنوعی با سرعت قابل توجهی درحال هوشمندتر شدن است-- در همین سده، تحقیقات نشان داده است که، هوش مصنوعی کامپیوتری می تواند به زیرکی یک انسان باشد. و در ادامه به ادعای نیک بوستروم، از انسان پیشی خواهد گرفت: " هوش ماشینی آخرین اختراعی است که بشر به آن نیاز دارد." بوستروم، فیلسوف و دانشمند حوزه فناوری از ما میخواهد درباره جهان هدایت شده از سوی ماشینها، که اکنون در حال خلقش هستیم فکر کنیم. آیا ماشینهای هوشمند ما به نگهداری بشریت و ارزشهای ما کمک خواهند کرد- یا صاحب ارزشهای خود خواهند بود؟
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunchدسته ای of mathematiciansریاضیدانان,
philosophersفیلسوفان and computerکامپیوتر scientistsدانشمندان,
0
570
4207
من با گروهی از ریاضیدان ها، فیلسوف ها و دانشمندان کامپیوتر کار می کنم،
00:16
and we sitنشستن around and think about
the futureآینده of machineدستگاه intelligenceهوش,
1
4777
5209
ما دور هم می نشینیم و درباره آینده هوش ماشینی
00:21
amongدر میان other things.
2
9986
2044
در میان الباقی چیزها فکر می کنیم.
00:24
Some people think that some of these
things are sortمرتب سازی of scienceعلوم پایه fiction-yداستانی-ی,
3
12030
4725
بعضی از مردم فکر می کنند که این چیزها تخیلات علمی،
00:28
farدور out there, crazyدیوانه.
4
16755
3101
و دور از واقعیت و دیوانه وارند.
00:31
But I like to say,
5
19856
1470
اما مایل هستم که بگویم
00:33
okay, let's look at the modernمدرن
humanانسان conditionوضعیت.
6
21326
3604
بسیار خوب، بیایید نگاهی به شرایط مدرن بشر بیاندازیم.
00:36
(Laughterخنده)
7
24930
1692
(خنده)
00:38
This is the normalطبیعی way for things to be.
8
26622
2402
این طریقه عادی بودن چیزهاست.
00:41
But if we think about it,
9
29024
2285
اما اگر درباره اش فکر کنید،
00:43
we are actuallyدر واقع recentlyبه تازگی arrivedوارد شد
guestsمهمانان on this planetسیاره,
10
31309
3293
ما در واقعیت میهمانان تازه رسیده به این سیاره هستیم،
00:46
the humanانسان speciesگونه ها.
11
34602
2082
گونه بشر.
00:48
Think about if Earthزمین
was createdایجاد شده one yearسال agoپیش,
12
36684
4746
فکر کنید اگر زمین یک سال قبل خلق شده بود،
00:53
the humanانسان speciesگونه ها, then,
would be 10 minutesدقایق oldقدیمی.
13
41430
3548
پس، گونه بشر ۱۰ دقیقه بیشتر عمرش نبود.
00:56
The industrialصنعتی eraدوران startedآغاز شده
two secondsثانیه agoپیش.
14
44978
3168
عصر صنعتی دو ثانیه قبل شروع می شد.
01:01
Anotherیکی دیگر way to look at this is to think of
worldجهان GDPتولید ناخالص ملی over the last 10,000 yearsسالها,
15
49276
5225
روش دیگر نگاه به این موضوع ،
فکر کردن در مورد تولید ناخالص داخلی جهان، طی ۱۰٫۰۰۰ سال گذشته است،
01:06
I've actuallyدر واقع takenگرفته شده the troubleمشکل
to plotطرح this for you in a graphنمودار.
16
54501
3029
در واقع، من دردسر ترسیم آن را برای شما
در این نمودار کشیده ام.
01:09
It looksبه نظر می رسد like this.
17
57530
1774
مثل این به نظر می رسد.
01:11
(Laughterخنده)
18
59304
1363
(خنده)
01:12
It's a curiousکنجکاو shapeشکل
for a normalطبیعی conditionوضعیت.
19
60667
2151
شکل عجیبی برای شرایط عادی است.
01:14
I sure wouldn'tنمی خواهم want to sitنشستن on it.
20
62818
1698
مطمئنم که نمیخواهم در این وضع قرار بگیرم.
01:16
(Laughterخنده)
21
64516
2551
(خنده)
01:19
Let's askپرسیدن ourselvesخودمان, what is the causeسبب می شود
of this currentجاری anomalyناهنجاری?
22
67067
4774
بگذارید از خودمان بپرسیم، دلیل این بی قاعدگی فعلی چیست؟
01:23
Some people would say it's technologyتکنولوژی.
23
71841
2552
شاید بعضی بگویند فناوری.
01:26
Now it's trueدرست است, technologyتکنولوژی has accumulatedانباشته شده
throughاز طریق humanانسان historyتاریخ,
24
74393
4668
درست است که فناوری در طول تاریخ بشر انباشته شده
01:31
and right now, technologyتکنولوژی
advancesپیشرفت extremelyفوق العاده rapidlyبه سرعت در حال --
25
79061
4652
و در حال حاضر فناوری با سرعت زیادی در حال پیشروی است--
01:35
that is the proximateتقریبا causeسبب می شود,
26
83713
1565
اما این دلیل اصلی نیست،
01:37
that's why we are currentlyدر حال حاضر
so very productiveسازنده.
27
85278
2565
چرا که ما در حال حاضر خیلی مولد هستیم.
01:40
But I like to think back furtherبیشتر
to the ultimateنهایی causeسبب می شود.
28
88473
3661
اما دوست دارم برای علت اصلی، به عقب تر برگردم.
01:45
Look at these two highlyبه شدت
distinguishedبرجسته gentlemenآقایان:
29
93114
3766
به این دو آقای بسیار متشخص نگاه کنید:
01:48
We have Kanziکانزی --
30
96880
1600
ما "کانزی" را داریم--
01:50
he's masteredتسلط یافته 200 lexicalواژگانی
tokensنشانه ها, an incredibleباور نکردنی featشاهکار.
31
98480
4643
استاد ۲۰۰ توکن واژگانی، موفقیت شگفت آوری است.
01:55
And Edاد Wittenویتن unleashedرها شده the secondدومین
superstringsuperstring revolutionانقلاب.
32
103123
3694
و" اد ویتن" که دومین انقلاب ابرریسمان را مطرح کرد.
01:58
If we look underزیر the hoodکاپوت ماشین,
this is what we find:
33
106817
2324
اگر به بررسی ادامه دهیم، به این نتیجه می رسیم که:
02:01
basicallyاساسا the sameیکسان thing.
34
109141
1570
در اصل یک چیز است.
02:02
One is a little largerبزرگتر,
35
110711
1813
یکی، کمی بزرگتر است،
02:04
it maybe alsoهمچنین has a fewتعداد کمی tricksترفندها
in the exactدقیق way it's wiredسیمی.
36
112524
2758
هر چند ممکن است چند حقه هم
در عجیب بودن این روش باشد،
02:07
These invisibleنامرئی differencesتفاوت ها cannotنمی توان
be too complicatedبغرنج, howeverبا این حال,
37
115282
3812
اما این اختلافات غیرقابل مشاهده
چندان نمی توانند پیچیده باشند،
02:11
because there have only
been 250,000 generationsنسل ها
38
119094
4285
چون تنها ۲۵۰ هزار نسل از آخرین جد
02:15
sinceاز آنجا که our last commonمشترک ancestorاجداد.
39
123379
1732
مشترکمان می گذرد.
02:17
We know that complicatedبغرنج mechanismsمکانیسم ها
take a long time to evolveتکامل یابد.
40
125111
3849
می دانیم که مکانیزم های پیچیده زمان طولانی برای تکامل دارند.
02:22
So a bunchدسته ای of relativelyبه طور نسبی minorجزئی changesتغییرات
41
130000
2499
بنابراین چندتایی تغییرات جزئی نسبی
02:24
take us from Kanziکانزی to Wittenویتن,
42
132499
3067
ما را از "کانزی" به "ویتن" می رساند،
02:27
from broken-offقطع treeدرخت branchesشاخه ها
to intercontinentalبین قاره ای ballisticبالستیک missilesموشک ها.
43
135566
4543
از شاخه های درخت شکسته تا موشک های بالستیک بین قاره ای.
02:32
So this then seemsبه نظر می رسد prettyبسیار obviousآشکار
that everything we'veما هستیم achievedبه دست آورد,
44
140839
3935
پس این خیلی واضح به نظر می رسد که همه چیز قابل دستیابی است،
02:36
and everything we careاهميت دادن about,
45
144774
1378
و هر چه را که به آن اهمیت می دهیم،
02:38
dependsبستگی دارد cruciallyبسیار مهم است on some relativelyبه طور نسبی minorجزئی
changesتغییرات that madeساخته شده the humanانسان mindذهن.
46
146152
5228
عمدتا بستگی به تغییرات جزئی نسبی دارد
که ذهن بشر را می سازد.
02:44
And the corollaryنتیجه گیری, of courseدوره,
is that any furtherبیشتر changesتغییرات
47
152650
3662
و نتیجه آن، البته تغییرات بیشتری است
02:48
that could significantlyبه طور قابل ملاحظه changeتغییر دادن
the substrateلایه of thinkingفكر كردن
48
156312
3477
که می توانند بطور عمده بستر اندیشه را تغییر داده
02:51
could have potentiallyبالقوه
enormousعظیم consequencesعواقب.
49
159789
3202
و منجر به پیامد بالقوه ی عظیمی گردند.
02:56
Some of my colleaguesهمکاران
think we're on the vergeلبه
50
164321
2905
برخی از همکارانم فکر می کردند که ما در آستانه
02:59
of something that could causeسبب می شود
a profoundعمیق changeتغییر دادن in that substrateلایه,
51
167226
3908
چیزی هستیم که می تواند منجر به تغییری ژرف در آن بستر شود،
03:03
and that is machineدستگاه superintelligenceسوپر هوش.
52
171134
3213
و آن ماشین ابرهوشمند است.
03:06
Artificialساختگی intelligenceهوش used to be
about puttingقرار دادن commandsدستورات in a boxجعبه.
53
174347
4739
پیش از این، هوش مصنوعی درباره
قرار دادن دستورات در یک جعبه بود.
03:11
You would have humanانسان programmersبرنامه نویسان
54
179086
1665
شما برنامه نویس های انسانی را داشتید
03:12
that would painstakinglyبه سختی
handcraftکارهای دستی knowledgeدانش itemsموارد.
55
180751
3135
که با زحمت آیتم های دانش را هنرمندانه شکل میدادند.
03:15
You buildساختن up these expertکارشناس systemsسیستم های,
56
183886
2086
شما این سیستم های خبره را می سازید،
03:17
and they were kindنوع of usefulمفید است
for some purposesاهداف,
57
185972
2324
که به نحوی برای برخی مقاصد، مناسب بودند،
03:20
but they were very brittleشکننده,
you couldn'tنمی توانستم scaleمقیاس them.
58
188296
2681
اما آنقدر بی دوام بودند که قادر به سنجش آنها نبودید.
03:22
Basicallyاساسا, you got out only
what you put in.
59
190977
3433
در اصل، تنها چیزی را درو می کنید که کاشتید.
03:26
But sinceاز آنجا که then,
60
194410
997
اما از آن موقع تاکنون،
03:27
a paradigmالگو shiftتغییر مکان has takenگرفته شده placeمحل
in the fieldرشته of artificialمصنوعی intelligenceهوش.
61
195407
3467
تغییر قابل توجه ای در زمینه هوش مصنوعی رخ داده است.
03:30
Todayامروز, the actionعمل is really
around machineدستگاه learningیادگیری.
62
198874
2770
امروزه، اقدامات حقیقتا درباره یادگیری ماشین است.
03:34
So ratherنسبتا than handcraftingدستکاری knowledgeدانش
representationsنمایندگی ها and featuresامکانات,
63
202394
5387
پس بجای هنرمندانه شکل دادن آرایه ها و نمایه های علمی،
03:40
we createايجاد كردن algorithmsالگوریتم ها that learnیاد گرفتن,
oftenغالبا from rawخام perceptualادراکی dataداده ها.
64
208511
5554
الگوریتم هایی را خلق می کنیم که یاد می گیرد،
اغلب هم از داده های دریافتی خام.
03:46
Basicallyاساسا the sameیکسان thing
that the humanانسان infantنوزاد does.
65
214065
4998
عمدتا همان کاری را که نوزاد بشر انجام می دهد.
03:51
The resultنتيجه is A.I. that is not
limitedمحدود to one domainدامنه --
66
219063
4207
نتیجه، هوش مصنوعی است
که به یک حوزه محدود نیست--
03:55
the sameیکسان systemسیستم can learnیاد گرفتن to translateترجمه کردن
betweenبین any pairsجفت of languagesزبان ها,
67
223270
4631
نظام یکسانی که می تواند
ترجمه کردن بین هر دو زبان فرضی را یاد بگیرد،
03:59
or learnیاد گرفتن to playبازی any computerکامپیوتر gameبازی
on the Atariآتاری consoleکنسول.
68
227901
5437
یا بازی کردن هر بازی کامپیوتری را با آتاری.
04:05
Now of courseدوره,
69
233338
1779
البته الان،
04:07
A.I. is still nowhereهیچ جایی nearنزدیک havingداشتن
the sameیکسان powerfulقدرتمند, cross-domainمتقابل دامنه
70
235117
3999
هوش مصنوعی، هنوز جایی نزدیک همان
توانایی قدرتمند و مطمئن
04:11
abilityتوانایی to learnیاد گرفتن and planطرح
as a humanانسان beingبودن has.
71
239116
3219
برای یادگیری و برنامه ریزی است که بشر آن را دارد.
04:14
The cortexقشر still has some
algorithmicالگوریتمیک tricksترفندها
72
242335
2126
"کورتکس" هنوز برخی از همان حقه های الگوریتمی را دارد
04:16
that we don't yetهنوز know
how to matchهمخوانی داشتن in machinesماشین آلات.
73
244461
2355
که ما از نحوه قرار دادنشان در ماشینها بی اطلاعیم.
04:19
So the questionسوال is,
74
247886
1899
پس پرسش این است،
04:21
how farدور are we from beingبودن ableتوانایی
to matchهمخوانی داشتن those tricksترفندها?
75
249785
3500
تا چه حد قادر به هماهنگی این حقه ها هستیم؟
04:26
A coupleزن و شوهر of yearsسالها agoپیش,
76
254245
1083
دو سال پیش،
04:27
we did a surveyنظر سنجی of some of the world'sجهان
leadingمنتهی شدن A.I. expertsکارشناسان,
77
255328
2888
آمارگیری را بین متخصصان برجسته هوش مصنوعی انجام دادیم،
04:30
to see what they think,
and one of the questionsسوالات we askedپرسید: was,
78
258216
3224
تا بدانیم به چه چیزی فکری می کنند،
و یکی از پرسش هایی که ما مطرح کردیم این بود که :
04:33
"By whichکه yearسال do you think
there is a 50 percentدرصد probabilityاحتمال
79
261440
3353
"فکر می کنید در چه سالی ۵۰ درصد احتمال خواهد داشت
04:36
that we will have achievedبه دست آورد
human-levelسطح انسانی machineدستگاه intelligenceهوش?"
80
264793
3482
که به ماشینی هوشمند در سطح بشر دست بیابیم؟"
04:40
We definedتعریف شده است human-levelسطح انسانی here
as the abilityتوانایی to performانجام دادن
81
268785
4183
در اینجا ما توانایی در سطح انسان را
بعنوان قابلیتی برای اجرای
04:44
almostتقریبا any jobکار at leastکمترین as well
as an adultبالغ humanانسان,
82
272968
2871
هر کاری تعریف می کنیم که
حداقل انسان بالغ نیز آن را انجام دهد،
04:47
so realواقعی human-levelسطح انسانی, not just
withinدر داخل some limitedمحدود domainدامنه.
83
275839
4005
پس سطح انسانی واقعی، فقط چیزی در محدوده یک دامنه نیست.
04:51
And the medianمتوسط answerپاسخ was 2040 or 2050,
84
279844
3650
و پاسخ میانگین در حدود سال ۲۰۴۰ یا ۲۰۵۰ بود.
04:55
dependingبستگی دارد on preciselyدقیقا whichکه
groupگروه of expertsکارشناسان we askedپرسید:.
85
283494
2806
دقیقا بسته به این که از کدام گروه از متخصصان سوال کردیم.
04:58
Now, it could happenبه وقوع پیوستن much,
much laterبعد, or soonerزودتر,
86
286300
4039
پس این اتفاق خیلی دیر یا زود اتفاق خواهد افتاد.
05:02
the truthحقیقت is nobodyهيچ كس really knowsمی داند.
87
290339
1940
واقعیت این است که کسی دقیقا نمی داند.
05:05
What we do know is that the ultimateنهایی
limitحد to informationاطلاعات processingدر حال پردازش
88
293259
4412
آنچه می دانیم این است که حد نهایی برای پردازش اطلاعات
05:09
in a machineدستگاه substrateلایه liesدروغ farدور outsideخارج از
the limitsمحدودیت ها in biologicalبیولوژیکی tissueبافت.
89
297671
4871
در بستر ماشین خارج از مرزهای موجود در بافت زیستی قرار می گیرد.
05:15
This comesمی آید down to physicsفیزیک.
90
303241
2378
که به فیزیک منتهی می شود.
05:17
A biologicalبیولوژیکی neuronنورون firesآتش سوزی, maybe,
at 200 hertzهرتز, 200 timesبار a secondدومین.
91
305619
4718
یک نورون زیستی شاید ۲۰۰ بار در ثانیه ۲۵۰ هرتز شلیک کند.
05:22
But even a present-dayامروز transistorترانزیستور
operatesعمل می کند at the Gigahertzگیگاگرتز.
92
310337
3594
اما حتی ترانزیستورهای امروزی گیگاهرتزی عمل می کنند.
05:25
Neuronsنورون ها propagateرواج دادن slowlyبه آرامی in axonsآکسون,
100 metersمتر perدر هر secondدومین, topsتاپس.
93
313931
5297
نورون ها به آرامی در محورها گسترده می شوند،
حداکثر ۱۰۰ متر در ثانیه.
05:31
But in computersکامپیوترها, signalsسیگنال ها can travelمسافرت رفتن
at the speedسرعت of lightسبک.
94
319228
3111
اما در کامپیوترها، سیگنال ها قابلیت سفر با با سرعت نور را دارند.
05:35
There are alsoهمچنین sizeاندازه limitationsمحدودیت ها,
95
323079
1869
محدودیت های ابعادی نیز هست،
05:36
like a humanانسان brainمغز has
to fitمناسب insideداخل a craniumسرفه,
96
324948
3027
مثل مغز انسانی که باید درون جمجمه جا شود،
05:39
but a computerکامپیوتر can be the sizeاندازه
of a warehouseانبار or largerبزرگتر.
97
327975
4761
اما کامپیوتر می تواند به بزرگی یک انباری یا بزرگتر نیز باشد.
05:44
So the potentialپتانسیل for superintelligenceسوپر هوش
liesدروغ dormantخاموش in matterموضوع,
98
332736
5599
بنابراین پتانسیل ابَرهوشمند هنوز نهفته است،
05:50
much like the powerقدرت of the atomاتم
layغیر روحانی dormantخاموش throughoutدر سراسر humanانسان historyتاریخ,
99
338335
5712
بیشتر مثل نیروی اتم که در طول تاریخ بشریت نهفته بود
05:56
patientlyصبر کن waitingدر انتظار there untilتا زمان 1945.
100
344047
4405
تا این که در ۱۹۴۵ کشف شد.
06:00
In this centuryقرن,
101
348452
1248
در این قرن،
06:01
scientistsدانشمندان mayممکن است learnیاد گرفتن to awakenبیدار شدن
the powerقدرت of artificialمصنوعی intelligenceهوش.
102
349700
4118
دانشمندان شاید یاد بگیرند نیروی هوش مصنوعی را بیدار کنند.
06:05
And I think we mightممکن then see
an intelligenceهوش explosionانفجار.
103
353818
4008
و فکر می کنم بعد آن شاهد انفجار هوشی باشیم.
06:10
Now mostاکثر people, when they think
about what is smartهوشمندانه and what is dumbگنگ,
104
358406
3957
اکنون اغلب مردم وقتی به زیرک یا کودن بودن چیزی فکر می کنند،
06:14
I think have in mindذهن a pictureعکس
roughlyتقریبا like this.
105
362363
3023
فکر می کنم این تصویر نسبتا خشن را در ذهنشان دارند.
06:17
So at one endپایان we have the villageدهکده idiotادم سفیه و احمق,
106
365386
2598
که در یکسو دهکده خرفت ها را داریم
06:19
and then farدور over at the other sideسمت
107
367984
2483
و در سوی دیگر
06:22
we have Edاد Wittenویتن, or Albertآلبرت Einsteinانیشتین,
or whoeverهر کس your favoriteمورد علاقه guruگورو is.
108
370467
4756
امثال "اد ویتن" و "آلبرت اینشتن" یا هر کسی که معلم مذهبی ما است را داریم.
06:27
But I think that from the pointنقطه of viewچشم انداز
of artificialمصنوعی intelligenceهوش,
109
375223
3834
اما بنظرم از دیدگاه هوش مصنوعی
06:31
the trueدرست است pictureعکس is actuallyدر واقع
probablyشاید more like this:
110
379057
3681
تصویر حقیقی باید در واقع چیزی شبیه به این باشد:
06:35
AIAI startsشروع می شود out at this pointنقطه here,
at zeroصفر intelligenceهوش,
111
383258
3378
هوش مصنوعی در نقطه ای اینجا آغاز می شود، در هوش صفر،
06:38
and then, after manyبسیاری, manyبسیاری
yearsسالها of really hardسخت work,
112
386636
3011
و سپس بعد از سالهای سال کار واقعا سخت،
06:41
maybe eventuallyدر نهایت we get to
mouse-levelسطح موس artificialمصنوعی intelligenceهوش,
113
389647
3844
شاید سرانجام به هوش مصنوعی سطح موش برسیم،
06:45
something that can navigateحرکت کن
clutteredکلاهبرداری environmentsمحیط ها
114
393491
2430
چیزی که بتواند که در محیط های درهم، جهت یابی کند،
06:47
as well as a mouseموش can.
115
395921
1987
همانطور که موش ها می توانند.
06:49
And then, after manyبسیاری, manyبسیاری more yearsسالها
of really hardسخت work, lots of investmentسرمایه گذاری,
116
397908
4313
و سپس، بعد از سال های خیلی خیلی بیشتر دیگری
از کار واقعا سخت، کلی سرمایه گذاری،
06:54
maybe eventuallyدر نهایت we get to
chimpanzee-levelسطح شامپانزه artificialمصنوعی intelligenceهوش.
117
402221
4639
شاید سرانجام به هوش مصنوعی سطح شامپانزه برسیم.
06:58
And then, after even more yearsسالها
of really, really hardسخت work,
118
406860
3210
و بعد، پس از سال های بازهم بیشتری از کار واقعا سخت،
07:02
we get to villageدهکده idiotادم سفیه و احمق
artificialمصنوعی intelligenceهوش.
119
410070
2913
ما به هوش مصنوعی سطح دهکده خرفت ها می رسیم.
07:04
And a fewتعداد کمی momentsلحظات laterبعد,
we are beyondفراتر Edاد Wittenویتن.
120
412983
3272
و چند لحظه بعد از آن، پشت سر"اد ویتن" هستیم.
07:08
The trainقطار doesn't stop
at HumanvilleHumanville Stationایستگاه.
121
416255
2970
قطار در ایستگاه دهکده بشری متوقف نمی شود.
07:11
It's likelyاحتمال دارد, ratherنسبتا, to swooshسوهوش right by.
122
419225
3022
احتمالا بجایش با سرعت از آن بگذرد.
07:14
Now this has profoundعمیق implicationsپیامدها,
123
422247
1984
خب از اینجاست که احتمالا پیامدهای عمیق داشته باشد،
07:16
particularlyبه خصوص when it comesمی آید
to questionsسوالات of powerقدرت.
124
424231
3862
به ویژه وقتی پای قدرت در میان باشد.
07:20
For exampleمثال, chimpanzeesشامپانزه ها are strongقوی --
125
428093
1899
برای مثال، شامپانزه ها قوی هستند--
07:21
poundپوند for poundپوند, a chimpanzeeشامپانزه is about
twiceدو برابر as strongقوی as a fitمناسب humanانسان maleنر.
126
429992
5222
در ازای هر کیلو، یک شامپانزه دو برابر یک انسان مذکر قدرت دارد.
07:27
And yetهنوز, the fateسرنوشت of Kanziکانزی
and his palspals dependsبستگی دارد a lot more
127
435214
4614
و هنوز سرنوشت "کانزی" و رفقایش بیشتر بستگی
07:31
on what we humansانسان do than on
what the chimpanzeesشامپانزه ها do themselvesخودشان.
128
439828
4140
به عملکرد ما انسانها دارد تا آنچه خود شامپانزه ها انجام می دهند.
07:37
Onceیک بار there is superintelligenceسوپر هوش,
129
445228
2314
وقتی پای هوش مصنوعی در میان باشد،
07:39
the fateسرنوشت of humanityبشریت mayممکن است dependبستگی دارد
on what the superintelligenceسوپر هوش does.
130
447542
3839
سرنوشت بشریت شاید به هوش مصنوعی وابسته باشد.
07:44
Think about it:
131
452451
1057
به آن فکر کنید:
07:45
Machineدستگاه intelligenceهوش is the last inventionاختراع
that humanityبشریت will ever need to make.
132
453508
5044
هوش ماشینی آخرین اختراعی است که بشریت به آن نیاز خواهد داشت.
07:50
Machinesماشین آلات will then be better
at inventingاختراع than we are,
133
458552
2973
ماشینها پس از آن نسبت به ما عملکرد بهتری در اختراعات خواهند داشت،
07:53
and they'llآنها خواهند شد be doing so
on digitalدیجیتال timescalesزمانبندی.
134
461525
2540
و آن را در مقیاس زمانی دیجیتال انجام خواهند داد.
07:56
What this meansبه معنای is basicallyاساسا
a telescopingتلسکوپی of the futureآینده.
135
464065
4901
که به طور اساسی به معنای فشرده کردن آینده است.
08:00
Think of all the crazyدیوانه technologiesفن آوری ها
that you could have imaginedتصور
136
468966
3558
به همه فناوریهای دیوانه واری فکر کنید که شاید بشر در آینده
08:04
maybe humansانسان could have developedتوسعه یافته
in the fullnessکامل بودن of time:
137
472524
2798
بطور کامل توسعه دهد و شما قادر به تصور کردنشان هستید:
08:07
curesدرمان می کند for agingپیری, spaceفضا colonizationاستعمار,
138
475322
3258
درمان پیری، سکنا گزیدن در فضا،
08:10
self-replicatingخود تکرار کننده nanobotsnanobots or uploadingآپلود
of mindsذهنها into computersکامپیوترها,
139
478580
3731
نانوباتهای خودجایگزین یا انتقال اطلاعت ذهن به کامپیوترها،
08:14
all kindsانواع of scienceعلوم پایه fiction-yداستانی-ی stuffچیز
140
482311
2159
همه انواع موضاعات علمی تخیلی
08:16
that's neverthelessبا این اوصاف consistentاستوار
with the lawsقوانین of physicsفیزیک.
141
484470
2737
که با این حال با قوانین فیزیک مرتبط اند.
08:19
All of this superintelligenceسوپر هوش could
developتوسعه, and possiblyاحتمالا quiteکاملا rapidlyبه سرعت در حال.
142
487207
4212
تمامی این هوش مصنوعی قادر به توسعه یافتن است،
و احتمالا هم بسیار سریع.
08:24
Now, a superintelligenceسوپر هوش with suchچنین
technologicalتکنولوژیکی maturityبلوغ
143
492449
3558
حال، یک هوش مصنوعی با چنین بلوغ در فناوری
08:28
would be extremelyفوق العاده powerfulقدرتمند,
144
496007
2179
بی نهایت قدرتمند خواهد بود،
08:30
and at leastکمترین in some scenariosسناریوها,
it would be ableتوانایی to get what it wants.
145
498186
4546
و حداقل در برخی سناریوها، قادر به رسیدن به آنچه می خواهد است.
08:34
We would then have a futureآینده that would
be shapedشکل گرفته by the preferencesاولویت ها of this A.I.
146
502732
5661
پس آینده ای که خواهیم داشت
بواسطه ترجیحات این هوش مصنوعی شکل می گیرد.
08:41
Now a good questionسوال is,
what are those preferencesاولویت ها?
147
509855
3749
حال پرسشی که مطرح است، این ترجیحات کدامند؟
08:46
Here it getsمی شود trickierپیچیده تر.
148
514244
1769
اینجاست که پیچیده تر می شود.
08:48
To make any headwayپیشرفت with this,
149
516013
1435
برای هرگونه پیشرفت در این زمینه،
08:49
we mustباید first of all
avoidاجتناب کردن anthropomorphizingانسان شناسی.
150
517448
3276
نخست باید از هر گونه انسان پنداری اجتناب کنیم.
08:53
And this is ironicعجیب و غریب because
everyهرکدام newspaperروزنامه articleمقاله
151
521934
3301
و این کمی کنایه آمیز است زیرا تمامی مقالات روزنامه ها
08:57
about the futureآینده of A.I.
has a pictureعکس of this:
152
525235
3855
درباره آینده هوش مصنوعی تصویر این چنینی ارائه می دهد:
09:02
So I think what we need to do is
to conceiveتصور کنید of the issueموضوع more abstractlyانتزاعی,
153
530280
4134
پس فکر می کنم آنچه لازم است انجام دهیم
باور داشتن هر چه بیشتر مساله بخودی خود است،
09:06
not in termsاصطلاحات of vividزنده Hollywoodهالیوود scenariosسناریوها.
154
534414
2790
نه در قالب سناریوهای هالیوودی تخیلی قوی.
09:09
We need to think of intelligenceهوش
as an optimizationبهينه سازي processروند,
155
537204
3617
لازم است به هوش، بعنوان فرایندی بهینه ساز فکر کنیم،
09:12
a processروند that steersسرنشینان the futureآینده
into a particularخاص setتنظیم of configurationsپیکربندی.
156
540821
5649
فرایندی که آینده را به مجموعه خاصی از ترتیب ها هدایت می کند.
09:18
A superintelligenceسوپر هوش is
a really strongقوی optimizationبهينه سازي processروند.
157
546470
3511
هوش مصنوعی فرایند بهینه ساز واقعا قوی است.
09:21
It's extremelyفوق العاده good at usingاستفاده كردن
availableدر دسترس است meansبه معنای to achieveرسیدن a stateحالت
158
549981
4117
در استفاده از ابزار در دسترس
جهت رسیدن به وضعیتی که در آن هدفش
09:26
in whichکه its goalهدف is realizedمتوجه شدم.
159
554098
1909
تشخیص داده شود بی نهایت خوب است.
09:28
This meansبه معنای that there is no necessaryلازم است
conenctionقرارداد betweenبین
160
556447
2672
این به آن معناست که هیچ ارتباط لازمی
09:31
beingبودن highlyبه شدت intelligentباهوش - هوشمند in this senseاحساس,
161
559119
2734
بین داشتن هوش بالا به این معنا،
09:33
and havingداشتن an objectiveهدف، واقعگرایانه that we humansانسان
would find worthwhileارزشمند or meaningfulمعنی دار.
162
561853
4662
و داشتن هدفی که ما انسانها آن را با معنا یا با ارزش بیابیم وجود ندارد.
09:39
Supposeفرض کنید we give an A.I. the goalهدف
to make humansانسان smileلبخند.
163
567321
3794
فرض کنید به یک هوش مصنوعی،
هدف لبخند زدن مثل انسانها را بدهیم.
09:43
When the A.I. is weakضعیف, it performsانجام می دهد usefulمفید است
or amusingسرگرم کننده actionsاقدامات
164
571115
2982
وقتی هوش مصنوعی ضعیف است، اعمال مفید یا جالب انجام می دهد
09:46
that causeسبب می شود its userکاربر to smileلبخند.
165
574097
2517
تا باعث لبخند زدن کاربرش شود.
09:48
When the A.I. becomesتبدیل می شود superintelligentفوق العاده هوشمند,
166
576614
2417
وقتی هوش مصنوعی، ابرهوشمند می شود،
09:51
it realizesمتوجه می شود that there is a more
effectiveتاثير گذار way to achieveرسیدن this goalهدف:
167
579031
3523
به این تشخیص می رسد که
روش موثرتری برای رسیدن به این هدف وجود دارد:
09:54
take controlکنترل of the worldجهان
168
582554
1922
کنترل دنیا را در دست بگیر
09:56
and stickچوب electrodesالکترود into the facialچهره
musclesعضلات of humansانسان
169
584476
3162
و الکترود در ماهیچه های صورت آدمها کن
09:59
to causeسبب می شود constantثابت, beamingتابش grinsگریه می کند.
170
587638
2941
تا همیشه در حال لبخند زدن باشند.
10:02
Anotherیکی دیگر exampleمثال,
171
590579
1035
مثال دیگر،
10:03
supposeفرض کنید we give A.I. the goalهدف to solveحل
a difficultدشوار mathematicalریاضی problemمسئله.
172
591614
3383
فرض کنید برای هوش مصنوعی،
هدف حل کردن یک مساله دشوار ریاضی را تعیین کنید.
10:06
When the A.I. becomesتبدیل می شود superintelligentفوق العاده هوشمند,
173
594997
1937
وقتی هوش مصنوعی، ابر هوشمند شود
10:08
it realizesمتوجه می شود that the mostاکثر effectiveتاثير گذار way
to get the solutionراه حل to this problemمسئله
174
596934
4171
موثرترین روش را برای رسیدن به راه حل این مشکل را
10:13
is by transformingتبدیل شدن the planetسیاره
into a giantغول computerکامپیوتر,
175
601105
2930
تبدیل کردن سیاره به یک کامپیوتر عظیم تشخیص می دهد،
10:16
so as to increaseافزایش دادن its thinkingفكر كردن capacityظرفیت.
176
604035
2246
تا به این ترتیب ظرفیت فکر کردنش را افزایش دهد.
10:18
And noticeاطلاع that this givesمی دهد the A.I.s
an instrumentalوسیله reasonدلیل
177
606281
2764
و البته متوجه باشید که این کار باعث می شود هوش مصنوعی دلیل ابزاری
10:21
to do things to us that we
mightممکن not approveتایید of.
178
609045
2516
برای انجام کارهایی برای ما داشته باشد
که شاید ما آن ها را تایید نکنیم.
10:23
Humanانسان beingsموجودات in this modelمدل are threatsتهدید,
179
611561
1935
انسانها در این الگو تهدید هستند،
10:25
we could preventجلوگیری کردن the mathematicalریاضی
problemمسئله from beingبودن solvedحل شد.
180
613496
2921
ما می توانیم مانع حل شدن مساله ریاضی شویم.
10:29
Of courseدوره, perceivablyقابل درک things won'tنخواهد بود
go wrongاشتباه in these particularخاص waysراه ها;
181
617207
3494
البته، از جنبه ادراکی
اوضاع در چنین روشهای خاص به بیراهه نخواهد رفت؛
10:32
these are cartoonکارتون examplesمثال ها.
182
620701
1753
اینها نمونه های کارتونی هستند.
10:34
But the generalعمومی pointنقطه here is importantمهم:
183
622454
1939
اما نکته کلی که در اینجا اهمیت دارد:
10:36
if you createايجاد كردن a really powerfulقدرتمند
optimizationبهينه سازي processروند
184
624393
2873
اگر پروسه بهینه واقعا قدرتمندی را بیافرینید
10:39
to maximizeبه حداکثر رساندن for objectiveهدف، واقعگرایانه x,
185
627266
2234
تا هدف ایکس را به حداکثر رسانید،
10:41
you better make sure
that your definitionتعریف of x
186
629500
2276
بهتر است مطمئن شوید که تعریف شما از ایکس
10:43
incorporatesشامل می شود everything you careاهميت دادن about.
187
631776
2469
با هر آنچه راجع به آن اهمیت می دهید همکاری دارد.
10:46
This is a lessonدرس that's alsoهمچنین taughtتدریس کرد
in manyبسیاری a mythاسطوره.
188
634835
4384
این درسی که همچنین به کرات در اسطورها آموخته می شود.
10:51
Kingپادشاه Midasمیاداس wishesخواسته ها that everything
he touchesلمس می کند be turnedتبدیل شد into goldطلا.
189
639219
5298
شاه «میداس» آروزیش این بود که هر چه را لمس می کند به طلا تبدیل شود.
10:56
He touchesلمس می کند his daughterفرزند دختر,
she turnsچرخش into goldطلا.
190
644517
2861
به دخترش دست می زند، به طلا تبدیل می شود.
10:59
He touchesلمس می کند his foodغذا, it turnsچرخش into goldطلا.
191
647378
2553
به غذا دست می زدد، طلا می شود.
11:01
This could becomeتبدیل شدن به practicallyعملا relevantمربوط,
192
649931
2589
عملا می تواند مرتبط باشد،
11:04
not just as a metaphorاستعاره for greedطمع,
193
652520
2070
نه فقط بعنوان کنایه از طمع
11:06
but as an illustrationتصویر of what happensاتفاق می افتد
194
654590
1895
بلکه شرحی از آنچه اتفاق می افتد
11:08
if you createايجاد كردن a powerfulقدرتمند
optimizationبهينه سازي processروند
195
656485
2837
اگر شما فرایند بهینه سازی قدرتمندی را خلق کنید
11:11
and give it misconceivedاشتباه متوجه
or poorlyضعیف specifiedمشخص شده goalsاهداف.
196
659322
4789
و برایش اهداف ضعیف یا نادرستی را تعیین کنید.
11:16
Now you mightممکن say, if a computerکامپیوتر startsشروع می شود
stickingچسبیده electrodesالکترود into people'sمردم facesچهره ها,
197
664111
5189
حالا شاید بگویید، اگر کامپیوتر شروع به فرو کردن الکترود به صورت آدمها کند،
11:21
we'dما می خواهیم just shutبسته شدن it off.
198
669300
2265
خب آن را خاموش می کنیم.
11:24
A, this is not necessarilyلزوما so easyآسان to do
if we'veما هستیم grownرشد کرد dependentوابسته on the systemسیستم --
199
672555
5340
الف: در صورتی که وابستگی ما به سیستم زیاد باشد،
انجام این کار چندن آسان نخواهد بود--
11:29
like, where is the off switchسوئیچ
to the Internetاینترنت?
200
677895
2732
برای مثال، کلید قطعی اینترنت کجاست؟
11:32
B, why haven'tنه the chimpanzeesشامپانزه ها
flickedفلاش the off switchسوئیچ to humanityبشریت,
201
680627
5120
ب: چرا شامپانزه ها کلید خاموشی بشریت را فشار ندادند،
11:37
or the Neanderthalsنئاندرتال ها?
202
685747
1551
یا ناندرتال ها؟
11:39
They certainlyقطعا had reasonsدلایل.
203
687298
2666
حتما دلایلی داشتند.
11:41
We have an off switchسوئیچ,
for exampleمثال, right here.
204
689964
2795
کلید خاموشی داریم، برای مثال همین جا.
11:44
(Chokingخفه کن)
205
692759
1554
(خفه شدن)
11:46
The reasonدلیل is that we are
an intelligentباهوش - هوشمند adversaryدشمن;
206
694313
2925
دلیلش این است که ما حریف باهوشی هستیم؛
11:49
we can anticipateپیش بینی کنید threatsتهدید
and planطرح around them.
207
697238
2728
می توانیم تهدیدات را پیش بینی کنیم و برایشان نقشه بکشیم.
11:51
But so could a superintelligentفوق العاده هوشمند agentعامل,
208
699966
2504
خب یک عامل ابرهوشمند هم قادر به این کار است،
11:54
and it would be much better
at that than we are.
209
702470
3254
و خیلی هم بهتر از ما این کار را می کند.
11:57
The pointنقطه is, we should not be confidentمطمئن
that we have this underزیر controlکنترل here.
210
705724
7187
موضوع این است که ما نباید به این یقین داشته باشیم که
اوضاع تحت کنترل ما است.
12:04
And we could try to make our jobکار
a little bitبیت easierآسان تر by, say,
211
712911
3447
و می توانیم تلاش کنیم کارمان را با قرار دادن هوش مصنوعی
12:08
puttingقرار دادن the A.I. in a boxجعبه,
212
716358
1590
داخل جعبه، کمی آسانتر کنیم،
12:09
like a secureامن است softwareنرم افزار environmentمحیط,
213
717948
1796
مثل یک محیط نرم افزاری ایمن،
12:11
a virtualمجازی realityواقعیت simulationشبیه سازی
from whichکه it cannotنمی توان escapeدر رفتن.
214
719744
3022
شبیه سازی مجازی از واقعیت، آنچه نمی تواند فرار کند
12:14
But how confidentمطمئن can we be that
the A.I. couldn'tنمی توانستم find a bugاشکال.
215
722766
4146
اما چقدر مطمئن می‌توانیم باشیم که هوش مصنوعی باگ نگیرد.
12:18
Givenداده شده that merelyصرفا - فقط humanانسان hackersهکرها
find bugsاشکالات all the time,
216
726912
3169
با این فرض که هکرهای انسانی همیشه قادر به پیدا کردن باگ هستند،
12:22
I'd say, probablyشاید not very confidentمطمئن.
217
730081
3036
من که می‌گویم نباید خیلی مطمئن بود.
12:26
So we disconnectقطع شدن the ethernetاترنت cableکابلی
to createايجاد كردن an airهوا gapشکاف,
218
734237
4548
پس کابل اترنت را برای ایجاد شکاف هوایی خلق می کنیم،
12:30
but again, like merelyصرفا - فقط humanانسان hackersهکرها
219
738785
2668
اما، دوباره مثل هكرهاى انسانى
12:33
routinelyبه طور معمول transgressانتقام airهوا gapsشکاف ها
usingاستفاده كردن socialاجتماعی engineeringمهندسی.
220
741453
3381
طبق عادت شکافهای هوایی را
با استفاده از مهندسی اجتماعی دچار خطا می کند.
12:36
Right now, as I speakصحبت,
221
744834
1259
همين حالا كه حرف مى زنم،
12:38
I'm sure there is some employeeکارمند
out there somewhereجایی
222
746093
2389
مطمئنم يك كارمندى آن بيرون در جايى
12:40
who has been talkedصحبت کرد into handingتحویل out
her accountحساب detailsجزئیات
223
748482
3346
از وى خواسته مى شود كه جزييات حسابش را به كسى كه مدعى است
12:43
by somebodyکسی claimingادعا می کند to be
from the I.T. departmentبخش.
224
751828
2746
از بخش آى تى است بدهد.
12:46
More creativeخلاقانه scenariosسناریوها are alsoهمچنین possibleامکان پذیر است,
225
754574
2127
البته سناريوهاى خلاقانه ترى هم ممكن است،
12:48
like if you're the A.I.,
226
756701
1315
فرض کنید كه شما آن هوش مصنوعى هستيد،
12:50
you can imagineتصور کن wigglingwiggling electrodesالکترود
around in your internalداخلی circuitryمدار مدار
227
758016
3532
می توانید آن الکترودهای در هم لولیده را
دور مدار داخلیتان تصور کنید
12:53
to createايجاد كردن radioرادیو wavesامواج that you
can use to communicateبرقراری ارتباط.
228
761548
3462
که در خلق امواج رادیویی برای ایجاد ارتباط استفاده می کنید.
12:57
Or maybe you could pretendوانمود کنید to malfunctionاشکال در عملکرد,
229
765010
2424
یا حتی شاید وانمود به خراب شدن کنید،
12:59
and then when the programmersبرنامه نویسان openباز کن
you up to see what wentرفتی wrongاشتباه with you,
230
767434
3497
و بعد وقتی برنامه نویسها برای فهم مشکل بازتان می کنند،
13:02
they look at the sourceمنبع codeکد -- Bamبم! --
231
770931
1936
به کد منبع نگاه میاندازند-- گول خوردن!--
13:04
the manipulationدستکاری can take placeمحل.
232
772867
2447
امکان اتفاق دستکاری وجود دارد.
13:07
Or it could outputخروجی the blueprintطرح
to a really niftyعالی technologyتکنولوژی,
233
775314
3430
یا بتواند بلوپرینتی را برای یک فناوری واقعا خوب و جالب بیرون دهد،
13:10
and when we implementپیاده سازی it,
234
778744
1398
و وقتی آن را اجرا کردیم،
13:12
it has some surreptitiousمخفیانه sideسمت effectاثر
that the A.I. had plannedبرنامه ریزی شده.
235
780142
4397
که بخاطر طرح ریزی شدن توسط هوش مصنوعی
اثر جانبی محرمانه ای دارد.
13:16
The pointنقطه here is that we should
not be confidentمطمئن in our abilityتوانایی
236
784539
3463
نکته اینجاست که ما نباید به تواناییمان در نگهداری
13:20
to keep a superintelligentفوق العاده هوشمند genieجن
lockedقفل شده است up in its bottleبطری foreverبرای همیشه.
237
788002
3808
جن ابرهوشمند توی چراغ تا ابد مطمئن باشیم.
13:23
Soonerزودتر or laterبعد, it will out.
238
791810
2254
دیر یا زود، فرار می کند.
13:27
I believe that the answerپاسخ here
is to figureشکل out
239
795034
3103
به باور من جواب در اینجا پی بردن به
13:30
how to createايجاد كردن superintelligentفوق العاده هوشمند A.I.
suchچنین that even if -- when -- it escapesفرار می کند,
240
798137
5024
نحوه آفرینش ابرهوشمند است.
اینطور که حتی وقتی فرار می کند،
13:35
it is still safeبی خطر because it is
fundamentallyاساسا on our sideسمت
241
803161
3277
هنوز ایمن است چون اساسا در طرف ما قرار دارد
13:38
because it sharesسهام our valuesارزش های.
242
806438
1899
چون ارزشهای ما را همخوان می کند.
13:40
I see no way around
this difficultدشوار problemمسئله.
243
808337
3210
راه دیگری درباره این مشکل دشوار نمی بینم.
13:44
Now, I'm actuallyدر واقع fairlyمنصفانه optimisticخوش بینانه
that this problemمسئله can be solvedحل شد.
244
812557
3834
اکنون، من واقعا درباره حل این مشکل خوش بینم.
13:48
We wouldn'tنمی خواهم have to writeنوشتن down
a long listفهرست of everything we careاهميت دادن about,
245
816391
3903
فهرست بلند و بالایی از ههمه آنچه برایمان اهمیت دارد ننوشته ایم،
13:52
or worseبدتر yetهنوز, spellهجی کردن it out
in some computerکامپیوتر languageزبان
246
820294
3643
یا بدتر از آن، کافی است به بعضی زبانهای کامپیوتری بیان شود
13:55
like C++ or Pythonپایتون,
247
823937
1454
مثل ++C یا پیتون،
13:57
that would be a taskوظیفه beyondفراتر hopelessنومید.
248
825391
2767
نتیجه فراتر از مایوسانه خواهد بود.
14:00
Insteadبجای, we would createايجاد كردن an A.I.
that usesاستفاده می کند its intelligenceهوش
249
828158
4297
در عوض، هوش مصنوعی خلق خواهیم کرد
که از هوش خود برای آموختن چیزی استفاده کند
14:04
to learnیاد گرفتن what we valueارزش,
250
832455
2771
که آن را ارج می نهیم،
14:07
and its motivationانگیزه systemسیستم is constructedساخته شده است
in suchچنین a way that it is motivatedانگیزه
251
835226
5280
و انگیزه سیستمی آن بر مبنایی ساخته شده است که اشتیاقش
14:12
to pursueدنبال کردن our valuesارزش های or to performانجام دادن actionsاقدامات
that it predictsپیش بینی می کند we would approveتایید of.
252
840506
5232
دنبال کردن ارزشهای ما یا اجرای اقداماتی است
تا آنچه را که تایید می کنیم پیش بینی کند.
14:17
We would thusبدین ترتیب leverageقدرت نفوذ
its intelligenceهوش as much as possibleامکان پذیر است
253
845738
3414
بنابراین هوشش را تا حد امکان بهبود می بخشیم
14:21
to solveحل the problemمسئله of value-loadingارزش بارگیری.
254
849152
2745
تا مشکل بارگذاری ارزش را حل کنیم.
14:24
This can happenبه وقوع پیوستن,
255
852727
1512
این شدنی است،
14:26
and the outcomeنتیجه could be
very good for humanityبشریت.
256
854239
3596
و نتیجه می تواند برای انسانیت خوب باشد.
14:29
But it doesn't happenبه وقوع پیوستن automaticallyبطور خودکار.
257
857835
3957
اما خب بطور خودکار اتفاق نمی افتد.
14:33
The initialاولیه conditionsشرایط
for the intelligenceهوش explosionانفجار
258
861792
2998
شرایط اولیه برای انفجار هوش
14:36
mightممکن need to be setتنظیم up
in just the right way
259
864790
2863
شاید نیاز به وضع آن به روش درست دارد،
14:39
if we are to have a controlledکنترل شده است detonationانفجار.
260
867653
3530
اگر که خواستار انفجار کنترل شده ای هستیم.
14:43
The valuesارزش های that the A.I. has
need to matchهمخوانی داشتن oursما,
261
871183
2618
ارزشهایی که هوش مصنوعی برای هماهنگی با ما نیاز دارد،
14:45
not just in the familiarآشنا contextزمینه,
262
873801
1760
نه فقط در بافتی مشابه،
14:47
like where we can easilyبه آسانی checkبررسی
how the A.I. behavesرفتار می کند,
263
875561
2438
مثل جایی که به راحتی بشود
نحوه کارکرد هوش مصنوعی را بررسی کرد،
14:49
but alsoهمچنین in all novelرمان contextsزمینه ها
that the A.I. mightممکن encounterرویارویی
264
877999
3234
اما همچنین در همه بافتهای جدیدی که هوش مصنوعی در آینده نامعلوم
14:53
in the indefiniteنامحدود futureآینده.
265
881233
1557
شاید با آن مواجه گردد.
14:54
And there are alsoهمچنین some esotericترسناک issuesمسائل
that would need to be solvedحل شد, sortedمرتب شده اند out:
266
882790
4737
و شاید همینطور مسائل محرمانه ای باشند که نیاز به حل شدن و جداسازی دارند:
14:59
the exactدقیق detailsجزئیات of its decisionتصمیم گیری theoryتئوری,
267
887527
2089
جزییات دقیق نظریه تصمیم گیری،
15:01
how to dealمعامله with logicalمنطقی
uncertaintyعدم قطعیت and so forthچهارم.
268
889616
2864
نحوه برخورد با بلاتکلیفی منطقی و الی آخر.
15:05
So the technicalفنی problemsمشکلات that need
to be solvedحل شد to make this work
269
893330
3102
بنابراین مشکلات تکنیکی که نیاز به حل شدن دارند تا این کار
15:08
look quiteکاملا difficultدشوار --
270
896432
1113
نسبتا دشوار به نظر رسد--
15:09
not as difficultدشوار as makingساخت
a superintelligentفوق العاده هوشمند A.I.,
271
897545
3380
نه به دشواری ساخت یک ابر هوشمند،
15:12
but fairlyمنصفانه difficultدشوار.
272
900925
2868
اما کمابیش دشوار.
15:15
Here is the worryنگرانی:
273
903793
1695
نگرانی که هست:
15:17
Makingساخت superintelligentفوق العاده هوشمند A.I.
is a really hardسخت challengeچالش.
274
905488
4684
ساخت ابر هوشمند چالش واقعا دشواری است.
15:22
Makingساخت superintelligentفوق العاده هوشمند A.I. that is safeبی خطر
275
910172
2548
ساخت سوپر ابرهوشمندی که ایمن است
15:24
involvesشامل می شود some additionalاضافی
challengeچالش on topبالا of that.
276
912720
2416
دربرگیرنده چالش اضافی علاوه بر آن نیز هست.
15:28
The riskخطر is that if somebodyکسی figuresارقام out
how to crackترک the first challengeچالش
277
916216
3487
خطر زمانی است که کسی پی به کرک کردن چالش اولی ببرد
15:31
withoutبدون alsoهمچنین havingداشتن crackedترک خورده
the additionalاضافی challengeچالش
278
919703
3001
بی آنکه چالش اضافی مربوط به تضمین ایمنی کامل
15:34
of ensuringتضمین perfectکامل safetyایمنی.
279
922704
1901
را هک کرده باشد.
15:37
So I think that we should
work out a solutionراه حل
280
925375
3331
پس بنظرم باید به فکر راه حلی باشیم
15:40
to the controlکنترل problemمسئله in advanceپیشرفت,
281
928706
2822
که مشکل را از پیش حل کند،
15:43
so that we have it availableدر دسترس است
by the time it is neededمورد نیاز است.
282
931528
2660
تا در صورت نیاز آن را در اختیار داشته باشیم.
15:46
Now it mightممکن be that we cannotنمی توان solveحل
the entireکل controlکنترل problemمسئله in advanceپیشرفت
283
934768
3507
حال شاید اینطور باشد که ما نمی توانیم مشکل کنترل کلی را از پیش حل کنیم
15:50
because maybe some elementsعناصر
can only be put in placeمحل
284
938275
3024
چون احتمالا برخی المانها را تنها در صورتی میشود در جایشان قرار داد
15:53
onceیک بار you know the detailsجزئیات of the
architectureمعماری where it will be implementedپیاده سازی شده است.
285
941299
3997
که از جزییات معماری مربوط به جاسازیشان باخبر باشید.
15:57
But the more of the controlکنترل problemمسئله
that we solveحل in advanceپیشرفت,
286
945296
3380
اما مضاف بر مشکل کنترل که پیشاپیش حلش می کنیم،
16:00
the better the oddsشانس that the transitionگذار
to the machineدستگاه intelligenceهوش eraدوران
287
948676
4090
احتمال می رود که انتقال به عصر هوش ماشینی
16:04
will go well.
288
952766
1540
خوب پیش برود.
16:06
This to me looksبه نظر می رسد like a thing
that is well worthارزش doing
289
954306
4644
که بنظرم چیزی است که کاملا ارزش انجامش را دارد
16:10
and I can imagineتصور کن that if
things turnدور زدن out okay,
290
958950
3332
و می توانم تصور کنم که نتیجه اش خوب باشد،
16:14
that people a millionمیلیون yearsسالها from now
look back at this centuryقرن
291
962282
4658
که آدمهای یک میلیون سال بعد، به این قرن نگاه می کنند
16:18
and it mightممکن well be that they say that
the one thing we did that really matteredمهم است
292
966940
4002
و احتمالا خواهند گفت که شاید تنها کار بارارزشی که ما انجام دادیم
16:22
was to get this thing right.
293
970942
1567
به سرانجام رساندن درست آن بود.
16:24
Thank you.
294
972509
1689
متشکرم.
16:26
(Applauseتشویق و تمجید)
295
974198
2813
(تشویق)
Translated by Leila Ataei
Reviewed by Masood Mousavi

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com