TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
نیک بوستروم: وقتی کامپیوترها باهوش تر از ما شوند، چه خواهد شد؟
Filmed:
Readability: 4.4
4,632,705 views
هوش مصنوعی با سرعت قابل توجهی درحال هوشمندتر شدن است-- در همین سده، تحقیقات نشان داده است که، هوش مصنوعی کامپیوتری می تواند به زیرکی یک انسان باشد. و در ادامه به ادعای نیک بوستروم، از انسان پیشی خواهد گرفت: " هوش ماشینی آخرین اختراعی است که بشر به آن نیاز دارد." بوستروم، فیلسوف و دانشمند حوزه فناوری از ما میخواهد درباره جهان هدایت شده از سوی ماشینها، که اکنون در حال خلقش هستیم فکر کنیم. آیا ماشینهای هوشمند ما به نگهداری بشریت و ارزشهای ما کمک خواهند کرد- یا صاحب ارزشهای خود خواهند بود؟
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
من با گروهی از ریاضیدان ها، فیلسوف ها و دانشمندان کامپیوتر کار می کنم،
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
ما دور هم می نشینیم و درباره آینده هوش ماشینی
00:21
among other things.
2
9986
2044
در میان الباقی چیزها فکر می کنیم.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
بعضی از مردم فکر می کنند که این چیزها تخیلات علمی،
00:28
far out there, crazy.
4
16755
3101
و دور از واقعیت و دیوانه وارند.
00:31
But I like to say,
5
19856
1470
اما مایل هستم که بگویم
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
بسیار خوب، بیایید نگاهی به شرایط مدرن بشر بیاندازیم.
00:36
(Laughter)
7
24930
1692
(خنده)
00:38
This is the normal way for things to be.
8
26622
2402
این طریقه عادی بودن چیزهاست.
00:41
But if we think about it,
9
29024
2285
اما اگر درباره اش فکر کنید،
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
ما در واقعیت میهمانان تازه رسیده به این سیاره هستیم،
00:46
the human species.
11
34602
2082
گونه بشر.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
فکر کنید اگر زمین یک سال قبل خلق شده بود،
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
پس، گونه بشر ۱۰ دقیقه بیشتر عمرش نبود.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
عصر صنعتی دو ثانیه قبل شروع می شد.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
روش دیگر نگاه به این موضوع ،
فکر کردن در مورد تولید ناخالص داخلی جهان، طی ۱۰٫۰۰۰ سال گذشته است،
فکر کردن در مورد تولید ناخالص داخلی جهان، طی ۱۰٫۰۰۰ سال گذشته است،
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
در واقع، من دردسر ترسیم آن را برای شما
در این نمودار کشیده ام.
در این نمودار کشیده ام.
01:09
It looks like this.
17
57530
1774
مثل این به نظر می رسد.
01:11
(Laughter)
18
59304
1363
(خنده)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
شکل عجیبی برای شرایط عادی است.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
مطمئنم که نمیخواهم در این وضع قرار بگیرم.
01:16
(Laughter)
21
64516
2551
(خنده)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
بگذارید از خودمان بپرسیم، دلیل این بی قاعدگی فعلی چیست؟
01:23
Some people would say it's technology.
23
71841
2552
شاید بعضی بگویند فناوری.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
درست است که فناوری در طول تاریخ بشر انباشته شده
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
و در حال حاضر فناوری با سرعت زیادی در حال پیشروی است--
01:35
that is the proximate cause,
26
83713
1565
اما این دلیل اصلی نیست،
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
چرا که ما در حال حاضر خیلی مولد هستیم.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
اما دوست دارم برای علت اصلی، به عقب تر برگردم.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
به این دو آقای بسیار متشخص نگاه کنید:
01:48
We have Kanzi --
30
96880
1600
ما "کانزی" را داریم--
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
استاد ۲۰۰ توکن واژگانی، موفقیت شگفت آوری است.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
و" اد ویتن" که دومین انقلاب ابرریسمان را مطرح کرد.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
اگر به بررسی ادامه دهیم، به این نتیجه می رسیم که:
02:01
basically the same thing.
34
109141
1570
در اصل یک چیز است.
02:02
One is a little larger,
35
110711
1813
یکی، کمی بزرگتر است،
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
هر چند ممکن است چند حقه هم
در عجیب بودن این روش باشد،
در عجیب بودن این روش باشد،
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
اما این اختلافات غیرقابل مشاهده
چندان نمی توانند پیچیده باشند،
چندان نمی توانند پیچیده باشند،
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
چون تنها ۲۵۰ هزار نسل از آخرین جد
02:15
since our last common ancestor.
39
123379
1732
مشترکمان می گذرد.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
می دانیم که مکانیزم های پیچیده زمان طولانی برای تکامل دارند.
02:22
So a bunch of relatively minor changes
41
130000
2499
بنابراین چندتایی تغییرات جزئی نسبی
02:24
take us from Kanzi to Witten,
42
132499
3067
ما را از "کانزی" به "ویتن" می رساند،
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
از شاخه های درخت شکسته تا موشک های بالستیک بین قاره ای.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
پس این خیلی واضح به نظر می رسد که همه چیز قابل دستیابی است،
02:36
and everything we care about,
45
144774
1378
و هر چه را که به آن اهمیت می دهیم،
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
عمدتا بستگی به تغییرات جزئی نسبی دارد
که ذهن بشر را می سازد.
که ذهن بشر را می سازد.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
و نتیجه آن، البته تغییرات بیشتری است
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
که می توانند بطور عمده بستر اندیشه را تغییر داده
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
و منجر به پیامد بالقوه ی عظیمی گردند.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
برخی از همکارانم فکر می کردند که ما در آستانه
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
چیزی هستیم که می تواند منجر به تغییری ژرف در آن بستر شود،
03:03
and that is machine superintelligence.
52
171134
3213
و آن ماشین ابرهوشمند است.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
پیش از این، هوش مصنوعی درباره
قرار دادن دستورات در یک جعبه بود.
قرار دادن دستورات در یک جعبه بود.
03:11
You would have human programmers
54
179086
1665
شما برنامه نویس های انسانی را داشتید
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
که با زحمت آیتم های دانش را هنرمندانه شکل میدادند.
03:15
You build up these expert systems,
56
183886
2086
شما این سیستم های خبره را می سازید،
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
که به نحوی برای برخی مقاصد، مناسب بودند،
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
اما آنقدر بی دوام بودند که قادر به سنجش آنها نبودید.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
در اصل، تنها چیزی را درو می کنید که کاشتید.
03:26
But since then,
60
194410
997
اما از آن موقع تاکنون،
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
تغییر قابل توجه ای در زمینه هوش مصنوعی رخ داده است.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
امروزه، اقدامات حقیقتا درباره یادگیری ماشین است.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
پس بجای هنرمندانه شکل دادن آرایه ها و نمایه های علمی،
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
الگوریتم هایی را خلق می کنیم که یاد می گیرد،
اغلب هم از داده های دریافتی خام.
اغلب هم از داده های دریافتی خام.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
عمدتا همان کاری را که نوزاد بشر انجام می دهد.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
نتیجه، هوش مصنوعی است
که به یک حوزه محدود نیست--
که به یک حوزه محدود نیست--
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
نظام یکسانی که می تواند
ترجمه کردن بین هر دو زبان فرضی را یاد بگیرد،
ترجمه کردن بین هر دو زبان فرضی را یاد بگیرد،
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
یا بازی کردن هر بازی کامپیوتری را با آتاری.
04:05
Now of course,
69
233338
1779
البته الان،
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
هوش مصنوعی، هنوز جایی نزدیک همان
توانایی قدرتمند و مطمئن
توانایی قدرتمند و مطمئن
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
برای یادگیری و برنامه ریزی است که بشر آن را دارد.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
"کورتکس" هنوز برخی از همان حقه های الگوریتمی را دارد
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
که ما از نحوه قرار دادنشان در ماشینها بی اطلاعیم.
04:19
So the question is,
74
247886
1899
پس پرسش این است،
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
تا چه حد قادر به هماهنگی این حقه ها هستیم؟
04:26
A couple of years ago,
76
254245
1083
دو سال پیش،
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
آمارگیری را بین متخصصان برجسته هوش مصنوعی انجام دادیم،
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
تا بدانیم به چه چیزی فکری می کنند،
و یکی از پرسش هایی که ما مطرح کردیم این بود که :
و یکی از پرسش هایی که ما مطرح کردیم این بود که :
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"فکر می کنید در چه سالی ۵۰ درصد احتمال خواهد داشت
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
که به ماشینی هوشمند در سطح بشر دست بیابیم؟"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
در اینجا ما توانایی در سطح انسان را
بعنوان قابلیتی برای اجرای
بعنوان قابلیتی برای اجرای
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
هر کاری تعریف می کنیم که
حداقل انسان بالغ نیز آن را انجام دهد،
حداقل انسان بالغ نیز آن را انجام دهد،
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
پس سطح انسانی واقعی، فقط چیزی در محدوده یک دامنه نیست.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
و پاسخ میانگین در حدود سال ۲۰۴۰ یا ۲۰۵۰ بود.
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
دقیقا بسته به این که از کدام گروه از متخصصان سوال کردیم.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
پس این اتفاق خیلی دیر یا زود اتفاق خواهد افتاد.
05:02
the truth is nobody really knows.
87
290339
1940
واقعیت این است که کسی دقیقا نمی داند.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
آنچه می دانیم این است که حد نهایی برای پردازش اطلاعات
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
در بستر ماشین خارج از مرزهای موجود در بافت زیستی قرار می گیرد.
05:15
This comes down to physics.
90
303241
2378
که به فیزیک منتهی می شود.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
یک نورون زیستی شاید ۲۰۰ بار در ثانیه ۲۵۰ هرتز شلیک کند.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
اما حتی ترانزیستورهای امروزی گیگاهرتزی عمل می کنند.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
نورون ها به آرامی در محورها گسترده می شوند،
حداکثر ۱۰۰ متر در ثانیه.
حداکثر ۱۰۰ متر در ثانیه.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
اما در کامپیوترها، سیگنال ها قابلیت سفر با با سرعت نور را دارند.
05:35
There are also size limitations,
95
323079
1869
محدودیت های ابعادی نیز هست،
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
مثل مغز انسانی که باید درون جمجمه جا شود،
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
اما کامپیوتر می تواند به بزرگی یک انباری یا بزرگتر نیز باشد.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
بنابراین پتانسیل ابَرهوشمند هنوز نهفته است،
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
بیشتر مثل نیروی اتم که در طول تاریخ بشریت نهفته بود
05:56
patiently waiting there until 1945.
100
344047
4405
تا این که در ۱۹۴۵ کشف شد.
06:00
In this century,
101
348452
1248
در این قرن،
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
دانشمندان شاید یاد بگیرند نیروی هوش مصنوعی را بیدار کنند.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
و فکر می کنم بعد آن شاهد انفجار هوشی باشیم.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
اکنون اغلب مردم وقتی به زیرک یا کودن بودن چیزی فکر می کنند،
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
فکر می کنم این تصویر نسبتا خشن را در ذهنشان دارند.
06:17
So at one end we have the village idiot,
106
365386
2598
که در یکسو دهکده خرفت ها را داریم
06:19
and then far over at the other side
107
367984
2483
و در سوی دیگر
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
امثال "اد ویتن" و "آلبرت اینشتن" یا هر کسی که معلم مذهبی ما است را داریم.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
اما بنظرم از دیدگاه هوش مصنوعی
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
تصویر حقیقی باید در واقع چیزی شبیه به این باشد:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
هوش مصنوعی در نقطه ای اینجا آغاز می شود، در هوش صفر،
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
و سپس بعد از سالهای سال کار واقعا سخت،
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
شاید سرانجام به هوش مصنوعی سطح موش برسیم،
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
چیزی که بتواند که در محیط های درهم، جهت یابی کند،
06:47
as well as a mouse can.
115
395921
1987
همانطور که موش ها می توانند.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
و سپس، بعد از سال های خیلی خیلی بیشتر دیگری
از کار واقعا سخت، کلی سرمایه گذاری،
از کار واقعا سخت، کلی سرمایه گذاری،
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
شاید سرانجام به هوش مصنوعی سطح شامپانزه برسیم.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
و بعد، پس از سال های بازهم بیشتری از کار واقعا سخت،
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
ما به هوش مصنوعی سطح دهکده خرفت ها می رسیم.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
و چند لحظه بعد از آن، پشت سر"اد ویتن" هستیم.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
قطار در ایستگاه دهکده بشری متوقف نمی شود.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
احتمالا بجایش با سرعت از آن بگذرد.
07:14
Now this has profound implications,
123
422247
1984
خب از اینجاست که احتمالا پیامدهای عمیق داشته باشد،
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
به ویژه وقتی پای قدرت در میان باشد.
07:20
For example, chimpanzees are strong --
125
428093
1899
برای مثال، شامپانزه ها قوی هستند--
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
در ازای هر کیلو، یک شامپانزه دو برابر یک انسان مذکر قدرت دارد.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
و هنوز سرنوشت "کانزی" و رفقایش بیشتر بستگی
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
به عملکرد ما انسانها دارد تا آنچه خود شامپانزه ها انجام می دهند.
07:37
Once there is superintelligence,
129
445228
2314
وقتی پای هوش مصنوعی در میان باشد،
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
سرنوشت بشریت شاید به هوش مصنوعی وابسته باشد.
07:44
Think about it:
131
452451
1057
به آن فکر کنید:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
هوش ماشینی آخرین اختراعی است که بشریت به آن نیاز خواهد داشت.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
ماشینها پس از آن نسبت به ما عملکرد بهتری در اختراعات خواهند داشت،
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
و آن را در مقیاس زمانی دیجیتال انجام خواهند داد.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
که به طور اساسی به معنای فشرده کردن آینده است.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
به همه فناوریهای دیوانه واری فکر کنید که شاید بشر در آینده
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
بطور کامل توسعه دهد و شما قادر به تصور کردنشان هستید:
08:07
cures for aging, space colonization,
138
475322
3258
درمان پیری، سکنا گزیدن در فضا،
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
نانوباتهای خودجایگزین یا انتقال اطلاعت ذهن به کامپیوترها،
08:14
all kinds of science fiction-y stuff
140
482311
2159
همه انواع موضاعات علمی تخیلی
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
که با این حال با قوانین فیزیک مرتبط اند.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
تمامی این هوش مصنوعی قادر به توسعه یافتن است،
و احتمالا هم بسیار سریع.
و احتمالا هم بسیار سریع.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
حال، یک هوش مصنوعی با چنین بلوغ در فناوری
08:28
would be extremely powerful,
144
496007
2179
بی نهایت قدرتمند خواهد بود،
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
و حداقل در برخی سناریوها، قادر به رسیدن به آنچه می خواهد است.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
پس آینده ای که خواهیم داشت
بواسطه ترجیحات این هوش مصنوعی شکل می گیرد.
بواسطه ترجیحات این هوش مصنوعی شکل می گیرد.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
حال پرسشی که مطرح است، این ترجیحات کدامند؟
08:46
Here it gets trickier.
148
514244
1769
اینجاست که پیچیده تر می شود.
08:48
To make any headway with this,
149
516013
1435
برای هرگونه پیشرفت در این زمینه،
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
نخست باید از هر گونه انسان پنداری اجتناب کنیم.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
و این کمی کنایه آمیز است زیرا تمامی مقالات روزنامه ها
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
درباره آینده هوش مصنوعی تصویر این چنینی ارائه می دهد:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
پس فکر می کنم آنچه لازم است انجام دهیم
باور داشتن هر چه بیشتر مساله بخودی خود است،
باور داشتن هر چه بیشتر مساله بخودی خود است،
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
نه در قالب سناریوهای هالیوودی تخیلی قوی.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
لازم است به هوش، بعنوان فرایندی بهینه ساز فکر کنیم،
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
فرایندی که آینده را به مجموعه خاصی از ترتیب ها هدایت می کند.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
هوش مصنوعی فرایند بهینه ساز واقعا قوی است.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
در استفاده از ابزار در دسترس
جهت رسیدن به وضعیتی که در آن هدفش
جهت رسیدن به وضعیتی که در آن هدفش
09:26
in which its goal is realized.
159
554098
1909
تشخیص داده شود بی نهایت خوب است.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
این به آن معناست که هیچ ارتباط لازمی
09:31
being highly intelligent in this sense,
161
559119
2734
بین داشتن هوش بالا به این معنا،
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
و داشتن هدفی که ما انسانها آن را با معنا یا با ارزش بیابیم وجود ندارد.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
فرض کنید به یک هوش مصنوعی،
هدف لبخند زدن مثل انسانها را بدهیم.
هدف لبخند زدن مثل انسانها را بدهیم.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
وقتی هوش مصنوعی ضعیف است، اعمال مفید یا جالب انجام می دهد
09:46
that cause its user to smile.
165
574097
2517
تا باعث لبخند زدن کاربرش شود.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
وقتی هوش مصنوعی، ابرهوشمند می شود،
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
به این تشخیص می رسد که
روش موثرتری برای رسیدن به این هدف وجود دارد:
روش موثرتری برای رسیدن به این هدف وجود دارد:
09:54
take control of the world
168
582554
1922
کنترل دنیا را در دست بگیر
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
و الکترود در ماهیچه های صورت آدمها کن
09:59
to cause constant, beaming grins.
170
587638
2941
تا همیشه در حال لبخند زدن باشند.
10:02
Another example,
171
590579
1035
مثال دیگر،
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
فرض کنید برای هوش مصنوعی،
هدف حل کردن یک مساله دشوار ریاضی را تعیین کنید.
هدف حل کردن یک مساله دشوار ریاضی را تعیین کنید.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
وقتی هوش مصنوعی، ابر هوشمند شود
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
موثرترین روش را برای رسیدن به راه حل این مشکل را
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
تبدیل کردن سیاره به یک کامپیوتر عظیم تشخیص می دهد،
10:16
so as to increase its thinking capacity.
176
604035
2246
تا به این ترتیب ظرفیت فکر کردنش را افزایش دهد.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
و البته متوجه باشید که این کار باعث می شود هوش مصنوعی دلیل ابزاری
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
برای انجام کارهایی برای ما داشته باشد
که شاید ما آن ها را تایید نکنیم.
که شاید ما آن ها را تایید نکنیم.
10:23
Human beings in this model are threats,
179
611561
1935
انسانها در این الگو تهدید هستند،
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
ما می توانیم مانع حل شدن مساله ریاضی شویم.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
البته، از جنبه ادراکی
اوضاع در چنین روشهای خاص به بیراهه نخواهد رفت؛
اوضاع در چنین روشهای خاص به بیراهه نخواهد رفت؛
10:32
these are cartoon examples.
182
620701
1753
اینها نمونه های کارتونی هستند.
10:34
But the general point here is important:
183
622454
1939
اما نکته کلی که در اینجا اهمیت دارد:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
اگر پروسه بهینه واقعا قدرتمندی را بیافرینید
10:39
to maximize for objective x,
185
627266
2234
تا هدف ایکس را به حداکثر رسانید،
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
بهتر است مطمئن شوید که تعریف شما از ایکس
10:43
incorporates everything you care about.
187
631776
2469
با هر آنچه راجع به آن اهمیت می دهید همکاری دارد.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
این درسی که همچنین به کرات در اسطورها آموخته می شود.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
شاه «میداس» آروزیش این بود که هر چه را لمس می کند به طلا تبدیل شود.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
به دخترش دست می زند، به طلا تبدیل می شود.
10:59
He touches his food, it turns into gold.
191
647378
2553
به غذا دست می زدد، طلا می شود.
11:01
This could become practically relevant,
192
649931
2589
عملا می تواند مرتبط باشد،
11:04
not just as a metaphor for greed,
193
652520
2070
نه فقط بعنوان کنایه از طمع
11:06
but as an illustration of what happens
194
654590
1895
بلکه شرحی از آنچه اتفاق می افتد
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
اگر شما فرایند بهینه سازی قدرتمندی را خلق کنید
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
و برایش اهداف ضعیف یا نادرستی را تعیین کنید.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
حالا شاید بگویید، اگر کامپیوتر شروع به فرو کردن الکترود به صورت آدمها کند،
11:21
we'd just shut it off.
198
669300
2265
خب آن را خاموش می کنیم.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
الف: در صورتی که وابستگی ما به سیستم زیاد باشد،
انجام این کار چندن آسان نخواهد بود--
انجام این کار چندن آسان نخواهد بود--
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
برای مثال، کلید قطعی اینترنت کجاست؟
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
ب: چرا شامپانزه ها کلید خاموشی بشریت را فشار ندادند،
11:37
or the Neanderthals?
202
685747
1551
یا ناندرتال ها؟
11:39
They certainly had reasons.
203
687298
2666
حتما دلایلی داشتند.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
کلید خاموشی داریم، برای مثال همین جا.
11:44
(Choking)
205
692759
1554
(خفه شدن)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
دلیلش این است که ما حریف باهوشی هستیم؛
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
می توانیم تهدیدات را پیش بینی کنیم و برایشان نقشه بکشیم.
11:51
But so could a superintelligent agent,
208
699966
2504
خب یک عامل ابرهوشمند هم قادر به این کار است،
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
و خیلی هم بهتر از ما این کار را می کند.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
موضوع این است که ما نباید به این یقین داشته باشیم که
اوضاع تحت کنترل ما است.
اوضاع تحت کنترل ما است.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
و می توانیم تلاش کنیم کارمان را با قرار دادن هوش مصنوعی
12:08
putting the A.I. in a box,
212
716358
1590
داخل جعبه، کمی آسانتر کنیم،
12:09
like a secure software environment,
213
717948
1796
مثل یک محیط نرم افزاری ایمن،
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
شبیه سازی مجازی از واقعیت، آنچه نمی تواند فرار کند
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
اما چقدر مطمئن می‌توانیم باشیم که هوش مصنوعی باگ نگیرد.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
با این فرض که هکرهای انسانی همیشه قادر به پیدا کردن باگ هستند،
12:22
I'd say, probably not very confident.
217
730081
3036
من که می‌گویم نباید خیلی مطمئن بود.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
پس کابل اترنت را برای ایجاد شکاف هوایی خلق می کنیم،
12:30
but again, like merely human hackers
219
738785
2668
اما، دوباره مثل هكرهاى انسانى
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
طبق عادت شکافهای هوایی را
با استفاده از مهندسی اجتماعی دچار خطا می کند.
با استفاده از مهندسی اجتماعی دچار خطا می کند.
12:36
Right now, as I speak,
221
744834
1259
همين حالا كه حرف مى زنم،
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
مطمئنم يك كارمندى آن بيرون در جايى
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
از وى خواسته مى شود كه جزييات حسابش را به كسى كه مدعى است
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
از بخش آى تى است بدهد.
12:46
More creative scenarios are also possible,
225
754574
2127
البته سناريوهاى خلاقانه ترى هم ممكن است،
12:48
like if you're the A.I.,
226
756701
1315
فرض کنید كه شما آن هوش مصنوعى هستيد،
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
می توانید آن الکترودهای در هم لولیده را
دور مدار داخلیتان تصور کنید
دور مدار داخلیتان تصور کنید
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
که در خلق امواج رادیویی برای ایجاد ارتباط استفاده می کنید.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
یا حتی شاید وانمود به خراب شدن کنید،
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
و بعد وقتی برنامه نویسها برای فهم مشکل بازتان می کنند،
13:02
they look at the source code -- Bam! --
231
770931
1936
به کد منبع نگاه میاندازند-- گول خوردن!--
13:04
the manipulation can take place.
232
772867
2447
امکان اتفاق دستکاری وجود دارد.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
یا بتواند بلوپرینتی را برای یک فناوری واقعا خوب و جالب بیرون دهد،
13:10
and when we implement it,
234
778744
1398
و وقتی آن را اجرا کردیم،
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
که بخاطر طرح ریزی شدن توسط هوش مصنوعی
اثر جانبی محرمانه ای دارد.
اثر جانبی محرمانه ای دارد.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
نکته اینجاست که ما نباید به تواناییمان در نگهداری
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
جن ابرهوشمند توی چراغ تا ابد مطمئن باشیم.
13:23
Sooner or later, it will out.
238
791810
2254
دیر یا زود، فرار می کند.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
به باور من جواب در اینجا پی بردن به
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
نحوه آفرینش ابرهوشمند است.
اینطور که حتی وقتی فرار می کند،
اینطور که حتی وقتی فرار می کند،
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
هنوز ایمن است چون اساسا در طرف ما قرار دارد
13:38
because it shares our values.
242
806438
1899
چون ارزشهای ما را همخوان می کند.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
راه دیگری درباره این مشکل دشوار نمی بینم.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
اکنون، من واقعا درباره حل این مشکل خوش بینم.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
فهرست بلند و بالایی از ههمه آنچه برایمان اهمیت دارد ننوشته ایم،
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
یا بدتر از آن، کافی است به بعضی زبانهای کامپیوتری بیان شود
13:55
like C++ or Python,
247
823937
1454
مثل ++C یا پیتون،
13:57
that would be a task beyond hopeless.
248
825391
2767
نتیجه فراتر از مایوسانه خواهد بود.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
در عوض، هوش مصنوعی خلق خواهیم کرد
که از هوش خود برای آموختن چیزی استفاده کند
که از هوش خود برای آموختن چیزی استفاده کند
14:04
to learn what we value,
250
832455
2771
که آن را ارج می نهیم،
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
و انگیزه سیستمی آن بر مبنایی ساخته شده است که اشتیاقش
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
دنبال کردن ارزشهای ما یا اجرای اقداماتی است
تا آنچه را که تایید می کنیم پیش بینی کند.
تا آنچه را که تایید می کنیم پیش بینی کند.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
بنابراین هوشش را تا حد امکان بهبود می بخشیم
14:21
to solve the problem of value-loading.
254
849152
2745
تا مشکل بارگذاری ارزش را حل کنیم.
14:24
This can happen,
255
852727
1512
این شدنی است،
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
و نتیجه می تواند برای انسانیت خوب باشد.
14:29
But it doesn't happen automatically.
257
857835
3957
اما خب بطور خودکار اتفاق نمی افتد.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
شرایط اولیه برای انفجار هوش
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
شاید نیاز به وضع آن به روش درست دارد،
14:39
if we are to have a controlled detonation.
260
867653
3530
اگر که خواستار انفجار کنترل شده ای هستیم.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
ارزشهایی که هوش مصنوعی برای هماهنگی با ما نیاز دارد،
14:45
not just in the familiar context,
262
873801
1760
نه فقط در بافتی مشابه،
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
مثل جایی که به راحتی بشود
نحوه کارکرد هوش مصنوعی را بررسی کرد،
نحوه کارکرد هوش مصنوعی را بررسی کرد،
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
اما همچنین در همه بافتهای جدیدی که هوش مصنوعی در آینده نامعلوم
14:53
in the indefinite future.
265
881233
1557
شاید با آن مواجه گردد.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
و شاید همینطور مسائل محرمانه ای باشند که نیاز به حل شدن و جداسازی دارند:
14:59
the exact details of its decision theory,
267
887527
2089
جزییات دقیق نظریه تصمیم گیری،
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
نحوه برخورد با بلاتکلیفی منطقی و الی آخر.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
بنابراین مشکلات تکنیکی که نیاز به حل شدن دارند تا این کار
15:08
look quite difficult --
270
896432
1113
نسبتا دشوار به نظر رسد--
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
نه به دشواری ساخت یک ابر هوشمند،
15:12
but fairly difficult.
272
900925
2868
اما کمابیش دشوار.
15:15
Here is the worry:
273
903793
1695
نگرانی که هست:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
ساخت ابر هوشمند چالش واقعا دشواری است.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
ساخت سوپر ابرهوشمندی که ایمن است
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
دربرگیرنده چالش اضافی علاوه بر آن نیز هست.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
خطر زمانی است که کسی پی به کرک کردن چالش اولی ببرد
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
بی آنکه چالش اضافی مربوط به تضمین ایمنی کامل
15:34
of ensuring perfect safety.
279
922704
1901
را هک کرده باشد.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
پس بنظرم باید به فکر راه حلی باشیم
15:40
to the control problem in advance,
281
928706
2822
که مشکل را از پیش حل کند،
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
تا در صورت نیاز آن را در اختیار داشته باشیم.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
حال شاید اینطور باشد که ما نمی توانیم مشکل کنترل کلی را از پیش حل کنیم
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
چون احتمالا برخی المانها را تنها در صورتی میشود در جایشان قرار داد
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
که از جزییات معماری مربوط به جاسازیشان باخبر باشید.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
اما مضاف بر مشکل کنترل که پیشاپیش حلش می کنیم،
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
احتمال می رود که انتقال به عصر هوش ماشینی
16:04
will go well.
288
952766
1540
خوب پیش برود.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
که بنظرم چیزی است که کاملا ارزش انجامش را دارد
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
و می توانم تصور کنم که نتیجه اش خوب باشد،
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
که آدمهای یک میلیون سال بعد، به این قرن نگاه می کنند
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
و احتمالا خواهند گفت که شاید تنها کار بارارزشی که ما انجام دادیم
16:22
was to get this thing right.
293
970942
1567
به سرانجام رساندن درست آن بود.
16:24
Thank you.
294
972509
1689
متشکرم.
16:26
(Applause)
295
974198
2813
(تشویق)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com