TEDSummit
Sam Harris: Can we build AI without losing control over it?
سام هریس: آیا امکان ساخت نظارت شده ماشینهای ابرهوشمند را داریم؟
Filmed:
Readability: 4.1
5,024,015 views
از ماشینهای ابر هوشمند می‌ترسید؟ باید بترسید،این را سام هریس فیلسوف و عصب شناس می‌گوید-- و آنهم نه به طریق نظریه‌ای. هریس می‌گوید، ما قرار است ماشینهای فوق بشری بسازیم، در حالیکه هنوز درک بجایی از مشکلاتی نداریم که با خلق این چیز به بار خواهد آمد و احتمالا به همان شکلی که ما مورچه‌ها را تهدید می‌کنیم ، ما را تهدید خواهد کرد.
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Double-click the English transcript below to play the video.
00:13
I'm going to talk
about a failure of intuition
about a failure of intuition
0
1000
2216
میخواهم درباره فقدانِ بصیرتی صحبت کنم
00:15
that many of us suffer from.
1
3240
1600
که بسیاری از ما از آن زیان می‌بینیم.
00:17
It's really a failure
to detect a certain kind of danger.
to detect a certain kind of danger.
2
5480
3040
این، در واقع ناکامی در
پیدا کردنِ نوع خاصی ازخطر است.
پیدا کردنِ نوع خاصی ازخطر است.
00:21
I'm going to describe a scenario
3
9360
1736
میخواهم سناریویی را شرح دهم
00:23
that I think is both terrifying
4
11120
3256
که فکر می‌کنم هم ترسناک است
00:26
and likely to occur,
5
14400
1760
و هم وقوع آن محتمل،
00:28
and that's not a good combination,
6
16840
1656
و آنطوری که معلوم می‌شود ترکیب
00:30
as it turns out.
7
18520
1536
خوبی نیست.
00:32
And yet rather than be scared,
most of you will feel
most of you will feel
8
20080
2456
و بجای این که وحشت کنید،
اغلب شما احساس خواهید کرد
اغلب شما احساس خواهید کرد
00:34
that what I'm talking about
is kind of cool.
is kind of cool.
9
22560
2080
که موضوع مورد صحبت
یکجورهایی باحال است.
یکجورهایی باحال است.
00:37
I'm going to describe
how the gains we make
how the gains we make
10
25200
2976
میخواهم شرح دهم که چطور یافته‌های ما
00:40
in artificial intelligence
11
28200
1776
در هوش مصنوعی می‌تواند
00:42
could ultimately destroy us.
12
30000
1776
درنهایت به نابودی ما بیانجامد.
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
to see how they won't destroy us
13
31800
3456
و در واقع، فکر می‌کنم خیلی سخت است
که ببینیم چطور نابودمان نخواهند کرد
که ببینیم چطور نابودمان نخواهند کرد
00:47
or inspire us to destroy ourselves.
14
35280
1680
یا ما را به نابود کردن خودمان سوق ندهند.
00:49
And yet if you're anything like me,
15
37400
1856
و در عین حال اگر مثل من باشید
00:51
you'll find that it's fun
to think about these things.
to think about these things.
16
39280
2656
خواهید دید فکر کردن
به این چیزها جالب است.
به این چیزها جالب است.
00:53
And that response is part of the problem.
17
41960
3376
و آن واکنش بخشی از مشکل است.
00:57
OK? That response should worry you.
18
45360
1720
درسته؟ آن واکنش باید نگرانتان کند.
00:59
And if I were to convince you in this talk
19
47920
2656
و اگر قرار بود در این سخنرانی متقاعدتان کنم
01:02
that we were likely
to suffer a global famine,
to suffer a global famine,
20
50600
3416
که احتمالا از یک قحطی جهانی بخاطر
01:06
either because of climate change
or some other catastrophe,
or some other catastrophe,
21
54040
3056
تغییرات جوی یا هر فاجعه دیگری رنج ببریم
01:09
and that your grandchildren,
or their grandchildren,
or their grandchildren,
22
57120
3416
و این که نوه‌های ما یا نوه‌های آنها
01:12
are very likely to live like this,
23
60560
1800
هم احتمال زندگی این
شکلی را دشته باشند،
شکلی را دشته باشند،
01:15
you wouldn't think,
24
63200
1200
با خودتان فکر نمی‌کردید،
01:17
"Interesting.
25
65440
1336
«جالبه.
01:18
I like this TED Talk."
26
66800
1200
از این سخنرانی TED
خوشم می‌آید.»
خوشم می‌آید.»
01:21
Famine isn't fun.
27
69200
1520
قحطی جالب نیست.
01:23
Death by science fiction,
on the other hand, is fun,
on the other hand, is fun,
28
71800
3376
از سوی دیگر مرگ ناشی از
ژانر علمی تخیلی جالب است،
ژانر علمی تخیلی جالب است،
01:27
and one of the things that worries me most
about the development of AI at this point
about the development of AI at this point
29
75200
3976
و یکی از چیزهایی که بیش از همه نسبت به
توسعه هوش صنوعی در این مرحله نگرانم می‌کند
توسعه هوش صنوعی در این مرحله نگرانم می‌کند
01:31
is that we seem unable to marshal
an appropriate emotional response
an appropriate emotional response
30
79200
4096
این است که به نظر می‌رسد ما قادر به ایجاد
واکنش عاطفی مناسبی
واکنش عاطفی مناسبی
01:35
to the dangers that lie ahead.
31
83320
1816
به خطرات در پیشِ روی خود نبوده‌ایم.
01:37
I am unable to marshal this response,
and I'm giving this talk.
and I'm giving this talk.
32
85160
3200
حتی من که این سخنرانی را انجام می‌دهم،
قادر نیستم این واکنش را ایجاد کنم.
قادر نیستم این واکنش را ایجاد کنم.
01:42
It's as though we stand before two doors.
33
90120
2696
مثل ایستادن در برابر دو در میماند.
01:44
Behind door number one,
34
92840
1256
پشت درب شماره یک
01:46
we stop making progress
in building intelligent machines.
in building intelligent machines.
35
94120
3296
ما دست از پیشرفت در ساخت
ماشینهای هوشمند می‌کشیم.
ماشینهای هوشمند می‌کشیم.
01:49
Our computer hardware and software
just stops getting better for some reason.
just stops getting better for some reason.
36
97440
4016
سخت افزار و نرم افزار کامپیوترمان
به دلیلی دست از بهتر شدن بر می‌دارد.
به دلیلی دست از بهتر شدن بر می‌دارد.
01:53
Now take a moment
to consider why this might happen.
to consider why this might happen.
37
101480
3000
چند لحظه در مورد چرایی این اتفاق تامل کنید.
01:57
I mean, given how valuable
intelligence and automation are,
intelligence and automation are,
38
105080
3656
منظورم این است که با فرض به دانستن این که
هوش و ماشینی شدن چقدر با ارزشند،
هوش و ماشینی شدن چقدر با ارزشند،
02:00
we will continue to improve our technology
if we are at all able to.
if we are at all able to.
39
108760
3520
ما به بهبود فناوری خود ادمه خواهیم داد اگر
امکانش باشد.
امکانش باشد.
02:05
What could stop us from doing this?
40
113200
1667
چه چیزی قادر است سد راهمان شود؟
02:07
A full-scale nuclear war?
41
115800
1800
یک جنگ هسته‌ای تمام عیار؟
02:11
A global pandemic?
42
119000
1560
یک بیماری فراگیر جهانی؟
02:14
An asteroid impact?
43
122320
1320
اصابت یک اخترواره؟
02:17
Justin Bieber becoming
president of the United States?
president of the United States?
44
125640
2576
جاستین بیبر رییس جمهور آمریکا شود؟
02:20
(Laughter)
45
128240
2280
(خنده)
02:24
The point is, something would have to
destroy civilization as we know it.
destroy civilization as we know it.
46
132760
3920
نکته این است که باید چیزی باشد که
تمدن را نابود کند.
تمدن را نابود کند.
02:29
You have to imagine
how bad it would have to be
how bad it would have to be
47
137360
4296
باید تصور کنید چقدر بد باید باشد
02:33
to prevent us from making
improvements in our technology
improvements in our technology
48
141680
3336
تا برای همیشه مانع ما در انجام اصلاحات
در این فناوری
در این فناوری
02:37
permanently,
49
145040
1216
گردد،
02:38
generation after generation.
50
146280
2016
در همه نسلها.
02:40
Almost by definition,
this is the worst thing
this is the worst thing
51
148320
2136
تقریبا طبق تعریف
این بدترین چیزی است
این بدترین چیزی است
02:42
that's ever happened in human history.
52
150480
2016
که تابحال در تاریخ بشر اتفاق افتاده.
02:44
So the only alternative,
53
152520
1296
بنابراین تنها جایگزین
02:45
and this is what lies
behind door number two,
behind door number two,
54
153840
2336
که خب پشت درب شماره دو خوابیده
02:48
is that we continue
to improve our intelligent machines
to improve our intelligent machines
55
156200
3136
این است که به بهسازی ماشینهای
هوشمند هر سالی که بگذرد
هوشمند هر سالی که بگذرد
02:51
year after year after year.
56
159360
1600
ادامه دهیم.
02:53
At a certain point, we will build
machines that are smarter than we are,
machines that are smarter than we are,
57
161720
3640
در یک نقطه خاص، ماشینهایی را خواهیم است
که از ما باهوشتر هستند،
که از ما باهوشتر هستند،
02:58
and once we have machines
that are smarter than we are,
that are smarter than we are,
58
166080
2616
و وقتی ماشینهایی بسازیم
که از ما باهوشتر باشند،
که از ما باهوشتر باشند،
03:00
they will begin to improve themselves.
59
168720
1976
آنها شروع به اصلاح خود می کنند.
03:02
And then we risk what
the mathematician IJ Good called
the mathematician IJ Good called
60
170720
2736
و بعد خطر چیزی را خواهیم داشت
که ای جی گود ریاضیدان
که ای جی گود ریاضیدان
03:05
an "intelligence explosion,"
61
173480
1776
«انفجار هوش» نامید،
03:07
that the process could get away from us.
62
175280
2000
این که این پروسه از کنترل ما خارج شود.
03:10
Now, this is often caricatured,
as I have here,
as I have here,
63
178120
2816
این مساله بیشتر به شکلی که
من اینجا نشان می‌دهم
من اینجا نشان می‌دهم
03:12
as a fear that armies of malicious robots
64
180960
3216
مثل ترس از این که ارتش‌هایی
از رباتهای بدطینت
از رباتهای بدطینت
03:16
will attack us.
65
184200
1256
به ما حمله کنند، ترسیم شده.
03:17
But that isn't the most likely scenario.
66
185480
2696
اما این، سناریوی چندان محتملی نیست.
03:20
It's not that our machines
will become spontaneously malevolent.
will become spontaneously malevolent.
67
188200
4856
اینطور نیست که ماشینهای ساخت دست ما به یکباره هیولا شوند.
03:25
The concern is really
that we will build machines
that we will build machines
68
193080
2616
نگرانی اینجاست که ماشینهایی خواهیم ساخت
03:27
that are so much
more competent than we are
more competent than we are
69
195720
2056
که بسیار توانمندتر از ما هستند
03:29
that the slightest divergence
between their goals and our own
between their goals and our own
70
197800
3776
جوریکه کمترین انحراف در بین
اهداف ما و آنها
اهداف ما و آنها
03:33
could destroy us.
71
201600
1200
می تواند ما را نابود کند.
03:35
Just think about how we relate to ants.
72
203960
2080
فقط به نحوه ارتباط ما با مورچه فکر کنید.
03:38
We don't hate them.
73
206600
1656
از آنها متنفر نیستیم.
03:40
We don't go out of our way to harm them.
74
208280
2056
راه مان را برای کشتنشان کج نمی‌کنیم.
03:42
In fact, sometimes
we take pains not to harm them.
we take pains not to harm them.
75
210360
2376
در واقع، گاهی برای آسیب نرساندن
به آنها خود را به زحمت می‌اندازیم.
به آنها خود را به زحمت می‌اندازیم.
03:44
We step over them on the sidewalk.
76
212760
2016
در پیاده رو از رویشان می‌پریم.
03:46
But whenever their presence
77
214800
2136
اما هر وقت در جایی حضورشان
03:48
seriously conflicts with one of our goals,
78
216960
2496
بطور جدی با یکی از اهداف
ما منافعات داشته باشد،
ما منافعات داشته باشد،
03:51
let's say when constructing
a building like this one,
a building like this one,
79
219480
2477
برای مثال وقتی ساختمانی مثل این را بسازیم،
03:53
we annihilate them without a qualm.
80
221981
1960
آنها را بی‌درنگ قلع و قمع می‌کنیم.
03:56
The concern is that we will
one day build machines
one day build machines
81
224480
2936
نگرانی این است که یک روز
ماشینهایی را خواهیم ساخت
ماشینهایی را خواهیم ساخت
03:59
that, whether they're conscious or not,
82
227440
2736
که چه آگاه باشند یا نباشند
04:02
could treat us with similar disregard.
83
230200
2000
می‌توانند این چنین بی‌ملاحظه
با ما رفتار کنند.
با ما رفتار کنند.
04:05
Now, I suspect this seems
far-fetched to many of you.
far-fetched to many of you.
84
233760
2760
البته خیلی از شما آن را خطری
در دراز مدت می‌ببینید.
در دراز مدت می‌ببینید.
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
that superintelligent AI is possible,
85
237360
6336
شرط می‌بندم کسانی در بین شما هستند
که به احتمال این ماشین ابرهوشمند شک داشته
که به احتمال این ماشین ابرهوشمند شک داشته
04:15
much less inevitable.
86
243720
1656
و آن را کمابیش بعید می‌دانند.
04:17
But then you must find something wrong
with one of the following assumptions.
with one of the following assumptions.
87
245400
3620
اما بعد باید به غلط بودن
یکی از فرضیه‌های زیر برسید.
یکی از فرضیه‌های زیر برسید.
04:21
And there are only three of them.
88
249044
1572
و آنها سه تا بیشتر نیستند.
04:23
Intelligence is a matter of information
processing in physical systems.
processing in physical systems.
89
251800
4719
هوشمندی موضوع پردازش اطلاعات
در سیستمهای فیزیکی است.
در سیستمهای فیزیکی است.
04:29
Actually, this is a little bit more
than an assumption.
than an assumption.
90
257320
2615
راستش کمی بیشتر از یک فرض است.
04:31
We have already built
narrow intelligence into our machines,
narrow intelligence into our machines,
91
259959
3457
درحال حاضر میزان اندکی از هوشمندی
را در داخل ماشینهایمان بکار بردیم،
را در داخل ماشینهایمان بکار بردیم،
04:35
and many of these machines perform
92
263440
2016
و خیلی از این ماشینها همین الان نیز
04:37
at a level of superhuman
intelligence already.
intelligence already.
93
265480
2640
عملکردی در سطح هوش
یک انسان فوق العاده باهوش دارند.
یک انسان فوق العاده باهوش دارند.
04:40
And we know that mere matter
94
268840
2576
و می‌دانیم که خود این مسله صرفا می‌تواند
04:43
can give rise to what is called
"general intelligence,"
"general intelligence,"
95
271440
2616
منجر به پیداش به اصطلاح
« هوشمندی عمومی» شود،
« هوشمندی عمومی» شود،
04:46
an ability to think flexibly
across multiple domains,
across multiple domains,
96
274080
3656
توانایی اندیشیدنِ منعطف
در سرتاسر حوزه‌های مختلف،
در سرتاسر حوزه‌های مختلف،
04:49
because our brains have managed it. Right?
97
277760
3136
چون که مغزهایمان در انجامش موفق بودند،
اینطور نیست؟
اینطور نیست؟
04:52
I mean, there's just atoms in here,
98
280920
3936
منظورم این است که در اینجا فقط اتم است،
04:56
and as long as we continue
to build systems of atoms
to build systems of atoms
99
284880
4496
و تا مادامی که سیستمی اتمی را می‌سازیم
05:01
that display more and more
intelligent behavior,
intelligent behavior,
100
289400
2696
که رفتار هوشمندانه بیشتر و بیشتری نشان می‌دهند،
05:04
we will eventually,
unless we are interrupted,
unless we are interrupted,
101
292120
2536
مگر این که دچار وقفه شویم، وگرنه
05:06
we will eventually
build general intelligence
build general intelligence
102
294680
3376
ما نهایتا هومندیش عمومی را در ماشینهایمان
05:10
into our machines.
103
298080
1296
بکار خواهیم برد.
05:11
It's crucial to realize
that the rate of progress doesn't matter,
that the rate of progress doesn't matter,
104
299400
3656
مهم است که تشخیص دهیم میزان
پیشرفت اهمیت ندارد،
پیشرفت اهمیت ندارد،
05:15
because any progress
is enough to get us into the end zone.
is enough to get us into the end zone.
105
303080
3176
زیرا هر پیشرفتی برای رساندن ما به
منطقه نهایی کافی است.
منطقه نهایی کافی است.
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
We don't need exponential progress.
106
306280
3776
برای ادامه نیاز به قانون مورفی نداریم.
نیاز به پیشرفت تصاعدی نداریم.
نیاز به پیشرفت تصاعدی نداریم.
05:22
We just need to keep going.
107
310080
1600
فقط باید ادامه دهیم.
05:25
The second assumption
is that we will keep going.
is that we will keep going.
108
313480
2920
فرض دوم این است که
ادامه خواهیم داد.
ادامه خواهیم داد.
05:29
We will continue to improve
our intelligent machines.
our intelligent machines.
109
317000
2760
به بهسازی ماشینهای هوشمند
خود ادامه می‌دهیم.
خود ادامه می‌دهیم.
05:33
And given the value of intelligence --
110
321000
4376
و با فرض ارزش هوشمندی--
05:37
I mean, intelligence is either
the source of everything we value
the source of everything we value
111
325400
3536
منظورم این است که خواه هوشمندی منبع
همه چیزهایی است که برایمان ارزش دارد
همه چیزهایی است که برایمان ارزش دارد
05:40
or we need it to safeguard
everything we value.
everything we value.
112
328960
2776
یا که برای محافظت از چیزهای باارزشمان
به آن نیاز داریم.
به آن نیاز داریم.
05:43
It is our most valuable resource.
113
331760
2256
مهمترین منبع باارزش ما است.
05:46
So we want to do this.
114
334040
1536
بنابراین میخواهیم
این را انجام دهیم.
این را انجام دهیم.
05:47
We have problems
that we desperately need to solve.
that we desperately need to solve.
115
335600
3336
مشکلاتی که مایوسانه نیاز به حل شان داریم.
05:50
We want to cure diseases
like Alzheimer's and cancer.
like Alzheimer's and cancer.
116
338960
3200
میخواهیم امراضی چون آلزایمر
و سرطان را درمان کنیم.
و سرطان را درمان کنیم.
05:54
We want to understand economic systems.
We want to improve our climate science.
We want to improve our climate science.
117
342960
3936
میخواهیم سیستمهای اقتصادی را بفهمیم.
میخواهیم دانش اقلیمی خویش را بهبود ببخشیم.
میخواهیم دانش اقلیمی خویش را بهبود ببخشیم.
05:58
So we will do this, if we can.
118
346920
2256
پس اگر بتوانیم این کار را می‌کنیم.
06:01
The train is already out of the station,
and there's no brake to pull.
and there's no brake to pull.
119
349200
3286
قطار دیگر از ایستگاه خارج شده،
و ترمزی برای کشیدن نیست.
و ترمزی برای کشیدن نیست.
06:05
Finally, we don't stand
on a peak of intelligence,
on a peak of intelligence,
120
353880
5456
سرآخر این که احتمالا ما در راس هوش
یا جایی نزدیک آن
یا جایی نزدیک آن
06:11
or anywhere near it, likely.
121
359360
1800
نخواهیم ایستاد.
06:13
And this really is the crucial insight.
122
361640
1896
و این یک بینش واقعا ضروری است.
06:15
This is what makes
our situation so precarious,
our situation so precarious,
123
363560
2416
این چیزی است که شرایط
ما را پرمخاطره می‌کند،
ما را پرمخاطره می‌کند،
06:18
and this is what makes our intuitions
about risk so unreliable.
about risk so unreliable.
124
366000
4040
و این چیزی است که درک ما از
ریسک را شدیدا غیرقابل اتکا می‌کند.
ریسک را شدیدا غیرقابل اتکا می‌کند.
06:23
Now, just consider the smartest person
who has ever lived.
who has ever lived.
125
371120
2720
الان باهوشترین فردی که تا به امروز زیسته
را در نظر بگیرید.
را در نظر بگیرید.
06:26
On almost everyone's shortlist here
is John von Neumann.
is John von Neumann.
126
374640
3416
اینجا تقریبا در فهرست کوتاه همه
جان فان نیومن وجود دارد.
جان فان نیومن وجود دارد.
06:30
I mean, the impression that von Neumann
made on the people around him,
made on the people around him,
127
378080
3336
منظورم تاثیری است
که فان نیومن بر اطرافیانش داشته
که فان نیومن بر اطرافیانش داشته
06:33
and this included the greatest
mathematicians and physicists of his time,
mathematicians and physicists of his time,
128
381440
4056
و این دربرگیرنده بزرگترین ریاضیدانها
و فیزیکدانهای هم دوره‌اش می‌شود،
و فیزیکدانهای هم دوره‌اش می‌شود،
06:37
is fairly well-documented.
129
385520
1936
که نسبتا بخوبی ثبت شده است.
06:39
If only half the stories
about him are half true,
about him are half true,
130
387480
3776
اگر فقط بخشی از نیمی از داستانهای
درباره او درست باشد
درباره او درست باشد
06:43
there's no question
131
391280
1216
شکی نیست
06:44
he's one of the smartest people
who has ever lived.
who has ever lived.
132
392520
2456
که او از باهوشترین آدمهایی است
که تابحال زیسته.
که تابحال زیسته.
06:47
So consider the spectrum of intelligence.
133
395000
2520
بنابراین گستره هوش را در نظر بگیرید.
06:50
Here we have John von Neumann.
134
398320
1429
در اینجا جان فان نیومن را داریم.
06:53
And then we have you and me.
135
401560
1334
و بعد نیز امثال من و شما.
06:56
And then we have a chicken.
136
404120
1296
و البته مرغ را هم داریم.
06:57
(Laughter)
137
405440
1936
(خنده)
06:59
Sorry, a chicken.
138
407400
1216
متاسفم، یک مرغ.
07:00
(Laughter)
139
408640
1256
(خنده)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
more depressing than it needs to be.
140
409920
3736
دلیلی ندارم که این سخنرانی
را نامیدکننده‌تر از حد نیاز کنم.
را نامیدکننده‌تر از حد نیاز کنم.
07:05
(Laughter)
141
413680
1600
(خنده)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
that the spectrum of intelligence
142
416339
3477
بحد قابل توجهی همینطور است،هر چند
گستره هوش
گستره هوش
07:11
extends much further
than we currently conceive,
than we currently conceive,
143
419840
3120
خیلی وسیعتر از برداشت کنونی ما است،
07:15
and if we build machines
that are more intelligent than we are,
that are more intelligent than we are,
144
423880
3216
و اگر ماشینهایی را بسازیم
که از ما هوشمندترند،
که از ما هوشمندترند،
07:19
they will very likely
explore this spectrum
explore this spectrum
145
427120
2296
آنها احتمالا این گستره را بررسی
خواهند کرد
خواهند کرد
07:21
in ways that we can't imagine,
146
429440
1856
به ترتیبی که ما قادر به تصورش نیستیم،
07:23
and exceed us in ways
that we can't imagine.
that we can't imagine.
147
431320
2520
و طوری از ما پیشی خواهند گرفت
که تصورش را هم نمی‌کنیم.
که تصورش را هم نمی‌کنیم.
07:27
And it's important to recognize that
this is true by virtue of speed alone.
this is true by virtue of speed alone.
148
435000
4336
و تشخیص این نکته مهم است که این مساله
بواسطه خصیصه سرعت معتبر است.
بواسطه خصیصه سرعت معتبر است.
07:31
Right? So imagine if we just built
a superintelligent AI
a superintelligent AI
149
439360
5056
درسته؟ پس ساخت یک هوش مصنوعی
ابرهوشمندی را تصور کنید
ابرهوشمندی را تصور کنید
07:36
that was no smarter
than your average team of researchers
than your average team of researchers
150
444440
3456
که باهوشتر از یک
تیم معمولی تحقیقاتی شما
تیم معمولی تحقیقاتی شما
07:39
at Stanford or MIT.
151
447920
2296
در استانفورد یا MIT نباشد.
07:42
Well, electronic circuits
function about a million times faster
function about a million times faster
152
450240
2976
خب، مدارهای الکترونیکی کارکردی
حدود یک میلیون بار سریعتر
حدود یک میلیون بار سریعتر
07:45
than biochemical ones,
153
453240
1256
از انواع زیست شیمی دارند
07:46
so this machine should think
about a million times faster
about a million times faster
154
454520
3136
بنابراین این ماشین شاید یک میلیون بار
سریعتر از ذهنهایی
سریعتر از ذهنهایی
07:49
than the minds that built it.
155
457680
1816
که آن را ساختند فکر کند.
07:51
So you set it running for a week,
156
459520
1656
پس یک هفته‌ای که از
راه‌اندازیش بگذرد،
راه‌اندازیش بگذرد،
07:53
and it will perform 20,000 years
of human-level intellectual work,
of human-level intellectual work,
157
461200
4560
هر هفته‌ای که سپری بگذرد
عملکردی برابر ۲۰٫۰۰۰ سال
عملکردی برابر ۲۰٫۰۰۰ سال
07:58
week after week after week.
158
466400
1960
کار اندیشمدانه در سطح بشر خواهد داشت.
08:01
How could we even understand,
much less constrain,
much less constrain,
159
469640
3096
ما چطور قادر به درک ذهنی باشیم که چنین
نوعی از پیشرفت را ایجاد می‌کند
نوعی از پیشرفت را ایجاد می‌کند
08:04
a mind making this sort of progress?
160
472760
2280
چه برسد به محدود کردن آن؟
08:08
The other thing that's worrying, frankly,
161
476840
2136
صادقانه بگویم، یک از چیزهای دیگری
که نگران کننده است،
که نگران کننده است،
08:11
is that, imagine the best case scenario.
162
479000
4976
این است که -
بهترین سناریوی ممکن را تصور کنید.
بهترین سناریوی ممکن را تصور کنید.
08:16
So imagine we hit upon a design
of superintelligent AI
of superintelligent AI
163
484000
4176
تصور کنید به طراحی از یک هوش مصنوعی
ابرهوشمند رسیده‌ایم
ابرهوشمند رسیده‌ایم
08:20
that has no safety concerns.
164
488200
1376
که هیچ مشکل امنیتی ندارد.
08:21
We have the perfect design
the first time around.
the first time around.
165
489600
3256
برای اولین بار بهترین طراحی را داریم.
08:24
It's as though we've been handed an oracle
166
492880
2216
مثل این میماند که ما به دانشمندی
دست پیدا کرده‌ایم
دست پیدا کرده‌ایم
08:27
that behaves exactly as intended.
167
495120
2016
که عینا طبق خواسته رفتار می‌کند.
08:29
Well, this machine would be
the perfect labor-saving device.
the perfect labor-saving device.
168
497160
3720
خب این ماشین می‌تواند بهترین
وسیله در صرفه‌جویی نیروی کار باشد.
وسیله در صرفه‌جویی نیروی کار باشد.
08:33
It can design the machine
that can build the machine
that can build the machine
169
501680
2429
می‌تواند ماشینی را طراحی کند
که خود ماشینی را بسازد
که خود ماشینی را بسازد
08:36
that can do any physical work,
170
504133
1763
که توان انجام هر کار فیزیکی را دارد،
08:37
powered by sunlight,
171
505920
1456
با استفاده از نور خورشید،
08:39
more or less for the cost
of raw materials.
of raw materials.
172
507400
2696
کمابیش بخاطر هزینه مصالح خام.
08:42
So we're talking about
the end of human drudgery.
the end of human drudgery.
173
510120
3256
پس درباره به پایان رسیدن
جان کندن بشر صحبت می‌کنیم.
جان کندن بشر صحبت می‌کنیم.
08:45
We're also talking about the end
of most intellectual work.
of most intellectual work.
174
513400
2800
و همچنین به پایان رسیدن اغلب کارهایی
که با عقل و خِرَد سروکار دارند.
که با عقل و خِرَد سروکار دارند.
08:49
So what would apes like ourselves
do in this circumstance?
do in this circumstance?
175
517200
3056
پس در شرایط این چنینی چه
بر سر میمون‌هایی مثل ما می‌آید؟
بر سر میمون‌هایی مثل ما می‌آید؟
08:52
Well, we'd be free to play Frisbee
and give each other massages.
and give each other massages.
176
520280
4080
خب، ما در فریزبی بازی کردن
و ماساژ دادن یکدیگر آزاد خواهیم بود.
و ماساژ دادن یکدیگر آزاد خواهیم بود.
08:57
Add some LSD and some
questionable wardrobe choices,
questionable wardrobe choices,
177
525840
2856
و همینطور یکسری داروهای روانگردان و
انتخابهای سوال‌برانگیز توی کمد لباس،
انتخابهای سوال‌برانگیز توی کمد لباس،
09:00
and the whole world
could be like Burning Man.
could be like Burning Man.
178
528720
2176
و کل دنیا چیزی شبیه به جشنواره
مرد سوزان می‌شود.
مرد سوزان می‌شود.
09:02
(Laughter)
179
530920
1640
(خنده)
09:06
Now, that might sound pretty good,
180
534320
2000
الان شاید خوشایند به گوش برسد
09:09
but ask yourself what would happen
181
537280
2376
اما از خود سوال کنید چه اتفاقی برای
09:11
under our current economic
and political order?
and political order?
182
539680
2736
نظام سیاسی و اقتصادی کنونی ما خواهد افتاد؟
09:14
It seems likely that we would witness
183
542440
2416
محتمل است که ما شاهد سطحی از نابرابری
09:16
a level of wealth inequality
and unemployment
and unemployment
184
544880
4136
ثروت و بیکاری باشیم
09:21
that we have never seen before.
185
549040
1496
که بی‌سابقه است.
09:22
Absent a willingness
to immediately put this new wealth
to immediately put this new wealth
186
550560
2616
فقدان اراده در بکارگیری فوری این ثروت تازه
09:25
to the service of all humanity,
187
553200
1480
در خدمت کل بشریت.
09:27
a few trillionaires could grace
the covers of our business magazines
the covers of our business magazines
188
555640
3616
اندک تریلیونرها قادر به عرض اندام
در روی جلد مجلات تجاری هستند
در روی جلد مجلات تجاری هستند
09:31
while the rest of the world
would be free to starve.
would be free to starve.
189
559280
2440
در حالیکه بقیه دنیا
از گرسنگی رنج خواهد بردد.
از گرسنگی رنج خواهد بردد.
09:34
And what would the Russians
or the Chinese do
or the Chinese do
190
562320
2296
روسها یا چینی‌ها
چه کار می‌کنند
چه کار می‌کنند
09:36
if they heard that some company
in Silicon Valley
in Silicon Valley
191
564640
2616
اگر بشنوند که یک کمپانی
در سیلیکون ولی
در سیلیکون ولی
09:39
was about to deploy a superintelligent AI?
192
567280
2736
در آستانه بکارگیری هوش مصنوعی
اَبَرهوشمند است؟
اَبَرهوشمند است؟
09:42
This machine would be capable
of waging war,
of waging war,
193
570040
2856
ماشینی که قادر به ادامه جنگ است،
09:44
whether terrestrial or cyber,
194
572920
2216
خواه زمینی یا سایبری،
09:47
with unprecedented power.
195
575160
1680
با قدرتی بی‌سابقه.
09:50
This is a winner-take-all scenario.
196
578120
1856
این یک سناریویی‌ست که در آن
برنده همه چیز را بدست می‌آورد.
برنده همه چیز را بدست می‌آورد.
09:52
To be six months ahead
of the competition here
of the competition here
197
580000
3136
در این رقابت شش ماه پیش بودن
09:55
is to be 500,000 years ahead,
198
583160
2776
یعنی حداقل ۵۰۰٫۰۰۰ سال
09:57
at a minimum.
199
585960
1496
جلوتر بودن.
09:59
So it seems that even mere rumors
of this kind of breakthrough
of this kind of breakthrough
200
587480
4736
پس به نظر می‌رسد که حتی شایعات بیشتر از
این پیشرفتها
این پیشرفتها
10:04
could cause our species to go berserk.
201
592240
2376
می‌تواند منجر به از خود بیخود شدن
نوع بشر شود.
نوع بشر شود.
10:06
Now, one of the most frightening things,
202
594640
2896
الان یکی از وحشتناکترین چیزها از دیدگاه من
10:09
in my view, at this moment,
203
597560
2776
در این لحظه همه آن چیزهایی هست
10:12
are the kinds of things
that AI researchers say
that AI researchers say
204
600360
4296
که محققان هوش مصنوعی
10:16
when they want to be reassuring.
205
604680
1560
به ما می‌گویند، وقتی که
می‌خواهند اطمینان بخش باشند.
می‌خواهند اطمینان بخش باشند.
10:19
And the most common reason
we're told not to worry is time.
we're told not to worry is time.
206
607000
3456
و شایع‌ترین دلیلی که برای
نگران نبودن به ما می‌گویند زمان است.
نگران نبودن به ما می‌گویند زمان است.
10:22
This is all a long way off,
don't you know.
don't you know.
207
610480
2056
کلی زمان‌بر است، مگر خبر ندارید.
10:24
This is probably 50 or 100 years away.
208
612560
2440
شاید ۵۰ یا ۱۰۰ سال بعد.
10:27
One researcher has said,
209
615720
1256
یک محققی می‌گفت،
10:29
"Worrying about AI safety
210
617000
1576
«نگران بودن درباره امنیت هوش مصنوعی
10:30
is like worrying
about overpopulation on Mars."
about overpopulation on Mars."
211
618600
2280
مثل نگران بودن درباره
رشد بیحد جمعیت در مریخ است.»
رشد بیحد جمعیت در مریخ است.»
10:34
This is the Silicon Valley version
212
622116
1620
در واقع آنها می‌گویند:
10:35
of "don't worry your
pretty little head about it."
pretty little head about it."
213
623760
2376
« فکرهای کوچک تان را در این مورد نگران نکنید.»
10:38
(Laughter)
214
626160
1336
(خنده)
10:39
No one seems to notice
215
627520
1896
به نظر نمیاید کسی متوجه باشد
10:41
that referencing the time horizon
216
629440
2616
که ارجاع دادن به افق زمانی
10:44
is a total non sequitur.
217
632080
2576
کلا نامربوط است.
10:46
If intelligence is just a matter
of information processing,
of information processing,
218
634680
3256
اگر هوش صرفا مساله پردازش اطلاعات باشد
10:49
and we continue to improve our machines,
219
637960
2656
و ما به اصلاح ماشینهای خود ادامه دهیم،
10:52
we will produce
some form of superintelligence.
some form of superintelligence.
220
640640
2880
شکلی از هوش ماورایی را تولید خواهیم کرد.
10:56
And we have no idea
how long it will take us
how long it will take us
221
644320
3656
و ایده‌ای نداریم که چقدر زمان می‌برد
11:00
to create the conditions
to do that safely.
to do that safely.
222
648000
2400
تا شرایط انجام این کار
را به شکل ایمن فراهم کنیم.
را به شکل ایمن فراهم کنیم.
11:04
Let me say that again.
223
652200
1296
بگذارید باز هم بگویم.
11:05
We have no idea how long it will take us
224
653520
3816
ایده‌ای نداریم که چقدر زمان می‌برد
11:09
to create the conditions
to do that safely.
to do that safely.
225
657360
2240
تا شرایط انجام این کار
را به شکل ایمن فراهم کنیم.
را به شکل ایمن فراهم کنیم.
11:12
And if you haven't noticed,
50 years is not what it used to be.
50 years is not what it used to be.
226
660920
3456
و اگر متوجه نشده باشید
۵۰ سال، دیگر مثل سابق نیست.
۵۰ سال، دیگر مثل سابق نیست.
11:16
This is 50 years in months.
227
664400
2456
این، ماه‌های تشکیل دهنده‌ی ۵۰ سال است.
11:18
This is how long we've had the iPhone.
228
666880
1840
این، مدتی‌ست که ما
صاحب آیفون هستیم.
صاحب آیفون هستیم.
11:21
This is how long "The Simpsons"
has been on television.
has been on television.
229
669440
2600
در این مدت سریال
خانواده سیمپسون پخش شده.
خانواده سیمپسون پخش شده.
11:24
Fifty years is not that much time
230
672680
2376
پنجاه سال زمان چندان زیادی
11:27
to meet one of the greatest challenges
our species will ever face.
our species will ever face.
231
675080
3160
برای روبرو شدن با یکی از بزرگترین
چالشهایی که نوع بشر با آن روبروست، نیست.
چالشهایی که نوع بشر با آن روبروست، نیست.
11:31
Once again, we seem to be failing
to have an appropriate emotional response
to have an appropriate emotional response
232
679640
4016
یکبار دیگر به نظر میاید که ما در
داشتن جواب عاطفی مناسب نسبت به آنچه
داشتن جواب عاطفی مناسب نسبت به آنچه
11:35
to what we have every reason
to believe is coming.
to believe is coming.
233
683680
2696
که دلایل کافی برای ظهورش را داریم
ناموفق عمل کرده‌ایم.
ناموفق عمل کرده‌ایم.
11:38
The computer scientist Stuart Russell
has a nice analogy here.
has a nice analogy here.
234
686400
3976
دانشمند علوم رایانه استورات راسل
قیاس جالبی دارد.
قیاس جالبی دارد.
11:42
He said, imagine that we received
a message from an alien civilization,
a message from an alien civilization,
235
690400
4896
او گفت، تصور کنید
پیغامی را از یک تمدن فضایی دریافت کنیم
پیغامی را از یک تمدن فضایی دریافت کنیم
11:47
which read:
236
695320
1696
که می‌گوید،
11:49
"People of Earth,
237
697040
1536
«مردم زمین،
11:50
we will arrive on your planet in 50 years.
238
698600
2360
ما ۵۰ سال دیگر به سیاره شما می‌رسیم.
11:53
Get ready."
239
701800
1576
آماده باشید.»
11:55
And now we're just counting down
the months until the mothership lands?
the months until the mothership lands?
240
703400
4256
و اکنون ما فقط به شمارش معکوس
ماه‌ها مشغولیم تا ناوِ فضایی فرود بیاید؟
ماه‌ها مشغولیم تا ناوِ فضایی فرود بیاید؟
11:59
We would feel a little
more urgency than we do.
more urgency than we do.
241
707680
3000
لازم است که کمی بیشتر در این باره
احساس ضرورت کنیم.
احساس ضرورت کنیم.
12:04
Another reason we're told not to worry
242
712680
1856
دلیل دیگری که به ما می‌گویند نگران نباشید
12:06
is that these machines
can't help but share our values
can't help but share our values
243
714560
3016
این است که این ماشینها راهی جز
سهیم شدن در ارزشهای ما ندارند
سهیم شدن در ارزشهای ما ندارند
12:09
because they will be literally
extensions of ourselves.
extensions of ourselves.
244
717600
2616
چون که آنها به معنای واقعی کلمه،
ما را بسط می‌دهند.
ما را بسط می‌دهند.
12:12
They'll be grafted onto our brains,
245
720240
1816
آنها به مغزهای ما پیوند زده می‌شوند
12:14
and we'll essentially
become their limbic systems.
become their limbic systems.
246
722080
2360
و ما در اصل دستگاه‌های کناره‌ای
(Limbic system) آنها خواهیم شد.
(Limbic system) آنها خواهیم شد.
12:17
Now take a moment to consider
247
725120
1416
الان لحظه‌ای به این فکر کنید
12:18
that the safest
and only prudent path forward,
and only prudent path forward,
248
726560
3176
که ایمن‌ترین و تنها مسیر محتاط رو به جلوی
12:21
recommended,
249
729760
1336
توصیه شده
12:23
is to implant this technology
directly into our brains.
directly into our brains.
250
731120
2800
تعبیه مستقیم این فناوری در مغزهای ما باشد.
12:26
Now, this may in fact be the safest
and only prudent path forward,
and only prudent path forward,
251
734600
3376
اکنون، شاید این ایمن‌ترین و
تنها مسیر محتاط رو به جلوست،
تنها مسیر محتاط رو به جلوست،
12:30
but usually one's safety concerns
about a technology
about a technology
252
738000
3056
اما معمولا دغدغه‌های ایمنی
یک نفر درباره فناوری
یک نفر درباره فناوری
12:33
have to be pretty much worked out
before you stick it inside your head.
before you stick it inside your head.
253
741080
3656
باید حسابی مورد بررسی قرار گرفته باشد
پیش از این بخواهید که آن را تو کله خود فرو کنید.
پیش از این بخواهید که آن را تو کله خود فرو کنید.
12:36
(Laughter)
254
744760
2016
(خنده)
12:38
The deeper problem is that
building superintelligent AI on its own
building superintelligent AI on its own
255
746800
5336
مشکل عمیق‌تر این است
که ساختن هوش مصنوعی ابرهوشمند مستقل
که ساختن هوش مصنوعی ابرهوشمند مستقل
12:44
seems likely to be easier
256
752160
1736
به نظر آسانتر از ساختن
12:45
than building superintelligent AI
257
753920
1856
هوش مصنوعی ابرهوشمند
12:47
and having the completed neuroscience
258
755800
1776
و داشتن علم عصب شناسی کاملی میاید
12:49
that allows us to seamlessly
integrate our minds with it.
integrate our minds with it.
259
757600
2680
که به ما اجازه یکپارچه کردن بی‌درز
ذهن‌های خویش با آن را می‌دهد.
ذهن‌های خویش با آن را می‌دهد.
12:52
And given that the companies
and governments doing this work
and governments doing this work
260
760800
3176
و با فرض این که کمپانی‌ها
و دولت‌هایی این کار را می‌کنند
و دولت‌هایی این کار را می‌کنند
12:56
are likely to perceive themselves
as being in a race against all others,
as being in a race against all others,
261
764000
3656
محتمل به پی بردن به موجودیت خود
در این مسابقه علیه دیگران هستند،
در این مسابقه علیه دیگران هستند،
12:59
given that to win this race
is to win the world,
is to win the world,
262
767680
3256
با این فرض که بردن این مسابقه
به معنی بردن جهان است،
به معنی بردن جهان است،
13:02
provided you don't destroy it
in the next moment,
in the next moment,
263
770960
2456
به شرطی که در لحظه بعدی آن را نابود نکنید،
13:05
then it seems likely
that whatever is easier to do
that whatever is easier to do
264
773440
2616
که احتمال وقوع هر چیزی که آسانتر باشد
13:08
will get done first.
265
776080
1200
اول از همه می‌رود.
13:10
Now, unfortunately,
I don't have a solution to this problem,
I don't have a solution to this problem,
266
778560
2856
شوربختانه الان راه‌حلی
برای این مشکل ندارم
برای این مشکل ندارم
13:13
apart from recommending
that more of us think about it.
that more of us think about it.
267
781440
2616
بجز توصیه‌ام برای بیشتر فکردن کردن
درباره آن.
درباره آن.
13:16
I think we need something
like a Manhattan Project
like a Manhattan Project
268
784080
2376
فکر می‌کنم بیشتر به چیزی مثل
پروژه منهتن در موضوع
پروژه منهتن در موضوع
13:18
on the topic of artificial intelligence.
269
786480
2016
هوش مصنوعی نیاز داریم.
13:20
Not to build it, because I think
we'll inevitably do that,
we'll inevitably do that,
270
788520
2736
نه درباره ساختن آن، چون به نظرم
بالاخره این کار را خواهیم کرد،
بالاخره این کار را خواهیم کرد،
13:23
but to understand
how to avoid an arms race
how to avoid an arms race
271
791280
3336
بلکه درک نحوه اجتناب
از یک مسابقه تسلیحاتی
از یک مسابقه تسلیحاتی
13:26
and to build it in a way
that is aligned with our interests.
that is aligned with our interests.
272
794640
3496
و ساخت آن به نحوی که
هم راستا با منافع ما باشد.
هم راستا با منافع ما باشد.
13:30
When you're talking
about superintelligent AI
about superintelligent AI
273
798160
2136
زمانی که راجع به هوش مصنوعی
ابرهوشمند صحبت می‌کنید
ابرهوشمند صحبت می‌کنید
13:32
that can make changes to itself,
274
800320
2256
که قادر به انجام تغییرات در خویش است،
13:34
it seems that we only have one chance
to get the initial conditions right,
to get the initial conditions right,
275
802600
4616
به نظر میاید که ما تنها از یک شانس برای
رسیدن به شرایط آغازین صحیح برخورداریم
رسیدن به شرایط آغازین صحیح برخورداریم
13:39
and even then we will need to absorb
276
807240
2056
و حتی بعد لازم است به جذب
13:41
the economic and political
consequences of getting them right.
consequences of getting them right.
277
809320
3040
پیامدهای سیاسی و اقتصادی
درست بودن آنها بپردازیم.
درست بودن آنها بپردازیم.
13:45
But the moment we admit
278
813760
2056
اما لحظه‌ای که می‌پذیریم
13:47
that information processing
is the source of intelligence,
is the source of intelligence,
279
815840
4000
پردازش اطلاعات منبع هوشمندی است،
13:52
that some appropriate computational system
is what the basis of intelligence is,
is what the basis of intelligence is,
280
820720
4800
که یک نظام محاسباتی مناسب
مبنای هوشمندی است،
مبنای هوشمندی است،
13:58
and we admit that we will improve
these systems continuously,
these systems continuously,
281
826360
3760
و بپذیریم که این نظامها
را در ادامه اصلاح خواهیم کرد،
را در ادامه اصلاح خواهیم کرد،
14:03
and we admit that the horizon
of cognition very likely far exceeds
of cognition very likely far exceeds
282
831280
4456
و بپذیریم که افق فرایند یادگیری و شناخت
به احتمال زیاد فراتر
به احتمال زیاد فراتر
14:07
what we currently know,
283
835760
1200
از دانش فعلی ما می‌رود
14:10
then we have to admit
284
838120
1216
در ادامه باید بپذیریم
14:11
that we are in the process
of building some sort of god.
of building some sort of god.
285
839360
2640
که ما در فرایند ساخت نوعی از خدا هستیم.
14:15
Now would be a good time
286
843400
1576
الان زمان خوبی است
14:17
to make sure it's a god we can live with.
287
845000
1953
مطمئن شویم خدایی است
که می‌توان با آن زندگی کرد.
که می‌توان با آن زندگی کرد.
14:20
Thank you very much.
288
848120
1536
از شما خیلی ممنونم.
14:21
(Applause)
289
849680
5093
(تشویق)
ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopherSam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.
Why you should listen
Sam Harris is the author of five New York Times bestsellers. His books include The End of Faith, Letter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.
Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.
Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.
Sam Harris | Speaker | TED.com