TEDSummit
Sam Harris: Can we build AI without losing control over it?
Сем Гарріс: Чи можемо ми створити штучний інтелект, не втративши над ним контролю?
Filmed:
Readability: 4.1
5,024,015 views
Налякані надрозумним штучним інтелектом? А треба, каже нейронауковець і філософ Сем Гарріс - та не лише в теорії. Ми збудуємо машини-надлюдей, запевняє Гарріс, та ми ще не задумувалися над проблемами, пов'язаними із створенням чогось такого, що зможе ставитися до нас, як до мурах.
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Double-click the English transcript below to play the video.
00:13
I'm going to talk
about a failure of intuition
about a failure of intuition
0
1000
2216
Сьогодні я розповім
про нездатність до інтуїції,
про нездатність до інтуїції,
00:15
that many of us suffer from.
1
3240
1600
від якої страждають багато з нас.
Це дійсно нездатність визначати
певний вид небезпеки.
певний вид небезпеки.
00:17
It's really a failure
to detect a certain kind of danger.
to detect a certain kind of danger.
2
5480
3040
00:21
I'm going to describe a scenario
3
9360
1736
Я опишу сценарій,
що, на мою думку, є водночас жахливий
00:23
that I think is both terrifying
4
11120
3256
та дуже ймовірний
00:26
and likely to occur,
5
14400
1760
і не є гарною комбінацією,
00:28
and that's not a good combination,
6
16840
1656
як виявляється.
00:30
as it turns out.
7
18520
1536
Та все одно, замість того, щоб злякатися,
більшість з вас відчують,
більшість з вас відчують,
00:32
And yet rather than be scared,
most of you will feel
most of you will feel
8
20080
2456
00:34
that what I'm talking about
is kind of cool.
is kind of cool.
9
22560
2080
що те, про що я веду мову,
скоріше прикольне.
скоріше прикольне.
00:37
I'm going to describe
how the gains we make
how the gains we make
10
25200
2976
Я розповім, як прибутки,
що ми отримуємо від штучного інтелекту,
00:40
in artificial intelligence
11
28200
1776
можуть, врешті-решт, знищити нас.
00:42
could ultimately destroy us.
12
30000
1776
Насправді, я думаю, дуже важко
зрозуміти, як вони НЕ знищать нас
зрозуміти, як вони НЕ знищать нас
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
to see how they won't destroy us
13
31800
3456
або не надихнуть нас знищити самих себе.
00:47
or inspire us to destroy ourselves.
14
35280
1680
Та якщо ви такий як я,
00:49
And yet if you're anything like me,
15
37400
1856
вам здасться, що думати
про такі речі - весело,
про такі речі - весело,
00:51
you'll find that it's fun
to think about these things.
to think about these things.
16
39280
2656
І така реакція є частиною проблеми.
00:53
And that response is part of the problem.
17
41960
3376
Ця реакція має хвилювати вас.
00:57
OK? That response should worry you.
18
45360
1720
00:59
And if I were to convince you in this talk
19
47920
2656
І якщо б я хотів запевнити
вас у цій промові,
вас у цій промові,
01:02
that we were likely
to suffer a global famine,
to suffer a global famine,
20
50600
3416
що нам, скоріше за все, доведеться
страждати від глобального голоду
страждати від глобального голоду
через кліматичні зміни
або якусь іншу катастрофу,
або якусь іншу катастрофу,
01:06
either because of climate change
or some other catastrophe,
or some other catastrophe,
21
54040
3056
01:09
and that your grandchildren,
or their grandchildren,
or their grandchildren,
22
57120
3416
та що ваші онуки та їхні онуки
будуть ймовірно жити саме так,
01:12
are very likely to live like this,
23
60560
1800
ви б не подумали:
01:15
you wouldn't think,
24
63200
1200
"Цікаво.
01:17
"Interesting.
25
65440
1336
Мені подобається цей виступ на ТED".
01:18
I like this TED Talk."
26
66800
1200
01:21
Famine isn't fun.
27
69200
1520
Голод - це не весело.
А от смерть у науковій фантастиці,
з іншого боку - це весело,
з іншого боку - це весело,
01:23
Death by science fiction,
on the other hand, is fun,
on the other hand, is fun,
28
71800
3376
та одна з речей, що мене найбільше турбує
щодо розвитку штучного інтелекту -
щодо розвитку штучного інтелекту -
01:27
and one of the things that worries me most
about the development of AI at this point
about the development of AI at this point
29
75200
3976
це наша нездатність мати відповідну
емоційну реакцію
емоційну реакцію
01:31
is that we seem unable to marshal
an appropriate emotional response
an appropriate emotional response
30
79200
4096
щодо небезпек, що чигають на нас попереду.
01:35
to the dangers that lie ahead.
31
83320
1816
01:37
I am unable to marshal this response,
and I'm giving this talk.
and I'm giving this talk.
32
85160
3200
Я не здатний осягнути цю реакцію
і саме тому виступаю на цій сцені.
і саме тому виступаю на цій сцені.
01:42
It's as though we stand before two doors.
33
90120
2696
Це так, наче ми стоїмо
навпроти двох дверей.
навпроти двох дверей.
01:44
Behind door number one,
34
92840
1256
За дверима номер 1
01:46
we stop making progress
in building intelligent machines.
in building intelligent machines.
35
94120
3296
ми припиняємо прогрес
у створенні розумних машин.
у створенні розумних машин.
01:49
Our computer hardware and software
just stops getting better for some reason.
just stops getting better for some reason.
36
97440
4016
Технічне та програмне забезпечення
перестає покращуватись через якісь обставини.
перестає покращуватись через якісь обставини.
01:53
Now take a moment
to consider why this might happen.
to consider why this might happen.
37
101480
3000
А тепер поміркуймо,
чому б це могло трапитися.
чому б це могло трапитися.
01:57
I mean, given how valuable
intelligence and automation are,
intelligence and automation are,
38
105080
3656
Знаючи, якими цінними є
інтелект та автоматизація,
інтелект та автоматизація,
02:00
we will continue to improve our technology
if we are at all able to.
if we are at all able to.
39
108760
3520
ми продовжимо удосконалювати
наші технології, якщо матимемо можливість.
наші технології, якщо матимемо можливість.
02:05
What could stop us from doing this?
40
113200
1667
Що нас може зупинити від цього?
02:07
A full-scale nuclear war?
41
115800
1800
Широкомасштабна ядерна війна?
02:11
A global pandemic?
42
119000
1560
Глобальна пандемія?
02:14
An asteroid impact?
43
122320
1320
Падіння астероїду?
02:17
Justin Bieber becoming
president of the United States?
president of the United States?
44
125640
2576
Джастін Бібер, що став
президентом Сполучених Штатів?
президентом Сполучених Штатів?
02:20
(Laughter)
45
128240
2280
(Сміх)
02:24
The point is, something would have to
destroy civilization as we know it.
destroy civilization as we know it.
46
132760
3920
Суть у тому, що щось має знищити
цивілізацію у знайомому нас вигляді.
цивілізацію у знайомому нас вигляді.
02:29
You have to imagine
how bad it would have to be
how bad it would have to be
47
137360
4296
Уявіть собі, яке страхіття має статися,
02:33
to prevent us from making
improvements in our technology
improvements in our technology
48
141680
3336
щоб завадити нам удосконалювати
наші технології
наші технології
02:37
permanently,
49
145040
1216
постійно,
02:38
generation after generation.
50
146280
2016
покоління за поколінням.
02:40
Almost by definition,
this is the worst thing
this is the worst thing
51
148320
2136
Майже за визначенням,
це найгірше,
це найгірше,
02:42
that's ever happened in human history.
52
150480
2016
що траплялося в історії людства.
02:44
So the only alternative,
53
152520
1296
Тому єдиною альтернативою,
02:45
and this is what lies
behind door number two,
behind door number two,
54
153840
2336
а саме вона знаходиться
за дверима номер два,
за дверима номер два,
02:48
is that we continue
to improve our intelligent machines
to improve our intelligent machines
55
156200
3136
є подальше удосконалення
розумних машин
розумних машин
02:51
year after year after year.
56
159360
1600
рік за роком, рік за роком.
02:53
At a certain point, we will build
machines that are smarter than we are,
machines that are smarter than we are,
57
161720
3640
Та в певний момент ми збудуємо
машини, розумніші за нас,
машини, розумніші за нас,
02:58
and once we have machines
that are smarter than we are,
that are smarter than we are,
58
166080
2616
та щойно з'являться машини,
що розумніші за нас,
що розумніші за нас,
03:00
they will begin to improve themselves.
59
168720
1976
вони почнуть самі себе удосконалювати.
03:02
And then we risk what
the mathematician IJ Good called
the mathematician IJ Good called
60
170720
2736
А тоді ми ризикуємо тим,
що математик І.Дж. Ґуд назвав
що математик І.Дж. Ґуд назвав
03:05
an "intelligence explosion,"
61
173480
1776
"інтелектуальним вибухом",
03:07
that the process could get away from us.
62
175280
2000
тим, що цей процес може вийти
з-під нашого контролю.
з-під нашого контролю.
03:10
Now, this is often caricatured,
as I have here,
as I have here,
63
178120
2816
Тепер це часто висміюють,
як ось на цьому зображенні,
як ось на цьому зображенні,
03:12
as a fear that armies of malicious robots
64
180960
3216
як страх, що армії злісних роботів
03:16
will attack us.
65
184200
1256
нас атакують.
03:17
But that isn't the most likely scenario.
66
185480
2696
Та це не найімовірніший сценарій.
03:20
It's not that our machines
will become spontaneously malevolent.
will become spontaneously malevolent.
67
188200
4856
Йдеться не про те, що наші машини
зненацька зробляться злими.
зненацька зробляться злими.
03:25
The concern is really
that we will build machines
that we will build machines
68
193080
2616
Викликає тривогу те,
що ми збудуємо машини,
що ми збудуємо машини,
03:27
that are so much
more competent than we are
more competent than we are
69
195720
2056
які будуть настільки компетентніші
за нас,
за нас,
03:29
that the slightest divergence
between their goals and our own
between their goals and our own
70
197800
3776
що найменші відхилення
між нашими та їхніми цілями
між нашими та їхніми цілями
03:33
could destroy us.
71
201600
1200
зможуть нас знищити.
Лише поміркуйте, як ми поводимося
з мурахами.
з мурахами.
03:35
Just think about how we relate to ants.
72
203960
2080
03:38
We don't hate them.
73
206600
1656
Ми не ненавидимо їх.
03:40
We don't go out of our way to harm them.
74
208280
2056
Ми не звертаємо зі шляху,
щоб нашкодити їм.
щоб нашкодити їм.
03:42
In fact, sometimes
we take pains not to harm them.
we take pains not to harm them.
75
210360
2376
Насправді іноді ми намагаємося
не нашкодити їм.
не нашкодити їм.
03:44
We step over them on the sidewalk.
76
212760
2016
Ми переступаємо через них на стежці.
03:46
But whenever their presence
77
214800
2136
Та коли їхня присутність
03:48
seriously conflicts with one of our goals,
78
216960
2496
відчутно конфліктує
з будь-якою нашою метою,
з будь-якою нашою метою,
скажімо, коли ми будуємо
таку споруду, як на зображенні,
таку споруду, як на зображенні,
03:51
let's say when constructing
a building like this one,
a building like this one,
79
219480
2477
03:53
we annihilate them without a qualm.
80
221981
1960
ми знищуємо їх без сумнівів.
03:56
The concern is that we will
one day build machines
one day build machines
81
224480
2936
Тривога полягає в тому,
що одного дня ми збудуємо машини,
що одного дня ми збудуємо машини,
03:59
that, whether they're conscious or not,
82
227440
2736
які, свідомі чи ні,
04:02
could treat us with similar disregard.
83
230200
2000
можуть поставитися до нас
так само байдуже.
так само байдуже.
04:05
Now, I suspect this seems
far-fetched to many of you.
far-fetched to many of you.
84
233760
2760
Гадаю, що це здається
багатьом з вас малоймовірним.
багатьом з вас малоймовірним.
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
that superintelligent AI is possible,
85
237360
6336
Я впевнений, серед вас є ті, хто сумнівається,
що надрозумні машини можливі,
що надрозумні машини можливі,
04:15
much less inevitable.
86
243720
1656
що й казати про неминучість.
04:17
But then you must find something wrong
with one of the following assumptions.
with one of the following assumptions.
87
245400
3620
Тоді ви засумніваєтеся у правильності
одного з таких припущень.
одного з таких припущень.
04:21
And there are only three of them.
88
249044
1572
А їх лише три.
04:23
Intelligence is a matter of information
processing in physical systems.
processing in physical systems.
89
251800
4719
Інтелект - це обробка інформації
у фізичних системах.
у фізичних системах.
04:29
Actually, this is a little bit more
than an assumption.
than an assumption.
90
257320
2615
Насправді, це трохи більше,
ніж припущення.
ніж припущення.
04:31
We have already built
narrow intelligence into our machines,
narrow intelligence into our machines,
91
259959
3457
Ми вже вбудували певний інтелект
в наші машини,
в наші машини,
04:35
and many of these machines perform
92
263440
2016
і багато з цих машин видають результати
04:37
at a level of superhuman
intelligence already.
intelligence already.
93
265480
2640
на рівні надлюдського інтелекту
вже сьогодні.
вже сьогодні.
04:40
And we know that mere matter
94
268840
2576
Та ми знаємо, що найменший привід
04:43
can give rise to what is called
"general intelligence,"
"general intelligence,"
95
271440
2616
може призвести до так званого
"інтелектуального вибуху",
"інтелектуального вибуху",
04:46
an ability to think flexibly
across multiple domains,
across multiple domains,
96
274080
3656
спроможності гнучко мислити
у багатьох сферах,
у багатьох сферах,
04:49
because our brains have managed it. Right?
97
277760
3136
адже наш мозок вже зміг це зробити.
Чи не так?
Чи не так?
04:52
I mean, there's just atoms in here,
98
280920
3936
Я маю на увазі, що тут є лише атоми,
04:56
and as long as we continue
to build systems of atoms
to build systems of atoms
99
284880
4496
та допоки ми продовжуємо
будувати системи з атомів,
будувати системи з атомів,
05:01
that display more and more
intelligent behavior,
intelligent behavior,
100
289400
2696
що демонструють все більш
інтелектуальну поведінку,
інтелектуальну поведінку,
05:04
we will eventually,
unless we are interrupted,
unless we are interrupted,
101
292120
2536
ми поступово,
якщо нас не зупинять,
якщо нас не зупинять,
05:06
we will eventually
build general intelligence
build general intelligence
102
294680
3376
поступово вбудуємо
загальний інтелект
загальний інтелект
05:10
into our machines.
103
298080
1296
в наші машини.
05:11
It's crucial to realize
that the rate of progress doesn't matter,
that the rate of progress doesn't matter,
104
299400
3656
Важливо зрозуміти,
що рівень прогресу не має значення,
що рівень прогресу не має значення,
тому що будь-який прогрес здатний
призвести нас до фінального пункту.
призвести нас до фінального пункту.
05:15
because any progress
is enough to get us into the end zone.
is enough to get us into the end zone.
105
303080
3176
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
We don't need exponential progress.
106
306280
3776
Нам не треба закону Мура, щоб продовжувати.
Нам не потрібний експоненційний прогрес.
Нам не потрібний експоненційний прогрес.
05:22
We just need to keep going.
107
310080
1600
Нам лише треба не зупинятися.
05:25
The second assumption
is that we will keep going.
is that we will keep going.
108
313480
2920
Друге припущення полягає в тому,
що ми не зупинимося.
що ми не зупинимося.
05:29
We will continue to improve
our intelligent machines.
our intelligent machines.
109
317000
2760
Будемо далі удосконалювати
наші розумні машини.
наші розумні машини.
05:33
And given the value of intelligence --
110
321000
4376
Та враховуючи цінність інтелекту--
05:37
I mean, intelligence is either
the source of everything we value
the source of everything we value
111
325400
3536
Я маю на увазі, інтелект є або
джерелом всього, що ми цінуємо,
джерелом всього, що ми цінуємо,
05:40
or we need it to safeguard
everything we value.
everything we value.
112
328960
2776
або він нам потрібен, щоб зберегти
все, що ми цінуємо.
все, що ми цінуємо.
05:43
It is our most valuable resource.
113
331760
2256
Це наш найцінніший ресурс.
05:46
So we want to do this.
114
334040
1536
Тому ми хочемо це робити.
05:47
We have problems
that we desperately need to solve.
that we desperately need to solve.
115
335600
3336
В нас є проблеми,
що їх нам вкрай необхідно залагодити.
що їх нам вкрай необхідно залагодити.
05:50
We want to cure diseases
like Alzheimer's and cancer.
like Alzheimer's and cancer.
116
338960
3200
Ми хочемо лікувати такі захворювання,
як Альцгеймер та рак.
як Альцгеймер та рак.
05:54
We want to understand economic systems.
We want to improve our climate science.
We want to improve our climate science.
117
342960
3936
Ми хочемо зрозуміти економічні системи.
Ми хочемо покращити нашу кліматичну науку.
Ми хочемо покращити нашу кліматичну науку.
05:58
So we will do this, if we can.
118
346920
2256
Тому ми будемо це робити,
якщо зможемо.
якщо зможемо.
06:01
The train is already out of the station,
and there's no brake to pull.
and there's no brake to pull.
119
349200
3286
Потяг вже поїхав зі станції,
і немає гальма, щоб його зупинити.
і немає гальма, щоб його зупинити.
06:05
Finally, we don't stand
on a peak of intelligence,
on a peak of intelligence,
120
353880
5456
Нарешті, ми не стоїмо
на вершині інтелекту,
на вершині інтелекту,
06:11
or anywhere near it, likely.
121
359360
1800
і навряд чи десь поблизу.
06:13
And this really is the crucial insight.
122
361640
1896
І це насправді ключовий факт.
06:15
This is what makes
our situation so precarious,
our situation so precarious,
123
363560
2416
Це те, що робить нашу ситуацію
такою небезпечною,
такою небезпечною,
06:18
and this is what makes our intuitions
about risk so unreliable.
about risk so unreliable.
124
366000
4040
і це те, що робить нашу інтуїцію
щодо ризику настільки ненадійною.
щодо ризику настільки ненадійною.
06:23
Now, just consider the smartest person
who has ever lived.
who has ever lived.
125
371120
2720
Тепер подумайте про найрозумнішу людину,
яка будь-коли існувала.
яка будь-коли існувала.
06:26
On almost everyone's shortlist here
is John von Neumann.
is John von Neumann.
126
374640
3416
Майже у всіх у списку є Джон фон Нейман.
06:30
I mean, the impression that von Neumann
made on the people around him,
made on the people around him,
127
378080
3336
Я гадаю, що враження, яке фон Нейман
справляв на людей довкола,
справляв на людей довкола,
06:33
and this included the greatest
mathematicians and physicists of his time,
mathematicians and physicists of his time,
128
381440
4056
до яких входили найвидатніші математики
та фізики його часу,
та фізики його часу,
06:37
is fairly well-documented.
129
385520
1936
достатньо добре задокументоване.
06:39
If only half the stories
about him are half true,
about him are half true,
130
387480
3776
Якщо лише половина історій про нього
бодай наполовину правдива,
бодай наполовину правдива,
06:43
there's no question
131
391280
1216
немає сумнівів, що
06:44
he's one of the smartest people
who has ever lived.
who has ever lived.
132
392520
2456
він один із найрозумніших людей,
які коли-небудь існували.
які коли-небудь існували.
06:47
So consider the spectrum of intelligence.
133
395000
2520
Тож обміркуємо спектр інтелекту.
06:50
Here we have John von Neumann.
134
398320
1429
Ось тут у нас Джон фон Нейман.
06:53
And then we have you and me.
135
401560
1334
А ось тут ми з вами.
06:56
And then we have a chicken.
136
404120
1296
А ось тут курка.
06:57
(Laughter)
137
405440
1936
(Сміх)
06:59
Sorry, a chicken.
138
407400
1216
Вибачте, курка.
07:00
(Laughter)
139
408640
1256
(Сміх)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
more depressing than it needs to be.
140
409920
3736
Мені нема чого робити цю промову
гнітючішою, аніж вона має бути.
гнітючішою, аніж вона має бути.
07:05
(Laughter)
141
413680
1600
(Сміх)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
that the spectrum of intelligence
142
416339
3477
Здається надзвичайно ймовірним,
що спектр інтелекту
що спектр інтелекту
07:11
extends much further
than we currently conceive,
than we currently conceive,
143
419840
3120
простягається набагато далі,
ніж ми сьогодні уявляємо,
ніж ми сьогодні уявляємо,
07:15
and if we build machines
that are more intelligent than we are,
that are more intelligent than we are,
144
423880
3216
і якщо ми збудуємо машини,
що розумніші за нас,
що розумніші за нас,
07:19
they will very likely
explore this spectrum
explore this spectrum
145
427120
2296
вони, дуже ймовірно,
розвідають цей спектр
розвідають цей спектр
07:21
in ways that we can't imagine,
146
429440
1856
шляхами, які ми не можемо уявити,
07:23
and exceed us in ways
that we can't imagine.
that we can't imagine.
147
431320
2520
та перевершать нас так,
як ми не можемо уявити.
як ми не можемо уявити.
07:27
And it's important to recognize that
this is true by virtue of speed alone.
this is true by virtue of speed alone.
148
435000
4336
Та важливо визнати, що
це правда вже з огляду на саму силу швидкості.
це правда вже з огляду на саму силу швидкості.
07:31
Right? So imagine if we just built
a superintelligent AI
a superintelligent AI
149
439360
5056
Правильно? Тож уявіть, що ми збудували
надрозумний штучний інтелект,
надрозумний штучний інтелект,
07:36
that was no smarter
than your average team of researchers
than your average team of researchers
150
444440
3456
такий же розумний, як ваша
середньостатистична команда дослідників
середньостатистична команда дослідників
07:39
at Stanford or MIT.
151
447920
2296
у Стенфорді чи МТІ.
07:42
Well, electronic circuits
function about a million times faster
function about a million times faster
152
450240
2976
Електронні ланцюги
функціюють у мільйон разів швидше
функціюють у мільйон разів швидше
за біохемічні,
07:45
than biochemical ones,
153
453240
1256
07:46
so this machine should think
about a million times faster
about a million times faster
154
454520
3136
тож ці машини мають думати
в мільйон разів швидше,
в мільйон разів швидше,
07:49
than the minds that built it.
155
457680
1816
ніж розуми, що їх сконструювали.
Тож ви запускаєте її на тиждень,
07:51
So you set it running for a week,
156
459520
1656
07:53
and it will perform 20,000 years
of human-level intellectual work,
of human-level intellectual work,
157
461200
4560
і вона демонструє 20 000 років
інтелектуальної роботи людського рівня,
інтелектуальної роботи людського рівня,
07:58
week after week after week.
158
466400
1960
тиждень за тижнем, тиждень за тижнем.
08:01
How could we even understand,
much less constrain,
much less constrain,
159
469640
3096
Як ми можемо зрозуміти,
тим паче стримати
тим паче стримати
08:04
a mind making this sort of progress?
160
472760
2280
інтелект, що так прогресує?
08:08
The other thing that's worrying, frankly,
161
476840
2136
Тривогу викликає ще одна річ:
08:11
is that, imagine the best case scenario.
162
479000
4976
це, уявіть собі, найкращий сценарій.
08:16
So imagine we hit upon a design
of superintelligent AI
of superintelligent AI
163
484000
4176
А тепер уявіть, ми створюємо надрозумний
штучний інтелект,
штучний інтелект,
08:20
that has no safety concerns.
164
488200
1376
не зважаючи на жодні
міркування безпеки.
міркування безпеки.
08:21
We have the perfect design
the first time around.
the first time around.
165
489600
3256
В нас уперше з'являється
бездоганний проект.
бездоганний проект.
08:24
It's as though we've been handed an oracle
166
492880
2216
Так наче ми отримали оракула,
08:27
that behaves exactly as intended.
167
495120
2016
що поводиться саме так, як планувалося.
08:29
Well, this machine would be
the perfect labor-saving device.
the perfect labor-saving device.
168
497160
3720
Тож така машина була б
ідеальним пристроєм з економії праці.
ідеальним пристроєм з економії праці.
Вона може проектувати машини,
що можуть будувати машини,
що можуть будувати машини,
08:33
It can design the machine
that can build the machine
that can build the machine
169
501680
2429
08:36
that can do any physical work,
170
504133
1763
що можуть робити будь-яку фізичну роботу,
08:37
powered by sunlight,
171
505920
1456
працюватимуть на сонячній енергії,
08:39
more or less for the cost
of raw materials.
of raw materials.
172
507400
2696
більш-менш за ціною сировини.
08:42
So we're talking about
the end of human drudgery.
the end of human drudgery.
173
510120
3256
Тож ми говоримо про кінець
важкої людської праці.
важкої людської праці.
08:45
We're also talking about the end
of most intellectual work.
of most intellectual work.
174
513400
2800
Ми також говоримо про кінець
найбільш інтелектуальної праці.
найбільш інтелектуальної праці.
08:49
So what would apes like ourselves
do in this circumstance?
do in this circumstance?
175
517200
3056
То що ж такі мавпи, як ми,
будуть робити за цих обставин?
будуть робити за цих обставин?
08:52
Well, we'd be free to play Frisbee
and give each other massages.
and give each other massages.
176
520280
4080
Ми зможемо вільно грати в Фрізбі
та робити одне одному масаж.
та робити одне одному масаж.
08:57
Add some LSD and some
questionable wardrobe choices,
questionable wardrobe choices,
177
525840
2856
Додайте трохи ЛСД та трохи
сумнівного гардеробу,
сумнівного гардеробу,
09:00
and the whole world
could be like Burning Man.
could be like Burning Man.
178
528720
2176
і весь світ буде
як фестиваль Burning Man.
як фестиваль Burning Man.
09:02
(Laughter)
179
530920
1640
(Сміх)
09:06
Now, that might sound pretty good,
180
534320
2000
Непогано звучить,
09:09
but ask yourself what would happen
181
537280
2376
але запитайте себе, що станеться
09:11
under our current economic
and political order?
and political order?
182
539680
2736
з нашим теперішнім економічним
та політичним ладом?
та політичним ладом?
09:14
It seems likely that we would witness
183
542440
2416
Ймовірно, ми станемо свідками
09:16
a level of wealth inequality
and unemployment
and unemployment
184
544880
4136
такої нерівності розподілу багатства
та безробіття,
та безробіття,
09:21
that we have never seen before.
185
549040
1496
яких ми ніколи не бачили.
09:22
Absent a willingness
to immediately put this new wealth
to immediately put this new wealth
186
550560
2616
Не бажаючи одразу
використовувати це нове багатство
використовувати це нове багатство
09:25
to the service of all humanity,
187
553200
1480
на користь всього людства,
09:27
a few trillionaires could grace
the covers of our business magazines
the covers of our business magazines
188
555640
3616
декілька мільярдерів прикрасять
обкладинки наших бізнес-журналів,
обкладинки наших бізнес-журналів,
09:31
while the rest of the world
would be free to starve.
would be free to starve.
189
559280
2440
тоді як решта світу
голодуватиме.
голодуватиме.
09:34
And what would the Russians
or the Chinese do
or the Chinese do
190
562320
2296
А що робитимуть росіяни та китайці,
09:36
if they heard that some company
in Silicon Valley
in Silicon Valley
191
564640
2616
якщо вони почують, що якась компанія
у Кремнієвій долині
у Кремнієвій долині
09:39
was about to deploy a superintelligent AI?
192
567280
2736
збирається ввести в дію
надрозумний штучний інтелект?
надрозумний штучний інтелект?
09:42
This machine would be capable
of waging war,
of waging war,
193
570040
2856
Ця машина зможе вести війну,
09:44
whether terrestrial or cyber,
194
572920
2216
наземну або кібер,
09:47
with unprecedented power.
195
575160
1680
з безпрецедентною могутністю.
09:50
This is a winner-take-all scenario.
196
578120
1856
Це сценарій, де переможець отримує все.
09:52
To be six months ahead
of the competition here
of the competition here
197
580000
3136
Бути на шість місяців попереду
у цьому змаганні,
у цьому змаганні,
09:55
is to be 500,000 years ahead,
198
583160
2776
це бути на 500 000 років попереду,
09:57
at a minimum.
199
585960
1496
як мінімум.
09:59
So it seems that even mere rumors
of this kind of breakthrough
of this kind of breakthrough
200
587480
4736
Тож здається, що навіть незначні чутки
про такі досягнення
про такі досягнення
10:04
could cause our species to go berserk.
201
592240
2376
можуть спричинити
люту ненависть між людьми.
люту ненависть між людьми.
10:06
Now, one of the most frightening things,
202
594640
2896
Але одна з найжахливіших речей,
10:09
in my view, at this moment,
203
597560
2776
на мою думку, на цей час -
10:12
are the kinds of things
that AI researchers say
that AI researchers say
204
600360
4296
це те, що кажуть розробники
штучного інтелекту,
штучного інтелекту,
10:16
when they want to be reassuring.
205
604680
1560
коли хочуть заспокоїти нас.
10:19
And the most common reason
we're told not to worry is time.
we're told not to worry is time.
206
607000
3456
Найпоширенішою підставою
не турбуватися, кажуть вони, є час.
не турбуватися, кажуть вони, є час.
10:22
This is all a long way off,
don't you know.
don't you know.
207
610480
2056
Це ще так далеко,
хіба ви не знаєте.
хіба ви не знаєте.
10:24
This is probably 50 or 100 years away.
208
612560
2440
Це ще може тривати 50 або 100 років.
10:27
One researcher has said,
209
615720
1256
Один із дослідників сказав:
10:29
"Worrying about AI safety
210
617000
1576
"Хвилюватися через безпеку
штучного інтелекту -
штучного інтелекту -
10:30
is like worrying
about overpopulation on Mars."
about overpopulation on Mars."
211
618600
2280
те ж саме, що перейматися
перенаселенням на Марсі".
перенаселенням на Марсі".
10:34
This is the Silicon Valley version
212
622116
1620
Це така версія Кремнієвої долини
10:35
of "don't worry your
pretty little head about it."
pretty little head about it."
213
623760
2376
фрази: "Не забивай цим
свою гарненьку голівку".
свою гарненьку голівку".
10:38
(Laughter)
214
626160
1336
(Сміх)
10:39
No one seems to notice
215
627520
1896
Здається, ніхто не помічає,
10:41
that referencing the time horizon
216
629440
2616
що посилатися на часову віддаленість -
10:44
is a total non sequitur.
217
632080
2576
хибно.
10:46
If intelligence is just a matter
of information processing,
of information processing,
218
634680
3256
Якщо інтелект - це питання
обробки інформації,
обробки інформації,
10:49
and we continue to improve our machines,
219
637960
2656
і ми далі удосконалюватимемо наші машини,
10:52
we will produce
some form of superintelligence.
some form of superintelligence.
220
640640
2880
то ми створимо
якусь форму супер-інтелекту.
якусь форму супер-інтелекту.
10:56
And we have no idea
how long it will take us
how long it will take us
221
644320
3656
І ми не уявляємо,
скільки часу нам потрібно,
скільки часу нам потрібно,
11:00
to create the conditions
to do that safely.
to do that safely.
222
648000
2400
щоб створити умови,
де це буде безпечно.
де це буде безпечно.
Повторюю ще раз.
11:04
Let me say that again.
223
652200
1296
11:05
We have no idea how long it will take us
224
653520
3816
Ми не уявляємо,
скільки часу нам потрібно,
скільки часу нам потрібно,
11:09
to create the conditions
to do that safely.
to do that safely.
225
657360
2240
щоб створити умови,
де це буде безпечно.
де це буде безпечно.
11:12
And if you haven't noticed,
50 years is not what it used to be.
50 years is not what it used to be.
226
660920
3456
І якщо ви не помітили,
50 років - вже не ті, що раніше.
50 років - вже не ті, що раніше.
11:16
This is 50 years in months.
227
664400
2456
Це 50 років у місяцях.
11:18
This is how long we've had the iPhone.
228
666880
1840
Стільки часу в нас уже є iPhone.
11:21
This is how long "The Simpsons"
has been on television.
has been on television.
229
669440
2600
Стільки часу "Сімпсони" вже
існують на телебаченні.
існують на телебаченні.
П'ятдесят років -
це не так вже й багато часу,
це не так вже й багато часу,
11:24
Fifty years is not that much time
230
672680
2376
11:27
to meet one of the greatest challenges
our species will ever face.
our species will ever face.
231
675080
3160
щоб прийняти найбільший виклик,
з яким зіткнеться людський рід.
з яким зіткнеться людський рід.
11:31
Once again, we seem to be failing
to have an appropriate emotional response
to have an appropriate emotional response
232
679640
4016
Повторюю: ми, здається, не маємо
відповідної емоційної реакції
відповідної емоційної реакції
11:35
to what we have every reason
to believe is coming.
to believe is coming.
233
683680
2696
на те, що точно до нас наближається.
11:38
The computer scientist Stuart Russell
has a nice analogy here.
has a nice analogy here.
234
686400
3976
Комп'ютерний експерт Стюарт Рассел
наводить гарну аналогію.
наводить гарну аналогію.
11:42
He said, imagine that we received
a message from an alien civilization,
a message from an alien civilization,
235
690400
4896
Він сказав: "Уявіть, що ми отримали
повідомлення від інопланетної цивілізації,
повідомлення від інопланетної цивілізації,
11:47
which read:
236
695320
1696
в якому йдеться:
11:49
"People of Earth,
237
697040
1536
"Земляни,
11:50
we will arrive on your planet in 50 years.
238
698600
2360
ми прибудемо на вашу планету через 50 років.
11:53
Get ready."
239
701800
1576
Готуйтеся".
11:55
And now we're just counting down
the months until the mothership lands?
the months until the mothership lands?
240
703400
4256
І тепер ми лише рахуємо місяці, що
лишилися до прибуття космічного корабля?
лишилися до прибуття космічного корабля?
11:59
We would feel a little
more urgency than we do.
more urgency than we do.
241
707680
3000
Ми б відчули тоді трохи більше терміновості,
ніж ми відчуваємо тепер.
ніж ми відчуваємо тепер.
Інша причина, чому нам кажуть
не хвилюватися, полягає в тому,
не хвилюватися, полягає в тому,
12:04
Another reason we're told not to worry
242
712680
1856
12:06
is that these machines
can't help but share our values
can't help but share our values
243
714560
3016
що ці машини
муситимуть поділяти наші цінності,
муситимуть поділяти наші цінності,
12:09
because they will be literally
extensions of ourselves.
extensions of ourselves.
244
717600
2616
адже вони будуть фактично
продовженням нас самих.
продовженням нас самих.
12:12
They'll be grafted onto our brains,
245
720240
1816
Їх трансплантують у наші мізки,
12:14
and we'll essentially
become their limbic systems.
become their limbic systems.
246
722080
2360
і ми, по суті,
станемо їхньою лімбічною системою.
станемо їхньою лімбічною системою.
12:17
Now take a moment to consider
247
725120
1416
Але задумаймось:
12:18
that the safest
and only prudent path forward,
and only prudent path forward,
248
726560
3176
найбезпечніший
та єдиний розважливий шлях уперед,
та єдиний розважливий шлях уперед,
12:21
recommended,
249
729760
1336
що його нам рекомендують -
12:23
is to implant this technology
directly into our brains.
directly into our brains.
250
731120
2800
це імплантація цієї технології
прямо у мозок.
прямо у мозок.
12:26
Now, this may in fact be the safest
and only prudent path forward,
and only prudent path forward,
251
734600
3376
Так, це може бути найбезпечнішим
та єдиним розважливим шляхом уперед,
та єдиним розважливим шляхом уперед,
12:30
but usually one's safety concerns
about a technology
about a technology
252
738000
3056
але зазвичай усі проблеми з безпекою
12:33
have to be pretty much worked out
before you stick it inside your head.
before you stick it inside your head.
253
741080
3656
мають бути розв'язані до того,
як технологію вставлять у вашу голову.
як технологію вставлять у вашу голову.
12:36
(Laughter)
254
744760
2016
(Сміх)
12:38
The deeper problem is that
building superintelligent AI on its own
building superintelligent AI on its own
255
746800
5336
Глибшою проблемою є те, що створення
лише надрозумного штучного інтелекту
лише надрозумного штучного інтелекту
12:44
seems likely to be easier
256
752160
1736
здається легшим,
12:45
than building superintelligent AI
257
753920
1856
ніж створення надрозумного
штучного інтелекту
штучного інтелекту
12:47
and having the completed neuroscience
258
755800
1776
та володіння повноцінною неврологією,
12:49
that allows us to seamlessly
integrate our minds with it.
integrate our minds with it.
259
757600
2680
яка б дала нам змогу ефективно
інтегрувати наш розум із ним.
інтегрувати наш розум із ним.
12:52
And given that the companies
and governments doing this work
and governments doing this work
260
760800
3176
І, знаючи це, компанії та
уряди, що займаються цією розробкою,
уряди, що займаються цією розробкою,
12:56
are likely to perceive themselves
as being in a race against all others,
as being in a race against all others,
261
764000
3656
сприймають себе наче у перегонах
проти всіх інших,
проти всіх інших,
12:59
given that to win this race
is to win the world,
is to win the world,
262
767680
3256
тому що виграти ці перегони -
це виграти світ,
це виграти світ,
13:02
provided you don't destroy it
in the next moment,
in the next moment,
263
770960
2456
якщо звісно його не буде знищено
наступної хвилини,
наступної хвилини,
13:05
then it seems likely
that whatever is easier to do
that whatever is easier to do
264
773440
2616
отже, здається, що те,
що зробити найлегше,
що зробити найлегше,
13:08
will get done first.
265
776080
1200
зроблять у першу чергу.
13:10
Now, unfortunately,
I don't have a solution to this problem,
I don't have a solution to this problem,
266
778560
2856
На жаль, у мене немає
розв'язку цієї проблеми,
розв'язку цієї проблеми,
13:13
apart from recommending
that more of us think about it.
that more of us think about it.
267
781440
2616
окрім як порадити,
щоб більшість із нас думала про це.
щоб більшість із нас думала про це.
13:16
I think we need something
like a Manhattan Project
like a Manhattan Project
268
784080
2376
Гадаю, нам потрібно, щось
на кшталт "Проекту Мангеттен"
на кшталт "Проекту Мангеттен"
13:18
on the topic of artificial intelligence.
269
786480
2016
на тему штучного інтелекту.
13:20
Not to build it, because I think
we'll inevitably do that,
we'll inevitably do that,
270
788520
2736
Не для того, щоб створити його, адже
я думаю, ми неминуче це зробимо,
я думаю, ми неминуче це зробимо,
13:23
but to understand
how to avoid an arms race
how to avoid an arms race
271
791280
3336
а щоб зрозуміти,
як уникнути збройних перегонів
як уникнути збройних перегонів
13:26
and to build it in a way
that is aligned with our interests.
that is aligned with our interests.
272
794640
3496
та створити його так, щоб він
відповідав нашим інтересам.
відповідав нашим інтересам.
13:30
When you're talking
about superintelligent AI
about superintelligent AI
273
798160
2136
Коли ми розмовляємо про
надрозумний штучний інтелект,
надрозумний штучний інтелект,
13:32
that can make changes to itself,
274
800320
2256
що може самозмінюватися,
13:34
it seems that we only have one chance
to get the initial conditions right,
to get the initial conditions right,
275
802600
4616
здається, в нас є лише один шанс
отримати правильні початкові умови,
отримати правильні початкові умови,
13:39
and even then we will need to absorb
276
807240
2056
і навіть тоді нам доведеться пережити
13:41
the economic and political
consequences of getting them right.
consequences of getting them right.
277
809320
3040
економічні та політичні наслідки
отримання правильних умов.
отримання правильних умов.
13:45
But the moment we admit
278
813760
2056
Та в той момент. коли ми визнаємо,
13:47
that information processing
is the source of intelligence,
is the source of intelligence,
279
815840
4000
що оброблення інформації
є джерелом інтелекту,
є джерелом інтелекту,
13:52
that some appropriate computational system
is what the basis of intelligence is,
is what the basis of intelligence is,
280
820720
4800
що деякі відповідні обчислювальні системи
є базою інтелекту,
є базою інтелекту,
13:58
and we admit that we will improve
these systems continuously,
these systems continuously,
281
826360
3760
і визнаємо, що ми будемо удосконалювати
ці системи беззупинно,
ці системи беззупинно,
14:03
and we admit that the horizon
of cognition very likely far exceeds
of cognition very likely far exceeds
282
831280
4456
а також те, що горизонт пізнання,
скоріш за все, простягається набагато далі,
скоріш за все, простягається набагато далі,
14:07
what we currently know,
283
835760
1200
ніж ми на цей час розуміємо,
тоді нам доведеться визнати,
14:10
then we have to admit
284
838120
1216
14:11
that we are in the process
of building some sort of god.
of building some sort of god.
285
839360
2640
що ми в процесі створення
своєрідного бога.
своєрідного бога.
14:15
Now would be a good time
286
843400
1576
І настав час переконатися,
14:17
to make sure it's a god we can live with.
287
845000
1953
що з цим богом ми зможемо жити.
14:20
Thank you very much.
288
848120
1536
Дуже вам дякую.
14:21
(Applause)
289
849680
5093
(Оплески)
ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopherSam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.
Why you should listen
Sam Harris is the author of five New York Times bestsellers. His books include The End of Faith, Letter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.
Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.
Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.
Sam Harris | Speaker | TED.com