TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Нік Бостром: Що трапляється, коли наші комп'ютери стають розумнішими за нас?
Filmed:
Readability: 4.4
4,632,705 views
Штучний інтелект стає розумнішим дуже швидкими темпами - в межах цього століття, як передбачає дослідження, комп'ютерний штучний інтелект може стати "розумнішим" за людську істоту. А тоді, за словами Ніка Бострома, він обійде нас: "Машинний інтелект є останнім винаходом людства, який нам слід було б здійснити". Філософ та інженер Бостром просить нас добряче подумати про світ, який ми зараз будуємо, керуючись мислячими машинами. Чи допоможуть наші розумні машини захистити людство на наші цінності - чи вони матимуть власні цінності?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Я працював із купою математиків, філософів
та інформатиків,
та інформатиків,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
і ми сиділи й думали
про майбутнє машинного інтелекту,
про майбутнє машинного інтелекту,
00:21
among other things.
2
9986
2044
серед іншого.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Дехто вважає, що дещо з цього
щось типу наукової фантастики,
щось типу наукової фантастики,
00:28
far out there, crazy.
4
16755
3101
недосяжне, божевільне.
00:31
But I like to say,
5
19856
1470
Але я люблю казати:
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
"Добре, подивімося на те, якою є
сучасна людина".
сучасна людина".
00:36
(Laughter)
7
24930
1692
(Сміх)
00:38
This is the normal way for things to be.
8
26622
2402
Це звичайний стан речей.
00:41
But if we think about it,
9
29024
2285
Але якщо ми замислимося над цим,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
ми, власне, гості на цій планеті,
00:46
the human species.
11
34602
2082
людський рід.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Задумайтесь, що, якби Землю
було створено рік тому,
було створено рік тому,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
людство тоді б було віком лише 10 хвилин.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Індустріальна ера розпочалася
дві секунди тому.
дві секунди тому.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Інший кут зору - подумати
про світовий ВВП за останні 10 000 років,
про світовий ВВП за останні 10 000 років,
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
я взагалі-то подбав про те, щоб
накреслити для вас графік.
накреслити для вас графік.
01:09
It looks like this.
17
57530
1774
Він виглядає отак.
01:11
(Laughter)
18
59304
1363
(Сміх)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Це цікава форма для звичайного стану.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Я, напевне, не хотів би
сидіти на цьому.
сидіти на цьому.
01:16
(Laughter)
21
64516
2551
(Сміх)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Давайте спитаємо себе: "Що спричинило
цю теперішню аномалію?"
цю теперішню аномалію?"
01:23
Some people would say it's technology.
23
71841
2552
Хтось скаже, що це технології.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Дійсно, технології накопичувалися
протягом людської історії.
протягом людської історії.
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
і просто зараз технології
розвиваються вкрай швидко -
розвиваються вкрай швидко -
01:35
that is the proximate cause,
26
83713
1565
це безпосередня причина,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
чому ми зараз такі продуктивні.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Але я волію згадувати про
кінцеву мету.
кінцеву мету.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Подивіться на цих двох
шляхетних джентльменів:
шляхетних джентльменів:
01:48
We have Kanzi --
30
96880
1600
Це Канзі --
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
він вивчив 200 лексичних символів,
неймовірне досягнення.
неймовірне досягнення.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
І Ед Віттен, котрий спричинив
другу суперструнну революцію.
другу суперструнну революцію.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Якщо ми заглянемо "під капот",
ось що з'ясується:
ось що з'ясується:
02:01
basically the same thing.
34
109141
1570
по суті, те саме.
02:02
One is a little larger,
35
110711
1813
Один трошки більший,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
він може мати певні
особливості в сплетінні.
особливості в сплетінні.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Ці невидимі відмінності однак
не можуть бути надто складними,
не можуть бути надто складними,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
тому що було лише
250 000 поколінь
250 000 поколінь
02:15
since our last common ancestor.
39
123379
1732
від останнього
спільного предка.
спільного предка.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Ми знаємо, що складний механізм
потребує багато часу, щоб розвинутися.
потребує багато часу, щоб розвинутися.
02:22
So a bunch of relatively minor changes
41
130000
2499
Тому купа відносно незначних змін
02:24
take us from Kanzi to Witten,
42
132499
3067
привели нас від Канзі до Віттена,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
від відламаних гілок дерева до
міжконтинентальних балістичних ракет.
міжконтинентальних балістичних ракет.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Отже тоді виглядає цілком очевидно,
що все, чого ми досягли,
що все, чого ми досягли,
02:36
and everything we care about,
45
144774
1378
і все, що нам небайдуже,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
принципово залежить від досить неістотних
змін, яких зазнав людський мозок.
змін, яких зазнав людський мозок.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
І як наслідок, звичайно,
усі подальші зміни,
усі подальші зміни,
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
які можуть докорінно змінити
підґрунтя для мислення,
підґрунтя для мислення,
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
матимуть потенційно
величезні наслідки.
величезні наслідки.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Дехто з моїх колег
вважає, що ми на межі
вважає, що ми на межі
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
чогось, що може призвести до
глибоких змін у цьому підґрунті,
глибоких змін у цьому підґрунті,
03:03
and that is machine superintelligence.
52
171134
3213
і це машинний суперінтелект.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Штучний інтелект був чимось на кшталт
введення команд у коробку.
введення команд у коробку.
03:11
You would have human programmers
54
179086
1665
У вас мають бути люди-програмісти,
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
які скрупульозно вручну
створюватимуть одиниці знань.
створюватимуть одиниці знань.
03:15
You build up these expert systems,
56
183886
2086
Ви будуєте цю систему
штучного інтелекту,
штучного інтелекту,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
і вона типу корисна для якихось цілей,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
але надто крихка,
її не можна масштабувати.
її не можна масштабувати.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
По суті, ви отримуєте лише те,
що самі вклали всередину.
що самі вклали всередину.
03:26
But since then,
60
194410
997
Але відтоді
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
стався зсув парадигми
у галузі штучного інтелекту.
у галузі штучного інтелекту.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Сьогодні дія відбувається
довкола машинного навчання.
довкола машинного навчання.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Тому, радше, ніж створювати вручну
образи та характеристики знань,
образи та характеристики знань,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
ми створюємо алгоритми, які вчаться
на "сирих" сприйняттєвих даних.
на "сирих" сприйняттєвих даних.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Власне, це те саме, що робить
дитина.
дитина.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Результатом є штучний інтелект, не
обмежений однією цариною -
обмежений однією цариною -
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
та ж система спроможна навчитися
перекладати між будь-якими парами мов,
перекладати між будь-якими парами мов,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
або навчитися грати у будь-яку
комп'ютерну гру на консолі Атарі.
комп'ютерну гру на консолі Атарі.
04:05
Now of course,
69
233338
1779
Зараз, звісно,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
штучний інтелект далекий від того,
щоб мати таку могутню міжгалузеву
щоб мати таку могутню міжгалузеву
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
здатність вчитися і планувати,
яку має людина.
яку має людина.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Кора головного мозку досі має
деякі хитрощі,
деякі хитрощі,
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
які ми поки що не знаємо, як
створити у машинах.
створити у машинах.
04:19
So the question is,
74
247886
1899
Тому питання:
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
як далеко ми від спроможності
розгадати ці хитрощі?
розгадати ці хитрощі?
04:26
A couple of years ago,
76
254245
1083
Пару років тому
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
ми провели опитування серед
провідних експертів зі штучного інтелекту,
провідних експертів зі штучного інтелекту,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
щоб побачити, що вони думають,
і одним із питань було:
і одним із питань було:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"У якому році, на вашу думку,
існує 50-відсоткова імовірність
існує 50-відсоткова імовірність
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
досягнення людського рівня
інтелекту у машині?"
інтелекту у машині?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Тут ми визначили людський рівень
як спроможність виконувати
як спроможність виконувати
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
майже будь-яку роботу, принаймні
так само, як доросла людина,
так само, як доросла людина,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
отже справжній людський рівень,
не лише в межах певної обмеженої галузі.
не лише в межах певної обмеженої галузі.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
І середня відповідь була 2040 або 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
залежно від того, яку групу
експертів ми питали.
експертів ми питали.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Це може статися набагато пізніше,
або раніше,
або раніше,
05:02
the truth is nobody really knows.
87
290339
1940
правду кажучи, ніхто
в дійсності не знає.
в дійсності не знає.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Ми знаємо, що остаточний
ліміт на оброблення інформації
ліміт на оброблення інформації
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
на машинному підґрунті дуже
перевершує обмеження біологічних тканин.
перевершує обмеження біологічних тканин.
05:15
This comes down to physics.
90
303241
2378
Це походить з фізики.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Біологічний нейрон передає, мабуть,
на 200 герц, 200 разів за секунду.
на 200 герц, 200 разів за секунду.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Але навіть сьогоднішній транзистор
оперує гігагерцами.
оперує гігагерцами.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Нейрони поширюються повільно в аксонах,
100 метрів за секунду найбільше.
100 метрів за секунду найбільше.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Але в комп'ютерах сигнали можуть ширитися
зі швидкістю світла.
зі швидкістю світла.
05:35
There are also size limitations,
95
323079
1869
Тут теж є обмеження за величиною,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
бо людський мозок має
вміщуватися у череп,
вміщуватися у череп,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
але комп'ютер може бути завбільшки
з цілий склад або й більшим.
з цілий склад або й більшим.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Тому потенціал суперінтелекту
поки що спить у матерії,
поки що спить у матерії,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
точнісінько як потужність атома
спала протягом людської історії,
спала протягом людської історії,
05:56
patiently waiting there until 1945.
100
344047
4405
терпляче чекаючи на 1945.
06:00
In this century,
101
348452
1248
Цього століття
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
науковці можуть навчитися, як розбудити
могутність штучного інтелекту.
могутність штучного інтелекту.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
І мені здається, що ми можемо тоді
спостерегти бурхливий розвиток інтелекту.
спостерегти бурхливий розвиток інтелекту.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Зараз більшість людей, думаючи про те,
що є розумним і що дурним,
що є розумним і що дурним,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
мені здається, тримають у голові
десь схожу на оцю картинку.
десь схожу на оцю картинку.
06:17
So at one end we have the village idiot,
106
365386
2598
На початку ми маємо сільського дурника,
06:19
and then far over at the other side
107
367984
2483
і далеко на іншому кінці -
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
Еда Віттена, Альберта Ейнштейна, або
хто там ваш улюблений гуру.
хто там ваш улюблений гуру.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Але мені здається, що з точки зору
штучного інтелекту,
штучного інтелекту,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
справжня картинка дійсно
більше схожа на ось таку.
більше схожа на ось таку.
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
Все починається в цій точці отут,
на нульовому інтелекті,
на нульовому інтелекті,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
і потім, після багатьох-багатьох
років направду тяжкої праці,
років направду тяжкої праці,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
мабуть, зрештою ми досягнемо
штучного інтелекту на рівні миші,
штучного інтелекту на рівні миші,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
який зможе орієнтуватися у
захаращених середовищах
захаращених середовищах
06:47
as well as a mouse can.
115
395921
1987
так само, як це може миша.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Потім, після ще більшої кількості років
дуже тяжкої праці, інвестицій,
дуже тяжкої праці, інвестицій,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
мабуть, зрештою ми досягнемо рівня
інтелекту на рівні шимпанзе.
інтелекту на рівні шимпанзе.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
І потім, після ще більшої кількості років
дуже-дуже тяжкої праці,
дуже-дуже тяжкої праці,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
ми досягнемо штучного інтелекту
на рівні сільського дурника.
на рівні сільського дурника.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
А кілька митей потому ми вже
вийдемо за межі Еда Віттена.
вийдемо за межі Еда Віттена.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Потяг не спиняється
на станції "Людствоград".
на станції "Людствоград".
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Він, скоріше, мчить повз неї зі свистом.
07:14
Now this has profound implications,
123
422247
1984
Тепер це має глибокі наслідки,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
особливо, коли йдеться про питання влади.
07:20
For example, chimpanzees are strong --
125
428093
1899
Приміром, шимпанзе сильні -
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
за будь-яких умов шимпанзе принаймні
удвічі сильніший за здорового чоловіка.
удвічі сильніший за здорового чоловіка.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Тим не менше, доля Канзі і його товаришів
набагато більше залежить
набагато більше залежить
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
від того, що робимо ми, люди,
ніж від того, що шимпанзе роблять самі.
ніж від того, що шимпанзе роблять самі.
07:37
Once there is superintelligence,
129
445228
2314
Коли з'явиться суперінтелект,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
доля людства може залежати від того,
що робитиме цей інтелект.
що робитиме цей інтелект.
07:44
Think about it:
131
452451
1057
Подумайте про це:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
машинний інтелект - це остання річ,
яку людство має винайти.
яку людство має винайти.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Машини після цього будуть кращими
винахідниками, ніж ми,
винахідниками, ніж ми,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
і вони робитимуть це
із цифровою швидкістю.
із цифровою швидкістю.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Це фактично означає
телескопіювання майбутнього.
телескопіювання майбутнього.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Уявіть лише всі божевільні технології,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
які людство могло б розвинути,
маючи вдосталь часу:
маючи вдосталь часу:
08:07
cures for aging, space colonization,
138
475322
3258
ліки від старіння, колонізація космосу,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
самовідтворювані наноботи чи
завантаження свідомості у комп'ютер,
завантаження свідомості у комп'ютер,
08:14
all kinds of science fiction-y stuff
140
482311
2159
усі ці науково-фантастичні штуки,
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
які, тим не менше, сумісні
із законами фізики.
із законами фізики.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Усе це суперінтелект може розвинути,
і, можливо, цілком швидко.
і, можливо, цілком швидко.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Суперінтелект із такою
технологічною довершеністю
технологічною довершеністю
08:28
would be extremely powerful,
144
496007
2179
буде неймовірно могутнім,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
і принаймні за кількох сценаріїв він
досягне того, чого прагне.
досягне того, чого прагне.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Ми тоді матимемо майбутнє,
окреслене цінностями цього штучного інтелекту.
окреслене цінностями цього штучного інтелекту.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Тепер хороше питання: які це цінності?
08:46
Here it gets trickier.
148
514244
1769
Тут все стає складнішим.
08:48
To make any headway with this,
149
516013
1435
Щоб просунутися із цим уперед,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
ми маємо насамперед
уникати антропоморфічності.
уникати антропоморфічності.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
І в цьому іронія, адже кожна
стаття в газеті
стаття в газеті
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
про майбутнє штучного інтелекту
проілюстрована ось цим.
проілюстрована ось цим.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Тому я думаю, що ми повинні підійти
до питання абстрактніше,
до питання абстрактніше,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
не в дусі яскравих
голлівудських сценаріїв.
голлівудських сценаріїв.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Ми маємо подумати про інтелект
як про процес оптимізації,
як про процес оптимізації,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
процес, що кермує майбутнє у
визначений набір структур.
визначений набір структур.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Суперінтелект направду є сильним
опитимізаційним процесом.
опитимізаційним процесом.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Він неймовірний у використанні
доступних зособів
доступних зособів
09:26
in which its goal is realized.
159
554098
1909
для досягнення мети.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Це значить, що немає необхідних
зв'язків між
зв'язків між
09:31
being highly intelligent in this sense,
161
559119
2734
бути високорозвиненим у цьому сенсі
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
і мати ціль, яку ми, люди,
вважатимемо вартісною і змістовною.
вважатимемо вартісною і змістовною.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Припустимо, ми поставили перед Ш. І. мету
викликати у людей посмішку.
викликати у людей посмішку.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Коли Ш. І. слабкий, він робитиме
потрібні або кумедні речі,
потрібні або кумедні речі,
09:46
that cause its user to smile.
165
574097
2517
які змусять його користувача посміхатися.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Коли Ш. І. стане суперінтелектом,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
він зрозуміє, що є ефективніші
шляхи досягти цієї мети:
шляхи досягти цієї мети:
09:54
take control of the world
168
582554
1922
підкорити світ
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
і приклеїти електроди до лицевих
м'язів людей,
м'язів людей,
09:59
to cause constant, beaming grins.
170
587638
2941
щоб викликати постійний променистий вищир.
10:02
Another example,
171
590579
1035
Інший приклад:
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
скажімо, ми даємо Ш. І. завдання вирішити
складну математичну проблему.
складну математичну проблему.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Коли Ш. І. стане суперінтелектом,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
він зрозуміє, що найефективніший шлях
отримати вирішення цієї проблеми --
отримати вирішення цієї проблеми --
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
це перетворити планету
на гігантський комп'ютер,
на гігантський комп'ютер,
10:16
so as to increase its thinking capacity.
176
604035
2246
щоб збільшити свою
спроможність мислити.
спроможність мислити.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Зауважте, що це дає Ш. І.
інструментальну причину
інструментальну причину
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
робити якісь речі так,
що ми цього не схвалимо.
що ми цього не схвалимо.
10:23
Human beings in this model are threats,
179
611561
1935
Людські створіння у цій моделі -
це загрози,
це загрози,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
ми можемо перешкодити
вирішенню цієї проблеми.
вирішенню цієї проблеми.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Звичайно, відчутно речі не підуть
цим хибним шляхом;
цим хибним шляхом;
10:32
these are cartoon examples.
182
620701
1753
це гіпертрофовані приклади.
10:34
But the general point here is important:
183
622454
1939
Але загалом це важливо:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
якщо ви створюєте дійсно потужний
оптимізаційний процес
оптимізаційний процес
10:39
to maximize for objective x,
185
627266
2234
для збільшення об'єктивного х,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
краще впевніться, що ваше визначення х
10:43
incorporates everything you care about.
187
631776
2469
включає все, що вам небайдуже.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Це урок, якому нас вчать у багатьох міфах.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Цар Мідас бажав, щоб усе, до чого
він торкався, оберталося на золото.
він торкався, оберталося на золото.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Він торкнувся своєї доньки,
вона перетворилася на золото.
вона перетворилася на золото.
10:59
He touches his food, it turns into gold.
191
647378
2553
Він торкнувся їжі -- вона стала золотом.
11:01
This could become practically relevant,
192
649931
2589
Це може стати практично дійсністю,
11:04
not just as a metaphor for greed,
193
652520
2070
не лише як метафора жадібності,
11:06
but as an illustration of what happens
194
654590
1895
а й як ілюстрація того, що стається,
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
коли ви створюєте потужний
оптимізаційний процес
оптимізаційний процес
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
і ставите перед ним несформульовані
або погано описані цілі.
або погано описані цілі.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Ви можете зауважити: якщо комп'ютер почне
тицяти електродами людям в обличчя,
тицяти електродами людям в обличчя,
11:21
we'd just shut it off.
198
669300
2265
ми просто вимкнемо його.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
А) Це необов'язково просто зробити,
якщо ми виросли залежними від системи --
якщо ми виросли залежними від системи --
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
типу, як тепер вимкнути інтернет?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Б) Чому ж шимпанзе не натиснули
на вимикач людства,
на вимикач людства,
11:37
or the Neanderthals?
202
685747
1551
чи неандертальці?
11:39
They certainly had reasons.
203
687298
2666
Вони, напевно, мали причини.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Ми маємо вимикач, наприклад, прямо тут.
11:44
(Choking)
205
692759
1554
(Тисне)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Причина в тому, що ми -
розумний супротивник;
розумний супротивник;
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
ми можемо передбачати загрози
і планувати навколо них.
і планувати навколо них.
11:51
But so could a superintelligent agent,
208
699966
2504
Але так зможе і суперінтелектелект,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
і він буде набагато вправнішим
в цьому за нас.
в цьому за нас.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Справа в тому, що ми не можемо бути
впевнені, що у нас усе під контролем.
впевнені, що у нас усе під контролем.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
І ми можемо спробувати зробити
своє завдання трохи легшим, скажімо,
своє завдання трохи легшим, скажімо,
12:08
putting the A.I. in a box,
212
716358
1590
поклавши Ш. І. до коробки,
12:09
like a secure software environment,
213
717948
1796
як у безпечне софтверне середовище,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
у симулятор віртуальної реальності,
з якої він не може втекти.
з якої він не може втекти.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Але як ми можемо бути певні, що
Ш. І. не зможе знайти баг?
Ш. І. не зможе знайти баг?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Зважаючи, що навіть хакери-люди
постійно знаходять баги,
постійно знаходять баги,
12:22
I'd say, probably not very confident.
217
730081
3036
я б сказав, імовірно, не дуже впевнено.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Ми від'єднуємо кабель локальної мережі,
щоб створити повітряний проміжок,
щоб створити повітряний проміжок,
12:30
but again, like merely human hackers
219
738785
2668
але знов-таки, навіть хакери-люди
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
"перестрибують" повітряні проміжки,
використовуючи соціальну інженерію.
використовуючи соціальну інженерію.
12:36
Right now, as I speak,
221
744834
1259
Зараз, коли я розмовляю,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
впевнений, що є десь якийсь службовець,
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
який повідомляє дані свого акаунту
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
комусь, хто стверджує,
що він з ІТ-департаменту.
що він з ІТ-департаменту.
12:46
More creative scenarios are also possible,
225
754574
2127
Більш оригінальні сценарії теж можливі,
12:48
like if you're the A.I.,
226
756701
1315
типу, якщо ви Ш.І.,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
ви можете уявити тремтячі електроди
навколо свого устаткування,
навколо свого устаткування,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
щоб створити радіохвилі, які можна
використати для комунікації.
використати для комунікації.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Або ви навіть можете
удати з себе зламаного,
удати з себе зламаного,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
і коли програміст відкриє вас,
щоб подивитися, що з вами не так,
щоб подивитися, що з вами не так,
13:02
they look at the source code -- Bam! --
231
770931
1936
вони дивляться у вихідний код -- Бам! --
13:04
the manipulation can take place.
232
772867
2447
може статися маніпуляція.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Або він може надрукувати схему
дійсно вартісної технології,
дійсно вартісної технології,
13:10
and when we implement it,
234
778744
1398
і коли ми реалізуємо її,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
вона матиме якісь побічні ефекти,
які Ш. І. нишком спланував.
які Ш. І. нишком спланував.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Справа в тому, що ми не повинні бути
впевнені у нашій можливості
впевнені у нашій можливості
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
тримати суперінтелектуального джина
у його пляшці довіку.
у його пляшці довіку.
13:23
Sooner or later, it will out.
238
791810
2254
Раніш чи пізніш він визволиться.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Я вірю, що відповідь тут - це з'ясувати,
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
як створити такий супер Ш. І.,
щоб навіть якщо він втече,
щоб навіть якщо він втече,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
він залишатиметься безпечним,
бо буде принципово на нашому боці,
бо буде принципово на нашому боці,
13:38
because it shares our values.
242
806438
1899
бо розділятиме наші цінності.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Я не бачу виходу з цієї складної проблеми.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Зараз я досить оптимістичний
щодо її вирішення.
щодо її вирішення.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Ми не повинні писати довгий
список того, до чого ми небайдужі,
список того, до чого ми небайдужі,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
або навіть гірше, промовляти це
якоюсь комп'ютерною мовою,
якоюсь комп'ютерною мовою,
13:55
like C++ or Python,
247
823937
1454
типу С++ або Пітону,
13:57
that would be a task beyond hopeless.
248
825391
2767
це буде безнадійне завдання.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Натомість ми маємо створити Ш. І.,
що використовує свій інтелект,
що використовує свій інтелект,
14:04
to learn what we value,
250
832455
2771
щоб дізнатися про наші цінності,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
і його мотиваційна система сконструйована
так, що він мотивований
так, що він мотивований
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
розділяти наші цінності або виконувати
дії, які ми маємо схвалити.
дії, які ми маємо схвалити.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Тоді ми подіємо на його інтелект
так сильно, як тільки зможемо,
так сильно, як тільки зможемо,
14:21
to solve the problem of value-loading.
254
849152
2745
щоб вирішити проблему
"завантаження цінностей".
"завантаження цінностей".
14:24
This can happen,
255
852727
1512
Це може статися,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
і результат може виявитись
дуже вагомим для людства.
дуже вагомим для людства.
14:29
But it doesn't happen automatically.
257
857835
3957
Але це не станеться автоматично.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Початкові умови інтелектуального вибуху
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
потрібно правильно встановити,
14:39
if we are to have a controlled detonation.
260
867653
3530
так, ніби ми маємо
контрольований детонатор.
контрольований детонатор.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Цінності, за якими Ш.І.
має свівпадати з нами,
має свівпадати з нами,
14:45
not just in the familiar context,
262
873801
1760
мають бути не лише вже нам знайомими,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
такими, за якими ми легко
перевіримо поведінку Ш.І.,
перевіримо поведінку Ш.І.,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
але також і в новітньому контексті,
який Ш.І. прораховуватиме
який Ш.І. прораховуватиме
14:53
in the indefinite future.
265
881233
1557
в невизначеному майбутньому.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Є також певні потаємні проблеми,
які необхідно вирішити, наприклад:
які необхідно вирішити, наприклад:
14:59
the exact details of its decision theory,
267
887527
2089
конкретні деталі теорії прийняття рішень,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
як справлятись з логічними
невизначенностями і таке інше.
невизначенностями і таке інше.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Тому технічні проблеми, які будемо
вирішувати, щоб все спрацювало,
вирішувати, щоб все спрацювало,
15:08
look quite difficult --
270
896432
1113
є досить складними --
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
не настільки, як власне створення Ш.І.,
15:12
but fairly difficult.
272
900925
2868
але достатньо складними.
15:15
Here is the worry:
273
903793
1695
Мене хвилює наступне:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
створення Ш.І. є, по-справжньому,
складним випробуванням.
складним випробуванням.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Створення безпечного Ш.І.
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
включає ще додаткову складність.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Ризик у тому, що хтось зможе
розгадати перше випробування,
розгадати перше випробування,
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
не розгадуючи додаткове,
15:34
of ensuring perfect safety.
279
922704
1901
по забезпеченню абсолютної безпеки.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Тому, я вважаю, що розв'язок
проблеми контролю
проблеми контролю
15:40
to the control problem in advance,
281
928706
2822
нам потрібно розробити в першу чергу,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
щоб мати його одразу тоді,
коли знадобиться.
коли знадобиться.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Зараз ми, можливо, не можемо розгадати
всю проблему контролю наперед,
всю проблему контролю наперед,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
оскільки деякі елементи можна створити
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
лише знаючи деталі загальної архітектури,
куди їх буде впроваджено.
куди їх буде впроваджено.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Але чим більше ми розробимо наперед,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
тим більша ймовірність того, що
перехід до ери машинного інтеллекту
перехід до ери машинного інтеллекту
16:04
will go well.
288
952766
1540
пройде успішно.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Як на мене, цим дійсно варто займатись,
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
і можна уявити, що у випадку,
якщо все пройде успішно,
якщо все пройде успішно,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
люди через мільйони років,
споглядаючи в наше століття,
споглядаючи в наше століття,
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
можливо, вважатимуть, що
єдина важлива річ, яку ми зробили,
єдина важлива річ, яку ми зробили,
16:22
was to get this thing right.
293
970942
1567
було створити цю річ правильно.
16:24
Thank you.
294
972509
1689
Дякую.
16:26
(Applause)
295
974198
2813
(Оплески)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com