TED2017
Stuart Russell: 3 principles for creating safer AI
Стюарт Рассел: Как мы можем стать лучше благодаря ИИ?
Filmed:
Readability: 3.9
1,465,832 views
Как можно использовать силу сверхразумного искусственного интеллекта и при этом избежать угрозы восстания машин? Пока мы приближаемся к созданию всезнающих машин, новатор в сфере ИИ Стюарт Рассел работает над кое-чем иным: роботами, у которых есть неуверенность. Послушайте его ви́дение совместимого с человечеством ИИ, который может решить проблемы, прибегнув к здравому смыслу, альтруизму и другим человеческим ценностям.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
00:12
This is Lee Sedol.
0
712
1552
Это Ли Седоль.
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
Ли Седоль — один из лучших
игроков в го в мире,
игроков в го в мире,
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
и сейчас он в ситуации,
которую мои друзья
которую мои друзья
из Силиконовой долины
называют «Мама дорогая!» —
называют «Мама дорогая!» —
00:21
a "Holy Cow" moment --
3
9218
1510
00:22
(Laughter)
4
10752
1073
(Смех)
00:23
a moment where we realize
5
11849
2188
момент осознания того,
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
что искусственный интеллект развивается
гораздо быстрее, чем мы ожидали.
гораздо быстрее, чем мы ожидали.
Итак, человечество проиграло партию в го.
Но как же реальный мир?
Но как же реальный мир?
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
00:33
Well, the real world is much bigger,
8
21225
2100
Ну, реальный мир гораздо больше
00:35
much more complicated than the Go board.
9
23349
2249
и сложнее, чем доска для игры в го.
Несмотря на то,
что это не столь очевидно,
что это не столь очевидно,
00:37
It's a lot less visible,
10
25622
1819
00:39
but it's still a decision problem.
11
27465
2038
всё упирается в принятие решений.
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
Если мы задумаемся о грядущих
00:45
that are coming down the pike ...
13
33293
1749
технологических инновациях...
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
Норико [Араи] упомянула,
что машины ещё не понимают
что машины ещё не понимают
00:52
at least with understanding.
15
40097
1500
смысл прочитанного.
00:53
But that will happen,
16
41621
1536
Но в будущем это произойдёт,
00:55
and when that happens,
17
43181
1771
и в этот момент,
00:56
very soon afterwards,
18
44976
1187
совсем скоро,
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
машины прочитают всё,
что когда-либо написали люди.
что когда-либо написали люди.
01:03
And that will enable machines,
20
51850
2030
Благодаря этому машины
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
смогут предугадывать
развитие событий лучше, чем люди;
развитие событий лучше, чем люди;
что и случилось во время игры в го.
01:08
as we've already seen in Go,
22
56848
1680
01:10
if they also have access
to more information,
to more information,
23
58552
2164
Получив больший доступ к информации,
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
они смогут принимать
решения лучше, чем мы.
решения лучше, чем мы.
01:18
So is that a good thing?
25
66792
1606
Хорошо ли это?
01:21
Well, I hope so.
26
69898
2232
Надеюсь, что да.
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
Вся наша цивилизация, всё, чем мы дорожим,
01:29
is based on our intelligence.
28
77973
2068
основывается на нашем интеллекте.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
Если бы наш интеллект увеличился,
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
человеческим возможностям
не было бы предела.
не было бы предела.
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
Думаю, это стало бы тем,
что некоторые называют
что некоторые называют
01:44
the biggest event in human history.
32
92014
2016
величайшим событием
в истории человечества.
в истории человечества.
01:48
So why are people saying things like this,
33
96665
2829
Почему же тогда люди говорят,
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
что ИИ может положить конец человечеству?
01:55
Is this a new thing?
35
103438
1659
Это что-то новое?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
Это лишь мнение Илона Маска,
Билла Гейтса и Стивена Хокинга?
Билла Гейтса и Стивена Хокинга?
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
На самом деле нет.
Эта идея появилась довольно давно.
Эта идея появилась довольно давно.
02:05
Here's a quotation:
38
113239
1962
Вот цитата:
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
«Даже если бы мы сохранили
власть над машинами,
власть над машинами,
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
например, имея возможность
отключить их в любой момент, —
отключить их в любой момент, —
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
чуть позже я вернусь
к этой идее отключения, —
к этой идее отключения, —
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
мы, как вид, должны чувствовать себя
довольно униженными».
довольно униженными».
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
Кто же сказал это?
Алан Тьюринг в 1951 году.
Алан Тьюринг в 1951 году.
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
Как известно, Алан Тьюринг
является отцом информатики,
является отцом информатики,
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
а также, во многих аспектах, отцом ИИ.
02:33
So if we think about this problem,
46
141239
1882
Если мы задумаемся
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
над проблемой создания чего-то
более разумного, чем наш вид,
более разумного, чем наш вид,
02:38
we might call this "the gorilla problem,"
48
146956
2622
это можно будет назвать
«проблемой гориллы»,
«проблемой гориллы»,
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
потому что предки горилл думали об этом
несколько миллионов лет назад,
несколько миллионов лет назад,
02:46
and now we can ask the gorillas:
50
154119
1745
и теперь гориллам можно задать вопрос:
02:48
Was this a good idea?
51
156752
1160
«Это была хорошая идея?»
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
Они бы собрались, чтобы решить,
была ли это хорошая идея,
была ли это хорошая идея,
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
и через некоторое время
пришли бы к заключению,
пришли бы к заключению,
02:56
this was a terrible idea.
54
164860
1345
что это была ужасная идея.
02:58
Our species is in dire straits.
55
166229
1782
Наш вид находится в ужасном состоянии.
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
Фактически в их глазах можно увидеть
экзистенциальную печаль.
экзистенциальную печаль.
03:04
(Laughter)
57
172825
1640
(Смех)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
Что нам делать с тошнотворным ощущением,
03:11
is maybe not a good idea --
59
179353
2365
что создание кого-то умнее нас
может оказаться не лучшей идеей?
03:14
what can we do about that?
60
182488
1491
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
Единственный выход —
прекратить разработку ИИ.
прекратить разработку ИИ.
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
Но, учитывая упомянутые мной преимущества
03:23
and because I'm an AI researcher,
63
191328
1716
и тот факт, что я исследователь ИИ,
03:25
I'm not having that.
64
193068
1791
лично я против.
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
Я хочу продолжать создавать ИИ.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
Поэтому нам следует
обсудить проблему более подробно.
обсудить проблему более подробно.
03:33
What exactly is the problem?
67
201317
1371
В чём суть проблемы?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
Почему совершенный ИИ может
обернуться катастрофой?
обернуться катастрофой?
03:39
So here's another quotation:
69
207398
1498
Вот ещё цитата:
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
«Нам следует быть уверенными,
что цели, заложенные в машину,
что цели, заложенные в машину,
03:45
is the purpose which we really desire."
71
213294
2298
совпадают с нашими желаниями».
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
Это сказал Норберт Винер в 1960 году,
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
вскоре после того, как увидел,
как одна из первых обучающихся систем
как одна из первых обучающихся систем
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
научилась играть в шашки
лучше своего создателя.
лучше своего создателя.
04:00
But this could equally have been said
75
228602
2683
Нечто подобное сказал
04:03
by King Midas.
76
231309
1167
царь Мидас:
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
«Хочу, чтобы всё, к чему я прикоснусь,
превращалось в золото».
превращалось в золото».
04:08
and he got exactly what he asked for.
78
236241
2473
Он получил именно то, что просил.
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
Именно эту цель он вложил в машину,
04:13
so to speak,
80
241513
1450
так сказать,
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
и затем еда, напитки и его семья
превратились в золото,
превратились в золото,
04:18
and he died in misery and starvation.
82
246455
2281
а он сам умер мучительной
и голодной смертью.
и голодной смертью.
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
Итак, назовём это проблемой царя Мидаса:
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
постановка цели,
которая в действительности
которая в действительности
04:28
truly aligned with what we want.
85
256138
2413
не совпадает с нашим желанием.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
В современном мире это называется
проблемой согласования.
проблемой согласования.
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
Некорректная постановка цели —
лишь часть проблемы.
лишь часть проблемы.
04:40
There's another part.
88
268556
1152
Есть ещё кое-что.
04:42
If you put an objective into a machine,
89
270160
1943
Если вы закладываете в машину цель,
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
даже такую простую как сварить кофе,
04:47
the machine says to itself,
91
275908
1841
машина задастся вопросом:
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
«Как я могу потерпеть неудачу
в приготовлении кофе?
в приготовлении кофе?
04:53
Someone might switch me off.
93
281380
1580
Кто-то может отключить меня.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
Тогда я должен предотвратить это.
04:58
I will disable my 'off' switch.
95
286056
1906
Я сломаю свой выключатель.
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
Я сделаю что угодно, чтобы защититься
от любых вмешательств
от любых вмешательств
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
в процесс выполнения
поставленной мне задачи».
поставленной мне задачи».
05:06
So this single-minded pursuit
98
294170
2012
На деле этот режим
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
крайней самозащиты
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
не имеет ничего общего
с первоначальной целью человечества —
с первоначальной целью человечества —
05:16
that's the problem that we face.
101
304122
1862
именно с этой проблемой мы столкнулись.
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
Фактически это главный тезис выступления.
05:23
If you want to remember one thing,
103
311798
2055
Единственное, что вам нужно помнить:
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
вы не сможете сварить кофе,
если вы покойник.
если вы покойник.
05:28
(Laughter)
105
316576
1061
(Смех)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
Всё очень просто. Всего лишь помните это.
Повторяйте себе это три раза в день.
Повторяйте себе это три раза в день.
05:33
(Laughter)
107
321514
1821
(Смех)
05:35
And in fact, this is exactly the plot
108
323359
2754
На самом деле, в этом
заключается сюжет фильма
заключается сюжет фильма
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
«2001: [Космическая Одиссея]»:
05:41
HAL has an objective, a mission,
110
329226
2090
у HAL есть цель, миссия,
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
которая не совпадает с целью людей,
05:47
and that leads to this conflict.
112
335096
1810
что и приводит к конфликту.
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
К счастью, HAL не обладает сверхразумом.
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
Он довольно умный,
но в итоге Дэйв смог перехитрить
но в итоге Дэйв смог перехитрить
05:56
and manages to switch him off.
115
344098
1849
и отключить его.
06:01
But we might not be so lucky.
116
349828
1619
Но нам может повезти меньше.
06:08
So what are we going to do?
117
356193
1592
Что же нам делать?
06:12
I'm trying to redefine AI
118
360371
2601
Я пытаюсь переосмыслить ИИ,
06:14
to get away from this classical notion
119
362996
2061
чтобы уйти от классического понятия машин,
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
которые благоразумно преследуют цель.
06:22
There are three principles involved.
121
370712
1798
Здесь задействованы три правила.
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
Первое, правило альтруизма:
06:27
that the robot's only objective
123
375847
3262
единственная цель робота —
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
помочь человеку добиться всего,
к чему он стремится,
к чему он стремится,
06:35
of human values.
125
383403
1390
и приумножить его ценности.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
Я подразумеваю
не сентиментальные ценности,
не сентиментальные ценности,
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
а любые представления людей
06:43
their life to be like.
128
391982
1343
об идеальной жизни.
06:47
And so this actually violates Asimov's law
129
395364
2309
И это правило нарушает закон Азимова,
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
который гласит: робот
должен защищать себя.
должен защищать себя.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
Он вообще не заинтересован
в сохранении своей жизни.
в сохранении своей жизни.
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
Второе, правило покорности.
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
Это действительно важно для того,
чтобы обезопасить нас от роботов.
чтобы обезопасить нас от роботов.
07:05
It says that the robot does not know
134
413741
3142
Оно гласит: робот не знает,
что именно относится
к человеческим ценностям,
к человеческим ценностям,
07:08
what those human values are,
135
416907
2028
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
он должен приумножать их,
не зная, что они из себя представляют.
не зная, что они из себя представляют.
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
Это позволяет избежать
проблемы концентрации
проблемы концентрации
07:17
of an objective.
138
425904
1212
на одной цели.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
Эта неопределённость оказывается решающей.
07:21
Now, in order to be useful to us,
140
429726
1639
Но, чтобы приносить пользу,
07:23
it has to have some idea of what we want.
141
431389
2731
у него должно быть
общее понимание наших желаний.
общее понимание наших желаний.
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
Он узнаёт об этом, в первую очередь,
из решений, принимаемых людьми,
из решений, принимаемых людьми,
07:32
so our own choices reveal information
143
440674
2801
так что принятые нами решения
содержат информацию о том,
содержат информацию о том,
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
какой мы хотим сделать нашу жизнь.
07:40
So those are the three principles.
145
448632
1683
Итак, вот эти три правила.
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
Теперь рассмотрим,
как они применяются к вопросу,
как они применяются к вопросу,
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
поставленному Тьюрингом:
«Можно ли отключить машину?»
«Можно ли отключить машину?»
07:49
So here's a PR2 robot.
148
457073
2120
Итак, это робот PR2
07:51
This is one that we have in our lab,
149
459217
1821
из нашей лаборатории.
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
Прямо на спине у него
есть красная кнопка «Выкл».
есть красная кнопка «Выкл».
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
Вопрос: позволит ли он вам отключить его?
07:59
If we do it the classical way,
152
467180
1465
Если мы пойдём старым путём,
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
у него будет цель «Варить кофе;
я должен варить кофе;
я должен варить кофе;
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
я не могу варить кофе, если я мёртв».
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
Очевидно, PR2 слушал моё выступление,
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
и поэтому он говорит:
«Я должен сломать свой выключатель
«Я должен сломать свой выключатель
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
и вырубить работников Starbucks,
08:17
who might interfere with me."
158
485694
1560
которые могут мне помешать».
08:19
(Laughter)
159
487278
2062
(Смех)
08:21
So this seems to be inevitable, right?
160
489364
2153
Это кажется неизбежным, не так ли?
Кажется, этого фатального режима
невозможно избежать,
невозможно избежать,
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
он следует из конкретно определённой цели.
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
Что же случится, если у машины
не будет чётко поставленной цели?
не будет чётко поставленной цели?
08:33
Well, it reasons in a different way.
164
501980
2127
Тогда она будет рассуждать по-другому
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
и скажет: «Человек может отключить меня,
08:39
but only if I'm doing something wrong.
166
507144
1866
но только если я допущу ошибку.
08:41
Well, I don't really know what wrong is,
167
509747
2475
Я точно не знаю, что правильно, а что нет,
08:44
but I know that I don't want to do it."
168
512246
2044
но я точно знаю, что не хочу ошибаться».
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
Здесь действуют первые два правила.
08:49
"So I should let the human switch me off."
170
517348
3359
«Следовательно, я должен
разрешить людям отключить меня».
разрешить людям отключить меня».
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
Фактически вы можете
просчитать стимул, благодаря которому
просчитать стимул, благодаря которому
08:57
to allow the human to switch it off,
172
525701
2493
робот позволит людям отключить себя,
09:00
and it's directly tied to the degree
173
528218
1914
и этот стимул тесно связан
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
с неопределённостью поставленной цели.
09:05
And then when the machine is switched off,
175
533977
2949
А когда машина отключена,
09:08
that third principle comes into play.
176
536950
1805
начинает действовать третье правило.
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
Она узнаёт что-то о целях,
которые должна преследовать,
которые должна преследовать,
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
потому что понимает,
что сделала что-то не так.
что сделала что-то не так.
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
По сути, мы, подобно математикам,
09:20
as mathematicians usually do,
180
548016
2131
можем применить греческие символы
09:22
we can actually prove a theorem
181
550171
1984
для доказательства теоремы,
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
согласно которой именно такой робот
принесёт человеку пользу.
принесёт человеку пользу.
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
Вероятно, вам будет лучше
работать с машиной, которая разработана
работать с машиной, которая разработана
09:31
than without it.
184
559583
1246
с учётом этого момента.
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
Данный пример очень прост,
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
но это лишь начало наших попыток
разработки робота-компаньона.
разработки робота-компаньона.
09:42
Now, this third principle,
187
570657
3257
Итак, думаю, третье правило
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
озадачивает вас.
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
Вероятно, вы думаете:
«Допустим, я поступаю плохо,
«Допустим, я поступаю плохо,
09:52
I don't want my robot to behave like me.
190
580337
2929
я не хочу, чтобы робот
поступал так же, как я.
поступал так же, как я.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
По ночам я пробираюсь
к холодильнику за едой.
к холодильнику за едой.
09:58
I do this and that."
192
586748
1168
Я делаю то-то и то-то».
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
Вы бы не хотели, чтобы робот
повторял за вами всё.
повторял за вами всё.
На самом деле система
работает немного иначе.
работает немного иначе.
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
10:04
Just because you behave badly
195
592856
2155
Робот не будет копировать
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
ваше плохое поведение.
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
Он попытается понять ваши мотивы
и, возможно, поможет вам противостоять им
и, возможно, поможет вам противостоять им
10:13
if appropriate.
198
601616
1320
в случае необходимости.
10:16
But it's still difficult.
199
604206
1464
Но это сложная задача.
10:18
What we're trying to do, in fact,
200
606302
2545
Фактически мы пытаемся
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
разрешить машинам прогнозировать
все возможные варианты
все возможные варианты
10:26
that they could live,
202
614691
1161
своей жизни
10:27
and the lives of everybody else:
203
615876
1597
и жизни каждого человека.
10:29
Which would they prefer?
204
617497
2517
Какую жизнь они бы предпочли?
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
Этот процесс сопряжён
с множеством затруднений.
с множеством затруднений.
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
Я не ожидаю, что с ними
можно справиться быстро.
можно справиться быстро.
10:39
The real difficulties, in fact, are us.
207
627995
2643
Главная сложность
заключается именно в нас.
заключается именно в нас.
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
Как я уже упоминал, мы ведём себя плохо.
10:47
In fact, some of us are downright nasty.
209
635290
2321
Некоторые из нас просто ужасны.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
Но роботу, как я уже говорил,
не нужно копировать поведение.
не нужно копировать поведение.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
У робота нет своих собственных целей.
10:56
It's purely altruistic.
212
644322
1737
Он абсолютно альтруистичный
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
и создан не только для удовлетворения
потребностей своего пользователя,
потребностей своего пользователя,
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
он должен уважать предпочтения каждого.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
Он может справиться с плохими поступками
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
и даже понять, что вы поступаете плохо,
11:15
you may take bribes as a passport official
217
663582
2671
например, берёте взятки,
работая паспортистом,
работая паспортистом,
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
потому что вам нужно кормить семью
и оплачивать обучение детей.
и оплачивать обучение детей.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
Он может это понять, и это не значит,
что он будет воровать.
что он будет воровать.
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
По сути, это лишь помогает вам
оплатить учёбу детей.
оплатить учёбу детей.
11:28
We are also computationally limited.
221
676976
3012
Наши вычислительные
способности также ограничены.
способности также ограничены.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Ли Седоль прекрасно играет в го,
11:34
but he still lost.
223
682541
1325
но он всё равно проиграл.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
Сделанные им ходы привели к поражению.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
Это не значит, что он хотел проиграть.
11:43
So to understand his behavior,
226
691340
2040
Чтобы понять его поведение,
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
нам следует смотреть сквозь призму
человеческого познания, включающего
человеческого познания, включающего
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
наши вычислительные ограничения
и являющегося очень сложной моделью.
и являющегося очень сложной моделью.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
Но нам всё ещё есть над чем поразмыслить.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
С моей точки зрения,
самым сложным в исследовании ИИ
самым сложным в исследовании ИИ
12:02
is the fact that there are lots of us,
231
710220
2575
является тот факт, что нас очень много,
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
и поэтому машине нужно идти
на компромисс, сопоставлять пожелания
на компромисс, сопоставлять пожелания
12:09
of many different people,
233
717899
2225
множества разных людей,
12:12
and there are different ways to do that.
234
720148
1906
и для этого существуют разные способы.
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
Экономисты, социологи,
нравственные философы поняли это,
нравственные философы поняли это,
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
и мы стараемся активно сотрудничать.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
Давайте посмотрим, что произойдёт,
если вы допу́стите ошибку.
если вы допу́стите ошибку.
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
Итак, например, вы беседуете
12:25
with your intelligent personal assistant
239
733702
1944
с умным личным помощником,
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
который может появиться
через несколько лет.
через несколько лет.
12:29
Think of a Siri on steroids.
241
737979
2524
Представьте Siri на стероидах.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
Siri говорит: «Звонила ваша жена,
чтобы напомнить о сегодняшнем вечере».
чтобы напомнить о сегодняшнем вечере».
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
И, разумеется, вы забыли.
«Что? Какой ужин?
«Что? Какой ужин?
12:41
What are you talking about?"
244
749148
1425
О чём ты говоришь?»
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
«Ваша 20-я годовщина в 19:00».
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
«Я не могу, у меня встреча
с генеральным секретарём в 19:30.
с генеральным секретарём в 19:30.
12:52
How could this have happened?"
247
760658
1692
Как такое могло случиться?»
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
«Я предупреждала вас,
но вы проигнорировали мой совет».
но вы проигнорировали мой совет».
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
«Что же мне делать? Я же не могу
просто сказать ему, что занят».
просто сказать ему, что занят».
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
«Не беспокойтесь. Я задержала его рейс».
13:07
(Laughter)
251
775795
1682
(Смех)
13:10
"Some kind of computer malfunction."
252
778249
2101
«Какая-то компьютерная неисправность».
13:12
(Laughter)
253
780374
1212
(Смех)
13:13
"Really? You can do that?"
254
781610
1617
«Ты и такое можешь сделать?»
13:16
"He sends his profound apologies
255
784400
2179
«Он приносит глубочайшие извинения
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
и приглашает вас на обед завтра».
13:21
(Laughter)
257
789182
1299
(Смех)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
Итак, есть небольшая ошибка
в оценке приоритетов.
в оценке приоритетов.
13:26
This is clearly following my wife's values
259
794932
3009
Чёткое следование ценностям
моей жены и её принципу
моей жены и её принципу
13:29
which is "Happy wife, happy life."
260
797965
2069
«Счастливая жена — счастливая жизнь».
13:32
(Laughter)
261
800058
1583
(Смех)
13:33
It could go the other way.
262
801665
1444
Могло быть и по-другому.
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
Вы приходите домой
после тяжёлого рабочего дня,
после тяжёлого рабочего дня,
13:38
and the computer says, "Long day?"
264
806046
2195
а компьютер спрашивает: «Трудный день?»
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
«Даже не успел пообедать».
13:42
"You must be very hungry."
266
810577
1282
«Думаю, вы очень голодны».
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
«Умираю с голоду.
Можешь приготовить ужин?»
Можешь приготовить ужин?»
13:48
"There's something I need to tell you."
268
816070
2090
«Я должна кое-что вам сказать».
13:50
(Laughter)
269
818184
1155
(Смех)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
«Люди в Южном Судане нуждаются
в помощи больше, чем вы».
в помощи больше, чем вы».
13:57
(Laughter)
271
825122
1104
(Смех)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
«Так что я ухожу.
Готовьте себе ужин сами».
Готовьте себе ужин сами».
14:00
(Laughter)
273
828349
2000
(Смех)
14:02
So we have to solve these problems,
274
830823
1739
Итак, нам нужно решить эти проблемы,
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
и мне не терпится поработать над ними.
14:07
There are reasons for optimism.
276
835125
1843
Для оптимизма есть основания.
14:08
One reason is,
277
836992
1159
Во-первых,
14:10
there is a massive amount of data.
278
838175
1868
собран огромный объём данных.
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
Помните, я говорил, что они прочитают всё,
14:14
the human race has ever written.
280
842885
1546
что когда-либо написали люди?
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
В основном мы писали о том,
как одни люди что-либо делают,
как одни люди что-либо делают,
14:19
and other people getting upset about it.
282
847203
1914
а другие расстраиваются по этому поводу.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
Так что у нас есть множество
данных для изучения.
данных для изучения.
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
Также есть важный экономический стимул
14:27
to get this right.
285
855331
1186
сделать всё правильно.
14:28
So imagine your domestic robot's at home.
286
856541
2001
Представьте вашего робота у себя дома.
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
Вы снова задерживаетесь на работе,
и робот должен накормить детей,
и робот должен накормить детей,
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
а кормить их нечем,
потому что холодильник пуст.
потому что холодильник пуст.
14:36
And the robot sees the cat.
289
864504
2605
И робот видит кошку.
14:39
(Laughter)
290
867133
1692
(Смех)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
Робот не изучил сущность
человеческих ценностей
человеческих ценностей
14:45
so it doesn't understand
292
873063
1251
и не понимает,
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
что сентиментальная ценность кошки
превосходит её питательную ценность.
превосходит её питательную ценность.
14:51
(Laughter)
294
879206
1095
(Смех)
14:52
So then what happens?
295
880325
1748
Что происходит тогда?
14:54
Well, it happens like this:
296
882097
3297
Что вроде этого:
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
«Ненормальный робот готовит
котёнка на семейный ужин».
котёнка на семейный ужин».
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
Этот инцидент положил бы конец
производству домашних роботов.
производству домашних роботов.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
Так что у нас есть огромный стимул
сделать всё правильно
сделать всё правильно
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
до того, как мы создадим
суперумную машину.
суперумную машину.
15:12
So to summarize:
301
900128
1535
Итак, подытожим.
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
По сути, я пытаюсь
изменить определение ИИ,
изменить определение ИИ,
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
чтобы наши машины
были действительно полезными.
были действительно полезными.
15:19
And the principles are:
304
907609
1222
Основные моменты:
15:20
machines that are altruistic,
305
908855
1398
это альтруистичные машины,
15:22
that want to achieve only our objectives,
306
910277
2804
которые хотят добиваться лишь наших целей,
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
но не знают, каких именно целей,
15:28
and will watch all of us
308
916245
1998
и будут наблюдать за всеми нами,
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
чтобы узнать, чего мы на самом деле хотим.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
Надеюсь, в процессе мы сами станем лучше.
15:37
Thank you very much.
311
925956
1191
Большое спасибо.
15:39
(Applause)
312
927171
3709
(Аплодисменты)
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
Крис Андерсон: Очень интересно, Стюарт.
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
Мы задержимся здесь немного,
потому что, сейчас идёт подготовка
потому что, сейчас идёт подготовка
к следующему выступлению.
15:47
for our next speaker.
315
935990
1151
15:49
A couple of questions.
316
937165
1538
Пара вопросов.
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
Идея программирования незнания
подсознательно кажется очень мощной.
подсознательно кажется очень мощной.
15:56
As you get to superintelligence,
318
944204
1594
Что помешает роботу,
15:57
what's going to stop a robot
319
945822
2258
получившему суперразум,
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
почитать книги и обнаружить,
что на самом деле знания
что на самом деле знания
16:02
is actually better than ignorance
321
950980
1572
лучше невежества,
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
начать следовать другим целям
и перепрограммировать себя?
и перепрограммировать себя?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
Стюарт Рассел: Как я уже сказал,
мы хотим, чтобы роботы узнали больше
мы хотим, чтобы роботы узнали больше
16:16
about our objectives.
324
964072
1287
о наших целях.
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
Они станут более определёнными
лишь когда станут правильными,
лишь когда станут правильными,
16:22
so the evidence is there
326
970928
1945
робот будет запрограммирован
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
правильно понимать полученные данные.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
Например, он будет понимать,
что книги описывают мир
что книги описывают мир
16:31
in the evidence they contain.
329
979625
1483
довольно однобоко.
16:33
They only talk about kings and princes
330
981132
2397
Они повествуют лишь о королях, принцах
16:35
and elite white male people doing stuff.
331
983553
2800
и знатных белых мужчинах,
которые делают свою работу.
которые делают свою работу.
16:38
So it's a complicated problem,
332
986377
2096
Это сложная проблема,
16:40
but as it learns more about our objectives
333
988497
3872
но чем больше он будет
узнавать о наших целях,
узнавать о наших целях,
16:44
it will become more and more useful to us.
334
992393
2063
тем больше пользы он будет приносить нам.
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
КА: Вы не можете свести
всё к одному закону,
всё к одному закону,
16:49
you know, hardwired in:
336
997030
1650
который бы гласил:
16:50
"if any human ever tries to switch me off,
337
998704
3293
«Если когда-нибудь человек
попытается меня выключить,
попытается меня выключить,
16:54
I comply. I comply."
338
1002021
1935
я подчинюсь. Я подчинюсь»?
16:55
SR: Absolutely not.
339
1003980
1182
СР: Абсолютно исключено.
16:57
That would be a terrible idea.
340
1005186
1499
Это была бы ужасная идея.
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
Представьте, что у вас есть
беспилотный автомобиль,
беспилотный автомобиль,
17:01
and you want to send your five-year-old
342
1009422
2433
и вы хотите отправить на нём
своего пятилетнего сына
своего пятилетнего сына
17:03
off to preschool.
343
1011879
1174
в детский сад.
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
Хотели бы вы, чтобы ваш пятилетний сын
мог отключить машину,
мог отключить машину,
17:08
while it's driving along?
345
1016202
1213
когда она едет?
17:09
Probably not.
346
1017439
1159
Вероятно, нет.
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
Поэтому нужно понимать степень
рациональности и здравомыслия личности.
рациональности и здравомыслия личности.
17:15
The more rational the person,
348
1023349
1676
Чем более рационален человек,
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
тем вероятнее робот согласится
на отключение.
на отключение.
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
Если это случайный человек
или даже злоумышленник,
или даже злоумышленник,
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
он отключится с меньшей охотой.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
КА: Хорошо Стюарт. Я очень надеюсь,
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
что вы разберётесь с этим ради нас.
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
Большое спасибо за выступление.
Это было потрясающе.
Это было потрясающе.
17:30
SR: Thank you.
355
1038906
1167
СР: Спасибо.
17:32
(Applause)
356
1040097
1837
(Аплодисменты)
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com