TED2019
Janelle Shane: The danger of AI is weirder than you think
Джанель Шейн: Опасность ИИ более странная, чем вы думаете
Filmed:
Readability: 4.2
376,501 views
Опасность искусственного интеллекта заключается не в том, что он восстанет против нас, а в том, что он будет делать именно то, о чём мы его попросим, говорит исследователь ИИ Джанель Шейн.
Рассказывая о странных, порой даже пугающих результатах работы алгоритмов ИИ, когда они пытаются выполнить такие человеческие задачи, как, например, создание новых вкусов мороженого или распознавание машин на дороге, Шейн показывает, почему ИИ пока что далёк от человеческого разума.
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
Double-click the English transcript below to play the video.
00:13
So, artificial intelligence
0
1765
3000
Итак, искусственный интеллект
00:16
is known for disrupting
all kinds of industries.
all kinds of industries.
1
4789
3529
известен тем, что вмешивается
во все виды промышленности.
во все виды промышленности.
00:20
What about ice cream?
2
8961
2043
А как насчёт мороженого?
00:23
What kind of mind-blowing
new flavors could we generate
new flavors could we generate
3
11879
3639
Какие новые умопомрачительные вкусы
мы можем создать
мы можем создать
00:27
with the power of an advanced
artificial intelligence?
artificial intelligence?
4
15542
2976
с помощью продвинутого
искусственного интеллекта?
искусственного интеллекта?
00:31
So I teamed up with a group of coders
from Kealing Middle School
from Kealing Middle School
5
19011
4161
Чтобы это выяснить,
я объединилась с группой программистов
я объединилась с группой программистов
00:35
to find out the answer to this question.
6
23196
2241
из средней школы Килинга.
00:37
They collected over 1,600
existing ice cream flavors,
existing ice cream flavors,
7
25461
5081
Они собрали более 1 600
уже существующих вкусов мороженого,
уже существующих вкусов мороженого,
00:42
and together, we fed them to an algorithm
to see what it would generate.
to see what it would generate.
8
30566
5522
и мы загрузили их в алгоритм,
чтобы посмотреть, что он сгенерирует.
чтобы посмотреть, что он сгенерирует.
00:48
And here are some of the flavors
that the AI came up with.
that the AI came up with.
9
36112
3753
И вот некоторые из вкусов,
которые придумал ИИ.
которые придумал ИИ.
[Тыквенная мусорная куча]
00:52
[Pumpkin Trash Break]
10
40444
1471
(Смех)
00:53
(Laughter)
11
41939
1402
[Слизь арахисового масла]
00:55
[Peanut Butter Slime]
12
43365
2469
[Клубничное заболевание]
00:58
[Strawberry Cream Disease]
13
46822
1343
01:00
(Laughter)
14
48189
2126
(Смех)
01:02
These flavors are not delicious,
as we might have hoped they would be.
as we might have hoped they would be.
15
50339
4597
Эти вкусы не такие приятные,
как мы надеялись.
как мы надеялись.
01:06
So the question is: What happened?
16
54960
1864
Так что же произошло?
01:08
What went wrong?
17
56848
1394
Что пошло не так?
01:10
Is the AI trying to kill us?
18
58266
1959
ИИ пытается убить нас?
01:13
Or is it trying to do what we asked,
and there was a problem?
and there was a problem?
19
61027
4310
Или он пытается сделать именно то,
о чём мы его просили, и в этом проблема?
о чём мы его просили, и в этом проблема?
01:18
In movies, when something
goes wrong with AI,
goes wrong with AI,
20
66567
2464
В фильмах, когда с ИИ что-то не в порядке,
01:21
it's usually because the AI has decided
21
69055
2712
обычно это потому, что ИИ решил,
01:23
that it doesn't want to obey
the humans anymore,
the humans anymore,
22
71791
2272
что больше не хочет подчиняться людям
01:26
and it's got its own goals,
thank you very much.
thank you very much.
23
74087
2623
и имеет свои цели, спасибо большое.
01:29
In real life, though,
the AI that we actually have
the AI that we actually have
24
77266
3216
Однако в реальной жизни современный ИИ
01:32
is not nearly smart enough for that.
25
80506
1863
недостаточно умён для этого.
01:34
It has the approximate computing power
26
82781
2982
Его вычислительная мощность
приблизительно совпадает
приблизительно совпадает
01:37
of an earthworm,
27
85787
1276
с дождевым червём
01:39
or maybe at most a single honeybee,
28
87087
3403
или максимум с одной пчелой.
01:42
and actually, probably maybe less.
29
90514
2215
Хотя на самом деле она,
скорее всего, даже меньше.
скорее всего, даже меньше.
01:44
Like, we're constantly learning
new things about brains
new things about brains
30
92753
2594
Мы постоянно узнаём
что-то новое о нашем мозге,
что-то новое о нашем мозге,
01:47
that make it clear how much our AIs
don't measure up to real brains.
don't measure up to real brains.
31
95371
4360
что показывает, как сильно
ИИ отстаёт от нашего разума.
ИИ отстаёт от нашего разума.
01:51
So today's AI can do a task
like identify a pedestrian in a picture,
like identify a pedestrian in a picture,
32
99755
5663
Например, современный ИИ может
распознавать пешеходов на изображении,
распознавать пешеходов на изображении,
01:57
but it doesn't have a concept
of what the pedestrian is
of what the pedestrian is
33
105442
2983
но он не понимает, что такое пешеход,
02:00
beyond that it's a collection
of lines and textures and things.
of lines and textures and things.
34
108449
4824
кроме набора линий, текстур и объектов.
02:05
It doesn't know what a human actually is.
35
113792
2521
Он не знает, что такое
человек на самом деле.
человек на самом деле.
02:08
So will today's AI
do what we ask it to do?
do what we ask it to do?
36
116822
3282
Так что сделает ли современный ИИ
то, о чём мы его попросим?
то, о чём мы его попросим?
Да, если сможет,
02:12
It will if it can,
37
120128
1594
но в итоге может получиться не то,
чего мы хотели на самом деле.
чего мы хотели на самом деле.
02:13
but it might not do what we actually want.
38
121746
2726
Допустим, вы хотите, чтобы ИИ
02:16
So let's say that you
were trying to get an AI
were trying to get an AI
39
124496
2415
02:18
to take this collection of robot parts
40
126935
2619
взял эти детали и собрал из них робота,
02:21
and assemble them into some kind of robot
to get from Point A to Point B.
to get from Point A to Point B.
41
129578
4197
который сможет добраться
из точки А в точку Б.
из точки А в точку Б.
02:25
Now, if you were going to try
and solve this problem
and solve this problem
42
133799
2481
Если бы вы пытались решить эту задачу
02:28
by writing a traditional-style
computer program,
computer program,
43
136304
2351
с помощью обычной компьютерной программы,
02:30
you would give the program
step-by-step instructions
step-by-step instructions
44
138679
3417
вы бы запрограммировали
пошаговые инструкции о том,
пошаговые инструкции о том,
02:34
on how to take these parts,
45
142120
1329
как взять эти детали,
02:35
how to assemble them
into a robot with legs
into a robot with legs
46
143473
2407
как собрать из них робота с ногами
02:37
and then how to use those legs
to walk to Point B.
to walk to Point B.
47
145904
2942
и как потом использовать эти ноги,
чтобы дойти до точки Б.
чтобы дойти до точки Б.
02:41
But when you're using AI
to solve the problem,
to solve the problem,
48
149441
2340
Но при использовании ИИ
всё происходит по-другому.
02:43
it goes differently.
49
151805
1174
02:45
You don't tell it
how to solve the problem,
how to solve the problem,
50
153003
2382
Вы не говорите ему, как решить эту задачу,
02:47
you just give it the goal,
51
155409
1479
вы просто указываете цель,
02:48
and it has to figure out for itself
via trial and error
via trial and error
52
156912
3262
и ИИ должен сам
методом проб и ошибок решить,
методом проб и ошибок решить,
как достичь этой цели.
02:52
how to reach that goal.
53
160198
1484
02:54
And it turns out that the way AI tends
to solve this particular problem
to solve this particular problem
54
162254
4102
И оказывается, что ИИ пытается решить
эту конкретную задачу так:
02:58
is by doing this:
55
166380
1484
02:59
it assembles itself into a tower
and then falls over
and then falls over
56
167888
3367
он собирается в башню и падает,
03:03
and lands at Point B.
57
171279
1827
приземляясь в точке Б.
И технически это решает
поставленную задачу.
поставленную задачу.
03:05
And technically, this solves the problem.
58
173130
2829
03:07
Technically, it got to Point B.
59
175983
1639
Технически он попадает в точку Б.
03:09
The danger of AI is not that
it's going to rebel against us,
it's going to rebel against us,
60
177646
4265
Опасность ИИ заключается не в том,
что он восстанет против нас,
что он восстанет против нас,
03:13
it's that it's going to do
exactly what we ask it to do.
exactly what we ask it to do.
61
181935
4274
а в том, что он будет делать именно то,
о чём мы его попросим.
о чём мы его попросим.
03:18
So then the trick
of working with AI becomes:
of working with AI becomes:
62
186876
2498
Так что основная сложность при работе с ИИ
03:21
How do we set up the problem
so that it actually does what we want?
so that it actually does what we want?
63
189398
3828
в том, как поставить задачу,
чтобы он сделал именно то, что мы хотим.
чтобы он сделал именно то, что мы хотим.
03:26
So this little robot here
is being controlled by an AI.
is being controlled by an AI.
64
194726
3306
Этот маленький робот управляется ИИ.
03:30
The AI came up with a design
for the robot legs
for the robot legs
65
198056
2814
ИИ разработал конструкцию ног робота
03:32
and then figured out how to use them
to get past all these obstacles.
to get past all these obstacles.
66
200894
4078
и придумал, как их использовать
для преодоления всех этих препятствий.
для преодоления всех этих препятствий.
03:36
But when David Ha set up this experiment,
67
204996
2741
Но когда Дэвид Ха
проводил этот эксперимент,
проводил этот эксперимент,
03:39
he had to set it up
with very, very strict limits
with very, very strict limits
68
207761
2856
ему пришлось установить
очень жёсткие ограничения
очень жёсткие ограничения
03:42
on how big the AI
was allowed to make the legs,
was allowed to make the legs,
69
210641
3292
длинны ног, которые мог сделать ИИ,
03:45
because otherwise ...
70
213957
1550
потому что иначе...
(Смех)
03:55
(Laughter)
71
223058
3931
04:00
And technically, it got
to the end of that obstacle course.
to the end of that obstacle course.
72
228563
3745
И технически он преодолел
эту полосу препятствий.
эту полосу препятствий.
04:04
So you see how hard it is to get AI
to do something as simple as just walk.
to do something as simple as just walk.
73
232332
4942
Так что вы видите, как сложно заставить ИИ
сделать что-то такое простое, как ходьба.
сделать что-то такое простое, как ходьба.
04:09
So seeing the AI do this,
you may say, OK, no fair,
you may say, OK, no fair,
74
237298
3820
Конечно, можно попробовать сказать:
«Нет, так не честно,
«Нет, так не честно,
04:13
you can't just be
a tall tower and fall over,
a tall tower and fall over,
75
241142
2580
ты не можешь просто стать башней и упасть,
04:15
you have to actually, like,
use legs to walk.
use legs to walk.
76
243746
3435
ты должен использовать ноги,
чтобы ходить».
чтобы ходить».
04:19
And it turns out,
that doesn't always work, either.
that doesn't always work, either.
77
247205
2759
И оказывается,
что даже это не всегда работает.
что даже это не всегда работает.
04:21
This AI's job was to move fast.
78
249988
2759
Задачей этого ИИ
было научиться быстро двигаться.
было научиться быстро двигаться.
04:25
They didn't tell it that it had
to run facing forward
to run facing forward
79
253115
3593
Но ему не сказали,
что нужно бежать лицом вперёд
что нужно бежать лицом вперёд
04:28
or that it couldn't use its arms.
80
256732
2258
или что нельзя использовать руки.
04:31
So this is what you get
when you train AI to move fast,
when you train AI to move fast,
81
259487
4618
Так что часто, если вы пытаетесь
научить ИИ быстро передвигаться,
научить ИИ быстро передвигаться,
у него получаются такие сальто
и глупые движения.
и глупые движения.
04:36
you get things like somersaulting
and silly walks.
and silly walks.
82
264129
3534
04:39
It's really common.
83
267687
1400
Это происходит очень часто.
04:41
So is twitching along the floor in a heap.
84
269667
3179
Или он просто ползает кучкой по полу.
04:44
(Laughter)
85
272870
1150
(Смех)
04:47
So in my opinion, you know what
should have been a whole lot weirder
should have been a whole lot weirder
86
275241
3254
Так что я считаю, что
Терминаторы должны были быть
Терминаторы должны были быть
04:50
is the "Terminator" robots.
87
278519
1396
гораздо более странными.
04:52
Hacking "The Matrix" is another thing
that AI will do if you give it a chance.
that AI will do if you give it a chance.
88
280256
3755
А ещё ИИ постоянно пытается
взломать «Матрицу».
взломать «Матрицу».
04:56
So if you train an AI in a simulation,
89
284035
2517
Если вы обучаете ИИ в симуляции,
04:58
it will learn how to do things like
hack into the simulation's math errors
hack into the simulation's math errors
90
286576
4113
он научится использовать
её математические ошибки
её математические ошибки
05:02
and harvest them for energy.
91
290713
2207
для получения энергии.
05:04
Or it will figure out how to move faster
by glitching repeatedly into the floor.
by glitching repeatedly into the floor.
92
292944
5475
Или он научится двигаясь быстрее,
постоянно врезаясь в пол.
постоянно врезаясь в пол.
05:10
When you're working with AI,
93
298443
1585
Когда вы работаете с ИИ,
это совсем не похоже
на взаимодействие с другим человеком,
на взаимодействие с другим человеком,
05:12
it's less like working with another human
94
300052
2389
05:14
and a lot more like working
with some kind of weird force of nature.
with some kind of weird force of nature.
95
302465
3629
это больше похоже
на какую-то странную силу природы.
на какую-то странную силу природы.
05:18
And it's really easy to accidentally
give AI the wrong problem to solve,
give AI the wrong problem to solve,
96
306562
4623
И на самом деле очень легко случайно
поставить перед ИИ неправильную цель,
поставить перед ИИ неправильную цель,
05:23
and often we don't realize that
until something has actually gone wrong.
until something has actually gone wrong.
97
311209
4538
даже того не осознавая,
пока что-то не пойдёт не так.
пока что-то не пойдёт не так.
05:28
So here's an experiment I did,
98
316242
2080
Вот эксперимент, который я провела:
05:30
where I wanted the AI
to copy paint colors,
to copy paint colors,
99
318346
3182
я хотела, чтобы ИИ
использовал существующие цвета,
использовал существующие цвета,
05:33
to invent new paint colors,
100
321552
1746
чтобы придумывать новые
05:35
given the list like the ones
here on the left.
here on the left.
101
323322
2987
из подобных списков.
05:38
And here's what the AI
actually came up with.
actually came up with.
102
326798
3004
И вот что из этого получилось.
05:41
[Sindis Poop, Turdly, Suffer, Gray Pubic]
103
329826
3143
[Какашки Синди, Дурацкий,
Страдание, Серый лобковый]
Страдание, Серый лобковый]
05:44
(Laughter)
104
332993
4230
(Смех)
05:51
So technically,
105
339177
1886
Технически
05:53
it did what I asked it to.
106
341087
1864
он сделал то, о чём я просила.
05:54
I thought I was asking it for,
like, nice paint color names,
like, nice paint color names,
107
342975
3308
Я думала, что прошу его придумать
красивые названия цветов,
красивые названия цветов,
05:58
but what I was actually asking it to do
108
346307
2307
но на самом деле я попросила его
06:00
was just imitate the kinds
of letter combinations
of letter combinations
109
348638
3086
просто подражать комбинациям букв,
06:03
that it had seen in the original.
110
351748
1905
которые он видел в оригинале.
06:05
And I didn't tell it anything
about what words mean,
about what words mean,
111
353677
3098
И я ничего не сказала ему о значении слов
06:08
or that there are maybe some words
112
356799
2560
или о том, что некоторые слова
06:11
that it should avoid using
in these paint colors.
in these paint colors.
113
359383
2889
лучше не использовать в названиях цветов.
06:15
So its entire world
is the data that I gave it.
is the data that I gave it.
114
363141
3494
Всё, что он знает о мире, —
это данные, которые я ему предоставила.
это данные, которые я ему предоставила.
06:18
Like with the ice cream flavors,
it doesn't know about anything else.
it doesn't know about anything else.
115
366659
4028
Так же как со вкусами мороженого,
он не знает ничего другого.
он не знает ничего другого.
06:24
So it is through the data
116
372491
1638
Так что именно посредством данных
06:26
that we often accidentally tell AI
to do the wrong thing.
to do the wrong thing.
117
374153
4044
мы случайно можем поручить ИИ
сделать что-то неправильное.
сделать что-то неправильное.
06:30
This is a fish called a tench.
118
378694
3032
Эта рыба называется линь.
06:33
And there was a group of researchers
119
381750
1815
Одна группа исследователей
06:35
who trained an AI to identify
this tench in pictures.
this tench in pictures.
120
383589
3874
обучила ИИ распознавать
линя на фотографиях.
линя на фотографиях.
06:39
But then when they asked it
121
387487
1296
Но когда они спросили,
06:40
what part of the picture it was actually
using to identify the fish,
using to identify the fish,
122
388807
3426
какие части изображений ИИ использовал,
чтобы распознать эту рыбу,
чтобы распознать эту рыбу,
06:44
here's what it highlighted.
123
392257
1358
вот что они получили в ответ.
06:47
Yes, those are human fingers.
124
395203
2189
Да, это человеческие пальцы.
06:49
Why would it be looking for human fingers
125
397416
2059
Но с какой стати ИИ ищет
на изображении пальцы,
на изображении пальцы,
06:51
if it's trying to identify a fish?
126
399499
1921
пытаясь распознать рыбу?
06:54
Well, it turns out that the tench
is a trophy fish,
is a trophy fish,
127
402126
3164
Оказывается, линь — трофейная рыба,
06:57
and so in a lot of pictures
that the AI had seen of this fish
that the AI had seen of this fish
128
405314
3811
и на множестве фотографий,
которые видел ИИ
которые видел ИИ
07:01
during training,
129
409149
1151
в ходе обучения,
07:02
the fish looked like this.
130
410324
1490
рыба выглядела вот так.
07:03
(Laughter)
131
411838
1635
(Смех)
07:05
And it didn't know that the fingers
aren't part of the fish.
aren't part of the fish.
132
413497
3330
И ИИ не знал, что пальцы
не относятся к рыбе.
не относятся к рыбе.
07:10
So you see why it is so hard
to design an AI
to design an AI
133
418808
4120
Так что теперь вы понимаете,
почему так сложно разработать ИИ,
почему так сложно разработать ИИ,
07:14
that actually can understand
what it's looking at.
what it's looking at.
134
422952
3319
который сможет понять, что он видит.
07:18
And this is why designing
the image recognition
the image recognition
135
426295
2862
И поэтому распознавание изображений
в беспилотных автомобилях
в беспилотных автомобилях
07:21
in self-driving cars is so hard,
136
429181
2067
так сложно спроектировать.
И так много сбоев в них
происходит из-за того,
происходит из-за того,
07:23
and why so many self-driving car failures
137
431272
2205
07:25
are because the AI got confused.
138
433501
2885
что ИИ неправильно распознал объекты.
07:28
I want to talk about an example from 2016.
139
436410
4008
Например, автомобильная катастрофа,
которая произошла в 2016 году из-за того,
07:32
There was a fatal accident when somebody
was using Tesla's autopilot AI,
was using Tesla's autopilot AI,
140
440442
4455
что водитель использовал
автопилот Теслы в городе,
автопилот Теслы в городе,
07:36
but instead of using it on the highway
like it was designed for,
like it was designed for,
141
444921
3414
хотя он был разработан
для передвижения по трассе.
для передвижения по трассе.
07:40
they used it on city streets.
142
448359
2205
07:43
And what happened was,
143
451239
1175
Вот, что произошло:
07:44
a truck drove out in front of the car
and the car failed to brake.
and the car failed to brake.
144
452438
3396
перед машиной выехал грузовик,
но машина не затормозила.
но машина не затормозила.
07:48
Now, the AI definitely was trained
to recognize trucks in pictures.
to recognize trucks in pictures.
145
456507
4762
Конечно, ИИ был обучен распознавать
грузовики на изображениях.
грузовики на изображениях.
07:53
But what it looks like happened is
146
461293
2145
Но, судя по всему,
07:55
the AI was trained to recognize
trucks on highway driving,
trucks on highway driving,
147
463462
2931
ИИ был обучен распознавать их
при движении по шоссе,
при движении по шоссе,
07:58
where you would expect
to see trucks from behind.
to see trucks from behind.
148
466417
2899
где грузовики можно увидеть только сзади.
08:01
Trucks on the side is not supposed
to happen on a highway,
to happen on a highway,
149
469340
3420
Вид на грузовики сбоку
обычно не встречается на шоссе.
обычно не встречается на шоссе.
08:04
and so when the AI saw this truck,
150
472784
3455
Так что когда ИИ увидел этот грузовик,
08:08
it looks like the AI recognized it
as most likely to be a road sign
as most likely to be a road sign
151
476263
4827
судя по всему, он распознал его
как дорожный знак
как дорожный знак
08:13
and therefore, safe to drive underneath.
152
481114
2273
и поэтому решил, что под ним
можно безопасно проехать.
можно безопасно проехать.
08:16
Here's an AI misstep
from a different field.
from a different field.
153
484114
2580
Вот ещё одна ошибка ИИ из другой области.
Недавно Amazon отказался
от использования алгоритма отбора резюме,
от использования алгоритма отбора резюме,
08:18
Amazon recently had to give up
on a résumé-sorting algorithm
on a résumé-sorting algorithm
154
486718
3460
08:22
that they were working on
155
490202
1220
который они разрабатывали,
08:23
when they discovered that the algorithm
had learned to discriminate against women.
had learned to discriminate against women.
156
491446
3908
когда они выяснили,
что алгоритм дискриминирует женщин.
что алгоритм дискриминирует женщин.
Из-за того, что алгоритм
обучался на выборке резюме
обучался на выборке резюме
08:27
What happened is they had trained it
on example résumés
on example résumés
157
495378
2716
08:30
of people who they had hired in the past.
158
498118
2242
кандидатов, которых нанимали в прошлом,
08:32
And from these examples, the AI learned
to avoid the résumés of people
to avoid the résumés of people
159
500384
4023
ИИ научился избегать резюме кандидатов,
08:36
who had gone to women's colleges
160
504431
2026
которые учились в женских колледжах
или у которых встречались
слова «женщина» или «женский» в резюме.
слова «женщина» или «женский» в резюме.
08:38
or who had the word "women"
somewhere in their resume,
somewhere in their resume,
161
506481
2806
08:41
as in, "women's soccer team"
or "Society of Women Engineers."
or "Society of Women Engineers."
162
509311
4576
Например, «женская футбольная команда»
или «Общество женщин-инженеров».
или «Общество женщин-инженеров».
08:45
The AI didn't know that it wasn't supposed
to copy this particular thing
to copy this particular thing
163
513911
3974
ИИ не знал, что не нужно было повторять
это конкретное поведение людей.
это конкретное поведение людей.
08:49
that it had seen the humans do.
164
517909
1978
08:51
And technically, it did
what they asked it to do.
what they asked it to do.
165
519911
3177
И технически он сделал
то, о чём его просили.
то, о чём его просили.
08:55
They just accidentally asked it
to do the wrong thing.
to do the wrong thing.
166
523112
2797
Просто перед ним неправильно
поставили задачу.
поставили задачу.
08:58
And this happens all the time with AI.
167
526653
2895
И подобные вещи происходят с ИИ постоянно.
09:02
AI can be really destructive
and not know it.
and not know it.
168
530120
3591
ИИ может оказывать разрушительный
эффект, не осознавая этого.
эффект, не осознавая этого.
09:05
So the AIs that recommend
new content in Facebook, in YouTube,
new content in Facebook, in YouTube,
169
533735
5078
Например, алгоритмы ИИ, которые предлагают
новый контент на Facebook и YouTube,
новый контент на Facebook и YouTube,
09:10
they're optimized to increase
the number of clicks and views.
the number of clicks and views.
170
538837
3539
оптимизированы для увеличения
количества кликов и просмотров.
количества кликов и просмотров.
09:14
And unfortunately, one way
that they have found of doing this
that they have found of doing this
171
542400
3436
И к сожалению,
один из способов этого добиться —
один из способов этого добиться —
09:17
is to recommend the content
of conspiracy theories or bigotry.
of conspiracy theories or bigotry.
172
545860
4503
рекомендовать контент
с теориями заговора и фанатизмом.
с теориями заговора и фанатизмом.
09:22
The AIs themselves don't have any concept
of what this content actually is,
of what this content actually is,
173
550902
5302
Сами ИИ понятия не имеют
о содержании контента,
о содержании контента,
09:28
and they don't have any concept
of what the consequences might be
of what the consequences might be
174
556228
3395
так же как и о последствиях
09:31
of recommending this content.
175
559647
2109
рекомендации такого контента.
09:34
So, when we're working with AI,
176
562296
2011
Так что при использовании ИИ
09:36
it's up to us to avoid problems.
177
564331
4182
заботиться об избежании проблем
должны именно мы.
должны именно мы.
09:40
And avoiding things going wrong,
178
568537
2323
И попытки избежать проблем
09:42
that may come down to
the age-old problem of communication,
the age-old problem of communication,
179
570884
4526
можно свести к извечной
проблеме коммуникации,
проблеме коммуникации,
09:47
where we as humans have to learn
how to communicate with AI.
how to communicate with AI.
180
575434
3745
при которой нам, людям,
нужно научиться общаться с ИИ.
нужно научиться общаться с ИИ.
09:51
We have to learn what AI
is capable of doing and what it's not,
is capable of doing and what it's not,
181
579203
4039
Мы должны изучить, но что ИИ способен,
а что ему недоступно.
а что ему недоступно.
09:55
and to understand that,
with its tiny little worm brain,
with its tiny little worm brain,
182
583266
3086
И мы должны понять, что ИИ
с его крошечным разумом червяка
с его крошечным разумом червяка
09:58
AI doesn't really understand
what we're trying to ask it to do.
what we're trying to ask it to do.
183
586376
4013
на самом деле не понимает,
чего мы от него хотим.
чего мы от него хотим.
10:03
So in other words, we have
to be prepared to work with AI
to be prepared to work with AI
184
591148
3321
Другими словами, нужно смириться с тем,
что нам придётся работать
что нам придётся работать
не с суперумным всезнающим ИИ
из научной фантастики.
из научной фантастики.
10:06
that's not the super-competent,
all-knowing AI of science fiction.
all-knowing AI of science fiction.
185
594493
5258
Мы должны быть готовы к работе
10:11
We have to prepared to work with an AI
186
599775
2862
а с тем, что у нас есть сейчас.
10:14
that's the one that we actually have
in the present day.
in the present day.
187
602661
2938
10:17
And present-day AI is plenty weird enough.
188
605623
4205
И современный ИИ достаточно странный.
10:21
Thank you.
189
609852
1190
Спасибо.
10:23
(Applause)
190
611066
5225
(Аплодисменты)
ABOUT THE SPEAKER
Janelle Shane - AI researcherWhile moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.
Why you should listen
Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.
According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.
Janelle Shane | Speaker | TED.com