TEDSummit
Zeynep Tufekci: Machine intelligence makes human morals more important
Зейнеп Тюфекчи: Искусственный интеллект усиливает важность человеческой этики
Filmed:
Readability: 4.9
1,648,711 views
Искусственный интеллект уже здесь, и мы уже используем его для принятия субъективных решений. Сложность системы ИИ продолжает увеличиваться, что делает его трудным для понимания и контроля. В этой предостерегающей лекции техно-социолог Зейнеп Тюфекчи объясняет, как умные машины могут совершать ошибки, не соответствующие человеческим, поэтому мы не ожидаем их и мы не готовы к ним. «Мы не можем передать свои обязанности машинам», — говорит она. «Мы должны крепче держаться человеческих ценностей и этики».
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So, I started my first job
as a computer programmer
as a computer programmer
0
739
4122
Я начала работать программистом
в первый год учёбы в колледже,
00:16
in my very first year of college --
1
4885
1956
00:18
basically, as a teenager.
2
6865
1507
практически подростком.
Вскоре после того, как я начала работать —
00:20
Soon after I started working,
3
8889
1732
00:22
writing software in a company,
4
10645
1610
писать программное обеспечение,
00:24
a manager who worked at the company
came down to where I was,
came down to where I was,
5
12799
3635
один из работающих в компании
менеджеров подошёл ко мне
менеджеров подошёл ко мне
00:28
and he whispered to me,
6
16458
1268
и прошептал:
00:30
"Can he tell if I'm lying?"
7
18229
2861
«Он понимает, когда я вру?»
00:33
There was nobody else in the room.
8
21806
2077
В комнате никого больше не было.
00:37
"Can who tell if you're lying?
And why are we whispering?"
And why are we whispering?"
9
25032
4389
«Кто он? И почему ты шепчешь?»
00:42
The manager pointed
at the computer in the room.
at the computer in the room.
10
30266
3107
Менеджер указал на компьютер.
00:45
"Can he tell if I'm lying?"
11
33397
3096
«Он может понять, когда я вру?»
00:49
Well, that manager was having
an affair with the receptionist.
an affair with the receptionist.
12
37613
4362
Кстати, у этого менеджера
был роман с секретаршей.
был роман с секретаршей.
00:53
(Laughter)
13
41999
1112
(Смех)
00:55
And I was still a teenager.
14
43135
1766
А а была ещё подростком.
00:57
So I whisper-shouted back to him,
15
45447
2019
Поэтому я шёпотом крикнула ему:
00:59
"Yes, the computer can tell
if you're lying."
if you're lying."
16
47490
3624
«Да, компьютер может понять,
когда вы лжёте».
когда вы лжёте».
01:03
(Laughter)
17
51138
1806
(Смех)
01:04
Well, I laughed, but actually,
the laugh's on me.
the laugh's on me.
18
52968
2923
Я пошутила, но оказалось,
что это была не шутка.
что это была не шутка.
01:07
Nowadays, there are computational systems
19
55915
3268
Теперь существуют вычислительные системы,
01:11
that can suss out
emotional states and even lying
emotional states and even lying
20
59207
3548
которые могут определить ваше
эмоциональное состояние и даже ложь,
эмоциональное состояние и даже ложь,
01:14
from processing human faces.
21
62779
2044
обрабатывая выражения человеческих лиц.
01:17
Advertisers and even governments
are very interested.
are very interested.
22
65248
4153
Рекламодатели и правительства
очень заинтересованы.
очень заинтересованы.
01:22
I had become a computer programmer
23
70319
1862
Я стала программистом,
01:24
because I was one of those kids
crazy about math and science.
crazy about math and science.
24
72205
3113
потому что я была одержимым
математикой и наукой ребёнком.
математикой и наукой ребёнком.
01:27
But somewhere along the line
I'd learned about nuclear weapons,
I'd learned about nuclear weapons,
25
75942
3108
Но в какой-то момент я узнала
о существовании ядерного оружия
о существовании ядерного оружия
01:31
and I'd gotten really concerned
with the ethics of science.
with the ethics of science.
26
79074
2952
и всерьёз задумалась о научной этике.
01:34
I was troubled.
27
82050
1204
Меня это беспокоило.
01:35
However, because of family circumstances,
28
83278
2641
Однако из-за семейных обстоятельств
01:37
I also needed to start working
as soon as possible.
as soon as possible.
29
85943
3298
мне пришлось начать
работать как можно скорее.
работать как можно скорее.
01:41
So I thought to myself, hey,
let me pick a technical field
let me pick a technical field
30
89265
3299
Так что я подумала: «Эй, мне просто
надо выбрать техническую область,
надо выбрать техническую область,
01:44
where I can get a job easily
31
92588
1796
где я смогу легко получить работу,
01:46
and where I don't have to deal
with any troublesome questions of ethics.
with any troublesome questions of ethics.
32
94408
4018
и где мне не придётся иметь
дело со сложными этическими вопросами».
дело со сложными этическими вопросами».
01:51
So I picked computers.
33
99022
1529
Так что я выбрала компьютеры.
01:52
(Laughter)
34
100575
1104
(Смех)
01:53
Well, ha, ha, ha!
All the laughs are on me.
All the laughs are on me.
35
101703
3410
Ха, ха, ха! Все смеются надо мной.
01:57
Nowadays, computer scientists
are building platforms
are building platforms
36
105137
2754
В наши дни компьютерные
учёные создают платформы,
учёные создают платформы,
01:59
that control what a billion
people see every day.
people see every day.
37
107915
4209
которые контролируют то,
что миллиард человек видит каждый день.
что миллиард человек видит каждый день.
02:05
They're developing cars
that could decide who to run over.
that could decide who to run over.
38
113052
3822
Они разрабатывают автомобили,
которые могли бы решить, кого задавить.
которые могли бы решить, кого задавить.
02:09
They're even building machines, weapons,
39
117707
3213
Они даже разрабатывают машины и оружие,
02:12
that might kill human beings in war.
40
120944
2285
которые могут убивать людей на войне.
02:15
It's ethics all the way down.
41
123253
2771
Здесь вопросы этики повсюду.
02:19
Machine intelligence is here.
42
127183
2058
Искусственный интеллект уже здесь.
02:21
We're now using computation
to make all sort of decisions,
to make all sort of decisions,
43
129823
3474
Мы уже используем вычислительную
технику для принятия каких угодно решений,
технику для принятия каких угодно решений,
02:25
but also new kinds of decisions.
44
133321
1886
и даже для создания новых решений.
02:27
We're asking questions to computation
that have no single right answers,
that have no single right answers,
45
135231
5172
Мы задаём компьютерам вопросы,
на которые нет единого правильного ответа:
на которые нет единого правильного ответа:
02:32
that are subjective
46
140427
1202
субъективные вопросы,
02:33
and open-ended and value-laden.
47
141653
2325
открытые и вопросы оценочного характера.
02:36
We're asking questions like,
48
144002
1758
Мы задавали такие вопросы, как:
02:37
"Who should the company hire?"
49
145784
1650
«Кого стоит нанять в компанию?»
02:40
"Which update from which friend
should you be shown?"
should you be shown?"
50
148096
2759
«Какое обновление и от какого
друга мы должны видеть?»
друга мы должны видеть?»
02:42
"Which convict is more
likely to reoffend?"
likely to reoffend?"
51
150879
2266
«Кто из осуждённых
скорее всего станет рецидивистом?»
скорее всего станет рецидивистом?»
02:45
"Which news item or movie
should be recommended to people?"
should be recommended to people?"
52
153514
3054
«Какие новости или фильмы
рекомендовать людям?»
рекомендовать людям?»
02:48
Look, yes, we've been using
computers for a while,
computers for a while,
53
156592
3372
Да, мы используем компьютеры
уже продолжительное время,
уже продолжительное время,
02:51
but this is different.
54
159988
1517
но это совсем другое.
02:53
This is a historical twist,
55
161529
2067
Это исторический поворот,
02:55
because we cannot anchor computation
for such subjective decisions
for such subjective decisions
56
163620
5337
потому что базис для вычисления
принятия субъективных решений,
принятия субъективных решений,
03:00
the way we can anchor computation
for flying airplanes, building bridges,
for flying airplanes, building bridges,
57
168981
5420
отличается от того, что используется для
сборки самолётов, строительства мостов
сборки самолётов, строительства мостов
03:06
going to the moon.
58
174425
1259
или полётов на Луну.
03:08
Are airplanes safer?
Did the bridge sway and fall?
Did the bridge sway and fall?
59
176449
3259
Самолёты стали безопаснее?
Мосты больше не падают?
Мосты больше не падают?
03:11
There, we have agreed-upon,
fairly clear benchmarks,
fairly clear benchmarks,
60
179732
4498
Здесь у нас есть
достаточно чёткие критерии
достаточно чёткие критерии
и законы природы,
на которые мы можем положиться.
на которые мы можем положиться.
03:16
and we have laws of nature to guide us.
61
184254
2239
03:18
We have no such anchors and benchmarks
62
186517
3394
Но нет чётких критериев
03:21
for decisions in messy human affairs.
63
189935
3963
для принятия решений
в запутанных людских делах.
в запутанных людских делах.
03:25
To make things more complicated,
our software is getting more powerful,
our software is getting more powerful,
64
193922
4237
Ещё больше усложняет задачу
программное обеспечение,
программное обеспечение,
03:30
but it's also getting less
transparent and more complex.
transparent and more complex.
65
198183
3773
становящееся менее прозрачным
и более сложным и мощным.
и более сложным и мощным.
03:34
Recently, in the past decade,
66
202542
2040
За последнее десятилетие
03:36
complex algorithms
have made great strides.
have made great strides.
67
204606
2729
развитие сложных алгоритмов
достигло больших успехов.
достигло больших успехов.
03:39
They can recognize human faces.
68
207359
1990
Они могут распознавать человеческие лица.
03:41
They can decipher handwriting.
69
209985
2055
Они могут расшифровывать почерк.
Выявить мошенничество
с кредитными картами
с кредитными картами
03:44
They can detect credit card fraud
70
212436
2066
03:46
and block spam
71
214526
1189
или блокировать спам,
03:47
and they can translate between languages.
72
215739
2037
они могут переводить с других языков.
03:49
They can detect tumors in medical imaging.
73
217800
2574
Они могут выявлять опухоли
в рентгенографии.
в рентгенографии.
03:52
They can beat humans in chess and Go.
74
220398
2205
Они могут обыгрывать нас в шахматы и в Го.
03:55
Much of this progress comes
from a method called "machine learning."
from a method called "machine learning."
75
223264
4504
Большáя часть этого прогресса достигнута
с помощью «машинного обучения».
с помощью «машинного обучения».
04:00
Machine learning is different
than traditional programming,
than traditional programming,
76
228175
3187
Машинное обучение отличается
от традиционного программирования,
от традиционного программирования,
04:03
where you give the computer
detailed, exact, painstaking instructions.
detailed, exact, painstaking instructions.
77
231386
3585
где вы даёте компьютеру подробные,
точные, чёткие инструкции.
точные, чёткие инструкции.
04:07
It's more like you take the system
and you feed it lots of data,
and you feed it lots of data,
78
235378
4182
Это больше похоже, как будто мы
скармливаем компьютеру много данных,
скармливаем компьютеру много данных,
04:11
including unstructured data,
79
239584
1656
в том числе бессистемных данных,
04:13
like the kind we generate
in our digital lives.
in our digital lives.
80
241264
2278
как те, что мы создаём
в нашей цифровой жизни.
в нашей цифровой жизни.
04:15
And the system learns
by churning through this data.
by churning through this data.
81
243566
2730
И система сама учится
систематизировать эти данные.
систематизировать эти данные.
04:18
And also, crucially,
82
246669
1526
Особенно важно то,
04:20
these systems don't operate
under a single-answer logic.
under a single-answer logic.
83
248219
4380
что эти системы не работают
по логике поиска единого ответа.
по логике поиска единого ответа.
04:24
They don't produce a simple answer;
it's more probabilistic:
it's more probabilistic:
84
252623
2959
Они не дают однозначного ответа,
они основаны на вероятности:
они основаны на вероятности:
04:27
"This one is probably more like
what you're looking for."
what you're looking for."
85
255606
3483
«Этот ответ, вероятно,
похож на то, что вы ищете».
похож на то, что вы ищете».
04:32
Now, the upside is:
this method is really powerful.
this method is really powerful.
86
260023
3070
Плюс этого метода в том,
что он очень перспективный.
что он очень перспективный.
04:35
The head of Google's AI systems called it,
87
263117
2076
Глава систем ИИ Google назвал его
04:37
"the unreasonable effectiveness of data."
88
265217
2197
«нерационально высокая
эффективность данных».
эффективность данных».
04:39
The downside is,
89
267791
1353
Минус в том,
04:41
we don't really understand
what the system learned.
what the system learned.
90
269738
3071
что мы не знаем,
что именно система выучила.
что именно система выучила.
04:44
In fact, that's its power.
91
272833
1587
В этом мощь системы.
04:46
This is less like giving
instructions to a computer;
instructions to a computer;
92
274946
3798
Это не похоже на то,
как давать указания компьютеру;
как давать указания компьютеру;
04:51
it's more like training
a puppy-machine-creature
a puppy-machine-creature
93
279200
4064
это больше похоже
на обучение машины-щенка,
на обучение машины-щенка,
04:55
we don't really understand or control.
94
283288
2371
которого мы не понимаем и не контролируем.
04:58
So this is our problem.
95
286362
1551
В этом наша проблема.
05:00
It's a problem when this artificial
intelligence system gets things wrong.
intelligence system gets things wrong.
96
288427
4262
Плохо, когда система искусственного
интеллекта понимает что-то неправильно.
интеллекта понимает что-то неправильно.
05:04
It's also a problem
when it gets things right,
when it gets things right,
97
292713
3540
И также плохо, когда система
понимает что-то правильно,
понимает что-то правильно,
05:08
because we don't even know which is which
when it's a subjective problem.
when it's a subjective problem.
98
296277
3628
потому что мы не знаем, что есть что,
когда дело касается субъективой проблемы.
когда дело касается субъективой проблемы.
05:11
We don't know what this thing is thinking.
99
299929
2339
Мы не знаем, о чём эта штука думает.
05:15
So, consider a hiring algorithm --
100
303493
3683
Рассмотрим алгоритм приёма на работу —
05:20
a system used to hire people,
using machine-learning systems.
using machine-learning systems.
101
308123
4311
система для найма людей
с использованием машинного обучения.
с использованием машинного обучения.
05:25
Such a system would have been trained
on previous employees' data
on previous employees' data
102
313052
3579
Такая система будет обучаться
по данным о предыдущих сотрудниках
по данным о предыдущих сотрудниках
05:28
and instructed to find and hire
103
316655
2591
и будет искать и нанимать людей,
05:31
people like the existing
high performers in the company.
high performers in the company.
104
319270
3038
похожих на нынешних самых эффективных
сотрудников компании.
сотрудников компании.
05:34
Sounds good.
105
322814
1153
Звучит хорошо.
05:35
I once attended a conference
106
323991
1999
Однажды я была на конференции
05:38
that brought together
human resources managers and executives,
human resources managers and executives,
107
326014
3125
для руководителей, менеджеров по персоналу
05:41
high-level people,
108
329163
1206
и топ-менеджеров,
05:42
using such systems in hiring.
109
330393
1559
использующих такую систему найма.
05:43
They were super excited.
110
331976
1646
Все были очень воодушевлены.
05:45
They thought that this would make hiring
more objective, less biased,
more objective, less biased,
111
333646
4653
Они думали, что это сделает процесс
найма более объективным, менее предвзятым,
найма более объективным, менее предвзятым,
05:50
and give women
and minorities a better shot
and minorities a better shot
112
338323
3000
даст женщинам и меньшинствам
больше шансов
больше шансов
05:53
against biased human managers.
113
341347
2188
в отличие от предвзято
настроенных менеджеров.
настроенных менеджеров.
05:55
And look -- human hiring is biased.
114
343559
2843
Найм сотрудников построен на предвзятости.
05:59
I know.
115
347099
1185
Я знаю.
06:00
I mean, in one of my early jobs
as a programmer,
as a programmer,
116
348308
3005
На одной из моих первых работ
в качестве программиста
в качестве программиста
06:03
my immediate manager would sometimes
come down to where I was
come down to where I was
117
351337
3868
моя непосредственная начальница
иногда подходила ко мне
иногда подходила ко мне
06:07
really early in the morning
or really late in the afternoon,
or really late in the afternoon,
118
355229
3753
очень рано утром или очень поздно днём
06:11
and she'd say, "Zeynep,
let's go to lunch!"
let's go to lunch!"
119
359006
3062
и говорила: «Зейнеп, пойдём обедать!»
06:14
I'd be puzzled by the weird timing.
120
362724
2167
Я была озадачена странным выбором времени.
06:16
It's 4pm. Lunch?
121
364915
2129
Обед в 4 часа дня?
06:19
I was broke, so free lunch. I always went.
122
367068
3094
Бесплатный ланч; денег у меня нет.
Я всегда ходила.
Я всегда ходила.
06:22
I later realized what was happening.
123
370618
2067
Позже я поняла, что происходит.
06:24
My immediate managers
had not confessed to their higher-ups
had not confessed to their higher-ups
124
372709
4546
Мои непосредственные руководители
не признались вышестоящему руководству,
не признались вышестоящему руководству,
06:29
that the programmer they hired
for a serious job was a teen girl
for a serious job was a teen girl
125
377279
3113
что программист, которого они наняли
на серьёзный проект — девушка подросток,
на серьёзный проект — девушка подросток,
06:32
who wore jeans and sneakers to work.
126
380416
3930
которая ходит на работу
в джинсах и кроссовках.
в джинсах и кроссовках.
Я хорошо выполняла работу,
я просто выглядела неподобающе,
я просто выглядела неподобающе,
06:37
I was doing a good job,
I just looked wrong
I just looked wrong
127
385174
2202
06:39
and was the wrong age and gender.
128
387400
1699
была неправильного возраста и пола.
06:41
So hiring in a gender- and race-blind way
129
389123
3346
Так что найм без учёта пола и расы,
06:44
certainly sounds good to me.
130
392493
1865
конечно, звучит для меня
как хорошая идея.
как хорошая идея.
06:47
But with these systems,
it is more complicated, and here's why:
it is more complicated, and here's why:
131
395031
3341
Но с этими системами
всё сложнее, и вот почему:
всё сложнее, и вот почему:
06:50
Currently, computational systems
can infer all sorts of things about you
can infer all sorts of things about you
132
398968
5791
Сейчас вычислительные системы
могут узнать всю информацию о вас
могут узнать всю информацию о вас
по крошкам, что вы оставляете
в цифровом виде,
в цифровом виде,
06:56
from your digital crumbs,
133
404783
1872
06:58
even if you have not
disclosed those things.
disclosed those things.
134
406679
2333
даже если вы не разглашаете
такую информацию.
такую информацию.
07:01
They can infer your sexual orientation,
135
409506
2927
Они могут вычислить
вашу сексуальную ориентацию,
вашу сексуальную ориентацию,
07:04
your personality traits,
136
412994
1306
ваши черты характера,
07:06
your political leanings.
137
414859
1373
ваши политические пристрастия.
07:08
They have predictive power
with high levels of accuracy.
with high levels of accuracy.
138
416830
3685
Они могут составлять прогнозы
с высоким уровнем точности.
с высоким уровнем точности.
Помните, даже для информации,
которую вы даже не разглашаете.
которую вы даже не разглашаете.
07:13
Remember -- for things
you haven't even disclosed.
you haven't even disclosed.
139
421362
2578
07:15
This is inference.
140
423964
1591
Это предположения.
07:17
I have a friend who developed
such computational systems
such computational systems
141
425579
3261
У меня есть подруга, которая
разрабатывает такие системы
разрабатывает такие системы
07:20
to predict the likelihood
of clinical or postpartum depression
of clinical or postpartum depression
142
428864
3641
для прогнозирования вероятности
клинической или послеродовой депрессии
клинической или послеродовой депрессии
07:24
from social media data.
143
432529
1416
по данным из социальных сетей.
07:26
The results are impressive.
144
434676
1427
Результаты впечатляют.
07:28
Her system can predict
the likelihood of depression
the likelihood of depression
145
436492
3357
Её система может предсказать
вероятность депрессии
вероятность депрессии
07:31
months before the onset of any symptoms --
146
439873
3903
до появления каких-либо симптомов —
07:35
months before.
147
443800
1373
за несколько месяцев.
07:37
No symptoms, there's prediction.
148
445197
2246
Симптомов нет, а прогноз есть.
07:39
She hopes it will be used
for early intervention. Great!
for early intervention. Great!
149
447467
4812
Она надеется, что программа будет
использоваться для профилактики. Отлично!
использоваться для профилактики. Отлично!
07:44
But now put this in the context of hiring.
150
452911
2040
Теперь представьте это в контексте найма.
На той конференции
для управляющих персоналом
для управляющих персоналом
07:48
So at this human resources
managers conference,
managers conference,
151
456027
3046
07:51
I approached a high-level manager
in a very large company,
in a very large company,
152
459097
4709
я подошла к менеджеру высокого уровня
в очень крупной компании,
в очень крупной компании,
07:55
and I said to her, "Look,
what if, unbeknownst to you,
what if, unbeknownst to you,
153
463830
4578
и спросила её:
«Что, если система без вашего ведома,
«Что, если система без вашего ведома,
08:00
your system is weeding out people
with high future likelihood of depression?
with high future likelihood of depression?
154
468432
6549
начнёт отсеивать людей
с высокой вероятностью будущей депрессии?
с высокой вероятностью будущей депрессии?
08:07
They're not depressed now,
just maybe in the future, more likely.
just maybe in the future, more likely.
155
475761
3376
Сейчас у них нет депрессии,
но в будущем вероятность высока.
но в будущем вероятность высока.
Что, если система начнёт отсеивать женщин,
чья вероятность забеременеть
чья вероятность забеременеть
08:11
What if it's weeding out women
more likely to be pregnant
more likely to be pregnant
156
479923
3406
08:15
in the next year or two
but aren't pregnant now?
but aren't pregnant now?
157
483353
2586
через год или два выше,
но они не беременны сейчас?
но они не беременны сейчас?
08:18
What if it's hiring aggressive people
because that's your workplace culture?"
because that's your workplace culture?"
158
486844
5636
Если начнёт нанимать агрессивных людей,
потому что это норма для вашей компании?
потому что это норма для вашей компании?
Этого не определить, глядя
на процентное соотношение полов.
на процентное соотношение полов.
08:25
You can't tell this by looking
at gender breakdowns.
at gender breakdowns.
159
493173
2691
08:27
Those may be balanced.
160
495888
1502
Эти показатели могут быть в норме.
08:29
And since this is machine learning,
not traditional coding,
not traditional coding,
161
497414
3557
Так как это машинное обучение,
а не традиционное программирование,
а не традиционное программирование,
08:32
there is no variable there
labeled "higher risk of depression,"
labeled "higher risk of depression,"
162
500995
4907
тут нет переменной
«более высокий риск депрессии»,
«более высокий риск депрессии»,
08:37
"higher risk of pregnancy,"
163
505926
1833
«высокий риск беременности»,
08:39
"aggressive guy scale."
164
507783
1734
или «агрессивный парень».
08:41
Not only do you not know
what your system is selecting on,
what your system is selecting on,
165
509995
3679
Мало того, что вы не знаете,
как ваша система делает выводы,
как ваша система делает выводы,
08:45
you don't even know
where to begin to look.
where to begin to look.
166
513698
2323
вы даже не знаете, откуда что берётся.
08:48
It's a black box.
167
516045
1246
Это чёрный ящик.
08:49
It has predictive power,
but you don't understand it.
but you don't understand it.
168
517315
2807
Он может прогнозировать,
но мы не понимаем принцип его работы.
но мы не понимаем принцип его работы.
08:52
"What safeguards," I asked, "do you have
169
520486
2369
Я спросила:
«Какие у вас меры предосторожности,
«Какие у вас меры предосторожности,
08:54
to make sure that your black box
isn't doing something shady?"
isn't doing something shady?"
170
522879
3673
чтобы убедиться, что чёрный ящик
не делает ничего сомнительного?»
не делает ничего сомнительного?»
09:00
She looked at me as if I had
just stepped on 10 puppy tails.
just stepped on 10 puppy tails.
171
528863
3878
Она посмотрела на меня, как будто я
только что отдавила хвосты 10 щенкам.
только что отдавила хвосты 10 щенкам.
09:04
(Laughter)
172
532765
1248
(Смех)
09:06
She stared at me and she said,
173
534037
2041
Она посмотрела на меня и сказала:
09:08
"I don't want to hear
another word about this."
another word about this."
174
536556
4333
«Я не хочу слышать ни слова об этом».
09:13
And she turned around and walked away.
175
541458
2034
Она повернулась и пошла прочь.
Имейте в виду — она не грубила мне.
09:16
Mind you -- she wasn't rude.
176
544064
1486
09:17
It was clearly: what I don't know
isn't my problem, go away, death stare.
isn't my problem, go away, death stare.
177
545574
6308
Позиция очевидна: то, что я не знаю —
не моя проблема, отвяжись, стрелы из глаз.
не моя проблема, отвяжись, стрелы из глаз.
09:23
(Laughter)
178
551906
1246
(Смех)
09:25
Look, such a system
may even be less biased
may even be less biased
179
553862
3839
Такая система
может быть менее предвзятой,
может быть менее предвзятой,
09:29
than human managers in some ways.
180
557725
2103
чем сами менеджеры в каком-то смысле.
09:31
And it could make monetary sense.
181
559852
2146
В этом может быть финансовая выгода.
09:34
But it could also lead
182
562573
1650
Но это также может привести
09:36
to a steady but stealthy
shutting out of the job market
shutting out of the job market
183
564247
4748
к неуклонному и скрытому
выдавливанию с рынка труда
выдавливанию с рынка труда
09:41
of people with higher risk of depression.
184
569019
2293
людей с более высоким
риском развития депрессии.
риском развития депрессии.
09:43
Is this the kind of society
we want to build,
we want to build,
185
571753
2596
Мы хотим построить такое общество,
09:46
without even knowing we've done this,
186
574373
2285
даже не осознавая, что мы делаем,
09:48
because we turned decision-making
to machines we don't totally understand?
to machines we don't totally understand?
187
576682
3964
потому что отдали право принятия решений
машинам, которых до конца не понимаем?
машинам, которых до конца не понимаем?
09:53
Another problem is this:
188
581265
1458
Следующая проблема:
09:55
these systems are often trained
on data generated by our actions,
on data generated by our actions,
189
583314
4452
эти системы часто обучаются на данных,
произведённых нашими действиями —
произведённых нашими действиями —
09:59
human imprints.
190
587790
1816
человеческим поведением.
10:02
Well, they could just be
reflecting our biases,
reflecting our biases,
191
590188
3808
Возможно, они просто
отражают наши предубеждения,
отражают наши предубеждения,
10:06
and these systems
could be picking up on our biases
could be picking up on our biases
192
594020
3593
и эти системы могут
собирать наши пристрастия
собирать наши пристрастия
10:09
and amplifying them
193
597637
1313
и усиливать их,
10:10
and showing them back to us,
194
598974
1418
показывая нам их вновь,
10:12
while we're telling ourselves,
195
600416
1462
а мы говорим себе:
10:13
"We're just doing objective,
neutral computation."
neutral computation."
196
601902
3117
«Мы просто проводим объективные,
непредвзятые вычисления».
непредвзятые вычисления».
10:18
Researchers found that on Google,
197
606314
2677
Исследователи обнаружили что в Google
10:22
women are less likely than men
to be shown job ads for high-paying jobs.
to be shown job ads for high-paying jobs.
198
610134
5313
женщины реже, чем мужчины, видят
объявления о высокооплачиваемой работе.
объявления о высокооплачиваемой работе.
10:28
And searching for African-American names
199
616463
2530
Набирая в поисковике
афро-американские имена,
афро-американские имена,
10:31
is more likely to bring up ads
suggesting criminal history,
suggesting criminal history,
200
619017
4706
вероятность увидеть объявления
криминального характера будет выше,
криминального характера будет выше,
10:35
even when there is none.
201
623747
1567
даже там, где криминала нет.
10:38
Such hidden biases
and black-box algorithms
and black-box algorithms
202
626693
3549
Скрытая необъективность
и алгоритмы чёрного ящика,
и алгоритмы чёрного ящика,
10:42
that researchers uncover sometimes
but sometimes we don't know,
but sometimes we don't know,
203
630266
3973
которые исследователи
иногда выявляют, а иногда нет,
иногда выявляют, а иногда нет,
10:46
can have life-altering consequences.
204
634263
2661
могут иметь далеко идущие последствия.
10:49
In Wisconsin, a defendant
was sentenced to six years in prison
was sentenced to six years in prison
205
637958
4159
В Висконсине подсудимый был приговорён
к шести годам лишения свободы
к шести годам лишения свободы
10:54
for evading the police.
206
642141
1355
за уклонение от полиции.
10:56
You may not know this,
207
644824
1186
Может, вы не знаете,
10:58
but algorithms are increasingly used
in parole and sentencing decisions.
in parole and sentencing decisions.
208
646034
3998
но эти алгоритмы всё чаще используются
в вынесении приговоров.
в вынесении приговоров.
11:02
He wanted to know:
How is this score calculated?
How is this score calculated?
209
650056
2955
Он хотел узнать,
как всё это рассчитывается?
как всё это рассчитывается?
11:05
It's a commercial black box.
210
653795
1665
Это коммерческий чёрный ящик.
11:07
The company refused to have its algorithm
be challenged in open court.
be challenged in open court.
211
655484
4205
Компания отказалась обсуждать
свой алгоритм на открытом заседании суда.
свой алгоритм на открытом заседании суда.
11:12
But ProPublica, an investigative
nonprofit, audited that very algorithm
nonprofit, audited that very algorithm
212
660396
5532
Но следственная некоммерческая организация
ProPublica проверила алгоритм,
ProPublica проверила алгоритм,
11:17
with what public data they could find,
213
665952
2016
используя данные из Интернета,
11:19
and found that its outcomes were biased
214
667992
2316
и обнаружила,
что результаты необъективны,
что результаты необъективны,
11:22
and its predictive power
was dismal, barely better than chance,
was dismal, barely better than chance,
215
670332
3629
способность прогнозирования ужасная,
немного лучше, чем случайность.
немного лучше, чем случайность.
11:25
and it was wrongly labeling
black defendants as future criminals
black defendants as future criminals
216
673985
4416
Система классифицирует чернокожих
обвиняемых как будущих преступников
обвиняемых как будущих преступников
11:30
at twice the rate of white defendants.
217
678425
3895
в два раза чаще, чем белых обвиняемых.
11:35
So, consider this case:
218
683891
1564
Рассмотрим следующий случай:
11:38
This woman was late
picking up her godsister
picking up her godsister
219
686103
3852
Эта девушка опаздывала, чтобы забрать
свою крёстную сестру
свою крёстную сестру
11:41
from a school in Broward County, Florida,
220
689979
2075
из школы в округе Броуард, штат Флорида.
11:44
running down the street
with a friend of hers.
with a friend of hers.
221
692757
2356
Они с подругой бежали по улице.
11:47
They spotted an unlocked kid's bike
and a scooter on a porch
and a scooter on a porch
222
695137
4099
Тут они заметили незапертые
велосипед и скутер на крыльце
велосипед и скутер на крыльце
11:51
and foolishly jumped on it.
223
699260
1632
и по глупости взяли их.
11:52
As they were speeding off,
a woman came out and said,
a woman came out and said,
224
700916
2599
Когда они отъезжали,
вышла женщина и крикнула:
вышла женщина и крикнула:
11:55
"Hey! That's my kid's bike!"
225
703539
2205
«Эй! Это велосипед моего ребёнка!»
11:57
They dropped it, they walked away,
but they were arrested.
but they were arrested.
226
705768
3294
Они его бросили и ушли,
но их арестовали.
но их арестовали.
12:01
She was wrong, she was foolish,
but she was also just 18.
but she was also just 18.
227
709086
3637
Она была не права, она сглупила,
но ей было всего 18 лет.
но ей было всего 18 лет.
12:04
She had a couple of juvenile misdemeanors.
228
712747
2544
У неё была пара
малолетних правонарушений.
малолетних правонарушений.
12:07
Meanwhile, that man had been arrested
for shoplifting in Home Depot --
for shoplifting in Home Depot --
229
715808
5185
В то же время этот мужчина был
арестован за кражу в магазине Home Depot,
арестован за кражу в магазине Home Depot,
12:13
85 dollars' worth of stuff,
a similar petty crime.
a similar petty crime.
230
721017
2924
примерно на сумму 85 долларов —
такое же мелкое преступление.
такое же мелкое преступление.
12:16
But he had two prior
armed robbery convictions.
armed robbery convictions.
231
724766
4559
Но у него за спиной было
две судимости за вооружённый грабеж.
две судимости за вооружённый грабеж.
12:21
But the algorithm scored her
as high risk, and not him.
as high risk, and not him.
232
729955
3482
Алгоритм посчитал,
что её показатель риска выше, чем его.
что её показатель риска выше, чем его.
12:26
Two years later, ProPublica found
that she had not reoffended.
that she had not reoffended.
233
734746
3874
Спустя пару лет ProPublica выяснили,
что она больше не совершала преступлений.
что она больше не совершала преступлений.
12:30
It was just hard to get a job
for her with her record.
for her with her record.
234
738644
2550
Но зато ей было сложно найти
работу, имея судимость.
работу, имея судимость.
12:33
He, on the other hand, did reoffend
235
741218
2076
Тогда как этот мужчина стал рецидивистом,
12:35
and is now serving an eight-year
prison term for a later crime.
prison term for a later crime.
236
743318
3836
и в настоящее время отбывает восьмилетний
срок за своё последнее преступление.
срок за своё последнее преступление.
12:40
Clearly, we need to audit our black boxes
237
748088
3369
Очевидно, мы должны проверять
наши чёрные ящики,
наши чёрные ящики,
12:43
and not have them have
this kind of unchecked power.
this kind of unchecked power.
238
751481
2615
чтобы они не получили
бесконтрольную власть.
бесконтрольную власть.
12:46
(Applause)
239
754120
2879
(Аплодисменты)
12:50
Audits are great and important,
but they don't solve all our problems.
but they don't solve all our problems.
240
758087
4242
Проверка и контроль важны,
но они не решают всех проблем.
но они не решают всех проблем.
12:54
Take Facebook's powerful
news feed algorithm --
news feed algorithm --
241
762353
2748
Вспомните мощный алгоритм
ленты новостей на Facebook —
ленты новостей на Facebook —
12:57
you know, the one that ranks everything
and decides what to show you
and decides what to show you
242
765125
4843
знаете, тот, который оценивает всё
и решает, что именно вам показывать
и решает, что именно вам показывать
13:01
from all the friends and pages you follow.
243
769992
2284
от ваших друзей и до страниц,
на которые вы подписаны.
на которые вы подписаны.
13:04
Should you be shown another baby picture?
244
772898
2275
Показать вам ещё одну картинку младенца?
13:07
(Laughter)
245
775197
1196
(Смех)
13:08
A sullen note from an acquaintance?
246
776417
2596
Грустный комментарий от знакомого?
13:11
An important but difficult news item?
247
779449
1856
Важную, но непростую новость?
13:13
There's no right answer.
248
781329
1482
Тут нет единого ответа.
13:14
Facebook optimizes
for engagement on the site:
for engagement on the site:
249
782835
2659
Facebook оптимизирует
вашу деятельность на сайте:
вашу деятельность на сайте:
13:17
likes, shares, comments.
250
785518
1415
лайки, ссылки, комментарии.
13:20
In August of 2014,
251
788168
2696
В августе 2014 года
13:22
protests broke out in Ferguson, Missouri,
252
790888
2662
в Фергюсоне, штат Миссури
вспыхнули протесты
вспыхнули протесты
13:25
after the killing of an African-American
teenager by a white police officer,
teenager by a white police officer,
253
793574
4417
после того, как белый полицейский
убил афро-американского подростка
убил афро-американского подростка
13:30
under murky circumstances.
254
798015
1570
при невыясненных обстоятельствах.
13:31
The news of the protests was all over
255
799974
2007
Новости о протестах заполонили
13:34
my algorithmically
unfiltered Twitter feed,
unfiltered Twitter feed,
256
802005
2685
мой алгоритмически
нефильтрованный Twitter,
нефильтрованный Twitter,
13:36
but nowhere on my Facebook.
257
804714
1950
но в моём Facebook их не было.
Может, это из-за моих друзей в Facebook?
13:39
Was it my Facebook friends?
258
807182
1734
13:40
I disabled Facebook's algorithm,
259
808940
2032
Я отключила алгоритм Facebook,
13:43
which is hard because Facebook
keeps wanting to make you
keeps wanting to make you
260
811472
2848
что было сложно, так как Facebook хочет,
13:46
come under the algorithm's control,
261
814344
2036
чтобы вы были под контролем алгоритма.
13:48
and saw that my friends
were talking about it.
were talking about it.
262
816404
2238
Я увидела, что мои друзья
обсуждали эту тему.
обсуждали эту тему.
13:50
It's just that the algorithm
wasn't showing it to me.
wasn't showing it to me.
263
818666
2509
Просто алгоритм не показывал это мне.
Я изучила этот вопрос и выяснила,
что это распространённая проблема.
что это распространённая проблема.
13:53
I researched this and found
this was a widespread problem.
this was a widespread problem.
264
821199
3042
Новость про Фергюсон
была неудобна для алгоритма.
была неудобна для алгоритма.
13:56
The story of Ferguson
wasn't algorithm-friendly.
wasn't algorithm-friendly.
265
824265
3813
Эта новость не наберёт лайки.
14:00
It's not "likable."
266
828102
1171
14:01
Who's going to click on "like?"
267
829297
1552
Кто будет лайкать это?
14:03
It's not even easy to comment on.
268
831500
2206
Это даже сложно комментировать.
14:05
Without likes and comments,
269
833730
1371
Без лайков и комментариев
14:07
the algorithm was likely showing it
to even fewer people,
to even fewer people,
270
835125
3292
алгоритм, вероятно, показывал
новость ещё меньшему кругу людей,
новость ещё меньшему кругу людей,
14:10
so we didn't get to see this.
271
838441
1542
поэтому мы не видели это.
Вместо этого на той же неделе
14:12
Instead, that week,
272
840946
1228
14:14
Facebook's algorithm highlighted this,
273
842198
2298
алгоритм Facebook выделил это —
14:16
which is the ALS Ice Bucket Challenge.
274
844520
2226
кампания «испытание ведром ледяной воды».
Важное дело: выливаем ведро со льдом,
жертвуем на благотворительность — супер.
жертвуем на благотворительность — супер.
14:18
Worthy cause; dump ice water,
donate to charity, fine.
donate to charity, fine.
275
846770
3742
14:22
But it was super algorithm-friendly.
276
850536
1904
Это было очень удобно для алгоритма.
14:25
The machine made this decision for us.
277
853219
2613
Машина решила за нас.
14:27
A very important
but difficult conversation
but difficult conversation
278
855856
3497
Очень важный, но трудный разговор,
14:31
might have been smothered,
279
859377
1555
возможно, был бы замят,
14:32
had Facebook been the only channel.
280
860956
2696
будь Facebook единственным каналом.
14:36
Now, finally, these systems
can also be wrong
can also be wrong
281
864117
3797
Наконец, эти системы могут делать ошибки,
14:39
in ways that don't resemble human systems.
282
867938
2736
которые не похожи на ошибки людей.
14:42
Do you guys remember Watson,
IBM's machine-intelligence system
IBM's machine-intelligence system
283
870698
2922
Помните Уотсона,
искусственный интеллект IBM,
искусственный интеллект IBM,
14:45
that wiped the floor
with human contestants on Jeopardy?
with human contestants on Jeopardy?
284
873644
3128
который разгромил соперников-людей
на телевикторине Jeopardy?
на телевикторине Jeopardy?
14:49
It was a great player.
285
877131
1428
Он был отличным игроком.
14:50
But then, for Final Jeopardy,
Watson was asked this question:
Watson was asked this question:
286
878583
3569
Тогда, во время финала игры
Уотсону задали вопрос:
Уотсону задали вопрос:
«Его крупнейший аэропорт назван
в честь героя Второй мировой войны,
в честь героя Второй мировой войны,
14:54
"Its largest airport is named
for a World War II hero,
for a World War II hero,
287
882659
2932
14:57
its second-largest
for a World War II battle."
for a World War II battle."
288
885615
2252
а второй — в честь битвы
Второй мировой войны».
Второй мировой войны».
14:59
(Hums Final Jeopardy music)
289
887891
1378
(Музыка Final Jeopardy)
15:01
Chicago.
290
889582
1182
Чикаго.
15:02
The two humans got it right.
291
890788
1370
Два человека ответили правильно.
15:04
Watson, on the other hand,
answered "Toronto" --
answered "Toronto" --
292
892697
4348
Уотсон ответил «Торонто» —
15:09
for a US city category!
293
897069
1818
в категории городов США!
15:11
The impressive system also made an error
294
899596
2901
Мощнейшая система сделала ошибку,
15:14
that a human would never make,
a second-grader wouldn't make.
a second-grader wouldn't make.
295
902521
3651
которую человек никогда бы не сделал,
даже второклассник бы не ошибся.
даже второклассник бы не ошибся.
15:18
Our machine intelligence can fail
296
906823
3109
Искусственный интеллект
может ошибиться там,
может ошибиться там,
15:21
in ways that don't fit
error patterns of humans,
error patterns of humans,
297
909956
3100
где человек не допустит ошибку,
15:25
in ways we won't expect
and be prepared for.
and be prepared for.
298
913080
2950
там, где мы не ожидаем
ошибку и не готовы к ней.
ошибку и не готовы к ней.
15:28
It'd be lousy not to get a job
one is qualified for,
one is qualified for,
299
916054
3638
Жалко не получить работу тому,
кто для неё подходит,
кто для неё подходит,
15:31
but it would triple suck
if it was because of stack overflow
if it was because of stack overflow
300
919716
3727
но ещё хуже, если это произошло
из-за переполнения стека
из-за переполнения стека
15:35
in some subroutine.
301
923467
1432
в какой-то подпрограмме.
15:36
(Laughter)
302
924923
1579
(Смех)
15:38
In May of 2010,
303
926526
2786
В мае 2010 года
15:41
a flash crash on Wall Street
fueled by a feedback loop
fueled by a feedback loop
304
929336
4044
произошёл обвал рынка Уолл-стрит
по вине метода передачи данных
по вине метода передачи данных
15:45
in Wall Street's "sell" algorithm
305
933404
3028
в алгоритме Уолл-стрит «сбыт»,
15:48
wiped a trillion dollars
of value in 36 minutes.
of value in 36 minutes.
306
936456
4184
что снизило стоимость бумаг
на триллион долларов на 36 минут.
на триллион долларов на 36 минут.
Даже подумать страшно, какие
последствия может иметь «ошибка»
последствия может иметь «ошибка»
15:53
I don't even want to think
what "error" means
what "error" means
307
941722
2187
15:55
in the context of lethal
autonomous weapons.
autonomous weapons.
308
943933
3589
в контексте автономного летального оружия.
16:01
So yes, humans have always made biases.
309
949894
3790
У людей всегда предвзятый взгляд на вещи.
16:05
Decision makers and gatekeepers,
310
953708
2176
Лица, принимающие решения, и контролёры;
16:07
in courts, in news, in war ...
311
955908
3493
в судах, в новостях, на войне ...
16:11
they make mistakes;
but that's exactly my point.
but that's exactly my point.
312
959425
3038
люди совершают ошибки —
именно это я и имею в виду.
именно это я и имею в виду.
16:14
We cannot escape
these difficult questions.
these difficult questions.
313
962487
3521
Мы не можем избежать сложных вопросов.
16:18
We cannot outsource
our responsibilities to machines.
our responsibilities to machines.
314
966596
3516
Мы не можем переложить
свои обязанности на машины.
свои обязанности на машины.
16:22
(Applause)
315
970676
4208
(Аплодисменты)
16:29
Artificial intelligence does not give us
a "Get out of ethics free" card.
a "Get out of ethics free" card.
316
977089
4447
Искусственный интеллект не даёт нам
права переложить вопросы этики на машину.
права переложить вопросы этики на машину.
16:34
Data scientist Fred Benenson
calls this math-washing.
calls this math-washing.
317
982742
3381
Эксперт по данным Фред Бененсон
называет это «математической чисткой».
называет это «математической чисткой».
16:38
We need the opposite.
318
986147
1389
Нам нужно совсем другое.
16:39
We need to cultivate algorithm suspicion,
scrutiny and investigation.
scrutiny and investigation.
319
987560
5388
Нам необходимы пристальное внимание,
контроль и оценка алгоритмов.
контроль и оценка алгоритмов.
16:45
We need to make sure we have
algorithmic accountability,
algorithmic accountability,
320
993380
3198
У нас должна быть
алгоритмическая отчётность,
алгоритмическая отчётность,
16:48
auditing and meaningful transparency.
321
996602
2445
проверка и достаточная прозрачность.
16:51
We need to accept
that bringing math and computation
that bringing math and computation
322
999380
3234
Мы должны признать, что, добавив
математику и вычисления
математику и вычисления
16:54
to messy, value-laden human affairs
323
1002638
2970
к запутанным человеческим делам,
16:57
does not bring objectivity;
324
1005632
2384
мы не получим объективности;
17:00
rather, the complexity of human affairs
invades the algorithms.
invades the algorithms.
325
1008040
3633
скорее, сложность человеческих
отношений вторгнется в алгоритмы.
отношений вторгнется в алгоритмы.
17:04
Yes, we can and we should use computation
326
1012148
3487
Да, мы можем, и мы должны
использовать вычисления
использовать вычисления
17:07
to help us make better decisions.
327
1015659
2014
для поиска лучших решений.
17:09
But we have to own up
to our moral responsibility to judgment,
to our moral responsibility to judgment,
328
1017697
5332
Мы также должны нести моральную
ответственность и принимать решения,
ответственность и принимать решения,
17:15
and use algorithms within that framework,
329
1023053
2818
успользуя алгоритмы в этих рамках,
17:17
not as a means to abdicate
and outsource our responsibilities
and outsource our responsibilities
330
1025895
4935
а не как средство отказа от обязательств,
чтобы передать наши обязанности
чтобы передать наши обязанности
17:22
to one another as human to human.
331
1030854
2454
друг другу, как один человек другому.
17:25
Machine intelligence is here.
332
1033807
2609
Искусственный интеллект уже здесь.
17:28
That means we must hold on ever tighter
333
1036440
3421
Это значит, что мы должны
ещё больше придерживаться
ещё больше придерживаться
17:31
to human values and human ethics.
334
1039885
2147
человеческих ценностей и этики.
17:34
Thank you.
335
1042056
1154
Спасибо.
17:35
(Applause)
336
1043234
5020
(Аплодисменты)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com