ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
TED2017

Cathy O'Neil: The era of blind faith in big data must end

Кэти О'Нил: Эра слепой веры в «большие данные» должна закончиться

Filmed:
1,391,460 views

Алгоритмы решают, кто получает кредит, кто идёт на собеседование, кто получает страховку и многое другое, но они не делают ситуацию автоматически справедливой. Математик и специалист по обработке данных Кэти О'Нил придумала термин для секретных, важных и пагубных алгоритмов: «оружие математического уничтожения». Узнайте больше о мотивах, которые скрыты за формулами.
- Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio

Double-click the English transcript below to play the video.

00:12
AlgorithmsАлгоритмы are everywhereвезде.
0
975
1596
Алгоритмы повсюду.
00:16
They sortСортировать and separateотдельный
the winnersпобедители from the losersпроигравшие.
1
4111
3125
Они сортируют людей, отделяя
победителей от проигравших.
00:20
The winnersпобедители get the jobработа
2
8019
2264
Победители получают желаемую работу
00:22
or a good creditкредит cardкарта offerпредлагает.
3
10307
1743
или выгодное кредитное предложение.
00:24
The losersпроигравшие don't even get an interviewинтервью
4
12074
2651
Неудачники даже не получают
шанса на собеседование
00:27
or they payплатить more for insuranceстрахование.
5
15590
1777
или платят больше за страхование.
00:30
We're beingявляющийся scoredзабил with secretсекрет formulasформулы
that we don't understandПонимаю
6
18197
3549
Нас «считывают» по секретным формулам,
которые мы зачастую не понимаем,
00:34
that oftenдовольно часто don't have systemsсистемы of appealобращение.
7
22675
3217
без возможности обжалования решения.
00:39
That begsумоляет the questionвопрос:
8
27240
1296
Назревает вопрос:
00:40
What if the algorithmsалгоритмы are wrongнеправильно?
9
28560
2913
что, если эти алгоритмы ошибочны?
Для построения алгоритма
вам нужны две вещи:
00:45
To buildстроить an algorithmалгоритм you need two things:
10
33100
2040
00:47
you need dataданные, what happenedполучилось in the pastмимо,
11
35164
1981
вам нужны данные о прошлых событиях
00:49
and a definitionопределение of successуспех,
12
37169
1561
и определение понятия «успех» —
00:50
the thing you're looking for
and oftenдовольно часто hopingнадеясь for.
13
38754
2457
того, к чему вы стремитесь
и на что надеетесь.
00:53
You trainпоезд an algorithmалгоритм
by looking, figuringвычисляя out.
14
41235
5037
Вы обучаете алгоритм,
наблюдая за результатом.
00:58
The algorithmалгоритм figuresцифры out
what is associatedсвязанный with successуспех.
15
46296
3419
Алгоритм вычисляет всё то,
что связано с успехом.
01:01
What situationситуация leadsприводит to successуспех?
16
49739
2463
Какая ситуация приводит к успеху?
01:04
ActuallyНа самом деле, everyoneвсе usesиспользования algorithmsалгоритмы.
17
52881
1762
Каждый из нас использует алгоритмы.
01:06
They just don't formalizeформализовать them
in writtenнаписано codeкод.
18
54667
2718
Мы просто не записываем их
в виде формул и кодов.
01:09
Let me give you an exampleпример.
19
57409
1348
Приведу пример.
01:10
I use an algorithmалгоритм everyкаждый day
to make a mealеда for my familyсемья.
20
58781
3316
Я использую алгоритм каждый день,
когда готовлю еду для своей семьи.
01:14
The dataданные I use
21
62121
1476
Данные, которые я использую, —
01:16
is the ingredientsингредиенты in my kitchenкухня,
22
64394
1659
это ингредиенты у меня на кухне,
01:18
the time I have,
23
66077
1527
моё время,
01:19
the ambitionамбиция I have,
24
67628
1233
мои цели,
01:20
and I curateвикарий that dataданные.
25
68885
1709
и я организовываю эти данные.
01:22
I don't countподсчитывать those little packagesпакеты
of ramenрамен noodlesлапша as foodпитание.
26
70618
4251
Я не считаю эти пакетики лапши пищей.
01:26
(LaughterСмех)
27
74893
1869
(Смех)
01:28
My definitionопределение of successуспех is:
28
76786
1845
Вот моё определение успеха:
01:30
a mealеда is successfulуспешный
if my kidsДети eatесть vegetablesовощи.
29
78655
2659
блюдо удалось, если мои дети едят овощи.
01:34
It's very differentдругой
from if my youngestмладший sonсын were in chargeзаряд.
30
82181
2854
Мой младший сын думает по-другому.
01:37
He'dОн say successуспех is if
he getsполучает to eatесть lots of NutellaNutella.
31
85059
2788
Для него успех — это если он
получит много Нутеллы.
01:41
But I get to chooseвыберите successуспех.
32
89179
2226
Но определяю успех я.
01:43
I am in chargeзаряд. My opinionмнение mattersвопросы.
33
91429
2707
Я главная. Именно моё мнение
имеет значение.
01:46
That's the first ruleправило of algorithmsалгоритмы.
34
94160
2675
Это первое правило алгоритмов.
01:48
AlgorithmsАлгоритмы are opinionsмнения embeddedвстроенный in codeкод.
35
96859
3180
Алгоритмы — это мнения, встроенные в код.
01:53
It's really differentдругой from what you think
mostбольшинство people think of algorithmsалгоритмы.
36
101562
3663
Это отличается от того, как большинство
людей воспринимают алгоритмы.
01:57
They think algorithmsалгоритмы are objectiveзадача
and trueправда and scientificнаучный.
37
105249
4504
Алгоритмы для них объективны,
истинны и научны.
02:02
That's a marketingмаркетинг trickтрюк.
38
110387
1699
Это маркетинговый трюк.
02:05
It's alsoтакже a marketingмаркетинг trickтрюк
39
113269
2125
Этот трюк используют
02:07
to intimidateзапугивать you with algorithmsалгоритмы,
40
115418
3154
для того, чтобы запугать вас алгоритмами,
02:10
to make you trustдоверять and fearстрах algorithmsалгоритмы
41
118596
3661
чтобы вы доверяли им и боялись их,
02:14
because you trustдоверять and fearстрах mathematicsматематика.
42
122281
2018
как вы доверяете математике и боитесь еë.
02:17
A lot can go wrongнеправильно when we put
blindслепой faithвера in bigбольшой dataданные.
43
125567
4830
Опасно вкладывать слепую веру
в «большие данные».
02:23
This is KiriKiri SoaresСоарес.
She's a highвысокая schoolшкола principalглавный in BrooklynBrooklyn.
44
131684
3373
Это Кири Соареш.
Она директор средней школы в Бруклине.
02:27
In 2011, she told me
her teachersучителей were beingявляющийся scoredзабил
45
135081
2586
В 2011 году она рассказала,
что её учителей оценивали
02:29
with a complexсложный, secretсекрет algorithmалгоритм
46
137691
2727
с помощью сложного секретного алгоритма —
02:32
calledназывается the "value-addedдобавленная стоимость modelмодель."
47
140442
1489
«модели добавленной стоимости».
02:34
I told her, "Well, figureфигура out
what the formulaформула is, showпоказать it to me.
48
142505
3092
Я сказала ей: «Выясни-ка,
что это за формула и покажи мне,
02:37
I'm going to explainобъяснять it to you."
49
145621
1541
я попробую объяснить еë тебе».
02:39
She said, "Well, I triedпытался
to get the formulaформула,
50
147186
2141
Она сказала: «Ну, я хотела
получить формулу,
02:41
but my Departmentотдел of Educationобразование contactконтакт
told me it was mathматематический
51
149351
2772
но в отделе образования мне сказали,
что это математика,
02:44
and I wouldn'tне будет understandПонимаю it."
52
152147
1546
и я не ничего пойму».
02:47
It getsполучает worseхуже.
53
155266
1338
Ситуация ухудшается.
02:48
The Newновый YorkЙорк PostПосле filedподанной
a Freedomсвобода of InformationИнформация Actакт requestзапрос,
54
156628
3530
Газета «Нью-Йорк Пост», согласно
Закона о свободе информации,
02:52
got all the teachers'учительской namesимена
and all theirих scoresмножество
55
160182
2959
опубликовала инфо с именами
всех учителей и их баллами
02:55
and they publishedопубликованный them
as an actакт of teacher-shamingучитель-стыдить.
56
163165
2782
в попытке пристыдить их.
02:59
When I triedпытался to get the formulasформулы,
the sourceисточник codeкод, throughчерез the sameодна и та же meansозначает,
57
167084
3860
Когда я сама попыталась получить формулы
и исходный код,
03:02
I was told I couldn'tне может.
58
170968
2149
мне их не дали.
03:05
I was deniedотказано.
59
173141
1236
Мне отказали.
03:06
I laterпозже foundнайденный out
60
174401
1174
Позже я узнала,
03:07
that nobodyникто in Newновый YorkЙорк Cityгород
had accessдоступ to that formulaформула.
61
175599
2866
что никто в Нью-Йорке
не имеет доступа к этой формуле.
03:10
No one understoodпонимать it.
62
178489
1305
Никто её не понимал.
03:13
Then someoneкто то really smartумная
got involvedучаствует, GaryGary RubensteinРубинштейн.
63
181929
3224
Пока за дело не взялся кто-то
умный — Гари Рубинштейн.
03:17
He foundнайденный 665 teachersучителей
from that Newновый YorkЙорк PostПосле dataданные
64
185177
3621
Он обнаружил, что 665 учителей
в базе данных Нью-Йорка
03:20
that actuallyна самом деле had two scoresмножество.
65
188822
1866
имели две оценки.
03:22
That could happenслучаться if they were teachingобучение
66
190712
1881
Это могло бы быть, если они преподают
03:24
seventhседьмой gradeкласс mathматематический and eighthвосьмой gradeкласс mathматематический.
67
192617
2439
математику в седьмом и восьмом классах.
03:27
He decidedприняли решение to plotсюжет them.
68
195080
1538
Он решил создать график.
03:28
Eachкаждый dotточка representsпредставляет a teacherучитель.
69
196642
1993
Каждая точка представляет собой учителя.
03:31
(LaughterСмех)
70
199104
2379
(Смех)
03:33
What is that?
71
201507
1521
Что это?
03:35
(LaughterСмех)
72
203052
1277
(Смех)
03:36
That should never have been used
for individualиндивидуальный assessmentоценка.
73
204353
3446
Это нельзя было использовать
для индивидуального оценивания.
03:39
It's almostпочти a randomслучайный numberномер generatorгенератор.
74
207823
1926
Это почти что генератор случайных чисел.
03:41
(ApplauseАплодисменты)
75
209773
2946
(Аплодисменты)
03:44
But it was.
76
212743
1162
Однако так и было.
03:45
This is SarahСара WysockiВысоцкий.
77
213929
1176
Это Сара Высоцки.
03:47
She got firedуволен, alongвдоль
with 205 other teachersучителей,
78
215129
2175
Её уволили вместе с 205 другими учителями
03:49
from the WashingtonВашингтон, DCОКРУГ КОЛУМБИЯ schoolшкола districtрайон,
79
217328
2662
из школы в Вашингтоне округа Колумбия,
03:52
even thoughхоть she had great
recommendationsрекомендации from her principalглавный
80
220014
2909
даже не смотря на отличные рекомендации
от директора её школы
03:54
and the parentsродители of her kidsДети.
81
222947
1428
и родителей учеников.
03:57
I know what a lot
of you guys are thinkingмышление,
82
225390
2032
Я знаю, о чём думают многие из вас,
03:59
especiallyособенно the dataданные scientistsученые,
the AIискусственный интеллект expertsэксперты here.
83
227446
2487
особенно специалисты ИТ, ИИ-эксперты.
04:01
You're thinkingмышление, "Well, I would never make
an algorithmалгоритм that inconsistentнепоследовательный."
84
229957
4226
Вы думаете: «Ну, я бы никогда не создал
такой непоследовательный алгоритм».
04:06
But algorithmsалгоритмы can go wrongнеправильно,
85
234853
1683
Но алгоритм может не сработать,
04:08
even have deeplyглубоко destructiveразрушительный effectsпоследствия
with good intentionsнамерения.
86
236560
4598
и даже благие намерения могут иметь
глубоко разрушительный эффект.
04:14
And whereasв то время как an airplaneсамолет
that's designedпредназначенный badlyплохо
87
242531
2379
И в то время как самолёт
с ошибками в проекте
04:16
crashesсбой to the earthЗемля and everyoneвсе seesвидит it,
88
244934
2001
упадëт на землю, и все это увидят,
04:18
an algorithmалгоритм designedпредназначенный badlyплохо
89
246959
1850
алгоритм с ошибками
04:22
can go on for a long time,
silentlyмолча wreakingсея havocопустошение.
90
250245
3865
может работать долгое время,
бесшумно давая волю хаосу.
04:27
This is RogerРоджер AilesAiles.
91
255748
1570
Это Роджер Айлз.
04:29
(LaughterСмех)
92
257342
2000
(Смех)
04:32
He foundedоснованный FoxЛиса NewsНовости in 1996.
93
260524
2388
Он основал Fox News в 1996 году.
Более 20 женщин жаловались
на сексуальные домогательства.
04:35
More than 20 womenженщины complainedжаловался
about sexualполовой harassmentдомогательство.
94
263436
2581
04:38
They said they weren'tне было allowedпозволил
to succeedдобиться успеха at FoxЛиса NewsНовости.
95
266041
3235
Они сказали, что им не дали возможности
преуспеть в Fox News.
04:41
He was oustedвытеснили last yearгод,
but we'veмы в seenвидели recentlyв последнее время
96
269300
2520
Его сняли и в прошлом году, но понятно,
04:43
that the problemsпроблемы have persistedсохранялось.
97
271844
2670
что проблемы так и остались нерешёнными.
04:47
That begsумоляет the questionвопрос:
98
275654
1400
Это вызывает вопрос:
04:49
What should FoxЛиса NewsНовости do
to turnочередь over anotherдругой leafлист?
99
277078
2884
что должны делать Fox News,
чтобы начать всё сначала?
04:53
Well, what if they replacedзаменены
theirих hiringнаем processобработать
100
281245
3041
Что, если бы они заменили процесс найма
04:56
with a machine-learningмашинное обучение algorithmалгоритм?
101
284310
1654
машинным алгоритмом?
04:57
That soundsзвуки good, right?
102
285988
1595
Неплохо, не так ли?
04:59
Think about it.
103
287607
1300
Подумайте об этом.
05:00
The dataданные, what would the dataданные be?
104
288931
2105
Данные, какими будут данные?
05:03
A reasonableразумный choiceвыбор would be the last
21 yearsлет of applicationsПриложения to FoxЛиса NewsНовости.
105
291060
4947
Разумно было бы проанализировать 21 год
опыта приёма на работу в Fox News.
05:08
Reasonableрезонный.
106
296031
1502
Разумно.
05:09
What about the definitionопределение of successуспех?
107
297557
1938
Как насчёт определения успеха?
05:11
Reasonableрезонный choiceвыбор would be,
108
299921
1324
Разумным было бы выбрать
05:13
well, who is successfulуспешный at FoxЛиса NewsНовости?
109
301269
1778
тех, кто преуспевает в Fox News?
05:15
I guessУгадай someoneкто то who, say,
stayedостались there for four4 yearsлет
110
303071
3580
Я думаю, тех, кто скажем,
проработал там четыре года
05:18
and was promotedспособствовало at leastнаименее onceодин раз.
111
306675
1654
и получил продвижение хотя бы один раз.
05:20
SoundsЗвуки reasonableразумный.
112
308816
1561
Звучит разумно.
05:22
And then the algorithmалгоритм would be trainedобученный.
113
310401
2354
А затем алгоритм
можно было бы натренировать.
05:24
It would be trainedобученный to look for people
to learnучить what led to successуспех,
114
312779
3877
Он мог бы искать людей,
которые способны достичь успеха,
05:29
what kindсвоего рода of applicationsПриложения
historicallyисторически led to successуспех
115
317219
4318
узнать, какие из претендентов на должность
были успешными в прошлом.
05:33
by that definitionопределение.
116
321561
1294
По этому определению.
05:36
Now think about what would happenслучаться
117
324200
1775
Подумайте о том, что произошло бы,
05:37
if we appliedприкладная that
to a currentтекущий poolбассейн of applicantsзаявители.
118
325999
2555
если применить эту формулу
ко всем претендентам.
05:41
It would filterфильтр out womenженщины
119
329119
1629
Женщин можно сразу исключить,
05:43
because they do not look like people
who were successfulуспешный in the pastмимо.
120
331663
3930
потому что среди них немного тех,
кто достиг успеха в прошлом.
05:51
AlgorithmsАлгоритмы don't make things fairСправедливая
121
339752
2537
Алгоритмы не обеспечивают справедливости.
05:54
if you just blithelyбеспечно,
blindlyслепо applyподать заявление algorithmsалгоритмы.
122
342313
2694
Если вы безропотно,
слепо применяете алгоритмы,
05:57
They don't make things fairСправедливая.
123
345031
1482
они не обеспечат честность.
05:58
They repeatповторение our pastмимо practicesпрактика,
124
346537
2128
Они повторяют наш прошлый опыт,
06:00
our patternsузоры.
125
348689
1183
наши шаблоны.
06:01
They automateавтоматизировать the statusположение дел quoкво.
126
349896
1939
Они автоматизируют статус-кво.
06:04
That would be great
if we had a perfectидеально worldМир,
127
352718
2389
Было бы здорово, если бы
у нас был идеальный мир,
06:07
but we don't.
128
355905
1312
но у нас его нет.
06:09
And I'll addДобавить that mostбольшинство companiesкомпании
don't have embarrassingзатруднительный lawsuitsиски,
129
357241
4102
Кстати, большинство компаний
обошлись без судебных процессов,
06:14
but the dataданные scientistsученые in those companiesкомпании
130
362446
2588
но учёным в данных компаниях
06:17
are told to followследовать the dataданные,
131
365058
2189
велено следить за данными,
06:19
to focusфокус on accuracyточность.
132
367271
2143
чтобы сосредоточиться на их точности.
06:22
Think about what that meansозначает.
133
370273
1381
Подумайте, что это значит.
06:23
Because we all have biasсмещение,
it meansозначает they could be codifyingкодифицировать sexismсексизм
134
371678
4027
Поскольку все мы не лишены предвзятости,
данные могут кодифицировать сексизм
06:27
or any other kindсвоего рода of bigotryфанатизм.
135
375729
1836
или другие формы дискриминации.
06:31
Thought experimentэксперимент,
136
379488
1421
Вот мысленный эксперимент,
06:32
because I like them:
137
380933
1509
потому что мне они нравятся:
06:35
an entirelyполностью segregatedсегрегированный societyобщество --
138
383574
2975
общество с полной сегрегацией —
06:40
raciallyрасово segregatedсегрегированный, all townsгорода,
all neighborhoodsокрестности
139
388247
3328
расовое разделение во всех
городах, всех районах.
06:43
and where we sendОтправить the policeполиция
only to the minorityменьшинство neighborhoodsокрестности
140
391599
3037
Мы отправляем полицию только
в окрестности меньшинств
06:46
to look for crimeпреступление.
141
394660
1193
расследовать преступления.
06:48
The arrestарестовывать dataданные would be very biasedпристрастный.
142
396451
2219
Данные об аресте будут очень предвзятыми.
06:51
What if, on topВверх of that,
we foundнайденный the dataданные scientistsученые
143
399851
2575
А что, если, мы нашли бы специалистов
06:54
and paidоплаченный the dataданные scientistsученые to predictпрогнозировать
where the nextследующий crimeпреступление would occurпроисходить?
144
402450
4161
и заплатили им за прогноз
места следующего преступления?
06:59
Minorityменьшинство neighborhoodокрестности.
145
407275
1487
Окрестность меньшинств.
07:01
Or to predictпрогнозировать who the nextследующий
criminalпреступник would be?
146
409285
3125
Или же за прогнозирование
следующего преступника?
07:04
A minorityменьшинство.
147
412888
1395
Кто-то из меньшинств.
07:07
The dataданные scientistsученые would bragхвастать
about how great and how accurateточный
148
415949
3541
Специалисты обработки данных хвалятся тем,
насколько гениальны и точны
07:11
theirих modelмодель would be,
149
419514
1297
их модели,
07:12
and they'dони be right.
150
420835
1299
и они правы.
07:15
Now, realityреальность isn't that drasticрадикальный,
but we do have severeсерьезный segregationsвыделения
151
423951
4615
Теперь реальность не настолько радикальна,
но у нас есть серьёзное разделение
07:20
in manyмногие citiesгорода and townsгорода,
152
428590
1287
во многих городах,
07:21
and we have plentyмного of evidenceдоказательства
153
429901
1893
и у нас есть много доказательств
07:23
of biasedпристрастный policingполицейская
and justiceсправедливость systemсистема dataданные.
154
431818
2688
предвзятости
в политической и судебной системах.
07:27
And we actuallyна самом деле do predictпрогнозировать hotspotsгорячие точки,
155
435632
2815
И мы прогнозируем горячие точки —
07:30
placesмест where crimesпреступления will occurпроисходить.
156
438471
1530
места преступлений.
07:32
And we do predictпрогнозировать, in factфакт,
the individualиндивидуальный criminalityпреступность,
157
440401
3866
И мы на самом деле предсказываем
преступления отдельных лиц,
07:36
the criminalityпреступность of individualsиндивидуумы.
158
444291
1770
преступные действия индивидов.
07:38
The newsНовости organizationорганизация ProPublicaProPublica
recentlyв последнее время lookedсмотрел into
159
446972
3963
Новостной ресурс ProPublica
недавно рассмотрел
07:42
one of those "recidivismрецидив riskриск" algorithmsалгоритмы,
160
450959
2024
один из алгоритмов — «риск рецидива»,
07:45
as they're calledназывается,
161
453007
1163
как его называют,
07:46
beingявляющийся used in FloridaФлорида
duringв течение sentencingвынесение приговора by judgesсудьи.
162
454194
3194
который используется во Флориде
при вынесения приговора судьями.
07:50
BernardБернард, on the left, the blackчерный man,
was scoredзабил a 10 out of 10.
163
458411
3585
Бернар, чернокожий человек слева,
получил 10 из 10.
07:55
DylanDylan, on the right, 3 out of 10.
164
463179
2007
Дилан, справа, — 3 из 10.
07:57
10 out of 10, highвысокая riskриск.
3 out of 10, lowнизкий riskриск.
165
465210
2501
10 из 10 — это высокий риск.
3 из 10 — низкий риск.
08:00
They were bothи то и другое broughtпривел in
for drugлекарственное средство possessionвладение.
166
468598
2385
Они оба были привлечены
за хранение наркотиков.
08:03
They bothи то и другое had recordsучет,
167
471007
1154
Они оба имели аресты,
08:04
but DylanDylan had a felonyфелония
168
472185
2806
но у Дилана было уголовное преступление,
08:07
but BernardБернард didn't.
169
475015
1176
а у Бернарда нет.
08:09
This mattersвопросы, because
the higherвыше scoreГол you are,
170
477818
3066
Это имеет значение, потому
что чем выше оценка,
08:12
the more likelyвероятно you're beingявляющийся givenданный
a longerдольше sentenceпредложение.
171
480908
3473
тем больше вероятность того, что вам
дадут более длительный срок.
08:18
What's going on?
172
486294
1294
Что происходит?
08:20
DataДанные launderingотмывание.
173
488526
1332
«Отмывание» данных.
08:22
It's a processобработать by whichкоторый
technologistsтехнологи hideскрывать uglyуродливый truthsистины
174
490930
4427
Это процесс сокрытия правды
08:27
insideвнутри blackчерный boxкоробка algorithmsалгоритмы
175
495381
1821
в «чёрном ящике» алгоритмов,
08:29
and call them objectiveзадача;
176
497226
1290
алгоритмов объективных
08:31
call them meritocraticмеритократический.
177
499320
1568
и заслуживающих одобрения.
08:35
When they're secretсекрет,
importantважный and destructiveразрушительный,
178
503118
2385
Они секретны, важны и разрушительны.
08:37
I've coinedпридумано a termсрок for these algorithmsалгоритмы:
179
505527
2487
Я придумала термин для них:
08:40
"weaponsоружие of mathматематический destructionразрушение."
180
508038
1999
«оружие математического уничтожения».
08:42
(LaughterСмех)
181
510061
1564
(Смех)
08:43
(ApplauseАплодисменты)
182
511649
3054
(Аплодисменты)
08:46
They're everywhereвезде,
and it's not a mistakeошибка.
183
514727
2354
Они повсюду, и это не ошибка.
08:49
These are privateчастный companiesкомпании
buildingздание privateчастный algorithmsалгоритмы
184
517695
3723
Частные компании строят
08:53
for privateчастный endsконцы.
185
521442
1392
частные алгоритмы для себя.
08:55
Even the onesте, I talkedговорили about
for teachersучителей and the publicобщественности policeполиция,
186
523214
3214
Даже алгоритмы для учителей и полиции
08:58
those were builtпостроен by privateчастный companiesкомпании
187
526452
1869
были построены частными компаниями
09:00
and soldпродан to the governmentправительство institutionsучреждения.
188
528345
2231
и проданы государственным учреждениям.
09:02
They call it theirих "secretсекрет sauceсоус" --
189
530600
1873
Они называют это своим «секретом» —
09:04
that's why they can't tell us about it.
190
532497
2128
вот почему они не рассказывают ничего.
09:06
It's alsoтакже privateчастный powerмощность.
191
534649
2220
Это также частная власть.
09:09
They are profitingприбыль for wieldingвладеющий
the authorityвласть of the inscrutableнепостижимый.
192
537924
4695
Они пользуются преимуществом,
обеспеченным секретностью.
09:17
Now you mightмог бы think,
sinceпоскольку all this stuffматериал is privateчастный
193
545114
2934
Так как всё частное
и присутствует конкуренция,
09:20
and there's competitionсоревнование,
194
548072
1158
09:21
maybe the freeсвободно marketрынок
will solveрешать this problemпроблема.
195
549254
2306
свободный рынок — это выход.
09:23
It won'tне будет.
196
551584
1249
Но это не так.
09:24
There's a lot of moneyДеньги
to be madeсделал in unfairnessнечестность.
197
552857
3120
В этой несправедливости — куча денег.
09:29
AlsoТакже, we're not economicэкономической rationalрациональный agentsагенты.
198
557127
3369
И мы не рациональны
с точки зрения экономики.
09:33
We all are biasedпристрастный.
199
561031
1292
Мы все предвзяты.
09:34
We're all racistрасист and bigotedнетерпимый
in waysпути that we wishжелание we weren'tне было,
200
562960
3377
Мы все расисты и фанатики, к сожалению,
09:38
in waysпути that we don't even know.
201
566361
2019
часто подсознательно.
09:41
We know this, thoughхоть, in aggregateсовокупный,
202
569352
3081
Мы это знаем, но, в совокупности,
09:44
because sociologistsсоциологи
have consistentlyпоследовательно demonstratedпродемонстрировал this
203
572457
3220
социологи демонстрируют это
09:47
with these experimentsэксперименты they buildстроить,
204
575701
1665
своими экспериментами.
09:49
where they sendОтправить a bunchгроздь
of applicationsПриложения to jobsработы out,
205
577390
2568
Они рассылают заявки
квалифицированных работников,
09:51
equallyв равной степени qualifiedквалифицированный but some
have white-soundingбелый звучащих namesимена
206
579982
2501
и по их именам можно понять,
09:54
and some have black-soundingчерный звучащих namesимена,
207
582507
1706
белые они или чернокожие.
09:56
and it's always disappointingразочаровывающий,
the resultsРезультаты -- always.
208
584237
2694
И результаты всегда разочаровывают.
09:59
So we are the onesте, that are biasedпристрастный,
209
587510
1771
Мы предвзяты
10:01
and we are injectingинъекционных those biasesуклоны
into the algorithmsалгоритмы
210
589305
3429
и внедряем предубеждения в алгоритмы,
10:04
by choosingвыбор what dataданные to collectсобирать,
211
592758
1812
отбирая данные.
10:06
like I choseвыбрал not to think
about ramenрамен noodlesлапша --
212
594594
2743
Вот я решила не думать о лапше,
10:09
I decidedприняли решение it was irrelevantне имеет значения.
213
597361
1625
я решила, что это неприемлемо.
10:11
But by trustingдоверчивый the dataданные that's actuallyна самом деле
pickingсобирание up on pastмимо practicesпрактика
214
599010
5684
Но, доверяя собранным ранее данным
10:16
and by choosingвыбор the definitionопределение of successуспех,
215
604718
2014
и выбирая своё определение успеха,
10:18
how can we expectожидать the algorithmsалгоритмы
to emergeвсплывать unscathedневредимый?
216
606756
3983
можно ли ожидать, что алгоритмы
окажутся непредвзятыми?
10:22
We can't. We have to checkпроверить them.
217
610763
2356
Нет. Мы должны их проверять.
Мы должны проверять их на справедливость.
10:26
We have to checkпроверить them for fairnessсправедливость.
218
614165
1709
10:27
The good newsНовости is,
we can checkпроверить them for fairnessсправедливость.
219
615898
2711
Хорошей новостью является то,
что мы можем это сделать.
10:30
AlgorithmsАлгоритмы can be interrogatedдопросил,
220
618633
3352
Алгоритмы можно допросить,
10:34
and they will tell us
the truthправда everyкаждый time.
221
622009
2034
и они всегда скажут нам правду.
10:36
And we can fixфиксировать them.
We can make them better.
222
624067
2493
И мы можем их исправить.
Мы можем их улучшить.
10:38
I call this an algorithmicалгоритмический auditаудит,
223
626584
2375
Это алгоритмический аудит,
10:40
and I'll walkходить you throughчерез it.
224
628983
1679
и я вам сейчас объясню.
10:42
First, dataданные integrityцелостность checkпроверить.
225
630686
2196
Во-первых — проверка целостности данных.
10:46
For the recidivismрецидив riskриск
algorithmалгоритм I talkedговорили about,
226
634132
2657
Для алгоритма определения риска
рецидива, о котором я говорила ранее,
10:49
a dataданные integrityцелостность checkпроверить would mean
we'dмы б have to come to termsсроки with the factфакт
227
637582
3573
проверка целостности данных
означает принятие факта о том,
10:53
that in the US, whitesбели and blacksнегры
smokeдым potгоршок at the sameодна и та же rateставка
228
641179
3526
что в США белые и чёрные курят
марихуану одинаково,
10:56
but blacksнегры are farдалеко more likelyвероятно
to be arrestedарестованный --
229
644729
2485
но чернокожих чаще задерживают.
10:59
four4 or five5 timesраз more likelyвероятно,
dependingв зависимости on the areaплощадь.
230
647238
3184
Вероятность ареста в 4–5 раз выше,
в зависимости от района.
11:03
What is that biasсмещение looking like
in other crimeпреступление categoriesкатегории,
231
651317
2826
Как это выглядит в других сферах права,
11:06
and how do we accountСчет for it?
232
654167
1451
и как это можно объяснить?
11:08
Secondвторой, we should think about
the definitionопределение of successуспех,
233
656162
3039
Во-вторых — успех,
11:11
auditаудит that.
234
659225
1381
проверьте его.
11:12
RememberЗапомнить -- with the hiringнаем
algorithmалгоритм? We talkedговорили about it.
235
660630
2752
Помните? Алгоритм принятия на работу?
11:15
SomeoneКто то who staysостается for four4 yearsлет
and is promotedспособствовало onceодин раз?
236
663406
3165
У кого стаж четыре года
и одно продвижение?
11:18
Well, that is a successfulуспешный employeeнаемный рабочий,
237
666595
1769
Это — успешный сотрудник,
11:20
but it's alsoтакже an employeeнаемный рабочий
that is supportedподдержанный by theirих cultureкультура.
238
668388
3079
но это и тот, кого поддерживает
культура компании.
11:24
That said, alsoтакже it can be quiteдовольно biasedпристрастный.
239
672089
1926
И это может быть довольно предвзятым.
11:26
We need to separateотдельный those two things.
240
674039
2065
Нам нужно разделять эти две вещи.
11:28
We should look to
the blindслепой orchestraоркестр auditionпрослушивание
241
676128
2426
Вот слепое cобеседование
11:30
as an exampleпример.
242
678578
1196
для примера.
11:31
That's where the people auditioningпрослушиваться
are behindза a sheetлист.
243
679798
2756
Прослушивают людей, не видя их.
11:34
What I want to think about there
244
682946
1931
Я думаю о том,
11:36
is the people who are listeningпрослушивание
have decidedприняли решение what's importantважный
245
684901
3417
что прослушивающие люди решили, что важно
11:40
and they'veони имеют decidedприняли решение what's not importantважный,
246
688342
2029
для них, а что нет.
11:42
and they're not gettingполучение
distractedотвлекается by that.
247
690395
2059
И больше они не отвлекаются на эту тему.
11:44
When the blindслепой orchestraоркестр
auditionsпрослушивания startedначал,
248
692961
2749
Когда начались «слепые оркестровые
прослушивания»,
11:47
the numberномер of womenженщины in orchestrasоркестры
wentотправился up by a factorфактор of five5.
249
695734
3444
число женщин в оркестрах
выросло в пять раз.
11:52
Nextследующий, we have to considerрассматривать accuracyточность.
250
700253
2015
Затем мы должны учитывать точность.
11:55
This is where the value-addedдобавленная стоимость modelмодель
for teachersучителей would failпотерпеть неудачу immediatelyнемедленно.
251
703233
3734
Тут модель добавленной стоимости
для учителей провалилась бы сразу.
11:59
No algorithmалгоритм is perfectидеально, of courseкурс,
252
707578
2162
Конечно, нет идеальных алгоритмов,
12:02
so we have to considerрассматривать
the errorsошибки of everyкаждый algorithmалгоритм.
253
710620
3605
поэтому мы должны учитывать
ошибки всех алгоритмов.
12:06
How oftenдовольно часто are there errorsошибки,
and for whomкого does this modelмодель failпотерпеть неудачу?
254
714836
4359
Когда бывают ошибки,
к кому эта модель не подходит?
12:11
What is the costСтоимость of that failureотказ?
255
719850
1718
Какова цена этой неудачи?
12:14
And finallyв конце концов, we have to considerрассматривать
256
722434
2207
И, наконец, мы должны рассмотреть
12:17
the long-termдолгосрочный effectsпоследствия of algorithmsалгоритмы,
257
725973
2186
долгосрочные эффекты алгоритмов,
12:20
the feedbackОбратная связь loopsпетли that are engenderingEngendering.
258
728866
2207
петли обратной связи.
12:23
That soundsзвуки abstractАбстрактные,
259
731586
1236
Это звучит абстрактно,
12:24
but imagineпредставить if Facebookfacebook engineersинженеры
had consideredсчитается that
260
732846
2664
но представьте, если бы об этом
подумали творцы Facebook,
12:28
before they decidedприняли решение to showпоказать us
only things that our friendsдрузья had postedотправил.
261
736270
4855
прежде чем они решили показать нам
публикации наших друзей.
12:33
I have two more messagesСообщения,
one for the dataданные scientistsученые out there.
262
741761
3234
У меня есть ещё два сообщения,
одно для ИТ специалистов.
12:37
DataДанные scientistsученые: we should
not be the arbitersарбитры of truthправда.
263
745450
3409
Ребята, мы не должны быть судьями правды,
12:41
We should be translatorsпереводчики
of ethicalэтический discussionsобсуждение that happenслучаться
264
749520
3783
мы должны передавать этику
12:45
in largerбольше societyобщество.
265
753327
1294
широкой общественности.
12:47
(ApplauseАплодисменты)
266
755579
2133
(Аплодисменты)
12:49
And the restотдых of you,
267
757736
1556
А для остальных,
12:52
the non-dataбез данных scientistsученые:
268
760011
1396
не специалистов ИТ:
12:53
this is not a mathматематический testконтрольная работа.
269
761431
1498
это не математический тест.
12:55
This is a politicalполитическая fightборьба.
270
763632
1348
Это политическая борьба.
12:58
We need to demandспрос accountabilityподотчетность
for our algorithmicалгоритмический overlordsповелители.
271
766587
3907
Нужна отчётность собственников алгоритмов.
13:04
(ApplauseАплодисменты)
272
772118
1499
(Аплодисменты)
13:05
The eraэпоха of blindслепой faithвера
in bigбольшой dataданные mustдолжен endконец.
273
773641
4225
Эре слепой веры в «большие данные» конец!
13:09
Thank you very much.
274
777890
1167
Спасибо большое.
13:11
(ApplauseАплодисменты)
275
779081
5303
(Аплодисменты)
Translated by Lana Zapolskykh
Reviewed by Yulia Kallistratova

▲Back to top

ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com