TED2017
Cathy O'Neil: The era of blind faith in big data must end
キャシー・オニール: ビッグデータを盲信する時代に終止符を
Filmed:
Readability: 4.4
1,391,460 views
アルゴリズムは、誰がローンを組めるか、誰が就職面接を受けられるか、誰が保険を掛けられるかなど、様々なことを決めています。ただアルゴリズムは自動的に公平性を生む訳ではありません。数学者でデータサイエンティストのキャシー・オニールは、秘密で、重要性が高く、悪影響を及ぼすアルゴリズムに「大量破壊数学」と名付けました。アルゴリズムの裏側にある隠れた意図を、もっと知ろうではありませんか。
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
アルゴリズムは どこにでもあります
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
アルゴリズムが勝者と敗者を分けます
00:20
The winners get the job
2
8019
2264
勝者は仕事を手に入れ
有利なクレジットカードを
申し込めます
申し込めます
00:22
or a good credit card offer.
3
10307
1743
00:24
The losers don't even get an interview
4
12074
2651
一方 敗者は就職面接すら受けられず
00:27
or they pay more for insurance.
5
15590
1777
保険料は より高くなります
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
私たちは 理解できない上に
不服申し立ての機会もない—
不服申し立ての機会もない—
00:34
that often don't have systems of appeal.
7
22675
3217
秘密の数式によって
格付けされているのです
格付けされているのです
そこで疑問が湧いてきます
00:39
That begs the question:
8
27240
1296
00:40
What if the algorithms are wrong?
9
28560
2913
もしアルゴリズムが間違っていたら？
アルゴリズムを作る時
必要なものが２つあります
必要なものが２つあります
00:45
To build an algorithm you need two things:
10
33100
2040
データ つまり過去の出来事の記録と
00:47
you need data, what happened in the past,
11
35164
1981
人が追い求める「成功」を
定義する基準です
定義する基準です
00:49
and a definition of success,
12
37169
1561
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
人が追い求める「成功」を
定義する基準です
定義する基準です
そして観察と理解を通して
アルゴリズムを訓練します
アルゴリズムを訓練します
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
アルゴリズムに 成功と関係する要素を
理解させるためです
理解させるためです
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
どんな状況が 成功に繋がるのでしょう？
01:01
What situation leads to success?
16
49739
2463
実は アルゴリズムは
誰でも使っています
誰でも使っています
01:04
Actually, everyone uses algorithms.
17
52881
1762
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
プログラムに書かないだけです
１つ例を挙げましょう
01:09
Let me give you an example.
19
57409
1348
私は毎日アルゴリズムを使って
家族の食事を用意します
家族の食事を用意します
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
私が利用するデータは
01:14
The data I use
21
62121
1476
台所にどんな材料があるか
01:16
is the ingredients in my kitchen,
22
64394
1659
どれだけ時間をかけられるか
01:18
the time I have,
23
66077
1527
どれだけ料理に凝るかで
01:19
the ambition I have,
24
67628
1233
01:20
and I curate that data.
25
68885
1709
私はそのデータをまとめます
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
ちなみにインスタントラーメンは
食べ物とは認めません
食べ物とは認めません
（笑）
01:26
(Laughter)
27
74893
1869
01:28
My definition of success is:
28
76786
1845
私にとって成功の基準は
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
子供たちが野菜を食べることです
もし下の息子が決めるなら
基準はガラッと変わり
基準はガラッと変わり
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
「いっぱいチョコナッツクリームを
食べられれば成功」と言うでしょう
食べられれば成功」と言うでしょう
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
01:41
But I get to choose success.
32
89179
2226
でも基準を決めるのは私です
01:43
I am in charge. My opinion matters.
33
91429
2707
責任者は私で
私の意見が重要なんですから
私の意見が重要なんですから
01:46
That's the first rule of algorithms.
34
94160
2675
これがアルゴリズムの第１のルールです
01:48
Algorithms are opinions embedded in code.
35
96859
3180
アルゴリズムとはプログラムに
埋め込まれた意見なのです
埋め込まれた意見なのです
これは ほとんどの人が持つ
アルゴリズムのイメージとはかけ離れています
アルゴリズムのイメージとはかけ離れています
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
人々はアルゴリズムが客観的で正しく
科学的なものと思っていますが
科学的なものと思っていますが
それはマーケティング上のトリックです
02:02
That's a marketing trick.
38
110387
1699
02:05
It's also a marketing trick
39
113269
2125
アルゴリズムで人を怯ませるのも
02:07
to intimidate you with algorithms,
40
115418
3154
マーケティングのトリックですし
アルゴリズムを信用させたり
恐れさせたりするのもそう
恐れさせたりするのもそう
02:10
to make you trust and fear algorithms
41
118596
3661
皆 数学を恐れつつ信用していますから
02:14
because you trust and fear mathematics.
42
122281
2018
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
ビッグデータを盲信すると
いろいろな問題が生じかねません
いろいろな問題が生じかねません
彼女はキリ・ソアーズ
ブルックリンの高校で校長をしています
ブルックリンの高校で校長をしています
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
2011年に彼女が教えてくれたのですが
彼女の学校では
彼女の学校では
02:29
with a complex, secret algorithm
46
137691
2727
「付加価値モデル」という
複雑な秘密のアルゴリズムで
複雑な秘密のアルゴリズムで
教員が評価されている
ということでした
ということでした
02:32
called the "value-added model."
47
140442
1489
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
私は こう伝えました
「数式を調べてみましょう
「数式を調べてみましょう
見せてくれれば説明しますよ」
02:37
I'm going to explain it to you."
49
145621
1541
すると彼女は
「数式を入手しようとしたら
「数式を入手しようとしたら
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
市教育局の担当者に『これは数学ですよ
理解できないでしょう』と
理解できないでしょう』と
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
02:44
and I wouldn't understand it."
52
152147
1546
言われたんです」
02:47
It gets worse.
53
155266
1338
事態はさらに深刻化します
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
ニューヨーク・ポスト紙が
情報自由法に基づく開示請求をして
情報自由法に基づく開示請求をして
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
ニューヨーク市の全教員の
名前とスコアを手に入れ
名前とスコアを手に入れ
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
教員を辱めるような
データを公表しました
データを公表しました
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
一方 私がソース・コードを
同じ方法で手に入れようとしたところ
同じ方法で手に入れようとしたところ
無理だと言われました
03:02
I was told I couldn't.
58
170968
2149
03:05
I was denied.
59
173141
1236
却下されたのです
03:06
I later found out
60
174401
1174
後にわかったことですが
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
ニューヨーク市で その数式を
見られる人は誰もおらず
見られる人は誰もおらず
誰も理解していなかったのです
03:10
No one understood it.
62
178489
1305
その後 ゲイリー・ルービンスタインという
頭のキレる人物が登場します
頭のキレる人物が登場します
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
彼はニューヨーク・ポスト紙のデータから
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
２種類のスコアを持っている
教員665名を見つけ出しました
教員665名を見つけ出しました
03:20
that actually had two scores.
65
188822
1866
それに該当するのは 例えば
03:22
That could happen if they were teaching
66
190712
1881
03:24
seventh grade math and eighth grade math.
67
192617
2439
数学を７年生と８年生で
教えている場合です
教えている場合です
彼は２種類のスコアを散布図にしました
03:27
He decided to plot them.
68
195080
1538
03:28
Each dot represents a teacher.
69
196642
1993
点はそれぞれ 先生を表します
（笑）
03:31
(Laughter)
70
199104
2379
03:33
What is that?
71
201507
1521
これは どういうことでしょう？
03:35
(Laughter)
72
203052
1277
（笑）
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
こんなものを教員の個人評価に
使ってはいけません
使ってはいけません
まるで乱数発生器じゃないですか
03:39
It's almost a random number generator.
74
207823
1926
03:41
(Applause)
75
209773
2946
（拍手）
でも実際に使われたんです
03:44
But it was.
76
212743
1162
彼女はサラ・ワイサキ
03:45
This is Sarah Wysocki.
77
213929
1176
他の205人のワシントンD.C.学区の
先生たちと共に
先生たちと共に
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
03:49
from the Washington, DC school district,
79
217328
2662
解雇されました
校長や保護者からの評価は
非常に高かったのにです
非常に高かったのにです
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
校長や保護者からの評価は
非常に高かったのにです
非常に高かったのにです
03:54
and the parents of her kids.
81
222947
1428
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
皆さんが今 考えていることは
わかります
わかります
特にデータサイエンティストや
AIの専門家なら思うでしょう
AIの専門家なら思うでしょう
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
「自分なら そんなデタラメな
アルゴリズムは作らない」って
アルゴリズムは作らない」って
でもアルゴリズムは誤ることもあれば
04:06
But algorithms can go wrong,
85
234853
1683
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
善意に基づいていても
破壊的な影響を及ぼすことだってあります
破壊的な影響を及ぼすことだってあります
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
飛行機なら 設計がまずければ
墜落しますし
その様子が見えますが
その様子が見えますが
04:16
crashes to the earth and everyone sees it,
88
244934
2001
04:18
an algorithm designed badly
89
246959
1850
アルゴリズムだと設計がまずくても
長期間に渡って 音もなく
大惨事をもたらし続けかねないんです
大惨事をもたらし続けかねないんです
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
04:27
This is Roger Ailes.
91
255748
1570
彼はロジャー・エイルズ
04:29
(Laughter)
92
257342
2000
（笑）
04:32
He founded Fox News in 1996.
93
260524
2388
1996年にFOXニュースを創設しました
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
20人以上の女性が
セクハラ被害を訴えました
セクハラ被害を訴えました
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
またキャリアアップを
妨害されたそうです
妨害されたそうです
彼自身は2016年に地位を追われましたが
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
04:43
that the problems have persisted.
97
271844
2670
最近のニュースにある通り
問題は依然残っています
問題は依然残っています
04:47
That begs the question:
98
275654
1400
ここで疑問が湧いてきます
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
再起をはかるために
FOXニュースは何をすべきか？
FOXニュースは何をすべきか？
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
人材採用プロセスを
機械学習アルゴリズムに
機械学習アルゴリズムに
04:56
with a machine-learning algorithm?
101
284310
1654
替えるのはどうでしょう？
04:57
That sounds good, right?
102
285988
1595
いいアイデアでしょう？
04:59
Think about it.
103
287607
1300
検討してみましょう
05:00
The data, what would the data be?
104
288931
2105
まずデータには
何が使えるでしょう？
何が使えるでしょう？
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
過去21年間に FOXニュースに送られた
履歴書がいいでしょう
履歴書がいいでしょう
05:08
Reasonable.
106
296031
1502
妥当なデータです
05:09
What about the definition of success?
107
297557
1938
では成功の基準は？
05:11
Reasonable choice would be,
108
299921
1324
妥当な基準は…
05:13
well, who is successful at Fox News?
109
301269
1778
どんな人がFOXニュースで
成功するんでしょう？
成功するんでしょう？
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
例えば ４年在職して
最低１回は昇進していれば
最低１回は昇進していれば
05:18
and was promoted at least once.
111
306675
1654
成功と言えそうです
05:20
Sounds reasonable.
112
308816
1561
妥当な基準です
05:22
And then the algorithm would be trained.
113
310401
2354
それをアルゴリズムに学習させます
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
人々を探って
何が成功につながるか—
何が成功につながるか—
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
これまで どんな履歴書が
成功に繋がってきたのかを
成功に繋がってきたのかを
この基準に従って学習させるのです
05:33
by that definition.
116
321561
1294
05:36
Now think about what would happen
117
324200
1775
さて このアルゴリズムを
現在の就職希望者に
当てはめると どうなるでしょう？
当てはめると どうなるでしょう？
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
05:41
It would filter out women
119
329119
1629
まず女性は除外されるでしょう
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
過去に成功してきたようには
見えないからです
見えないからです
配慮もなく やみくもに
アルゴリズムを適用しても
アルゴリズムを適用しても
05:51
Algorithms don't make things fair
121
339752
2537
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
物事は公平にはならないんです
アルゴリズムは公平を生みません
05:57
They don't make things fair.
123
345031
1482
05:58
They repeat our past practices,
124
346537
2128
過去の行為や行動パターンを
06:00
our patterns.
125
348689
1183
繰り返し
06:01
They automate the status quo.
126
349896
1939
自動的に現状を維持するだけです
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
この世界が完璧なら
それでいいんでしょうが
それでいいんでしょうが
06:07
but we don't.
128
355905
1312
そうではありません
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
さらに付け加えると ほとんどの企業は
みっともない裁判を抱えている訳ではありませんが
みっともない裁判を抱えている訳ではありませんが
06:14
but the data scientists in those companies
130
362446
2588
こういった企業にいる
データサイエンティストは
データサイエンティストは
正確性に焦点を当て
06:17
are told to follow the data,
131
365058
2189
データに従うよう指示されています
06:19
to focus on accuracy.
132
367271
2143
06:22
Think about what that means.
133
370273
1381
その意味を考えてみましょう
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
誰でもバイアスを持っているので
アルゴリズムに性差別や その他の偏見が
コード化されている可能性があります
コード化されている可能性があります
06:27
or any other kind of bigotry.
135
375729
1836
06:31
Thought experiment,
136
379488
1421
思考実験をしてみましょう
06:32
because I like them:
137
380933
1509
私は思考実験が好きなので
06:35
an entirely segregated society --
138
383574
2975
人種を完全に隔離した
社会があるとします
社会があるとします
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
どの街でも どの地域でも
人種は隔離され
人種は隔離され
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
犯罪を見つけるために
警察を送り込むのは
警察を送り込むのは
マイノリティーが住む地域だけです
06:46
to look for crime.
141
394660
1193
すると逮捕者のデータは
かなり偏ったものになるでしょう
かなり偏ったものになるでしょう
06:48
The arrest data would be very biased.
142
396451
2219
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
さらに データサイエンティストを
探してきて
探してきて
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
報酬を払い 次の犯罪が起こる場所を
予測させたらどうなるでしょう？
予測させたらどうなるでしょう？
マイノリティーの地域になります
06:59
Minority neighborhood.
145
407275
1487
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
あるいは 次に犯罪を犯しそうな人を
予測させたら？
予測させたら？
07:04
A minority.
147
412888
1395
マイノリティーでしょうね
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
データサイエンティストは
モデルの素晴らしさと正確さを
モデルの素晴らしさと正確さを
自慢するでしょうし
07:11
their model would be,
149
419514
1297
07:12
and they'd be right.
150
420835
1299
確かにその通りでしょう
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
さて 現実はそこまで極端ではありませんが
実際に多くの市や町で
深刻な人種差別があり
深刻な人種差別があり
07:20
in many cities and towns,
152
428590
1287
07:21
and we have plenty of evidence
153
429901
1893
警察の活動や司法制度のデータが
偏っているという
偏っているという
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
証拠が揃っています
07:27
And we actually do predict hotspots,
155
435632
2815
実際にホットスポットと呼ばれる
犯罪多発地域を
犯罪多発地域を
07:30
places where crimes will occur.
156
438471
1530
予測しています
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
さらには個々人の犯罪傾向を
実際に予測しています
07:36
the criminality of individuals.
158
444291
1770
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
報道組織プロパブリカが最近
いわゆる「再犯リスク」アルゴリズムの
いわゆる「再犯リスク」アルゴリズムの
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
１つを取り上げ調査しました
１つを取り上げ調査しました
07:45
as they're called,
161
453007
1163
フロリダ州で 判事による
量刑手続に使われているものです
量刑手続に使われているものです
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
左側の黒人男性バーナードのスコアは
10点満点の10点で
10点満点の10点で
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
右の白人ディランは３点でした
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
10点中10点はハイリスクで
3点はローリスクです
3点はローリスクです
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
２人とも麻薬所持で逮捕され
どちらも前科はありましたが
08:03
They both had records,
167
471007
1154
08:04
but Dylan had a felony
168
472185
2806
３点のディランには重罪の前科があり
10点のバーナードにはありませんでした
08:07
but Bernard didn't.
169
475015
1176
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
これが重要な理由は
スコアが高ければ高いほど
スコアが高ければ高いほど
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
刑期が長くなる
傾向があるからです
傾向があるからです
どうなっているのでしょう？
08:18
What's going on?
172
486294
1294
08:20
Data laundering.
173
488526
1332
これは「データ・ロンダリング」です
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
このプロセスを通して 技術者が
ブラックボックスのようなアルゴリズムの内部に
ブラックボックスのようなアルゴリズムの内部に
08:27
inside black box algorithms
175
495381
1821
醜い現実を隠し
08:29
and call them objective;
176
497226
1290
「客観的」とか
「能力主義」と称しているんです
08:31
call them meritocratic.
177
499320
1568
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
秘密にされている
重要で破壊的なアルゴリズムを
重要で破壊的なアルゴリズムを
08:37
I've coined a term for these algorithms:
179
505527
2487
私はこんな名前で呼んでいます
08:40
"weapons of math destruction."
180
508038
1999
「大量破壊数学」です
08:42
(Laughter)
181
510061
1564
（笑）
08:43
(Applause)
182
511649
3054
（拍手）
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
それは間違いなく
どこにでも存在します
どこにでも存在します
民間企業が 私的なアルゴリズムを
私的な目的で
私的な目的で
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
08:53
for private ends.
185
521442
1392
作っているんです
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
先程お話しした
教員や警察向けのアルゴリズムでさえ
教員や警察向けのアルゴリズムでさえ
民間企業が制作し
08:58
those were built by private companies
187
526452
1869
政府機関に販売したものです
09:00
and sold to the government institutions.
188
528345
2231
09:02
They call it their "secret sauce" --
189
530600
1873
アルゴリズムは
「秘伝のタレ」だから
「秘伝のタレ」だから
09:04
that's why they can't tell us about it.
190
532497
2128
公開できないと
企業側は主張します
企業側は主張します
09:06
It's also private power.
191
534649
2220
また アルゴリズムは私的な権力です
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
この謎めいた存在が持つ権威を振りかざして
企業は利益を得ています
企業は利益を得ています
ただ こう思うかもしれません
アルゴリズムが民間のものなら
アルゴリズムが民間のものなら
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
09:20
and there's competition,
194
548072
1158
競争があるので
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
自由市場の力が
問題を解決するのではないか…
問題を解決するのではないか…
09:23
It won't.
196
551584
1249
でも そうはいきません
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
不公平は大きな利益を
生み出しますから
生み出しますから
09:29
Also, we're not economic rational agents.
198
557127
3369
それに我々人間は
合理的経済人ではなく
合理的経済人ではなく
09:33
We all are biased.
199
561031
1292
誰もがバイアスを持っています
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
私たちは 自分が望みも
気づきもしない形で
気づきもしない形で
差別や偏見を持っているのです
09:38
in ways that we don't even know.
201
566361
2019
09:41
We know this, though, in aggregate,
202
569352
3081
全体を俯瞰して見ると
そのことがわかります
そのことがわかります
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
なぜなら社会学者が
考案した実験を通して
考案した実験を通して
一貫して実証されてきたからです
09:47
with these experiments they build,
204
575701
1665
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
その実験では研究者が
履歴書を大量に送付しました
履歴書を大量に送付しました
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
同じように資格は満たしていますが
一部は白人っぽい名前で
一部は白人っぽい名前で
一部は黒人っぽい名前
09:54
and some have black-sounding names,
207
582507
1706
そして結果は
常にがっかりするものでした
常にがっかりするものでした
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
09:59
So we are the ones that are biased,
209
587510
1771
つまりバイアスがあるのは私たちで
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
どんなデータを集め選ぶかによって
そのバイアスをアルゴリズムに
注入しているんです
注入しているんです
10:04
by choosing what data to collect,
211
592758
1812
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
これは私がインスタントラーメンを
含めないのと同じで
含めないのと同じで
不適切だと決めたのは
私なんです
私なんです
10:09
I decided it was irrelevant.
213
597361
1625
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
しかし実際に過去の行動を元にした
データを信頼し
データを信頼し
成功の基準を恣意的に選びながら
10:16
and by choosing the definition of success,
215
604718
2014
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
どうして欠陥のないアルゴリズムを
期待できるのでしょう？
期待できるのでしょう？
10:22
We can't. We have to check them.
217
610763
2356
それは無理です
チェックが必要なんです
チェックが必要なんです
公平性を確かめる必要があるんです
10:26
We have to check them for fairness.
218
614165
1709
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
幸い公正性は確認できます
アルゴリズムに問いただせば
10:30
Algorithms can be interrogated,
220
618633
3352
常に本当のことしか
答えないので
答えないので
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
修正を加え より良いものに
作り替えられます
作り替えられます
10:38
I call this an algorithmic audit,
223
626584
2375
私は これを
アルゴリズム監査と呼んでいます
アルゴリズム監査と呼んでいます
10:40
and I'll walk you through it.
224
628983
1679
その手順を説明しましょう
10:42
First, data integrity check.
225
630686
2196
まずはデータ完全性チェックです
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
先ほど登場した
再犯リスク・アルゴリズムの場合—
再犯リスク・アルゴリズムの場合—
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
データ完全性チェックとは
事実を直視するという意味になるでしょう
事実を直視するという意味になるでしょう
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
例えばアメリカでは 大麻の使用率は
白人と黒人で同じなのに
白人と黒人で同じなのに
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
逮捕される割合は
黒人の方がはるかに高く
黒人の方がはるかに高く
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
地域によっては
４〜５倍になるという事実があります
４〜５倍になるという事実があります
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
このようなバイアスは
他の犯罪では どんな形で表れ
他の犯罪では どんな形で表れ
私たちは それを
どう説明したらいいでしょうか？
どう説明したらいいでしょうか？
11:06
and how do we account for it?
232
654167
1451
次に 私たちは成功の基準について
考えなければなりません
考えなければなりません
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
11:11
audit that.
234
659225
1381
その基準を監査するのです
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
採用アルゴリズムを
思い出してください
思い出してください
勤続年数が４年で
昇進１回の人はどうだったでしょう
昇進１回の人はどうだったでしょう
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
その人は成功した社員でしょうが
11:18
Well, that is a successful employee,
237
666595
1769
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
同時に その会社の文化に
支持されたとも言えます
支持されたとも言えます
ただ その文化に
バイアスがあるかもしれないので
バイアスがあるかもしれないので
11:24
That said, also it can be quite biased.
239
672089
1926
11:26
We need to separate those two things.
240
674039
2065
この２つは分けて考える必要があります
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
一つの例として オーケストラの
ブラインド・オーディションを見るべきでしょう
ブラインド・オーディションを見るべきでしょう
11:30
as an example.
242
678578
1196
一つの例として オーケストラの
ブラインド・オーディションを見るべきでしょう
ブラインド・オーディションを見るべきでしょう
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
オーディションを受ける人は
衝立の向こうにいます
衝立の向こうにいます
11:34
What I want to think about there
244
682946
1931
ここで注目したいのは
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
審査員は 何が重要で
何が重要でないかを
何が重要でないかを
あらかじめ決めて
11:40
and they've decided what's not important,
246
688342
2029
重要でないものに
惑わされないようにしている点です
惑わされないようにしている点です
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
ブラインド・オーディションを
するようになって
するようになって
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
女性がオーケストラに占める割合は
５倍に増えました
５倍に増えました
11:52
Next, we have to consider accuracy.
250
700253
2015
次に正確性を吟味しなければなりません
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
教員向けの付加価値モデルなら
すぐ落第になる項目です
すぐ落第になる項目です
11:59
No algorithm is perfect, of course,
252
707578
2162
当然 完璧なアルゴリズムなどないので
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
あらゆるアルゴリズムの
誤りを検討する必要があります
誤りを検討する必要があります
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
誤りを起こす頻度は？
どんな相手だと そのモデルは機能しないのか？
どんな相手だと そのモデルは機能しないのか？
12:11
What is the cost of that failure?
255
719850
1718
失敗した時の損失規模は？
12:14
And finally, we have to consider
256
722434
2207
そして最後に考えなければならないのは
12:17
the long-term effects of algorithms,
257
725973
2186
アルゴリズムの長期的影響 つまり
12:20
the feedback loops that are engendering.
258
728866
2207
それによって生じる
フィードバック・ループです
フィードバック・ループです
抽象的な話に
聞こえるかもしれませんが
聞こえるかもしれませんが
12:23
That sounds abstract,
259
731586
1236
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
もしFacebookのエンジニアが
友人の投稿だけを表示する前に
友人の投稿だけを表示する前に
フィードバック・ループの影響を
考慮していたらと考えてみてください
考慮していたらと考えてみてください
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
伝えたいことは あと２つ
１つはデータサイエンティストに向けたものです
１つはデータサイエンティストに向けたものです
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
私たちデータサイエンティストが
真実を決めるべきではありません
真実を決めるべきではありません
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
私たちは もっと広い社会に生じる
倫理的な議論を
倫理的な議論を
解釈する存在であるべきです
12:45
in larger society.
265
753327
1294
12:47
(Applause)
266
755579
2133
（拍手）
12:49
And the rest of you,
267
757736
1556
そしてデータサイエンティスト以外の
皆さん—
皆さん—
12:52
the non-data scientists:
268
760011
1396
そしてデータサイエンティスト以外の
皆さん—
皆さん—
12:53
this is not a math test.
269
761431
1498
この状況は数学のテストではなく
12:55
This is a political fight.
270
763632
1348
政治闘争なのです
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
専制君主のようなアルゴリズムに対して
私たちは説明を求める必要があります
私たちは説明を求める必要があります
13:04
(Applause)
272
772118
1499
（拍手）
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
ビッグデータを盲信する時代は
終わらせるべきです
終わらせるべきです
13:09
Thank you very much.
274
777890
1167
ありがとうございました
13:11
(Applause)
275
779081
5303
（拍手）
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com