TED2017
Cathy O'Neil: The era of blind faith in big data must end
Cathy O'Neil: Büyük verideki kör inanç dönemi bitmeli
Filmed:
Readability: 4.4
1,391,460 views
Algoritmalar kimin kredi alabileceğine, kimin mülakata çağrılacağına, kimin sigorta sahibi olacağına ve fazlasına karar veriyor. Oysa algoritmalar otomatik olarak her şeyi adil kılmıyor. Matematikçi ve veri bilimci Cathy O'Neil gizli, önemli ve zararlı algoritmalar için bir terim türetti: "matematiksel yıkım silahları". Formüller arkasına gizlenen konular hakkında fazlasını öğrenin.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
Algoritmalar her yerde.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
Kazananları kaybedenlerden ayırıyor.
00:20
The winners get the job
2
8019
2264
Kazananlar ya işi alıyor
00:22
or a good credit card offer.
3
10307
1743
ya da iyi bir kredi kartı teklifi.
00:24
The losers don't even get an interview
4
12074
2651
Kaybedenler iş görüşmesine bile çağrılmaz
00:27
or they pay more for insurance.
5
15590
1777
veya sigorta primi için
daha fazla ödeme yaparlar.
daha fazla ödeme yaparlar.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
Doğrulama sistemi olmayan,
anlamadığımız
anlamadığımız
00:34
that often don't have systems of appeal.
7
22675
3217
gizli formülasyonlar ile puanlanıyoruz.
Burada şu soru akla geliyor:
00:39
That begs the question:
8
27240
1296
00:40
What if the algorithms are wrong?
9
28560
2913
Peki ya algoritmalar hatalıysa?
00:45
To build an algorithm you need two things:
10
33100
2040
Algoritma oluşturmak için 2 şey gerekli:
00:47
you need data, what happened in the past,
11
35164
1981
Geçmişte ne olduğunu gösteren veri,
00:49
and a definition of success,
12
37169
1561
o her zaman aradığınız
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
ve bulmayı umduğunuz başarı tanımına.
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
Sonuca ulaşmak için
algoritma çalıştırırsınız.
algoritma çalıştırırsınız.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
Algoritma başarı ile nelerin
bağlantılı olduğunu keşfeder.
bağlantılı olduğunu keşfeder.
01:01
What situation leads to success?
16
49739
2463
Hangi durum başarıya ulaştırır?
01:04
Actually, everyone uses algorithms.
17
52881
1762
Aslında herkes algoritma kullanır.
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
Sadece yazılı olarak formüle etmezler.
01:09
Let me give you an example.
19
57409
1348
Size bir örnek vereyim.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
Aileme yemek yapmak için
her gün algoritma kullanırım.
her gün algoritma kullanırım.
01:14
The data I use
21
62121
1476
Kullandığım veri
01:16
is the ingredients in my kitchen,
22
64394
1659
mutfağımdaki malzemeler,
01:18
the time I have,
23
66077
1527
zaman,
01:19
the ambition I have,
24
67628
1233
tutkudur
01:20
and I curate that data.
25
68885
1709
ve bu verileri düzene koyarım.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
Bu arada, Japon erişte paketlerini
yemekten saymıyorum.
yemekten saymıyorum.
01:26
(Laughter)
27
74893
1869
(Kahkahalar)
01:28
My definition of success is:
28
76786
1845
Başarı tanımım şudur:
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
Çocuklarım sebzeleri yerse
yemeğim başarılıdır.
yemeğim başarılıdır.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
En küçük oğluma sorulsaydı
bu tanım farklı olurdu.
bu tanım farklı olurdu.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
Onun başarı tanımı
çok miktarda Nutella yemek.
çok miktarda Nutella yemek.
01:41
But I get to choose success.
32
89179
2226
Ama başarıya ben ulaşmalıyım.
01:43
I am in charge. My opinion matters.
33
91429
2707
Bu iş benim sorumluluğumda.
Görüşüm önemli.
Görüşüm önemli.
01:46
That's the first rule of algorithms.
34
94160
2675
Bu, algoritmaların ilk kuralı.
Algoritmalar,
kodların içine gömülmüş fikirlerdir.
kodların içine gömülmüş fikirlerdir.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
İnsanların algoritmalar hakkındaki
görüşlerinden farklı bir şey bu.
görüşlerinden farklı bir şey bu.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
İnsanlar algoritmaların tarafsız,
doğru ve bilimsel olduğunu düşünür.
doğru ve bilimsel olduğunu düşünür.
02:02
That's a marketing trick.
38
110387
1699
Bu bir pazarlama hilesi.
02:05
It's also a marketing trick
39
113269
2125
Algoritmalara güvenmeniz
02:07
to intimidate you with algorithms,
40
115418
3154
ve onlardan korkmanız için
02:10
to make you trust and fear algorithms
41
118596
3661
bir pazarlama hilesidir
çünkü matematikten de korkarsınız
çünkü matematikten de korkarsınız
02:14
because you trust and fear mathematics.
42
122281
2018
ama sayılara güvenirsiniz.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Büyük veriye körü körüne inanırsak
çok şey yanlış gidebilir.
çok şey yanlış gidebilir.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
Bu Kiri Soares.
Brooklyn'de okul müdürü.
Brooklyn'de okul müdürü.
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
2011'de öğretmenlerin
'katma değer modeli' adında
'katma değer modeli' adında
02:29
with a complex, secret algorithm
46
137691
2727
gizli, karışık bir algoritma ile
02:32
called the "value-added model."
47
140442
1489
puanlandıklarını söyledi.
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
"Formülasyonu bana göster,
sana içeriğini açıklayayım" dedim.
sana içeriğini açıklayayım" dedim.
02:37
I'm going to explain it to you."
49
145621
1541
Cevap verdi:
"Doğrusu formülasyonu almaya çalıştım
"Doğrusu formülasyonu almaya çalıştım
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
fakat eğitim birimi bana
bunun matematiksel olduğunu
bunun matematiksel olduğunu
ve içeriğini anlamayacağımı söyledi".
02:44
and I wouldn't understand it."
52
152147
1546
02:47
It gets worse.
53
155266
1338
Daha kötüye gidiyor.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
The New York Post,
"Bilgiye Özgürlük Hareketi" kapsamındaki
"Bilgiye Özgürlük Hareketi" kapsamındaki
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
talebi sonucu öğretmenlerin
isim ve puanlarını temin edip
isim ve puanlarını temin edip
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
adeta öğretmen ayıplama
eylemi olarak sonuçları yayımladı.
eylemi olarak sonuçları yayımladı.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
Aynı yollarla formül ve kaynak kodunu
almaya çalıştığımda
almaya çalıştığımda
03:02
I was told I couldn't.
58
170968
2149
bunu alamayacağım söylendi.
Talebim reddedildi.
Talebim reddedildi.
03:05
I was denied.
59
173141
1236
Sonra New York'ta hiç kimsenin
03:06
I later found out
60
174401
1174
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
bu formüle erişimi olmadığını öğrendim.
03:10
No one understood it.
62
178489
1305
Kimse içeriğini bilmiyor, anlamıyor.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Sonra Gary Rubinstein adında
zeki biri olaya dâhil oldu.
zeki biri olaya dâhil oldu.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
Rubinstein, New York Post verisindeki
665 öğretmenin aslında iki tane
665 öğretmenin aslında iki tane
03:20
that actually had two scores.
65
188822
1866
yani mükerrer puanı olduğunu keşfetti.
03:22
That could happen if they were teaching
66
190712
1881
Bu ancak, öğretmenler
7 ve 8'inci sınıflara
7 ve 8'inci sınıflara
03:24
seventh grade math and eighth grade math.
67
192617
2439
ders veriyor olsaydı oluşabilirdi.
03:27
He decided to plot them.
68
195080
1538
Rubinstein, sonuçların grafiğini çizdi.
03:28
Each dot represents a teacher.
69
196642
1993
Her nokta bir öğretmeni temsil ediyor.
03:31
(Laughter)
70
199104
2379
(Kahkahalar)
03:33
What is that?
71
201507
1521
Nedir bu?
03:35
(Laughter)
72
203052
1277
(Kahkahalar)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
Bu asla kişileri değerlendirmek için
kullanılmamalıydı.
kullanılmamalıydı.
03:39
It's almost a random number generator.
74
207823
1926
Tıpkı rasgele bir sayı üreticisi gibi.
03:41
(Applause)
75
209773
2946
(Alkışlar)
03:44
But it was.
76
212743
1162
Ama kullanıldı.
03:45
This is Sarah Wysocki.
77
213929
1176
Bu Sarah Wysocki.
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
Diğer 205 öğretmen ile birlikte
03:49
from the Washington, DC school district,
79
217328
2662
Washington'ta görevine son verildi.
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
Oysa okul müdürü ve veliler
03:54
and the parents of her kids.
81
222947
1428
kendisinden çok memnundu.
Burada başta yapay zeka uzmanları
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
ve veri bilimciler olmak üzere
ne düşündüğünüzü biliyorum.
ne düşündüğünüzü biliyorum.
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
Muhtemelen "Böyle tutarsız bir
algoritma oluşturmazdım" diyorsunuz.
algoritma oluşturmazdım" diyorsunuz.
Oysa algoritmalar hatalı kurulabilir
04:06
But algorithms can go wrong,
85
234853
1683
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
ve kötü niyetle oluşturulmasalar da
yıkıcı sonuçları olabilir.
yıkıcı sonuçları olabilir.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
Kötü tasarlanmış bir uçak
04:16
crashes to the earth and everyone sees it,
88
244934
2001
kaza yapar ve herkes hatayı görür,
04:18
an algorithm designed badly
89
246959
1850
oysa algoritma kötü tasarlandığında
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
zarar vermeye sessizce,
uzun süre devam edebilir.
uzun süre devam edebilir.
04:27
This is Roger Ailes.
91
255748
1570
Bu Roger Ailes.
04:29
(Laughter)
92
257342
2000
(Kahkahalar)
04:32
He founded Fox News in 1996.
93
260524
2388
Fox News kanalını 1996'da kurdu.
Kanalda 20'den fazla kadın
taciz iddiasıyla şikayetçi oldu.
taciz iddiasıyla şikayetçi oldu.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
Haber kanalında başarıya ulaşmalarının
engellendiğini söylediler.
engellendiğini söylediler.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
Görevi geçen sene sonlandırıldı
04:43
that the problems have persisted.
97
271844
2670
ama problemlerin devam ettiğini öğrendik.
04:47
That begs the question:
98
275654
1400
Bu, şu soruyu akla getiriyor:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
Fox News, temiz bir sayfa açmak
için ne yapmalı?
için ne yapmalı?
İşe alım süreçlerini
makine öğrenmesine dayalı
makine öğrenmesine dayalı
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
bir algoritma ile değiştirseler ne olur?
04:56
with a machine-learning algorithm?
101
284310
1654
04:57
That sounds good, right?
102
285988
1595
Kulağa iyi geliyor, değil mi?
04:59
Think about it.
103
287607
1300
Bir düşünün.
05:00
The data, what would the data be?
104
288931
2105
Veri ne olurdu?
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Son 21 yılda kanala yapılan
iş başvuruları veri seçimi için
iş başvuruları veri seçimi için
05:08
Reasonable.
106
296031
1502
mantıklı olur.
05:09
What about the definition of success?
107
297557
1938
Peki ya buradaki 'başarının tanımı' nedir?
Makul bir karar şöyle olurdu;
05:11
Reasonable choice would be,
108
299921
1324
05:13
well, who is successful at Fox News?
109
301269
1778
Fox News'da kim başarılı?
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
Diyelim ki 4 sene orada kalmış,
05:18
and was promoted at least once.
111
306675
1654
en az 1 kez terfi almış kişiler.
05:20
Sounds reasonable.
112
308816
1561
Kulağa mantıklı geliyor.
05:22
And then the algorithm would be trained.
113
310401
2354
Sonra algoritma oluşturulurdu.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
Kimlerin başarıya ulaştığını öğrenmek,
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
geçmişte ne tür başvuruların
başarıya ulaştığını görmek için
başarıya ulaştığını görmek için
05:33
by that definition.
116
321561
1294
algoritma oluşturulurdu.
Mevcut iş başvurularının bulunduğu havuza
05:36
Now think about what would happen
117
324200
1775
bu yöntem uygulansa ne olabilirdi,
düşünün.
düşünün.
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
05:41
It would filter out women
119
329119
1629
Geçmişte başarılı olanlar gibi görünmeyen
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
kadınları filtreleyebilirdi.
05:51
Algorithms don't make things fair
121
339752
2537
Eğer sadece umarsızca
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
kör bir şekilde kullanırsanız
algoritmalar
süreçleri daha adil hale getirmez.
süreçleri daha adil hale getirmez.
05:57
They don't make things fair.
123
345031
1482
05:58
They repeat our past practices,
124
346537
2128
Geçmişteki uygulamalarımızı,
06:00
our patterns.
125
348689
1183
kalıplarımızı tekrarlar durur.
06:01
They automate the status quo.
126
349896
1939
Otomatikmen kalıcı hale gelir.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
Mükemmel bir dünyada yaşasaydık
bu iyi olurdu
bu iyi olurdu
06:07
but we don't.
128
355905
1312
fakat dünya mükemmel değil.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
Şunu da söyleyeyim, pek çok şirketin
yüz kızartıcı davası yoktur
yüz kızartıcı davası yoktur
06:14
but the data scientists in those companies
130
362446
2588
fakat veriyi takip etmeleri
06:17
are told to follow the data,
131
365058
2189
ve veriye odaklanmaları söylenen
06:19
to focus on accuracy.
132
367271
2143
veri bilimcileri vardır.
Bunun ne anlama geldiğini düşünün.
06:22
Think about what that means.
133
370273
1381
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
Çünkü hepimizin ön yargıları var,
ki bu cinsiyetçiliği veya başka bir
ki bu cinsiyetçiliği veya başka bir
06:27
or any other kind of bigotry.
135
375729
1836
ayrımcılığın kodlanabileceği
anlamına gelebilir.
anlamına gelebilir.
06:31
Thought experiment,
136
379488
1421
Düşünce deneyi yapalım
06:32
because I like them:
137
380933
1509
çünkü bunu seviyorum:
06:35
an entirely segregated society --
138
383574
2975
Tüm şehirler ve mahallelerinin
ırk bakımından
ırk bakımından
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
ötekileştirildiği bir toplumda
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
polisler suç aramak için
06:46
to look for crime.
141
394660
1193
sadece azınlık mahallelerine gidiyor.
06:48
The arrest data would be very biased.
142
396451
2219
Yakalamalar epey taraflı olurdu.
Bu sürecin yönetiminde
gelecek suçların nerede olacağını öngören
gelecek suçların nerede olacağını öngören
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
ve maaş ödenen
veri bilimcileri olsa ne olurdu?
veri bilimcileri olsa ne olurdu?
06:59
Minority neighborhood.
145
407275
1487
Azınlık mahalleleri.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
Veya bir sonraki suçlunun kim
olacağını öngörmek için?
olacağını öngörmek için?
07:04
A minority.
147
412888
1395
Bir azınlık.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Veri bilimcileri, modellerinin ne kadar
iyi ve uygulanabilir olduğu konusunda
07:11
their model would be,
149
419514
1297
07:12
and they'd be right.
150
420835
1299
övünürlerdi
ve haklı olurlardı da.
ve haklı olurlardı da.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
Şu an gerçeklik bu kadar keskin değil,
ama pek çok bölgede
ama pek çok bölgede
taraflı davranıldığını gösteren
07:20
in many cities and towns,
152
428590
1287
07:21
and we have plenty of evidence
153
429901
1893
polis ve hukuk sistemi verisi
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
ayrımcılık yapıldığını gösteriyor.
07:27
And we actually do predict hotspots,
155
435632
2815
Aslına bakılırsa suçların meydana geleceği
07:30
places where crimes will occur.
156
438471
1530
sıcak bölgeleri öngörüyoruz.
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
Hatta bireysel suçluluk konusunda da
07:36
the criminality of individuals.
158
444291
1770
öngörü yapıyoruz.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
ProPublica isimli organizasyon
Florida'da hakimlerce kullanılan,
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
'suçun tekrarlama riski' adı verilen
07:45
as they're called,
161
453007
1163
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
algoritmaya baktılar.
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
Algoritmada Bernard, soldaki siyah kişi,
10 üzerinden 10 puan aldı.
10 üzerinden 10 puan aldı.
Dylan, sağdaki kişi,
10 üzerinden 3 puan.
10 üzerinden 3 puan.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
10 üzerinden 10 yüksek risk.
10 üzerinden 3 düşük risk.
10 üzerinden 3 düşük risk.
Her ikisi de uyuşturucu bulundurmaktan
göz altına alındı.
göz altına alındı.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Her ikisinin de sabıka kaydı var.
08:03
They both had records,
167
471007
1154
08:04
but Dylan had a felony
168
472185
2806
Ama Dylan'ın ağır suçu varken
08:07
but Bernard didn't.
169
475015
1176
Bernard'ın yoktu.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
Bu önemli çünkü puan yükseldikçe
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
uzun süreli ceza alma ihtimali artıyor.
08:18
What's going on?
172
486294
1294
Neler oluyor?
08:20
Data laundering.
173
488526
1332
Veri manipülasyonu.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
Bu, teknoloji uzmanlarının çirkin
gerçekleri kara kutulu algoritmalarla
gerçekleri kara kutulu algoritmalarla
gizledikleri bir süreç.
08:27
inside black box algorithms
175
495381
1821
08:29
and call them objective;
176
497226
1290
Bunun objektif
08:31
call them meritocratic.
177
499320
1568
ve ideal olduğunu söylüyorlar.
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
Gizli, önemli ve yıkıcı sonuçları olan
08:37
I've coined a term for these algorithms:
179
505527
2487
algoritmalar için bir deyim türettim:
08:40
"weapons of math destruction."
180
508038
1999
"Matematiksel yıkım silahları"
08:42
(Laughter)
181
510061
1564
(Kahkahalar)
08:43
(Applause)
182
511649
3054
(Alkışlar)
Bunlar her yerdeler
ve her yerde olmaları hata sonucu değil.
ve her yerde olmaları hata sonucu değil.
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Bunlar özel amaç için
özel algoritmalar üreten
özel algoritmalar üreten
08:53
for private ends.
185
521442
1392
özel şirketler.
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Öğretmenler ve polisler ile ilgili
söylediklerim bile
söylediklerim bile
08:58
those were built by private companies
187
526452
1869
özel şirketler tarafından üretilip
09:00
and sold to the government institutions.
188
528345
2231
kamu kurumlarına satıldı.
09:02
They call it their "secret sauce" --
189
530600
1873
Buna onların "özel tarifi" diyorlar
09:04
that's why they can't tell us about it.
190
532497
2128
ve bu yüzden içeriği ile
ilgili konuşmuyorlar.
ilgili konuşmuyorlar.
09:06
It's also private power.
191
534649
2220
Bu bir tür özel güç.
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
Kamu otoritesini kullanarak kar ediyorlar.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
Tüm bunların özel sektörde olduğu
ve sektörde rekabet olduğu için
serbest piyasanın
serbest piyasanın
09:20
and there's competition,
194
548072
1158
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
bu sorunu çözeceğini düşünüyorsanız
09:23
It won't.
196
551584
1249
sorunu çözmeyecek.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
Adaletsizlik ile elde edilen
önemli miktarda para var.
önemli miktarda para var.
09:29
Also, we're not economic rational agents.
198
557127
3369
Ayrıca ekonomik olarak
rasyonel karar alıcılar değiliz.
rasyonel karar alıcılar değiliz.
Farkında olmadığımız
ön yargılarımız var.
ön yargılarımız var.
09:33
We all are biased.
199
561031
1292
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Farkında olmasak
ve öyle olmayı dilemesek bile
ve öyle olmayı dilemesek bile
09:38
in ways that we don't even know.
201
566361
2019
kafa tasçı ve dar kafalıyız.
09:41
We know this, though, in aggregate,
202
569352
3081
Bunun böyle olduğunuz biliyoruz,
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
çünkü sosyologlar yaptıkları deneyler ile
09:47
with these experiments they build,
204
575701
1665
öyle olduğumuzu gösterdiler.
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
Deneyde aynı yeteneklere sahip insanların
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
çok sayıda iş başvurusu vardı.
Kimi başvurular siyah,
Kimi başvurular siyah,
09:54
and some have black-sounding names,
207
582507
1706
kimi başvurular beyaz insanı
andıran isimlerle yapıldı.
andıran isimlerle yapıldı.
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
Sonuç her zaman hayal kırıklığıydı.
Bizler farkında olmasak da taraflıyız
09:59
So we are the ones that are biased,
209
587510
1771
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
ve taraflılığımızı,
seçtiğimiz veriler ile
seçtiğimiz veriler ile
10:04
by choosing what data to collect,
211
592758
1812
algoritmalara dahil ediyoruz.
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
Mesela ben erişteleri es geçtim.
10:09
I decided it was irrelevant.
213
597361
1625
Onların yemek olmadığını düşündüm.
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
Ancak geçmiş deneyimleri
ve başarı tanımlarını
baz alarak seçtiğimiz veriye
baz alarak seçtiğimiz veriye
10:16
and by choosing the definition of success,
215
604718
2014
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
nasıl güvenebiliriz ve algoritmaların
sağlıklı olacağını nasıl bekleyebiliriz?
sağlıklı olacağını nasıl bekleyebiliriz?
10:22
We can't. We have to check them.
217
610763
2356
Bunu yapamayız.
Algoritmaları test etmemiz gerekir.
Algoritmaları test etmemiz gerekir.
Algoritmaların doğruluklarını
test etmeliyiz.
test etmeliyiz.
10:26
We have to check them for fairness.
218
614165
1709
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
İyi haber şu ki bunu yapabiliriz.
10:30
Algorithms can be interrogated,
220
618633
3352
Algoritmalar kontrol edilebilir
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
ve kontroller bize gerçeği söyleyebilir.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
Algoritmaların hatalarını giderebiliriz.
10:38
I call this an algorithmic audit,
223
626584
2375
Ben buna, 'algoritma denetimi'
adını veriyorum
adını veriyorum
10:40
and I'll walk you through it.
224
628983
1679
ve size bundan bahsedeyim.
10:42
First, data integrity check.
225
630686
2196
Öncelikle verinin doğruluğu testi.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
Bahsettiğim suçun tekrarlama
riski algoritmasında
riski algoritmasında
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
verinin doğruluğu testi şu anlama gelir:
Amerika'da beyaz ve siyahlar arasında
esrar tüketimi aynı ölçüde yaygın,
esrar tüketimi aynı ölçüde yaygın,
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
oysa siyahların tutuklanma ihtimalleri
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
bölgeye bağlı olarak
dört veya beş kat fazla.
dört veya beş kat fazla.
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
Diğer suçlarda
bu tür bir taraflılık nasıldır
bu tür bir taraflılık nasıldır
11:06
and how do we account for it?
232
654167
1451
ve bunu nasıl inceleriz?
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
İkincisi başarının tanımı hakkında düşünüp
11:11
audit that.
234
659225
1381
onu gözden geçirmeliyiz.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
İşe alım algoritmasından
bahsetmiştim, hatırlayın.
bahsetmiştim, hatırlayın.
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
Şirkette 4 yıl kalıp
en az bir kez terfi alan kişi.
en az bir kez terfi alan kişi.
11:18
Well, that is a successful employee,
237
666595
1769
Kendisini başarılı tanımlamıştık
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
ama kendisi ayrıca kültürlerince
desteklenen bir kişi.
desteklenen bir kişi.
11:24
That said, also it can be quite biased.
239
672089
1926
Bu da aslında bir taraflılık olabilir.
11:26
We need to separate those two things.
240
674039
2065
Bu iki şeyi ayırmamız gerekiyor.
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
Mesela orkestralara yönelik 'kör seçim'
adı verilen seçimlere bakalım.
11:30
as an example.
242
678578
1196
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
Bu uygulamada ses sınavında olan kişiler
perdenin arkasında
bulunduğundan görünmüyor.
bulunduğundan görünmüyor.
11:34
What I want to think about there
244
682946
1931
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
Sadece dinlediği konusunda
11:40
and they've decided what's not important,
246
688342
2029
bir sonuca ulaşan insanları düşünün.
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
Herhangi bir şeyden dikkatleri dağılmıyor.
Orkestra için 'kör seçim'
başladığından beri
başladığından beri
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
orkestralardaki kadın sayısı 5 kat arttı.
Sonra kesinliği göz önünde
bulundurmalıyız.
bulundurmalıyız.
11:52
Next, we have to consider accuracy.
250
700253
2015
Bu öğretmenlere için katma değer modelinin
anında başarısız olacağı aşama olurdu.
anında başarısız olacağı aşama olurdu.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
11:59
No algorithm is perfect, of course,
252
707578
2162
Elbette hiçbir algoritma mükemmel değil,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
bu yüzden her algoritmanın
hatalarını dikkate almalıyız.
hatalarını dikkate almalıyız.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
Bu hatalar ne sıklıkla oluşuyor,
hangileri modeli başarısız kılıyor?
hangileri modeli başarısız kılıyor?
12:11
What is the cost of that failure?
255
719850
1718
Başarısızlığın maliyeti ne?
12:14
And finally, we have to consider
256
722434
2207
Son aşamada
12:17
the long-term effects of algorithms,
257
725973
2186
algoritmaların uzun dönemli etkilerini,
geri besleme döngülerini
göz önünde bulundurmalıyız.
göz önünde bulundurmalıyız.
12:20
the feedback loops that are engendering.
258
728866
2207
Kulağa soyut geliyor
ama Facebook yazılımcıları
ama Facebook yazılımcıları
12:23
That sounds abstract,
259
731586
1236
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
sadece arkadaşlarımızın paylaşımını
görmemize karar vermeden önce
görmemize karar vermeden önce
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
bunun üzerinde düşünseydi
nasıl olurdu, hayal edin.
nasıl olurdu, hayal edin.
İki mesajım var.
Birincisi veri bilimciler için:
Birincisi veri bilimciler için:
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Bizler neyin doğru olduğuna
karar verenler olmamalıyız.
karar verenler olmamalıyız.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Bizler toplumlarda meydana gelen
etik tartışmaların
etik tartışmaların
12:45
in larger society.
265
753327
1294
tercümanları olmalıyız.
12:47
(Applause)
266
755579
2133
(Alkışlar)
12:49
And the rest of you,
267
757736
1556
Ve geri kalanlar,
12:52
the non-data scientists:
268
760011
1396
veri bilimci olmayanlar:
12:53
this is not a math test.
269
761431
1498
Bu herhangi bir matematik testi değil.
12:55
This is a political fight.
270
763632
1348
Bu bir politik mücadele.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Bizler algoritma amirlerinden
sorumluluk talep etmeliyiz.
sorumluluk talep etmeliyiz.
13:04
(Applause)
272
772118
1499
(Alkışlar)
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
Büyük verideki kör inanç dönemi bitmeli.
13:09
Thank you very much.
274
777890
1167
Teşekkür ederim.
13:11
(Applause)
275
779081
5303
(Alkışlar)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com