TED2017
Cathy O'Neil: The era of blind faith in big data must end
کثی اونیل: عصر ایمان کورکورانه به داده‌های عظیم باید به پایان برسد
Filmed:
Readability: 4.4
1,391,460 views
الگوریتم‌ها تعیین می‌کنند چه کسی وام می‌گیرد، چه کسی مصاحبه می‌شود، چه کسی بیمه می‌شود و خیلی کارهای دیگر. اما الگوریتم‌ها به صورت خودکار چیزی را عادلانه نمی‌کنند. کثی اونیل، ریاضی‌دان و دانشمند داده، اصطلاحی را برای الگوریتم‌های مخفی، مهم و مضر ابداع کرد: «سلاح کشتار ریاضی.» درباره‌ی برنامه‌ی پنهان در پس فرمول‌ها بیشتر بدانید.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
الگوریتم‌ها همه جا هستند.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
آنها برنده‌ها و بازنده‌ها را
رده‌بندی کرده و از هم جدا می‌کنند
رده‌بندی کرده و از هم جدا می‌کنند
00:20
The winners get the job
2
8019
2264
برنده‌ها استخدام می‌شوند
00:22
or a good credit card offer.
3
10307
1743
یا یک پیشنهاد خوب مالی می‌گیرند.
00:24
The losers don't even get an interview
4
12074
2651
اما بازنده‌ها حتی مصاحبه هم نمی‌شوند
00:27
or they pay more for insurance.
5
15590
1777
یا هزینه بیشتری برای بیمه می‌پردازند.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
ما با فرمول‌های مرموزی سنجیده می‌شویم
که درکشان نمی‌کنیم.
که درکشان نمی‌کنیم.
00:34
that often don't have systems of appeal.
7
22675
3217
که معمولاً سیستمی برای تجدید نظر ندارند.
00:39
That begs the question:
8
27240
1296
این سوالی را بر می‌انگیزد:
00:40
What if the algorithms are wrong?
9
28560
2913
اگر الگوریتم‌ها اشتباه کنند چطور؟
00:45
To build an algorithm you need two things:
10
33100
2040
برای ایجاد یک الگوریتم دو چیز نیاز دارید:
00:47
you need data, what happened in the past,
11
35164
1981
داده، چیزی که در گذشته اتفاق افتاده،
00:49
and a definition of success,
12
37169
1561
و تعریفی برای موفقیت،
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
چیزی که به دنبال آن هستید
و معمولاً انتظارش را دارید.
و معمولاً انتظارش را دارید.
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
شما به الگوریتم با دیدن
و درک کردن آموزش می‌دهید.
و درک کردن آموزش می‌دهید.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
الگوریتم درک می‌کند که چه چیزهایی
با موفقیت ارتباط دارند.
با موفقیت ارتباط دارند.
01:01
What situation leads to success?
16
49739
2463
چه موقعیتی به موفقیت منتهی می‌شود؟
01:04
Actually, everyone uses algorithms.
17
52881
1762
در واقع، همه
از الگوریتم‌ها استفاده می‌کنند.
از الگوریتم‌ها استفاده می‌کنند.
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
فقط آنها را به صورت کد نمی‌نویسند
01:09
Let me give you an example.
19
57409
1348
بگذارید مثالی بزنم.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
من هر روز از یک الگوریتم
برای پخت غذای خانواده‌ام استفاده می‌کنم.
برای پخت غذای خانواده‌ام استفاده می‌کنم.
01:14
The data I use
21
62121
1476
داده‌هایی که استفاده می‌کنم
01:16
is the ingredients in my kitchen,
22
64394
1659
شامل مواد موجود در آشپزخانه‌ام،
01:18
the time I have,
23
66077
1527
زمانی که دارم،
01:19
the ambition I have,
24
67628
1233
و هدفی که دارم می‌شود.
01:20
and I curate that data.
25
68885
1709
و من این داده‌ها را مدیریت می‌کنم.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
من آن بسته‌های کوچک
نودل رامن را غذا به حساب نمی‌آورم.
نودل رامن را غذا به حساب نمی‌آورم.
01:26
(Laughter)
27
74893
1869
(خنده حضار)
01:28
My definition of success is:
28
76786
1845
تعریف من از موفقیت این است:
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
یک غذا موفق است
اگر فرزندانم سبزیجات بخورند.
اگر فرزندانم سبزیجات بخورند.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
این خیلی متفاوت می‌شد
اگر پسر بزرگ‌ترم مسئول بود.
اگر پسر بزرگ‌ترم مسئول بود.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
از نظر او موفقیت این است
که بتواند زیاد نوتلا بخورد.
که بتواند زیاد نوتلا بخورد.
01:41
But I get to choose success.
32
89179
2226
ولی منم که موفقیت را انتخاب می‌کنم.
01:43
I am in charge. My opinion matters.
33
91429
2707
من مسئولم.
نظر من است که اهمیت دارد.
نظر من است که اهمیت دارد.
01:46
That's the first rule of algorithms.
34
94160
2675
این اولین قانون الگوریتم‌هاست.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
الگوریتم‌ها سلایقی هستند
که در قالب کد ارائه می‌شوند.
که در قالب کد ارائه می‌شوند.
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
این با چیزی که بیشتر مردم در مورد
الگوریتم‌ها فکر می‌کنند تفاوت دارد.
الگوریتم‌ها فکر می‌کنند تفاوت دارد.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
آنها فکر می‌کنند که الگوریتم‌ها
عینی، درست و علمی هستند.
عینی، درست و علمی هستند.
02:02
That's a marketing trick.
38
110387
1699
این یک حقهٔ بازاریابی است.
02:05
It's also a marketing trick
39
113269
2125
این هم یک حقهٔ بازاریابی است
02:07
to intimidate you with algorithms,
40
115418
3154
که شما را با الگوریتم‌ها بترسانند،
02:10
to make you trust and fear algorithms
41
118596
3661
که شما را وادار به اعتماد به الگوریتم‌ها
و ترس از آنها کنند
و ترس از آنها کنند
02:14
because you trust and fear mathematics.
42
122281
2018
به دلیل ترس و اعتماد شما به ریاضیات.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
باور کورکورانه به کلان‌داده‌ها
می‌تواند عواقب نادرستی داشته باشد.
می‌تواند عواقب نادرستی داشته باشد.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
این کیری سورس است.
او مدیر یک دبیرستان در بروکلین است.
او مدیر یک دبیرستان در بروکلین است.
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
در سال ۲۰۱۱، او به من گفت
معلم‌های مدرسه‌اش
معلم‌های مدرسه‌اش
02:29
with a complex, secret algorithm
46
137691
2727
با یک الگوریتم مرموز
و پیچیده امتیازبندی می‌شوند
و پیچیده امتیازبندی می‌شوند
02:32
called the "value-added model."
47
140442
1489
که نام آن
«مدل ارزش افزوده» است.
«مدل ارزش افزوده» است.
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
من به او گفتم، «خب، فرمول را پیدا کن
و به من نشان بده
و به من نشان بده
02:37
I'm going to explain it to you."
49
145621
1541
من آن را برایت توضیح می‌دهم».
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
او گفت: «من سعی کردم
که فرمول را بدست بیاورم،
که فرمول را بدست بیاورم،
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
اما رابط اداره‌ی آموزش
به من گفت که ریاضیات است
به من گفت که ریاضیات است
02:44
and I wouldn't understand it."
52
152147
1546
و من آن را درک نخواهم کرد.»
02:47
It gets worse.
53
155266
1338
بدتر هم می‌شود.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
روزنامه «نیویورک پست» درخواستی
مربوط به «سند آزادی اطلاعات» منتشر کرد،
مربوط به «سند آزادی اطلاعات» منتشر کرد،
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
نام تمام معلم‌ها
و تمام نمراتشان را به دست آورد
و تمام نمراتشان را به دست آورد
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
و برای خجالت‌زده کردن معلمان
آنها را منتشر کرد.
آنها را منتشر کرد.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
وقتی من خواستم فرمول‌ها
و کد را از همین طریق ببینم،
و کد را از همین طریق ببینم،
03:02
I was told I couldn't.
58
170968
2149
به من گفتند نمی‌توانم.
03:05
I was denied.
59
173141
1236
از این کار منع شدم.
03:06
I later found out
60
174401
1174
بعداً فهمیدم
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
که هیچ‌کس در شهر نیویورک
به آن فرمول دسترسی نداشت.
به آن فرمول دسترسی نداشت.
03:10
No one understood it.
62
178489
1305
هیچ‌کس آن را نمی‌فهمید.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
بعداً یک فرد واقعاً باهوش
به نام «گری روبنشتاین» درگیر این موضوع شد.
به نام «گری روبنشتاین» درگیر این موضوع شد.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
او ۶۶۵ معلم که در داده‌های
نیویورک پست بودند را یافت
نیویورک پست بودند را یافت
03:20
that actually had two scores.
65
188822
1866
که هر یک، دو نمره داشتند.
03:22
That could happen if they were teaching
66
190712
1881
اگر یک معلم در دو کلاس هفتم و هشتم
03:24
seventh grade math and eighth grade math.
67
192617
2439
تدریس کند ممکن است این اتفاق رخ دهد.
03:27
He decided to plot them.
68
195080
1538
او تصمیم گرفت این داده‌ها را ترسیم کند.
03:28
Each dot represents a teacher.
69
196642
1993
هر نقطه نشان‌دهنده‌ی یک معلم است.
03:31
(Laughter)
70
199104
2379
(خنده‌ی حضار)
03:33
What is that?
71
201507
1521
این چیست؟
03:35
(Laughter)
72
203052
1277
(خنده‌ی حضار)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
هرگز نباید برای ارزیابی افراد
مورد استفاده قرار می‌گرفت.
مورد استفاده قرار می‌گرفت.
03:39
It's almost a random number generator.
74
207823
1926
تقریباً یک تولیدکننده‌ی اعداد تصادفی است.
03:41
(Applause)
75
209773
2946
(تشوق حضار)
03:44
But it was.
76
212743
1162
اما استفاده شد.
03:45
This is Sarah Wysocki.
77
213929
1176
این سارا ویساکی است.
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
او به همراه ۲۰۵ معلم دیگر
03:49
from the Washington, DC school district,
79
217328
2662
از ناحیه‌ی مدارس واشنگتون دی‌سی اخراج شد.
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
علی‌رغم اینکه توصیه‌نامه‌های
خیلی خوبی از طرف مدیر
خیلی خوبی از طرف مدیر
03:54
and the parents of her kids.
81
222947
1428
و خانواده‌های شاگردانش داشت.
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
می‌دانم بسیاری از شما
چه فکر می‌کنید،
چه فکر می‌کنید،
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
خصوصاً دانشمندان داده،
و خبرگان هوش مصنوعی.
و خبرگان هوش مصنوعی.
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
شما فکر می‌کنید، «من هرگز الگوریتمی
به این ناسازگاری نخواهم ساخت».
به این ناسازگاری نخواهم ساخت».
04:06
But algorithms can go wrong,
85
234853
1683
اما الگوریتم‌ها می‌توانند اشتباه کنند،
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
حتی آثار مخرب عمیقی داشته باشند،
در صورتی که نیت‌شان خیر بوده است.
در صورتی که نیت‌شان خیر بوده است.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
برخلاف هواپیمایی
که بد طراحی شده است
که بد طراحی شده است
04:16
crashes to the earth and everyone sees it,
88
244934
2001
و سقوط می‌کند و همه آن را می‌بینند،
04:18
an algorithm designed badly
89
246959
1850
الگوریتمی که بد طراحی شده باشد
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
ممکن است مدت زیادی
به صورت خاموش تخریب کند.
به صورت خاموش تخریب کند.
04:27
This is Roger Ailes.
91
255748
1570
این راجر ایلز است.
04:29
(Laughter)
92
257342
2000
(خنده‌ی حضار)
04:32
He founded Fox News in 1996.
93
260524
2388
او در سال ۱۹۹۶ فاکس نیوز را تأسیس کرد.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
بیش از ۲۰ زن از آزار جنسی
شکایت کردند.
شکایت کردند.
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
آنها می‌گفتند که اجازه موفقیت
در فاکس نیوز را ندارند.
در فاکس نیوز را ندارند.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
او سال گذشته برکنار شد،
اما اخیراً دیده شده
اما اخیراً دیده شده
04:43
that the problems have persisted.
97
271844
2670
که مشکلات باقی مانده‌اند.
04:47
That begs the question:
98
275654
1400
این مسئله این سؤال را برمی‌انگیزد:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
فاکس نیوز باید چه کند
تا بهبود یابد؟
تا بهبود یابد؟
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
خب، چطور است فرایند استخدم را
04:56
with a machine-learning algorithm?
101
284310
1654
با یک الگوریتم یادگیری ماشین جایگزین کنیم؟
04:57
That sounds good, right?
102
285988
1595
به نظر خوب می‌آید، نه؟
04:59
Think about it.
103
287607
1300
به آن فکر کنید.
05:00
The data, what would the data be?
104
288931
2105
داده، داده‌ها چه خواهند بود؟
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
یک انتخاب منطقی سابقه درخواست‌های استخدام
در ۲۱ سال گذشته‌ی فاکس نیوز است.
در ۲۱ سال گذشته‌ی فاکس نیوز است.
05:08
Reasonable.
106
296031
1502
منطقی است.
05:09
What about the definition of success?
107
297557
1938
تعریف موفقیت چطور؟
05:11
Reasonable choice would be,
108
299921
1324
یک انتخاب منطقی این است که،
05:13
well, who is successful at Fox News?
109
301269
1778
چه کسی در فاکس نیوز موفق است؟
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
به نظرم کسی که مثلاً،
چهار سال در آنجا مانده باشد
چهار سال در آنجا مانده باشد
05:18
and was promoted at least once.
111
306675
1654
و حداقل یک بار ارتقاء گرفته باشد.
05:20
Sounds reasonable.
112
308816
1561
به نظرم منطقی است.
05:22
And then the algorithm would be trained.
113
310401
2354
سپس الگوریتم را آموزش می‌دهیم.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
الگوریتم آموزش داده می‌شود که بگردد
و بفهمد چه چیزی منجر به موفقیت شده است.
و بفهمد چه چیزی منجر به موفقیت شده است.
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
بر اساس این تعریف
که چه جور درخواست‌هایی در گذشته
منجر به موفقیت شده‌اند؟
منجر به موفقیت شده‌اند؟
05:33
by that definition.
116
321561
1294
05:36
Now think about what would happen
117
324200
1775
حالا به این فکر کنید که اگر الگوریتم را
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
روی درخواست‌های فعلی اجرا کنیم
چه خواهد شد؟
چه خواهد شد؟
05:41
It would filter out women
119
329119
1629
زن‌ها حذف می‌شوند
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
چون شبیه افرادی که در گذشته
موفق بوده‌اند به نظر نمی‌رسند.
موفق بوده‌اند به نظر نمی‌رسند.
05:51
Algorithms don't make things fair
121
339752
2537
الگوریتم‌ها چیزی را عادلانه نمی‌کنند
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
اگر آنها را خوش‌بینانه
و کورکورانه به کار ببرید.
و کورکورانه به کار ببرید.
05:57
They don't make things fair.
123
345031
1482
چیزی را عادلانه نمی‌کنند.
05:58
They repeat our past practices,
124
346537
2128
آنها تجربیات و الگوهای گذشته‌ی ما را
06:00
our patterns.
125
348689
1183
تکرار می‌کنند.
06:01
They automate the status quo.
126
349896
1939
وضعیت موجود را خودکارسازی می‌کنند.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
اگر دنیای ما بی‌نقص بود،
این عالی بود،
این عالی بود،
06:07
but we don't.
128
355905
1312
اما این‌طور نیست.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
و اضافه می‌کنم که اکثر شرکت‌ها
دادخواست‌های شرم‌آوری ندارند،
دادخواست‌های شرم‌آوری ندارند،
06:14
but the data scientists in those companies
130
362446
2588
اما به دانشمندان داده در این شرکت‌ها
06:17
are told to follow the data,
131
365058
2189
گفته می‌شود که داده‌ها را دنبال کنند،
06:19
to focus on accuracy.
132
367271
2143
و روی دقت تمرکز کنند.
06:22
Think about what that means.
133
370273
1381
به این فکر کنید که این به چه معنی است.
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
چون ما همه تعصباتی داریم،
یعنی ممکن است تبعیض جنسی
یعنی ممکن است تبعیض جنسی
06:27
or any other kind of bigotry.
135
375729
1836
یا هر نوع تعصب دیگر را به کد تبدیل کنیم.
06:31
Thought experiment,
136
379488
1421
یک آزمایش فکری،
06:32
because I like them:
137
380933
1509
چون آن را دوست دارم:
06:35
an entirely segregated society --
138
383574
2975
یک جامعه کاملاً تفکیک‌شده --
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
تفکیک‌شده‌ی نژادی، در تمام شهرها،
تمام محله‌ها
تمام محله‌ها
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
و پلیس‌ها را برای تشخیص جرم
فقط به محله‌ی اقلیت‌ها می‌فرستیم.
06:46
to look for crime.
141
394660
1193
06:48
The arrest data would be very biased.
142
396451
2219
داده‌های دستگیری‌ها
خیلی تبعیض‌آمیز خواهد بود.
خیلی تبعیض‌آمیز خواهد بود.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
چه خوا هد شد اگر علاوه بر این،
تعدادی دانشمند داده بیابیم
تعدادی دانشمند داده بیابیم
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
و به آنها پول بدهیم تا محل وقوع
جرایم بعدی را پیش‌بینی کنند؟
جرایم بعدی را پیش‌بینی کنند؟
06:59
Minority neighborhood.
145
407275
1487
محله‌ی اقلیت‌ها.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
و یا پیش‌بینی کنند مجرمِ بعدی
که خواهد بود؟
که خواهد بود؟
07:04
A minority.
147
412888
1395
یک [فردِ] اقلیت.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
دانشمندان داده به عظمت
و دقتِ مدلِشان
و دقتِ مدلِشان
07:11
their model would be,
149
419514
1297
افتخار خواهند کرد،
07:12
and they'd be right.
150
420835
1299
و حق دارند.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
آیا این جدی نیست؟
اما ما این تفکیک‌های شدید را
اما ما این تفکیک‌های شدید را
07:20
in many cities and towns,
152
428590
1287
در بسیاری شهرهای بزرگ و کوچک داریم،
07:21
and we have plenty of evidence
153
429901
1893
و شواهدی زیادی از تعصبات پلیسی
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
و داده‌های سیستم قضایی،
در دست داریم.
در دست داریم.
07:27
And we actually do predict hotspots,
155
435632
2815
و در واقع نقاط کانونی را پیش‌بینی می‌کنیم،
07:30
places where crimes will occur.
156
438471
1530
مکان‌هایی که جرم در آن رخ خواهد داد.
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
در حقیقت، جنایتکاری فردی
را پیش‌بینی می‌کنیم.
را پیش‌بینی می‌کنیم.
07:36
the criminality of individuals.
158
444291
1770
میزان جنایتکاری افراد را.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
سازمان خبری پروپابلیکا
به یکی از الگوریتم‌های
به یکی از الگوریتم‌های
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
به ظاهر [تشخیص‌دهنده‌ی] «ریسک تکرار جرم»
07:45
as they're called,
161
453007
1163
نگاهی انداخته است.
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
که در فلوریدا حین صدور رأی
قضات استفاده می‌شود.
قضات استفاده می‌شود.
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
برنابرد، در سمت چپ، مرد سیاه‌پوست،
امتیاز ۱۰ از ۱۰ گرفته بود.
امتیاز ۱۰ از ۱۰ گرفته بود.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
دیلان، در سمت راست، ۳ از ۱۰.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
۱۰ از ۱۰، ریسک زیاد.
۳ از ۱۰، ریسک کم.
۳ از ۱۰، ریسک کم.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
هر دوی آنها به خاطر حمل
مواد مخدر دستگیر شده بودند.
مواد مخدر دستگیر شده بودند.
08:03
They both had records,
167
471007
1154
هر دوی آنها سابقه‌دار بودند،
08:04
but Dylan had a felony
168
472185
2806
اما دیلان سابقه‌ی تبه‌کاری داشت
08:07
but Bernard didn't.
169
475015
1176
ولی برنارد نداشت.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
این مسئله به این خاطر اهمیت دارد
که هر چه امتیاز شما بالاتر باشد،
که هر چه امتیاز شما بالاتر باشد،
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
احتمال اینکه محکومیت طولانی‌تری
بگیرید افزایش می‌یابد.
بگیرید افزایش می‌یابد.
08:18
What's going on?
172
486294
1294
قضیه چیست؟
08:20
Data laundering.
173
488526
1332
داده‌شویی.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
فرایندی که طی آن فناوری‌گرایان
حقایق زشت را در جعبه‌های سیاه
حقایق زشت را در جعبه‌های سیاه
08:27
inside black box algorithms
175
495381
1821
پنهان می‌کنند.
08:29
and call them objective;
176
497226
1290
و آن را «عینی» می‌خوانند؛
08:31
call them meritocratic.
177
499320
1568
آن‌را «شایسته‌سالاری» خطاب می‌کنند.
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
در حالی که این الگوریتم‌ها مخفی،
مهم و ویران‌گر هستند،
مهم و ویران‌گر هستند،
08:37
I've coined a term for these algorithms:
179
505527
2487
من برای آنها نامی در نظر گرفته‌ام:
08:40
"weapons of math destruction."
180
508038
1999
«سلاح کشتار ریاضی.»
08:42
(Laughter)
181
510061
1564
(خنده حضار)
08:43
(Applause)
182
511649
3054
(تشویق حضار)
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
این‌ها همه جا هستند،
و این یک اشتباه نیست.
و این یک اشتباه نیست.
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
این شرکت‌های خصوصی
الگوریتم‌هایی خصوصی
الگوریتم‌هایی خصوصی
08:53
for private ends.
185
521442
1392
برای اهداف شخصی می‌سازند.
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
حتی همان‌هایی که درباره‌شان صحبت کردم
برای معلمان و پلیس عمومی،
برای معلمان و پلیس عمومی،
08:58
those were built by private companies
187
526452
1869
آنها هم توسط شرکت‌های خصوصی
ساخته شده بودند
ساخته شده بودند
09:00
and sold to the government institutions.
188
528345
2231
و به مؤسسات دولتی فروخته شده بودند.
09:02
They call it their "secret sauce" --
189
530600
1873
به آن «سس مخصوص» خودشان می‌گویند
09:04
that's why they can't tell us about it.
190
532497
2128
برای همین نمی‌توانند درباره‌ی آن
به ما توضیح دهند.
به ما توضیح دهند.
09:06
It's also private power.
191
534649
2220
قدرت خصوصی هم هست.
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
آنها به خاطر داشتن
حق محرمانگی سود می‌برند.
حق محرمانگی سود می‌برند.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
ممکن است فکر کنید،
چون این چیزها خصوصی هستند
چون این چیزها خصوصی هستند
09:20
and there's competition,
194
548072
1158
و رقابت وجود دارد،
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
شاید بازار آزاد
این مسئله را حل کند.
این مسئله را حل کند.
09:23
It won't.
196
551584
1249
این‌طور نخواهد شد.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
پول زیادی از بی‌عدالتی
به دست می‌آید.
به دست می‌آید.
09:29
Also, we're not economic rational agents.
198
557127
3369
علاوه بر این، ما
عامل‌های اقتصادیِ منطقی‌ای نیستیم.
عامل‌های اقتصادیِ منطقی‌ای نیستیم.
09:33
We all are biased.
199
561031
1292
همه‌ی ما تعصباتی داریم.
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
ما همه نژادپرست و متعصبیم
به طرقی که دوست داشتیم نباشیم،
به طرقی که دوست داشتیم نباشیم،
09:38
in ways that we don't even know.
201
566361
2019
به طرقی که حتی نمی‌دانیم.
09:41
We know this, though, in aggregate,
202
569352
3081
هر چند در مجموع این را می‌دانیم
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
چون جامعه‌شناسان
مدام این را با آزمایش‌هایی که می‌کنند،
مدام این را با آزمایش‌هایی که می‌کنند،
09:47
with these experiments they build,
204
575701
1665
ثابت کرده‌اند.
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
آنها تعدادی درخواست
استخدام را ارسال می‌کنند
استخدام را ارسال می‌کنند
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
که به یک اندازه واجد شرایطند
اما برخی نام‌های سفیدپوستی
اما برخی نام‌های سفیدپوستی
09:54
and some have black-sounding names,
207
582507
1706
و برخی نام‌های سیاه‌پوستی دارند،
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
و نتیجه همواره ناامیدکننده است، همیشه.
09:59
So we are the ones that are biased,
209
587510
1771
بنابراین این ما هستیم که تعصب داریم،
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
و این تعصبات را
با داده‌هایی که جمع‌آوری می‌کنیم
با داده‌هایی که جمع‌آوری می‌کنیم
10:04
by choosing what data to collect,
211
592758
1812
به الگوریتم‌ها تزریق می‌کنیم.
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
مثلاً من تصمیمی گرفتم
به ریمن نودل فکر نکنم
به ریمن نودل فکر نکنم
10:09
I decided it was irrelevant.
213
597361
1625
به نظرم نامربوط بود.
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
اما با اعتماد به داده‌هایی
که از تجربیات گذشته یاد می‌گیرند
که از تجربیات گذشته یاد می‌گیرند
10:16
and by choosing the definition of success,
215
604718
2014
و با انتخاب تعریف موفقیت،
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
چطور می‌توانیم از الگوریتم‌ها
انتظار داشته باشیم جان سالم به در ببرند؟
انتظار داشته باشیم جان سالم به در ببرند؟
10:22
We can't. We have to check them.
217
610763
2356
نمی‌توانیم. باید آنها را بررسی کنیم.
10:26
We have to check them for fairness.
218
614165
1709
باید عدالت را در آنها بررسی کنیم.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
خبر خوب اینکه،
می‌توانیم عدالت را در آنان بررسی کنیم.
می‌توانیم عدالت را در آنان بررسی کنیم.
10:30
Algorithms can be interrogated,
220
618633
3352
می‌توان الگوریتم‌ها را بازجویی کرد.
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
و آنها هر بار به ما
حقیقت را خواهند گفت.
حقیقت را خواهند گفت.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
و می‌توانیم آنها را درست کنیم.
می‌توانیم آنها را بهتر کنیم.
می‌توانیم آنها را بهتر کنیم.
10:38
I call this an algorithmic audit,
223
626584
2375
من به این حسابرسی الگوریتمی می‌گویم،
10:40
and I'll walk you through it.
224
628983
1679
و آن را به شما توضیح می‌دهم.
10:42
First, data integrity check.
225
630686
2196
نخست، بررسی درستی داده‌ها.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
برای الگوریتم ریسک تکرار جنایت
که درباره‌اش صحبت کردم،
که درباره‌اش صحبت کردم،
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
بررسی درستی داده به این معنی است
که باید با این حقیقت کنار بیاییم
که باید با این حقیقت کنار بیاییم
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
که در ایالات متحده، سیاه‌پوستان
و سفیدپوستان به میزان یکسانی گُل می‌کشند
و سفیدپوستان به میزان یکسانی گُل می‌کشند
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
اما سیاه‌پوستان به مراتب
بیشتر دستگیر می‌شوند
بیشتر دستگیر می‌شوند
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
چهار تا پنچ برابر بیشتر
وابسته به منطقه.
وابسته به منطقه.
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
این تعصب در سایر رده‌های جرم چطور است،
11:06
and how do we account for it?
232
654167
1451
و چطور آن را در نظر بگیریم؟
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
دوم، باید درباره‌ی تعریف موفقیت فکر کنیم،
11:11
audit that.
234
659225
1381
آن را حسابرسی کنیم.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
الگوریتم استخدام را به خاطر دارید؟
درباره‌ی آن صحبت کردیم.
درباره‌ی آن صحبت کردیم.
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
فردی که چهارسال بماند
و یک بار ارتقاء گرفته باشد؟
و یک بار ارتقاء گرفته باشد؟
11:18
Well, that is a successful employee,
237
666595
1769
خب، این یک کارمند موفق است.
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
اما علاوه بر این کارمندی است
که در فرهنگش مورد حمایت قرار گرفته است.
که در فرهنگش مورد حمایت قرار گرفته است.
11:24
That said, also it can be quite biased.
239
672089
1926
بنابراین، آن هم می‌تواند متعصبانه باشد.
11:26
We need to separate those two things.
240
674039
2065
باید این دو را از هم جدا کنیم.
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
برای مثال باید
به مصاحبه‌ی ارکستر ناپیدا بنگریم.
11:30
as an example.
242
678578
1196
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
در این مصاحبه افراد مصاحبه‌گر
در پسِ یک پرده هستند.
در پسِ یک پرده هستند.
11:34
What I want to think about there
244
682946
1931
آن‌چه می‌خواهم به آن فکر کنم
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
این است که افرادی که گوش می‌دهند
متوجه شده‌اند چه چیزی مهم است
متوجه شده‌اند چه چیزی مهم است
11:40
and they've decided what's not important,
246
688342
2029
و چه چیزی مهم نیست،
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
و به خاطر آن
حواس‌شان پرت نمی‌شود.
حواس‌شان پرت نمی‌شود.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
زمانی که مصاحبه‌ی ارکستر ناپیدا شروع شد،
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
تعداد زنان در ارکسترها
پنچ برابر شد.
پنچ برابر شد.
11:52
Next, we have to consider accuracy.
250
700253
2015
سپس، باید دقت را در نظر بگیریم.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
اینجاست که مدل ارزش افزوده
برای معلمان بلافاصله در هم می‌شکند.
برای معلمان بلافاصله در هم می‌شکند.
11:59
No algorithm is perfect, of course,
252
707578
2162
البته هیچ الگوریتمی بی‌نقص نیست،
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
بنابراین باید خطای
تمام الگوریتم‌ها را در نظر بگیریم.
تمام الگوریتم‌ها را در نظر بگیریم.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
این خطاها تا چه حد پر تکرارند،
و این مدل برای چه کسانی بد عمل می‌کند؟
و این مدل برای چه کسانی بد عمل می‌کند؟
12:11
What is the cost of that failure?
255
719850
1718
هزینه‌ی این خطا چقدر است؟
12:14
And finally, we have to consider
256
722434
2207
و در نهایت، باید
12:17
the long-term effects of algorithms,
257
725973
2186
آثار بلند مدت الگوریتم‌ها را
در نظر بگیریم.
در نظر بگیریم.
12:20
the feedback loops that are engendering.
258
728866
2207
حلقه‌های بازخوردی که تشدید کننده‌اند.
12:23
That sounds abstract,
259
731586
1236
به نظر انتزاعی می‌رسد،
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
اما تصور کنید اگر مهندسان فیسبوک
پیش از آن‌که تصمیم بگیرند
پیش از آن‌که تصمیم بگیرند
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
فقط چیزهایی را به ما نشان بدهند
که دوستانمان فرستاده‌اند،
که دوستانمان فرستاده‌اند،
این مسئله را در نظر نگرفته بودند.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
دو پیام دیگر هم دارم،
یکی برای دانشمندان داده.
یکی برای دانشمندان داده.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
دانشمندان داده: ما نباید
داوران حقیقت باشیم.
داوران حقیقت باشیم.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
ما باید مترجمان گفتگوهای اخلاقی باشیم
که در جامعه‌ی بزرگتر رخ می‌دهد.
12:45
in larger society.
265
753327
1294
12:47
(Applause)
266
755579
2133
(تشویق حضار)
12:49
And the rest of you,
267
757736
1556
و بقیه‌ی شما،
12:52
the non-data scientists:
268
760011
1396
کسانی که دانشمند داده نیستند:
12:53
this is not a math test.
269
761431
1498
این یک امتحان ریاضی نیست.
12:55
This is a political fight.
270
763632
1348
این یک جنگ سیاسی است.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
ما باید مسئولیت‌پذیری را
از اربابانِ الگوریتمی‌مان مطالبه کنیم.
از اربابانِ الگوریتمی‌مان مطالبه کنیم.
13:04
(Applause)
272
772118
1499
(تشویق حضار)
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
عصر ایمان کورکورانه
به داده‌های عظیم باید پایان بیابد.
به داده‌های عظیم باید پایان بیابد.
13:09
Thank you very much.
274
777890
1167
خیلی متشکرم.
13:11
(Applause)
275
779081
5303
(تشویق حضار)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com