TED2017
Cathy O'Neil: The era of blind faith in big data must end
كاثي أونيل: لا بد أن ينتهي عصر الثقة العمياء في البيانات الضخمة
Filmed:
Readability: 4.4
1,391,460 views
تقرر الخوارزميات من سيحصل على قرض أو على مقابلة عمل أو على تأمين وغير ذلك الكثير، لكنها لا تجعل الأمور عادلة آليًّا، مما دفع عالمة الرياضيات والبيانات كاثي أونيل إلى صياغة مصطلح "أسلحة دمار الرياضيات" لتصِفُ به الخوارزميات السرّية والمهمّة والضارة. اعرف المزيد عن المصالح الخفيّة وراء تلك الصيغ الرياضية.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
نجدُ الخوارزميات في كل مكان.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
إنها تُصنّفُ وتفصل الفائزين عن الخاسرين.
00:20
The winners get the job
2
8019
2264
يحصل الفائزون على الوظيفة
أو على أحد عروض بطاقات الائتمان الجيّدة.
00:22
or a good credit card offer.
3
10307
1743
00:24
The losers don't even get an interview
4
12074
2651
بينما لا يحصل الخاسرون حتى على مقابلة عمل
00:27
or they pay more for insurance.
5
15590
1777
أو يدفعون أكثر مقابل التأمين.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
يتمّ تقييمنا بصيغ سرّية لا نفهمها
00:34
that often don't have systems of appeal.
7
22675
3217
والتي لا يمكننا استئناف أحكامها
في معظم الأحيان.
في معظم الأحيان.
00:39
That begs the question:
8
27240
1296
مما يطرح السؤال:
00:40
What if the algorithms are wrong?
9
28560
2913
ماذا لو كانت الخوارزميات خاطئة؟
لبناء خوارزمية فأنتم تحتاجون لشيئين:
00:45
To build an algorithm you need two things:
10
33100
2040
تحتاجون لبيانات، أي ما حدث في الماضي،
00:47
you need data, what happened in the past,
11
35164
1981
00:49
and a definition of success,
12
37169
1561
وتحتاجون تعريفًا للنجاح،
أي الأمر الذي تبحثون عنه
وتأملون غالبًا إيجاده.
وتأملون غالبًا إيجاده.
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
تدرّبون الخوارزمية بالبحث أو التحديد.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
أي تحدّد الخوارزمية ما هو متعلق بالنجاح.
01:01
What situation leads to success?
16
49739
2463
أي حالة تقود إلى النجاح؟
في الواقع، يستخدمُ كلُ شخص الخوارزميات.
01:04
Actually, everyone uses algorithms.
17
52881
1762
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
لكن فقط هم لا يستطيعون صياغتها
على هيئة شفرات مكتوبة.
على هيئة شفرات مكتوبة.
دعوني أعطيكم مثالاً.
01:09
Let me give you an example.
19
57409
1348
أستخدمُ الخوارزميات كل يوم
لأصنع وجبة غذائية لأسرتي.
لأصنع وجبة غذائية لأسرتي.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
فالبيانات التي أستخدمها
01:14
The data I use
21
62121
1476
01:16
is the ingredients in my kitchen,
22
64394
1659
هي محتويات مطبخي،
ووقتي،
01:18
the time I have,
23
66077
1527
وطموحي،
01:19
the ambition I have,
24
67628
1233
وأقوم بتنظيم هذه البيانات.
01:20
and I curate that data.
25
68885
1709
لا أعتبر هذه العبوّات الصغيرة من
الرامن (حساء المعكرونة) طعامًا.
الرامن (حساء المعكرونة) طعامًا.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
(ضحك)
01:26
(Laughter)
27
74893
1869
تعريفي للنجاح هو:
01:28
My definition of success is:
28
76786
1845
تعتبرُ الوجبة الغذائية ناجحة
إذا تناول أطفالي الخضروات.
إذا تناول أطفالي الخضروات.
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
سيختلف هذا إن كان ابني الصغير هو المسؤول.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
سيقول أن النجاح هو إذا تناول
الكثير من شوكولاتة "نوتيلا".
الكثير من شوكولاتة "نوتيلا".
01:41
But I get to choose success.
32
89179
2226
لكن يتوجب عليّ اختيار النجاح.
01:43
I am in charge. My opinion matters.
33
91429
2707
أنا المسؤولة. لذا فرأيي مهمّ.
01:46
That's the first rule of algorithms.
34
94160
2675
هذه هي أول قاعدة للخوارزميات.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
الخوارزميات هي آراء موضوعة في شفرات.
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
إنها مختلفة حقًا عما يعتقده معظم الناس.
إنهم يعتقدون أن الخوارزميات
موضوعية وصحيحة وعلمية.
موضوعية وصحيحة وعلمية.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
02:02
That's a marketing trick.
38
110387
1699
إنها خدعة تسويقية.
02:05
It's also a marketing trick
39
113269
2125
وإنها أيضًا خدعة تسويقية
02:07
to intimidate you with algorithms,
40
115418
3154
لتخويفكم بهذه الخوارزميات،
02:10
to make you trust and fear algorithms
41
118596
3661
لجعلكم تثقون في الخوارزميات وتخافونها
02:14
because you trust and fear mathematics.
42
122281
2018
لأنكم تثقون في الرياضيات وتخافونها.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
الكثير من الأمور قد تسوء عندما
نضع ثقة عمياء في البيانات الضخمة.
نضع ثقة عمياء في البيانات الضخمة.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
هذه هي (كيري سوريس)،
إنها مديرة مدرسة ثانوية في (بروكلين).
إنها مديرة مدرسة ثانوية في (بروكلين).
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
في عام 2011، أخبرتني
بأنه كان يتمّ تصنيف معلميها
بأنه كان يتمّ تصنيف معلميها
02:29
with a complex, secret algorithm
46
137691
2727
بناءً على خوارزمية سرية معقدة
سمّيت "نموذج القيمة المضافة".
02:32
called the "value-added model."
47
140442
1489
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
قلت لها: "حسنًا، اكتشفي ما هي الصيغة،
وأريني إياها.
وأريني إياها.
02:37
I'm going to explain it to you."
49
145621
1541
وسأشرحها لكِ."
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
قالت، "حسنًا، حاولتُ الحصول على الصيغة،
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
ولكن أخبرني شخص في وزارة التربية والتعليم
أنها عبارة عن رياضيات
أنها عبارة عن رياضيات
02:44
and I wouldn't understand it."
52
152147
1546
وأنني لن أفهمها."
02:47
It gets worse.
53
155266
1338
يزدادُ الأمرُ سوءًا.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
قدّمت صحيفة (نيويورك بوست)
"طلب قانون حماية المعلومات"
"طلب قانون حماية المعلومات"
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
وحصلت على أسماء كل المعلمين وتقييماتهم
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
وتم نشرها على سبيل الخزي للمعلمين.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
عندما حاولتُ الحصول على الصيَغ
والشيفرة المصدرية عبر الوسائل نفسها،
والشيفرة المصدرية عبر الوسائل نفسها،
03:02
I was told I couldn't.
58
170968
2149
قيل لي أنني لا أستطيع.
03:05
I was denied.
59
173141
1236
تمّ رفضي.
03:06
I later found out
60
174401
1174
واكتشفتُ لاحقًا
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
بأنه لم يستطع أحد في مدينة (نيويورك)
الوصول إلى تلك الصيغة.
الوصول إلى تلك الصيغة.
03:10
No one understood it.
62
178489
1305
لم يفهمها أحد.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
ثُم اهتم بالموضوع شخص ذكي حقًا،
يدعى (غاري روبنشتاين).
يدعى (غاري روبنشتاين).
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
وجد أن 665 معلمًا من بيانات
صحفية (نيويورك بوست) تلك
صحفية (نيويورك بوست) تلك
03:20
that actually had two scores.
65
188822
1866
لديهم في الحقيقة تقييمان.
03:22
That could happen if they were teaching
66
190712
1881
ويمكن حدوث ذلك إن كانوا يدرّسون
03:24
seventh grade math and eighth grade math.
67
192617
2439
مادة الرياضيات للصفين السابع والثامن.
03:27
He decided to plot them.
68
195080
1538
قرّر تمثيلهم برسم بياني.
03:28
Each dot represents a teacher.
69
196642
1993
تمثلُ كل نقطة معلمًا.
03:31
(Laughter)
70
199104
2379
(ضحك)
03:33
What is that?
71
201507
1521
ما هذا؟
03:35
(Laughter)
72
203052
1277
(ضحك)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
لم يكن ينبغي استخدام ذلك
على الإطلاق للتقييم الفردي.
على الإطلاق للتقييم الفردي.
03:39
It's almost a random number generator.
74
207823
1926
إنه تقريبًا مُولّد أرقام عشوائية.
03:41
(Applause)
75
209773
2946
(تصفيق)
03:44
But it was.
76
212743
1162
ولكنه ما حدث.
03:45
This is Sarah Wysocki.
77
213929
1176
هذه هي (سارة ويسوكي).
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
تمّ طردها من العمل
-بالإضافة إلى 205 معلم آخر-
-بالإضافة إلى 205 معلم آخر-
03:49
from the Washington, DC school district,
79
217328
2662
من قطاع مدارس العاصمة (واشنطن)،
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
مع أن لديها توصيات عظيمة من مديرتها
03:54
and the parents of her kids.
81
222947
1428
وأولياء أمور طلابها.
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
أعرفُ ما يفكرُ فيه الكثير منكم يا رفاق،
خاصةً علماء البيانات وخبراء
الذكاء الاصطناعي هنا.
الذكاء الاصطناعي هنا.
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
تفكّرون: "حسنًا، لم أكن لأنشئ
خوارزمية غير متجانسة كهذه".
خوارزمية غير متجانسة كهذه".
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
04:06
But algorithms can go wrong,
85
234853
1683
ولكن يمكنُ للخوارزميات أن تفشل
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
وتسبّبَ آثارًا مدمّرة بشدّة
حتى رغم النوايا حسنة.
حتى رغم النوايا حسنة.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
وبينما الطائرة التي صُممت بطريقة سيئة
04:16
crashes to the earth and everyone sees it,
88
244934
2001
تتحطم على الأرض ويراها الجميع،
04:18
an algorithm designed badly
89
246959
1850
إلا أن الخوارزمية المصمّمة بطريقة سيئة
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
يمكنُ أن تبقى لوقت طويل
تعيث فسادًا في صمت.
تعيث فسادًا في صمت.
04:27
This is Roger Ailes.
91
255748
1570
هذا هو (روجير إيلس).
04:29
(Laughter)
92
257342
2000
(ضحك)
04:32
He founded Fox News in 1996.
93
260524
2388
قام بتأسيس قناة (فوكس) الإخبارية عام 1996.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
اشتكت أكثر من 20 امرأة من التحرش الجنسي.
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
قلن أن ذلك أثّر عليهن فلم يستطعن
النجاح في قناة (فوكس) الإخبارية.
النجاح في قناة (فوكس) الإخبارية.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
تم طرده العام الماضي، لكن رأينا مؤخرًا
04:43
that the problems have persisted.
97
271844
2670
بأن المشاكل ما زالت مستمرة.
04:47
That begs the question:
98
275654
1400
مما يطرحُ السؤال:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
ما الذي ينبغي على قناة (فوكس) الإخبارية
عمله لتبدأ صفحة جديدة؟
عمله لتبدأ صفحة جديدة؟
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
ماذا لو استبدلوا عملية التوظيف لديهم
04:56
with a machine-learning algorithm?
101
284310
1654
بخوارزمية "التعلّم الآلي"؟
04:57
That sounds good, right?
102
285988
1595
يبدو هذا جيدًا، أليس كذلك؟
04:59
Think about it.
103
287607
1300
فكّروا في الأمر.
05:00
The data, what would the data be?
104
288931
2105
بالنسبة للبيانات، ماذا ستكون البيانات؟
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
ربما طلبات التوظيف في (فوكس) الإخبارية
خلال 21 سنة الأخيرة.
خلال 21 سنة الأخيرة.
05:08
Reasonable.
106
296031
1502
منطقي.
05:09
What about the definition of success?
107
297557
1938
ماذا عن تعريف النجاح؟
05:11
Reasonable choice would be,
108
299921
1324
سيكون الاختيار المعقول هو،
05:13
well, who is successful at Fox News?
109
301269
1778
من هو الناجح
في قناة (فوكس) الإخبارية؟
في قناة (فوكس) الإخبارية؟
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
لنقل أنه شخص بقي هناك لمدة أربع سنوات
05:18
and was promoted at least once.
111
306675
1654
وتم ترقيته مرة واحدة على الأقل.
05:20
Sounds reasonable.
112
308816
1561
يبدو الأمر معقولًا.
05:22
And then the algorithm would be trained.
113
310401
2354
وبعد ذلك سيتم تدريب الخوارزمية.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
سيتم تدريبها للبحث عن الأشخاص
لمعرفة ما الذي أدّى إلى النجاح،
لمعرفة ما الذي أدّى إلى النجاح،
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
ما نوع طلبات التوظيف
التي أدت تاريخيًا إلى النجاح
التي أدت تاريخيًا إلى النجاح
05:33
by that definition.
116
321561
1294
بناءً على التعريف السابق.
05:36
Now think about what would happen
117
324200
1775
فكّروا الآن فيما سيحدث
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
لو طبّقنا ذلك على المجموعة الحالية
من طالبي التوظيف.
من طالبي التوظيف.
05:41
It would filter out women
119
329119
1629
ستَستبعِد الخوارزمية النساء
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
لأنهن لا يشبهن الأشخاص
الذين نجحوا في الماضي.
الذين نجحوا في الماضي.
05:51
Algorithms don't make things fair
121
339752
2537
لا تحقق الخوارزميات العدالة
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
إن طبّقتموها على نحو أعمى وبدون تفكير.
05:57
They don't make things fair.
123
345031
1482
لا تجعل الأمور عادلة.
05:58
They repeat our past practices,
124
346537
2128
تعيدُ ممارساتنا الماضية،
06:00
our patterns.
125
348689
1183
وأنماط تصرّفاتنا.
06:01
They automate the status quo.
126
349896
1939
وتدير الوضع الراهن آليًّا.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
سيكون ذلك عظيمًا لو كان لدينا عالم مثالي،
06:07
but we don't.
128
355905
1312
ولكن ليس لدينا.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
وسأضيفُ أن معظم الشركات ليس لديها
شكاوي قضائية محرجة،
شكاوي قضائية محرجة،
06:14
but the data scientists in those companies
130
362446
2588
ولكن علماء البيانات في هذه الشركات
06:17
are told to follow the data,
131
365058
2189
يُطلب منهم تتبّع البيانات
06:19
to focus on accuracy.
132
367271
2143
للتركيز على الدقة.
06:22
Think about what that means.
133
370273
1381
فكّروا فيما يعنيه ذلك.
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
لأنه لدى جميعنا نزعة تحيّز،
فيمكن أن يقوموا بتقنين التمييز الجنسي
فيمكن أن يقوموا بتقنين التمييز الجنسي
06:27
or any other kind of bigotry.
135
375729
1836
أو أي نوع آخر من التعصب الأعمى.
06:31
Thought experiment,
136
379488
1421
إليكم تجربة فكرية،
06:32
because I like them:
137
380933
1509
لأني أحبهم:
06:35
an entirely segregated society --
138
383574
2975
إن افترضنا وجود مجتمع
مفصول عنصريًا بالكامل،
مفصول عنصريًا بالكامل،
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
كل بلداته وأحياؤه مفصولة على أساس عنصري
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
وحيث أننا نرسلُ الشرطة
لأحياء الأقليّات فقط
لأحياء الأقليّات فقط
06:46
to look for crime.
141
394660
1193
للبحث عن الجريمة،
06:48
The arrest data would be very biased.
142
396451
2219
فإن بيانات الاعتقال ستكون منحازة جدًا.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
وعلاوة على ذلك، ماذا لو
وجدنا علماء البيانات
وجدنا علماء البيانات
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
ودفعنا لهم للتنبؤ بمكان الجريمة التالية؟
06:59
Minority neighborhood.
145
407275
1487
سيقولون أحد أحياء الأقليات.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
أو للتنبؤ بالمجرم التالي؟
07:04
A minority.
147
412888
1395
أيضًا من الأقليات.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
سيتباهى علماء البيانات كم أن نموذجهم
سيكون رائعًا ودقيقًا،
07:11
their model would be,
149
419514
1297
وسيكونون محقّين بالفعل.
07:12
and they'd be right.
150
420835
1299
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
الآن، ليست الحقيقة بذلك التطرف،
ولكن لدينا تمييز وفصل شديد
ولكن لدينا تمييز وفصل شديد
في عدة مدن وبلدات
07:20
in many cities and towns,
152
428590
1287
ولدينا الكثير من البراهين
07:21
and we have plenty of evidence
153
429901
1893
من بيانات رجال الشرطة المتحيزة،
وبيانات نظام العدالة.
وبيانات نظام العدالة.
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
07:27
And we actually do predict hotspots,
155
435632
2815
ونستطيع في الواقع التنبؤ بمواقع ساخنة،
07:30
places where crimes will occur.
156
438471
1530
وأماكن حيث ستحدث الجرائم.
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
ونستطيع التنبؤ، في الواقع،
بالجريمة الفردية،
بالجريمة الفردية،
07:36
the criminality of individuals.
158
444291
1770
جرائم الأفراد.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
بحثت المنظمة الإخبارية (بروبليكا) مؤخرًا
أحد تلك الخوارزميات،
"خطر التعرض للانتكاس"
"خطر التعرض للانتكاس"
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
كما يطلق عليهم،
07:45
as they're called,
161
453007
1163
تم استخدامها في ولاية (فلوريدا)
أثناء إعلان الحُكم من قبل القضاة.
أثناء إعلان الحُكم من قبل القضاة.
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
تم تصنيف (بيرنارد)، على اليسار،
الرجل الأسود، 10/10.
الرجل الأسود، 10/10.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
و(ديلان)، على اليمين، 3/10.
10 من 10، الخطر الأكبر،
و3 من 10، الخطر المنخفض.
و3 من 10، الخطر المنخفض.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
تم القبض على كليهما لحيازتهما المخدرات.
ولدى كلاهما سجلات،
08:03
They both had records,
167
471007
1154
ولكن لدى (ديلان) جناية
08:04
but Dylan had a felony
168
472185
2806
بعكس (بيرنارد).
08:07
but Bernard didn't.
169
475015
1176
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
هذا يهم، لأنه إذا كانت درجتكم أعلى،
فستمنحون على الأرجح أحكامًا قضائية أطول.
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
08:18
What's going on?
172
486294
1294
ما الذي يجري هنا؟
08:20
Data laundering.
173
488526
1332
غسل البيانات.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
إنها عملية حيث يخفي التقنيون حقائق بشعة
داخل خوارزميات الصندوق الأسود
08:27
inside black box algorithms
175
495381
1821
ويطلقون عليها موضوعية،
08:29
and call them objective;
176
497226
1290
08:31
call them meritocratic.
177
499320
1568
أطلقوا عليها "الإستحقاقراطية".
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
عندما تكون سرية، ومهمة، ومدمرة،
قمتُ بصياغة مصطلح لهذه الخوارزميات:
08:37
I've coined a term for these algorithms:
179
505527
2487
"أسلحة دمار العمليات الحسابية".
08:40
"weapons of math destruction."
180
508038
1999
(ضحك)
08:42
(Laughter)
181
510061
1564
(تصفيق)
08:43
(Applause)
182
511649
3054
إنها في كل مكان، وليست خطأ.
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
هذه هي شركات خاصة
تبني خوارزميات خاصة
تبني خوارزميات خاصة
لأغراض خاصة.
08:53
for private ends.
185
521442
1392
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
حتى تلك التي تحدثتُ حولها
بشأن المعلمين ورجال الشرطة،
بشأن المعلمين ورجال الشرطة،
تم بناء الخوارزميات من قبل شركات خاصة
08:58
those were built by private companies
187
526452
1869
وتم بيعها إلى مؤســسات حكومية.
09:00
and sold to the government institutions.
188
528345
2231
يسمونها "التركيبة السرية الخاصة" --
09:02
They call it their "secret sauce" --
189
530600
1873
ولهذا السبب لا يمكنهم الإفصاح عنها.
09:04
that's why they can't tell us about it.
190
532497
2128
إنها أيضًا سلطة خاصة.
09:06
It's also private power.
191
534649
2220
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
إنهم يستفيدون من الممارسة البارعة
للسلطة الغامضة.
للسلطة الغامضة.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
قد تعتقدون الآن،
ولأنّ كل هذه الامور خاصة
ولأنّ كل هذه الامور خاصة
وهناك منافسة،
09:20
and there's competition,
194
548072
1158
ربما سيعالجُ السوق الحر هذه المشكلة.
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
لن يقوم بذلك.
09:23
It won't.
196
551584
1249
تُجبى كمية ضخمة من الأموال
نتيجة عدم الإنصاف.
نتيجة عدم الإنصاف.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
09:29
Also, we're not economic rational agents.
198
557127
3369
كذلك، لسنا عملاء اقتصاديون منطقيون.
09:33
We all are biased.
199
561031
1292
جميعنا منحازون.
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
جميعنا عنصريون ومتعصبون
بطرق نرغبُ بأننا لم نسلكها،
بطرق نرغبُ بأننا لم نسلكها،
بطرق حتى لا نعرفها.
09:38
in ways that we don't even know.
201
566361
2019
09:41
We know this, though, in aggregate,
202
569352
3081
ورغم ذلك نعلمُ هذا، في كل الأحوال،
لأن علماء الاجتماع قدّموا لنا ذلك باستمرار
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
بهذه التجارب التي بنوها،
09:47
with these experiments they build,
204
575701
1665
حيثُ يرسلوا حزمة من طلبات الوظائف المطلوبة
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
مؤهلين بالتساوي
لكن لدى بعضهم أسماء تبدو لأشخاص بيض
لكن لدى بعضهم أسماء تبدو لأشخاص بيض
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
09:54
and some have black-sounding names,
207
582507
1706
ولدى البعض أسماء تبدو لأشخاص سود
ودائمًا النتائج مخيبة للآمال، دائمًا.
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
09:59
So we are the ones that are biased,
209
587510
1771
لذلك فنحن المتحيزون،
ونحنُ من يضع تلك التحيزات داخل الخوارزميات
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
باختيار ما هي البينات التي علينا جمعها،
10:04
by choosing what data to collect,
211
592758
1812
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
مثل ما اخترته
لعدم التفكير بالشعيرية المجففة --
لعدم التفكير بالشعيرية المجففة --
10:09
I decided it was irrelevant.
213
597361
1625
قررتُ بأنه ليس لها صلة بالموضوع.
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
لكن وبالثقة بالبيانات التي هي في الواقع
اختيار الممارسات الماضية
اختيار الممارسات الماضية
واختيار تعريف النجاح،
10:16
and by choosing the definition of success,
215
604718
2014
كيف يمكننا توقع
ظهور الخوارزميات متكاملة؟
ظهور الخوارزميات متكاملة؟
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
لا نستطيع. علينا التحقق منهم.
10:22
We can't. We have to check them.
217
610763
2356
10:26
We have to check them for fairness.
218
614165
1709
علينا التحقق منهم من أجل الإنصاف.
الخبر السار هو،
نستطيعُ التحقق منهم من أجل الإنصاف.
نستطيعُ التحقق منهم من أجل الإنصاف.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
يمكنُ فحص واستنطاق الخوارزميات،
10:30
Algorithms can be interrogated,
220
618633
3352
ويمكنهم قول الحقيقة كل الوقت.
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
ويمكننا اصلاحهم. ويمكننا جعلهم أفضل.
10:38
I call this an algorithmic audit,
223
626584
2375
أطلقُ على هذه تدقيق الخوارزمية،
10:40
and I'll walk you through it.
224
628983
1679
وسأخبركم عنها.
أولاً، التحقق من نزاهة وتكامل البيانات.
10:42
First, data integrity check.
225
630686
2196
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
بالنسبة إلى خوارزمية
خطر الانتكاس التي تحدثتُ عنها،
خطر الانتكاس التي تحدثتُ عنها،
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
ستعني التحقق من نزاهة البيانات
بأنه علينا التوصل إلى تفاهم مع الواقع
بأنه علينا التوصل إلى تفاهم مع الواقع
بأنه في أمريكا، يدخنُ الحشيشَ البيض والسود
بنفس المعدل
بنفس المعدل
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
لكن يتمُ اعتقال السود
على الأرجح أكثر بكثير --
على الأرجح أكثر بكثير --
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
أربع أو خمس مرات أكثر من البيض،
اعتمادًا على المنطقة.
اعتمادًا على المنطقة.
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
كيف يبدو هذا التحيز
في فئات الجرائم الأخرى،
في فئات الجرائم الأخرى،
وكيف يمكننا حساب ذلك؟
11:06
and how do we account for it?
232
654167
1451
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
ثانيًا، ينبغي علينا التفكير بتعريف النجاح،
11:11
audit that.
234
659225
1381
تدقيق ذلك.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
تذكروا، خوارزمية التوظيف،
التي تحدثنا عنها.
التي تحدثنا عنها.
يبقى شخص ما في الوظيفة لمدة أربع سنوات
ويتمُ ترقيته لمرة واحدة.
ويتمُ ترقيته لمرة واحدة.
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
حسنًا، هذا موظفُ ناجح،
11:18
Well, that is a successful employee,
237
666595
1769
وإنه أيضًا موظف مدعوم
من قبل التقاليد الموروثة.
من قبل التقاليد الموروثة.
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
11:24
That said, also it can be quite biased.
239
672089
1926
وذلك، يمكن أن يكون ذلك تحيزًا
11:26
We need to separate those two things.
240
674039
2065
نحتاجُ لفصل هذين الأمرين.
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
علينا النظر
في تجربة أداء الأوركسترا العمياء
في تجربة أداء الأوركسترا العمياء
11:30
as an example.
242
678578
1196
كمثال.
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
حيث يجري الأشخاص أداءهم من وراء جدار.
11:34
What I want to think about there
244
682946
1931
ما أرغبُ أن أفكر فيه هنا
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
أن من يستمع إلى هؤلاء قد قرروا ما هو المهم
11:40
and they've decided what's not important,
246
688342
2029
وما ليس مهمًا،
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
ولم يتم ازعاجهم بأي شيء بهذا القرار.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
عندما بدأت تجربة أداء الأوكسترا العمياء،
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
ارتفع عدد النساء في الأوكسترا بمقدار خمسة.
11:52
Next, we have to consider accuracy.
250
700253
2015
وبعد ذلك، علينا النظر في الدقة.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
وهذا هو حيث سيفشل نموذج القيمة المضافة
بشأن المعلمين على الفور.
بشأن المعلمين على الفور.
11:59
No algorithm is perfect, of course,
252
707578
2162
لا يوجد خوارزمية مثالية، بطبيعة الحال،
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
لذلك ينبغي علينا حساب الأخطاء
في كل خوارزمية.
في كل خوارزمية.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
كم مرة تتكرر هذه الأخطاء،
ولمن يفشل هذا النموذج؟
ولمن يفشل هذا النموذج؟
12:11
What is the cost of that failure?
255
719850
1718
وما هي تكلفة هذا الفشل؟
12:14
And finally, we have to consider
256
722434
2207
وأخيرًا، علينا اعتبار
12:17
the long-term effects of algorithms,
257
725973
2186
الآثار طويلة الأجل للخوارزمية،
12:20
the feedback loops that are engendering.
258
728866
2207
ومجموعات التقييم التي تم إحداثها.
12:23
That sounds abstract,
259
731586
1236
يبدو ذلك نظرية مجردة،
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
لكن تخيلوا لو أن مهندسو الفيسبوك
أخذوا بعين الاعتبار ذلك
أخذوا بعين الاعتبار ذلك
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
قبل أن يقرروا أن يُظهروا لنا
الأشياء التي ينشرها أصدقاؤنا فقط.
الأشياء التي ينشرها أصدقاؤنا فقط.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
عندي رسالتان أخريان،
الأولى لعلماء البيانات الموجودن من حولنا.
الأولى لعلماء البيانات الموجودن من حولنا.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
يا علماء البيانات:
لا ينبغي علينا أن نقرر ما هي الحقيقة.
لا ينبغي علينا أن نقرر ما هي الحقيقة.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
علينا أن نترجم النقاشات الأخلاقية
التي تحدثُ في المجتمع الأكبر.
التي تحدثُ في المجتمع الأكبر.
12:45
in larger society.
265
753327
1294
(تصفيق)
12:47
(Applause)
266
755579
2133
12:49
And the rest of you,
267
757736
1556
والبقية منكم،
12:52
the non-data scientists:
268
760011
1396
من غير علماء البيانات:
هذا ليس اختبار رياضيات.
12:53
this is not a math test.
269
761431
1498
إنها معركة سياسية.
12:55
This is a political fight.
270
763632
1348
نحتاجُ أن نطالبَ بالمساءلة
لمن يضع الخوارزميات من الأسياد.
لمن يضع الخوارزميات من الأسياد.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
(تصفيق)
13:04
(Applause)
272
772118
1499
يجب أن ينتهي عصر الثقة العمياء
في البيانات الضخمة.
في البيانات الضخمة.
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
13:09
Thank you very much.
274
777890
1167
شكرًا جزيلًا لكم.
(تصفيق)
13:11
(Applause)
275
779081
5303
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com