TEDSummit
Zeynep Tufekci: Machine intelligence makes human morals more important
زينب توفيكسي: الذكاء الاصطناعي يجعل الأخلاق الإنسانية أكثر أهمية
Filmed:
Readability: 4.9
1,648,711 views
هنا الذكاء الإصطناعي، ونحن نستعمله لاتخاذ القرارات منذ فترة قصيرة. ولكن الطريقة المعقدة التي ينمو ويتطور بها تجعل من الصعب أن نفهمه وحتى بصعوبة أكبر أن نتحكم به. في هذه المحادثة التحذيرية، العالمة التقنية الاجتماعية زينب توفيكسي تشرح كيف أن الذكاء الصناعي يُمكن أن يفشل في الطرق التي لا تناسب نماذج الأخطاء الانسانية -- وفي الطرق التي سوف لن نتوقعها أو لا نكون متحضرين لها. "نحن لا نستطيع أن نتعهد بمسؤلياتنا للآلات،"كما تقول زينب."والذي يعني أنه يجب علينا ننتظر بشكل محكم أكثر من أي وقت مضى للقيم الانسانية والأخلاق الانسانية."
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So, I started my first job
as a computer programmer
as a computer programmer
0
739
4122
لقد بدأت عملي الأول كمبرمجة كمبيوتر
00:16
in my very first year of college --
1
4885
1956
في أول سنة جامعة لي--
00:18
basically, as a teenager.
2
6865
1507
بشكل أساسي، كمراهقة.
00:20
Soon after I started working,
3
8889
1732
بعدما بدأت العمل بوقت قصير،
00:22
writing software in a company,
4
10645
1610
بكتابة البرمجيات في الشركة،
00:24
a manager who worked at the company
came down to where I was,
came down to where I was,
5
12799
3635
آتى مدير في الشركة إلى حيث كنت أعمل،
00:28
and he whispered to me,
6
16458
1268
و همس لي،
00:30
"Can he tell if I'm lying?"
7
18229
2861
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"
00:33
There was nobody else in the room.
8
21806
2077
لم يكن هناك أحد آخر في الغرفة.
00:37
"Can who tell if you're lying?
And why are we whispering?"
And why are we whispering?"
9
25032
4389
"من الذي سيُخبرإذا كنتَ
تكذب؟ ولماذا نحن نهمس؟"
تكذب؟ ولماذا نحن نهمس؟"
00:42
The manager pointed
at the computer in the room.
at the computer in the room.
10
30266
3107
أشار المدير إلى الكمبيوترالموجود في الغرفة.
00:45
"Can he tell if I'm lying?"
11
33397
3096
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"
00:49
Well, that manager was having
an affair with the receptionist.
an affair with the receptionist.
12
37613
4362
حسناً، المدير كان على علاقة
مع موظفة الاستقبال.
مع موظفة الاستقبال.
00:53
(Laughter)
13
41999
1112
(ضحك)
00:55
And I was still a teenager.
14
43135
1766
وكنت لا أزال مراهقة.
00:57
So I whisper-shouted back to him,
15
45447
2019
ولذالك همست له بصوت مرتفع،
00:59
"Yes, the computer can tell
if you're lying."
if you're lying."
16
47490
3624
"نعم الكمبيوتر يستطيع أن
يُخبر فيما إذا كنتَ تكذب."
يُخبر فيما إذا كنتَ تكذب."
01:03
(Laughter)
17
51138
1806
(ضحك)
01:04
Well, I laughed, but actually,
the laugh's on me.
the laugh's on me.
18
52968
2923
حسنا، لقد ضحكت،
ولكن في الحقيقة ضحكت على نفسي.
ولكن في الحقيقة ضحكت على نفسي.
01:07
Nowadays, there are computational systems
19
55915
3268
هذه الأيام، يوجد هنالك أنظمة حسابية
01:11
that can suss out
emotional states and even lying
emotional states and even lying
20
59207
3548
من الممكن أن نعمل عليها
على الحالات العاطفية وحتى الكذب
على الحالات العاطفية وحتى الكذب
01:14
from processing human faces.
21
62779
2044
من معالجة وجوه الناس.
01:17
Advertisers and even governments
are very interested.
are very interested.
22
65248
4153
العاملون في مجال الإعلان
وحتى الحكومات مهتمون جداً.
وحتى الحكومات مهتمون جداً.
01:22
I had become a computer programmer
23
70319
1862
لقد أصبحت مبرمجة كمبيوتر
01:24
because I was one of those kids
crazy about math and science.
crazy about math and science.
24
72205
3113
لأنني كنت واحدة من أولئك
الأطفال المحبين للرياضيات والعلوم.
الأطفال المحبين للرياضيات والعلوم.
01:27
But somewhere along the line
I'd learned about nuclear weapons,
I'd learned about nuclear weapons,
25
75942
3108
ولكن في مكان ما من هذا
الطريق تعلمت عن الأسلحة النووية،
الطريق تعلمت عن الأسلحة النووية،
01:31
and I'd gotten really concerned
with the ethics of science.
with the ethics of science.
26
79074
2952
وأنا حقاً قلقة حول أخلاقيات العلم.
01:34
I was troubled.
27
82050
1204
كنت مضطربة.
01:35
However, because of family circumstances,
28
83278
2641
على أية حال، بسبب ظروف العائلة،
01:37
I also needed to start working
as soon as possible.
as soon as possible.
29
85943
3298
أنا أيضاً بحاجة أن أبدأ
العمل بأسرع ما يمكن.
العمل بأسرع ما يمكن.
01:41
So I thought to myself, hey,
let me pick a technical field
let me pick a technical field
30
89265
3299
لذلك فكرت بنفسي، مهلاً،
أدخلي في المجال التقني
أدخلي في المجال التقني
01:44
where I can get a job easily
31
92588
1796
حيث أستطيع أن أحصل على عمل بسهولة
01:46
and where I don't have to deal
with any troublesome questions of ethics.
with any troublesome questions of ethics.
32
94408
4018
وحيث ليس علي أن أتعامل
مع أسئلة أخلاقية مزعجة.
مع أسئلة أخلاقية مزعجة.
01:51
So I picked computers.
33
99022
1529
لذلك اخترت الحواسيب.
01:52
(Laughter)
34
100575
1104
(ضحك)
01:53
Well, ha, ha, ha!
All the laughs are on me.
All the laughs are on me.
35
101703
3410
حسناً، ها، ها، ها!
كل الضحك علي.
كل الضحك علي.
01:57
Nowadays, computer scientists
are building platforms
are building platforms
36
105137
2754
هذه الأيام، علماء الحاسوب
يقومون بصياغة البرامج
يقومون بصياغة البرامج
01:59
that control what a billion
people see every day.
people see every day.
37
107915
4209
والتي تتحكم بما يستطيع أن
يشاهده مليار شخص كل يوم.
يشاهده مليار شخص كل يوم.
02:05
They're developing cars
that could decide who to run over.
that could decide who to run over.
38
113052
3822
إنهم يطورون السيارات التي
ممكن أن تقرر مَن تجاوز السرعة.
ممكن أن تقرر مَن تجاوز السرعة.
02:09
They're even building machines, weapons,
39
117707
3213
إنهم حتى يبنون الألات و الأسلحة،
02:12
that might kill human beings in war.
40
120944
2285
التي يُمكن أن تقتل الإنسان في الحرب.
02:15
It's ethics all the way down.
41
123253
2771
إنها الأخلاق دائماً في النطاق.
02:19
Machine intelligence is here.
42
127183
2058
ذكاء الألة يكون هنا.
نحن نستخدم الألة لنتخذ كل أنواع القرارات،
02:21
We're now using computation
to make all sort of decisions,
to make all sort of decisions,
43
129823
3474
02:25
but also new kinds of decisions.
44
133321
1886
ولكن ايضاً الأنواع الجديدة من القرارات.
02:27
We're asking questions to computation
that have no single right answers,
that have no single right answers,
45
135231
5172
نحن نسأل الحاسب أسئلة
ليس له إجابات صحيحة منفردة
ليس له إجابات صحيحة منفردة
02:32
that are subjective
46
140427
1202
والتي تكون غير موضوعية
02:33
and open-ended and value-laden.
47
141653
2325
مفتوحة وذات قيمة.
02:36
We're asking questions like,
48
144002
1758
نحن نسأل أسئلة مثل،
02:37
"Who should the company hire?"
49
145784
1650
"من الذي يجب على الشركة توظيفه؟"
02:40
"Which update from which friend
should you be shown?"
should you be shown?"
50
148096
2759
"أي تحديث ومن أي صديق
يجب أن تُشاهد؟"
يجب أن تُشاهد؟"
02:42
"Which convict is more
likely to reoffend?"
likely to reoffend?"
51
150879
2266
"أي إنتهاك من المرجح أن يُعاد إدانته؟"
02:45
"Which news item or movie
should be recommended to people?"
should be recommended to people?"
52
153514
3054
"أي الأخبار أو الأفلام يجب
أن يوصى بها إلى الناس؟"
أن يوصى بها إلى الناس؟"
02:48
Look, yes, we've been using
computers for a while,
computers for a while,
53
156592
3372
انظر، نعم، نحن نستخدم الحاسوب منذ فترة،
02:51
but this is different.
54
159988
1517
ولكن هذا مُختلف.
02:53
This is a historical twist,
55
161529
2067
هذا تطور تاريخي،
02:55
because we cannot anchor computation
for such subjective decisions
for such subjective decisions
56
163620
5337
لأننا لا نستطيع أن نُركّز الحساب
من أجل هكذا قرارات شخصية
من أجل هكذا قرارات شخصية
03:00
the way we can anchor computation
for flying airplanes, building bridges,
for flying airplanes, building bridges,
57
168981
5420
الطريقة التي نستطيع أن نُركّز الحساب
لأجل تحليق الطائرات، بناء الجسور،
لأجل تحليق الطائرات، بناء الجسور،
03:06
going to the moon.
58
174425
1259
الذهاب إلى القمر
03:08
Are airplanes safer?
Did the bridge sway and fall?
Did the bridge sway and fall?
59
176449
3259
هل الطائرات أكثر أماناً؟
هل الجسر تأرجح وانهار؟
هل الجسر تأرجح وانهار؟
03:11
There, we have agreed-upon,
fairly clear benchmarks,
fairly clear benchmarks,
60
179732
4498
هناك، نحن اتفقنا عليه،
معيار واضح ألى حد ما،
معيار واضح ألى حد ما،
03:16
and we have laws of nature to guide us.
61
184254
2239
ونحن لدينا قوانين طبيعية لتُرشِدنا.
03:18
We have no such anchors and benchmarks
62
186517
3394
ليس لدينا هكذا مرتكز أو معيار
03:21
for decisions in messy human affairs.
63
189935
3963
للقرارات في العلاقات الإنسانية الفوضوية.
03:25
To make things more complicated,
our software is getting more powerful,
our software is getting more powerful,
64
193922
4237
لنجعل الأشياء أكثر تعقيداً،
برمجياتُنا أصبحت أكثر قوة،
برمجياتُنا أصبحت أكثر قوة،
03:30
but it's also getting less
transparent and more complex.
transparent and more complex.
65
198183
3773
ولكنها أصبحت أيضاً أقل
شفافية وأكثر تعقيداً.
شفافية وأكثر تعقيداً.
03:34
Recently, in the past decade,
66
202542
2040
مؤخراً، في العقد الماضي،
03:36
complex algorithms
have made great strides.
have made great strides.
67
204606
2729
الخوارزميات المعقدة
صنعت خطوات عظيمة.
صنعت خطوات عظيمة.
03:39
They can recognize human faces.
68
207359
1990
تستطيع أن تُميز الوجوه البشرية.
03:41
They can decipher handwriting.
69
209985
2055
تستطيع أن تحل شيفرة خط اليد.
03:44
They can detect credit card fraud
70
212436
2066
تستطيع أن تكشف تزوير البطاقة الإتمانية
03:46
and block spam
71
214526
1189
وتمنع البريد المزعج
03:47
and they can translate between languages.
72
215739
2037
وتستطيع الترجمة بين اللغات.
03:49
They can detect tumors in medical imaging.
73
217800
2574
تستطيع أن تكشف الأمراض في التصوير الطبي.
03:52
They can beat humans in chess and Go.
74
220398
2205
تستطيع أن تتغلب على الإنسان في الشطرنج.
03:55
Much of this progress comes
from a method called "machine learning."
from a method called "machine learning."
75
223264
4504
معظم هذا التقدم يأتي من اسلوب
يُدعى"تعلم الآلة."
يُدعى"تعلم الآلة."
04:00
Machine learning is different
than traditional programming,
than traditional programming,
76
228175
3187
تعلم الآلة يختلف عن البرمجة التقليدية،
04:03
where you give the computer
detailed, exact, painstaking instructions.
detailed, exact, painstaking instructions.
77
231386
3585
حيث تُعطي الحاسوب تعليمات
دقيقة ومضبوطة ومُفصلة.
دقيقة ومضبوطة ومُفصلة.
04:07
It's more like you take the system
and you feed it lots of data,
and you feed it lots of data,
78
235378
4182
إنه مثل أن تأخذ النظام
وتُلقمه الكثير من البيانات،
وتُلقمه الكثير من البيانات،
04:11
including unstructured data,
79
239584
1656
بما في ذلك البيانات الغير منظمة،
04:13
like the kind we generate
in our digital lives.
in our digital lives.
80
241264
2278
مثل النوع الذي أنتجناه في حياتنا الرقمية.
04:15
And the system learns
by churning through this data.
by churning through this data.
81
243566
2730
والنظام المتعلم من خلال
الخوض بهذه البيانات.
الخوض بهذه البيانات.
04:18
And also, crucially,
82
246669
1526
و أيضاً، بشكل حاسم،
04:20
these systems don't operate
under a single-answer logic.
under a single-answer logic.
83
248219
4380
هذه الأنظمة لا تعمل تحت
منطق الإجابة الفريدة.
منطق الإجابة الفريدة.
04:24
They don't produce a simple answer;
it's more probabilistic:
it's more probabilistic:
84
252623
2959
إنها لا تُنتج إجابة بسيطة؛
إنها أكثر إحتمالية:
إنها أكثر إحتمالية:
04:27
"This one is probably more like
what you're looking for."
what you're looking for."
85
255606
3483
"من المحتمل أن يكون هذا
الشيء هو ما تبحث عنه."
الشيء هو ما تبحث عنه."
04:32
Now, the upside is:
this method is really powerful.
this method is really powerful.
86
260023
3070
الآن، الجزء الجيد هو:
هذه الطريقة حقاً قوية.
هذه الطريقة حقاً قوية.
04:35
The head of Google's AI systems called it,
87
263117
2076
رئيس أنظمة غوغل دعاه،
04:37
"the unreasonable effectiveness of data."
88
265217
2197
"الفاعلية الغير منطقية للبيانات."
04:39
The downside is,
89
267791
1353
الجانب السلبي هو،
04:41
we don't really understand
what the system learned.
what the system learned.
90
269738
3071
لا نستطيع أن
نفهم ماذا يُعلم النظام تماماً.
نفهم ماذا يُعلم النظام تماماً.
04:44
In fact, that's its power.
91
272833
1587
في الحقيقة، تلك قوته.
04:46
This is less like giving
instructions to a computer;
instructions to a computer;
92
274946
3798
هذا بدرجة أقل مثل إعطاء
التعليمات للحاسوب؛
التعليمات للحاسوب؛
04:51
it's more like training
a puppy-machine-creature
a puppy-machine-creature
93
279200
4064
إنه بالأكثر مثل تدريب
مخلوق آلي مغرور
مخلوق آلي مغرور
04:55
we don't really understand or control.
94
283288
2371
لا نستطيع حقاً أن نفهمه أو نتحكم به.
04:58
So this is our problem.
95
286362
1551
لذلك هذه هي مُشكلتنا.
05:00
It's a problem when this artificial
intelligence system gets things wrong.
intelligence system gets things wrong.
96
288427
4262
إنها مشكلة عندما يصنع نظام الذكاء
الإصطناعي هذا أشياء خاطئة.
الإصطناعي هذا أشياء خاطئة.
05:04
It's also a problem
when it gets things right,
when it gets things right,
97
292713
3540
إنها أيضاً مُشكلة عندما نحصل
على الأشياء الصحيحة،
على الأشياء الصحيحة،
05:08
because we don't even know which is which
when it's a subjective problem.
when it's a subjective problem.
98
296277
3628
لأننا لا نعرف حتى متى
تكون مشكلة غير موضوعية.
تكون مشكلة غير موضوعية.
05:11
We don't know what this thing is thinking.
99
299929
2339
نحن لا نعلم ماذا يُفكر هذه الشيء.
05:15
So, consider a hiring algorithm --
100
303493
3683
لذلك، تأمل خوارزمية التوظيف--
05:20
a system used to hire people,
using machine-learning systems.
using machine-learning systems.
101
308123
4311
نظام يستعمل لتوظيف الناس،
باستعمال أنظمة تعلّم الآلة.
باستعمال أنظمة تعلّم الآلة.
05:25
Such a system would have been trained
on previous employees' data
on previous employees' data
102
313052
3579
هكذا نظام قد تم تمرينه
على بيانات العاملين السابقة
على بيانات العاملين السابقة
05:28
and instructed to find and hire
103
316655
2591
وأَعطي تعليمات ليجد ويوظف
05:31
people like the existing
high performers in the company.
high performers in the company.
104
319270
3038
الناس مثل الموجودين في الشركة
من ذوي الكفاءات العالية.
من ذوي الكفاءات العالية.
05:34
Sounds good.
105
322814
1153
يبدو جيداً.
05:35
I once attended a conference
106
323991
1999
حضرت إجتماعاً ذات مرة
05:38
that brought together
human resources managers and executives,
human resources managers and executives,
107
326014
3125
مع مدراء الموارد البشرية
والمدراء التنفيذيين،
والمدراء التنفيذيين،
05:41
high-level people,
108
329163
1206
أشخاص على مستوى عال،
05:42
using such systems in hiring.
109
330393
1559
وباستخدام هكذا أنظمة في التوظيف.
05:43
They were super excited.
110
331976
1646
كانوا متحمسين بشكل كبير.
05:45
They thought that this would make hiring
more objective, less biased,
more objective, less biased,
111
333646
4653
اعتقدوا أن هذا سيجعل التوظيف
أكثر موضوعية وأقل تحيز،
أكثر موضوعية وأقل تحيز،
05:50
and give women
and minorities a better shot
and minorities a better shot
112
338323
3000
وإعطاء النساء والأقليات محاولة أفضل
05:53
against biased human managers.
113
341347
2188
ضد تحيز مدراء الموارد البشرية.
05:55
And look -- human hiring is biased.
114
343559
2843
انظر-- التوظيف البشري متحيز.
05:59
I know.
115
347099
1185
أنا أعلم.
06:00
I mean, in one of my early jobs
as a programmer,
as a programmer,
116
348308
3005
أعني، في أحد أعمالي المبكرة كمبرمجة،
06:03
my immediate manager would sometimes
come down to where I was
come down to where I was
117
351337
3868
مديرتي المباشرة كانت تأتي أحياناً إلي
حيث كُنت أعمل
حيث كُنت أعمل
06:07
really early in the morning
or really late in the afternoon,
or really late in the afternoon,
118
355229
3753
باكراً في الصباح أو متأخرة بعد الظهر،
06:11
and she'd say, "Zeynep,
let's go to lunch!"
let's go to lunch!"
119
359006
3062
وكانت تقول، "زينب، دعينا نذهب ألى الغداء!"
06:14
I'd be puzzled by the weird timing.
120
362724
2167
وأكون في حيرة من التوقيت الغريب.
06:16
It's 4pm. Lunch?
121
364915
2129
إنه الساعة الرابعة بعد الظهر. الغداء؟
06:19
I was broke, so free lunch. I always went.
122
367068
3094
كُنت مُفلسة، وكذلك الغداء مجاني.
كنت دائماً أذهب.
كنت دائماً أذهب.
06:22
I later realized what was happening.
123
370618
2067
فيما بعد أدركت ماذا كان يحدث.
06:24
My immediate managers
had not confessed to their higher-ups
had not confessed to their higher-ups
124
372709
4546
مُدرائي المباشرين لم يخبروا
المدراء في المستوى الأعلى
المدراء في المستوى الأعلى
06:29
that the programmer they hired
for a serious job was a teen girl
for a serious job was a teen girl
125
377279
3113
إن المبرمج الذي وظفوه في
العمل المُهم كانت فتاة شابة
العمل المُهم كانت فتاة شابة
06:32
who wore jeans and sneakers to work.
126
380416
3930
والتي ترتدي الجنز والأحذية
الرياضية في العمل.
الرياضية في العمل.
06:37
I was doing a good job,
I just looked wrong
I just looked wrong
127
385174
2202
كُنت أعمل عملاً جيداً،
فقط مظهري كان خاطئاً
فقط مظهري كان خاطئاً
06:39
and was the wrong age and gender.
128
387400
1699
لقد كان العمر الخطأ والجنس الخطأ.
06:41
So hiring in a gender- and race-blind way
129
389123
3346
لذلك التوظيف بطريقة الجنس والعرق العمياء
06:44
certainly sounds good to me.
130
392493
1865
بالتأكيد تبدو جيدة بالنسبة لي.
06:47
But with these systems,
it is more complicated, and here's why:
it is more complicated, and here's why:
131
395031
3341
ولكن مع هذه الأنظمة،
إنه أكثر تعقيداً، والسبب:
إنه أكثر تعقيداً، والسبب:
06:50
Currently, computational systems
can infer all sorts of things about you
can infer all sorts of things about you
132
398968
5791
حالياً، الأنظمة الحسابية تستطيع أن
تستدل على كل الأشياء حولك
تستدل على كل الأشياء حولك
06:56
from your digital crumbs,
133
404783
1872
من أجزائك الرقمية الصغيرة،
06:58
even if you have not
disclosed those things.
disclosed those things.
134
406679
2333
حتى لو أنك لم تكشف هذه الأشياء.
07:01
They can infer your sexual orientation,
135
409506
2927
تستطيع أن تكشف توجهك الجنسي،
07:04
your personality traits,
136
412994
1306
ميزاتك الشخصية،
07:06
your political leanings.
137
414859
1373
ميولك السياسية.
07:08
They have predictive power
with high levels of accuracy.
with high levels of accuracy.
138
416830
3685
لديها قوة تنبئية بمستوى عالي من الدقة.
07:13
Remember -- for things
you haven't even disclosed.
you haven't even disclosed.
139
421362
2578
تذّكر- حتى بالنسبة للأشياء التي لم تكشفها.
07:15
This is inference.
140
423964
1591
هذا هو الاستدلال.
07:17
I have a friend who developed
such computational systems
such computational systems
141
425579
3261
لدي صديق والذي طور هكذا أنظمة حسابية
07:20
to predict the likelihood
of clinical or postpartum depression
of clinical or postpartum depression
142
428864
3641
ليتنبأ باحتمالية الإكتئاب المرضي أو
الإكتئاب ما بعد الولادة
الإكتئاب ما بعد الولادة
07:24
from social media data.
143
432529
1416
من بيانات وسائل الإعلام.
07:26
The results are impressive.
144
434676
1427
النتائج كانت مؤثرة.
07:28
Her system can predict
the likelihood of depression
the likelihood of depression
145
436492
3357
نظامها يستطيع التنبؤ باحتمالية الإكتئاب
07:31
months before the onset of any symptoms --
146
439873
3903
أشهر قبل بداية أي أعراض --
07:35
months before.
147
443800
1373
أشهر قبل.
07:37
No symptoms, there's prediction.
148
445197
2246
لا أعراض، يوجد هنا تنبؤ.
07:39
She hopes it will be used
for early intervention. Great!
for early intervention. Great!
149
447467
4812
تأمل أنه سيستعمل للتدخل المُبكر. عظيم!
07:44
But now put this in the context of hiring.
150
452911
2040
لكن الآن ضع هذا في حالة التوظيف.
07:48
So at this human resources
managers conference,
managers conference,
151
456027
3046
لذلك في مؤتمر مدراء الموارد البشرية هذا،
07:51
I approached a high-level manager
in a very large company,
in a very large company,
152
459097
4709
اقتربت من مدير في المستوى الأعلى
في شركة كبيرة جداً،
في شركة كبيرة جداً،
07:55
and I said to her, "Look,
what if, unbeknownst to you,
what if, unbeknownst to you,
153
463830
4578
وقُلت لها،" انظري، ماذا لو، غير معروف لك،
08:00
your system is weeding out people
with high future likelihood of depression?
with high future likelihood of depression?
154
468432
6549
أن نظامك يُزيل الأشخاص ذوي الاحتمالية
المستقبلية الكبيرة من الإكتئاب؟
المستقبلية الكبيرة من الإكتئاب؟
08:07
They're not depressed now,
just maybe in the future, more likely.
just maybe in the future, more likely.
155
475761
3376
إنهم غير مكتئبين الآن،
ربما فقط في المستقبل، أكثر احتمالية.
ربما فقط في المستقبل، أكثر احتمالية.
08:11
What if it's weeding out women
more likely to be pregnant
more likely to be pregnant
156
479923
3406
ماذا لو يُزل النساء الأكثر
احتمالية لأن يكونوا حوامل
احتمالية لأن يكونوا حوامل
08:15
in the next year or two
but aren't pregnant now?
but aren't pregnant now?
157
483353
2586
في السنة المقبلة أوالسنتين
ولكن غير حوامل الآن؟
ولكن غير حوامل الآن؟
08:18
What if it's hiring aggressive people
because that's your workplace culture?"
because that's your workplace culture?"
158
486844
5636
ماذا لو يوظف الناس العدائيين
لأن ذلك هو ثقافة مكان عملك؟"
لأن ذلك هو ثقافة مكان عملك؟"
08:25
You can't tell this by looking
at gender breakdowns.
at gender breakdowns.
159
493173
2691
لا تستطيع أن تحكي هذا بالنظر
إلى التقسيم من حيث الجنس.
إلى التقسيم من حيث الجنس.
08:27
Those may be balanced.
160
495888
1502
هؤلاء ربما يكونوا متوازنيين.
08:29
And since this is machine learning,
not traditional coding,
not traditional coding,
161
497414
3557
وبما أن هذا تعّلم الآلة،
وليس تدوين تقليدي،
وليس تدوين تقليدي،
08:32
there is no variable there
labeled "higher risk of depression,"
labeled "higher risk of depression,"
162
500995
4907
لا يوجد هنا متغير يوجد
اسمه "خطر أعلى من الإكتئاب،"
اسمه "خطر أعلى من الإكتئاب،"
08:37
"higher risk of pregnancy,"
163
505926
1833
"خطر أعلى من الحمل،"
08:39
"aggressive guy scale."
164
507783
1734
"مقياس شخص عدواني."
08:41
Not only do you not know
what your system is selecting on,
what your system is selecting on,
165
509995
3679
ليس فقط أنك لا تعلم ما يختار نظامك،
08:45
you don't even know
where to begin to look.
where to begin to look.
166
513698
2323
أنت لا تعلم أيضاً أين يجب أن تبدأ النظر.
08:48
It's a black box.
167
516045
1246
إنه صندوق أسود.
08:49
It has predictive power,
but you don't understand it.
but you don't understand it.
168
517315
2807
إنه يملك قوة تنبؤية،
لكنك لا تفهمها.
لكنك لا تفهمها.
08:52
"What safeguards," I asked, "do you have
169
520486
2369
سألتها "ما إجراءات الوقاية"، ستملكين
08:54
to make sure that your black box
isn't doing something shady?"
isn't doing something shady?"
170
522879
3673
لتتأكد أن صندوقك الأسود
لا يعمل أي شيء مضلل؟"
لا يعمل أي شيء مضلل؟"
09:00
She looked at me as if I had
just stepped on 10 puppy tails.
just stepped on 10 puppy tails.
171
528863
3878
نظرت ألي كما لو أنني
ضربتها بعشرة ذيول جِراء.
ضربتها بعشرة ذيول جِراء.
09:04
(Laughter)
172
532765
1248
(ضحك)
09:06
She stared at me and she said,
173
534037
2041
حدقت إلي وقالت،
09:08
"I don't want to hear
another word about this."
another word about this."
174
536556
4333
" أنا لا أريد أن أسمع كلمة أخرى حول هذا."
09:13
And she turned around and walked away.
175
541458
2034
و دارت نفسها وذهبت بعيداً.
09:16
Mind you -- she wasn't rude.
176
544064
1486
إنتبهوا-- لم تكن وقحة.
09:17
It was clearly: what I don't know
isn't my problem, go away, death stare.
isn't my problem, go away, death stare.
177
545574
6308
إنه كان واضحاً: الذي لا أعرفه ليس مشكلتي،
اذهب بعيداً، الموت يُحدق.
اذهب بعيداً، الموت يُحدق.
09:23
(Laughter)
178
551906
1246
(ضحك)
09:25
Look, such a system
may even be less biased
may even be less biased
179
553862
3839
انظر، هكذا نظام ربما يكون أقل تحيزاً
09:29
than human managers in some ways.
180
557725
2103
مِن المدراء البشر في بعض الطرق.
09:31
And it could make monetary sense.
181
559852
2146
ويمكن أن يصنع إدراك عملي.
09:34
But it could also lead
182
562573
1650
ولكنه ممكن أن يقود أيضاً
09:36
to a steady but stealthy
shutting out of the job market
shutting out of the job market
183
564247
4748
إلى الثبات ولكن إغلاق خفي لسوق العمل
09:41
of people with higher risk of depression.
184
569019
2293
للناس بمستوى عالي من الإكتئاب.
09:43
Is this the kind of society
we want to build,
we want to build,
185
571753
2596
هل هذا هو النوع من المجتمع
الذي نريد أن نبنيه،
الذي نريد أن نبنيه،
09:46
without even knowing we've done this,
186
574373
2285
بدون حتى أن نعلم أننا فعلنا هذا،
09:48
because we turned decision-making
to machines we don't totally understand?
to machines we don't totally understand?
187
576682
3964
لأننا حولّنا اتخاذ القرارات
إلى ألات لا نفهمها تماماً؟
إلى ألات لا نفهمها تماماً؟
09:53
Another problem is this:
188
581265
1458
مشكلة أخرى وهي كالتالي:
09:55
these systems are often trained
on data generated by our actions,
on data generated by our actions,
189
583314
4452
هذه الأنظمة غالباً ما تكون دُربت
على البيانات أُنتجت من أعمالنا،
على البيانات أُنتجت من أعمالنا،
09:59
human imprints.
190
587790
1816
بصمات الإنسان.
10:02
Well, they could just be
reflecting our biases,
reflecting our biases,
191
590188
3808
حسناً، ربما هُن فقط يعكسن تحيزنا،
10:06
and these systems
could be picking up on our biases
could be picking up on our biases
192
594020
3593
وهذه الأنظمة ربما قد تختار تحيزنا
10:09
and amplifying them
193
597637
1313
وتبالغ فيه
10:10
and showing them back to us,
194
598974
1418
وتعود لترينا اياه
10:12
while we're telling ourselves,
195
600416
1462
بينما نحن نُخبر أنفسنا،
10:13
"We're just doing objective,
neutral computation."
neutral computation."
196
601902
3117
"نحن فقط نفعل الهدف، الحساب الحيادي."
10:18
Researchers found that on Google,
197
606314
2677
الباحثون وجدوا ذلك على غوغل،
10:22
women are less likely than men
to be shown job ads for high-paying jobs.
to be shown job ads for high-paying jobs.
198
610134
5313
النساء أقل احتمالية من الرجال لإعلانات
العمل بالنسبة للأعمال بالدخل العالي.
العمل بالنسبة للأعمال بالدخل العالي.
10:28
And searching for African-American names
199
616463
2530
والبحث في الأسماء الأميريكية الإفريقية
10:31
is more likely to bring up ads
suggesting criminal history,
suggesting criminal history,
200
619017
4706
أكثراحتمالية ليجلب إعلانات
مُقترحة تاريخ جنائي،
مُقترحة تاريخ جنائي،
10:35
even when there is none.
201
623747
1567
حتى عندما لا توجد.
10:38
Such hidden biases
and black-box algorithms
and black-box algorithms
202
626693
3549
هكذا تحيز مخفي
وخوارزميات الصندوق الأسود
وخوارزميات الصندوق الأسود
10:42
that researchers uncover sometimes
but sometimes we don't know,
but sometimes we don't know,
203
630266
3973
والتي لا يُغطيها الباحثون أحياناً
ولكن أحياناً لا نعلم،
ولكن أحياناً لا نعلم،
10:46
can have life-altering consequences.
204
634263
2661
يُمكن أن يكون لديها عواقب
تغيير مدى الحياة.
تغيير مدى الحياة.
10:49
In Wisconsin, a defendant
was sentenced to six years in prison
was sentenced to six years in prison
205
637958
4159
في ويسكونسن، حُكم على المدعى عليه
ست سنوات في السجن
ست سنوات في السجن
10:54
for evading the police.
206
642141
1355
لأجل تجاهل الشرطة.
10:56
You may not know this,
207
644824
1186
ربما لا تعلم هذا،
10:58
but algorithms are increasingly used
in parole and sentencing decisions.
in parole and sentencing decisions.
208
646034
3998
لكن الخوارزميات وبازدياد تُستعمل في
اطلاق السراح وقرارات اصدار الأحكام.
اطلاق السراح وقرارات اصدار الأحكام.
11:02
He wanted to know:
How is this score calculated?
How is this score calculated?
209
650056
2955
هو أراد أن يعرف:
كيف تُحسب هذه النتيجة؟
كيف تُحسب هذه النتيجة؟
11:05
It's a commercial black box.
210
653795
1665
إنه صندوق أسود تجاري.
11:07
The company refused to have its algorithm
be challenged in open court.
be challenged in open court.
211
655484
4205
رفضت الشركة لأن تكون خوارزميتها
مُعترض عليها في المحكمة المفتوحة.
مُعترض عليها في المحكمة المفتوحة.
11:12
But ProPublica, an investigative
nonprofit, audited that very algorithm
nonprofit, audited that very algorithm
212
660396
5532
ولكن شركة التحقيق بروبابليكا الغير ربحية،
دققت الخوارزمية
دققت الخوارزمية
11:17
with what public data they could find,
213
665952
2016
مع البيانات العامة التي استطاعوا إيجادها،
11:19
and found that its outcomes were biased
214
667992
2316
ووجدوا أن المُخرجات كانت مُتحيزة
11:22
and its predictive power
was dismal, barely better than chance,
was dismal, barely better than chance,
215
670332
3629
وقوته التنبؤية كانت مُحزنة،
بالكاد أفضل من الفرصة،
بالكاد أفضل من الفرصة،
11:25
and it was wrongly labeling
black defendants as future criminals
black defendants as future criminals
216
673985
4416
وكان من الخطأ تصنيف المُدعى عليهم
السود كمجرمي المستقبل
السود كمجرمي المستقبل
11:30
at twice the rate of white defendants.
217
678425
3895
كضِعف المُدعى عليهم البيض.
11:35
So, consider this case:
218
683891
1564
لذا، تأمل هذه الحالة :
11:38
This woman was late
picking up her godsister
picking up her godsister
219
686103
3852
هذه المرأة كانت مُتأخرة لتقل أختها
11:41
from a school in Broward County, Florida,
220
689979
2075
من المدرسة في بلدة بروارد، فلوريدا،
11:44
running down the street
with a friend of hers.
with a friend of hers.
221
692757
2356
توقفت في الشارع
مع صديقتها.
مع صديقتها.
11:47
They spotted an unlocked kid's bike
and a scooter on a porch
and a scooter on a porch
222
695137
4099
واكتشفوا دراجة طفل غير مُقفلة
ودراجة على الرواق
ودراجة على الرواق
11:51
and foolishly jumped on it.
223
699260
1632
وبكل حماقة قفزوا عليها.
11:52
As they were speeding off,
a woman came out and said,
a woman came out and said,
224
700916
2599
بينما كانوا يستعجلون،
ظهرت امرأة وقالت،
ظهرت امرأة وقالت،
11:55
"Hey! That's my kid's bike!"
225
703539
2205
"مرحبا! تلك دراجة طفلي!"
11:57
They dropped it, they walked away,
but they were arrested.
but they were arrested.
226
705768
3294
فقاموا بتركها ومشوا بعيداً،
ولكنهم كانوا قد أُعتقلوا.
ولكنهم كانوا قد أُعتقلوا.
12:01
She was wrong, she was foolish,
but she was also just 18.
but she was also just 18.
227
709086
3637
كانت مُخطئة، كانت حمقى،
ولكنها كانت بعمر 18 سنة أيضاً.
ولكنها كانت بعمر 18 سنة أيضاً.
12:04
She had a couple of juvenile misdemeanors.
228
712747
2544
لديها العديد من المخالفات الصبيانية.
12:07
Meanwhile, that man had been arrested
for shoplifting in Home Depot --
for shoplifting in Home Depot --
229
715808
5185
في الوقت نفسه، ذلك الرجل كان
قد أُعتقل للسرقة مخزن المنزل --
قد أُعتقل للسرقة مخزن المنزل --
12:13
85 dollars' worth of stuff,
a similar petty crime.
a similar petty crime.
230
721017
2924
ما قيمته 85 دولار من الأغراض،
جريمة سخيفة مُشابهة.
جريمة سخيفة مُشابهة.
12:16
But he had two prior
armed robbery convictions.
armed robbery convictions.
231
724766
4559
ولكن كان لديه جُرمي سطو مُسلح سابقين.
12:21
But the algorithm scored her
as high risk, and not him.
as high risk, and not him.
232
729955
3482
ولكن الخوارزمية سجلت المرأة
كخطر كبير ولم تُسجله.
كخطر كبير ولم تُسجله.
12:26
Two years later, ProPublica found
that she had not reoffended.
that she had not reoffended.
233
734746
3874
بعد سنتين، وجدت شركة بروبابليكا
أن المرأة لم تكن قد ارتكبت مُخالفة.
أن المرأة لم تكن قد ارتكبت مُخالفة.
12:30
It was just hard to get a job
for her with her record.
for her with her record.
234
738644
2550
كان من الصعب عليها فقط أن
تحصل على عمل بسبب سجلها.
تحصل على عمل بسبب سجلها.
12:33
He, on the other hand, did reoffend
235
741218
2076
هو، في الجهة المقابلة، ارتكب مخالفة
12:35
and is now serving an eight-year
prison term for a later crime.
prison term for a later crime.
236
743318
3836
وهو يخدم الآن فترة ثماني
سنوات سجن بسبب جريمة لاحقة.
سنوات سجن بسبب جريمة لاحقة.
12:40
Clearly, we need to audit our black boxes
237
748088
3369
بكل وضوح، نحن بحاجة
إلى تدقيق صناديقنا السود
إلى تدقيق صناديقنا السود
12:43
and not have them have
this kind of unchecked power.
this kind of unchecked power.
238
751481
2615
وأن لا يكون لديها هذا النوع
من القوة الغير مفحوصة.
من القوة الغير مفحوصة.
12:46
(Applause)
239
754120
2879
(تصفيق)
12:50
Audits are great and important,
but they don't solve all our problems.
but they don't solve all our problems.
240
758087
4242
تدقيق الحسابات عظيم وهام،
ولكنهن لا يحللن كل مشاكلنا.
ولكنهن لا يحللن كل مشاكلنا.
12:54
Take Facebook's powerful
news feed algorithm --
news feed algorithm --
241
762353
2748
خذ قوة أخبار فيس بوك لُقمت بالخوارزمية --
12:57
you know, the one that ranks everything
and decides what to show you
and decides what to show you
242
765125
4843
أنت تعلم، الشخص الذي صنف كل شيء
ويقرر ما يُظهر لك
ويقرر ما يُظهر لك
13:01
from all the friends and pages you follow.
243
769992
2284
من كل الأصدقاء والصفحات التي تُتابعها.
13:04
Should you be shown another baby picture?
244
772898
2275
هل يجب أن ترى صورة طفل آخر؟
13:07
(Laughter)
245
775197
1196
(ضحك)
13:08
A sullen note from an acquaintance?
246
776417
2596
ملاحظة مُتجهمة من شخص معروف؟
13:11
An important but difficult news item?
247
779449
1856
الأخبار المُهمة ولكنها عويصة؟
13:13
There's no right answer.
248
781329
1482
لا يوجد هنا أي اجابة صحيحة.
13:14
Facebook optimizes
for engagement on the site:
for engagement on the site:
249
782835
2659
يبحث فيس بوك عن أفضل الحلول
للتشابك على الموقع:
للتشابك على الموقع:
13:17
likes, shares, comments.
250
785518
1415
اعجابات، مشاركات، تعليقات.
13:20
In August of 2014,
251
788168
2696
في شهرآب من 2014،
13:22
protests broke out in Ferguson, Missouri,
252
790888
2662
اندلعت الاحتجاجات في فيرغوسن،
مُقاطعة ميسوري،
مُقاطعة ميسوري،
13:25
after the killing of an African-American
teenager by a white police officer,
teenager by a white police officer,
253
793574
4417
بعد مقتل مراهق أميريكي-افريقي
من قبل ضابط شرطة أبيض،
من قبل ضابط شرطة أبيض،
13:30
under murky circumstances.
254
798015
1570
في ظروف غامضة.
13:31
The news of the protests was all over
255
799974
2007
الأخبار عن الاحتجاجات كانت قد انتهت
13:34
my algorithmically
unfiltered Twitter feed,
unfiltered Twitter feed,
256
802005
2685
خوارزميتي الحسابية لم تُصفي تلقيم تويتر،
13:36
but nowhere on my Facebook.
257
804714
1950
ولكن هنا على الفيس بوك خاصتي.
13:39
Was it my Facebook friends?
258
807182
1734
هل كانوا أصدقاء حسابي الفيس بوك؟
13:40
I disabled Facebook's algorithm,
259
808940
2032
عَطلتُ خوارزمية فيس بوك الحسابية،
13:43
which is hard because Facebook
keeps wanting to make you
keeps wanting to make you
260
811472
2848
حيث إنه صعب، لأن فيس بوك
دائماً يُريد أن يجعلك
دائماً يُريد أن يجعلك
13:46
come under the algorithm's control,
261
814344
2036
تبقى تحت سيطرة الخوارزمية،
13:48
and saw that my friends
were talking about it.
were talking about it.
262
816404
2238
وشاهدت أصدقائي كانوا يتكلمون عنه.
13:50
It's just that the algorithm
wasn't showing it to me.
wasn't showing it to me.
263
818666
2509
أنه فقط أن الخوارزمية
لم تكن تُظهره لي.
لم تكن تُظهره لي.
13:53
I researched this and found
this was a widespread problem.
this was a widespread problem.
264
821199
3042
بحثت حول هذا ووجدت
أن هذا كان مُشكلة واسعة الانتشار.
أن هذا كان مُشكلة واسعة الانتشار.
13:56
The story of Ferguson
wasn't algorithm-friendly.
wasn't algorithm-friendly.
265
824265
3813
قصة فيرغوسن لم تكن
ضمن نظام الخوارزمية بشكل ودّي.
ضمن نظام الخوارزمية بشكل ودّي.
14:00
It's not "likable."
266
828102
1171
إنه ليس"جدير بالمحبة."
14:01
Who's going to click on "like?"
267
829297
1552
مَن سيضغط على "اعجاب؟"
14:03
It's not even easy to comment on.
268
831500
2206
إنه حتى ليس من السهل أن
تُعلق عليه.
تُعلق عليه.
14:05
Without likes and comments,
269
833730
1371
من دون الاعجابات والتعليقات،
14:07
the algorithm was likely showing it
to even fewer people,
to even fewer people,
270
835125
3292
الخوارزمية كانت من المحتمل
أن تظهره لعدد أقل من الناس،
أن تظهره لعدد أقل من الناس،
14:10
so we didn't get to see this.
271
838441
1542
لذلك نحن لا نُريد أن نرى هذا.
14:12
Instead, that week,
272
840946
1228
بدلاً من، ذلك الاسبوع،
14:14
Facebook's algorithm highlighted this,
273
842198
2298
خوارزمية فيس بوك ألقت الضوء على هذا،
14:16
which is the ALS Ice Bucket Challenge.
274
844520
2226
حيث إنه تحدي الدلو الجليدي ALS.
14:18
Worthy cause; dump ice water,
donate to charity, fine.
donate to charity, fine.
275
846770
3742
سبب قيّم؛ الماء الجليدي المفرغ،
صُنع المعروف، جميل.
صُنع المعروف، جميل.
14:22
But it was super algorithm-friendly.
276
850536
1904
ولكنها كانت خوارزمية
صديقة بامتياز.
صديقة بامتياز.
14:25
The machine made this decision for us.
277
853219
2613
الآلة صنعت هذا القرار من أجلنا.
14:27
A very important
but difficult conversation
but difficult conversation
278
855856
3497
محادثة مهمة جداً ولكنها صعبة
14:31
might have been smothered,
279
859377
1555
ربما تكون قد غُطت بكثافة،
14:32
had Facebook been the only channel.
280
860956
2696
ربما كان فيس بوك القناة الوحيدة.
14:36
Now, finally, these systems
can also be wrong
can also be wrong
281
864117
3797
الآن،وأخيراً، هذه الأنظمة
يمكن أيضاً أن تكون مخطئة
يمكن أيضاً أن تكون مخطئة
14:39
in ways that don't resemble human systems.
282
867938
2736
في الطُرق التي لا تُماثل الأنظمة الانسانية.
14:42
Do you guys remember Watson,
IBM's machine-intelligence system
IBM's machine-intelligence system
283
870698
2922
هل تتذكرون واتسون،
نظام الذكاء الآلي لشركة IBM
نظام الذكاء الآلي لشركة IBM
14:45
that wiped the floor
with human contestants on Jeopardy?
with human contestants on Jeopardy?
284
873644
3128
والذي أزال الإرباك مع
المتنافسين البشر على لعبة Jeopardy؟
المتنافسين البشر على لعبة Jeopardy؟
14:49
It was a great player.
285
877131
1428
كان لاعب عظيم.
14:50
But then, for Final Jeopardy,
Watson was asked this question:
Watson was asked this question:
286
878583
3569
ولكن فيما بعد، بالنسبة للعبة الأخيرة،
سُأل واتسون هذا السؤال:
سُأل واتسون هذا السؤال:
14:54
"Its largest airport is named
for a World War II hero,
for a World War II hero,
287
882659
2932
"مطاره الأكبر سُمي لبطل
الحرب العالمية الثانية،
الحرب العالمية الثانية،
14:57
its second-largest
for a World War II battle."
for a World War II battle."
288
885615
2252
ثاني أكبر مطار لمعركة
الحرب العالمية الثانية."
الحرب العالمية الثانية."
14:59
(Hums Final Jeopardy music)
289
887891
1378
(دندنة لموسيقا اللعبة الأخيرة)
15:01
Chicago.
290
889582
1182
شيكاغو.
15:02
The two humans got it right.
291
890788
1370
الشخصين أجابوا بشكل صحيح.
15:04
Watson, on the other hand,
answered "Toronto" --
answered "Toronto" --
292
892697
4348
واتسون، على الجهة المقابلة،
أجاب "تورونتو"--
أجاب "تورونتو"--
15:09
for a US city category!
293
897069
1818
عوضاً عن تصنيف مدينة أمريكية!
15:11
The impressive system also made an error
294
899596
2901
النظام المُثير للاعجاب أيضاً يصنع أخطاء
15:14
that a human would never make,
a second-grader wouldn't make.
a second-grader wouldn't make.
295
902521
3651
التي لا يُمكن أن يصنعها الإنسان،
الصنف الثاني سوف لن يصنعها.
الصنف الثاني سوف لن يصنعها.
15:18
Our machine intelligence can fail
296
906823
3109
ذكاء ألتُنا الصناعي يُمكن أن يفشل
15:21
in ways that don't fit
error patterns of humans,
error patterns of humans,
297
909956
3100
في الطرق التي لا تناسب نماذج خطأ الانسان
15:25
in ways we won't expect
and be prepared for.
and be prepared for.
298
913080
2950
في الطرق التي لا نتوقعها
ونكون مُحضرين لها.
ونكون مُحضرين لها.
15:28
It'd be lousy not to get a job
one is qualified for,
one is qualified for,
299
916054
3638
سيكون من الحقارة أن لا يحصل
الشخص على عمل يكون مؤهل له،
الشخص على عمل يكون مؤهل له،
15:31
but it would triple suck
if it was because of stack overflow
if it was because of stack overflow
300
919716
3727
لكن سيكون استيعاب ثلاثي
إذا كان بسبب فائض مُكدس
إذا كان بسبب فائض مُكدس
15:35
in some subroutine.
301
923467
1432
في بعض الروتين الفعلي.
15:36
(Laughter)
302
924923
1579
(ضحك)
15:38
In May of 2010,
303
926526
2786
في شهر شهر مايو/أيارعام 2010،
15:41
a flash crash on Wall Street
fueled by a feedback loop
fueled by a feedback loop
304
929336
4044
الإنهيار السريع في وول ستريت
المُغذى بحلقة ردود الفعل
المُغذى بحلقة ردود الفعل
15:45
in Wall Street's "sell" algorithm
305
933404
3028
في خوارزمية "البيع" الحسابية
في وول ستريت
في وول ستريت
15:48
wiped a trillion dollars
of value in 36 minutes.
of value in 36 minutes.
306
936456
4184
أزال ما قيمته ترليليون دولار
في 36 دقيقة.
في 36 دقيقة.
15:53
I don't even want to think
what "error" means
what "error" means
307
941722
2187
أنا لا أريد حتى أن أعتقد
ما يعني"الخطأ"
ما يعني"الخطأ"
15:55
in the context of lethal
autonomous weapons.
autonomous weapons.
308
943933
3589
في سياق الأسلحة المستقلة المُهلكة.
16:01
So yes, humans have always made biases.
309
949894
3790
لذا نعم، الناس دائماً يصنعون التحيز.
16:05
Decision makers and gatekeepers,
310
953708
2176
صانعوا القرارات و حارسوا البوابات،
16:07
in courts, in news, in war ...
311
955908
3493
في المحاكم، في الأخبار، في الحرب...
16:11
they make mistakes;
but that's exactly my point.
but that's exactly my point.
312
959425
3038
هم يصنعون الأخطاء؛
ولكن تلك فكرتي بالضبط.
ولكن تلك فكرتي بالضبط.
16:14
We cannot escape
these difficult questions.
these difficult questions.
313
962487
3521
نحن لا نستطيع الهرب من
هذه الأسئلة الصعبة.
هذه الأسئلة الصعبة.
16:18
We cannot outsource
our responsibilities to machines.
our responsibilities to machines.
314
966596
3516
نحن لا نستطيع التعهد
بمسؤلياتنا إلى الآلات.
بمسؤلياتنا إلى الآلات.
16:22
(Applause)
315
970676
4208
(تصفيق)
16:29
Artificial intelligence does not give us
a "Get out of ethics free" card.
a "Get out of ethics free" card.
316
977089
4447
الذكاء الاصطناعي لا يعطينا
بطاقة "الخروج من الأخلاق بحرية".
بطاقة "الخروج من الأخلاق بحرية".
16:34
Data scientist Fred Benenson
calls this math-washing.
calls this math-washing.
317
982742
3381
عالم البيانات فريد بيننسون
يدعو هذا غسيل الرياضيات.
يدعو هذا غسيل الرياضيات.
16:38
We need the opposite.
318
986147
1389
نحن نحتاج العكس.
16:39
We need to cultivate algorithm suspicion,
scrutiny and investigation.
scrutiny and investigation.
319
987560
5388
نريد أن نصقل التشكيك حول الخوارزمية،
الفحص الدقيق و الاستقصاء.
الفحص الدقيق و الاستقصاء.
16:45
We need to make sure we have
algorithmic accountability,
algorithmic accountability,
320
993380
3198
نريد أن نتأكد أنه لدينا مسؤلية
حول ما يتعلق بالخوارزمية.
حول ما يتعلق بالخوارزمية.
16:48
auditing and meaningful transparency.
321
996602
2445
التدقيق، الشفافية ذات المعنى.
16:51
We need to accept
that bringing math and computation
that bringing math and computation
322
999380
3234
نريد أن نقبل أن نجلب
الرياضيات والحساب
الرياضيات والحساب
16:54
to messy, value-laden human affairs
323
1002638
2970
للأشياء الفوضوية،
العلاقات الانسانية المحملة بالقيمة
العلاقات الانسانية المحملة بالقيمة
16:57
does not bring objectivity;
324
1005632
2384
لا تجلب الموضوعية؛
17:00
rather, the complexity of human affairs
invades the algorithms.
invades the algorithms.
325
1008040
3633
بالأحرى، العلاقات الانسانية المعقدة
تنتهك الخوارزميات.
تنتهك الخوارزميات.
17:04
Yes, we can and we should use computation
326
1012148
3487
نعم، نحن نستطيع ويجب علينا
أن نستخدم الحساب
أن نستخدم الحساب
17:07
to help us make better decisions.
327
1015659
2014
ليساعدنا على اتخاذ قرارات أفضل.
17:09
But we have to own up
to our moral responsibility to judgment,
to our moral responsibility to judgment,
328
1017697
5332
ولكن يجب علينا أن نعترف
بمسؤليتنا الاخلاقية في الحكم،
بمسؤليتنا الاخلاقية في الحكم،
17:15
and use algorithms within that framework,
329
1023053
2818
وأن نستخدم الخوارزميات
ضمن اطار العمل ذلك،
ضمن اطار العمل ذلك،
17:17
not as a means to abdicate
and outsource our responsibilities
and outsource our responsibilities
330
1025895
4935
ليس بمعنى أن نتنازل و نتعهد
بمسؤلياتنا
بمسؤلياتنا
17:22
to one another as human to human.
331
1030854
2454
لشخص آخر مثلاً
إنسان لإنسان.
إنسان لإنسان.
17:25
Machine intelligence is here.
332
1033807
2609
الذكاء الآلي هنا.
17:28
That means we must hold on ever tighter
333
1036440
3421
والذي يعني أنه يجب علينا
ننتظر بشكل محكم أكثر من أي وقت مضى
ننتظر بشكل محكم أكثر من أي وقت مضى
17:31
to human values and human ethics.
334
1039885
2147
للقيم الانسانية والأخلاق الانسانية.
17:34
Thank you.
335
1042056
1154
شكراً لكم.
17:35
(Applause)
336
1043234
5020
(تصفيق)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com