TEDGlobal>NYC
Zeynep Tufekci: We're building a dystopia just to make people click on ads
زينب توفيكجي: نحن نخلق ديستوبيا فقط لنجعل الناس تضغط على الإعلانات
Filmed:
Readability: 4.8
2,866,905 views
نحن نخلق ديستوبيا تستمد طاقتها من الذكاء الاصطناعي، بضغطة زر تلو الأخرى، كما تقول عالمة الاجتماع التقني "زينب توفيكجي". في حديث يفتح الأعين، تشرح بالتفصيل كيف أن الخوارزميات التي تستخدمها شركات مثل "فيسبوك" و"جوجل" و"أمازون" لتجعلك تضغط على الإعلانات هي نفسها تُستخدم لتقوم بتنظيم حصولك على المعلومات الاجتماعية والسياسية. والآلات ليست هي حتى التهديد الحقيقي. ما نحتاج أن نفهمه هو كيف يستطيع أهل السلطة أن يستخدموا الذكاء الاصطناعي ليتحكموا بنا -- وماذا يمكننا أن نفعل في مواجهة المشكلة.
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So when people voice fears
of artificial intelligence,
of artificial intelligence,
0
760
3536
عندما يعبر الناس عن خوفهم
من الذكاء الاصطناعي،
من الذكاء الاصطناعي،
00:16
very often, they invoke images
of humanoid robots run amok.
of humanoid robots run amok.
1
4320
3976
فهم في غالب الأحيان يستحضرون صور روبوتات
تشبه الإنسان وتجري مسعورة تريد الأذى
تشبه الإنسان وتجري مسعورة تريد الأذى
00:20
You know? Terminator?
2
8320
1240
كما في فيلم "تيرمينيتور".
00:22
You know, that might be
something to consider,
something to consider,
3
10400
2336
هذا قد يكون وارد الحدوث،
00:24
but that's a distant threat.
4
12760
1856
لكن هذا تهديد بعيد.
00:26
Or, we fret about digital surveillance
5
14640
3456
أو نقلق حول المراقبة الرقمية
00:30
with metaphors from the past.
6
18120
1776
بمجازيات من الماضي
00:31
"1984," George Orwell's "1984,"
7
19920
2656
مثل رواية "1984" لـ"جورج أورويل"،
00:34
it's hitting the bestseller lists again.
8
22600
2280
إنها في قائمة الأفضل مبيعاً مرة أخرى.
00:37
It's a great book,
9
25960
1416
إنه كتاب رائع
00:39
but it's not the correct dystopia
for the 21st century.
for the 21st century.
10
27400
3880
لكنه لا يحوي وصف الديستوبيا المناسبة
للقرن الحادي والعشرين.
للقرن الحادي والعشرين.
00:44
What we need to fear most
11
32080
1416
أكثر ما يجب أن نخاف منه
00:45
is not what artificial intelligence
will do to us on its own,
will do to us on its own,
12
33520
4776
هو ليس ما سوف يفعله بنا الذكاء الاصطناعي
من تلقاء نفسه،
من تلقاء نفسه،
00:50
but how the people in power
will use artificial intelligence
will use artificial intelligence
13
38320
4736
ولكن كيف سيستخدم الناس ذوو السلطة
الذكاءَ الاصطناعي
الذكاءَ الاصطناعي
00:55
to control us and to manipulate us
14
43080
2816
ليتحكموا بنا وليتلاعبوا بنا
00:57
in novel, sometimes hidden,
15
45920
3136
بطرق جديدة وأحياناً مخفية
01:01
subtle and unexpected ways.
16
49080
3016
ومفاجئة وغير متوقعة.
01:04
Much of the technology
17
52120
1856
معظم التكنولوجيا
01:06
that threatens our freedom
and our dignity in the near-term future
and our dignity in the near-term future
18
54000
4336
التي تهدد حريتنا وكرامتنا
في المستقبل القريب
في المستقبل القريب
01:10
is being developed by companies
19
58360
1856
يجري تطويرها من قبل شركات
01:12
in the business of capturing
and selling our data and our attention
and selling our data and our attention
20
60240
4936
تعمل في مجال التقاط وبيع
بياناتنا وانتباهنا
بياناتنا وانتباهنا
01:17
to advertisers and others:
21
65200
2256
لأصحاب الإعلانات وغيرهم:
01:19
Facebook, Google, Amazon,
22
67480
3416
"فيسبوك"، "جوجل"، "أمازون"،
01:22
Alibaba, Tencent.
23
70920
1880
"علي بابا"، "تينسنت".
01:26
Now, artificial intelligence has started
bolstering their business as well.
bolstering their business as well.
24
74040
5496
لقد قام الذكاء الاصطناعي بدعم عملهم أيضاً
01:31
And it may seem
like artificial intelligence
like artificial intelligence
25
79560
2096
وقد يبدو أن الذكاء الاصطناعي
01:33
is just the next thing after online ads.
26
81680
2856
بمثابة الخطوة التقنية التالية
بعد الإعلانات على الإنترنت.
بعد الإعلانات على الإنترنت.
01:36
It's not.
27
84560
1216
إنه ليس كذلك.
01:37
It's a jump in category.
28
85800
2456
إنه قفزة في المجال كاملاً
01:40
It's a whole different world,
29
88280
2576
إنه عالمٌ كاملٌ مختلف،
01:42
and it has great potential.
30
90880
2616
ويحمل إمكانات عظيمة.
01:45
It could accelerate our understanding
of many areas of study and research.
of many areas of study and research.
31
93520
6920
باستطاعته تسريع فهمنا للعديد
من مجالات الدراسة والبحث.
من مجالات الدراسة والبحث.
01:53
But to paraphrase
a famous Hollywood philosopher,
a famous Hollywood philosopher,
32
101120
3496
لكنني سأعيد صياغة ما قاله فيلسوف
هوليوودي شهير،
هوليوودي شهير،
01:56
"With prodigious potential
comes prodigious risk."
comes prodigious risk."
33
104640
3640
"مع الإمكانات غير العادية تأتي
مخاطر غير عادية."
مخاطر غير عادية."
02:01
Now let's look at a basic fact
of our digital lives, online ads.
of our digital lives, online ads.
34
109120
3936
دعونا الآن ننظر إلى حقيقة أساسية
في حياتنا الرقمية، الإعلانات على الإنترنت.
في حياتنا الرقمية، الإعلانات على الإنترنت.
02:05
Right? We kind of dismiss them.
35
113080
2896
صحيح؟ نحن نقوم بتجاهلهم نوعاً ما.
02:08
They seem crude, ineffective.
36
116000
1976
تبدو مزعجة جداً وعديمة الفائدة.
02:10
We've all had the experience
of being followed on the web
of being followed on the web
37
118000
4256
جميعنا مررنا بتجربة أن تتم ملاحقتنا
على شبكة الويب
على شبكة الويب
02:14
by an ad based on something
we searched or read.
we searched or read.
38
122280
2776
بواسطة إعلان بناءً على شيء
قمنا بالبحث عنه أو قراءته
قمنا بالبحث عنه أو قراءته
02:17
You know, you look up a pair of boots
39
125080
1856
تبحثون مثلاً عن زوج من الأحذية.
02:18
and for a week, those boots are following
you around everywhere you go.
you around everywhere you go.
40
126960
3376
ولمدة أسبوع، هذه الأحذية تقوم
باللحاق بكم أينما ذهبتم.
باللحاق بكم أينما ذهبتم.
02:22
Even after you succumb and buy them,
they're still following you around.
they're still following you around.
41
130360
3656
حتى بعد ما تخضعون وتشترونهم،
لا يزالون يلحقون بكم.
لا يزالون يلحقون بكم.
02:26
We're kind of inured to that kind
of basic, cheap manipulation.
of basic, cheap manipulation.
42
134040
3016
نحن متعودون نوعاً ما على ذلك النوع
من التلاعب الرخيص.
من التلاعب الرخيص.
02:29
We roll our eyes and we think,
"You know what? These things don't work."
"You know what? These things don't work."
43
137080
3400
ننظر بامتعاض ونفكر
"أتعلم ماذا؟ هذه الأشياء لا تعمل."
"أتعلم ماذا؟ هذه الأشياء لا تعمل."
02:33
Except, online,
44
141720
2096
عدا أنه على الإنترنت،
02:35
the digital technologies are not just ads.
45
143840
3600
التقنيات الرقمية ليس مجرد إعلانات فقط.
02:40
Now, to understand that,
let's think of a physical world example.
let's think of a physical world example.
46
148240
3120
لنفهم ذلك، دعونا نفكر بمثال
من العالم المحسوس.
من العالم المحسوس.
02:43
You know how, at the checkout counters
at supermarkets, near the cashier,
at supermarkets, near the cashier,
47
151840
4656
تعرفون كيف عند عدادات الدفع
في المتاجر قرب الكاشيير،
في المتاجر قرب الكاشيير،
02:48
there's candy and gum
at the eye level of kids?
at the eye level of kids?
48
156520
3480
هناك حلوى وعلكة على مستوى نظر الأطفال؟
02:52
That's designed to make them
whine at their parents
whine at their parents
49
160800
3496
هذا مصمم ليجعلهم يلحّوا على أهاليهم
02:56
just as the parents
are about to sort of check out.
are about to sort of check out.
50
164320
3080
في نفس الوقت حيث يقومون بإظهار
المشتريات للدفع.
المشتريات للدفع.
03:00
Now, that's a persuasion architecture.
51
168040
2640
إن هذا يدعى هندسة الإقناع.
03:03
It's not nice, but it kind of works.
52
171160
3096
إنه ليس لطيفاً، لكنه يعمل نوعاً ما.
03:06
That's why you see it
in every supermarket.
in every supermarket.
53
174280
2040
لهذا السبب ترونه في كل متجر.
03:08
Now, in the physical world,
54
176720
1696
الآن، في العالم المحسوس،
03:10
such persuasion architectures
are kind of limited,
are kind of limited,
55
178440
2496
هندسات الإقناع كهذه محدودة نوعاً ما،
03:12
because you can only put
so many things by the cashier. Right?
so many things by the cashier. Right?
56
180960
4816
لأنك تستطيع أن تضع فقط العديد
من الأشياء عند الكاشيير، صحيح؟
من الأشياء عند الكاشيير، صحيح؟
03:17
And the candy and gum,
it's the same for everyone,
it's the same for everyone,
57
185800
4296
والحلوى والعلكة هي نفسها للجميع،
03:22
even though it mostly works
58
190120
1456
حتى ولو كانت غالباً تنجح
03:23
only for people who have
whiny little humans beside them.
whiny little humans beside them.
59
191600
4040
فقط بالنسبة للناس الذين معهم أطفال
صغار ملحّون إلى جانبهم.
صغار ملحّون إلى جانبهم.
03:29
In the physical world,
we live with those limitations.
we live with those limitations.
60
197160
3920
في العالم المحسوس، نحن نعيش مع هذه الحدود.
03:34
In the digital world, though,
61
202280
1936
لكن في العالم الرقمي،
03:36
persuasion architectures
can be built at the scale of billions
can be built at the scale of billions
62
204240
4320
فهندسات الإقناع يمكن أن تُبنى
على مستوى المليارات
على مستوى المليارات
03:41
and they can target, infer, understand
63
209840
3856
ويمكنهم أن يستهدفوا ويستنتجوا ويفهموا
03:45
and be deployed at individuals
64
213720
2896
وينتشروا أمام الأفراد
03:48
one by one
65
216640
1216
واحداً واحداً
03:49
by figuring out your weaknesses,
66
217880
2136
باستنتاج نقاط ضعفك،
03:52
and they can be sent
to everyone's phone private screen,
to everyone's phone private screen,
67
220040
5616
ويمكن أن يتم إرسالهم إلى شاشة الهاتف
الخاصة بأي أحد،
الخاصة بأي أحد،
03:57
so it's not visible to us.
68
225680
2256
إذاً فهي ليست مرئية لنا.
03:59
And that's different.
69
227960
1256
وهذا مختلف.
04:01
And that's just one of the basic things
that artificial intelligence can do.
that artificial intelligence can do.
70
229240
3576
وهذا فقط واحد من الأمور البسيطة
التي يستطيع الذكاء الاصطناعي أن يفعلها.
التي يستطيع الذكاء الاصطناعي أن يفعلها.
04:04
Now, let's take an example.
71
232840
1336
والآن دعونا نأخذ مثالاً.
04:06
Let's say you want to sell
plane tickets to Vegas. Right?
plane tickets to Vegas. Right?
72
234200
2696
فلنقل أنك تريد أن تبيع تذاكر
طيران إلى "فيجاس"، حسناً؟
طيران إلى "فيجاس"، حسناً؟
04:08
So in the old world, you could think
of some demographics to target
of some demographics to target
73
236920
3496
في العالم القديم، يمكنك أن تفكر
ببعض المناطق لتستهدفها
ببعض المناطق لتستهدفها
04:12
based on experience
and what you can guess.
and what you can guess.
74
240440
2520
بناء على الخبرة وما يمكنك أن تخمنه.
04:15
You might try to advertise to, oh,
75
243560
2816
قد تحاول الإعلان لـ...
04:18
men between the ages of 25 and 35,
76
246400
2496
رجال بين أعمار الـ25 والـ35
04:20
or people who have
a high limit on their credit card,
a high limit on their credit card,
77
248920
3936
أو أشخاص عندهم حد مرتفع للدَّين
في بطاقتهم الائتمانية،
في بطاقتهم الائتمانية،
04:24
or retired couples. Right?
78
252880
1376
أو أزواج متقاعدين. صحيح؟
04:26
That's what you would do in the past.
79
254280
1816
هذا ما كنتَ لتفعله في الماضي.
04:28
With big data and machine learning,
80
256120
2896
بوجود البيانات الضخمة وتعلّم الآلة،
04:31
that's not how it works anymore.
81
259040
1524
لم يعد الأمر يعمل بهذا الشكل.
04:33
So to imagine that,
82
261320
2176
لذا لنتخيل ذلك...
04:35
think of all the data
that Facebook has on you:
that Facebook has on you:
83
263520
3856
فكروا في كل البيانات التي يمتلكها
"فيسبوك" عنك:
"فيسبوك" عنك:
04:39
every status update you ever typed,
84
267400
2536
كل حالة قمت بكتابتها في حياتك،
04:41
every Messenger conversation,
85
269960
2016
كل محادثة في "مسنجر"،
04:44
every place you logged in from,
86
272000
1880
كل مكان سجلت دخولك منه،
04:48
all your photographs
that you uploaded there.
that you uploaded there.
87
276400
3176
جميع صورك التي قمت برفعها من ذلك المكان.
04:51
If you start typing something
and change your mind and delete it,
and change your mind and delete it,
88
279600
3776
إذا بدأت بكتابة شيء ثم غيرت رأيك وحذفته،
04:55
Facebook keeps those
and analyzes them, too.
and analyzes them, too.
89
283400
3200
فإن "فيسبوك" يحتفظ بهذه ويحللها أيضاً.
04:59
Increasingly, it tries
to match you with your offline data.
to match you with your offline data.
90
287160
3936
بشكل متزايد، فهو يحاول أن يطابق بينك
وبين بياناتك خارج الإنترنت.
وبين بياناتك خارج الإنترنت.
05:03
It also purchases
a lot of data from data brokers.
a lot of data from data brokers.
91
291120
3176
ويقوم أيضاً بشراء الكثير من البيانات
من سماسرة البيانات.
من سماسرة البيانات.
05:06
It could be everything
from your financial records
from your financial records
92
294320
3416
قد يتضمن ذلك كل شيء
ابتداءً من سجلاتك المالية
ابتداءً من سجلاتك المالية
05:09
to a good chunk of your browsing history.
93
297760
2120
لكم لا بأس فيه من تاريخ تصفحك.
05:12
Right? In the US,
such data is routinely collected,
such data is routinely collected,
94
300360
5416
صحيح؟ في الولايات المتحدة،
بيانات كهذه يتم جمعها بشكل روتيني،
بيانات كهذه يتم جمعها بشكل روتيني،
05:17
collated and sold.
95
305800
1960
وتُجمع وتُباع.
05:20
In Europe, they have tougher rules.
96
308320
2440
في "أوروبا" عندهم قوانين أكثر شدة.
05:23
So what happens then is,
97
311680
2200
إذاً ما يحدث عندها هو
05:26
by churning through all that data,
these machine-learning algorithms --
these machine-learning algorithms --
98
314920
4016
بمزج جميع البيانات، خوارزميات
تعلم الآلة هذه...
تعلم الآلة هذه...
05:30
that's why they're called
learning algorithms --
learning algorithms --
99
318960
2896
لهذا السبب تسمى خوارزميات تعلم...
05:33
they learn to understand
the characteristics of people
the characteristics of people
100
321880
4096
إنها تتعلم كيف تفهم مميزات وصفات الناس
05:38
who purchased tickets to Vegas before.
101
326000
2520
الذين اشتروا تذاكر إلى "فيجاس" من قبل.
05:41
When they learn this from existing data,
102
329760
3536
عندما يقوموا بتعلم هذا من بيانات متوفرة،
05:45
they also learn
how to apply this to new people.
how to apply this to new people.
103
333320
3816
يتعلمون أيضاً كيف يقومون بتطبيق
ذلك على الناس الجدد
ذلك على الناس الجدد
05:49
So if they're presented with a new person,
104
337160
3056
حيث أنهم إذا واجهوا شخصاً جديداً،
05:52
they can classify whether that person
is likely to buy a ticket to Vegas or not.
is likely to buy a ticket to Vegas or not.
105
340240
4640
يمكنهم أن يقرروا هل من المحتمل أن يشتري
ذلك الشخص تذكرة إلى "فيجاس" أم لا.
ذلك الشخص تذكرة إلى "فيجاس" أم لا.
05:57
Fine. You're thinking,
an offer to buy tickets to Vegas.
an offer to buy tickets to Vegas.
106
345720
5456
حسناً. أنتم تقولون إنه عرض لشراء
تذكرة إلى "فيجاس".
تذكرة إلى "فيجاس".
06:03
I can ignore that.
107
351200
1456
يمكنني أن أتجاهل ذلك.
06:04
But the problem isn't that.
108
352680
2216
لكن ليست هذه هي المشكلة.
06:06
The problem is,
109
354920
1576
المشكلة هي...
06:08
we no longer really understand
how these complex algorithms work.
how these complex algorithms work.
110
356520
4136
نحن لم نعد نفهم حقاً كيف تعمل
هذه الخوارزميات المعقدة.
هذه الخوارزميات المعقدة.
06:12
We don't understand
how they're doing this categorization.
how they're doing this categorization.
111
360680
3456
نحن لا نفهم كيف يقومون بهذا التصنيف.
06:16
It's giant matrices,
thousands of rows and columns,
thousands of rows and columns,
112
364160
4416
إنها مصفوفات عملاقة، آلاف الصفوف والأعمدة
06:20
maybe millions of rows and columns,
113
368600
1960
بل ربما ملايين الصفوف والأعمدة،
06:23
and not the programmers
114
371320
2640
ولا المبرمجين
06:26
and not anybody who looks at it,
115
374760
1680
ولا أي أحد ممن ينظر إليها،
06:29
even if you have all the data,
116
377440
1496
حتى لو توفرت لديك البيانات كلها،
06:30
understands anymore
how exactly it's operating
how exactly it's operating
117
378960
4616
يفهم كيف تعمل بالضبط بعد الآن،
06:35
any more than you'd know
what I was thinking right now
what I was thinking right now
118
383600
3776
لن تفهموا أكثر مما ستعرفونه عما أفكر الآن
06:39
if you were shown
a cross section of my brain.
a cross section of my brain.
119
387400
3960
إذا رأيتم مقطعًا عرضيًّا من دماغي.
06:44
It's like we're not programming anymore,
120
392360
2576
الأمر كما لو أننا لم نعد نبرمج بعد الآن،
06:46
we're growing intelligence
that we don't truly understand.
that we don't truly understand.
121
394960
4400
بل نقوم بتنمية ذكاء نحن لا نفهمه حق الفهم.
06:52
And these things only work
if there's an enormous amount of data,
if there's an enormous amount of data,
122
400520
3976
وهذه الأشياء تعمل فقط إذا كان هناك
كم هائل من البيانات،
كم هائل من البيانات،
06:56
so they also encourage
deep surveillance on all of us
deep surveillance on all of us
123
404520
5096
إذاً هي تقوم أيضاً بتحريض مراقبة
عميقة علينا جميعاً
عميقة علينا جميعاً
07:01
so that the machine learning
algorithms can work.
algorithms can work.
124
409640
2336
حيث تستطيع خوارزميات تعلّم الآلة أن تعمل.
07:04
That's why Facebook wants
to collect all the data it can about you.
to collect all the data it can about you.
125
412000
3176
لهذا السبب يريد "فيسبوك" أن يجمع
كل البيانات التي يستطيع جمعها عنك
كل البيانات التي يستطيع جمعها عنك
07:07
The algorithms work better.
126
415200
1576
فالخوارزميات تعمل بشكل أفضل.
07:08
So let's push that Vegas example a bit.
127
416800
2696
دعونا ننسى مثال "فيجاس" لحظة.
07:11
What if the system
that we do not understand
that we do not understand
128
419520
3680
ماذا لو كان النظام الذي لا نفهمه
07:16
was picking up that it's easier
to sell Vegas tickets
to sell Vegas tickets
129
424200
5136
يقرر أنه من الأسهل أن يبيع تذاكر "فيجاس"
07:21
to people who are bipolar
and about to enter the manic phase.
and about to enter the manic phase.
130
429360
3760
للناس المصابين بثنائية القطب
وهم على وشك الدخول بمرحلة الجنون.
وهم على وشك الدخول بمرحلة الجنون.
07:25
Such people tend to become
overspenders, compulsive gamblers.
overspenders, compulsive gamblers.
131
433640
4920
أناس كهؤلاء غالباً يكونون مسرفين
في الإنفاق أو مقامرين مدمنين...
في الإنفاق أو مقامرين مدمنين...
07:31
They could do this, and you'd have no clue
that's what they were picking up on.
that's what they were picking up on.
132
439280
4456
الخوارزميات قد تفعل ذلك، وأنت لا تملك
أدنى فكرة أن هذا ما كانوا يقومون بتصنيفه.
أدنى فكرة أن هذا ما كانوا يقومون بتصنيفه.
07:35
I gave this example
to a bunch of computer scientists once
to a bunch of computer scientists once
133
443760
3616
لقد أعطيت هذا المثال لمجموعة
من علماء الحاسوب ذات مرة.
من علماء الحاسوب ذات مرة.
07:39
and afterwards, one of them came up to me.
134
447400
2056
وبعد ذلك، جاء إلي واحدٌ منهم.
07:41
He was troubled and he said,
"That's why I couldn't publish it."
"That's why I couldn't publish it."
135
449480
3520
لقد كان مضطرباً وقال :
"لهذا السبب لم أستطع نشرها."
"لهذا السبب لم أستطع نشرها."
07:45
I was like, "Couldn't publish what?"
136
453600
1715
أنا قلت: "لم تستطع نشر ماذا؟"
07:47
He had tried to see whether you can indeed
figure out the onset of mania
figure out the onset of mania
137
455800
5856
لقد حاول أن يرى فيما إذا كنت ستستطيع
استشفاف بداية مس الجنون
استشفاف بداية مس الجنون
07:53
from social media posts
before clinical symptoms,
before clinical symptoms,
138
461680
3216
من منشورات مواقع التواصل قبل بداية
الأعراض المرضية،
الأعراض المرضية،
07:56
and it had worked,
139
464920
1776
ولقد نجح ذلك،
07:58
and it had worked very well,
140
466720
2056
بل نجح بشكل ممتاز،
08:00
and he had no idea how it worked
or what it was picking up on.
or what it was picking up on.
141
468800
4880
وهو لم يكن لديه أي فكرة كيف نجح البرنامج
أو ما المعلومات التي كان يجمعها.
أو ما المعلومات التي كان يجمعها.
08:06
Now, the problem isn't solved
if he doesn't publish it,
if he doesn't publish it,
142
474840
4416
الآن، المشكلة لا تُحل إذا لم
يقم بنشر المنشور،
يقم بنشر المنشور،
08:11
because there are already companies
143
479280
1896
لأنه مسبقاً هناك شركات
08:13
that are developing
this kind of technology,
this kind of technology,
144
481200
2536
تقوم بتطوير هذا النوع من التقنية،
08:15
and a lot of the stuff
is just off the shelf.
is just off the shelf.
145
483760
2800
والكثير من ما ينتجونه مأخوذ
من الموارد الموجودة ببساطة.
من الموارد الموجودة ببساطة.
08:19
This is not very difficult anymore.
146
487240
2576
هذا لم يعد شديد الصعوبة بعد الآن.
08:21
Do you ever go on YouTube
meaning to watch one video
meaning to watch one video
147
489840
3456
هل جربتم من قبل أن تدخلون "يوتيوب"
بنيّة مشاهدة فيديو واحد
بنيّة مشاهدة فيديو واحد
08:25
and an hour later you've watched 27?
148
493320
2360
وبعد ساعة تكونون قد شاهدتم 27 فيديو؟
08:28
You know how YouTube
has this column on the right
has this column on the right
149
496760
2496
تعرفون ذلك العمود على اليمين في "يوتيوب"
08:31
that says, "Up next"
150
499280
2216
الذي اسمه "سيُعرض تالياً"
08:33
and it autoplays something?
151
501520
1816
ويقوم بتشغيل شيء ما تلقائياً؟
08:35
It's an algorithm
152
503360
1216
إنها خوارزمية
08:36
picking what it thinks
that you might be interested in
that you might be interested in
153
504600
3616
تلتقط ما تظن هي أنك قد تكون مهتماً به
08:40
and maybe not find on your own.
154
508240
1536
وما قد لا تجده لوحدك.
08:41
It's not a human editor.
155
509800
1256
هذا ليس بفعل إنسان.
08:43
It's what algorithms do.
156
511080
1416
إنه ما تفعله الخوارزميات.
08:44
It picks up on what you have watched
and what people like you have watched,
and what people like you have watched,
157
512520
4736
إنها تلتقط الأشياء التي قمت بمشاهدتها
والأشياء التي قام أناس مثلك بمشاهدتها،
والأشياء التي قام أناس مثلك بمشاهدتها،
08:49
and infers that that must be
what you're interested in,
what you're interested in,
158
517280
4216
وتستنتج أن ذلك لا بد أن يكون
ما أنت مهتم به،
ما أنت مهتم به،
08:53
what you want more of,
159
521520
1255
وما تريد المزيد منه،
08:54
and just shows you more.
160
522799
1336
ثم يعرض عليك المزيد فحسب.
08:56
It sounds like a benign
and useful feature,
and useful feature,
161
524159
2201
إنها تبدو ميزة حميدة ومفيدة،
08:59
except when it isn't.
162
527280
1200
إلا عندما تكون غير ذلك.
09:01
So in 2016, I attended rallies
of then-candidate Donald Trump
of then-candidate Donald Trump
163
529640
6960
ففي عام 2016 حضرت مسيرات
للمرشح حينها "دونالد ترمب"
للمرشح حينها "دونالد ترمب"
09:09
to study as a scholar
the movement supporting him.
the movement supporting him.
164
537840
3336
لأقوم كعالمة بدراسة الحركة الداعمة له.
09:13
I study social movements,
so I was studying it, too.
so I was studying it, too.
165
541200
3456
أنا أدرس الحركات الاجتماعية،
لذا كنت أدرس ذلك أيضاً.
لذا كنت أدرس ذلك أيضاً.
09:16
And then I wanted to write something
about one of his rallies,
about one of his rallies,
166
544680
3336
وبعدها أردت أن أكتب شيئاً
عن واحدة من تلك المسيرات،
عن واحدة من تلك المسيرات،
09:20
so I watched it a few times on YouTube.
167
548040
1960
فقمت بمشاهدتها بعض المرات على "يوتيوب".
09:23
YouTube started recommending to me
168
551240
3096
فبدأ "يوتيوب" بترشيح فيديوهات لي
09:26
and autoplaying to me
white supremacist videos
white supremacist videos
169
554360
4256
ويشغل لي تلقائياً فيديوهات
عن العنصريين البيض
عن العنصريين البيض
09:30
in increasing order of extremism.
170
558640
2656
في ترتيب متصاعد من التطرف.
09:33
If I watched one,
171
561320
1816
إذا شاهدت واحداً،
09:35
it served up one even more extreme
172
563160
2976
سينقلني حتى إلى فيديو أكثر تطرفاً
09:38
and autoplayed that one, too.
173
566160
1424
ويقوم بتشغيله تلقائياً أيضاً.
09:40
If you watch Hillary Clinton
or Bernie Sanders content,
or Bernie Sanders content,
174
568320
4536
إذا شاهدتم محتوى خاص بـ"هيلارس كلينتون"
أو "بيرني ساندرز"،
أو "بيرني ساندرز"،
09:44
YouTube recommends
and autoplays conspiracy left,
and autoplays conspiracy left,
175
572880
4696
سيقوم "يوتيوب" بترشيح وتشغيل فيديوهات
عن اليساريين المتآمرين،
عن اليساريين المتآمرين،
09:49
and it goes downhill from there.
176
577600
1760
وسوف ينحدر من تلك النقطة.
09:52
Well, you might be thinking,
this is politics, but it's not.
this is politics, but it's not.
177
580480
3056
حسناً، ربما تظنون أن هذا يتعلق
بالسياسة، لكنه ليس كذلك.
بالسياسة، لكنه ليس كذلك.
09:55
This isn't about politics.
178
583560
1256
هذا لا يتعلق بالسياسة.
09:56
This is just the algorithm
figuring out human behavior.
figuring out human behavior.
179
584840
3096
هذه ببساطة فقط الخوارزمية
وهي تستنتج السلوك الإنساني.
وهي تستنتج السلوك الإنساني.
09:59
I once watched a video
about vegetarianism on YouTube
about vegetarianism on YouTube
180
587960
4776
مرةً شاهدت فيديو عن النظرية النباتية
على "يوتيوب".
على "يوتيوب".
10:04
and YouTube recommended
and autoplayed a video about being vegan.
and autoplayed a video about being vegan.
181
592760
4936
فقام "يوتيوب" بترشيح وتشغيل فيديو
عن كون المرء نباتياَ.
عن كون المرء نباتياَ.
10:09
It's like you're never
hardcore enough for YouTube.
hardcore enough for YouTube.
182
597720
3016
كما لو أنك لن تكون أبداً شديداً
بما يكفي بالنسبة لـ"يوتيوب".
بما يكفي بالنسبة لـ"يوتيوب".
10:12
(Laughter)
183
600760
1576
(ضحك)
10:14
So what's going on?
184
602360
1560
إذاً ما الذي يحدث؟
10:16
Now, YouTube's algorithm is proprietary,
185
604520
3536
إن خوارزمية يوتيوب امتلاكية،
10:20
but here's what I think is going on.
186
608080
2360
لكن إليكم ما أظن أنه يحدث.
10:23
The algorithm has figured out
187
611360
2096
لقد اكتشفت الخوارزمية
10:25
that if you can entice people
188
613480
3696
أنك إذا استطعت أن تجذب الناس
10:29
into thinking that you can
show them something more hardcore,
show them something more hardcore,
189
617200
3736
لمظنّة أنك تستطيع أن تريهم
ما هو أكثر إثارة
ما هو أكثر إثارة
10:32
they're more likely to stay on the site
190
620960
2416
فإنهم أكثر احتمالاً أن يبقون على الموقع
10:35
watching video after video
going down that rabbit hole
going down that rabbit hole
191
623400
4416
يشاهدون فيديو تلو الآخر ويغرقون
في رحلة البحث والمشاهدة
في رحلة البحث والمشاهدة
10:39
while Google serves them ads.
192
627840
1680
في حين "جوجل" يقدم لهم الإعلانات.
10:43
Now, with nobody minding
the ethics of the store,
the ethics of the store,
193
631760
3120
الآن، بعدم وجود أي أحد يأبه إلى
أخلاقيات المتجر،
أخلاقيات المتجر،
10:47
these sites can profile people
194
635720
4240
هذه المواقع يمكنها أن تأخذ
معلومات عن الناس
معلومات عن الناس
10:53
who are Jew haters,
195
641680
1920
الذين يكرهون اليهود،
10:56
who think that Jews are parasites
196
644360
2480
الذين يظنون أن اليهود عبارة عن طفيليات
11:00
and who have such explicit
anti-Semitic content,
anti-Semitic content,
197
648320
4920
والذين لديهم محتوى معادٍ للسامية
بصراحة شديدة،
بصراحة شديدة،
11:06
and let you target them with ads.
198
654080
2000
ويجعلونك تستهدفهم بالإعلانات.
11:09
They can also mobilize algorithms
199
657200
3536
يمكنهم أيضاً أن يحشدوا الخوارزميات
11:12
to find for you look-alike audiences,
200
660760
3136
ليجدوا لك جماهير تشبهك،
11:15
people who do not have such explicit
anti-Semitic content on their profile
anti-Semitic content on their profile
201
663920
5576
أناس لا يملكون محتوى معادٍ للسامية
بشكل صريح على ملفاتهم
بشكل صريح على ملفاتهم
11:21
but who the algorithm detects
may be susceptible to such messages,
may be susceptible to such messages,
202
669520
6176
لكنهم ممن تكشفهم الخوارزمية على أنهم
سريعو التأثر برسائل كهذه،
سريعو التأثر برسائل كهذه،
11:27
and lets you target them with ads, too.
203
675720
1920
وتجعلك تستهدفهم بالإعلانات أيضاً.
11:30
Now, this may sound
like an implausible example,
like an implausible example,
204
678680
2736
قد يبدو هذا مثالاً غير قابل للتصديق،
11:33
but this is real.
205
681440
1320
لكنه حقيقي.
11:35
ProPublica investigated this
206
683480
2136
"بروببليكا" حققت بهذا الشأن
11:37
and found that you can indeed
do this on Facebook,
do this on Facebook,
207
685640
3616
ووجدت أنك بالفعل تستطيع
فعل ذلك على "فيسبوك"،
فعل ذلك على "فيسبوك"،
11:41
and Facebook helpfully
offered up suggestions
offered up suggestions
208
689280
2416
وقد قام "فيسبوك" بعرض اقتراحات
11:43
on how to broaden that audience.
209
691720
1600
عن كيفية توسيع ذلك الجمهور
11:46
BuzzFeed tried it for Google,
and very quickly they found,
and very quickly they found,
210
694720
3016
قام موقع "باز فيد" بتجربة ذلك
من أجل "جوجل"، وقد وجدوا بسرعة،
من أجل "جوجل"، وقد وجدوا بسرعة،
11:49
yep, you can do it on Google, too.
211
697760
1736
أجل، يمكنك فعلها على "جوجل" أيضاً.
11:51
And it wasn't even expensive.
212
699520
1696
ولم تكن تجربة مكلفة حتى.
11:53
The ProPublica reporter
spent about 30 dollars
spent about 30 dollars
213
701240
4416
شركة "بروببليكا" أنفقت ما يقارب 30 دولار
11:57
to target this category.
214
705680
2240
لتستهدف هذه الفئة.
12:02
So last year, Donald Trump's
social media manager disclosed
social media manager disclosed
215
710600
5296
في السنة الماضية، أفصح مدير حسابات مواقع
التواصل الخاص بـ"دونالد ترمب"
التواصل الخاص بـ"دونالد ترمب"
12:07
that they were using Facebook dark posts
to demobilize people,
to demobilize people,
216
715920
5336
أنهم كانوا يستخدمون المنشورات الظلامية
في "فيسبوك" لتسريح الناس من وظائفها،
في "فيسبوك" لتسريح الناس من وظائفها،
12:13
not to persuade them,
217
721280
1376
ليس عن طريق إقناعهم بذلك،
12:14
but to convince them not to vote at all.
218
722680
2800
بل بإقناعهم أن لا يقوموا بالتصويت
من الأساس.
من الأساس.
12:18
And to do that,
they targeted specifically,
they targeted specifically,
219
726520
3576
ولفعل ذلك، قاموا على وجه التحديد باستهداف،
12:22
for example, African-American men
in key cities like Philadelphia,
in key cities like Philadelphia,
220
730120
3896
على سبيل المثال، رجال أمريكيين إفريقيين
في مدن رئيسة مثل "فيلادلفيا"،
في مدن رئيسة مثل "فيلادلفيا"،
12:26
and I'm going to read
exactly what he said.
exactly what he said.
221
734040
2456
وسوف أقرأ ما قاله هو بالضبط.
12:28
I'm quoting.
222
736520
1216
أنا أقتبس.
12:29
They were using "nonpublic posts
223
737760
3016
"كانوا يستخدمون منشورات ليست للعامة
12:32
whose viewership the campaign controls
224
740800
2176
والتي تتحكم الحملة بمشاهديها
12:35
so that only the people
we want to see it see it.
we want to see it see it.
225
743000
3776
حيث يشاهدها الناس الذين نريدهم
أن يشاهدونها فحسب.
أن يشاهدونها فحسب.
12:38
We modeled this.
226
746800
1216
لقد قمنا بتصميم هذا.
12:40
It will dramatically affect her ability
to turn these people out."
to turn these people out."
227
748040
4720
وسيؤثر ذلك بشكل كبير على قدرتها
على تجنيد هؤلاء الناس."
على تجنيد هؤلاء الناس."
12:45
What's in those dark posts?
228
753720
2280
ماذا يوجد في هذه "المنشورات الظلامية"؟
12:48
We have no idea.
229
756480
1656
ليس عندنا أي فكرة.
12:50
Facebook won't tell us.
230
758160
1200
"فيسبوك" لن يخبرنا.
12:52
So Facebook also algorithmically
arranges the posts
arranges the posts
231
760480
4376
إذاً "فيسبوك" أيضاً يقوم خوارزمياً
بترتيب المنشورات
بترتيب المنشورات
12:56
that your friends put on Facebook,
or the pages you follow.
or the pages you follow.
232
764880
3736
التي يضعها أصدقاؤك على "فيسبوك"،
أو الصفحات التي تقوم بمتابعتها.
أو الصفحات التي تقوم بمتابعتها.
13:00
It doesn't show you
everything chronologically.
everything chronologically.
233
768640
2216
فهو لا يريك كل شيء بالترتيب الزمني.
13:02
It puts the order in the way
that the algorithm thinks will entice you
that the algorithm thinks will entice you
234
770880
4816
بل يصمم الترتيب بالطريقة التي تظن بها
الخوارزميات أنها ستجذبك.
الخوارزميات أنها ستجذبك.
13:07
to stay on the site longer.
235
775720
1840
لتبقى على الموقع لفترة أطول.
13:11
Now, so this has a lot of consequences.
236
779040
3376
إذاً لهذا الكثير من العواقب.
13:14
You may be thinking
somebody is snubbing you on Facebook.
somebody is snubbing you on Facebook.
237
782440
3800
ربما تظن أن أحداً ما يقوم بتجاهلك
على "فيسبوك"
على "فيسبوك"
13:18
The algorithm may never
be showing your post to them.
be showing your post to them.
238
786800
3256
لكن ربما الخوارزمية لا تقوم أبداً بإظهار
منشوراتك لهم.
منشوراتك لهم.
13:22
The algorithm is prioritizing
some of them and burying the others.
some of them and burying the others.
239
790080
5960
تقوم الخوارزمية بإعطاء الأولوية
لبعضهم وبدفن ما تبقى.
لبعضهم وبدفن ما تبقى.
13:29
Experiments show
240
797320
1296
تظهر التجارب
13:30
that what the algorithm picks to show you
can affect your emotions.
can affect your emotions.
241
798640
4520
أن ما تختار أن تظهره لك الخوارزميات
يمكن أن يؤثر على عواطفك.
يمكن أن يؤثر على عواطفك.
13:36
But that's not all.
242
804600
1200
لكن هذا ليس كل مافي الأمر.
13:38
It also affects political behavior.
243
806280
2360
بل إنها تؤثر أيضاً على السلوك السياسي.
13:41
So in 2010, in the midterm elections,
244
809360
4656
في عام 2010، في انتخابات منتصف فترة الحكم،
13:46
Facebook did an experiment
on 61 million people in the US
on 61 million people in the US
245
814040
5896
أجرى "فيسبوك" تجربة على 61 مليون شخص
في الولايات المتحدة.
في الولايات المتحدة.
13:51
that was disclosed after the fact.
246
819960
1896
والتي كُشف عنها بعد ما ظهرت الحقيقة.
13:53
So some people were shown,
"Today is election day,"
"Today is election day,"
247
821880
3416
حيث ظهر لبعض الناس
"اليوم هو يوم الانتخابات،"
"اليوم هو يوم الانتخابات،"
13:57
the simpler one,
248
825320
1376
وهو الإعلان الأبسط،
13:58
and some people were shown
the one with that tiny tweak
the one with that tiny tweak
249
826720
3896
وبعض الناس ظهر لهم الإعلان
الذي يحتوي تلاعباً خفيفاً
الذي يحتوي تلاعباً خفيفاً
14:02
with those little thumbnails
250
830640
2096
مع تلك الصور الصغيرة
14:04
of your friends who clicked on "I voted."
251
832760
2840
لأصدقائك الذين ضغطوا على
"أنا قمت بالتصويت."
"أنا قمت بالتصويت."
14:09
This simple tweak.
252
837000
1400
هذا التلاعب البسيط.
14:11
OK? So the pictures were the only change,
253
839520
4296
حسناً؟ إذاً الصور كانت هي التغيير الوحيد،
14:15
and that post shown just once
254
843840
3256
وذلك المنشور ظهر مرةً واحدة
14:19
turned out an additional 340,000 voters
255
847120
6056
قام بحشد 340,000 مصوتين إضافيين
14:25
in that election,
256
853200
1696
في تلك الحملة الانتخابية،
14:26
according to this research
257
854920
1696
وفقاً لهذا البحث
14:28
as confirmed by the voter rolls.
258
856640
2520
وكما تم تأكيده من قبل قوائم المصوتين.
14:32
A fluke? No.
259
860920
1656
مجرد حظ؟ لا.
14:34
Because in 2012,
they repeated the same experiment.
they repeated the same experiment.
260
862600
5360
لأنهم في عام 2012 أعادوا التجربة ذاتها.
14:40
And that time,
261
868840
1736
وتلك المرة،
14:42
that civic message shown just once
262
870600
3296
تلك الرسالة المدنية ظهرت مرة واحدة
14:45
turned out an additional 270,000 voters.
263
873920
4440
وقامت بحشد 270,000 مصوت إضافي.
14:51
For reference, the 2016
US presidential election
US presidential election
264
879160
5216
لأخذ العلم، الانتخابات الرئاسية
في أمريكا لعام 2016
في أمريكا لعام 2016
14:56
was decided by about 100,000 votes.
265
884400
3520
شارك فيها حوالي 100,000 صوت.
15:01
Now, Facebook can also
very easily infer what your politics are,
very easily infer what your politics are,
266
889360
4736
الآن، يستطيع "فيسبوك" أيضاً بسهولة تامة
أن يستنتج آراءك السياسية،
أن يستنتج آراءك السياسية،
15:06
even if you've never
disclosed them on the site.
disclosed them on the site.
267
894120
2256
حتى ولو لم تفصح عنها من قبل على الموقع.
15:08
Right? These algorithms
can do that quite easily.
can do that quite easily.
268
896400
2520
صحيح؟ هذه الخوارزميات يمكنها
فعل ذلك بسهولة تامة.
فعل ذلك بسهولة تامة.
15:11
What if a platform with that kind of power
269
899960
3896
ماذا لو قررت منصة بذلك النوع من القوة
15:15
decides to turn out supporters
of one candidate over the other?
of one candidate over the other?
270
903880
5040
أن تجند الداعمين لأحد المرشحين
ضد المرشح الآخر؟
ضد المرشح الآخر؟
15:21
How would we even know about it?
271
909680
2440
كيف سنعرف حتى أن هذا ما قد حدث؟
15:25
Now, we started from someplace
seemingly innocuous --
seemingly innocuous --
272
913560
4136
لقد بدأنا الحديث من مكان ما
لا يظهر أنه مؤذي...
لا يظهر أنه مؤذي...
15:29
online adds following us around --
273
917720
2216
إعلانات على الانترنت تتبعنا أينما ذهبنا...
15:31
and we've landed someplace else.
274
919960
1840
ثم وصلنا إلى مكان آخر.
15:35
As a public and as citizens,
275
923480
2456
بصفتنا الشعب وبصفتنا المواطنون،
15:37
we no longer know
if we're seeing the same information
if we're seeing the same information
276
925960
3416
نحن لم نعد نعرف إذا كنا نرى جميعاً
المعلومات نفسها
المعلومات نفسها
15:41
or what anybody else is seeing,
277
929400
1480
أو ماذا يرى أي أحد آخر،
15:43
and without a common basis of information,
278
931680
2576
ومن دون أساسيات عامة من المعلومات،
15:46
little by little,
279
934280
1616
شيئاً فشيئاً،
15:47
public debate is becoming impossible,
280
935920
3216
المناظرة العامة تصبح مستحيلة،
15:51
and we're just at
the beginning stages of this.
the beginning stages of this.
281
939160
2976
ونحن لسنا إلا في المراحل الأولى لذلك.
15:54
These algorithms can quite easily infer
282
942160
3456
هذه الخوارزميات تستطيع بسهولة تامة
أن تستنتج
أن تستنتج
15:57
things like your people's ethnicity,
283
945640
3256
أموراً مثل الأصل العرقي للناس،
16:00
religious and political views,
personality traits,
personality traits,
284
948920
2336
آراء سياسية ودينية، والخصال السلوكية،
16:03
intelligence, happiness,
use of addictive substances,
use of addictive substances,
285
951280
3376
الذكاء، السعادة، تعاطي المواد المدمنة،
16:06
parental separation, age and genders,
286
954680
3136
إنفصال الوالديَن، العمر والجنس،
16:09
just from Facebook likes.
287
957840
1960
فقط من إعجابات "فيسبوك".
16:13
These algorithms can identify protesters
288
961440
4056
هذه الخوارزميات يمكنها أن تتعرف
على المعارضين
على المعارضين
16:17
even if their faces
are partially concealed.
are partially concealed.
289
965520
2760
حتى ولو كانت وجوههم مخفية جزئياً.
16:21
These algorithms may be able
to detect people's sexual orientation
to detect people's sexual orientation
290
969720
6616
هذه الخوارزميات قد تكون قادرة
على اكتشاف الميول الجنسية للناس
على اكتشاف الميول الجنسية للناس
16:28
just from their dating profile pictures.
291
976360
3200
فقط من صورهم الشخصية على مواقع المواعدة.
16:33
Now, these are probabilistic guesses,
292
981560
2616
إن هذه تخمينات احتمالية،
16:36
so they're not going
to be 100 percent right,
to be 100 percent right,
293
984200
2896
لذا فهي لن تكون صحيحة مئة بالمئة،
16:39
but I don't see the powerful resisting
the temptation to use these technologies
the temptation to use these technologies
294
987120
4896
لكنني لا أرى أصحاب السيطرة يقاومون
الإغراء لاستخدام هذه التقنيات
الإغراء لاستخدام هذه التقنيات
16:44
just because there are
some false positives,
some false positives,
295
992040
2176
فقط بسبب وجود بعض الإيجابيات المزيفة،
16:46
which will of course create
a whole other layer of problems.
a whole other layer of problems.
296
994240
3256
والتي ستخلق بالطبع طبقة أخرى
كاملة من المشاكل.
كاملة من المشاكل.
16:49
Imagine what a state can do
297
997520
2936
تصوروا ماذا تستطيع ولاية أن تفعله
16:52
with the immense amount of data
it has on its citizens.
it has on its citizens.
298
1000480
3560
بالكم الهائل من البيانات التي تملكها
عن مواطنيها.
عن مواطنيها.
16:56
China is already using
face detection technology
face detection technology
299
1004680
4776
إن "الصين" تقوم من الآن باستخدام
تقنية التحقق من الوجوه
تقنية التحقق من الوجوه
17:01
to identify and arrest people.
300
1009480
2880
للتعرف على الناس واعتقالهم.
17:05
And here's the tragedy:
301
1013280
2136
وهنا تكمن المأساة:
17:07
we're building this infrastructure
of surveillance authoritarianism
of surveillance authoritarianism
302
1015440
5536
نحن نبني هذه البنية التحتية
من المراقبة الاستبدادية
من المراقبة الاستبدادية
17:13
merely to get people to click on ads.
303
1021000
2960
فقط لنحمل الناس على أن يضغطوا
على الإعلانات.
على الإعلانات.
17:17
And this won't be
Orwell's authoritarianism.
Orwell's authoritarianism.
304
1025240
2576
وهذا لن يكون الاستبداد الذي تحدث
عنه "أورويل".
عنه "أورويل".
17:19
This isn't "1984."
305
1027839
1897
نحن لسنا في رواية "1984".
17:21
Now, if authoritarianism
is using overt fear to terrorize us,
is using overt fear to terrorize us,
306
1029760
4576
إذا كان الاستبداد يستخدم الخوف
العلني ليقوم بإرهابنا،
العلني ليقوم بإرهابنا،
17:26
we'll all be scared, but we'll know it,
307
1034359
2897
سنكون جميعنا خائفين،
لكننا سنكون على معرفة بالأمر،
لكننا سنكون على معرفة بالأمر،
17:29
we'll hate it and we'll resist it.
308
1037280
2200
سوف نكره ذلك وسنقوم بمقاومته.
17:32
But if the people in power
are using these algorithms
are using these algorithms
309
1040880
4416
لكن لو كان الناس في السلطة يستخدمون
هذه الخوارزميات
هذه الخوارزميات
17:37
to quietly watch us,
310
1045319
3377
لتقوم بمراقبتنا في الخفاء،
17:40
to judge us and to nudge us,
311
1048720
2080
لتقوم بالحكم علينا والتحكم بنا،
17:43
to predict and identify
the troublemakers and the rebels,
the troublemakers and the rebels,
312
1051720
4176
لتقوم بالتعرف على وبالتنبؤ بمفتعلي
المشاكل والمتمردين،
المشاكل والمتمردين،
17:47
to deploy persuasion
architectures at scale
architectures at scale
313
1055920
3896
لتقوم بنشر هندسة الإقناع على مستوى ضخم
17:51
and to manipulate individuals one by one
314
1059840
4136
ولتتلاعب بالأفراد واحداً تلو الآخر
17:56
using their personal, individual
weaknesses and vulnerabilities,
weaknesses and vulnerabilities,
315
1064000
5440
باستخدام نقاط ضعفهم الشخصية
ومكامن هشاشتهم،
ومكامن هشاشتهم،
18:02
and if they're doing it at scale
316
1070720
2200
وإذا كانوا يفعلون ذلك على مستوى ضخم
18:06
through our private screens
317
1074080
1736
عبر شاشاتنا الخاصة
18:07
so that we don't even know
318
1075840
1656
حيث لا نعلم حتى
18:09
what our fellow citizens
and neighbors are seeing,
and neighbors are seeing,
319
1077520
2760
ماذا يرى جيراننا والمواطنون أمثالنا،
18:13
that authoritarianism
will envelop us like a spider's web
will envelop us like a spider's web
320
1081560
4816
فذلك الاستبداد سوف يحيط بنا كشبكة عنكبوت
18:18
and we may not even know we're in it.
321
1086400
2480
ونحن قد لا نعرف حتى أننا فيها.
18:22
So Facebook's market capitalization
322
1090440
2936
إذاً رسملة سوق "فيسبوك"
18:25
is approaching half a trillion dollars.
323
1093400
3296
تقترب من نصف تريليون دولار.
18:28
It's because it works great
as a persuasion architecture.
as a persuasion architecture.
324
1096720
3120
هذا لأنها تعمل بشكل ممتاز كهندسة إقناع.
18:33
But the structure of that architecture
325
1101760
2816
لكن بنية هذه الهندسة
18:36
is the same whether you're selling shoes
326
1104600
3216
هي ذاتها سواء كنت تشتري أحذية
18:39
or whether you're selling politics.
327
1107840
2496
أو كنت تبيع السياسة.
18:42
The algorithms do not know the difference.
328
1110360
3120
الخوارزميات لا تعرف الفرق.
18:46
The same algorithms set loose upon us
329
1114240
3296
الخوارزميات نفسها التي يتم إطلاقها علينا
18:49
to make us more pliable for ads
330
1117560
3176
لتجعلنا أكثر خضوعاً للإعلانات
18:52
are also organizing our political,
personal and social information flows,
personal and social information flows,
331
1120760
6736
هي أيضاً التي تقوم بتنظيم تدفق معلوماتنا
السياسية والشخصية والاجتماعية،
السياسية والشخصية والاجتماعية،
18:59
and that's what's got to change.
332
1127520
1840
وهذا ما يجب أن يتم تغييره.
19:02
Now, don't get me wrong,
333
1130240
2296
والآن لا تسيئوا فهمي،
19:04
we use digital platforms
because they provide us with great value.
because they provide us with great value.
334
1132560
3680
نحن نستخدم المنصات الرقمية لأنها
تزودنا بفائدة كبيرة.
تزودنا بفائدة كبيرة.
19:09
I use Facebook to keep in touch
with friends and family around the world.
with friends and family around the world.
335
1137120
3560
أنا أستخدم "فيسبوك" لأبقى على تواصل
مع الأصدقاء والعائلة حول العالم.
مع الأصدقاء والعائلة حول العالم.
19:14
I've written about how crucial
social media is for social movements.
social media is for social movements.
336
1142000
5776
لقد كتبت عن مدى أهمية شبكات التواصل
الاجتماعي في حركاتنا الاجتماعية.
الاجتماعي في حركاتنا الاجتماعية.
19:19
I have studied how
these technologies can be used
these technologies can be used
337
1147800
3016
لقد درست كيف يمكن أن تُستخدم هذه التقنيات
19:22
to circumvent censorship around the world.
338
1150840
2480
للتحايل على الرقابة حول العالم.
19:27
But it's not that the people who run,
you know, Facebook or Google
you know, Facebook or Google
339
1155280
6416
لكن الأمر ليس أن الناس الذين يديرون
الشركات مثل "فيسبوك" و"جوجل"
الشركات مثل "فيسبوك" و"جوجل"
19:33
are maliciously and deliberately trying
340
1161720
2696
يحاولون بشكل متعمد وضار
19:36
to make the country
or the world more polarized
or the world more polarized
341
1164440
4456
أن يجعلوا من البلد أو العالم أكثر قطبيةً
19:40
and encourage extremism.
342
1168920
1680
ويشجعون على التطرف.
19:43
I read the many
well-intentioned statements
well-intentioned statements
343
1171440
3976
لقد قرأت التصاريح العديدة حسنة النية
19:47
that these people put out.
344
1175440
3320
التي يدلي بها هؤلاء الناس.
19:51
But it's not the intent or the statements
people in technology make that matter,
people in technology make that matter,
345
1179600
6056
لكنها ليست النية أو التصريح الذي تخص الناس
في عالم التكنولوجيا هي ما يهم،
في عالم التكنولوجيا هي ما يهم،
19:57
it's the structures
and business models they're building.
and business models they're building.
346
1185680
3560
بل الهياكل ونماذج العمل التي يبنونها.
20:02
And that's the core of the problem.
347
1190360
2096
وهذا هو جوهر المشكلة.
20:04
Either Facebook is a giant con
of half a trillion dollars
of half a trillion dollars
348
1192480
4720
إما أن "فيسبوك" هو خدعة عملاقة
تزن نصف ترليون دولار
تزن نصف ترليون دولار
20:10
and ads don't work on the site,
349
1198200
1896
والإعلانات لا تعمل على الموقع،
20:12
it doesn't work
as a persuasion architecture,
as a persuasion architecture,
350
1200120
2696
وهي لا تعمل كهندسة إقناع،
20:14
or its power of influence
is of great concern.
is of great concern.
351
1202840
4120
أو أن قوة التأثير لديه تشكل قلقاً كبيراً،
20:20
It's either one or the other.
352
1208560
1776
إنه إما واحدة أو الأخرى،
20:22
It's similar for Google, too.
353
1210360
1600
والأمر ينطبق على "جوجل" أيضاً.
20:24
So what can we do?
354
1212880
2456
إذاً ما الذي يمكننا فعله؟
20:27
This needs to change.
355
1215360
1936
يجب أن يتغير هذا.
20:29
Now, I can't offer a simple recipe,
356
1217320
2576
وأنا لا يسعني أن أقدم وصفة بسيطة،
20:31
because we need to restructure
357
1219920
2256
لأننا مضطرون لإعادة هيكلة
20:34
the whole way our
digital technology operates.
digital technology operates.
358
1222200
3016
الطريقة التي تعمل بها تقنيتنا
الرقمية بكاملها.
الرقمية بكاملها.
20:37
Everything from the way
technology is developed
technology is developed
359
1225240
4096
كل شيء ابتداءً من الطريقة التي
يتم فيها تطوير التقنية
يتم فيها تطوير التقنية
20:41
to the way the incentives,
economic and otherwise,
economic and otherwise,
360
1229360
3856
وصولاً إلى الطريقة حيث
المحفزات الاقتصادية وغيرها
المحفزات الاقتصادية وغيرها
20:45
are built into the system.
361
1233240
2280
يتم بناؤها في النظام.
20:48
We have to face and try to deal with
362
1236480
3456
يجب علينا أن نواجه ونحاول التعامل مع
20:51
the lack of transparency
created by the proprietary algorithms,
created by the proprietary algorithms,
363
1239960
4656
الفقر إلى الشفافية الذي تخلقه
الخوارزميات الامتلاكية،
الخوارزميات الامتلاكية،
20:56
the structural challenge
of machine learning's opacity,
of machine learning's opacity,
364
1244640
3816
والتحدي الهيكلي في غموض تعلم الآلة،
21:00
all this indiscriminate data
that's being collected about us.
that's being collected about us.
365
1248480
3400
كل هذه البيانات التي يتم جمعها
عنا بشكل عشوائي.
عنا بشكل عشوائي.
21:05
We have a big task in front of us.
366
1253000
2520
أمامنا مهمة كبيرة علينا القيام بها.
21:08
We have to mobilize our technology,
367
1256160
2680
يجب علينا أن نحشد تقنيتنا،
21:11
our creativity
368
1259760
1576
وإبداعنا،
21:13
and yes, our politics
369
1261360
1880
وأجل، سياستنا
21:16
so that we can build
artificial intelligence
artificial intelligence
370
1264240
2656
حيث يمكننا أن نبني ذكاءً اصطناعياً
21:18
that supports us in our human goals
371
1266920
3120
يقوم بدعمنا في أهدافنا البشرية
21:22
but that is also constrained
by our human values.
by our human values.
372
1270800
3920
لكنه أيضاً مقيّد بقيمنا الإنسانية.
21:27
And I understand this won't be easy.
373
1275600
2160
وأنا أفهم أن هذا لن يكون سهلاً.
21:30
We might not even easily agree
on what those terms mean.
on what those terms mean.
374
1278360
3600
نحن قد لا نتفق بسهولة حتى على
ما تعنيه هذه المصطلحات.
ما تعنيه هذه المصطلحات.
21:34
But if we take seriously
375
1282920
2400
لكننا لو أخذنا بجدية
21:38
how these systems that we
depend on for so much operate,
depend on for so much operate,
376
1286240
5976
كيف تعمل هذه الأنظمة التي نعتمد عليها بشدة
21:44
I don't see how we can postpone
this conversation anymore.
this conversation anymore.
377
1292240
4120
فأنا لا أرى كيف يسعنا أن نؤجل
هذه المحادثة أكثر من ذلك.
هذه المحادثة أكثر من ذلك.
21:49
These structures
378
1297200
2536
هذه الهياكل
21:51
are organizing how we function
379
1299760
4096
تقوم بتنظيم كيف نعمل
21:55
and they're controlling
380
1303880
2296
وهي تتحكم
21:58
what we can and we cannot do.
381
1306200
2616
بما يمكننا وما لا يمكننا فعله.
22:00
And many of these ad-financed platforms,
382
1308840
2456
والعديد من هذه المنصات التي تكسب
ربحها بالإعلانات،
ربحها بالإعلانات،
22:03
they boast that they're free.
383
1311320
1576
تتباهي بأنها مجانية.
22:04
In this context, it means
that we are the product that's being sold.
that we are the product that's being sold.
384
1312920
4560
في هذا السياق، هذا يعني أننا
نحن المنتج الذي يتم بيعه.
نحن المنتج الذي يتم بيعه.
22:10
We need a digital economy
385
1318840
2736
نحن نحتاج اقتصاداً رقمياً
22:13
where our data and our attention
386
1321600
3496
حيث بياناتنا وانتباهنا
22:17
is not for sale to the highest-bidding
authoritarian or demagogue.
authoritarian or demagogue.
387
1325120
5080
ليست للبيع من أجل أكثر من يدفع
من الاستبداديين أو الدهماويين.
من الاستبداديين أو الدهماويين.
22:23
(Applause)
388
1331160
3800
(تصفيق)
22:30
So to go back to
that Hollywood paraphrase,
that Hollywood paraphrase,
389
1338480
3256
لذا دعونا نعد إلى تلك العبارة الهوليوودية
التي أعدت صياغتها،
التي أعدت صياغتها،
22:33
we do want the prodigious potential
390
1341760
3736
نحن نريد بالفعل الإمكانات غير العادية
22:37
of artificial intelligence
and digital technology to blossom,
and digital technology to blossom,
391
1345520
3200
للذكاء الاصطناعي والتقنية الرقمية
أن تزدهر،
أن تزدهر،
22:41
but for that, we must face
this prodigious menace,
this prodigious menace,
392
1349400
4936
لكن من أجل ذلك، يجب أن نواجه
هذا التهديد غير العادي،
هذا التهديد غير العادي،
22:46
open-eyed and now.
393
1354360
1936
بعيون مفتوحة والآن.
22:48
Thank you.
394
1356320
1216
شكراً لكم.
22:49
(Applause)
395
1357560
4640
(تصفيق)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com