ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

זיינאפ טוּפֶקְסי: בינה מלאכותית גורמת למוסר האנושי להיות חשוב יותר

Filmed:
1,648,711 views

הבינה המלאכותית כבר כאן, ואנו כבר משתמשים בה לצורך קבלת החלטות סובייקטיביות. אך הדרך המורכבת בה היא גדלה ומתפתחת מקשה עלינו להבין אותה ואפילו יותר לשלוט בה. בשיחה המתריעה הזו, הטכנו-סוציולוגית זיינאפ טופקסי מסבירה כיצד מכונות הבינה המלאכותית יכולות לטעות בדרכים שאינן תואמות את דפוסי הטעות האנושית - ובצורות שאיננו מצפים להן או מוכנים אליהן. "איננו יכולים להעביר את האחריות שלנו אל המכונות," היא אומרת. "עלינו לשמור יותר מאי פעם על ערכים אנושיים ואתיקה אנושית."
- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio

Double-click the English transcript below to play the video.

00:12
So, I startedהתחיל my first jobעבודה
as a computerמַחשֵׁב programmerמְתַכנֵת
0
739
4122
התחלתי את עבודתי הראשונה
כמתכנתת מחשבים
00:16
in my very first yearשָׁנָה of collegeמִכלָלָה --
1
4885
1956
בשנתי הראשונה בקולג' -
00:18
basicallyבעיקרון, as a teenagerמִתבַּגֵר.
2
6865
1507
כשהייתי נערה מתבגרת.
00:20
Soonבקרוב after I startedהתחיל workingעובד,
3
8889
1732
זמן קצר לאחר שהתחלתי לעבוד,
00:22
writingכְּתִיבָה softwareתוֹכנָה in a companyחֶברָה,
4
10645
1610
לכתוב תוכנות בחברה,
00:24
a managerמנהל who workedעבד at the companyחֶברָה
cameבא down to where I was,
5
12799
3635
מנהל שעבד בחברה
נכנס לחדר בו הייתי,
00:28
and he whisperedלחש to me,
6
16458
1268
ולחש אליי,
00:30
"Can he tell if I'm lyingשֶׁקֶר?"
7
18229
2861
"האם הוא יכול לדעת אם אני משקר?"
00:33
There was nobodyאף אחד elseאַחֵר in the roomחֶדֶר.
8
21806
2077
לא היה אף אחד נוסף בחדר.
00:37
"Can who tell if you're lyingשֶׁקֶר?
And why are we whisperingלְחִישָׁה?"
9
25032
4389
"מי יכול לדעת אם אתה משקר?
ולמה אנחנו לוחשים?"
00:42
The managerמנהל pointedמְחוּדָד
at the computerמַחשֵׁב in the roomחֶדֶר.
10
30266
3107
המנהל הצביע על המחשב בחדר.
00:45
"Can he tell if I'm lyingשֶׁקֶר?"
11
33397
3096
"האם הוא יכול לדעת אם אני משקר?"
00:49
Well, that managerמנהל was havingשיש
an affairפָּרָשָׁה with the receptionistפְּקִיד קַבָּלָה.
12
37613
4362
טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.
00:53
(Laughterצחוק)
13
41999
1112
(צחוק)
00:55
And I was still a teenagerמִתבַּגֵר.
14
43135
1766
ואני הייתי עדיין נערה מתבגרת.
00:57
So I whisper-shouted"קדימה! "צעק back to him,
15
45447
2019
אז לחשתי-צעקתי אליו בחזרה,
00:59
"Yes, the computerמַחשֵׁב can tell
if you're lyingשֶׁקֶר."
16
47490
3624
"כן, המחשב יכול לדעת אם אתה משקר."
01:03
(Laughterצחוק)
17
51138
1806
(צחוק)
01:04
Well, I laughedצחק, but actuallyלמעשה,
the laugh'sצחוק on me.
18
52968
2923
טוב, צחקתי, אבל בעצם,
הבדיחה היא על חשבוני.
01:07
Nowadaysכַּיוֹם, there are computationalחישובית systemsמערכות
19
55915
3268
בימינו, קיימות מערכות ממוחשבות
01:11
that can sussסוס out
emotionalרִגשִׁי statesמדינות and even lyingשֶׁקֶר
20
59207
3548
שיכולות לקלוט מצבים רגשיים ואפילו שקר
01:14
from processingמעבד humanבן אנוש facesפרצופים.
21
62779
2044
באמצעות עיבוד פרצופים אנושיים.
01:17
Advertisersהמפרסמים and even governmentsממשלות
are very interestedמעוניין.
22
65248
4153
מפרסמים ואפילו ממשלות מאד מתעניינות בזה.
01:22
I had becomeהפכו a computerמַחשֵׁב programmerמְתַכנֵת
23
70319
1862
אני נהייתי מתכנתת מחשבים
01:24
because I was one of those kidsילדים
crazyמְטוּרָף about mathמתמטיקה and scienceמַדָע.
24
72205
3113
כי הייתי מהילדים האלה
שמשוגעים על מתמטיקה ומדעים.
01:27
But somewhereאי שם alongלְאוֹרֶך the lineקַו
I'd learnedמְלוּמָד about nuclearגַרעִינִי weaponsכלי נשק,
25
75942
3108
אבל איפשהו במהלך הדרך
למדתי על נשק גרעיני,
01:31
and I'd gottenקיבל really concernedמודאג
with the ethicsאֶתִיקָה of scienceמַדָע.
26
79074
2952
והתחלתי להיות מאוד מודאגת
בעניין האתיקה של המדע.
01:34
I was troubledמוּטרָד.
27
82050
1204
הייתי מוטרדת.
01:35
Howeverלמרות זאת, because of familyמִשׁפָּחָה circumstancesנסיבות,
28
83278
2641
עם זאת, בגלל נסיבות משפחתיות,
01:37
I alsoגַם neededנָחוּץ to startהַתחָלָה workingעובד
as soonבקרוב as possibleאפשרי.
29
85943
3298
נאלצתי להתחיל לעבוד
מוקדם ככל האפשר.
01:41
So I thought to myselfעצמי, hey,
let me pickלִבחוֹר a technicalטֶכנִי fieldשדה
30
89265
3299
אז חשבתי לעצמי,
אני אבחר בתחום טכני
01:44
where I can get a jobעבודה easilyבְּקַלוּת
31
92588
1796
בו אמצא עבודה בקלות
01:46
and where I don't have to dealעִסקָה
with any troublesomeבעייתי questionsשאלות of ethicsאֶתִיקָה.
32
94408
4018
ולא אצטרך להתעסק
בשאלות אתיות מטרידות.
01:51
So I pickedהרים computersמחשבים.
33
99022
1529
אז בחרתי במחשבים.
01:52
(Laughterצחוק)
34
100575
1104
(צחוק)
01:53
Well, haחה, haחה, haחה!
All the laughsצוחק are on me.
35
101703
3410
טוב, חה, חה, חה!
כל הצחוק הוא על חשבוני.
01:57
Nowadaysכַּיוֹם, computerמַחשֵׁב scientistsמדענים
are buildingבִּניָן platformsפלטפורמות
36
105137
2754
בימינו, מדעני מחשבים בונים פלטפורמות
01:59
that controlלִשְׁלוֹט what a billionמיליארד
people see everyכֹּל day.
37
107915
4209
אשר שולטות במה שמיליארד אנשים
יצפו בכל יום.
02:05
They're developingמתפתח carsמכוניות
that could decideלְהַחלִיט who to runלָרוּץ over.
38
113052
3822
הם מפתחים מכוניות
שיכולות להחליט את מי לדרוס.
02:09
They're even buildingבִּניָן machinesמכונה, weaponsכלי נשק,
39
117707
3213
הם אפילו בונים מכונות, כלי נשק,
02:12
that mightאולי killלַהֲרוֹג humanבן אנוש beingsישויות in warמִלחָמָה.
40
120944
2285
שיכולים להרוג בני אדם במלחמה.
02:15
It's ethicsאֶתִיקָה all the way down.
41
123253
2771
מדובר באתיקה לאורך כל הדרך.
02:19
Machineמְכוֹנָה intelligenceאינטליגנציה is here.
42
127183
2058
הבינה המלאכותית כבר כאן.
02:21
We're now usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני computationחישוב
to make all sortסוג of decisionsהחלטות,
43
129823
3474
אנו משתמשים כעת במחשוב
כדי לקבל כל מיני החלטות.
02:25
but alsoגַם newחָדָשׁ kindsמיני of decisionsהחלטות.
44
133321
1886
אבל גם החלטות מסוגים חדשים.
02:27
We're askingשואל questionsשאלות to computationחישוב
that have no singleיחיד right answersתשובות,
45
135231
5172
אנחנו שואלים את המחשוב שאלות
שיש להן יותר מתשובה נכונה אחת,
02:32
that are subjectiveסובייקטיבית
46
140427
1202
שהן סוביקטיביות
02:33
and open-endedפתוח and value-ladenערך עמוס.
47
141653
2325
שאלות פתוחות ובעלות מטען ערכי.
02:36
We're askingשואל questionsשאלות like,
48
144002
1758
אנו שואלים שאלות כמו,
02:37
"Who should the companyחֶברָה hireלִשְׂכּוֹר?"
49
145784
1650
"את מי צריכה החברה להעסיק?"
02:40
"Whichאיזה updateעדכון from whichאיזה friendחָבֵר
should you be shownמוצג?"
50
148096
2759
"איזה עדכון מאיזה חבר
אנחנו צריכים להראות?"
02:42
"Whichאיזה convictאָסִיר is more
likelyסָבִיר to reoffendreoffend?"
51
150879
2266
"מיהו האסיר שסביר יותר שיפשע שוב?"
02:45
"Whichאיזה newsחֲדָשׁוֹת itemפריט or movieסרט
should be recommendedמוּמלָץ to people?"
52
153514
3054
"על איזה אייטם חדשותי או סרט
כדאי להמליץ לאנשים?"
02:48
Look, yes, we'veיש לנו been usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני
computersמחשבים for a while,
53
156592
3372
תראו, כן, אנחנו משתמשים במחשבים
כבר זמן רב,
02:51
but this is differentשונה.
54
159988
1517
אבל זה שונה.
02:53
This is a historicalהִיסטוֹרִי twistלְהִתְפַּתֵל,
55
161529
2067
זהו טוויסט היסטורי,
02:55
because we cannotלא יכול anchorלְעַגֵן computationחישוב
for suchכגון subjectiveסובייקטיבית decisionsהחלטות
56
163620
5337
כיוון שאנחנו לא יכולים להיעזר במחשוב
בשאלות סובייקטיביות כאלו
03:00
the way we can anchorלְעַגֵן computationחישוב
for flyingעַף airplanesמטוסים, buildingבִּניָן bridgesגשרים,
57
168981
5420
כפי שאנו נעזרים במחשוב
להטסת מטוסים, לבניית גשרים,
03:06
going to the moonירח.
58
174425
1259
להגיע לירח.
03:08
Are airplanesמטוסים saferבטוח יותר?
Did the bridgeלְגַשֵׁר swayלהתנדנד and fallנפילה?
59
176449
3259
האם מטוסים בטוחים יותר?
האם הגשר התנדנד ונפל?
03:11
There, we have agreed-uponמוסכם,
fairlyלְמַדַי clearברור benchmarks- אמות מידה,
60
179732
4498
בדברים האלו הסכמנו על
אמות מידה ברורות למדי,
03:16
and we have lawsחוקי of natureטֶבַע to guideלהנחות us.
61
184254
2239
ויש לנו את חוקי הטבע שמדריכים אותנו.
03:18
We have no suchכגון anchorsעוגנים and benchmarks- אמות מידה
62
186517
3394
אין לנו עוגנים ואמות מידה כאלו
03:21
for decisionsהחלטות in messyמבולגן humanבן אנוש affairsעניינים.
63
189935
3963
עבור החלטות בעניינים אנושיים מסובכים.
03:25
To make things more complicatedמסובך,
our softwareתוֹכנָה is gettingמקבל more powerfulחָזָק,
64
193922
4237
כדי לסבך את העניין עוד יותר,
התוכנה שלנו הולכת ונעשית חזקה יותר,
03:30
but it's alsoגַם gettingמקבל lessפָּחוּת
transparentשָׁקוּף and more complexמורכב.
65
198183
3773
אבל היא גם נעשית פחות שקופה
ויותר מורכבת.
03:34
Recentlyלאחרונה, in the pastעבר decadeעָשׂוֹר,
66
202542
2040
לאחרונה, בעשור החולף,
03:36
complexמורכב algorithmsאלגוריתמים
have madeעָשׂוּי great stridesצעדים.
67
204606
2729
אלגוריתמים מורכבים התקדמו מאד.
03:39
They can recognizeלזהות humanבן אנוש facesפרצופים.
68
207359
1990
הם יכולים לזהות פרצופים אנושיים.
03:41
They can decipherלְפַעֲנֵחַ handwritingכְּתַב יָד.
69
209985
2055
הם יכולים לפענח כתב יד.
03:44
They can detectלזהות creditאַשׁרַאי cardכַּרְטִיס fraudהונאה
70
212436
2066
הם יכולים לזהות הונאת כרטיסי אשראי
03:46
and blockלַחסוֹם spamספאם
71
214526
1189
ולחסום דואר זבל
03:47
and they can translateלתרגם betweenבֵּין languagesשפות.
72
215739
2037
והם יכולים לתרגם משפה לשפה.
03:49
They can detectלזהות tumorsגידולים in medicalרְפוּאִי imagingהַדמָיָה.
73
217800
2574
הם יכולים לזהות גידולים בהדמיה רפואית.
03:52
They can beatלהיות ב humansבני אנוש in chessשַׁחְמָט and Go.
74
220398
2205
הם יכולים לנצח בני אדם
במשחקי שח-מט וגו.
03:55
Much of this progressהתקדמות comesבא
from a methodשִׁיטָה calledשקוראים לו "machineמְכוֹנָה learningלְמִידָה."
75
223264
4504
הרבה מההתקדמות הזו היא הודות לשיטה
שנקראת "לימוד מכונה".
04:00
Machineמְכוֹנָה learningלְמִידָה is differentשונה
than traditionalמָסוֹרתִי programmingתִכנוּת,
76
228175
3187
לימוד מכונה הוא שונה מתכנות מסורתי,
04:03
where you give the computerמַחשֵׁב
detailedמְפוֹרָט, exactמְדוּיָק, painstakingמַקפִּיד instructionsהוראות.
77
231386
3585
בו נותנים למחשב הוראות מפורטות,
מדויקות, מדוקדקות.
04:07
It's more like you take the systemמערכת
and you feedהזנה it lots of dataנתונים,
78
235378
4182
זה יותר כמו שמכניסים למערכת הרבה נתונים,
04:11
includingלְרַבּוֹת unstructuredבלתי מובנית dataנתונים,
79
239584
1656
כולל נתונים לא מובנים,
04:13
like the kindסוג we generateלִיצוֹר
in our digitalדִיגִיטָלי livesחיים.
80
241264
2278
כמו אלה שאנו מייצרים בחיינו הדיגיטליים.
04:15
And the systemמערכת learnsלומד
by churningחביצה throughדרך this dataנתונים.
81
243566
2730
והמערכת לומדת,
על-ידי ערבול כל הנתונים הללו.
04:18
And alsoגַם, cruciallyבאופן מכריע,
82
246669
1526
כמו כן, באופן מכריע,
04:20
these systemsמערכות don't operateלְהַפְעִיל
underתַחַת a single-answerתשובה אחת logicהִגָיוֹן.
83
248219
4380
המערכות הללו לא פועלות
על פי ההיגיון של תשובה-אחת.
04:24
They don't produceליצר a simpleפָּשׁוּט answerתשובה;
it's more probabilisticהסתברותי:
84
252623
2959
הן לא מייצרות תשובה פשוטה;
זה יותר הסתברותי:
04:27
"This one is probablyכנראה more like
what you're looking for."
85
255606
3483
"זו כנראה יותר מתאימה למה שאתה מחפש."
04:32
Now, the upsideהפוך is:
this methodשִׁיטָה is really powerfulחָזָק.
86
260023
3070
היתרון הוא:
השיטה הזו ממש חזקה.
04:35
The headרֹאשׁ of Google'sשל גוגל AIAI systemsמערכות calledשקוראים לו it,
87
263117
2076
המנהל של מערכת AI של גוגל קרא לזה,
04:37
"the unreasonableלא סביר effectivenessיְעִילוּת of dataנתונים."
88
265217
2197
"היעילות חסרת ההיגיון של נתונים."
04:39
The downsidedownside is,
89
267791
1353
החיסרון הוא,
04:41
we don't really understandמבין
what the systemמערכת learnedמְלוּמָד.
90
269738
3071
שאנחנו לא באמת מבינים
מה המערכת למדה.
04:44
In factעוּבדָה, that's its powerכּוֹחַ.
91
272833
1587
בעצם, זה הכוח שלה.
04:46
This is lessפָּחוּת like givingמַתָן
instructionsהוראות to a computerמַחשֵׁב;
92
274946
3798
זה פחות כמו לתת הוראות למחשב;
04:51
it's more like trainingהַדְרָכָה
a puppy-machine-creatureגור-מכונה-יצור
93
279200
4064
זה יותר כמו לאמן יצור שהוא גור-מכונה
04:55
we don't really understandמבין or controlלִשְׁלוֹט.
94
283288
2371
שאנחנו לא באמת מבינים ושולטים בו.
04:58
So this is our problemבְּעָיָה.
95
286362
1551
אז זו הבעיה שלנו.
05:00
It's a problemבְּעָיָה when this artificialמְלָאכוּתִי
intelligenceאינטליגנציה systemמערכת getsמקבל things wrongלא בסדר.
96
288427
4262
זו בעיה כאשר הבינה המלאכותית הזו טועה.
05:04
It's alsoגַם a problemבְּעָיָה
when it getsמקבל things right,
97
292713
3540
זו גם בעיה כאשר היא אינה טועה,
05:08
because we don't even know whichאיזה is whichאיזה
when it's a subjectiveסובייקטיבית problemבְּעָיָה.
98
296277
3628
מכיוון שאנו לא יודעים מהו מה
כאשר הבעיה היא סוביקטיבית.
05:11
We don't know what this thing is thinkingחושב.
99
299929
2339
איננו יודעים מה הדבר הזה חושב.
05:15
So, considerלשקול a hiringשְׂכִירָה algorithmאַלגוֹרִיתְם --
100
303493
3683
אז, חישבו על אלגוריתם של העסקת עובדים -
05:20
a systemמערכת used to hireלִשְׂכּוֹר people,
usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני machine-learningלמידת מכונה systemsמערכות.
101
308123
4311
מערכת שרגילה להעסיק אנשים,
משתמשת במערכות לימוד-מכונה.
05:25
Suchכגון a systemמערכת would have been trainedמְאוּמָן
on previousקודם employees'עובדים dataנתונים
102
313052
3579
מערכת כזו הייתה מאומנת
על נתוני העסקה קודמים
05:28
and instructedהורה to find and hireלִשְׂכּוֹר
103
316655
2591
וניתנת לה הנחייה למצוא ולהעסיק
05:31
people like the existingקיים
highגָבוֹהַ performersשחקנים in the companyחֶברָה.
104
319270
3038
אנשים בעלי ביצועים טובים
כמו אלה שכבר נמצאים בחברה.
05:34
Soundsנשמע good.
105
322814
1153
נשמע טוב.
05:35
I onceפַּעַם attendedהשתתפו a conferenceוְעִידָה
106
323991
1999
פעם השתתפתי בכנס
05:38
that broughtהביא togetherיַחַד
humanבן אנוש resourcesאֶמְצָעִי managersמנהלים and executivesמנהלים,
107
326014
3125
אשר חיבר יחד
מנהלי משאבי אנוש,
05:41
high-levelרמה גבוהה people,
108
329163
1206
אנשים ברמה גבוהה,
המשתמשים במערכות כאלה להעסקת עובדים.
05:42
usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני suchכגון systemsמערכות in hiringשְׂכִירָה.
109
330393
1559
05:43
They were superסוּפֶּר excitedנִרגָשׁ.
110
331976
1646
הם מאד התלהבו.
05:45
They thought that this would make hiringשְׂכִירָה
more objectiveמַטָרָה, lessפָּחוּת biasedמְשׁוּחָד,
111
333646
4653
הם חשבו שזה יהפוך את תהליך ההעסקה
לאובייקטיבי יותר, פחות מוטה,
05:50
and give womenנשים
and minoritiesמיעוטים a better shotבְּעִיטָה
112
338323
3000
ויעניק לנשים ומיעוטים סיכוי גבוה יותר
05:53
againstמול biasedמְשׁוּחָד humanבן אנוש managersמנהלים.
113
341347
2188
כנגד מנהלים אנושיים משוחדים.
05:55
And look -- humanבן אנוש hiringשְׂכִירָה is biasedמְשׁוּחָד.
114
343559
2843
ותראו - העסקה על-ידי בני-אדם היא משוחדת.
05:59
I know.
115
347099
1185
אני יודעת.
06:00
I mean, in one of my earlyמוקדם jobsמקומות תעסוקה
as a programmerמְתַכנֵת,
116
348308
3005
באחד ממקומות העבודה המוקדמים שלי כמתכנתת,
06:03
my immediateמִיָדִי managerמנהל would sometimesלִפְעָמִים
come down to where I was
117
351337
3868
המנהלת הישירה שלי הייתה באה לפעמים
למקום בו הייתי
06:07
really earlyמוקדם in the morningשַׁחַר
or really lateמאוחר in the afternoonאחרי הצהריים,
118
355229
3753
ממש מוקדם בבוקר
או ממש מאוחר אחר הצהריים,
06:11
and she'dלִשְׁפּוֹך say, "ZeynepZeynep,
let's go to lunchארוחת צהריים!"
119
359006
3062
ואמרה לי, "זיינב,
בואי נלך לאכול ארוחת צהרים!"
06:14
I'd be puzzledנבוך by the weirdמְשׁוּנֶה timingתִזמוּן.
120
362724
2167
הייתי מבולבלת מהתזמון המוזר.
06:16
It's 4pmאחר הצהריים. Lunchארוחת צהריים?
121
364915
2129
עכשיו 4 אחר הצהריים. ארוחת צהריים?
06:19
I was brokeחסר פרוטה, so freeחופשי lunchארוחת צהריים. I always wentהלך.
122
367068
3094
הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי.
06:22
I laterיותר מאוחר realizedהבין what was happeningמתרחש.
123
370618
2067
מאוחר יותר הבנתי מה קרה.
06:24
My immediateמִיָדִי managersמנהלים
had not confessedהודה to theirשֶׁלָהֶם higher-upsגבוה יותר
124
372709
4546
מנהליי הישירים לא הודו
בפני הממונים עליהם
06:29
that the programmerמְתַכנֵת they hiredנשכר
for a seriousרְצִינִי jobעבודה was a teenנוער girlילדה
125
377279
3113
שהמתכנתת שהם העסיקו בתפקיד רציני
היא נערה מתבגרת
06:32
who woreלבש jeansגִ'ינס and sneakersנעלי ספורט to work.
126
380416
3930
שבאה לעבודה בג'ינס וסניקרס.
06:37
I was doing a good jobעבודה,
I just lookedהביט wrongלא בסדר
127
385174
2202
עשיתי עבודה טובה,
רק לא נראיתי נכון
06:39
and was the wrongלא בסדר ageגיל and genderמִין.
128
387400
1699
והייתי בגיל ובמגדר הלא נכונים.
06:41
So hiringשְׂכִירָה in a gender-מִין- and race-blindגזע עיוור way
129
389123
3346
אז העסקת עובדים באופן עיוור למגדר וגזע
06:44
certainlyבְּהֶחלֵט soundsקולות good to me.
130
392493
1865
בהחלט נשמע לי טוב.
06:47
But with these systemsמערכות,
it is more complicatedמסובך, and here'sהנה why:
131
395031
3341
אבל עם המערכות האלו,
זה יותר מורכב, וזו הסיבה:
06:50
Currentlyכַּיוֹם, computationalחישובית systemsמערכות
can inferלְהַסִיק all sortsמיני of things about you
132
398968
5791
כעת, מערכות ממוחשבות יכולות להסיק
כל מיני דברים עליכם
06:56
from your digitalדִיגִיטָלי crumbsפירורים,
133
404783
1872
מהפירורים הדיגיטליים שלכם,
06:58
even if you have not
disclosedגילה those things.
134
406679
2333
אפילו אם לא גילית את הדברים האלה.
07:01
They can inferלְהַסִיק your sexualמִינִי orientationנטייה,
135
409506
2927
הם יכולות להסיק לגבי האוריינטציה
המינית שלכם,
07:04
your personalityאִישִׁיוּת traitsתכונות,
136
412994
1306
תכונות האופי שלכם,
07:06
your politicalפּוֹלִיטִי leaningsנטיות.
137
414859
1373
הנטייה הפוליטית שלכם.
07:08
They have predictiveמְנַבֵּא powerכּוֹחַ
with highגָבוֹהַ levelsרמות of accuracyדיוק.
138
416830
3685
יש להן יכולת ניבוי עם רמות דיוק גבוהות.
07:13
Rememberלִזכּוֹר -- for things
you haven'tלא even disclosedגילה.
139
421362
2578
זכרו - אפילו לגבי דברים שלא גיליתם.
07:15
This is inferenceהסקה.
140
423964
1591
זוהי הסקה.
07:17
I have a friendחָבֵר who developedמפותח
suchכגון computationalחישובית systemsמערכות
141
425579
3261
יש לי חברה שפיתחה
מערכות ממוחשבות שיכולות
07:20
to predictלַחֲזוֹת the likelihoodסְבִירוּת
of clinicalקליני or postpartumלאחר הלידה depressionדִכָּאוֹן
142
428864
3641
לנבא את הסיכון לדיכאון קליני
או דיכאון אחרי לידה
07:24
from socialחֶברָתִי mediaכְּלֵי תִקְשׁוֹרֶת dataנתונים.
143
432529
1416
מנתונים של מדיה חברתית.
07:26
The resultsתוצאות are impressiveמרשימים.
144
434676
1427
התוצאות הן מרשימות.
07:28
Her systemמערכת can predictלַחֲזוֹת
the likelihoodסְבִירוּת of depressionדִכָּאוֹן
145
436492
3357
המערכת שלה יכולה לנבא
את הסיכון ללקות בדיכאון
07:31
monthsחודשים before the onsetהַתקָפָה of any symptomsהסימפטומים --
146
439873
3903
חודשים לפני הופעת סימפטומים כלשהם -
07:35
monthsחודשים before.
147
443800
1373
חודשים לפני.
07:37
No symptomsהסימפטומים, there's predictionנְבוּאָה.
148
445197
2246
אין סימפטומים, יש ניבוי.
07:39
She hopesמקווה it will be used
for earlyמוקדם interventionהתערבות. Great!
149
447467
4812
היא מקווה שישתמשו בזה
להתערבות מוקדמת. נהדר!
07:44
But now put this in the contextהֶקשֵׁר of hiringשְׂכִירָה.
150
452911
2040
אבל עכשיו שימו את זה בהקשר של העסקה.
07:48
So at this humanבן אנוש resourcesאֶמְצָעִי
managersמנהלים conferenceוְעִידָה,
151
456027
3046
אז בכנס הזה של מנהלי משאבי אנוש,
07:51
I approachedהתקרב a high-levelרמה גבוהה managerמנהל
in a very largeגָדוֹל companyחֶברָה,
152
459097
4709
פניתי אל מנהלת בכירה בחברה גדולה מאד,
07:55
and I said to her, "Look,
what if, unbeknownstללא ידיעתך to you,
153
463830
4578
ואמרתי לה, "תראי,
מה אם, ללא ידיעתך,
08:00
your systemמערכת is weedingעישוב out people
with highגָבוֹהַ futureעתיד likelihoodסְבִירוּת of depressionדִכָּאוֹן?
154
468432
6549
"המערכת שלך מנפה החוצה אנשים
עם סיכון עתידי גבוה ללקות בדיכאון?
08:07
They're not depressedמְדוּכָּא now,
just maybe in the futureעתיד, more likelyסָבִיר.
155
475761
3376
"הם לא מדוכאים כעת,
רק אולי בעתיד, בסיכון גבוה יותר.
08:11
What if it's weedingעישוב out womenנשים
more likelyסָבִיר to be pregnantבְּהֵרָיוֹן
156
479923
3406
"מה אם היא מנפה החוצה נשים
שסיכוייהן גדולים יותר להרות
08:15
in the nextהַבָּא yearשָׁנָה or two
but aren'tלא pregnantבְּהֵרָיוֹן now?
157
483353
2586
"בשנה או שנתיים הקרובות
אך אינן בהריון כעת?
08:18
What if it's hiringשְׂכִירָה aggressiveתוֹקפָּנִי people
because that's your workplaceבמקום העבודה cultureתַרְבּוּת?"
158
486844
5636
"מה אם המערכת מעסיקה אנשים אגרסיביים
מכיוון שזו התרבות בסביבת העבודה שלך?"
08:25
You can't tell this by looking
at genderמִין breakdownsתקלות.
159
493173
2691
אתם לא יכולים לדעת את זה
על-ידי חלוקה למגדרים.
08:27
Those mayמאי be balancedמְאוּזָן.
160
495888
1502
אלו יכולים להיות מאוזנים.
08:29
And sinceמאז this is machineמְכוֹנָה learningלְמִידָה,
not traditionalמָסוֹרתִי codingסִמוּל,
161
497414
3557
ומאחר וזאת למידת מכונה,
לא שיטת קידוד מסורתית,
08:32
there is no variableמִשְׁתַנֶה there
labeledשכותרתו "higherגבוה יותר riskלְהִסְתָכֵּן of depressionדִכָּאוֹן,"
162
500995
4907
אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון",
08:37
"higherגבוה יותר riskלְהִסְתָכֵּן of pregnancyהֵרָיוֹן,"
163
505926
1833
"סיכון מוגבר להריון,"
08:39
"aggressiveתוֹקפָּנִי guy scaleסוּלָם."
164
507783
1734
"סולם של אגרסיביות".
08:41
Not only do you not know
what your systemמערכת is selectingבחירה on,
165
509995
3679
לא רק שאינכם יודעים
לפי מה המערכת שלכם בוחרת,
08:45
you don't even know
where to beginהתחל to look.
166
513698
2323
אתם אפילו לא יודעים איפה להתחיל לחפש.
08:48
It's a blackשָׁחוֹר boxקופסא.
167
516045
1246
זוהי קופסה שחורה.
08:49
It has predictiveמְנַבֵּא powerכּוֹחַ,
but you don't understandמבין it.
168
517315
2807
יש לה יכולת ניבוי,
אבל אתם לא מבינים אותה.
08:52
"What safeguardsאמצעי הגנה," I askedשאל, "do you have
169
520486
2369
"אילו אמצעי ביטחון," שאלתי, "יש לך
08:54
to make sure that your blackשָׁחוֹר boxקופסא
isn't doing something shadyמוצל?"
170
522879
3673
"להבטיח שהקופסה השחורה שלך
לא עושה משהו מפוקפק?"
09:00
She lookedהביט at me as if I had
just steppedצעד on 10 puppyגור כלבים tailsפרָאק.
171
528863
3878
היא הסתכלה עלי כאילו שדרכתי
על 10 זנבות של כלבלבים.
09:04
(Laughterצחוק)
172
532765
1248
(צחוק)
09:06
She staredבהה at me and she said,
173
534037
2041
היא נעצה בי מבט ואמרה,
09:08
"I don't want to hearלִשְׁמוֹעַ
anotherאַחֵר wordמִלָה about this."
174
536556
4333
"אני לא רוצה לשמוע מילה נוספת על זה."
09:13
And she turnedפנה around and walkedהלך away.
175
541458
2034
והיא הסתובבה והלכה משם.
09:16
Mindאכפת you -- she wasn'tלא היה rudeגס רוח.
176
544064
1486
שימו לב - היא לא הייתה גסת רוח.
09:17
It was clearlyבְּבִירוּר: what I don't know
isn't my problemבְּעָיָה, go away, deathמוות stareלבהות.
177
545574
6308
זה היה בבירור: מה שאני לא יודעת
הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.
09:23
(Laughterצחוק)
178
551906
1246
(צחוק)
09:25
Look, suchכגון a systemמערכת
mayמאי even be lessפָּחוּת biasedמְשׁוּחָד
179
553862
3839
תראו, מערכת כזו
יכולה אפילו להיות פחות מוטה
09:29
than humanבן אנוש managersמנהלים in some waysדרכים.
180
557725
2103
מאשר מנהלים אנושיים באופנים מסוימים.
09:31
And it could make monetaryכַּספִּי senseלָחוּשׁ.
181
559852
2146
והיא יכולה להיות הגיונית מבחינה כלכלית.
09:34
But it could alsoגַם leadעוֹפֶרֶת
182
562573
1650
אבל היא גם יכולה להוביל
09:36
to a steadyיַצִיב but stealthyחֲשָׁאִי
shuttingסְגִירָה out of the jobעבודה marketשׁוּק
183
564247
4748
לסגירה מתמשכת וחמקנית של שוק העבודה
09:41
of people with higherגבוה יותר riskלְהִסְתָכֵּן of depressionדִכָּאוֹן.
184
569019
2293
בפני אנשים עם סיכון גבוה ללקות בדיכאון.
09:43
Is this the kindסוג of societyחֶברָה
we want to buildלִבנוֹת,
185
571753
2596
האם זו החברה שאנחנו רוצים לבנות,
09:46
withoutלְלֹא even knowingיוֹדֵעַ we'veיש לנו doneבוצע this,
186
574373
2285
מבלי שנדע אפילו שאנחנו עושים זאת,
09:48
because we turnedפנה decision-makingקבלת החלטות
to machinesמכונה we don't totallyלְגַמרֵי understandמבין?
187
576682
3964
בגלל שהשארנו את קבלת ההחלטות
בידי מכונות שאנחנו לא מבינים עד הסוף?
09:53
Anotherאַחֵר problemבְּעָיָה is this:
188
581265
1458
בעיה נוספת היא זו:
09:55
these systemsמערכות are oftenלעתים קרובות trainedמְאוּמָן
on dataנתונים generatedשנוצר by our actionsפעולות,
189
583314
4452
המערכות האלו לעיתים קרובות מכוונות
לנתונים המיוצרים על ידי הפעולות שלנו,
09:59
humanבן אנוש imprintsטביעות אצבעות.
190
587790
1816
חותם אנושי.
10:02
Well, they could just be
reflectingהמשקף our biasesהטיות,
191
590188
3808
אם כך, הן יכולות פשוט לשקף
את ההעדפות שלנו.
10:06
and these systemsמערכות
could be pickingקטיף up on our biasesהטיות
192
594020
3593
והמערכות האלו יכולות להיטפל להעדפות שלנו
10:09
and amplifyingמַגְבִּיר them
193
597637
1313
ולהגביר אותן
10:10
and showingמראה them back to us,
194
598974
1418
ולשקף לנו אותן בחזרה,
10:12
while we're tellingאומר ourselvesבְּעָצמֵנוּ,
195
600416
1462
בזמן שאנחנו אומרים לעצמנו,
10:13
"We're just doing objectiveמַטָרָה,
neutralניטראלי computationחישוב."
196
601902
3117
"אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."
10:18
Researchersחוקרים foundמצאתי that on GoogleGoogle,
197
606314
2677
חוקרים מצאו שבגוגל,
10:22
womenנשים are lessפָּחוּת likelyסָבִיר than menגברים
to be shownמוצג jobעבודה adsמודעות for high-payingגבוה משלמים jobsמקומות תעסוקה.
198
610134
5313
לנשים יש סיכוי נמוך יותר מאשר לגברים
לקבל מודעות דרושים לתפקידים עם שכר גבוה.
10:28
And searchingמחפש for African-Americanאפריקאי אמריקאי namesשמות
199
616463
2530
וחיפוש של שמות אפריקנים-אמריקנים
10:31
is more likelyסָבִיר to bringלְהָבִיא up adsמודעות
suggestingמציע criminalפְּלִילִי historyהִיסטוֹרִיָה,
200
619017
4706
יעלה בסיכוי גבוה יותר פרסומות
המרמזות על עבר פלילי,
10:35
even when there is noneאף אחד.
201
623747
1567
אפילו כאשר אין כזה.
10:38
Suchכגון hiddenמוּסתָר biasesהטיות
and black-boxקופסה שחורה algorithmsאלגוריתמים
202
626693
3549
להטיות חבויות כאלה
ואלגוריתמים של קופסא שחורה
10:42
that researchersחוקרים uncoverלגלות sometimesלִפְעָמִים
but sometimesלִפְעָמִים we don't know,
203
630266
3973
שחוקרים מגלים לפעמים
אבל לפעמים איננו יודעים עליהם,
10:46
can have life-alteringשינוי חיים consequencesהשלכות.
204
634263
2661
יכולות להיות השלכות משנות חיים.
10:49
In Wisconsinויסקונסין, a defendantנֶאְשָׁם
was sentencedנידון to sixשֵׁשׁ yearsשנים in prisonבית כלא
205
637958
4159
בוויסקונסין, נאשם
נשפט לשש שנים בכלא
10:54
for evadingהתחמקות the policeמִשׁטָרָה.
206
642141
1355
על התחמקות מהמשטרה.
יכול להיות שאתם לא יודעים זאת,
10:56
You mayמאי not know this,
207
644824
1186
10:58
but algorithmsאלגוריתמים are increasinglyיותר ויותר used
in paroleשוחרר and sentencingגזר הדין decisionsהחלטות.
208
646034
3998
אך השימוש באלגוריתמים הולך וגובר
בהחלטות על ענישה וחנינה.
11:02
He wanted to know:
How is this scoreציון calculatedמְחוֹשָׁב?
209
650056
2955
הוא רצה לדעת:
איך המספר הזה חושב?
11:05
It's a commercialמִסְחָרִי blackשָׁחוֹר boxקופסא.
210
653795
1665
זו היא קופסה שחורה מסחרית.
11:07
The companyחֶברָה refusedסירב to have its algorithmאַלגוֹרִיתְם
be challengedתיגר in openלִפְתוֹחַ courtבית משפט.
211
655484
4205
החברה סירבה לאפשר לאתגר את האלגוריתם
שלה באולם בית המשפט
11:12
But ProPublicaProPublica, an investigativeתחקיר
nonprofitללא מטרות רווח, auditedמבוקר that very algorithmאַלגוֹרִיתְם
212
660396
5532
אבל פרו-פבליקה, חברת חקירות
ללא מטרות רווח, בדקה את האלגוריתם הזה
11:17
with what publicפּוּמְבֵּי dataנתונים they could find,
213
665952
2016
עם כל הנתונים הציבוריים שיכלו למצוא,
11:19
and foundמצאתי that its outcomesתוצאות were biasedמְשׁוּחָד
214
667992
2316
וגילו שהתוצאות היו מוטות
11:22
and its predictiveמְנַבֵּא powerכּוֹחַ
was dismalעָגוּם, barelyבקושי better than chanceהִזדַמְנוּת,
215
670332
3629
וכוח הניבוי שלו היה מפחיד,
בקושי יותר טוב ממזל,
11:25
and it was wronglyבטעות labelingתִיוּג
blackשָׁחוֹר defendantsנאשמים as futureעתיד criminalsפושעים
216
673985
4416
והוא הגדיר באופן מוטעה
נאשם שחור כפושע עתידי
11:30
at twiceפעמיים the rateציון of whiteלבן defendantsנאשמים.
217
678425
3895
בשיעור כפול מאשר נאשם לבן.
11:35
So, considerלשקול this caseמקרה:
218
683891
1564
אז, בחנו את המקרה הבא:
11:38
This womanאִשָׁה was lateמאוחר
pickingקטיף up her godsisterאחות של אלוהים
219
686103
3852
האישה הזו איחרה לאסוף
את אחותה החורגת
11:41
from a schoolבית ספר in Browardברוארד Countyמָחוֹז, Floridaפלורידה,
220
689979
2075
מבית ספר במחוז ברווארד, בפלורידה,
11:44
runningרץ down the streetרְחוֹב
with a friendחָבֵר of hersשֶׁלָה.
221
692757
2356
והיא רצה ברחוב עם חברתה.
11:47
They spottedמְנוּקָד an unlockedלא נעול kid'sשל הילד bikeאופניים
and a scooterקַטנוֹעַ on a porchמִרפֶּסֶת
222
695137
4099
הן הבחינו באופני ילדים ובקורקינט
שהיו לא קשורים במרפסת
11:51
and foolishlyבְּטִפּשׁוּת jumpedקפץ on it.
223
699260
1632
ובטיפשות קפצו עליהם.
11:52
As they were speedingנְהִיגָה בִּמְהִירוּת מוּפרֶזֶת off,
a womanאִשָׁה cameבא out and said,
224
700916
2599
בעוד הן דוהרות,
אישה הגיחה ואמרה,
11:55
"Hey! That's my kid'sשל הילד bikeאופניים!"
225
703539
2205
" הי, אלו האופניים של הילד שלי!"
11:57
They droppedירד it, they walkedהלך away,
but they were arrestedנֶעצָר.
226
705768
3294
הן זרקו אותם, הן הלכו משם,
אבל הן נעצרו.
12:01
She was wrongלא בסדר, she was foolishטִפּשִׁי,
but she was alsoגַם just 18.
227
709086
3637
היא טעתה, היא עשתה שטות,
אבל היא גם הייתה רק בת 18.
12:04
She had a coupleזוּג of juvenileצָעִיר misdemeanorsעוון.
228
712747
2544
היו לה שתי עברות נעורים קודמות.
12:07
Meanwhileבינתיים, that man had been arrestedנֶעצָר
for shopliftingגְנֵבָה מִחֲנוּיוֹת in Home Depotמַחסָן --
229
715808
5185
בינתיים, האיש הזה נעצר על גניבה מחנות
בהום דיפו -
12:13
85 dollars'דולרים worthשִׁוּוּי of stuffדברים,
a similarדוֹמֶה pettyקַטנוּנִי crimeפֶּשַׁע.
230
721017
2924
דברים בשווי של 85 דולר,
פשע חסר חשיבות דומה.
12:16
But he had two priorקוֹדֵם
armedחָמוּשׁ robberyשׁוֹד convictionsהרשעות.
231
724766
4559
אבל היו לו שתי הרשעות קודמות
על שוד מזויין.
12:21
But the algorithmאַלגוֹרִיתְם scoredהבקיע her
as highגָבוֹהַ riskלְהִסְתָכֵּן, and not him.
232
729955
3482
אבל האלגוריתם חישב אותה בסיכון גבוה,
ולא אותו.
12:26
Two yearsשנים laterיותר מאוחר, ProPublicaProPublica foundמצאתי
that she had not reoffendedשוב.
233
734746
3874
שנתיים לאחר מכן, פרו-פבליקה מצאה
שהיא לא פשעה שוב.
12:30
It was just hardקָשֶׁה to get a jobעבודה
for her with her recordתקליט.
234
738644
2550
רק היה לה קשה למצוא עבודה
עם העבר שלה.
12:33
He, on the other handיד, did reoffendreoffend
235
741218
2076
הוא, לעומת זאת, כן פשע שוב
12:35
and is now servingמָנָה an eight-yearשמונה שנים
prisonבית כלא termטווח for a laterיותר מאוחר crimeפֶּשַׁע.
236
743318
3836
וכעת הוא מרצה עונש של שמונה שנות מאסר
בגלל פשע מאוחר יותר.
12:40
Clearlyבְּבִירוּר, we need to auditבְּדִיקָה our blackשָׁחוֹר boxesתיבות
237
748088
3369
בברור, עלינו לבקר
את הקופסאות השחורות שלנו
12:43
and not have them have
this kindסוג of uncheckedלא בדוק powerכּוֹחַ.
238
751481
2615
ולא לאפשר להן סוג כזה של כוח בלתי בדוק.
12:46
(Applauseתְשׁוּאוֹת)
239
754120
2879
(מחיאות כפיים)
12:50
Auditsביקורות are great and importantחָשׁוּב,
but they don't solveלִפְתוֹר all our problemsבעיות.
240
758087
4242
ביקורות הן נהדרות וחשובות
אך הן לא פותרות את כל בעיותינו.
12:54
Take Facebook'sשל פייסבוק powerfulחָזָק
newsחֲדָשׁוֹת feedהזנה algorithmאַלגוֹרִיתְם --
241
762353
2748
קחו למשל את האלגוריתם החזק
של הפיד החדשותי של פייסבוק -
12:57
you know, the one that ranksדרגות everything
and decidesמחליט what to showלְהַצִיג you
242
765125
4843
אתם יודעים, זה שמדרג כל דבר
ומחליט מה להראות לכם
13:01
from all the friendsחברים and pagesדפים you followלעקוב אחר.
243
769992
2284
מכל החברים והדפים שאחריהם אתם עוקבים.
13:04
Should you be shownמוצג anotherאַחֵר babyתִינוֹק pictureתְמוּנָה?
244
772898
2275
האם צריך להראות לכם
תמונה אחרת של תינוק?
13:07
(Laughterצחוק)
245
775197
1196
(צחוק)
13:08
A sullenקוֹדֵר noteהערה from an acquaintanceהֶכֵּרוּת?
246
776417
2596
הערה זועפת מאיזה מכר?
13:11
An importantחָשׁוּב but difficultקָשֶׁה newsחֲדָשׁוֹת itemפריט?
247
779449
1856
פריט חדשותי חשוב אך קשה לצפייה?
13:13
There's no right answerתשובה.
248
781329
1482
אין כאן תשובה נכונה.
13:14
Facebookפייסבוק optimizesמייעל
for engagementאירוסין on the siteאֲתַר:
249
782835
2659
פייסבוק מְיַטֶב לצורך מעורבות באתר:
13:17
likesאוהב, sharesמניות, commentsהערות.
250
785518
1415
לייקים, שיתופים, תגובות.
13:20
In Augustאוגוסט of 2014,
251
788168
2696
באוגוסט 2014,
13:22
protestsמחאות brokeחסר פרוטה out in Fergusonפרגוסון, Missouriמיזורי,
252
790888
2662
פרצה מחאה בפרגוסון, מיזורי
13:25
after the killingהֶרֶג of an African-Americanאפריקאי אמריקאי
teenagerמִתבַּגֵר by a whiteלבן policeמִשׁטָרָה officerקָצִין,
253
793574
4417
לאחר הריגתו של נער אפריקני-אמריקני
על-ידי שוטר לבן,
13:30
underתַחַת murkyחָשׁוּך circumstancesנסיבות.
254
798015
1570
בנסיבות חשודות.
13:31
The newsחֲדָשׁוֹת of the protestsמחאות was all over
255
799974
2007
החדשות בנוגע למחאה הופיעו בגדול
13:34
my algorithmicallyאלגוריתמית
unfilteredללא פילטר Twitterטוויטר feedהזנה,
256
802005
2685
בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי,
13:36
but nowhereלְשׁוּם מָקוֹם on my Facebookפייסבוק.
257
804714
1950
אך לא הופיעו כלל בדף הפייסבוק שלי.
13:39
Was it my Facebookפייסבוק friendsחברים?
258
807182
1734
האם היו אלה חבריי בפייסבוק?
13:40
I disabledנָכֶה Facebook'sשל פייסבוק algorithmאַלגוֹרִיתְם,
259
808940
2032
ניטרלתי את האלגוריתם של הפייסבוק,
13:43
whichאיזה is hardקָשֶׁה because Facebookפייסבוק
keepsשומר wantingרוצה to make you
260
811472
2848
דבר שקשה לעשות כי פייסבוק רוצה שתהיו
13:46
come underתַחַת the algorithm'sאלגוריתם controlלִשְׁלוֹט,
261
814344
2036
כל הזמן תחת שליטת האלגוריתם,
13:48
and saw that my friendsחברים
were talkingשִׂיחָה about it.
262
816404
2238
וראיתי שחבריי דיברו על זה.
13:50
It's just that the algorithmאַלגוֹרִיתְם
wasn'tלא היה showingמראה it to me.
263
818666
2509
רק שהאלגוריתם לא הראה לי את זה.
13:53
I researchedנחקר this and foundמצאתי
this was a widespreadנָפוֹץ problemבְּעָיָה.
264
821199
3042
בדקתי את זה ומצאתי
שזו הייתה בעיה נרחבת.
13:56
The storyכַּתָבָה of Fergusonפרגוסון
wasn'tלא היה algorithm-friendlyידידותית לאלגוריתם.
265
824265
3813
הסיפור מפרגוסון לא היה ידידותי לאלגוריתם.
14:00
It's not "likableחָבִיב."
266
828102
1171
הוא לא "אהוב".
14:01
Who'sמי זה going to clickנְקִישָׁה on "like?"
267
829297
1552
מי יסמן לזה "לייק"?
14:03
It's not even easyקַל to commentתגובה on.
268
831500
2206
אפילו לא קל להגיב עליו.
14:05
Withoutלְלֹא likesאוהב and commentsהערות,
269
833730
1371
ללא לייקים ותגובות,
14:07
the algorithmאַלגוֹרִיתְם was likelyסָבִיר showingמראה it
to even fewerפחות people,
270
835125
3292
סביר שהאלגוריתם הראה אותו
אפילו לפחות אנשים,
14:10
so we didn't get to see this.
271
838441
1542
אז לא זכינו לראות את זה.
14:12
Insteadבמקום זאת, that weekשָׁבוּעַ,
272
840946
1228
במקומו, באותו שבוע,
14:14
Facebook'sשל פייסבוק algorithmאַלגוֹרִיתְם highlightedמודגשת this,
273
842198
2298
האלגוריתם של פייסבוק הדגיש את זה,
14:16
whichאיזה is the ALSALS Iceקרח Bucketדְלִי Challengeאתגר.
274
844520
2226
זהו אתגר דלי הקרח של ALS.
14:18
Worthyרָאוּי causeגורם; dumpמזבלה iceקרח waterמַיִם,
donateלִתְרוֹם to charityצדקה, fine.
275
846770
3742
מטרה טובה; שפוך דלי קרח,
תרום כסף, יופי.
14:22
But it was superסוּפֶּר algorithm-friendlyידידותית לאלגוריתם.
276
850536
1904
אבל הוא היה ידידותי ביותר לאלגוריתם.
14:25
The machineמְכוֹנָה madeעָשׂוּי this decisionהַחְלָטָה for us.
277
853219
2613
המכונה קיבלה את ההחלטה הזו עבורנו.
14:27
A very importantחָשׁוּב
but difficultקָשֶׁה conversationשִׂיחָה
278
855856
3497
שיחה חשובה מאד אך קשה
14:31
mightאולי have been smotheredחונק,
279
859377
1555
אולי הייתה מושתקת,
14:32
had Facebookפייסבוק been the only channelעָרוּץ.
280
860956
2696
אם פייסבוק היה הערוץ היחיד.
14:36
Now, finallyסוף כל סוף, these systemsמערכות
can alsoגַם be wrongלא בסדר
281
864117
3797
כעת, לבסוף, המערכות האלה
גם יכולות לטעות
14:39
in waysדרכים that don't resembleלִדמוֹת humanבן אנוש systemsמערכות.
282
867938
2736
בצורות שאינן דומות למערכות אנושיות.
14:42
Do you guys rememberלִזכּוֹר Watsonווטסון,
IBM'sיבמ machine-intelligenceאינטליגנציה ממוחשבת systemמערכת
283
870698
2922
האם אתם זוכרים את ווטסון,
מערכת הבינה המלאכותית של IBM
14:45
that wipedניגב the floorקוֹמָה
with humanבן אנוש contestantsהמתמודדים on Jeopardyסַכָּנָה?
284
873644
3128
שטאטאה את הרצפה
עם מתחרה אנושי במשחק "סכנה"?
14:49
It was a great playerשחקן.
285
877131
1428
הוא היה שחקן נהדר.
14:50
But then, for Finalסופי Jeopardyסַכָּנָה,
Watsonווטסון was askedשאל this questionשְׁאֵלָה:
286
878583
3569
אבל אז, במשימה האחרונה,
ווטסון נשאל את השאלה הבאה:
14:54
"Its largestהגדול airportנמל תעופה is namedבשם
for a Worldעוֹלָם Warמִלחָמָה IIII heroגיבור,
287
882659
2932
"שמו של שדה התעופה הכי גדול שלו
נקרא ע"ש גיבור מלחמת העולם ה-2,
14:57
its second-largestהשני בגודלו
for a Worldעוֹלָם Warמִלחָמָה IIII battleקרב."
288
885615
2252
השני הכי גדול
על שם קרב במלחמת העולם ה-II."
14:59
(Humsמהמה Finalסופי Jeopardyסַכָּנָה musicמוּסִיקָה)
289
887891
1378
(מזמזת את הנעימה של השלב הסופי במשחק)
15:01
Chicagoשיקגו.
290
889582
1182
שיקגו.
15:02
The two humansבני אנוש got it right.
291
890788
1370
שני האנשים ענו נכון.
15:04
Watsonווטסון, on the other handיד,
answeredענה "Torontoטורונטו" --
292
892697
4348
ווטסון, לעומת זאת, ענה "טורונטו" -
15:09
for a US cityעִיר categoryקטגוריה!
293
897069
1818
בקטגוריה של ערים בארצות הברית!
15:11
The impressiveמרשימים systemמערכת alsoגַם madeעָשׂוּי an errorשְׁגִיאָה
294
899596
2901
המערכת המרשימה גם עשתה טעות
15:14
that a humanבן אנוש would never make,
a second-graderתלמיד כיתה ב ' wouldn'tלא make.
295
902521
3651
שבן אנוש לעולם לא היה עושה,
שתלמיד כיתה ב' לא היה עושה.
15:18
Our machineמְכוֹנָה intelligenceאינטליגנציה can failלְהִכָּשֵׁל
296
906823
3109
הבינה המלאכותית שלנו יכולה להכשל
15:21
in waysדרכים that don't fitלְהַתְאִים
errorשְׁגִיאָה patternsדפוסי of humansבני אנוש,
297
909956
3100
בדרכים שאינן תואמות
לדפוסי טעויות אנושיות,
15:25
in waysדרכים we won'tרָגִיל expectלְצַפּוֹת
and be preparedמוּכָן for.
298
913080
2950
בדרכים שאנו לא מצפים להן
ולא מוכנים להן.
15:28
It'dזה ד be lousyמְחוּרבָּן not to get a jobעבודה
one is qualifiedמוסמך for,
299
916054
3638
זה יהיה מחורבן לא לקבל עבודה
שאתה מוכשר אליה,
15:31
but it would tripleלְשַׁלֵשׁ suckלִמְצוֹץ
if it was because of stackלַעֲרוֹם overflowהצפה
300
919716
3727
אבל זה יעצבן פי שלוש
אם זה יהיה בגלל גלישת מחסנית
15:35
in some subroutineשגרתית.
301
923467
1432
באיזו פונקציה תכנותית.
15:36
(Laughterצחוק)
302
924923
1579
(צחוק)
15:38
In Mayמאי of 2010,
303
926526
2786
במאי 2010,
15:41
a flashהֶבזֵק crashלְהִתְרַסֵק on Wallקִיר Streetרְחוֹב
fueledתודלק by a feedbackמָשׁוֹב loopלוּלָאָה
304
929336
4044
התרסקות בזק בוול סטריט
שהתגברה עקב תגובה חוזרת ונשנית
15:45
in Wallקִיר Street'sשל רחוב "sellמכירה" algorithmאַלגוֹרִיתְם
305
933404
3028
של אלגוריתם ה"מכירה" של וול סטריט
15:48
wipedניגב a trillionטרִילִיוֹן dollarsדולר
of valueערך in 36 minutesדקות.
306
936456
4184
מחקה ערך של טריליון דולר
ב- 36 דקות.
15:53
I don't even want to think
what "errorשְׁגִיאָה" meansאומר
307
941722
2187
אני אפילו לא רוצה לחשוב
מה המשמעות של "טעות"
15:55
in the contextהֶקשֵׁר of lethalקָטלָנִי
autonomousאוטונומי weaponsכלי נשק.
308
943933
3589
בהקשר של נשק קטלני אוטונומי.
16:01
So yes, humansבני אנוש have always madeעָשׂוּי biasesהטיות.
309
949894
3790
אז כן, אנשים מאז ומתמיד עשו הטיות.
16:05
Decisionהַחְלָטָה makersמקבלי and gatekeepersשומרי סף,
310
953708
2176
מקבלי החלטות ושומרי הסף,
16:07
in courtsבית המשפט, in newsחֲדָשׁוֹת, in warמִלחָמָה ...
311
955908
3493
בבתי משפט, בחדשות, במלחמה...
16:11
they make mistakesטעויות;
but that's exactlyבְּדִיוּק my pointנְקוּדָה.
312
959425
3038
הם עושים טעויות:
אבל זו בדיוק הטענה שלי.
16:14
We cannotלא יכול escapeבריחה
these difficultקָשֶׁה questionsשאלות.
313
962487
3521
אנחנו לא יכולים לברוח
מהשאלות הקשות הללו.
16:18
We cannotלא יכול outsourceלמיקור חוץ
our responsibilitiesאחריות to machinesמכונה.
314
966596
3516
איננו יכולים להעביר
את האחריות שלנו למכונות.
16:22
(Applauseתְשׁוּאוֹת)
315
970676
4208
(מחיאות כפים)
16:29
Artificialמְלָאכוּתִי intelligenceאינטליגנציה does not give us
a "Get out of ethicsאֶתִיקָה freeחופשי" cardכַּרְטִיס.
316
977089
4447
הבינה המלאכותית לא נותנת לנו
אישור להשתחרר מהאתיקה.
16:34
Dataנתונים scientistמַדְעָן Fredפרד Benensonבננסון
callsשיחות this math-washingשטיפת מתמטיקה.
317
982742
3381
מדען הנתונים פרד בנסון
מכנה זאת "שטיפה-מתמטית".
16:38
We need the oppositeמול.
318
986147
1389
אנחנו זקוקים לדבר ההפוך.
16:39
We need to cultivateלְטַפֵּחַ algorithmאַלגוֹרִיתְם suspicionחֲשָׁד,
scrutinyבְּדִיקָה and investigationחֲקִירָה.
319
987560
5388
עלינו לפתח אלגוריתם לחשדנות,
בחינה מדוקדקת וחקירה.
16:45
We need to make sure we have
algorithmicאלגוריתמי accountabilityדין וחשבון,
320
993380
3198
עלינו להבטיח שיש לנו
נטילת אחריות אלגוריתמית,
16:48
auditingביקורת and meaningfulבעל משמעות transparencyשְׁקִיפוּת.
321
996602
2445
ביקורות ושקיפות משמעותית.
16:51
We need to acceptלְקַבֵּל
that bringingמביא mathמתמטיקה and computationחישוב
322
999380
3234
עלינו לקבל שהכנסת מתמטיקה ומחשוב
16:54
to messyמבולגן, value-ladenערך עמוס humanבן אנוש affairsעניינים
323
1002638
2970
אל עניינים אנושיים מסובכים, עמוסי ערך
16:57
does not bringלְהָבִיא objectivityאוֹבּיֶקטִיבִיוּת;
324
1005632
2384
לא מביאה אוביקטיביות;
17:00
ratherבמקום, the complexityמוּרכָּבוּת of humanבן אנוש affairsעניינים
invadesפולש the algorithmsאלגוריתמים.
325
1008040
3633
אלא, המורכבות של עניינים אנושיים
חודרת אל האלגוריתמים.
17:04
Yes, we can and we should use computationחישוב
326
1012148
3487
כן, אנו יכולים וצריכים להשתמש במחשוב
17:07
to help us make better decisionsהחלטות.
327
1015659
2014
כדי לעזור לנו לקבל החלטות טובות יותר.
17:09
But we have to ownשֶׁלוֹ up
to our moralמוסר השכל responsibilityאַחֲרָיוּת to judgmentפְּסַק דִין,
328
1017697
5332
אך עלינו לקחת בעלות
על האחריות המוסרית והשיפוטיות שלנו,
17:15
and use algorithmsאלגוריתמים withinבְּתוֹך that frameworkמִסגֶרֶת,
329
1023053
2818
ולהשתמש באלגוריתמים במסגרת הזו,
17:17
not as a meansאומר to abdicateלְהִתְפַּטֵר
and outsourceלמיקור חוץ our responsibilitiesאחריות
330
1025895
4935
לא כאמצעי להתפטר
או להעביר את האחריות שלנו
17:22
to one anotherאַחֵר as humanבן אנוש to humanבן אנוש.
331
1030854
2454
מאחד לשני כמו מאדם לאדם.
17:25
Machineמְכוֹנָה intelligenceאינטליגנציה is here.
332
1033807
2609
הבינה המלאכותית כבר כאן.
17:28
That meansאומר we mustצריך holdלְהַחזִיק on ever tighterחזק יותר
333
1036440
3421
זה אומר שעלינו לשמור יותר מאי פעם
17:31
to humanבן אנוש valuesערכים and humanבן אנוש ethicsאֶתִיקָה.
334
1039885
2147
על ערכים אנושיים ואתיקה אנושית.
17:34
Thank you.
335
1042056
1154
תודה רבה.
17:35
(Applauseתְשׁוּאוֹת)
336
1043234
5020
(מחיאות כפיים)
Translated by Gili Baltsan
Reviewed by Ido Dekkers

▲Back to top

ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com