ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

Zejnep Tufekči (Zeynep Tufekci): Zbog mašinske inteligencije ljudski moral je sve važniji

Filmed:
1,648,711 views

Mašinska inteligencija je stigla, i već je koristimo u donošenju subjektivnih odluka. Međutim, zbog složenog načina rasta i napredovanja veštačke inteligencije teško ju je razumeti, a još teže kontrolisati. U ovom poučnom govoru, sociološkinja tehnologije Zejnep Tufekči objašnjava kako inteligentne mašine mogu da pogreše tako da se to ne uklapa u ljudske obrasce grešenja - kao i na neočekivane načine na koje nismo pripremljeni. "Ne možemo da delegiramo naša zaduženja mašinama", kaže. "Moramo se kao nikad pre čvrsto držati ljudskih vrednosti i ljudske etike."
- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio

Double-click the English transcript below to play the video.

00:12
So, I startedпочела my first jobпосао
as a computerрачунар programmerпрограматор
0
739
4122
Dakle, počela sam da radim
kao kompjuterska programerka
00:16
in my very first yearгодине of collegeколеџ --
1
4885
1956
kad sam bila prva godina na fakultetu -
00:18
basicallyу основи, as a teenagerтинејџер.
2
6865
1507
u suštini kao tinejdžerka.
00:20
SoonUskoro after I startedпочела workingрад,
3
8889
1732
Ubrzo nakon što sam počela da radim,
00:22
writingписање softwareсофтвер in a companyкомпанија,
4
10645
1610
da pišem softvere za firmu,
00:24
a managerменаџер who workedрадио је at the companyкомпанија
cameДошао down to where I was,
5
12799
3635
menadžer koji je radio u firmi
se spustio do mene
00:28
and he whisperedшапутао to me,
6
16458
1268
i prošaputao mi je:
00:30
"Can he tell if I'm lyingлажи?"
7
18229
2861
"Zna li da lažem?"
00:33
There was nobodyнико elseдруго in the roomсоба.
8
21806
2077
Nije bilo više bilo koga u prostoriji.
00:37
"Can who tell if you're lyingлажи?
And why are we whisperingљapuжe?"
9
25032
4389
"Zna li ko da lažete? I zašto šapućemo?"
00:42
The managerменаџер pointedпоказао
at the computerрачунар in the roomсоба.
10
30266
3107
Menadžer je pokazao
na kompjuter u prostoriji.
00:45
"Can he tell if I'm lyingлажи?"
11
33397
3096
"Zna li da lažem?"
00:49
Well, that managerменаџер was havingимати
an affairafera with the receptionistrecepcionarka.
12
37613
4362
Pa, taj menadžer je imao aferu
sa recepcionerom.
00:53
(LaughterSmeh)
13
41999
1112
(Smeh)
00:55
And I was still a teenagerтинејџер.
14
43135
1766
A ja sam još uvek bila tinejdžerka.
00:57
So I whisper-shoutedDa li je vikao љapat back to him,
15
45447
2019
Pa sam mu polušapatom odgovorila:
00:59
"Yes, the computerрачунар can tell
if you're lyingлажи."
16
47490
3624
"Da, kompjuter zna kad mu lažete."
01:03
(LaughterSmeh)
17
51138
1806
(Smeh)
01:04
Well, I laughedсмејао се, but actuallyзаправо,
the laugh'ssmeje se on me.
18
52968
2923
Pa, smejala sam se,
ali zapravo šala je na moj račun.
01:07
NowadaysOvih dana, there are computationalрачунарски systemsсистема
19
55915
3268
Ovih dana imamo kompjuterske sisteme
01:11
that can sussIspitaj out
emotionalемоционално statesдржаве and even lyingлажи
20
59207
3548
koji mogu da prozru
emocionalna stanja, čak i laganje,
01:14
from processingобрада humanљудско facesлица.
21
62779
2044
obradom ljudskih lica.
01:17
AdvertisersOglašivača and even governmentsвлада
are very interestedзаинтересован.
22
65248
4153
Oglašivači, čak i vlade
su veoma zainteresovane za to.
01:22
I had becomeпостати a computerрачунар programmerпрограматор
23
70319
1862
Postala sam kompjuterska programerka
01:24
because I was one of those kidsклинци
crazyлуд about mathматематика and scienceНаука.
24
72205
3113
jer sam bila jedno od dece
koja su luda za matematikom i naukom.
01:27
But somewhereнегде alongзаједно the lineлине
I'd learnedнаучио about nuclearнуклеарна weaponsоружје,
25
75942
3108
No, nekako sam usput
saznala za nuklearno oružje
01:31
and I'd gottenготтен really concernedзабринути
with the ethicsetika of scienceНаука.
26
79074
2952
i postala sam zaista zabrinuta
zbog naučne etike.
01:34
I was troubledузнемирен.
27
82050
1204
Mučilo me je to.
01:35
HoweverMeđutim, because of familyпородица circumstancesоколности,
28
83278
2641
Međutim, zbog porodičnih okolnosti,
01:37
I alsoтакође neededпотребно to startпочетак workingрад
as soonускоро as possibleмогуће.
29
85943
3298
takođe je bilo potrebno
da počnem da radim što pre.
01:41
So I thought to myselfЈа сам, hey,
let me pickпицк a technicalтехнички fieldпоље
30
89265
3299
Pa sam pomislila u sebi, hej,
hajde da izaberem tehničku oblast
01:44
where I can get a jobпосао easilyлако
31
92588
1796
gde mogu lako da se zaposlim
01:46
and where I don't have to dealдоговор
with any troublesomeproblematični questionsпитања of ethicsetika.
32
94408
4018
i gde ne moram da se bavim
bilo kakvim mučnim etičkim pitanjem.
01:51
So I pickedизабран computersрачунари.
33
99022
1529
Pa sam odabrala kompjutere.
01:52
(LaughterSmeh)
34
100575
1104
(Smeh)
01:53
Well, haHa, haHa, haHa!
All the laughsсмеје се are on me.
35
101703
3410
Pa, ha, ha, ha!
Šala je skroz na moj račun.
01:57
NowadaysOvih dana, computerрачунар scientistsнаучници
are buildingзграде platformsплатформе
36
105137
2754
Ovih dana kompjuterski naučnici
prave platforme
01:59
that controlконтрола what a billionмилијарде
people see everyсваки day.
37
107915
4209
koje upravljaju onim
što milijarde ljudi gledaju svakodnevno.
02:05
They're developingразвој carsаутомобили
that could decideодлучити who to runтрцати over.
38
113052
3822
Razvijaju automobile
koji mogu da odluče koga da pregaze.
02:09
They're even buildingзграде machinesмашине, weaponsоружје,
39
117707
3213
Čak grade mašine, oružja,
02:12
that mightМожда killубиј humanљудско beingsбића in warрат.
40
120944
2285
koja mogu da ubijaju ljude u ratu.
02:15
It's ethicsetika all the way down.
41
123253
2771
U potpunosti se radi o etici.
02:19
MachineMašina intelligenceинтелигенција is here.
42
127183
2058
Mašinska inteligencija je tu.
02:21
We're now usingКористећи computationрачунање
to make all sortврста of decisionsОдлуке,
43
129823
3474
Trenutno koristimo kompjutere
da donesemo razne odluke,
02:25
but alsoтакође newново kindsврсте of decisionsОдлуке.
44
133321
1886
ali i nove tipove odluka.
02:27
We're askingпитајући questionsпитања to computationрачунање
that have no singleједно right answersодговори,
45
135231
5172
Postavljamo kompjuterima pitanja
koja nemaju jedan pravi odgovor,
02:32
that are subjectiveсубјективно
46
140427
1202
koja su subjektivna,
02:33
and open-endedотворени and value-ladenvrednost preopterećene.
47
141653
2325
otvorena i krcata vrednostima.
02:36
We're askingпитајући questionsпитања like,
48
144002
1758
Postavljamo ovakva pitanja:
02:37
"Who should the companyкомпанија hireнајам?"
49
145784
1650
"Koga da firma zaposli?"
02:40
"WhichŠto updateажурирање from whichкоја friendпријатељ
should you be shownпоказано?"
50
148096
2759
"Koje ažuriranje od kog prijatelja
treba da bude vidljivo?"
02:42
"WhichŠto convictosuđenik is more
likelyвероватно to reoffendOva.nesreжna?"
51
150879
2266
"Koji osuđenik je skloniji
novom prestupu?"
02:45
"WhichŠto newsвести itemставка or movieфилм
should be recommendedPreporučuje se to people?"
52
153514
3054
"Koji novinski čalanak ili film
treba preporučiti ljudima?"
02:48
Look, yes, we'veми смо been usingКористећи
computersрачунари for a while,
53
156592
3372
Gledajte, da, već neko vreme
koristimo kompjutere,
02:51
but this is differentразличит.
54
159988
1517
ali ovo je drugačije.
02:53
This is a historicalисторијски twistobrt,
55
161529
2067
Ovo je istorijski preokret
02:55
because we cannotне може anchorсидро computationрачунање
for suchтаква subjectiveсубјективно decisionsОдлуке
56
163620
5337
jer ne možemo da usidrimo kompjutere
kod sličnih subjektivnih odluka
03:00
the way we can anchorсидро computationрачунање
for flyingлети airplanesавиони, buildingзграде bridgesмостови,
57
168981
5420
na način na koji usidravamo kompjutere
koji upravljaju avionima, grade mostove,
03:06
going to the moonмесец.
58
174425
1259
idu na mesec.
03:08
Are airplanesавиони saferсигурније?
Did the bridgeмост swayпотез and fallпасти?
59
176449
3259
Jesu li avioni bezbedniji?
Da li se most zaljuljao i pao?
03:11
There, we have agreed-uponsporazumno,
fairlyпоштено clearјасно benchmarksodrednica,
60
179732
4498
Tu imamo uspostavljene
prilično jasne repere
03:16
and we have lawsЗакони of natureприрода to guideВодич us.
61
184254
2239
i tu su zakoni prirode da nas vode.
03:18
We have no suchтаква anchorssidra and benchmarksodrednica
62
186517
3394
Nemamo slična težišta i repere
03:21
for decisionsОдлуке in messyу нереду humanљудско affairsствари.
63
189935
3963
za odluke koje se tiču
haotičnih ljudskih odnosa.
03:25
To make things more complicatedкомпликован,
our softwareсофтвер is gettingдобијања more powerfulмоћан,
64
193922
4237
Da bi stvari bile još složenije,
naši softveri postaju sve moćniji,
03:30
but it's alsoтакође gettingдобијања lessмање
transparentтранспарентно and more complexкомплекс.
65
198183
3773
ali takođe postaju manje
transparentni i složeniji.
03:34
RecentlyNedavno, in the pastпрошлост decadeдекада,
66
202542
2040
U skorije vreme, u poslednjoj deceniji,
03:36
complexкомплекс algorithmsалгоритми
have madeмаде great stridesvelike korake.
67
204606
2729
složeni algoritmi
su poprilično napredovali.
03:39
They can recognizeпрепознати humanљудско facesлица.
68
207359
1990
Mogu da prepoznaju ljudska lica.
03:41
They can decipherodgonetnuti handwritingrukopis.
69
209985
2055
Mogu da dešifruju rukopis.
03:44
They can detectоткрити creditкредит cardкартица fraudprevara
70
212436
2066
Mogu da zapaze prevaru
kod kreditnih kartica
03:46
and blockблокирати spamСпам
71
214526
1189
i da blokiraju spamove
03:47
and they can translateпревести betweenизмеђу languagesјезике.
72
215739
2037
i da prevode s jezika na jezik.
03:49
They can detectоткрити tumorsтумори in medicalмедицински imagingza obradu slika.
73
217800
2574
Mogu da zapaze tumore
na medicinskim snimcima.
03:52
They can beatпобедити humansљуди in chessшах and Go.
74
220398
2205
Mogu da pobede ljude u šahu i gou.
03:55
Much of this progressнапредак comesдолази
from a methodметода calledпозвани "machineмашина learningучење."
75
223264
4504
Veliki deo ovog napretka potiče
od metoda nazvanog "mašinsko učenje".
04:00
MachineMašina learningучење is differentразличит
than traditionalтрадиционални programmingпрограмирање,
76
228175
3187
Mašinsko učenje se razlikuje
od tradicionalnog programiranja,
04:03
where you give the computerрачунар
detaileddetaljne, exactтачно, painstakingmarljivog instructionsупутства.
77
231386
3585
gde dajete kompjuteru
detaljne, tačne, minuciozne instrukcije.
04:07
It's more like you take the systemсистем
and you feedнапајање it lots of dataподаци,
78
235378
4182
Pre se radi o odabiru sistema
i pohranjivanju podataka u njega,
uključujući nestrukturirane podatke,
04:11
includingукључујући unstructuredNestrukturirani dataподаци,
79
239584
1656
04:13
like the kindкинд we generateГенериши
in our digitalдигитални livesживи.
80
241264
2278
poput onih koje stvaramo
u digitalnim životima.
04:15
And the systemсистем learnsuči
by churningpravljenja putera throughкроз this dataподаци.
81
243566
2730
A sistem uči, pretresajući podatke.
04:18
And alsoтакође, cruciallypresudno,
82
246669
1526
Suštinsko je takođe
04:20
these systemsсистема don't operateрадити
underиспод a single-answersingl-odgovor logicлогика.
83
248219
4380
da se ovi sistemi ne vode
logikom samo jednog odgovora.
04:24
They don't produceпроизвести a simpleједноставно answerодговор;
it's more probabilisticverovatni:
84
252623
2959
Ne proizvode jednostavne odgovore;
više se radi o verovatnoći:
04:27
"This one is probablyвероватно more like
what you're looking for."
85
255606
3483
"Ovo je verovatno sličnije
onome što tražite."
04:32
Now, the upsideгоре is:
this methodметода is really powerfulмоћан.
86
260023
3070
Sad, pozitivno je:
ovaj metod je zaista moćan.
Glavni u Guglovom sistemu
za VI je to nazvao:
04:35
The headглава of Google'sGoogle- AIAI systemsсистема calledпозвани it,
87
263117
2076
04:37
"the unreasonablenerazumno effectivenessефикасност of dataподаци."
88
265217
2197
"nerazumna efikasnost podataka."
04:39
The downsideнедостатак is,
89
267791
1353
Negativno je:
04:41
we don't really understandРазумем
what the systemсистем learnedнаучио.
90
269738
3071
ne razumemo zaista šta je sistem naučio.
04:44
In factчињеница, that's its powerмоћ.
91
272833
1587
Zapravo, to je njegova moć.
04:46
This is lessмање like givingдавање
instructionsупутства to a computerрачунар;
92
274946
3798
Ovo manje liči na davanje
uputstava kompjuteru;
04:51
it's more like trainingобука
a puppy-machine-creatureštene-mašina-stvorenje
93
279200
4064
više liči na dresiranje
bića - mehaničko kuče,
04:55
we don't really understandРазумем or controlконтрола.
94
283288
2371
koje zaista ne razumemo,
niti kontrolišemo.
04:58
So this is our problemпроблем.
95
286362
1551
Dakle, to je naš problem.
05:00
It's a problemпроблем when this artificialвештачки
intelligenceинтелигенција systemсистем getsдобива things wrongпогрешно.
96
288427
4262
Problem je kad ovaj sistem veštačke
inteligencije nešto pogrešno shvati.
05:04
It's alsoтакође a problemпроблем
when it getsдобива things right,
97
292713
3540
Takođe je problem kad nešto dobro shvati.
05:08
because we don't even know whichкоја is whichкоја
when it's a subjectiveсубјективно problemпроблем.
98
296277
3628
jer čak ni ne znamo šta je šta
kod subjektivnog problema.
05:11
We don't know what this thing is thinkingразмишљање.
99
299929
2339
Ne znamo o čemu ova stvar razmišlja.
05:15
So, considerразмотрити a hiringзапошљавање algorithmalgoritam --
100
303493
3683
Dakle, uzmite u obzir
algoritam za zapošljavanje -
05:20
a systemсистем used to hireнајам people,
usingКористећи machine-learningmašina-učenje systemsсистема.
101
308123
4311
sistem koji se koristi pri zapošljavanju,
koji koristi sisteme mašinskog učenja.
05:25
SuchTakva a systemсистем would have been trainedобучени
on previousПретходна employees'zaposlenih dataподаци
102
313052
3579
Sličan sistem je obučavan
na podacima prethodnih zaposlenih
05:28
and instructedinstrukcije to find and hireнајам
103
316655
2591
i naučen je da pronalazi i zapošljava
05:31
people like the existingпостојећи
highвисоко performersizvođači in the companyкомпанија.
104
319270
3038
ljude poput postojećih
najučinkovitijih u firmi.
05:34
SoundsZvuci good.
105
322814
1153
Zvuči dobro.
05:35
I onceједном attendedprisustvovali su a conferenceконференција
106
323991
1999
Jednom sam bila na konferenciji
05:38
that broughtдоведен togetherзаједно
humanљудско resourcesресурса managersменаџери and executivesrukovodioci,
107
326014
3125
koja je spojila menadžere
iz kadrovske službe i direktore,
ljude s visokih pozicija,
05:41
high-levelвисок ниво people,
108
329163
1206
koristeći ove sisteme zapošljavanja.
05:42
usingКористећи suchтаква systemsсистема in hiringзапошљавање.
109
330393
1559
05:43
They were superСупер excitedузбуђени.
110
331976
1646
Bili su veoma uzbuđeni.
05:45
They thought that this would make hiringзапошљавање
more objectiveобјективан, lessмање biasedпристрасан,
111
333646
4653
Smatrali su da bi zbog ovoga zapošljavanje
bilo objektivnije, nepristrasnije,
05:50
and give womenЖене
and minoritiesмањине a better shotпуцањ
112
338323
3000
i da bi žene i manjine imale više šanse,
05:53
againstпротив biasedпристрасан humanљудско managersменаџери.
113
341347
2188
nasuprot pristrasnim ljudskim menadžerima.
05:55
And look -- humanљудско hiringзапошљавање is biasedпристрасан.
114
343559
2843
I, gledajte -
zapošljavanje ljudi je pristrasno.
05:59
I know.
115
347099
1185
Znam.
06:00
I mean, in one of my earlyрано jobsпосао
as a programmerпрограматор,
116
348308
3005
Mislim, na jednom od mojih
prvih poslova kao programerke,
06:03
my immediateнепосредан managerменаџер would sometimesпонекад
come down to where I was
117
351337
3868
moja nadređena menadžerka bi ponekad
prišla mestu na kom sam,
06:07
really earlyрано in the morningјутро
or really lateкасни in the afternoonпоподневни,
118
355229
3753
veoma rano ujutru
ili veoma kasno poslepodne,
06:11
and she'dона би say, "ZeynepZejnep,
let's go to lunchручак!"
119
359006
3062
i rekla bi: "Zejnep, pođimo na ručak!"
06:14
I'd be puzzledzbunjen by the weirdчудан timingвреме.
120
362724
2167
Zbunilo bi me neobično vreme.
06:16
It's 4pmpm. LunchRučak?
121
364915
2129
Četiri je popodne. Ručak?
06:19
I was brokeсломио, so freeбесплатно lunchручак. I always wentотишао.
122
367068
3094
Bila sam švorc, pa sam uvek išla
na besplatan ručak.
06:22
I laterкасније realizedреализован what was happeningдогађај.
123
370618
2067
Kasnije sam shvatila o čemu se radilo.
06:24
My immediateнепосредан managersменаџери
had not confessedpriznao to theirњихова higher-upsglaveљine
124
372709
4546
Moji nadređeni menadžeri
nisu priznali svojim nadređenim
da je programer kog su zaposlili
za ozbiljan posao bila tinejdžerka
06:29
that the programmerпрограматор they hiredангажован
for a seriousозбиљан jobпосао was a teenтеен girlдевојка
125
377279
3113
06:32
who woreносио jeansфармерке and sneakersпатике to work.
126
380416
3930
koja je nosila farmerke i patike na posao.
06:37
I was doing a good jobпосао,
I just lookedпогледао wrongпогрешно
127
385174
2202
Bila sam dobar radnik,
samo pogrešnog izgleda
06:39
and was the wrongпогрешно ageстарост and genderпол.
128
387400
1699
i bila sam pogrešnih godina i roda.
06:41
So hiringзапошљавање in a gender-polu- and race-blindslep za trku way
129
389123
3346
Pa zapošljavanje
na rodno i rasno nepristrasan način
06:44
certainlyсигурно soundsзвуци good to me.
130
392493
1865
izvesno da mi zvuči dobro.
06:47
But with these systemsсистема,
it is more complicatedкомпликован, and here'sево why:
131
395031
3341
Ali uz ove sisteme,
složenije je, a evo zašto:
06:50
CurrentlyTrenutno, computationalрачунарски systemsсистема
can inferodredi all sortsсортс of things about you
132
398968
5791
trenutno kompjuterski sistemi
mogu da zaključe razne stvari o vama
06:56
from your digitalдигитални crumbsmrvice,
133
404783
1872
iz vaših digitalnih tragova,
06:58
even if you have not
disclosedotkrivena je those things.
134
406679
2333
čak iako to niste obelodanili.
07:01
They can inferodredi your sexualсексуално orientationpoložaj,
135
409506
2927
Mogu da zaključe vašu
seksualnu orijentaciju,
07:04
your personalityличност traitsособине,
136
412994
1306
vaše lične osobine,
07:06
your politicalполитички leaningssklonosti.
137
414859
1373
vaša politička naginjanja.
07:08
They have predictivePREDIKTIVNA powerмоћ
with highвисоко levelsнивоа of accuracyтачност.
138
416830
3685
Imaju moć predviđanja
sa visokim stepenom tačnosti.
07:13
RememberSeti se -- for things
you haven'tније even disclosedotkrivena je.
139
421362
2578
Zapamtite - za ono što čak
niste ni obelodanili.
07:15
This is inferenceзакључак.
140
423964
1591
To je zaključivanje.
07:17
I have a friendпријатељ who developedразвијен
suchтаква computationalрачунарски systemsсистема
141
425579
3261
Imam prijateljicu koja je razvila
sličan kompjuterski sistem
07:20
to predictпредвидети the likelihoodвероватноћа
of clinicalклинички or postpartumPostporoрajna depressionдепресија
142
428864
3641
za predviđanje verovatnoće
kliničke ili postporođajne depresije
07:24
from socialсоцијално mediaмедији dataподаци.
143
432529
1416
iz podataka sa društvenih mreža.
07:26
The resultsрезултате are impressiveимпресиван.
144
434676
1427
Rezultati su bili impresivni.
07:28
Her systemсистем can predictпредвидети
the likelihoodвероватноћа of depressionдепресија
145
436492
3357
Njeni sistemi mogu da predvide
verovatnoću depresije
07:31
monthsмесеци before the onsetpojava of any symptomsсимптоми --
146
439873
3903
mesecima pre nastupa
bilo kakvih simptoma -
07:35
monthsмесеци before.
147
443800
1373
mesecima ranije.
07:37
No symptomsсимптоми, there's predictionпредвиђање.
148
445197
2246
Bez simptoma imamo predviđanje.
07:39
She hopesнада it will be used
for earlyрано interventionинтервенције. Great!
149
447467
4812
Ona se nada da će biti korišćeni
za rane intervencije. Sjajno!
07:44
But now put this in the contextконтекст of hiringзапошљавање.
150
452911
2040
Sad ovo stavite u kontekst zapošljavanja.
07:48
So at this humanљудско resourcesресурса
managersменаџери conferenceконференција,
151
456027
3046
Pa sam na ovoj konferenciji
menadžera iz kadrovske
07:51
I approachedприближио се a high-levelвисок ниво managerменаџер
in a very largeвелики companyкомпанија,
152
459097
4709
prišla visokoprofilnoj menadžerki
iz prilično velike firme,
07:55
and I said to her, "Look,
what if, unbeknownstNisam imao pojma to you,
153
463830
4578
i rekla sam joj: "Pazi, šta ako bi,
bez tvog znanja,
08:00
your systemсистем is weedingkorova out people
with highвисоко futureбудућност likelihoodвероватноћа of depressionдепресија?
154
468432
6549
ovaj sistem iskorenjivao ljude sa velikim
izgledima za depresiju u budućnosti?
08:07
They're not depressedдепресиван now,
just maybe in the futureбудућност, more likelyвероватно.
155
475761
3376
Trenutno nisu depresivni, ali je veća
verovatnoća da će biti u budućnosti.
08:11
What if it's weedingkorova out womenЖене
more likelyвероватно to be pregnantтрудна
156
479923
3406
Šta ako iskorenjuje žene
s većom verovatnoćom da zatrudne
08:15
in the nextследећи yearгодине or two
but aren'tнису pregnantтрудна now?
157
483353
2586
u narednih godinu ili dve,
ali trenutno nisu trudne?
08:18
What if it's hiringзапошљавање aggressiveагресиван people
because that's your workplaceрадно место cultureкултура?"
158
486844
5636
Šta ako zapošljava agresivne ljude
jer je to kultura na vašem radnom mestu?"
08:25
You can't tell this by looking
at genderпол breakdownskvarova.
159
493173
2691
Ovo ne možete da vidite,
posmatrajući rodnu nejednakost.
08:27
Those mayможе be balancedуравнотежено.
160
495888
1502
Ona bi mogla da bude u ravnoteži.
08:29
And sinceОд this is machineмашина learningучење,
not traditionalтрадиционални codingкодирање,
161
497414
3557
A kako se radi o mašinskom učenju,
a ne tradicionalnom programiranju,
08:32
there is no variablePromenljiva there
labeledsa oznakom "higherвише riskризик of depressionдепресија,"
162
500995
4907
tu nemamo varijablu
s oznakom "veći rizik od depresije",
08:37
"higherвише riskризик of pregnancytrudnoća,"
163
505926
1833
"veći rizik za trudnoću",
08:39
"aggressiveагресиван guy scaleСкала."
164
507783
1734
"skala agresivnih muškaraca".
08:41
Not only do you not know
what your systemсистем is selectingBiranje on,
165
509995
3679
Ne samo da ne znate
na osnovu čega vaš sistem bira,
08:45
you don't even know
where to beginзапочети to look.
166
513698
2323
čak ne znate ni gde da gledate.
08:48
It's a blackцрн boxбок.
167
516045
1246
To je crna kutija.
08:49
It has predictivePREDIKTIVNA powerмоћ,
but you don't understandРазумем it.
168
517315
2807
Ima moć predviđanja,
ali je vi ne razumete.
08:52
"What safeguardszaštitne mere," I askedпитао, "do you have
169
520486
2369
"Koja vam je zaštita",
pitala sam, "koju imate
08:54
to make sure that your blackцрн boxбок
isn't doing something shadysumnjivim?"
170
522879
3673
kojom se starate da crna kutija
ne obavlja nešto sumnjivo?"
09:00
She lookedпогледао at me as if I had
just steppedзауставио се on 10 puppyкучко tailsрепа.
171
528863
3878
Pogledala me je kao da sam
nagazila na 10 kučećih repića.
09:04
(LaughterSmeh)
172
532765
1248
(Smeh)
09:06
She staredзурио at me and she said,
173
534037
2041
Buljila je u mene i rekla:
09:08
"I don't want to hearчујеш
anotherдруги wordреч about this."
174
536556
4333
"Ne želim da čujem ni reč više o ovome."
09:13
And she turnedокренуо се around and walkedходао away.
175
541458
2034
Okrenula se i otišla.
09:16
MindUm you -- she wasn'tније rudenepristojno.
176
544064
1486
Pazite - nije bila nepristojna.
09:17
It was clearlyјасно: what I don't know
isn't my problemпроблем, go away, deathсмрт stareбуљити.
177
545574
6308
Jasno se radilo o ovome: ono što ne znam
nije moj problem, nestani, prazan pogeld.
09:23
(LaughterSmeh)
178
551906
1246
(Smeh)
09:25
Look, suchтаква a systemсистем
mayможе even be lessмање biasedпристрасан
179
553862
3839
Vidite, sličan sistem bi mogao
čak da bude na neki način
09:29
than humanљудско managersменаџери in some waysначини.
180
557725
2103
i manje pristrasan od ljudskih menadžera.
09:31
And it could make monetarymonetarne senseсмисао.
181
559852
2146
I mogao bi da ima finansijsku prednost.
09:34
But it could alsoтакође leadолово
182
562573
1650
Ali bi takođe mogao da dovede
09:36
to a steadyстабилно but stealthynevidljivost
shuttingzatvaraju out of the jobпосао marketтржиште
183
564247
4748
do stabilnog, ali prikrivenog
isključivanja sa tržišta rada
09:41
of people with higherвише riskризик of depressionдепресија.
184
569019
2293
ljudi s većim rizikom od depresije.
09:43
Is this the kindкинд of societyдруштво
we want to buildизградити,
185
571753
2596
Da li je ovo oblik društva
koji želimo da gradimo,
09:46
withoutбез even knowingзнајући we'veми смо doneГотово this,
186
574373
2285
a da pri tom ne znamo da smo to uradili
09:48
because we turnedокренуо се decision-makingодлучивати
to machinesмашине we don't totallyтотално understandРазумем?
187
576682
3964
jer smo prepustili donošenje odluka
mašinama koje u potpunosti ne razumemo?
09:53
AnotherDrugi problemпроблем is this:
188
581265
1458
Drugi problem je sledeće:
09:55
these systemsсистема are oftenчесто trainedобучени
on dataподаци generatedгенерисан by our actionsакције,
189
583314
4452
ovi sistemi su često obučavani
na podacima koje proizvode naša delanja,
09:59
humanљудско imprintsotisci.
190
587790
1816
na ljudskom otisku.
10:02
Well, they could just be
reflectingрефлектујући our biasesпредрасуде,
191
590188
3808
Pa, oni bi prosto mogli
da odražavaju naše predrasude,
10:06
and these systemsсистема
could be pickingбирање up on our biasesпредрасуде
192
594020
3593
i ovi sistemi bi mogli
da pokupe naše predrasude
10:09
and amplifyingamplifying them
193
597637
1313
i da ih naglase
10:10
and showingпоказивање them back to us,
194
598974
1418
i potom da nam ih pokažu,
10:12
while we're tellingговорећи ourselvesсами,
195
600416
1462
dok mi govorimo sebi:
10:13
"We're just doing objectiveобјективан,
neutralнеутрално computationрачунање."
196
601902
3117
"Samo izvodimo objektivne,
neutralne proračune."
10:18
ResearchersIstraživači foundнашао that on GoogleGoogle,
197
606314
2677
Istraživači su otkrili da na Guglu
10:22
womenЖене are lessмање likelyвероватно than menмушкарци
to be shownпоказано jobпосао adsогласи for high-payingplacene jobsпосао.
198
610134
5313
ženama mnogo ređe nego muškarcima
prikazuju oglase za dobro plaćene poslove.
10:28
And searchingпретраживање for African-AmericanAfro-Amerikanac namesимена
199
616463
2530
A pretraga afroameričkih imena
10:31
is more likelyвероватно to bringдовести up adsогласи
suggestingсугеришући criminalкриминал historyисторија,
200
619017
4706
često sa sobom povlači oglase
koji nagoveštavaju kriminalnu prošlost,
10:35
even when there is noneниједан.
201
623747
1567
čak i kad ona ne postoji.
10:38
SuchTakva hiddenсакривен biasesпредрасуде
and black-boxCrna kutija algorithmsалгоритми
202
626693
3549
Slične prikrivene predrasude
i algoritmi nalik crnoj kutiji,
10:42
that researchersистраживачи uncoverOtkrijte sometimesпонекад
but sometimesпонекад we don't know,
203
630266
3973
koje istraživači povremeno otkrivaju,
ali ponekad to ne uspeju,
10:46
can have life-alteringnajpodmukliji consequencesпоследице.
204
634263
2661
mogu da imaju ozbiljne posledice.
10:49
In WisconsinWisconsin, a defendantoptuženi
was sentencedosuđen to sixшест yearsгодине in prisonзатвор
205
637958
4159
Okrivljeni iz Viskonsina
je osuđen na šest godina zatvora
10:54
for evadingopiranje the policeполиција.
206
642141
1355
zbog izbegavanja policije.
10:56
You mayможе not know this,
207
644824
1186
Možda ne znate za ovo,
10:58
but algorithmsалгоритми are increasinglyсве више used
in paroleuslovni otpust and sentencingizricanje kazne decisionsОдлуке.
208
646034
3998
ali algoritme sve češće koriste
u odlučivanju o uslovnoj ili kazni.
11:02
He wanted to know:
How is this scoreрезултат calculatedizračunava?
209
650056
2955
Želeo je da zna:
kako su izračunali ovaj rezultat?
11:05
It's a commercialкомерцијално blackцрн boxбок.
210
653795
1665
To je komercijalna crna kutija.
11:07
The companyкомпанија refusedodbio je to have its algorithmalgoritam
be challengedизазов in openотворен courtсуд.
211
655484
4205
Firma je odbila da njen algoritam
izazovu na javnom suđenju.
11:12
But ProPublicaProPublica, an investigativeistraživačkog novinarstva
nonprofitнепрофитна, auditedrevizije that very algorithmalgoritam
212
660396
5532
No, ProPublica, istraživačka neprofitna
organizacija je proverila taj algoritam
11:17
with what publicјавно dataподаци they could find,
213
665952
2016
sa podacima koje su uspeli da nađu
11:19
and foundнашао that its outcomesисходи were biasedпристрасан
214
667992
2316
i otkrili su da su njihovi
rezultati pristrasni,
11:22
and its predictivePREDIKTIVNA powerмоћ
was dismalsumorno, barelyједва better than chanceшанса,
215
670332
3629
a da je njihova moć predviđanja očajna,
jedva bolja od nagađanja
11:25
and it was wronglypogrešno labelingoznačavanju
blackцрн defendantsoptuženi as futureбудућност criminalskriminalci
216
673985
4416
i da su pogrešno označavali
okrivljene crnce kao buduće kriminalce,
11:30
at twiceдва пута the rateстопа of whiteбео defendantsoptuženi.
217
678425
3895
dvostruko češće nego okrivljene belce.
11:35
So, considerразмотрити this caseслучај:
218
683891
1564
Pa, razmotrite ovaj slučaj:
11:38
This womanжена was lateкасни
pickingбирање up her godsistergodsister
219
686103
3852
ova žena je kasnila da pokupi svoje kumče
11:41
from a schoolшкола in BrowardBroward CountyOkrug, FloridaNa Floridi,
220
689979
2075
iz okruga Brauard u Floridi,
11:44
runningтрчање down the streetулица
with a friendпријатељ of hersњена.
221
692757
2356
trčala je niz ulicu
sa svojom prijateljicom.
11:47
They spottedspazio an unlockedotključana kid'sклинци bikeбицикл
and a scooterskuter on a porchпорцх
222
695137
4099
Spazile su nezaključan dečji bicikl
i skuter na tremu
11:51
and foolishlybudalasto jumpedскочио on it.
223
699260
1632
i nesmotreno su sele na bicikl.
11:52
As they were speedingprebrzo off,
a womanжена cameДошао out and said,
224
700916
2599
Dok su jurile dalje,
žena je izašla i rekla:
11:55
"Hey! That's my kid'sклинци bikeбицикл!"
225
703539
2205
"Hej! To je bicikl mog deteta!"
11:57
They droppedпао it, they walkedходао away,
but they were arrestedУхапшен.
226
705768
3294
Ostavile su ga, odšetale, ali su uhapšene.
12:01
She was wrongпогрешно, she was foolishglupo,
but she was alsoтакође just 18.
227
709086
3637
Pogrešila je, bila je nesmotrena,
ali je takođe imala svega 18 godina.
12:04
She had a coupleпар of juvenileмалолетник misdemeanorsprekršaje.
228
712747
2544
Imala je nekoliko maloletničkih prekršaja.
12:07
MeanwhileU medjuvremenu, that man had been arrestedУхапшен
for shopliftingkrađama in Home DepotDepo --
229
715808
5185
U međuvremenu, ovaj čovek je uhapšen
zbog krađe u supermarketu -
12:13
85 dollars'долара " worthвреди of stuffствари,
a similarслично pettyситно crimeзлочин.
230
721017
2924
robe u vrednosti od 85 dolara,
sličan manji zločin.
12:16
But he had two priorпре
armednaoružani robberypljačka convictionsosuđujuće presude.
231
724766
4559
Ali je pre toga imao
dve osude zbog oružane pljačke.
12:21
But the algorithmalgoritam scoredpostigao je her
as highвисоко riskризик, and not him.
232
729955
3482
Ali je algoritam nju ocenio
kao visokorizičnu, a njega nije.
12:26
Two yearsгодине laterкасније, ProPublicaProPublica foundнашао
that she had not reoffendeduvredila.
233
734746
3874
Dve godine kasnije, ProPublica je otkrila
da ona nije imala novih prekršaja.
12:30
It was just hardтешко to get a jobпосао
for her with her recordзапис.
234
738644
2550
Samo joj je sa dosijeom
bilo teško da nađe posao.
12:33
He, on the other handруку, did reoffendOva.nesreжna
235
741218
2076
On, s druge strane, ponovo je u zatvoru
12:35
and is now servingслужи an eight-yearосам година
prisonзатвор termтермина for a laterкасније crimeзлочин.
236
743318
3836
i ovaj put služi kaznu od osam godina
zbog kasnijeg zločina.
12:40
ClearlyJasno, we need to auditrevizija our blackцрн boxesкутије
237
748088
3369
Očigledno, moramo da proveravamo
naše crne kutije
12:43
and not have them have
this kindкинд of uncheckedNeprovjereni powerмоћ.
238
751481
2615
kako ne bi imale
sličnu nekontrolisanu moć.
12:46
(ApplauseAplauz)
239
754120
2879
(Aplauz)
12:50
AuditsRevizije are great and importantважно,
but they don't solveреши all our problemsпроблеми.
240
758087
4242
Provere su sjajne i važne,
ali ne rešavaju sve naše probleme.
12:54
Take Facebook'sFacebook se powerfulмоћан
newsвести feedнапајање algorithmalgoritam --
241
762353
2748
Uzmite Fejsbukov moćan
algoritam za dostavu vesti -
12:57
you know, the one that ranksrangira everything
and decidesодлучује what to showсхов you
242
765125
4843
znate, onaj koji sve rangira
i odlučuje šta da vam pokaže
13:01
from all the friendsпријатељи and pagesстранице you followпратити.
243
769992
2284
od svih prijatelja
i stranica koje pratite.
13:04
Should you be shownпоказано anotherдруги babyбеба pictureслика?
244
772898
2275
Da li da vam pokaže još jednu sliku bebe?
13:07
(LaughterSmeh)
245
775197
1196
(Smeh)
13:08
A sullenOsamljen noteБелешка from an acquaintancepoznanik?
246
776417
2596
Sumornu poruku od poznanika?
13:11
An importantважно but difficultтешко newsвести itemставка?
247
779449
1856
Važnu, ali tešku vest?
13:13
There's no right answerодговор.
248
781329
1482
Nema pravog odgovora.
13:14
FacebookFacebook optimizesoptimizuje
for engagementангажовање on the siteсите:
249
782835
2659
Fejsbuk najviše ima koristi
od angažmana na sajtu:
13:17
likesсвиђа, sharesакције, commentsкоментари.
250
785518
1415
sviđanja, deljenja, komentara.
13:20
In AugustAvgusta of 2014,
251
788168
2696
Avgusta 2014,
13:22
protestsпротести brokeсломио out in FergusonFerguson, MissouriMissouri,
252
790888
2662
izbili su protesti u Fergusonu, Misuri,
13:25
after the killingубијање of an African-AmericanAfro-Amerikanac
teenagerтинејџер by a whiteбео policeполиција officerофицир,
253
793574
4417
nakon ubistva afroameričkog tinejdžera
od strane policajca belca,
13:30
underиспод murkymutna circumstancesоколности.
254
798015
1570
pod nejasnim okolnostima.
13:31
The newsвести of the protestsпротести was all over
255
799974
2007
Vesti o protestima su bile svuda
13:34
my algorithmicallyalgorithmically
unfilterednefiltrirani TwitterTwitter-a feedнапајање,
256
802005
2685
po mom algoritamski nefilterisanom
Tviter nalogu,
13:36
but nowhereНигде on my FacebookFacebook.
257
804714
1950
ali nigde na mom Fejsbuku.
Da li su krivi prijatelji na Fejsbuku?
13:39
Was it my FacebookFacebook friendsпријатељи?
258
807182
1734
13:40
I disabledонемогућено Facebook'sFacebook se algorithmalgoritam,
259
808940
2032
Onemogućila sam Fejsbukov algoritam,
13:43
whichкоја is hardтешко because FacebookFacebook
keepsзадржава wantingжелим to make you
260
811472
2848
a to je teško jer Fejsbuk
nastoji da vas natera
13:46
come underиспод the algorithm'salgoritam je controlконтрола,
261
814344
2036
da budete pod kontrolom algoritma,
13:48
and saw that my friendsпријатељи
were talkingпричају about it.
262
816404
2238
i videla sam da moji prijatelji
govore o tome.
13:50
It's just that the algorithmalgoritam
wasn'tније showingпоказивање it to me.
263
818666
2509
Samo mi moj algoritam to nije pokazivao.
13:53
I researchedubaciti this and foundнашао
this was a widespreadшироко распрострањен problemпроблем.
264
821199
3042
Istražila sam ovo i otkrila
da je ovo raširen problem.
13:56
The storyприча of FergusonFerguson
wasn'tније algorithm-friendlyalgoritam-prijateljski.
265
824265
3813
Priča o Fergusonu
nije bila prihvatljiva za algoritam.
Nije nešto za "sviđanje".
14:00
It's not "likabledopadljiva."
266
828102
1171
14:01
Who'sKo je going to clickкликните on "like?"
267
829297
1552
Ko će da pritisne "sviđanje"?
14:03
It's not even easyлако to commentкоментар on.
268
831500
2206
Nije je čak lako ni komentarisati.
14:05
WithoutBez likesсвиђа and commentsкоментари,
269
833730
1371
Bez sviđanja i komentara,
14:07
the algorithmalgoritam was likelyвероватно showingпоказивање it
to even fewerмање people,
270
835125
3292
algoritam je težio da je prikaže
čak i manjem broju ljudi,
14:10
so we didn't get to see this.
271
838441
1542
pa nismo mogli da je vidimo.
14:12
InsteadUmesto toga, that weekНедеља,
272
840946
1228
Umesto toga, te sedmice,
14:14
Facebook'sFacebook se algorithmalgoritam highlightedистакнут this,
273
842198
2298
Fejsbukov algoritam je izdvojio ovo,
14:16
whichкоја is the ALSAIS IceLed BucketKanta ChallengeIzazov.
274
844520
2226
a to je ALS ledeni izazov.
14:18
WorthyDostojan causeузрок; dumpДепонија iceлед waterвода,
donatedonirati to charityдобротворне сврхе, fine.
275
846770
3742
Plemenit cilj; polij se ledenom vodom,
doniraj u dobrotvorne svrhe, fino.
14:22
But it was superСупер algorithm-friendlyalgoritam-prijateljski.
276
850536
1904
Ali bilo je veoma
algoritamski prihvatljivo.
14:25
The machineмашина madeмаде this decisionодлука for us.
277
853219
2613
Mašina je donela ovu odluku u naše ime.
14:27
A very importantважно
but difficultтешко conversationразговор
278
855856
3497
Veoma važan, ali težak razgovor
14:31
mightМожда have been smotheredugusena,
279
859377
1555
je mogao da bude ugušen,
14:32
had FacebookFacebook been the only channelканал.
280
860956
2696
da je Fejsbuk bio jedini kanal.
14:36
Now, finallyконачно, these systemsсистема
can alsoтакође be wrongпогрешно
281
864117
3797
Sad, naposletku, ovi sistemi
takođe mogu da greše
14:39
in waysначини that don't resembleliči na humanљудско systemsсистема.
282
867938
2736
drugačije od ljudskih sistema.
Ljudi, sećate li se Votsona,
IBM-ovog sistema mašinske inteligencije
14:42
Do you guys rememberзапамтити WatsonWatson,
IBM'sIBM je machine-intelligenceračunalne inteligencije systemсистем
283
870698
2922
14:45
that wipedobrisao the floorпод
with humanљудско contestantstakmičari on JeopardyOpasnost?
284
873644
3128
koji je obrisao pod
ljudskim takmičarima na kvizu?
14:49
It was a great playerплаиер.
285
877131
1428
Bio je sjajan takmičar.
14:50
But then, for FinalKonačna JeopardyOpasnost,
WatsonWatson was askedпитао this questionпитање:
286
878583
3569
Ali su ga onda u finalnom izazovu
upitali sledeće pitanje:
"Njegov najveći aerodrom je nazvan
po heroju iz II svetskog rata,
14:54
"Its largestнајвеће airportаеродром is namedназван
for a WorldSvet WarRat IIII heroјунак,
287
882659
2932
14:57
its second-largestdruga po veličini
for a WorldSvet WarRat IIII battleбитка."
288
885615
2252
a drugi po veličini
po bici iz II svetskog rata."
14:59
(HumsHums FinalKonačna JeopardyOpasnost musicмузика)
289
887891
1378
(Pevuši finalnu temu iz kviza)
15:01
ChicagoChicago.
290
889582
1182
Čikago.
15:02
The two humansљуди got it right.
291
890788
1370
Oba ljudska bića su pogodila.
15:04
WatsonWatson, on the other handруку,
answeredодговорио "TorontoToronto" --
292
892697
4348
Votson, s druge strane,
odgovorio je: "Toronto" -
15:09
for a US cityград categoryкатегорија!
293
897069
1818
za kategoriju gradova SAD-a.
15:11
The impressiveимпресиван systemсистем alsoтакође madeмаде an errorгрешка
294
899596
2901
Impresivni sistem je napravio i grešku
15:14
that a humanљудско would never make,
a second-graderdrugi razred wouldn'tне би make.
295
902521
3651
koju ljudsko biće nikad ne bi,
drugaš je nikad ne bi napravio.
15:18
Our machineмашина intelligenceинтелигенција can failпропасти
296
906823
3109
Naša mašinska inteligencija može da omane
15:21
in waysначини that don't fitфит
errorгрешка patternsобрасци of humansљуди,
297
909956
3100
na načine koji se ne uklapaju
sa obrascima grešenja kod ljudi,
15:25
in waysначини we won'tнеће expectочекујте
and be preparedприпремљен for.
298
913080
2950
na načine koji su neočekivani
i na koje nismo pripremljeni.
15:28
It'dTo bi be lousyлоше not to get a jobпосао
one is qualifiedkvalifikovana for,
299
916054
3638
Bilo bi loše ne dobiti posao
za koji ste kvalifikovani,
15:31
but it would tripleтроструко suckсисати
if it was because of stackстацк overflowvišak
300
919716
3727
ali bi bilo tri puta gore
ako bi to bilo zbog preopterećenja
u nekakvoj sistemskoj podrutini.
15:35
in some subroutinepodprogram.
301
923467
1432
15:36
(LaughterSmeh)
302
924923
1579
(Smeh)
15:38
In MayMaja of 2010,
303
926526
2786
U maju 2010,
15:41
a flashблиц crashцрасх on WallZid StreetUlica
fueledгориво by a feedbackповратна информација loopпетља
304
929336
4044
munjevit krah na Vol Stritu
je pokrenut povratnom petljom
15:45
in WallZid Street'sUlica je "sellпродати" algorithmalgoritam
305
933404
3028
u Vol Stritovom algoritmu "prodaja",
15:48
wipedobrisao a trillionтрилион dollarsдолара
of valueвредност in 36 minutesминута.
306
936456
4184
izbrisao je vrednost
od trilion dolara za 36 minuta.
Ne želim da razmišljam
o tome šta znači "greška"
15:53
I don't even want to think
what "errorгрешка" meansзначи
307
941722
2187
15:55
in the contextконтекст of lethalсмртоносно
autonomousаутономно weaponsоружје.
308
943933
3589
u kontekstu smrtonosnog
autonomnog oružja.
16:01
So yes, humansљуди have always madeмаде biasesпредрасуде.
309
949894
3790
Dakle, da, ljudi su oduvek
bili pristrasni.
16:05
DecisionOdluka makersпроизвођача and gatekeepersborac,
310
953708
2176
Donosioci odluka i čuvari informacija,
16:07
in courtsсудови, in newsвести, in warрат ...
311
955908
3493
na sudovima, vestima, u ratu...
16:11
they make mistakesгрешке;
but that's exactlyбаш тако my pointтачка.
312
959425
3038
oni greše; ali u tome je poenta.
16:14
We cannotне може escapeпобјећи
these difficultтешко questionsпитања.
313
962487
3521
Ne možemo da izbegnemo
ova teška pitanja.
16:18
We cannotне може outsourceSpoljni
our responsibilitiesодговорности to machinesмашине.
314
966596
3516
Ne možemo da delegiramo
naša zaduženja mašinama.
16:22
(ApplauseAplauz)
315
970676
4208
(Aplauz)
16:29
ArtificialVeštačka intelligenceинтелигенција does not give us
a "Get out of ethicsetika freeбесплатно" cardкартица.
316
977089
4447
Veštačka inteligencija nam ne pruža
besplatnu kartu za "beg od etike".
16:34
DataPodaci scientistнаучник FredFred BenensonBenenson
callsпозиве this math-washingMatematika-veš.
317
982742
3381
Naučnik za podatke Fred Benson
to naziva matematičkim ispiranjem.
16:38
We need the oppositeсупротно.
318
986147
1389
Potrebno nam je suprotno.
16:39
We need to cultivateOna uzgaja algorithmalgoritam suspicionsumnju,
scrutinyispitivanjem and investigationистраживање.
319
987560
5388
Moramo da negujemo sumnju u algoritme,
nadzor i istraživanje.
16:45
We need to make sure we have
algorithmicAlgoritamski accountabilityодговорност,
320
993380
3198
Moramo da se postaramo
da imamo algoritamsku odgovrnost,
16:48
auditingnadzor and meaningfulсмислено transparencyтранспарентност.
321
996602
2445
proveru i smislenu transparentnost.
16:51
We need to acceptприхватити
that bringingдоносећи mathматематика and computationрачунање
322
999380
3234
Moramo da prihvatimo
da uvođenje matematike i kompjutera
16:54
to messyу нереду, value-ladenvrednost preopterećene humanљудско affairsствари
323
1002638
2970
u neuredne ljudske odnose
vođene vrednostima
16:57
does not bringдовести objectivityобјективност;
324
1005632
2384
ne donosi objektivnost;
17:00
ratherприлично, the complexityсложеност of humanљудско affairsствари
invadesosvaja the algorithmsалгоритми.
325
1008040
3633
već pre složenost ljudskih odnosa
osvaja algoritme.
17:04
Yes, we can and we should use computationрачунање
326
1012148
3487
Da, možemo i treba da koristimo kompjutere
17:07
to help us make better decisionsОдлуке.
327
1015659
2014
kako bi donosili bolje odluke.
17:09
But we have to ownвластити up
to our moralморално responsibilityодговорност to judgmentпресуда,
328
1017697
5332
Ali moramo da ovladamo
našom moralnom odgovornošću i rasuđivanjem
17:15
and use algorithmsалгоритми withinу склопу that frameworkоквир,
329
1023053
2818
i da koristimo algoritme
unutar tog okvira,
17:17
not as a meansзначи to abdicateabdicira
and outsourceSpoljni our responsibilitiesодговорности
330
1025895
4935
ne kao sredstva da se odreknemo
i da delegiramo naše odgovornosti
17:22
to one anotherдруги as humanљудско to humanљудско.
331
1030854
2454
nekom drugom, kao čovek čoveku.
17:25
MachineMašina intelligenceинтелигенција is here.
332
1033807
2609
Mašinska inteligencija je tu.
17:28
That meansзначи we mustмора holdдржати on ever tighteruže
333
1036440
3421
To znači da se kao nikad pre
moramo čvrsto držati
17:31
to humanљудско valuesвредности and humanљудско ethicsetika.
334
1039885
2147
ljudskih vrednosti i ljudske etike.
17:34
Thank you.
335
1042056
1154
Hvala vam.
17:35
(ApplauseAplauz)
336
1043234
5020
(Aplauz)
Translated by Milenka Okuka
Reviewed by Mile Živković

▲Back to top

ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com