TEDSummit
Zeynep Tufekci: Machine intelligence makes human morals more important
Zeynep Tufekci: Maskinintelligens behöver mänsklig etik och moral
Filmed:
Readability: 4.9
1,648,711 views
De intelligenta maskinerna är här, och vi använder dem redan för att ta subjektiva beslut. Men med det komplexa sätt som AI växer och förbättras på blir den svår att begripa och ännu svårare att kontrollera. I det här alarmerande föredraget förklarar teknologen och sociologen Zeynep Tufekci hur intelligenta maskiner kan misslyckas på sätt som inte stämmer med det mänskliga mönstret - och på sätt som vi varken förväntar oss eller är förberedda för. "Vi kan inte outsourca vårt ansvar till maskiner", menar hon. "Vi måste hålla oss ännu hårdare till våra värderingar och vår mänskliga etik."
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So, I started my first job
as a computer programmer
as a computer programmer
0
739
4122
Mitt första jobb var som dataprogrammerare
00:16
in my very first year of college --
1
4885
1956
under mitt första år på högskolan -
00:18
basically, as a teenager.
2
6865
1507
jag var tonåring då.
00:20
Soon after I started working,
3
8889
1732
Strax efter att jag börjat jobba,
00:22
writing software in a company,
4
10645
1610
med att utveckla programvara,
00:24
a manager who worked at the company
came down to where I was,
came down to where I was,
5
12799
3635
kom en chef på företaget ner där jag satt,
00:28
and he whispered to me,
6
16458
1268
och viskade till mig,
00:30
"Can he tell if I'm lying?"
7
18229
2861
"Kan han se om jag ljuger?"
00:33
There was nobody else in the room.
8
21806
2077
Där fanns ingen annan i rummet.
00:37
"Can who tell if you're lying?
And why are we whispering?"
And why are we whispering?"
9
25032
4389
"Kan vem se om du ljuger?
Och varför viskar vi?"
Och varför viskar vi?"
00:42
The manager pointed
at the computer in the room.
at the computer in the room.
10
30266
3107
Chefen pekade på datorn som stod i rummet.
00:45
"Can he tell if I'm lying?"
11
33397
3096
"Kan han se om jag ljuger?"
00:49
Well, that manager was having
an affair with the receptionist.
an affair with the receptionist.
12
37613
4362
Den här chefen hade en affär
med receptionisten.
med receptionisten.
00:53
(Laughter)
13
41999
1112
(Skratt)
00:55
And I was still a teenager.
14
43135
1766
Och jag var fortfarande tonåring.
00:57
So I whisper-shouted back to him,
15
45447
2019
Så jag visk-skrek tillbaka,
00:59
"Yes, the computer can tell
if you're lying."
if you're lying."
16
47490
3624
"Ja, datorn kan se om du ljuger."
01:03
(Laughter)
17
51138
1806
(Skratt)
01:04
Well, I laughed, but actually,
the laugh's on me.
the laugh's on me.
18
52968
2923
Jag skrattade, men egentligen
är det jag som är skämtet.
är det jag som är skämtet.
01:07
Nowadays, there are computational systems
19
55915
3268
Idag finns det beräkningssystem
01:11
that can suss out
emotional states and even lying
emotional states and even lying
20
59207
3548
som kan sortera ut känslor och även lögner
01:14
from processing human faces.
21
62779
2044
genom att processa data från ansikten.
01:17
Advertisers and even governments
are very interested.
are very interested.
22
65248
4153
Annonsörer och till och med regeringar
är mycket intresserade.
är mycket intresserade.
01:22
I had become a computer programmer
23
70319
1862
Jag blev programmerare
01:24
because I was one of those kids
crazy about math and science.
crazy about math and science.
24
72205
3113
för som barn var jag som tokig
i matematik och vetenskap.
i matematik och vetenskap.
01:27
But somewhere along the line
I'd learned about nuclear weapons,
I'd learned about nuclear weapons,
25
75942
3108
Men någonstans längs vägen
fick jag vetskap om kärnvapen,
fick jag vetskap om kärnvapen,
01:31
and I'd gotten really concerned
with the ethics of science.
with the ethics of science.
26
79074
2952
och blev mycket oroad
över etiken i forskningen.
över etiken i forskningen.
01:34
I was troubled.
27
82050
1204
Jag var bekymrad.
01:35
However, because of family circumstances,
28
83278
2641
Emellertid, på grund av
familjeomständigheter,
familjeomständigheter,
01:37
I also needed to start working
as soon as possible.
as soon as possible.
29
85943
3298
var jag också tvungen
att börja arbeta tidigt.
att börja arbeta tidigt.
01:41
So I thought to myself, hey,
let me pick a technical field
let me pick a technical field
30
89265
3299
Jag tänkte för mig själv;
jag väljer ett tekniskt område
jag väljer ett tekniskt område
01:44
where I can get a job easily
31
92588
1796
där jag lätt kan få arbete och där
01:46
and where I don't have to deal
with any troublesome questions of ethics.
with any troublesome questions of ethics.
32
94408
4018
jag inte behöver bekymra mig om
några svårlösta etiska frågor.
några svårlösta etiska frågor.
01:51
So I picked computers.
33
99022
1529
Så jag valde datorer.
01:52
(Laughter)
34
100575
1104
(Skratt)
01:53
Well, ha, ha, ha!
All the laughs are on me.
All the laughs are on me.
35
101703
3410
Ja, ha, ha, ha!
Skratta gärna åt mig.
Skratta gärna åt mig.
01:57
Nowadays, computer scientists
are building platforms
are building platforms
36
105137
2754
Idag bygger datorforskare plattformar
01:59
that control what a billion
people see every day.
people see every day.
37
107915
4209
som kontrollerar vad som visas
för miljarder människor varje dag.
för miljarder människor varje dag.
02:05
They're developing cars
that could decide who to run over.
that could decide who to run over.
38
113052
3822
De utvecklar bilar
som skulle kunna bestämma
vem de ska köra över.
vem de ska köra över.
02:09
They're even building machines, weapons,
39
117707
3213
De bygger till och med maskiner, vapen,
02:12
that might kill human beings in war.
40
120944
2285
som kan döda människor i krig.
02:15
It's ethics all the way down.
41
123253
2771
Det handlar om etik i hela ledet.
02:19
Machine intelligence is here.
42
127183
2058
De intelligenta maskinerna är här.
02:21
We're now using computation
to make all sort of decisions,
to make all sort of decisions,
43
129823
3474
Idag använder vi beräkningssystem
för alla sorters beslut,
för alla sorters beslut,
02:25
but also new kinds of decisions.
44
133321
1886
men också för nya typer av beslut.
02:27
We're asking questions to computation
that have no single right answers,
that have no single right answers,
45
135231
5172
Vi ställer frågor till algoritmerna
som inte har ett entydigt korrekt svar,
som inte har ett entydigt korrekt svar,
02:32
that are subjective
46
140427
1202
frågor som är subjektiva,
02:33
and open-ended and value-laden.
47
141653
2325
öppna och värdeladdade.
02:36
We're asking questions like,
48
144002
1758
Vi ställer frågor som,
02:37
"Who should the company hire?"
49
145784
1650
"Vem ska företaget anställa?"
"Vilken av dina vänners uppdateringar
02:40
"Which update from which friend
should you be shown?"
should you be shown?"
50
148096
2759
ska du kunna se?"
02:42
"Which convict is more
likely to reoffend?"
likely to reoffend?"
51
150879
2266
"Vem återfaller troligast i brott?"
02:45
"Which news item or movie
should be recommended to people?"
should be recommended to people?"
52
153514
3054
"Vilka nyheter eller filmer
ska rekommenderas till folk?"
ska rekommenderas till folk?"
02:48
Look, yes, we've been using
computers for a while,
computers for a while,
53
156592
3372
Visst, vi har använt datorer ett tag,
02:51
but this is different.
54
159988
1517
men det här är annorlunda.
02:53
This is a historical twist,
55
161529
2067
Det är en historisk vridning,
02:55
because we cannot anchor computation
for such subjective decisions
for such subjective decisions
56
163620
5337
för vi kan inte verifiera beräkningarna
för sådana subjektiva beslut
för sådana subjektiva beslut
03:00
the way we can anchor computation
for flying airplanes, building bridges,
for flying airplanes, building bridges,
57
168981
5420
på samma sätt som vi kan verifiera dem
vi gör för flygplan, brokonstruktioner,
vi gör för flygplan, brokonstruktioner,
03:06
going to the moon.
58
174425
1259
eller månfärder.
03:08
Are airplanes safer?
Did the bridge sway and fall?
Did the bridge sway and fall?
59
176449
3259
Är flygplan säkrare?
Började bron självsvänga och rasa?
Började bron självsvänga och rasa?
03:11
There, we have agreed-upon,
fairly clear benchmarks,
fairly clear benchmarks,
60
179732
4498
Där har vi kommit överens om
ganska tydliga ramverk,
ganska tydliga ramverk,
03:16
and we have laws of nature to guide us.
61
184254
2239
och vi har lagar som vägleder oss.
03:18
We have no such anchors and benchmarks
62
186517
3394
Såna ramverk eller normer finns inte
03:21
for decisions in messy human affairs.
63
189935
3963
för beslut gällande
krångliga mänskliga relationer.
krångliga mänskliga relationer.
03:25
To make things more complicated,
our software is getting more powerful,
our software is getting more powerful,
64
193922
4237
För att göra det än mer komplicerat,
blir vår mjukvara kraftfullare,
blir vår mjukvara kraftfullare,
03:30
but it's also getting less
transparent and more complex.
transparent and more complex.
65
198183
3773
samtidigt som den blir
både mindre transparent och mer komplex.
både mindre transparent och mer komplex.
03:34
Recently, in the past decade,
66
202542
2040
Under det senaste årtiondet,
03:36
complex algorithms
have made great strides.
have made great strides.
67
204606
2729
har komplexa algoritmer
gjort enorma framsteg.
gjort enorma framsteg.
03:39
They can recognize human faces.
68
207359
1990
De kan känna igen ansikten.
03:41
They can decipher handwriting.
69
209985
2055
De kan tolka handskriven text.
03:44
They can detect credit card fraud
70
212436
2066
De kan upptäcka kontokortsbedrägerier,
03:46
and block spam
71
214526
1189
blockera spam
03:47
and they can translate between languages.
72
215739
2037
och de kan översätta språk.
03:49
They can detect tumors in medical imaging.
73
217800
2574
De kan upptäcka tumörer
genom medicinsk bildteknik.
genom medicinsk bildteknik.
03:52
They can beat humans in chess and Go.
74
220398
2205
De kan slå människor i schack och Go.
03:55
Much of this progress comes
from a method called "machine learning."
from a method called "machine learning."
75
223264
4504
Många av de här framstegen härrör från
en metod som kallas "maskininlärning."
en metod som kallas "maskininlärning."
04:00
Machine learning is different
than traditional programming,
than traditional programming,
76
228175
3187
Maskininlärning skiljer sig
från traditionell programmering,
från traditionell programmering,
04:03
where you give the computer
detailed, exact, painstaking instructions.
detailed, exact, painstaking instructions.
77
231386
3585
där du ger datorn detaljerade,
exakta, noggranna instruktioner.
exakta, noggranna instruktioner.
04:07
It's more like you take the system
and you feed it lots of data,
and you feed it lots of data,
78
235378
4182
Det här är mer som att du
matar systemet med en massa data,
matar systemet med en massa data,
04:11
including unstructured data,
79
239584
1656
inkluderat ostrukturerad data,
04:13
like the kind we generate
in our digital lives.
in our digital lives.
80
241264
2278
till exempel från våra digitala liv.
04:15
And the system learns
by churning through this data.
by churning through this data.
81
243566
2730
Systemet lär sig genom att
bearbeta datamängderna.
bearbeta datamängderna.
04:18
And also, crucially,
82
246669
1526
Avgörande är också,
04:20
these systems don't operate
under a single-answer logic.
under a single-answer logic.
83
248219
4380
att systemen inte kommer fram till
något entydigt svar.
något entydigt svar.
04:24
They don't produce a simple answer;
it's more probabilistic:
it's more probabilistic:
84
252623
2959
Du får inte ett enkelt svar,
utan en sannolikhetsbedömning;
utan en sannolikhetsbedömning;
04:27
"This one is probably more like
what you're looking for."
what you're looking for."
85
255606
3483
"Det här är sannolikt det du letar efter."
04:32
Now, the upside is:
this method is really powerful.
this method is really powerful.
86
260023
3070
Fördelen är att metoden är kraftfull.
04:35
The head of Google's AI systems called it,
87
263117
2076
Chefen för Googles AI-system kallade det
04:37
"the unreasonable effectiveness of data."
88
265217
2197
"datas orimliga effektivitet."
04:39
The downside is,
89
267791
1353
Nackdelen är
04:41
we don't really understand
what the system learned.
what the system learned.
90
269738
3071
att vi inte förstår vad systemet lär sig.
04:44
In fact, that's its power.
91
272833
1587
Faktum är att det är dess makt.
04:46
This is less like giving
instructions to a computer;
instructions to a computer;
92
274946
3798
Det är mindre av
att ge en dator instruktioner,
att ge en dator instruktioner,
04:51
it's more like training
a puppy-machine-creature
a puppy-machine-creature
93
279200
4064
och mer som att träna en Tamagotschi
04:55
we don't really understand or control.
94
283288
2371
som vi varken förstår eller kontrollerar.
04:58
So this is our problem.
95
286362
1551
Det är vårt stora problem.
05:00
It's a problem when this artificial
intelligence system gets things wrong.
intelligence system gets things wrong.
96
288427
4262
Det är problematiskt när såna här system
får saker och ting om bakfoten.
får saker och ting om bakfoten.
05:04
It's also a problem
when it gets things right,
when it gets things right,
97
292713
3540
Det är också ett problem
när de får till det rätt,
när de får till det rätt,
05:08
because we don't even know which is which
when it's a subjective problem.
when it's a subjective problem.
98
296277
3628
för vi vet inte vad som är vad,
när frågeställningen är subjektiv.
när frågeställningen är subjektiv.
05:11
We don't know what this thing is thinking.
99
299929
2339
Vi vet inte vad den här tingesten tänker.
05:15
So, consider a hiring algorithm --
100
303493
3683
Föreställ er en algoritm
för anställning -
för anställning -
05:20
a system used to hire people,
using machine-learning systems.
using machine-learning systems.
101
308123
4311
ett maskininlärningssystem
som används för att anställa människor.
som används för att anställa människor.
05:25
Such a system would have been trained
on previous employees' data
on previous employees' data
102
313052
3579
Ett sådant system har lärt sig
av data över tidigare anställda
av data över tidigare anställda
05:28
and instructed to find and hire
103
316655
2591
och instruerats att hitta och anställa
05:31
people like the existing
high performers in the company.
high performers in the company.
104
319270
3038
likadana högpresterare
som redan är anställda i företaget.
som redan är anställda i företaget.
05:34
Sounds good.
105
322814
1153
Det låter ju bra.
05:35
I once attended a conference
106
323991
1999
Jag deltog en gång i en konferens
05:38
that brought together
human resources managers and executives,
human resources managers and executives,
107
326014
3125
med personalchefer och chefer,
05:41
high-level people,
108
329163
1206
högt uppsatta människor,
05:42
using such systems in hiring.
109
330393
1559
som använder såna system.
05:43
They were super excited.
110
331976
1646
De var otroligt entusiastiska.
05:45
They thought that this would make hiring
more objective, less biased,
more objective, less biased,
111
333646
4653
De trodde att det här skulle göra
anställningsprocessen objektiv,
anställningsprocessen objektiv,
och mindre fördomsfull,
05:50
and give women
and minorities a better shot
and minorities a better shot
112
338323
3000
och ge kvinnor och minoriteter
en bättre chans
en bättre chans
05:53
against biased human managers.
113
341347
2188
mot fördomsfulla, partiska
personalchefer.
personalchefer.
05:55
And look -- human hiring is biased.
114
343559
2843
Men lyssna här -
anställningar är fördomsfulla.
anställningar är fördomsfulla.
05:59
I know.
115
347099
1185
Jag vet.
06:00
I mean, in one of my early jobs
as a programmer,
as a programmer,
116
348308
3005
Jag menar, under mitt första jobb
som programmerare,
som programmerare,
06:03
my immediate manager would sometimes
come down to where I was
come down to where I was
117
351337
3868
kom ibland min närmsta chef förbi
06:07
really early in the morning
or really late in the afternoon,
or really late in the afternoon,
118
355229
3753
antingen väldigt tidigt på morgonen
eller mycket sent på eftermiddagen,
eller mycket sent på eftermiddagen,
06:11
and she'd say, "Zeynep,
let's go to lunch!"
let's go to lunch!"
119
359006
3062
och sade; "Zeynep, nu går vi på lunch!"
06:14
I'd be puzzled by the weird timing.
120
362724
2167
Jag var brydd av den märkliga tajmingen.
06:16
It's 4pm. Lunch?
121
364915
2129
Klockan är fyra på eftermiddagen. Lunch?
06:19
I was broke, so free lunch. I always went.
122
367068
3094
Jag var pank, så gratis lunch.
Jag följde alltid med.
Jag följde alltid med.
06:22
I later realized what was happening.
123
370618
2067
Senare förstod jag vad som hände.
06:24
My immediate managers
had not confessed to their higher-ups
had not confessed to their higher-ups
124
372709
4546
Min närmaste chef hade inte erkänt
för de högre cheferna
för de högre cheferna
06:29
that the programmer they hired
for a serious job was a teen girl
for a serious job was a teen girl
125
377279
3113
att programmeraren de anställt
var en tonårstjej
var en tonårstjej
06:32
who wore jeans and sneakers to work.
126
380416
3930
i jeans och gymnastikskor.
06:37
I was doing a good job,
I just looked wrong
I just looked wrong
127
385174
2202
Jag gjorde ett bra jobb,
jag såg bara fel ut
jag såg bara fel ut
06:39
and was the wrong age and gender.
128
387400
1699
och var ung och kvinna.
06:41
So hiring in a gender- and race-blind way
129
389123
3346
Så att anställa utan att
ta hänsyn till kön och ras
ta hänsyn till kön och ras
06:44
certainly sounds good to me.
130
392493
1865
låter verkligen bra i mina öron.
06:47
But with these systems,
it is more complicated, and here's why:
it is more complicated, and here's why:
131
395031
3341
Men med de här systemen
blir det mer komplicerat;
blir det mer komplicerat;
06:50
Currently, computational systems
can infer all sorts of things about you
can infer all sorts of things about you
132
398968
5791
Idag kan beräkningssystem
dra alla möjliga slutsatser om dig
dra alla möjliga slutsatser om dig
06:56
from your digital crumbs,
133
404783
1872
utifrån dina digitala avtryck,
06:58
even if you have not
disclosed those things.
disclosed those things.
134
406679
2333
även om du inte har avslöjat dem.
07:01
They can infer your sexual orientation,
135
409506
2927
De kan dra slutsatser
om din sexuella läggning,
om din sexuella läggning,
07:04
your personality traits,
136
412994
1306
dina karaktärsdrag,
07:06
your political leanings.
137
414859
1373
dina politiska böjelser.
07:08
They have predictive power
with high levels of accuracy.
with high levels of accuracy.
138
416830
3685
De kan prognostisera med hög noggrannhet.
07:13
Remember -- for things
you haven't even disclosed.
you haven't even disclosed.
139
421362
2578
Kom ihåg - kring saker du inte avslöjat.
07:15
This is inference.
140
423964
1591
Det är slutledningsförmåga.
07:17
I have a friend who developed
such computational systems
such computational systems
141
425579
3261
Jag har en vän som utvecklat
ett beräkningssystem
ett beräkningssystem
07:20
to predict the likelihood
of clinical or postpartum depression
of clinical or postpartum depression
142
428864
3641
för att beräkna sannolikheten
för klinisk- eller förlossningsdepression
för klinisk- eller förlossningsdepression
07:24
from social media data.
143
432529
1416
utifrån digitala avtryck.
07:26
The results are impressive.
144
434676
1427
Resultaten är imponerande.
07:28
Her system can predict
the likelihood of depression
the likelihood of depression
145
436492
3357
Hennes system kan beräkna
sannolikheten för depression
sannolikheten för depression
07:31
months before the onset of any symptoms --
146
439873
3903
månader innan symtomen visar sig -
07:35
months before.
147
443800
1373
månader i förväg.
07:37
No symptoms, there's prediction.
148
445197
2246
Inga symtom, bara förutsägelse.
07:39
She hopes it will be used
for early intervention. Great!
for early intervention. Great!
149
447467
4812
Hon hoppas att det ska användas
för behandling i ett tidigt stadium.
för behandling i ett tidigt stadium.
Jättebra!
07:44
But now put this in the context of hiring.
150
452911
2040
Men sätt in det
i ett anställningssammanhang.
i ett anställningssammanhang.
07:48
So at this human resources
managers conference,
managers conference,
151
456027
3046
På den här personalchefskonferensen,
07:51
I approached a high-level manager
in a very large company,
in a very large company,
152
459097
4709
frågade jag en högt uppsatt chef
i ett mycket stort företag,
i ett mycket stort företag,
07:55
and I said to her, "Look,
what if, unbeknownst to you,
what if, unbeknownst to you,
153
463830
4578
"Du, tänk om, utan att du vet,
08:00
your system is weeding out people
with high future likelihood of depression?
with high future likelihood of depression?
154
468432
6549
ert system gallrar ut
personer med hög sannolikhet
att drabbas av depression?
att drabbas av depression?
08:07
They're not depressed now,
just maybe in the future, more likely.
just maybe in the future, more likely.
155
475761
3376
De är inte deprimerade nu,
men kanske blir någon gång i framtiden.
men kanske blir någon gång i framtiden.
08:11
What if it's weeding out women
more likely to be pregnant
more likely to be pregnant
156
479923
3406
Tänk om det gallrar ut kvinnor
som kan komma att bli gravida
som kan komma att bli gravida
08:15
in the next year or two
but aren't pregnant now?
but aren't pregnant now?
157
483353
2586
inom ett till två år
men som inte är gravida nu?
men som inte är gravida nu?
08:18
What if it's hiring aggressive people
because that's your workplace culture?"
because that's your workplace culture?"
158
486844
5636
Tänk om aggressiva människor anställs för
att det är en del av er företagskultur?"
att det är en del av er företagskultur?"
08:25
You can't tell this by looking
at gender breakdowns.
at gender breakdowns.
159
493173
2691
Du kan inte bedöma det
utifrån könsfördelningen.
utifrån könsfördelningen.
08:27
Those may be balanced.
160
495888
1502
De kan vara i balans.
08:29
And since this is machine learning,
not traditional coding,
not traditional coding,
161
497414
3557
Eftersom detta gäller maskininlärning,
och inte traditionell kodning,
och inte traditionell kodning,
08:32
there is no variable there
labeled "higher risk of depression,"
labeled "higher risk of depression,"
162
500995
4907
finns det ingen variabel som säger
"högre risk för depression,"
"högre risk för depression,"
08:37
"higher risk of pregnancy,"
163
505926
1833
"högre risk för graviditet,"
08:39
"aggressive guy scale."
164
507783
1734
"macho-tendenser."
08:41
Not only do you not know
what your system is selecting on,
what your system is selecting on,
165
509995
3679
Du vet varken
vad ditt system selekterar på,
08:45
you don't even know
where to begin to look.
where to begin to look.
166
513698
2323
eller var du ska börja titta.
08:48
It's a black box.
167
516045
1246
Det är en svart låda.
08:49
It has predictive power,
but you don't understand it.
but you don't understand it.
168
517315
2807
Det har en förutsägbar kraft,
men du förstår inte det.
men du förstår inte det.
08:52
"What safeguards," I asked, "do you have
169
520486
2369
"Vilka garantier, frågade jag, har du
08:54
to make sure that your black box
isn't doing something shady?"
isn't doing something shady?"
170
522879
3673
för att försäkra dig om
att din svarta låda inte gör något skumt?"
att din svarta låda inte gör något skumt?"
09:00
She looked at me as if I had
just stepped on 10 puppy tails.
just stepped on 10 puppy tails.
171
528863
3878
Hon tittade på mig som om jag
just trampat på hennes hund.
just trampat på hennes hund.
09:04
(Laughter)
172
532765
1248
(Skratt)
09:06
She stared at me and she said,
173
534037
2041
Hon stirrade på mig och sade,
"Jag vill inte höra ett enda ord till."
09:08
"I don't want to hear
another word about this."
another word about this."
174
536556
4333
09:13
And she turned around and walked away.
175
541458
2034
Hon vände sig om och gick.
Kom ihåg - hon var inte oförskämd.
09:16
Mind you -- she wasn't rude.
176
544064
1486
09:17
It was clearly: what I don't know
isn't my problem, go away, death stare.
isn't my problem, go away, death stare.
177
545574
6308
Det var tydligt: Det jag inte vet
är inte mitt problem, stick iväg.
är inte mitt problem, stick iväg.
09:23
(Laughter)
178
551906
1246
(Skratt)
09:25
Look, such a system
may even be less biased
may even be less biased
179
553862
3839
Ett sånt system kan vara mindre subjektivt
09:29
than human managers in some ways.
180
557725
2103
än personalchefer på vissa sätt.
09:31
And it could make monetary sense.
181
559852
2146
Och det kan vara ekonomiskt rimligt.
09:34
But it could also lead
182
562573
1650
Men det kan också leda till
09:36
to a steady but stealthy
shutting out of the job market
shutting out of the job market
183
564247
4748
ett smygande utestängande
från arbetsmarknaden
från arbetsmarknaden
09:41
of people with higher risk of depression.
184
569019
2293
av människor med högre risk
för psykisk ohälsa.
för psykisk ohälsa.
09:43
Is this the kind of society
we want to build,
we want to build,
185
571753
2596
Vill vi bygga den sortens samhälle,
09:46
without even knowing we've done this,
186
574373
2285
utan att ens märka att vi gör det,
09:48
because we turned decision-making
to machines we don't totally understand?
to machines we don't totally understand?
187
576682
3964
för att vi låter maskiner ta besluten?
Maskiner som vi inte begriper oss på?
09:53
Another problem is this:
188
581265
1458
Ett annat problem är att
09:55
these systems are often trained
on data generated by our actions,
on data generated by our actions,
189
583314
4452
dessa system ofta reagerar på data
som genererats av våra aktiviteter,
som genererats av våra aktiviteter,
09:59
human imprints.
190
587790
1816
våra digitala avtryck.
10:02
Well, they could just be
reflecting our biases,
reflecting our biases,
191
590188
3808
De kan ju bara reflektera våra fördomar,
10:06
and these systems
could be picking up on our biases
could be picking up on our biases
192
594020
3593
och dessa system
kan plocka upp fördomarna,
kan plocka upp fördomarna,
10:09
and amplifying them
193
597637
1313
förstärka dem
10:10
and showing them back to us,
194
598974
1418
och återspegla dem för oss,
10:12
while we're telling ourselves,
195
600416
1462
alltmedan vi intalar oss,
10:13
"We're just doing objective,
neutral computation."
neutral computation."
196
601902
3117
att "Vi gör bara objektiva
neutrala beräkningar."
neutrala beräkningar."
10:18
Researchers found that on Google,
197
606314
2677
Forskare fann att på Google,
10:22
women are less likely than men
to be shown job ads for high-paying jobs.
to be shown job ads for high-paying jobs.
198
610134
5313
är det mindre troligt att kvinnor får se
annonser för välbetalda jobb än män.
annonser för välbetalda jobb än män.
10:28
And searching for African-American names
199
616463
2530
Söker man på afro-amerikanska namn
10:31
is more likely to bring up ads
suggesting criminal history,
suggesting criminal history,
200
619017
4706
är det mer troligt att man får annonser
som antyder kriminell bakgrund,
som antyder kriminell bakgrund,
10:35
even when there is none.
201
623747
1567
även när det inte finns någon koppling.
10:38
Such hidden biases
and black-box algorithms
and black-box algorithms
202
626693
3549
Sådana dolda fördomar
och svarta lådor-algoritmer
och svarta lådor-algoritmer
10:42
that researchers uncover sometimes
but sometimes we don't know,
but sometimes we don't know,
203
630266
3973
som forskare ibland upptäcker,
och ibland inte,
och ibland inte,
10:46
can have life-altering consequences.
204
634263
2661
kan få livsavgörande konsekvenser.
10:49
In Wisconsin, a defendant
was sentenced to six years in prison
was sentenced to six years in prison
205
637958
4159
I Wisconsin dömdes en åtalad
till sex års fängelse
till sex års fängelse
10:54
for evading the police.
206
642141
1355
för att ha kört från polisen.
10:56
You may not know this,
207
644824
1186
Du vet det kanske inte,
10:58
but algorithms are increasingly used
in parole and sentencing decisions.
in parole and sentencing decisions.
208
646034
3998
men algoritmer används mer och mer
vid förelägganden och villkorliga straff.
vid förelägganden och villkorliga straff.
11:02
He wanted to know:
How is this score calculated?
How is this score calculated?
209
650056
2955
Han ville veta:
Hur beräknades straffsatsen?
Hur beräknades straffsatsen?
11:05
It's a commercial black box.
210
653795
1665
Av en kommersiell svart låda.
11:07
The company refused to have its algorithm
be challenged in open court.
be challenged in open court.
211
655484
4205
Företaget vägrade
att få sin algoritm bedömd
att få sin algoritm bedömd
i en offentlig rättegång.
11:12
But ProPublica, an investigative
nonprofit, audited that very algorithm
nonprofit, audited that very algorithm
212
660396
5532
Men det granskande, icke-vinstdrivande
företaget Pro-Publica, jämförde den
företaget Pro-Publica, jämförde den
11:17
with what public data they could find,
213
665952
2016
med den offentliga data
de kunde hitta, och fann
de kunde hitta, och fann
11:19
and found that its outcomes were biased
214
667992
2316
att algoritmens utfall var partiskt
11:22
and its predictive power
was dismal, barely better than chance,
was dismal, barely better than chance,
215
670332
3629
och dess kraftfulla beräkningar usla,
knappt bättre än slumpen,
knappt bättre än slumpen,
11:25
and it was wrongly labeling
black defendants as future criminals
black defendants as future criminals
216
673985
4416
och att den felaktigt pekade ut
svarta åtalade som presumtiva brottslingar
svarta åtalade som presumtiva brottslingar
11:30
at twice the rate of white defendants.
217
678425
3895
dubbelt så ofta som vita åtalade.
11:35
So, consider this case:
218
683891
1564
Så, tänk över det här fallet:
11:38
This woman was late
picking up her godsister
picking up her godsister
219
686103
3852
Den här kvinnan var sen
när hon skulle hämta sitt gudbarn
när hon skulle hämta sitt gudbarn
11:41
from a school in Broward County, Florida,
220
689979
2075
på en skola i Broward County i Florida,
11:44
running down the street
with a friend of hers.
with a friend of hers.
221
692757
2356
hon och hennes vänner sprang nerför gatan.
11:47
They spotted an unlocked kid's bike
and a scooter on a porch
and a scooter on a porch
222
695137
4099
De fick syn på en olåst barncykel
och en sparkcykel på en veranda
och en sparkcykel på en veranda
11:51
and foolishly jumped on it.
223
699260
1632
och tog dem dumt nog.
11:52
As they were speeding off,
a woman came out and said,
a woman came out and said,
224
700916
2599
När de stack iväg,
kom en kvinna ut och sade,
kom en kvinna ut och sade,
11:55
"Hey! That's my kid's bike!"
225
703539
2205
"Hallå! Det där är mitt barns prylar."
11:57
They dropped it, they walked away,
but they were arrested.
but they were arrested.
226
705768
3294
De släppte dem, gick därifrån,
men blev anhållna.
men blev anhållna.
12:01
She was wrong, she was foolish,
but she was also just 18.
but she was also just 18.
227
709086
3637
Hon gjorde fel, hon betedde sig dumt,
men hon var också bara arton år.
men hon var också bara arton år.
12:04
She had a couple of juvenile misdemeanors.
228
712747
2544
Hon hade några ungsdomsförseelser
sedan tidigare.
12:07
Meanwhile, that man had been arrested
for shoplifting in Home Depot --
for shoplifting in Home Depot --
229
715808
5185
Samtidigt hade den här mannen
blivit anhållen för snatteri i Home Depot,
blivit anhållen för snatteri i Home Depot,
12:13
85 dollars' worth of stuff,
a similar petty crime.
a similar petty crime.
230
721017
2924
prylar för 85 dollar,
ett ganska litet brott.
ett ganska litet brott.
12:16
But he had two prior
armed robbery convictions.
armed robbery convictions.
231
724766
4559
Men han hade tidigare blivit dömd
för två väpnade rån.
för två väpnade rån.
12:21
But the algorithm scored her
as high risk, and not him.
as high risk, and not him.
232
729955
3482
Men algoritmen bedömde henne
som en högre risk än honom.
som en högre risk än honom.
12:26
Two years later, ProPublica found
that she had not reoffended.
that she had not reoffended.
233
734746
3874
Två år senare fann ProPublica
att hon inte återfallit i brott.
att hon inte återfallit i brott.
12:30
It was just hard to get a job
for her with her record.
for her with her record.
234
738644
2550
Hon hade bara svårt
att få jobb med sin bakgrund.
att få jobb med sin bakgrund.
12:33
He, on the other hand, did reoffend
235
741218
2076
Han, å andra sidan,
återföll i brottslighet
återföll i brottslighet
12:35
and is now serving an eight-year
prison term for a later crime.
prison term for a later crime.
236
743318
3836
och avtjänar nu
ett åttaårigt fängelsestraff
ett åttaårigt fängelsestraff
för ett nytt brott.
12:40
Clearly, we need to audit our black boxes
237
748088
3369
Det är tydligt att vi måste revidera
våra svarta lådor
våra svarta lådor
12:43
and not have them have
this kind of unchecked power.
this kind of unchecked power.
238
751481
2615
och inte låta dem få
sådan här okontrollerad makt.
sådan här okontrollerad makt.
12:46
(Applause)
239
754120
2879
(Applåder)
12:50
Audits are great and important,
but they don't solve all our problems.
but they don't solve all our problems.
240
758087
4242
Kontroller är bra och viktiga,
men de löser inte alla våra problem.
men de löser inte alla våra problem.
12:54
Take Facebook's powerful
news feed algorithm --
news feed algorithm --
241
762353
2748
Ta Facebooks kraftfulla algoritm
för vårt nyhetsflöde -
för vårt nyhetsflöde -
12:57
you know, the one that ranks everything
and decides what to show you
and decides what to show you
242
765125
4843
ni vet, den som rangordnar allt
och bestämmer vad som ska visas för dig
och bestämmer vad som ska visas för dig
13:01
from all the friends and pages you follow.
243
769992
2284
från alla vänner och sidor du följer.
13:04
Should you be shown another baby picture?
244
772898
2275
Ska du få se ännu en spädbarnsbild?
13:07
(Laughter)
245
775197
1196
(Skratt)
13:08
A sullen note from an acquaintance?
246
776417
2596
En vresig kommentar från en bekant?
13:11
An important but difficult news item?
247
779449
1856
En viktig men svår nyhetsnotis?
13:13
There's no right answer.
248
781329
1482
Det finns inget rätt svar.
13:14
Facebook optimizes
for engagement on the site:
for engagement on the site:
249
782835
2659
Facebook optimerar flödet
för att få engagemang:
för att få engagemang:
13:17
likes, shares, comments.
250
785518
1415
gilla, dela, kommentera.
13:20
In August of 2014,
251
788168
2696
I augusti 2014
13:22
protests broke out in Ferguson, Missouri,
252
790888
2662
bröt protester ut i Ferguson, Missouri,
13:25
after the killing of an African-American
teenager by a white police officer,
teenager by a white police officer,
253
793574
4417
efter att en vit polis dödat
en afro-amerikansk tonåring,
en afro-amerikansk tonåring,
13:30
under murky circumstances.
254
798015
1570
under märkliga omständigheter.
13:31
The news of the protests was all over
255
799974
2007
Nyheten om protesterna fanns överallt
13:34
my algorithmically
unfiltered Twitter feed,
unfiltered Twitter feed,
256
802005
2685
i mitt i stort sett
algoritmfria Twitter-flöde,
algoritmfria Twitter-flöde,
13:36
but nowhere on my Facebook.
257
804714
1950
men inte alls på min Facebook.
13:39
Was it my Facebook friends?
258
807182
1734
Berodde det på mina Facebook-vänner?
13:40
I disabled Facebook's algorithm,
259
808940
2032
Jag inaktiverade Facebooks algoritm,
13:43
which is hard because Facebook
keeps wanting to make you
keeps wanting to make you
260
811472
2848
vilket är svårt för de vill ha dig
13:46
come under the algorithm's control,
261
814344
2036
under algoritmens kontroll,
13:48
and saw that my friends
were talking about it.
were talking about it.
262
816404
2238
och såg att mina vänner
pratade om händelsen.
pratade om händelsen.
Det var bara det att algoritmen
inte visade det.
inte visade det.
13:50
It's just that the algorithm
wasn't showing it to me.
wasn't showing it to me.
263
818666
2509
Jag undersökte saken och fann
att det är ett vanligt problem.
att det är ett vanligt problem.
13:53
I researched this and found
this was a widespread problem.
this was a widespread problem.
264
821199
3042
13:56
The story of Ferguson
wasn't algorithm-friendly.
wasn't algorithm-friendly.
265
824265
3813
Händelsen i Ferguson
var inte algoritm-vänlig.
var inte algoritm-vänlig.
14:00
It's not "likable."
266
828102
1171
Den var inte "sympatisk."
14:01
Who's going to click on "like?"
267
829297
1552
Vem skulle klicka på "gilla?"
14:03
It's not even easy to comment on.
268
831500
2206
Den är inte ens lätt att kommentera.
14:05
Without likes and comments,
269
833730
1371
Utan gillanden och kommentarer
14:07
the algorithm was likely showing it
to even fewer people,
to even fewer people,
270
835125
3292
skulle algoritmen troligen visa den
för ännu färre människor,
för ännu färre människor,
14:10
so we didn't get to see this.
271
838441
1542
så därför fick vi inte se den.
14:12
Instead, that week,
272
840946
1228
Istället, den veckan,
14:14
Facebook's algorithm highlighted this,
273
842198
2298
lyfte Facebooks algoritm fram det här,
14:16
which is the ALS Ice Bucket Challenge.
274
844520
2226
ALS Ice Bucket Challenge.
14:18
Worthy cause; dump ice water,
donate to charity, fine.
donate to charity, fine.
275
846770
3742
Häll iskallt vatten över dig,
och skänk pengar för ett gott syfte.
och skänk pengar för ett gott syfte.
14:22
But it was super algorithm-friendly.
276
850536
1904
Den var superalgoritmvänlig.
14:25
The machine made this decision for us.
277
853219
2613
Maskinen tog beslutet åt oss.
14:27
A very important
but difficult conversation
but difficult conversation
278
855856
3497
En mycket viktig men svår diskussion
14:31
might have been smothered,
279
859377
1555
skulle förmodligen kvävts
14:32
had Facebook been the only channel.
280
860956
2696
om Facebook hade varit
den enda nyhetskällan.
den enda nyhetskällan.
14:36
Now, finally, these systems
can also be wrong
can also be wrong
281
864117
3797
Till sist, de här systemen
kan också göra fel
kan också göra fel
14:39
in ways that don't resemble human systems.
282
867938
2736
på sätt som människor inte skulle göra.
14:42
Do you guys remember Watson,
IBM's machine-intelligence system
IBM's machine-intelligence system
283
870698
2922
Kommer ni ihåg Watson,
IBMs intelligenta dator
IBMs intelligenta dator
14:45
that wiped the floor
with human contestants on Jeopardy?
with human contestants on Jeopardy?
284
873644
3128
som sopade mattan
med deltagarna i Jeopardy?
med deltagarna i Jeopardy?
Den var en duktig motståndare.
14:49
It was a great player.
285
877131
1428
14:50
But then, for Final Jeopardy,
Watson was asked this question:
Watson was asked this question:
286
878583
3569
Men sen, som sista fråga i Jeopardy,
fick Watson följande fråga:
fick Watson följande fråga:
"Största flygplatsen är döpt
efter en hjälte i 2:a världskriget,
efter en hjälte i 2:a världskriget,
14:54
"Its largest airport is named
for a World War II hero,
for a World War II hero,
287
882659
2932
14:57
its second-largest
for a World War II battle."
for a World War II battle."
288
885615
2252
den andra största,
från ett slag i samma krig."
från ett slag i samma krig."
14:59
(Hums Final Jeopardy music)
289
887891
1378
(Nynnar Jeopardy-vinjetten)
15:01
Chicago.
290
889582
1182
Chicago.
De två människorna svarade rätt.
15:02
The two humans got it right.
291
890788
1370
15:04
Watson, on the other hand,
answered "Toronto" --
answered "Toronto" --
292
892697
4348
Watson, å sin sida, svarade "Toronto" -
15:09
for a US city category!
293
897069
1818
i kategorin amerikanska städer!
Den imponerande maskinen
gjorde också fel
gjorde också fel
15:11
The impressive system also made an error
294
899596
2901
som en människa aldrig skulle göra,
en lågstadieelev aldrig skulle göra.
en lågstadieelev aldrig skulle göra.
15:14
that a human would never make,
a second-grader wouldn't make.
a second-grader wouldn't make.
295
902521
3651
15:18
Our machine intelligence can fail
296
906823
3109
Våra intelligenta maskiner kan misslyckas
15:21
in ways that don't fit
error patterns of humans,
error patterns of humans,
297
909956
3100
på sätt som inte följer
mänskliga mönster,
mänskliga mönster,
15:25
in ways we won't expect
and be prepared for.
and be prepared for.
298
913080
2950
på sätt som vi inte förväntar oss
och är förberedda för.
och är förberedda för.
15:28
It'd be lousy not to get a job
one is qualified for,
one is qualified for,
299
916054
3638
Det är botten att inte få
ett jobb man är kvalificerad för,
ett jobb man är kvalificerad för,
15:31
but it would triple suck
if it was because of stack overflow
if it was because of stack overflow
300
919716
3727
men det skulle suga om det
berodde på minneshanteringen
berodde på minneshanteringen
i någon subrutin.
15:35
in some subroutine.
301
923467
1432
15:36
(Laughter)
302
924923
1579
(Skratt)
15:38
In May of 2010,
303
926526
2786
I maj 2010
15:41
a flash crash on Wall Street
fueled by a feedback loop
fueled by a feedback loop
304
929336
4044
drabbades Wall Street av en "blixtkrasch"
som förstärktes av en loop
som förstärktes av en loop
15:45
in Wall Street's "sell" algorithm
305
933404
3028
i Wall Streets sälj-algoritm
15:48
wiped a trillion dollars
of value in 36 minutes.
of value in 36 minutes.
306
936456
4184
som på 36 minuter
raderade en miljard dollar.
raderade en miljard dollar.
15:53
I don't even want to think
what "error" means
what "error" means
307
941722
2187
Jag vill inte tänka på vad "error" betyder
15:55
in the context of lethal
autonomous weapons.
autonomous weapons.
308
943933
3589
i samband med automatiserade vapensystem.
16:01
So yes, humans have always made biases.
309
949894
3790
Visst, människor har alltid
gjort partiska antaganden.
gjort partiska antaganden.
16:05
Decision makers and gatekeepers,
310
953708
2176
Beslutsfattare och andra grindvakter,
16:07
in courts, in news, in war ...
311
955908
3493
i domstolar, i nyheter, i krig ...
16:11
they make mistakes;
but that's exactly my point.
but that's exactly my point.
312
959425
3038
de gör misstag;
och det är det här jag menar.
och det är det här jag menar.
16:14
We cannot escape
these difficult questions.
these difficult questions.
313
962487
3521
Vi kan inte rymma från
de här svåra frågeställningarna.
de här svåra frågeställningarna.
16:18
We cannot outsource
our responsibilities to machines.
our responsibilities to machines.
314
966596
3516
Vi kan inte
lämna över ansvaret till maskiner.
16:22
(Applause)
315
970676
4208
(Applåder)
16:29
Artificial intelligence does not give us
a "Get out of ethics free" card.
a "Get out of ethics free" card.
316
977089
4447
Artificiell intelligens ger oss inte
ett frikort när det gäller etik.
ett frikort när det gäller etik.
16:34
Data scientist Fred Benenson
calls this math-washing.
calls this math-washing.
317
982742
3381
Dataanalytikern Fred Benenson
kallar det för matematik-tvätt.
kallar det för matematik-tvätt.
16:38
We need the opposite.
318
986147
1389
Vi behöver motsatsen.
16:39
We need to cultivate algorithm suspicion,
scrutiny and investigation.
scrutiny and investigation.
319
987560
5388
Vi måste förfina algoritmerna,
granska och kontrollera dem.
granska och kontrollera dem.
16:45
We need to make sure we have
algorithmic accountability,
algorithmic accountability,
320
993380
3198
Vi måste se till att ha
ansvarsfulla algoritmer,
ansvarsfulla algoritmer,
16:48
auditing and meaningful transparency.
321
996602
2445
revideringar och meningsfull transparens.
Vi måste förstå att användande av
matematik och maskinberäkningar
matematik och maskinberäkningar
16:51
We need to accept
that bringing math and computation
that bringing math and computation
322
999380
3234
16:54
to messy, value-laden human affairs
323
1002638
2970
i krångliga, värdeladdade
mänskliga relationer
mänskliga relationer
16:57
does not bring objectivity;
324
1005632
2384
inte skapar objektivitet;
17:00
rather, the complexity of human affairs
invades the algorithms.
invades the algorithms.
325
1008040
3633
utan snarare, att komplexa handlingar
påverkar algoritmerna.
påverkar algoritmerna.
17:04
Yes, we can and we should use computation
326
1012148
3487
Ja, vi kan och vi bör
använda maskinberäkningar
använda maskinberäkningar
17:07
to help us make better decisions.
327
1015659
2014
som en hjälp för att ta bättre beslut.
17:09
But we have to own up
to our moral responsibility to judgment,
to our moral responsibility to judgment,
328
1017697
5332
Men vi måste ta vårt moraliska ansvar
i beaktande i bedömningarna
i beaktande i bedömningarna
17:15
and use algorithms within that framework,
329
1023053
2818
och använda algoritmerna i det ramverket,
17:17
not as a means to abdicate
and outsource our responsibilities
and outsource our responsibilities
330
1025895
4935
och inte som ett sätt att frånsäga oss
eller outsourca vårt ansvar
eller outsourca vårt ansvar
17:22
to one another as human to human.
331
1030854
2454
till varandra som människa till människa.
17:25
Machine intelligence is here.
332
1033807
2609
Maskinintelligens är här för att stanna.
17:28
That means we must hold on ever tighter
333
1036440
3421
Det betyder att vi måste
hålla ännu hårdare
hålla ännu hårdare
17:31
to human values and human ethics.
334
1039885
2147
i våra värderingar och vår etik.
17:34
Thank you.
335
1042056
1154
Tack.
17:35
(Applause)
336
1043234
5020
(Applåder)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com