TED2017
Cathy O'Neil: The era of blind faith in big data must end
Cathy O'Neil: L'era della fede cieca nelle grandi masse di dati deve finire
Filmed:
Readability: 4.4
1,391,460 views
Gli algoritmi stabiliscono a chi spetta un prestito, chi ottiene un colloquio di lavoro, chi ottiene un'assicurazione e molto altro -- ma non rendono le cose automaticamente giuste. La matematica e analista di dati Cathy O'Neil ha coniato un termine per gli algoritmi segreti, importanti e dannosi: "armi di distruzione matematica". Scoprite di più sulle intenzioni nascoste dietro le formule.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
Gli algoritmi sono ovunque.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
Selezionano e separano
i vincitori dai perdenti.
i vincitori dai perdenti.
00:20
The winners get the job
2
8019
2264
I vincitori ottengono il lavoro
o l'offerta di una buona
carta di credito.
carta di credito.
00:22
or a good credit card offer.
3
10307
1743
00:24
The losers don't even get an interview
4
12074
2651
I perdenti non ottengono
neanche un colloquio di lavoro
neanche un colloquio di lavoro
00:27
or they pay more for insurance.
5
15590
1777
o pagano di più per l'assicurazione.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
Siamo valutati da formule segrete
che non comprendiamo
che non comprendiamo
00:34
that often don't have systems of appeal.
7
22675
3217
che spesso non prevedono
sistemi cui poter fare ricorso.
sistemi cui poter fare ricorso.
Questo solleva la domanda:
00:39
That begs the question:
8
27240
1296
00:40
What if the algorithms are wrong?
9
28560
2913
e se gli algoritmi si sbagliano?
Per creare algoritmi servono due cose:
00:45
To build an algorithm you need two things:
10
33100
2040
servono dati, cos'è avvenuto in passato,
00:47
you need data, what happened in the past,
11
35164
1981
e una definizione di successo,
00:49
and a definition of success,
12
37169
1561
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
ciò che state cercando
e spesso sperando di ottenere.
e spesso sperando di ottenere.
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
L'algoritmo si verifica
cercando, risolvendo.
cercando, risolvendo.
Gli algoritmi chiariscono con precisione
ciò che è associato al successo,
ciò che è associato al successo,
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
01:01
What situation leads to success?
16
49739
2463
quale situazione porta al successo.
01:04
Actually, everyone uses algorithms.
17
52881
1762
In realtà, tutti usano algoritmi.
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
Solo che non li formalizzano
attraverso un codice scritto.
attraverso un codice scritto.
Vi faccio un esempio.
01:09
Let me give you an example.
19
57409
1348
Io uso un algoritmo ogni giorno
per cucinare per la mia famiglia.
per cucinare per la mia famiglia.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
I dati che uso
01:14
The data I use
21
62121
1476
01:16
is the ingredients in my kitchen,
22
64394
1659
sono ingredienti della mia cucina,
01:18
the time I have,
23
66077
1527
il tempo che ho,
01:19
the ambition I have,
24
67628
1233
l'ambizione che ho,
01:20
and I curate that data.
25
68885
1709
e curo quei dati.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
Non considero cibo quei
pacchettini di noodles istantanei.
pacchettini di noodles istantanei.
(Risate)
01:26
(Laughter)
27
74893
1869
La mia definizione di successo é:
01:28
My definition of success is:
28
76786
1845
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
un pasto è ben riuscito
se i miei figli mangiano verdure.
se i miei figli mangiano verdure.
Sarebbe molto diverso se fosse
mio figlio più piccolo a decidere.
mio figlio più piccolo a decidere.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
Lui direbbe che il successo
è mangiare tanta Nutella.
è mangiare tanta Nutella.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
Ma sono io a scegliere
cos'è il successo.
cos'è il successo.
01:41
But I get to choose success.
32
89179
2226
Comando io.
È la mia opinione che conta.
È la mia opinione che conta.
01:43
I am in charge. My opinion matters.
33
91429
2707
01:46
That's the first rule of algorithms.
34
94160
2675
Questa è la prima regola degli algoritmi.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
Gli algoritmi sono opinioni
racchiuse in codici.
racchiuse in codici.
È molto diverso da ciò che pensate,
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
che la maggior parte della gente
pensa degli algoritmi.
pensa degli algoritmi.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
Si pensa che gli algoritmi siano
oggettivi e realistici e scientifici.
oggettivi e realistici e scientifici.
02:02
That's a marketing trick.
38
110387
1699
È un inganno del marketing.
02:05
It's also a marketing trick
39
113269
2125
È un inganno del marketing anche
02:07
to intimidate you with algorithms,
40
115418
3154
quello di minacciarvi con gli algoritmi,
02:10
to make you trust and fear algorithms
41
118596
3661
per convincervi a fidarvi
degli algoritmi e a temerli
degli algoritmi e a temerli
02:14
because you trust and fear mathematics.
42
122281
2018
perché vi fidate e avete paura
delle scienze matematiche.
delle scienze matematiche.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Si può sbagliare tanto se riponiamo
una fiducia cieca in grandi masse di dati.
una fiducia cieca in grandi masse di dati.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
Lei è Kiri Soares. È preside
in una scuola superiore di Brooklyn.
in una scuola superiore di Brooklyn.
Nel 2011, mi disse che
i suoi docenti erano valutati
i suoi docenti erano valutati
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
con un complicato e segreto algoritmo
02:29
with a complex, secret algorithm
46
137691
2727
chiamato "modello di valore aggiunto".
02:32
called the "value-added model."
47
140442
1489
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
Le ho detto: "Trova qual è
la formula e mostramela.
la formula e mostramela.
Così te la spiego."
02:37
I'm going to explain it to you."
49
145621
1541
Mi disse: "Ho provato
ad avere la formula,
ad avere la formula,
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
ma il referente del mio Dipartimento
ha detto che era matematica
ha detto che era matematica
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
02:44
and I wouldn't understand it."
52
152147
1546
e non l'avrei capita".
Le cose peggiorano.
02:47
It gets worse.
53
155266
1338
Il New York Post ha fatto una richiesta
secondo il Freedom of Information Act,
secondo il Freedom of Information Act,
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
ha preso i nomi di tutti
gli insegnanti e i loro punteggi
gli insegnanti e i loro punteggi
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
e li ha divulgati esponendo
gli insegnanti alla pubblica gogna.
gli insegnanti alla pubblica gogna.
Quando ho chiesto le formule,
il codice sorgente,
il codice sorgente,
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
attraverso gli stessi canali,
03:02
I was told I couldn't.
58
170968
2149
mi è stato detto
che non potevo averle.
che non potevo averle.
Mi è stato negato.
03:05
I was denied.
59
173141
1236
03:06
I later found out
60
174401
1174
Poi ho scoperto
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
che nessuno a New York
aveva accesso a quella formula.
aveva accesso a quella formula.
03:10
No one understood it.
62
178489
1305
Nessuno la capiva.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Poi qualcuno molto intelligente
è stato coinvolto, Gary Rubenstein.
è stato coinvolto, Gary Rubenstein.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
Ha scoperto che 665 insegnanti
presenti nei dati del New York Post
presenti nei dati del New York Post
in realtà avevano due punteggi.
03:20
that actually had two scores.
65
188822
1866
03:22
That could happen if they were teaching
66
190712
1881
Questo può accadere se insegnano
matematica in seconda e in terza media.
03:24
seventh grade math and eighth grade math.
67
192617
2439
Decise di rappresentarli graficamente.
03:27
He decided to plot them.
68
195080
1538
03:28
Each dot represents a teacher.
69
196642
1993
Ogni punto rappresenta un insegnante.
03:31
(Laughter)
70
199104
2379
(Risate)
Cos'è questo?
03:33
What is that?
71
201507
1521
03:35
(Laughter)
72
203052
1277
(Risate)
Non avrebbero mai dovuto usarlo
per una valutazione individuale.
per una valutazione individuale.
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
Sembra un generatore casuale di numeri.
03:39
It's almost a random number generator.
74
207823
1926
03:41
(Applause)
75
209773
2946
(Applauso)
E lo era.
03:44
But it was.
76
212743
1162
Lei è Sarah Wysocki.
03:45
This is Sarah Wysocki.
77
213929
1176
È stata licenziata
con altri 205 insegnanti
con altri 205 insegnanti
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
dal distretto scolastico
di Washington DC,
di Washington DC,
03:49
from the Washington, DC school district,
79
217328
2662
nonostante le referenze
altamente positive da parte del preside
altamente positive da parte del preside
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
03:54
and the parents of her kids.
81
222947
1428
e da parte dei genitori dei suoi alunni.
So a cosa stanno pensando molti di voi,
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
soprattutto analisti, gli esperti
di Intelligenza Artificiale.
di Intelligenza Artificiale.
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
State pensando: "Io non farei mai
degli algoritmi così incoerenti".
degli algoritmi così incoerenti".
04:06
But algorithms can go wrong,
85
234853
1683
Ma gli algoritmi possono sbagliare,
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
perfino causare effetti disastrosi
nonostante le buone intenzioni.
nonostante le buone intenzioni.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
E mentre un aeroplano progettato male
precipita e può essere visto da tutti,
04:16
crashes to the earth and everyone sees it,
88
244934
2001
04:18
an algorithm designed badly
89
246959
1850
un algoritmo progettato male
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
può essere utilizzato per molto tempo
creando silenziosamente il caos.
creando silenziosamente il caos.
04:27
This is Roger Ailes.
91
255748
1570
Lui è Roger Ailes.
04:29
(Laughter)
92
257342
2000
(Risate)
04:32
He founded Fox News in 1996.
93
260524
2388
Ha fondato Fox News nel 1996.
Più di 20 donne lo hanno
accusato di molestie sessuali.
accusato di molestie sessuali.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
Hanno detto che a loro non era permesso
fare carriera a Fox News.
fare carriera a Fox News.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
È stato cacciato l'anno scorso,
ma di recente abbiamo visto
ma di recente abbiamo visto
04:43
that the problems have persisted.
97
271844
2670
che i problemi sono continuati.
04:47
That begs the question:
98
275654
1400
Questo solleva la domanda:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
cosa dovrebbe fare Fox News
per voltare veramente pagina?
per voltare veramente pagina?
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
E se sostituissero
il loro sistema di assunzione
il loro sistema di assunzione
con un algoritmo intelligente?
04:56
with a machine-learning algorithm?
101
284310
1654
04:57
That sounds good, right?
102
285988
1595
Sembra una buona idea, giusto?
04:59
Think about it.
103
287607
1300
Pensateci.
I dati, come sarebbero i dati?
05:00
The data, what would the data be?
104
288931
2105
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Una scelta ragionevole potrebbe essere
gli ultimi 21 anni di domande
di assunzione a Fox News.
di assunzione a Fox News.
05:08
Reasonable.
106
296031
1502
Ragionevole.
05:09
What about the definition of success?
107
297557
1938
E come definire il successo?
Una scelta ragionevole sarebbe:
05:11
Reasonable choice would be,
108
299921
1324
05:13
well, who is successful at Fox News?
109
301269
1778
chi ha avuto successo a Fox News?
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
Ad esempio qualcuno che è stato lì,
diciamo, per quattro anni
diciamo, per quattro anni
05:18
and was promoted at least once.
111
306675
1654
ed è stato promosso
almeno una volta.
almeno una volta.
05:20
Sounds reasonable.
112
308816
1561
Sembra ragionevole.
05:22
And then the algorithm would be trained.
113
310401
2354
E dopo l'algoritmo
dovrebbe essere preparato.
dovrebbe essere preparato.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
Sarebbe preparato a cercare le persone,
capire cosa conduce al successo,
capire cosa conduce al successo,
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
che tipi di candidature hanno
storicamente portato al successo
storicamente portato al successo
05:33
by that definition.
116
321561
1294
secondo quella definizione.
Ora pensate a cosa succederebbe
05:36
Now think about what would happen
117
324200
1775
se applicassimo questo
a un attuale campione di candidati.
a un attuale campione di candidati.
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
05:41
It would filter out women
119
329119
1629
Verrebbero escluse le donne
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
perché non rappresentano le persone
che hanno avuto successo in passato.
che hanno avuto successo in passato.
05:51
Algorithms don't make things fair
121
339752
2537
Gli algoritmi non rendono le cose giuste
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
se vengono applicati
allegramente e ciecamente.
allegramente e ciecamente.
Non rendono le cose giuste.
05:57
They don't make things fair.
123
345031
1482
Ripetono le nostre prassi del passato,
05:58
They repeat our past practices,
124
346537
2128
i nostri modelli.
06:00
our patterns.
125
348689
1183
Automatizzano lo status quo.
06:01
They automate the status quo.
126
349896
1939
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
Sarebbero straordinari
se vivessimo in un mondo perfetto,
se vivessimo in un mondo perfetto,
06:07
but we don't.
128
355905
1312
ma non lo abbiamo.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
Aggiungo che gran parte delle aziende
non ha cause legali imbarazzanti,
non ha cause legali imbarazzanti,
ma agli analisti di quelle aziende
06:14
but the data scientists in those companies
130
362446
2588
06:17
are told to follow the data,
131
365058
2189
viene detto di seguire i dati,
di focalizzarsi sull'accuratezza del dato.
06:19
to focus on accuracy.
132
367271
2143
06:22
Think about what that means.
133
370273
1381
Pensate a cosa significa.
Poiché tutti abbiamo pregiudizi, significa
che potrebbero codificare il sessismo
che potrebbero codificare il sessismo
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
o qualsiasi altro tipo di intolleranza.
06:27
or any other kind of bigotry.
135
375729
1836
06:31
Thought experiment,
136
379488
1421
Conduco ricerche,
perché mi piacciono:
06:32
because I like them:
137
380933
1509
06:35
an entirely segregated society --
138
383574
2975
una società interamente segregata,
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
segregazione razziale,
tutte le città, tutti i quartieri,
tutte le città, tutti i quartieri,
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
dove si manda la polizia
solo nei quartieri periferici
solo nei quartieri periferici
06:46
to look for crime.
141
394660
1193
a cercare il crimine.
06:48
The arrest data would be very biased.
142
396451
2219
I dati degli arresti sarebbero
intrisi di pregiudizi.
intrisi di pregiudizi.
Cosa succederebbe se,
oltretutto, trovassimo gli analisti
oltretutto, trovassimo gli analisti
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
e li pagassimo per prevedere
dove si verificherà il prossimo crimine?
dove si verificherà il prossimo crimine?
Quartieri periferici
abitati dalle minoranze.
abitati dalle minoranze.
06:59
Minority neighborhood.
145
407275
1487
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
O per prevedere chi
sarà il prossimo criminale?
sarà il prossimo criminale?
07:04
A minority.
147
412888
1395
Uno della minoranza.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Gli analisti si vanterebbero
di quanto straordinari e accurati
di quanto straordinari e accurati
sono i loro modelli,
07:11
their model would be,
149
419514
1297
e avrebbero ragione.
07:12
and they'd be right.
150
420835
1299
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
La realtà non è così drastica,
ma esistono gravi segregazioni
ma esistono gravi segregazioni
in molte città grandi e piccole,
07:20
in many cities and towns,
152
428590
1287
07:21
and we have plenty of evidence
153
429901
1893
e abbiamo ampia evidenza
di sistemi di dati investigativi
e giudiziari basati su pregiudizi.
e giudiziari basati su pregiudizi.
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
In realtà siamo anche in grado
di anticipare i luoghi critici,
di anticipare i luoghi critici,
07:27
And we actually do predict hotspots,
155
435632
2815
07:30
places where crimes will occur.
156
438471
1530
in cui si verificheranno i crimini.
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
Noi prevediamo, di fatto,
la criminalità individuale,
la criminalità individuale,
07:36
the criminality of individuals.
158
444291
1770
la criminalità dei singoli individui.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
La nuova organizzazione ProPublica
ha recentemente esaminato
ha recentemente esaminato
uno degli algoritmi
sul "rischio recidiva",
sul "rischio recidiva",
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
07:45
as they're called,
161
453007
1163
come vengono chiamati,
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
usati dai giudici in Florida
durante le sentenze.
durante le sentenze.
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
Bernard, l'uomo di colore a sinistra,
ha avuto un punteggio di 10 su 10.
ha avuto un punteggio di 10 su 10.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
Dylan, sulla destra, 3 su 10.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
10 su 10, rischio elevato.
3 su 10, rischio basso.
3 su 10, rischio basso.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Erano entrambi processati
per possesso di droga.
per possesso di droga.
Conosciuti dalla polizia,
08:03
They both had records,
167
471007
1154
08:04
but Dylan had a felony
168
472185
2806
ma Dylan aveva commesso un reato,
08:07
but Bernard didn't.
169
475015
1176
mentre Bernard no.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
Questo è importante, perché
più il vostro punteggio è alto,
più il vostro punteggio è alto,
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
più è probabile che
la vostra condanna sia lunga.
la vostra condanna sia lunga.
08:18
What's going on?
172
486294
1294
Cosa sta succedendo?
08:20
Data laundering.
173
488526
1332
Riciclaggio di dati.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
È un processo con cui gli esperti
di tecnologia nascondono tremende verità
di tecnologia nascondono tremende verità
08:27
inside black box algorithms
175
495381
1821
dentro la scatola nera degli algoritmi
08:29
and call them objective;
176
497226
1290
e la definiscono oggettività;
08:31
call them meritocratic.
177
499320
1568
la definiscono meritocrazia.
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
Quando sono segreti,
importanti e distruttivi,
importanti e distruttivi,
ho coniato un termine
per questi algoritmi:
per questi algoritmi:
08:37
I've coined a term for these algorithms:
179
505527
2487
08:40
"weapons of math destruction."
180
508038
1999
"Armi di distruzione matematica."
08:42
(Laughter)
181
510061
1564
(Risata)
08:43
(Applause)
182
511649
3054
(Applauso)
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
Sono ovunque e non per errore.
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Sono aziende private
che costruiscono algoritmi privati
che costruiscono algoritmi privati
08:53
for private ends.
185
521442
1392
per scopi privati.
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Persino quelli di cui ho parlato
per gli insegnanti e la polizia
per gli insegnanti e la polizia
08:58
those were built by private companies
187
526452
1869
sono stati creati da compagnie private
09:00
and sold to the government institutions.
188
528345
2231
e venduti alle istituzioni governative.
Li chiamano il loro
"ingrediente segreto",
"ingrediente segreto",
09:02
They call it their "secret sauce" --
189
530600
1873
09:04
that's why they can't tell us about it.
190
532497
2128
ecco perché non possono parlarcene.
09:06
It's also private power.
191
534649
2220
È anche un potere privato.
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
Ne stanno traendo vantaggio per esercitare
l'autorità dell'imperscrutabile.
l'autorità dell'imperscrutabile.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
Ora potreste pensare che,
visto che è tutto privato
visto che è tutto privato
09:20
and there's competition,
194
548072
1158
e c'è la concorrenza,
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
forse il mercato libero
risolverà il problema.
risolverà il problema.
09:23
It won't.
196
551584
1249
Invece no.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
Ci sono un sacco di soldi
da fare in modo scorretto.
da fare in modo scorretto.
09:29
Also, we're not economic rational agents.
198
557127
3369
Inoltre, noi non siamo
agenti economici razionali.
agenti economici razionali.
Abbiamo tutti dei pregiudizi.
09:33
We all are biased.
199
561031
1292
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Siamo tutti razzisti e faziosi
in modi che preferiremmo non essere,
in modi che preferiremmo non essere,
09:38
in ways that we don't even know.
201
566361
2019
in modi che neanche immaginiamo.
09:41
We know this, though, in aggregate,
202
569352
3081
Ma lo sappiamo grazie
al complesso dei dati,
al complesso dei dati,
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
perché i sociologi lo hanno dimostrato
09:47
with these experiments they build,
204
575701
1665
con gli esperimenti che fanno,
in cui mandano in giro
un mucchio di richieste di lavoro,
un mucchio di richieste di lavoro,
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
con uguali qualifiche,
ma alcune con nomi da bianchi,
ma alcune con nomi da bianchi,
09:54
and some have black-sounding names,
207
582507
1706
altre con nomi da afro-americani,
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
e il risultato è sempre
deludente. Sempre.
deludente. Sempre.
Quindi, siamo noi ad avere pregiudizi,
09:59
So we are the ones that are biased,
209
587510
1771
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
e stiamo iniettando
quei pregiudizi negli algoritmi,
quei pregiudizi negli algoritmi,
decidendo quali dati raccogliere,
10:04
by choosing what data to collect,
211
592758
1812
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
come ho scelto di non pensare
a quei noodles istantanei,
a quei noodles istantanei,
10:09
I decided it was irrelevant.
213
597361
1625
ho deciso che era irrilevante.
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
Lo facciamo fidandoci di dati che
si riferiscono a prassi del passato
si riferiscono a prassi del passato
e scegliendo gli indicatori
per valutare il successo
per valutare il successo
10:16
and by choosing the definition of success,
215
604718
2014
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
Come possiamo aspettarci
che gli algoritmi ne escano indenni?
che gli algoritmi ne escano indenni?
10:22
We can't. We have to check them.
217
610763
2356
Non possiamo. Dobbiamo controllarli.
Dobbiamo controllarli
per garantirne l'imparzialità.
per garantirne l'imparzialità.
10:26
We have to check them for fairness.
218
614165
1709
La buona notizia è che possiamo
verificarne l'imparzialità.
verificarne l'imparzialità.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
10:30
Algorithms can be interrogated,
220
618633
3352
Gli algoritmi possono essere interrogati,
e ci diranno la verità ogni volta.
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
Possiamo sistemarli.
Possiamo renderli migliori.
Possiamo renderli migliori.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
Lo definisco un audit algoritmico,
10:38
I call this an algorithmic audit,
223
626584
2375
e ve lo illustro.
10:40
and I'll walk you through it.
224
628983
1679
10:42
First, data integrity check.
225
630686
2196
Primo, controllo dell'integrità dei dati.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
Per il rischio di recidività
degli algoritmi di cui ho parlato,
degli algoritmi di cui ho parlato,
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
un controllo dell'integrità dei dati
significherebbe constatare il fatto
significherebbe constatare il fatto
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
che negli US, la percentuale di bianchi
e neri che fumano erba è uguale
e neri che fumano erba è uguale
ma i neri hanno molte più
probabilità di essere arrestati,
probabilità di essere arrestati,
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
da 4 o 5 volte di più,
a seconda della zona.
a seconda della zona.
Che forma assume quel pregiudizio
in altre categorie criminologiche,
in altre categorie criminologiche,
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
e come possiamo tenerne conto?
11:06
and how do we account for it?
232
654167
1451
Secondo, dovremmo considerare
la definizione di successo,
la definizione di successo,
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
sottoporla a verifica.
11:11
audit that.
234
659225
1381
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
Ricordate l'algoritmo
delle assunzioni che ho illustrato?
delle assunzioni che ho illustrato?
Uno che mantiene il lavoro per quattro
anni ed è promosso una volta?
anni ed è promosso una volta?
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
11:18
Well, that is a successful employee,
237
666595
1769
Quello è un impiegato di successo,
ma è anche un impiegato
sostenuto dalla loro cultura.
sostenuto dalla loro cultura.
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
Detto questo, può esserci
anche un lieve pregiudizio.
anche un lieve pregiudizio.
11:24
That said, also it can be quite biased.
239
672089
1926
Dobbiamo distinguere questi due aspetti.
11:26
We need to separate those two things.
240
674039
2065
Dovremmo prendere
le audizioni d'orchestra alla cieca
le audizioni d'orchestra alla cieca
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
11:30
as an example.
242
678578
1196
come esempio.
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
Quelle in cui chi fa il provino
sta dietro uno schermo.
sta dietro uno schermo.
11:34
What I want to think about there
244
682946
1931
Quello a cui voglio pensare
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
è che le persone che stanno ascoltando
hanno deciso cosa sia importante
hanno deciso cosa sia importante
e cosa non lo è,
11:40
and they've decided what's not important,
246
688342
2029
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
e non si lasceranno distrarre.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
da quando le audizioni d'orchestra
alla cieca sono iniziate,
alla cieca sono iniziate,
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
il numero di donne
nelle orchestre è quintuplicato.
nelle orchestre è quintuplicato.
11:52
Next, we have to consider accuracy.
250
700253
2015
Poi dobbiamo considerare l'accuratezza.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
È qui che il "modello di valore aggiunto"
per insegnanti fallisce immediatamente.
per insegnanti fallisce immediatamente.
11:59
No algorithm is perfect, of course,
252
707578
2162
Nessun algoritmo è perfetto, certo,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
quindi dobbiamo considerare
gli errori di ogni algoritmo.
gli errori di ogni algoritmo.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
Quanto spesso ci sono errori
e per chi fallisce questo modello?
e per chi fallisce questo modello?
12:11
What is the cost of that failure?
255
719850
1718
Qual è il prezzo di quel fallimento?
12:14
And finally, we have to consider
256
722434
2207
Infine, dobbiamo considerare
12:17
the long-term effects of algorithms,
257
725973
2186
gli effetti a lungo termine
degli algoritmi,
degli algoritmi,
12:20
the feedback loops that are engendering.
258
728866
2207
i cicli di feedback
che stanno generando.
che stanno generando.
Può sembrarvi un'astrazione,
12:23
That sounds abstract,
259
731586
1236
ma immaginate se i tecnici di Facebook
lo avessero considerato
lo avessero considerato
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
prima di decidere di mostrarci solo
le cose pubblicate dai nostri amici.
le cose pubblicate dai nostri amici.
Ho altre due raccomandazioni,
una per gli analisti di dati là fuori.
una per gli analisti di dati là fuori.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Analisti: non dovremmo
essere gli arbitri della verità.
essere gli arbitri della verità.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Dovremmo essere i traduttori
delle discussioni etiche che accadono
delle discussioni etiche che accadono
nella società.
12:45
in larger society.
265
753327
1294
12:47
(Applause)
266
755579
2133
(Applausi)
12:49
And the rest of you,
267
757736
1556
E per tutti gli altri,
12:52
the non-data scientists:
268
760011
1396
i non-analisti di dati:
12:53
this is not a math test.
269
761431
1498
questo non è un esame di matematica.
12:55
This is a political fight.
270
763632
1348
Questa è una lotta politica.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Dobbiamo pretendere più trasparenza
dai signori degli algoritmi.
dai signori degli algoritmi.
(Applausi)
13:04
(Applause)
272
772118
1499
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
L'era della fede cieca
nelle masse di dati deve finire.
nelle masse di dati deve finire.
Vi ringrazio molto.
13:09
Thank you very much.
274
777890
1167
13:11
(Applause)
275
779081
5303
(Applausi)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com