ABOUT THE SPEAKER
Joy Buolamwini - Poet of code
Joy Buolamwini's research explores the intersection of social impact technology and inclusion.

Why you should listen

Joy Buolamwini is a poet of code on a mission to show compassion through computation. As a graduate researcher at the MIT Media Lab, she leads the Algorithmic Justice League to fight coded bias. Her research explores the intersection of social impact technology and inclusion. In support of this work, Buolamwini was awarded a $50,000 grant as the Grand Prize winner of a national contest inspired by the critically acclaimed film Hidden Figures, based on the book by Margot Lee Shetterly.

Driven by an entrepreneurial spirit, Buolamwini's global interest in creating technology for social impact spans multiple industries and countries. As the inaugural Chief Technology Officer for Techturized Inc., a hair care technology company, and Swift Tech Solutions, a global health tech consultancy, she led software development for underserved communities in the United States, Ethiopia, Mali, Nigeria and Niger. In Zambia, she explored empowering citizens with skills to create their own technology through the Zamrize Project. In the United Kingdom, Buolamwini piloted a Service Year Initiative to launch Code4Rights which supports youth in creating meaningful technology for their communities in partnership with local organizations.

Through Filmmakers Collaborative, Buolamwini produces media that highlight diverse creators of technology. Her short documentary, The Coded Gaze: Unmasking Algorithmic Bias, debuted at the Museum of Fine Arts Boston and her pilot of the Code4Rights: Journey To Code training series debuted at the Vatican. She has presented keynote speeches and public talks at various forums including #CSforAll at the White House, Harvard University, Saïd Business School, Rutgers University, NCWIT, Grace Hopper Celebration and SXSWedu.

Buolamwini is a Rhodes Scholar, Fulbright Fellow, Google Anita Borg Scholar, Astronaut Scholar, A Stamps President's Scholar and Carter Center technical consultant recognized as a distinguished volunteer.  She holds a master's degree in Learning and Technology from Oxford University and a bachelor's degree in Computer Science from the Georgia Institute of Technology. Buolamwini serves as a Harvard resident tutor at Adams House where she mentors students seeking scholarships or pursuing entrepreneurship.

More profile about the speaker
Joy Buolamwini | Speaker | TED.com
TEDxBeaconStreet

Joy Buolamwini: How I'm fighting bias in algorithms

Joy Boulamwini: Como estou combatendo o viés algorítmico

Filmed:
1,223,943 views

Joy Buolamwini , estudante de pósgradução do MIT, trabalhava com um software de reconhecimento facial quando percebeu um problema: o software não reconhecia seu rosto, porque as pessoas que codificaram o algoritmo não o haviam ensinado a reconhecer uma ampla gama de tons de pele e de estruturas faciais. Agora, sua missão é combater o viés na aprendizagem automática, um fenômeno que ela chama de "olhar codificado". É uma palestra esclarecedora sobre a necessidade de haver responsabilidade ao codificar, já que os algoritmos estão influenciando cada vez mais aspectos da nossa vida.
- Poet of code
Joy Buolamwini's research explores the intersection of social impact technology and inclusion. Full bio

Double-click the English transcript below to play the video.

00:13
Hello, I'm Joy, a poet of code,
0
1041
3134
Olá, sou Joy, uma "poetisa dos códigos",
00:16
on a mission to stop
an unseen force that's rising,
1
4199
4993
a minha missão é deter
uma força invisível que tem crescido,
00:21
a force that I called "the coded gaze,"
2
9216
2856
uma força que chamo de "olhar codificado",
00:24
my term for algorithmic bias.
3
12096
3309
é como chamo o viés algorítmico.
00:27
Algorithmic bias, like human bias,
results in unfairness.
4
15429
4300
Tal como o preconceito humano,
ele resulta em desigualdade.
00:31
However, algorithms, like viruses,
can spread bias on a massive scale
5
19753
6022
Porém, os algoritmos, assim como os vírus,
podem espalhar o viés
em grande escala e rapidamente.
00:37
at a rapid pace.
6
25799
1582
00:39
Algorithmic bias can also lead
to exclusionary experiences
7
27943
4387
O viés algorítmico também
pode levar a experiências de exclusão
00:44
and discriminatory practices.
8
32354
2128
e a práticas discriminatórias.
00:46
Let me show you what I mean.
9
34506
2061
Vou mostrar o que quero dizer.
00:48
(Video) Joy Buolamwini: Hi, camera.
I've got a face.
10
36980
2436
(Vídeo) Joy Boulamwini:
Oi, câmera. Tenho um rosto.
00:52
Can you see my face?
11
40162
1864
Consegue ver meu rosto?
00:54
No-glasses face?
12
42051
1625
Um rosto sem óculos?
00:55
You can see her face.
13
43701
2214
Você consegue ver o rosto dela...
00:58
What about my face?
14
46237
2245
E o meu?
01:03
I've got a mask. Can you see my mask?
15
51890
3750
Estou usando uma máscara. Consegue vê-la?
01:08
Joy Buolamwini: So how did this happen?
16
56474
2365
Joy Boulamwini: Como isso aconteceu?
01:10
Why am I sitting in front of a computer
17
58863
3141
Por que estou diante de um computador,
usando uma máscara branca,
01:14
in a white mask,
18
62028
1424
01:15
trying to be detected by a cheap webcam?
19
63476
3650
tentando ser detectada
por uma câmera barata?
Bom, quando não estou lutando
contra o olhar codificado
01:19
Well, when I'm not fighting the coded gaze
20
67150
2291
01:21
as a poet of code,
21
69465
1520
como uma poetisa dos códigos,
01:23
I'm a graduate student
at the MIT Media Lab,
22
71009
3272
faço pós-graduação
no Laboratório de Mídia do MIT,
01:26
and there I have the opportunity to work
on all sorts of whimsical projects,
23
74305
4917
na qual tenho a oportunidade de trabalhar
em diversos projetos bacanas,
inclusive no "Aspire Mirror",
01:31
including the Aspire Mirror,
24
79246
2027
01:33
a project I did so I could project
digital masks onto my reflection.
25
81297
5134
projeto que criei para poder projetar
máscaras digitais sobre minha imagem.
01:38
So in the morning, if I wanted
to feel powerful,
26
86455
2350
De manhã, se eu quisesse me sentir
poderosa, poderia usar uma de leão.
01:40
I could put on a lion.
27
88829
1434
Se precisasse de uma inspiração,
usaria uma citação.
01:42
If I wanted to be uplifted,
I might have a quote.
28
90287
3496
01:45
So I used generic
facial recognition software
29
93807
2989
Então, usei um software genérico
de reconhecimento facial
01:48
to build the system,
30
96820
1351
para criar o sistema,
01:50
but found it was really hard to test it
unless I wore a white mask.
31
98195
5103
mas descobri que era bem difícil testá-lo,
a não ser que usasse uma máscara branca.
01:56
Unfortunately, I've run
into this issue before.
32
104282
4346
Infelizmente, já tive esse problema antes.
02:00
When I was an undergraduate
at Georgia Tech studying computer science,
33
108652
4303
Quando cursava minha graduação
em ciência da computação na Georgia Tech,
02:04
I used to work on social robots,
34
112979
2055
eu trabalhava com robôs sociais,
02:07
and one of my tasks was to get a robot
to play peek-a-boo,
35
115058
3777
e uma das minhas tarefas era fazer com que
um robô brincasse de "Achou!",
02:10
a simple turn-taking game
36
118859
1683
um jogo simples de revezamento
02:12
where partners cover their face
and then uncover it saying, "Peek-a-boo!"
37
120566
4321
em que uma pessoa cobre o rosto e depois
o mostra à outra, dizendo: "Achou!"
02:16
The problem is, peek-a-boo
doesn't really work if I can't see you,
38
124911
4429
O problema é que a brincadeira
não dá certo se você não vê o outro,
02:21
and my robot couldn't see me.
39
129364
2499
e meu robô não me via.
02:23
But I borrowed my roommate's face
to get the project done,
40
131887
3950
Aí, peguei emprestado o rosto
de uma amiga para fazer o projeto,
02:27
submitted the assignment,
41
135861
1380
entreguei a tarefa
02:29
and figured, you know what,
somebody else will solve this problem.
42
137265
3753
e pensei: "Sabe de uma coisa?
Outra pessoa vai resolver esse problema".
02:33
Not too long after,
43
141669
2003
Pouco tempo depois,
02:35
I was in Hong Kong
for an entrepreneurship competition.
44
143696
4159
eu estava em Hong Kong,
numa competição de empreendedorismo.
02:40
The organizers decided
to take participants
45
148339
2694
Os organizadores decidiram
levar os participantes
02:43
on a tour of local start-ups.
46
151057
2372
pra visitar "start-ups" locais.
02:45
One of the start-ups had a social robot,
47
153453
2715
Uma das start-ups tinha um robô social,
e eles decidiram fazer uma demonstração.
02:48
and they decided to do a demo.
48
156192
1912
A demonstração funcionou com todos,
02:50
The demo worked on everybody
until it got to me,
49
158128
2980
até que chegou a minha vez
e, como vocês já podem imaginar,
02:53
and you can probably guess it.
50
161132
1923
02:55
It couldn't detect my face.
51
163079
2965
ele não detectou meu rosto.
02:58
I asked the developers what was going on,
52
166068
2511
Perguntei aos desenvolvedores por quê,
03:00
and it turned out we had used the same
generic facial recognition software.
53
168603
5533
e descobri que usaram o mesmo software
genérico de reconhecimento facial que eu.
Do outro lado do mundo,
descobri que o viés algorítmico
03:06
Halfway around the world,
54
174160
1650
03:07
I learned that algorithmic bias
can travel as quickly
55
175834
3852
consegue viajar tão rápido
quanto um download da internet.
03:11
as it takes to download
some files off of the internet.
56
179710
3170
O que estava acontecendo?
Por que meu rosto não era detectado?
03:15
So what's going on?
Why isn't my face being detected?
57
183745
3076
03:18
Well, we have to look
at how we give machines sight.
58
186845
3356
Bem, precisamos analisar
como damos "visão" às máquinas.
03:22
Computer vision uses
machine learning techniques
59
190225
3409
A visão de computador utiliza
técnicas de aprendizagem automática
03:25
to do facial recognition.
60
193658
1880
para fazer o reconhecimento facial.
03:27
So how this works is, you create
a training set with examples of faces.
61
195562
3897
Funciona assim: você cria uma série
de treinamento, com alguns rostos.
03:31
This is a face. This is a face.
This is not a face.
62
199483
2818
"Isto é um rosto. Isto é um isto.
Isto não é um rosto."
03:34
And over time, you can teach a computer
how to recognize other faces.
63
202325
4519
Com o tempo, você ensina o computador
a reconhecer outros rostos.
03:38
However, if the training sets
aren't really that diverse,
64
206868
3989
Porém, se as séries não forem
diversificadas o bastante,
03:42
any face that deviates too much
from the established norm
65
210881
3349
qualquer rosto que seja
muito diferente dos demais
03:46
will be harder to detect,
66
214254
1649
será mais difícil de detectar,
e era isso que acontecia comigo.
03:47
which is what was happening to me.
67
215927
1963
03:49
But don't worry -- there's some good news.
68
217914
2382
Mas não se preocupem. Tenho boas notícias.
03:52
Training sets don't just
materialize out of nowhere.
69
220320
2771
As séries de treinamento
não surgem do nada.
03:55
We actually can create them.
70
223115
1788
Nós é que as criamos.
03:56
So there's an opportunity to create
full-spectrum training sets
71
224927
4176
Então, podemos criar
séries de amplo espectro,
04:01
that reflect a richer
portrait of humanity.
72
229127
3824
que reflitam rostos humanos
de forma mais diversa.
04:04
Now you've seen in my examples
73
232975
2221
Vocês já viram nos exemplos que dei
04:07
how social robots
74
235220
1768
como os robôs sociais
04:09
was how I found out about exclusion
with algorithmic bias.
75
237012
4611
me fizeram ver a exclusão causada
pelo viés algorítmico,
04:13
But algorithmic bias can also lead
to discriminatory practices.
76
241647
4815
mas o viés algorítmico também
pode acarretar práticas discriminatórias.
04:19
Across the US,
77
247437
1453
Em todos os Estados Unidos,
04:20
police departments are starting to use
facial recognition software
78
248914
4198
departamentos de polícia estão começando
a usar softwares de reconhecimento facial
04:25
in their crime-fighting arsenal.
79
253136
2459
como parte de seu arsenal
na luta contra o crime.
04:27
Georgetown Law published a report
80
255619
2013
A Georgetown Law publicou um relatório
04:29
showing that one in two adults
in the US -- that's 117 million people --
81
257656
6763
mostrando que um em cada dois adultos
nos EUA, ou seja, 117 milhões de pessoas,
04:36
have their faces
in facial recognition networks.
82
264443
3534
tiveram seus rostos incluídos
em redes de reconhecimento facial.
04:40
Police departments can currently look
at these networks unregulated,
83
268001
4552
Hoje, os departamentos de polícia podem
usar essas redes sem qualquer regulação,
04:44
using algorithms that have not
been audited for accuracy.
84
272577
4286
usando algoritmos que não tiveram
sua precisão auditada.
04:48
Yet we know facial recognition
is not fail proof,
85
276887
3864
Ainda assim, sabemos que
o reconhecimento facial não é infalível,
04:52
and labeling faces consistently
remains a challenge.
86
280775
4179
e identificar rostos de forma consistente
continua sendo um desafio.
Talvez já tenham visto isso no Facebook.
04:56
You might have seen this on Facebook.
87
284978
1762
Eu e meus amigos rimos o tempo todo
quando vemos outras pessoas
04:58
My friends and I laugh all the time
when we see other people
88
286764
2988
05:01
mislabeled in our photos.
89
289776
2458
sendo marcadas incorretamente
em nossas fotos.
05:04
But misidentifying a suspected criminal
is no laughing matter,
90
292258
5591
Mas errar na identificação de um suspeito
de crime não é nada engraçado,
05:09
nor is breaching civil liberties.
91
297873
2827
nem violar liberdades civis.
05:12
Machine learning is being used
for facial recognition,
92
300724
3205
A aprendizagem automática vem sendo
usada no reconhecimento facial,
05:15
but it's also extending beyond the realm
of computer vision.
93
303953
4505
mas também vem se expandindo
além da visão de computador.
05:21
In her book, "Weapons
of Math Destruction,"
94
309266
4016
Em seu livro "Weapons
of Math Destruction",
05:25
data scientist Cathy O'Neil
talks about the rising new WMDs --
95
313306
6681
a cientista de dados Cathy O'Neil
fala sobre a ascensão dos novos "DMDs"
05:32
widespread, mysterious
and destructive algorithms
96
320011
4353
algoritmos "disseminados,
misteriosos e destrutivos"
05:36
that are increasingly being used
to make decisions
97
324388
2964
que têm sido cada vez mais utilizados
na tomada de decisões
05:39
that impact more aspects of our lives.
98
327376
3177
que impactam mais aspectos
das nossas vidas.
05:42
So who gets hired or fired?
99
330577
1870
Quem será contratado ou demitido?
05:44
Do you get that loan?
Do you get insurance?
100
332471
2112
Vai conseguir aquele
empréstimo, ou seguro?
05:46
Are you admitted into the college
you wanted to get into?
101
334607
3503
Vai entrar na faculdade que você queria?
05:50
Do you and I pay the same price
for the same product
102
338134
3509
Eu e você pagamos o mesmo valor
pelo mesmo produto
05:53
purchased on the same platform?
103
341667
2442
vendido na mesma loja?
05:56
Law enforcement is also starting
to use machine learning
104
344133
3759
A segurança pública também está começando
a usar a aprendizagem automática
05:59
for predictive policing.
105
347916
2289
no policiamento preditivo.
06:02
Some judges use machine-generated
risk scores to determine
106
350229
3494
Alguns juízes utilizam índices
de risco gerados por máquinas
para determinar quanto tempo
um indivíduo ficará na prisão.
06:05
how long an individual
is going to spend in prison.
107
353747
4402
06:10
So we really have to think
about these decisions.
108
358173
2454
Temos realmente que refletir
sobre essas decisões. Será que são justas?
06:12
Are they fair?
109
360651
1182
E já vimos que o viés algorítmico
nem sempre leva a resultados justos.
06:13
And we've seen that algorithmic bias
110
361857
2890
06:16
doesn't necessarily always
lead to fair outcomes.
111
364771
3374
06:20
So what can we do about it?
112
368169
1964
Então, o que podemos fazer?
06:22
Well, we can start thinking about
how we create more inclusive code
113
370157
3680
Bem, podemos começar a pensar
em como criar codificação mais inclusiva
06:25
and employ inclusive coding practices.
114
373861
2990
e adotar práticas
de codificação inclusivas.
06:28
It really starts with people.
115
376875
2309
Tudo começa com pessoas.
06:31
So who codes matters.
116
379708
1961
Então, é importante saber quem codifica.
06:33
Are we creating full-spectrum teams
with diverse individuals
117
381693
4119
Estamos criando equipes diversificadas,
com indivíduos diferentes
06:37
who can check each other's blind spots?
118
385836
2411
que possam verificar
pontos cegos uns dos outros?
06:40
On the technical side,
how we code matters.
119
388271
3545
Quanto ao aspecto técnico,
a forma como codificamos é relevante.
06:43
Are we factoring in fairness
as we're developing systems?
120
391840
3651
Estamos levando em conta a equidade
no desenvolvimento de sistemas?
06:47
And finally, why we code matters.
121
395515
2913
Finalmente, a razão pela qual
codificamos é relevante.
06:50
We've used tools of computational creation
to unlock immense wealth.
122
398785
5083
Utilizamos ferramentas de criação
computacional para gerar imensas riquezas.
06:55
We now have the opportunity
to unlock even greater equality
123
403892
4447
Hoje temos a oportunidade
de gerar igualdade ainda maior,
07:00
if we make social change a priority
124
408363
2930
se considerarmos a mudança
social como uma prioridade
07:03
and not an afterthought.
125
411317
2170
e não como algo de menos importância.
07:06
And so these are the three tenets
that will make up the "incoding" movement.
126
414008
4522
Esses são os três princípios na criação
do movimento pela codificação inclusiva.
07:10
Who codes matters,
127
418554
1652
É importante quem codifica,
07:12
how we code matters
128
420230
1543
é importante como se codifica
07:13
and why we code matters.
129
421797
2023
e é importante por que se codifica.
07:15
So to go towards incoding,
we can start thinking about
130
423844
3099
Então, para uma codificação inclusiva,
podemos começar a pensar
na criação de plataformas
que identifiquem o viés,
07:18
building platforms that can identify bias
131
426967
3164
coletando as experiências das pessoas,
como as que eu contei aqui,
07:22
by collecting people's experiences
like the ones I shared,
132
430155
3078
07:25
but also auditing existing software.
133
433257
3070
mas também auditando
softwares já existentes.
07:28
We can also start to create
more inclusive training sets.
134
436351
3765
Também podemos começar a criar
séries de treinamento mais inclusivas.
07:32
Imagine a "Selfies for Inclusion" campaign
135
440140
2803
Imaginem uma campanha
de "'Selfies' pela Inclusão",
07:34
where you and I can help
developers test and create
136
442967
3655
em que eu e vocês possamos ajudar
os desenvolvedores a testar
e criar séries de treinamento
mais inclusivas.
07:38
more inclusive training sets.
137
446646
2093
07:41
And we can also start thinking
more conscientiously
138
449302
2828
Também podemos começar
a pensar de forma mais consciente
07:44
about the social impact
of the technology that we're developing.
139
452154
5391
sobre o impacto social das tecnologias
que temos desenvolvido.
Pra iniciarmos o movimento
de codificação inclusiva
07:49
To get the incoding movement started,
140
457569
2393
07:51
I've launched the Algorithmic
Justice League,
141
459986
2847
lancei a Liga da Justiça Algorítmica,
07:54
where anyone who cares about fairness
can help fight the coded gaze.
142
462857
5872
onde todos que se importem com a equidade
podem lutar contra o olhar codificado.
08:00
On codedgaze.com, you can report bias,
143
468753
3296
Em codedgaze.com,
vocês podem relatar vieses,
08:04
request audits, become a tester
144
472073
2445
solicitar auditorias,
participar dos testes
08:06
and join the ongoing conversation,
145
474542
2771
e se juntar ao debate que vem ocorrendo,
08:09
#codedgaze.
146
477337
2287
#codedgaze.
08:12
So I invite you to join me
147
480742
2487
Convido vocês a se juntarem a mim
08:15
in creating a world where technology
works for all of us,
148
483253
3719
na criação de um mundo onde a tecnologia
trabalhe em favor de todos,
08:18
not just some of us,
149
486996
1897
não apenas em favor de alguns,
08:20
a world where we value inclusion
and center social change.
150
488917
4588
um mundo onde valorizemos a inclusão
e tenhamos como foco a mudança social.
08:25
Thank you.
151
493529
1175
Obrigada.
08:26
(Applause)
152
494728
4271
(Aplausos)
08:32
But I have one question:
153
500873
2854
Mas tenho uma pergunta:
08:35
Will you join me in the fight?
154
503751
2059
Vocês vão se juntar a mim nessa luta?
08:37
(Laughter)
155
505834
1285
(Risos)
08:39
(Applause)
156
507143
3687
(Aplausos)
Translated by Leonardo Silva
Reviewed by Wanderley Jesus

▲Back to top

ABOUT THE SPEAKER
Joy Buolamwini - Poet of code
Joy Buolamwini's research explores the intersection of social impact technology and inclusion.

Why you should listen

Joy Buolamwini is a poet of code on a mission to show compassion through computation. As a graduate researcher at the MIT Media Lab, she leads the Algorithmic Justice League to fight coded bias. Her research explores the intersection of social impact technology and inclusion. In support of this work, Buolamwini was awarded a $50,000 grant as the Grand Prize winner of a national contest inspired by the critically acclaimed film Hidden Figures, based on the book by Margot Lee Shetterly.

Driven by an entrepreneurial spirit, Buolamwini's global interest in creating technology for social impact spans multiple industries and countries. As the inaugural Chief Technology Officer for Techturized Inc., a hair care technology company, and Swift Tech Solutions, a global health tech consultancy, she led software development for underserved communities in the United States, Ethiopia, Mali, Nigeria and Niger. In Zambia, she explored empowering citizens with skills to create their own technology through the Zamrize Project. In the United Kingdom, Buolamwini piloted a Service Year Initiative to launch Code4Rights which supports youth in creating meaningful technology for their communities in partnership with local organizations.

Through Filmmakers Collaborative, Buolamwini produces media that highlight diverse creators of technology. Her short documentary, The Coded Gaze: Unmasking Algorithmic Bias, debuted at the Museum of Fine Arts Boston and her pilot of the Code4Rights: Journey To Code training series debuted at the Vatican. She has presented keynote speeches and public talks at various forums including #CSforAll at the White House, Harvard University, Saïd Business School, Rutgers University, NCWIT, Grace Hopper Celebration and SXSWedu.

Buolamwini is a Rhodes Scholar, Fulbright Fellow, Google Anita Borg Scholar, Astronaut Scholar, A Stamps President's Scholar and Carter Center technical consultant recognized as a distinguished volunteer.  She holds a master's degree in Learning and Technology from Oxford University and a bachelor's degree in Computer Science from the Georgia Institute of Technology. Buolamwini serves as a Harvard resident tutor at Adams House where she mentors students seeking scholarships or pursuing entrepreneurship.

More profile about the speaker
Joy Buolamwini | Speaker | TED.com