08:45
TEDxBeaconStreet

Joy Buolamwini: How I'm fighting bias in algorithms

Joy Buolamwini: Mon combat contre les algorithmes biaisés

Filmed:

Joy Buolamwini, doctorante au MIT, travaillait avec des logiciels de reconnaissances faciale quand elle a remarqué un problème: le logiciel ne reconnaissait pas son visage -- parce que ceux qui avaient codé l'algorithme ne lui avait pas appris à identifier une grande variété de couleurs de peau et de structures faciales. Elle s'est donné pour mission de combattre le biais algorithmique dans le machine learning, un phénomène qu'elle nomme le « regard codé ». Cette conférence fait comprendre l'importance de la responsabilité dans le développement, sachant que les algorithmes prennent de plus en plus d'importance dans nos vies.

- Poet of code
Joy Buolamwini's research explores the intersection of social impact technology and inclusion. Full bio

Bonjour, je suis Joy, une poète du code
00:13
Hello, I'm Joy, a poet of code,
en mission pour arrêter
une force invisible qui prend de l'ampleur
00:16
on a mission to stop
an unseen force that's rising,
une force que j'appelle
« le regard codé »,
00:21
a force that I called "the coded gaze,"
mon terme pour le biais algorithmique.
00:24
my term for algorithmic bias.
Le biais algorithmique, comme le biais
cognitif, crée de l'injustice.
00:27
Algorithmic bias, like human bias,
results in unfairness.
Mais les algorithmes, comme les virus,
peuvent massivement générer un biais
00:31
However, algorithms, like viruses,
can spread bias on a massive scale
et ce, très rapidement.
00:37
at a rapid pace.
Le biais algorithmique peut aussi
créer des sentiments d'exclusion
00:39
Algorithmic bias can also lead
to exclusionary experiences
et mener à des pratiques discriminatoires.
00:44
and discriminatory practices.
Laissez-moi vous montrer
ce que je veux dire.
00:46
Let me show you what I mean.
(Video) Joy Boulamwini : Salut
webcam. J'ai un visage.
00:48
(Video) Joy Buolamwini: Hi, camera.
I've got a face.
Est-ce que tu peux le voir?
00:52
Can you see my face?
Et sans lunettes ?
00:54
No-glasses face?
Tu peux voir son visage à elle.
00:55
You can see her face.
Et le mien ?
00:58
What about my face?
J'ai un masque. Est-ce que tu peux
voir mon masque ?
01:03
I've got a mask. Can you see my mask?
Joy Boulamwini : Ça, comment
est-ce arrivé ?
01:08
Joy Buolamwini: So how did this happen?
Pourquoi est-ce que je me retrouve
assise devant un ordinateur
01:10
Why am I sitting in front of a computer
portant un masque blanc
01:14
in a white mask,
pour essayer d'être détectée
par une webcam premier prix ?
01:15
trying to be detected by a cheap webcam?
Quand je ne me bats pas
contre le regard codé
01:19
Well, when I'm not fighting the coded gaze
en tant que poète du code,
01:21
as a poet of code,
Je suis doctorante au Media Lab du MIT
01:23
I'm a graduate student
at the MIT Media Lab,
et j'ai l'opportunité de plancher
sur plein de projets fantaisistes
01:26
and there I have the opportunity to work
on all sorts of whimsical projects,
dont le Miroir Aspire
01:31
including the Aspire Mirror,
que j'ai construit pour pouvoir projeter
des masques digitaux sur mon reflet.
01:33
a project I did so I could project
digital masks onto my reflection.
Comme ça le matin, pour
me sentir plus forte,
01:38
So in the morning, if I wanted
to feel powerful,
je pouvais projeter un lion.
01:40
I could put on a lion.
Si j'avais besoin d'encouragements,
je pouvais choisir une citation.
01:42
If I wanted to be uplifted,
I might have a quote.
J'ai donc utilisé un logiciel
de reconnaissance faciale
01:45
So I used generic
facial recognition software
pour construire le système,
01:48
to build the system,
mais j'ai réalisé que je ne pouvais pas
le tester à moins de porter un masque.
01:50
but found it was really hard to test it
unless I wore a white mask.
Malheureusement, j'avais déjà
rencontré ce problème.
01:56
Unfortunately, I've run
into this issue before.
Quand j'étais étudiante
en informatique à Georgia Tech,
02:00
When I was an undergraduate
at Georgia Tech studying computer science,
je travaillais sur les robots sociaux
02:04
I used to work on social robots,
et l'un de mes devoirs était de programmer
un robot pour qu'il joue à « Caché »,
02:07
and one of my tasks was to get a robot
to play peek-a-boo,
un jeu qui se joue à tour de rôle
02:10
a simple turn-taking game
dans lequel chacun couvre son visage,
puis le découvre en disant « Coucou ! »
02:12
where partners cover their face
and then uncover it saying, "Peek-a-boo!"
Le problème, c'est que ce jeu ne peut
pas marcher si je ne peux pas vous voir
02:16
The problem is, peek-a-boo
doesn't really work if I can't see you,
et mon robot ne pouvait pas me voir.
02:21
and my robot couldn't see me.
Mais j'ai emprunté le visage de ma
colocataire pour finir le projet,
02:23
But I borrowed my roommate's face
to get the project done,
j'ai rendu le devoir,
02:27
submitted the assignment,
et je me suis dit que
quelqu'un d'autre résoudrait le problème.
02:29
and figured, you know what,
somebody else will solve this problem.
Peu de temps après,
02:33
Not too long after,
j'étais à Hong Kong
pour une compétition d'entrepreneuriat.
02:35
I was in Hong Kong
for an entrepreneurship competition.
Les organisateurs ont décidé
d'emmener les participants
02:40
The organizers decided
to take participants
faire le tour des start-up locales.
02:43
on a tour of local start-ups.
L'une d'elles avait un robot social, ils
ont décidé de faire une démonstration.
02:45
One of the start-ups had a social robot,
02:48
and they decided to do a demo.
02:50
The demo worked on everybody
until it got to me,
Ça a marché avec tout le monde
jusqu'à ce que vienne mon tour,
et vous pouvez sans doute deviner.
02:53
and you can probably guess it.
Le robot ne pouvait pas
détecter mon visage.
02:55
It couldn't detect my face.
J'ai demandé aux développeurs
ce qu'il se passait,
02:58
I asked the developers what was going on,
et en fait nous avions utilisé le même
outil de reconnaissance faciale.
03:00
and it turned out we had used the same
generic facial recognition software.
À l'autre bout du monde,
03:06
Halfway around the world,
j'avais appris que le biais algorithmique
peut voyager aussi rapidement
03:07
I learned that algorithmic bias
can travel as quickly
qu'un téléchargement de fichiers.
03:11
as it takes to download
some files off of the internet.
Qu'est-ce qui se passe ?
Pourquoi mon visage n'est pas détecté ?
03:15
So what's going on?
Why isn't my face being detected?
Pour répondre, il faut comprendre comment
on donne la vue aux machines.
03:18
Well, we have to look
at how we give machines sight.
La vision informatique utilise
des techniques de machine learning
03:22
Computer vision uses
machine learning techniques
pour reconnaître des visages.
03:25
to do facial recognition.
Pour que ça marche, vous créez un ensemble
de formation avec des exemples.
03:27
So how this works is, you create
a training set with examples of faces.
Ceci est un visage. Ceci est un visage.
Mais pas ça.
03:31
This is a face. This is a face.
This is not a face.
Au fur et à mesure, l'ordinateur apprend
comment reconnaître d'autres visages.
03:34
And over time, you can teach a computer
how to recognize other faces.
Mais si les jeux de tests
ne sont pas très variés,
03:38
However, if the training sets
aren't really that diverse,
n'importe quel visage qui dévie trop
de la norme établie
03:42
any face that deviates too much
from the established norm
sera plus compliqué à détecter,
03:46
will be harder to detect,
et c'était ce qui se passait avec moi.
03:47
which is what was happening to me.
Mais pas d'angoisse --
il y a de bonnes nouvelles.
03:49
But don't worry -- there's some good news.
Les jeux de tests
n'apparaissent pas par magie.
03:52
Training sets don't just
materialize out of nowhere.
On peut les créer nous-mêmes.
03:55
We actually can create them.
Il y a la possibilité de créer
des jeux de tests plus variés
03:56
So there's an opportunity to create
full-spectrum training sets
qui offrent un portrait
plus riche de l'humanité.
04:01
that reflect a richer
portrait of humanity.
Vous avez vu dans mes exemples
04:04
Now you've seen in my examples
que c'est via les robots sociaux
04:07
how social robots
que je me suis rendu compte de l'existence
du biais algorithmique.
04:09
was how I found out about exclusion
with algorithmic bias.
Mais le biais algorithmique peut aussi
mener à des pratiques discriminatoires.
04:13
But algorithmic bias can also lead
to discriminatory practices.
Aux États-Unis,
04:19
Across the US,
la police commence à utiliser
des logiciels de reconnaissance faciale
04:20
police departments are starting to use
facial recognition software
dans son arsenal contre le crime.
04:25
in their crime-fighting arsenal.
Georgetown Law a publié un rapport
04:27
Georgetown Law published a report
montrant qu'un adulte sur deux aux
États-Unis - 117 millions de personnes--
04:29
showing that one in two adults
in the US -- that's 117 million people --
ont leur visage dans un système de
reconnaissance faciale.
04:36
have their faces
in facial recognition networks.
La police peut en ce moment consulter
ces systèmes non régulés,
04:40
Police departments can currently look
at these networks unregulated,
en utilisant des algorithmes
dont la fiabilité n'a pas été testée.
04:44
using algorithms that have not
been audited for accuracy.
Mais on sait que la reconnaissance
faciale a des failles,
04:48
Yet we know facial recognition
is not fail proof,
et que correctement étiqueter
un visage reste un défi.
04:52
and labeling faces consistently
remains a challenge.
Vous l'avez sûrement vu sur Facebook.
04:56
You might have seen this on Facebook.
Avec mes amis, on rit souvent
quand on voit d'autres personnes
04:58
My friends and I laugh all the time
when we see other people
mal identifiées dans nos photos.
05:01
mislabeled in our photos.
Mais mal identifier un suspect comme étant
un criminel n'est pas drôle,
05:04
But misidentifying a suspected criminal
is no laughing matter,
et porter atteinte aux libertés civiles
non plus.
05:09
nor is breaching civil liberties.
Le machine learning est utilisé
pour la reconnaissance faciale,
05:12
Machine learning is being used
for facial recognition,
mais s'utilise dans d'autres
domaines que la vision informatique.
05:15
but it's also extending beyond the realm
of computer vision.
Dans son livre « Weapons
of Math Destruction »,
05:21
In her book, "Weapons
of Math Destruction,"
la data scientist Cathy O'Neil
parle des risques de ces nouvelles armes,
05:25
data scientist Cathy O'Neil
talks about the rising new WMDs --
des algorithmes répandus,
mystérieux et destructeurs
05:32
widespread, mysterious
and destructive algorithms
qui sont de plus en plus utilisés
dans des prises de décision
05:36
that are increasingly being used
to make decisions
qui ont un impact sur nos vies.
05:39
that impact more aspects of our lives.
Qui est embauché ou renvoyé ?
05:42
So who gets hired or fired?
Aurez-vous ce prêt ?
Une assurance ?
05:44
Do you get that loan?
Do you get insurance?
Serez-vous admis dans cette université
que vous voulez vraiment ?
05:46
Are you admitted into the college
you wanted to get into?
Est-ce que vous et moi payons
le même prix pour le même produit
05:50
Do you and I pay the same price
for the same product
acheté sur la même plateforme ?
05:53
purchased on the same platform?
Les autorités policières commencent
à utiliser le machine learning
05:56
Law enforcement is also starting
to use machine learning
dans le cadre de la prévention policière.
05:59
for predictive policing.
Certains juges utilisent des scores
générés par des machines
06:02
Some judges use machine-generated
risk scores to determine
pour déterminer combien de temps
un individu passera derrière les barreaux.
06:05
how long an individual
is going to spend in prison.
Nous devons donc réfléchir
à ces décisions.
06:10
So we really have to think
about these decisions.
Sont-elles justes ?
06:12
Are they fair?
Et nous avons vu que
le biais algorithmique
06:13
And we've seen that algorithmic bias
ne mène pas forcément
à des décisions justes.
06:16
doesn't necessarily always
lead to fair outcomes.
Que pouvons-nous faire ?
06:20
So what can we do about it?
Nous pouvons commencer à penser
à une manière de coder plus inclusivement
06:22
Well, we can start thinking about
how we create more inclusive code
et à utiliser des pratiques
de code plus inclusives.
06:25
and employ inclusive coding practices.
Tout commence avec les gens.
06:28
It really starts with people.
Qui code a une importance.
06:31
So who codes matters.
Créons-nous des équipes
composées d'individus variés
06:33
Are we creating full-spectrum teams
with diverse individuals
qui puissent vérifier mutuellement
leurs travaux ?
06:37
who can check each other's blind spots?
D'un point de vue technique,
comment on code a de l'importance.
06:40
On the technical side,
how we code matters.
Ajoutons-nous la justice à l'équation
quand nous développons des systèmes ?
06:43
Are we factoring in fairness
as we're developing systems?
Finalement, pourquoi
on code a une importance.
06:47
And finally, why we code matters.
Nous avons utilisé des outils numériques
pour générer d'immenses richesses.
06:50
We've used tools of computational creation
to unlock immense wealth.
Nous avons maintenant l'opportunité
de créer encore plus d'égalité
06:55
We now have the opportunity
to unlock even greater equality
si nous faisons du changement
social une priorité.
07:00
if we make social change a priority
et pas une préoccupation secondaire.
07:03
and not an afterthought.
Ceci seront les trois piliers
du mouvement « incoding ».
07:06
And so these are the three tenets
that will make up the "incoding" movement.
Qui code a de l'importance,
07:10
Who codes matters,
la manière dont on code aussi
07:12
how we code matters
et pourquoi on code également.
07:13
and why we code matters.
Pour aller vers l'incoding,
nous pouvons commencer à réfléchir
07:15
So to go towards incoding,
we can start thinking about
à comment construire des outils
pouvant identifier ce biais
07:18
building platforms that can identify bias
via la collecte de témoignages
comme celui que j'ai partagé,
07:22
by collecting people's experiences
like the ones I shared,
mais qui pourraient aussi tester
des logiciels existants.
07:25
but also auditing existing software.
Nous pouvons commencer à créer
des jeux de tests plus complets.
07:28
We can also start to create
more inclusive training sets.
Imaginez une campagne
« Selfies pour l'inclusion »,
07:32
Imagine a "Selfies for Inclusion" campaign
où vous et moi pourrions aider
les développeurs à tester et créer
07:34
where you and I can help
developers test and create
ces jeux de tests plus variés.
07:38
more inclusive training sets.
Nous pouvons commencer à penser
plus consciencieusement
07:41
And we can also start thinking
more conscientiously
à l'impact social
des technologies que nous développons.
07:44
about the social impact
of the technology that we're developing.
Pour commencer le mouvement incoding,
07:49
To get the incoding movement started,
J'ai lancé l'Algorithmic Justice League,
07:51
I've launched the Algorithmic
Justice League,
où n'importe qui se souciant du problème
peut aider à combattre le regard codé.
07:54
where anyone who cares about fairness
can help fight the coded gaze.
Sur codedgaze.com, vous pouvez
dénoncer des biais,
08:00
On codedgaze.com, you can report bias,
demander des tests, être testeur vous-même
08:04
request audits, become a tester
et rejoindre la conversation,
08:06
and join the ongoing conversation,
#codedgaze.
08:09
#codedgaze.
Donc je vous invite à me rejoindre
08:12
So I invite you to join me
pour créer un monde où la technologie
marche pour nous tous,
08:15
in creating a world where technology
works for all of us,
pas seulement pour certains,
08:18
not just some of us,
un monde où l'inclusion
et le changement social ont de la valeur.
08:20
a world where we value inclusion
and center social change.
Merci.
08:25
Thank you.
(Applaudissements)
08:26
(Applause)
Mais j'ai une question :
08:32
But I have one question:
Me rejoindrez-vous dans ce combat?
08:35
Will you join me in the fight?
(Rires)
08:37
(Laughter)
(Applaudissements)
08:39
(Applause)
Translated by Marie P
Reviewed by eric vautier

▲Back to top

About the Speaker:

Joy Buolamwini - Poet of code
Joy Buolamwini's research explores the intersection of social impact technology and inclusion.

Why you should listen

Joy Buolamwini is a poet of code on a mission to show compassion through computation. As a graduate researcher at the MIT Media Lab, she leads the Algorithmic Justice League to fight coded bias. Her research explores the intersection of social impact technology and inclusion. In support of this work, Buolamwini was awarded a $50,000 grant as the Grand Prize winner of a national contest inspired by the critically acclaimed film Hidden Figures, based on the book by Margot Lee Shetterly.

Driven by an entrepreneurial spirit, Buolamwini's global interest in creating technology for social impact spans multiple industries and countries. As the inaugural Chief Technology Officer for Techturized Inc., a hair care technology company, and Swift Tech Solutions, a global health tech consultancy, she led software development for underserved communities in the United States, Ethiopia, Mali, Nigeria and Niger. In Zambia, she explored empowering citizens with skills to create their own technology through the Zamrize Project. In the United Kingdom, Buolamwini piloted a Service Year Initiative to launch Code4Rights which supports youth in creating meaningful technology for their communities in partnership with local organizations.

Through Filmmakers Collaborative, Buolamwini produces media that highlight diverse creators of technology. Her short documentary, The Coded Gaze: Unmasking Algorithmic Bias, debuted at the Museum of Fine Arts Boston and her pilot of the Code4Rights: Journey To Code training series debuted at the Vatican. She has presented keynote speeches and public talks at various forums including #CSforAll at the White House, Harvard University, Saïd Business School, Rutgers University, NCWIT, Grace Hopper Celebration and SXSWedu.

Buolamwini is a Rhodes Scholar, Fulbright Fellow, Google Anita Borg Scholar, Astronaut Scholar, A Stamps President's Scholar and Carter Center technical consultant recognized as a distinguished volunteer.  She holds a master's degree in Learning and Technology from Oxford University and a bachelor's degree in Computer Science from the Georgia Institute of Technology. Buolamwini serves as a Harvard resident tutor at Adams House where she mentors students seeking scholarships or pursuing entrepreneurship.

More profile about the speaker
Joy Buolamwini | Speaker | TED.com