Zeynep Tufekci: Machine intelligence makes human morals more important
Zeynep Tufekci: L'intelligence artificielle rend la morale humaine plus importante
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
as a computer programmer
était programmeuse informatique
à écrire des programmes en entreprise,
came down to where I was,
est venu me voir
dans la pièce.
And why are we whispering?"
Et pourquoi chuchotez-vous ? »
at the computer in the room.
l'ordinateur dans la pièce.
an affair with the receptionist.
avec la réceptionniste.
if you're lying."
si vous mentez. »
the laugh's on me.
qu'on peut se moquer.
des systèmes informatiques
emotional states and even lying
les états émotionnels et les mensonges
du visage humain.
are very interested.
sont très intéressés.
crazy about math and science.
folles de maths et de sciences.
I'd learned about nuclear weapons,
les armes nucléaires
with the ethics of science.
par l'éthique de la science.
de circonstances familiales,
as soon as possible.
aussi vite que possible.
let me pick a technical field
« Choisis un domaine technique
with any troublesome questions of ethics.
des questions d'éthique difficiles. »
All the laughs are on me.
On peut se moquer de moi.
are building platforms
construisent des plateformes
people see every day.
ce que voient un milliard de personnes.
that could decide who to run over.
pouvant décider qui écraser.
des machines, des armes
des êtres humains dans une guerre.
to make all sort of decisions,
pour prendre toutes sortes de décisions,
that have no single right answers,
il n'y a pas d'unique bonne réponse,
should you be shown?"
devrait-on vous montrer ? »
likely to reoffend?"
va probablement récidiver ? »
should be recommended to people?"
devrait être recommandé aux gens ? »
computers for a while,
que nous utilisons des ordinateurs
for such subjective decisions
pour des décisions si subjectives
for flying airplanes, building bridges,
pour piloter un avion, construire un pont,
Did the bridge sway and fall?
Un pont a-t-il bougé et est tombé ?
fairly clear benchmarks,
sur des repères assez clairs
des affaires complexes humaines.
our software is getting more powerful,
nos logiciels gagnent en puissance
transparent and more complex.
et plus complexes.
have made great strides.
ont fait de grandes avancées.
les visages humains,
from a method called "machine learning."
découlent d'une méthode :
than traditional programming,
de la programmation traditionnelle
detailed, exact, painstaking instructions.
exactes, méticuleuses à l'ordinateur.
and you feed it lots of data,
à un système nourri de données,
in our digital lives.
par notre vie numérique.
by churning through this data.
en parcourant ces données.
under a single-answer logic.
de la réponse unique.
it's more probabilistic:
c'est plus probabiliste :
what you're looking for."
plus proche de ce que vous cherchez. »
this method is really powerful.
est très puissante.
des données ».
what the system learned.
ce que le système a appris.
instructions to a computer;
des instructions à un ordinateur ;
a puppy-machine-creature
une machine-chiot-créature
ni ne contrôlons vraiment.
intelligence system gets things wrong.
artificielle comprend mal les choses.
when it gets things right,
quand elle comprend les choses
when it's a subjective problem.
ces situations pour un problème subjectif.
using machine-learning systems.
en utilisant l'apprentissage des machines.
on previous employees' data
sur les données des employés
high performers in the company.
les plus performants de l'entreprise.
des ressources humaines et des dirigeants,
human resources managers and executives,
more objective, less biased,
plus objective, moins biaisée
and minorities a better shot
aux femmes et minorités
as a programmer,
en tant que programmeuse,
come down to where I was
venait parfois me voir
or really late in the afternoon,
ou très tard l'après-midi
let's go to lunch!"
allons déjeuner ! »
donc j'y allais toujours.
ce qu'il se passait.
had not confessed to their higher-ups
n'avaient pas dit à leurs responsables
for a serious job was a teen girl
pour un travail sérieux une adolescente
et des baskets au travail.
I just looked wrong
mais mon allure clochait,
aveugle à la couleur et au sexe
it is more complicated, and here's why:
c'est plus compliqué, voici pourquoi :
can infer all sorts of things about you
peuvent déduire beaucoup vous concernant
disclosed those things.
votre orientation sexuelle,
with high levels of accuracy.
ayant une exactitude élevée.
you haven't even disclosed.
que vous n'avez pas révélées.
such computational systems
de tels systèmes informatiques
of clinical or postpartum depression
d'une dépression clinique ou post-partum
the likelihood of depression
les risques de dépression
de tout symptôme --
for early intervention. Great!
pour des interventions précoces, super !
dans le contexte de l'embauche.
managers conference,
de responsables des ressources humaines,
in a very large company,
d'une très grande entreprise
what if, unbeknownst to you,
with high future likelihood of depression?
avec de forts risques de dépression ?
just maybe in the future, more likely.
mais ont plus de risques pour l'avenir.
more likely to be pregnant
ayant plus de chances d'être enceintes
but aren't pregnant now?
mais ne le sont pas actuellement ?
because that's your workplace culture?"
car c'est la culture de l'entreprise ? »
at gender breakdowns.
la répartition par sexe.
not traditional coding,
de la machine, non du code traditionnel,
labeled "higher risk of depression,"
« plus de risques de dépression »,
what your system is selecting on,
ce que votre système utilise pour choisir,
where to begin to look.
but you don't understand it.
mais vous ne le comprenez pas.
isn't doing something shady?"
ne fait rien de louche ? »
just stepped on 10 puppy tails.
si je venais de l'insulter.
another word about this."
isn't my problem, go away, death stare.
allez-vous en, regard meurtrier ».
may even be less biased
shutting out of the job market
stable mais dissimulée
plus de risques de dépression.
we want to build,
que nous voulons bâtir,
to machines we don't totally understand?
la prise de décisions à des machines
on data generated by our actions,
sur des données générées par nos actions,
reflecting our biases,
could be picking up on our biases
apprendre nos préjugés,
neutral computation."
neutre et objective. »
to be shown job ads for high-paying jobs.
aux femmes plutôt qu'aux hommes
suggesting criminal history,
un historique criminel,
and black-box algorithms
et des algorithmes boîte noire
but sometimes we don't know,
par les chercheurs, parfois non,
qui changent la vie.
was sentenced to six years in prison
a été condamné à 6 ans de prison
in parole and sentencing decisions.
pour les probations et les condamnations.
How is this score calculated?
comment ce score était calculé.
be challenged in open court.
son algorithme en audience publique.
nonprofit, audited that very algorithm
d'enquête, a audité cet algorithme
que les résultats étaient biaisés,
was dismal, barely better than chance,
à peine meilleur que la chance,
black defendants as future criminals
comme de futurs criminels
que pour les prévenus blancs.
picking up her godsister
pour récupérer sa filleule
en Floride,
with a friend of hers.
avec une amie à elle.
and a scooter on a porch
non attachés sur un porche
a woman came out and said,
une femme est sortie et a dit :
but they were arrested.
mais ont été arrêtées.
but she was also just 18.
mais elle n'avait que 18 ans.
quelques méfaits.
for shoplifting in Home Depot --
pour vol chez Home Depot --
a similar petty crime.
un crime mineur similaire.
armed robbery convictions.
pour vol à main armée.
as high risk, and not him.
comme étant un risque important, pas lui.
that she had not reoffended.
qu'elle n'avait pas récidivé.
sa recherche d'emploi.
for her with her record.
prison term for a later crime.
pour un autre crime.
auditer nos boîtes noires
this kind of unchecked power.
ce genre de pouvoir incontrôlé.
but they don't solve all our problems.
tous nos problèmes.
news feed algorithm --
du fil d'actualités Facebook,
and decides what to show you
et décide quoi vous montrer
une autre photo de bébé ?
for engagement on the site:
pour vous engager envers le site :
à Ferguson, dans le Missouri,
teenager by a white police officer,
a été tué par un officier de police blanc
mon fil d'actualité Twitter non filtré
unfiltered Twitter feed,
keeps wanting to make you
veut vous faire passer
were talking about it.
wasn't showing it to me.
ne me le montrait pas.
this was a widespread problem.
que le problème est répandu.
wasn't algorithm-friendly.
ne plaisait pas à l'algorithme.
qui allait cliquer sur « j'aime » ?
to even fewer people,
à un nombre décroissant de gens,
donate to charity, fine.
donner à une charité, très bien.
cette décision pour nous.
but difficult conversation
très importante mais difficile
can also be wrong
peuvent aussi avoir tort
aux systèmes humains.
IBM's machine-intelligence system
le système d'IA d'IBM
with human contestants on Jeopardy?
dans Jeopardy ?
Watson was asked this question:
on a posé cette question à Watson :
for a World War II hero,
ayant le nom d'un héros de 39-45,
pour une bataille de 39-45. »
for a World War II battle."
answered "Toronto" --
a répondu « Toronto » --
sur les villes des États-Unis !
a aussi fait une erreur
a second-grader wouldn't make.
qu'un CE1 ne ferait jamais.
peut échouer
error patterns of humans,
aux schémas d'erreurs humaines,
and be prepared for.
one is qualified for,
un emploi pour lequel on est qualifié
if it was because of stack overflow
d'un dépassement de pile
fueled by a feedback loop
alimenté par une boucle de rétroaction
of value in 36 minutes.
en 36 minutes.
what "error" means
au sens du mot « erreur »
autonomous weapons.
mortelles autonomes.
ont toujours été partiaux.
les actualités, en guerre...
but that's exactly my point.
mais c'est de cela dont je parle.
these difficult questions.
à ces questions difficiles.
our responsibilities to machines.
nos responsabilités aux machines.
a "Get out of ethics free" card.
une carte « sortie de l'éthique ».
calls this math-washing.
qualifie cela de lavage des maths.
scrutiny and investigation.
le contrôle et l'enquête de l'algorithme.
algorithmic accountability,
de la responsabilité des algorithmes,
une transparence significative.
that bringing math and computation
qu'apporter les maths et l'informatique
désordonnées et basées sur des valeurs
invades the algorithms.
des affaires humaines
to our moral responsibility to judgment,
notre responsabilité morale de jugement
and outsource our responsibilities
et sous-traiter nos responsabilités
nous accrocher encore plus
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com