Zeynep Tufekci: Machine intelligence makes human morals more important
Zeynep Tufekci: A inteligência de máquina ressalta a importância da moral humana
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
as a computer programmer
como programadora de computador
came down to where I was,
se aproximou de mim
And why are we whispering?"
mentindo? E por que estamos sussurrando?"
at the computer in the room.
para o computador na sala.
an affair with the receptionist.
um caso com a recepcionista.
if you're lying."
se você está mentindo".
the laugh's on me.
estava rindo de mim mesma.
emotional states and even lying
estados emocionais e até mentiras
are very interested.
estão muito interessados nisso.
crazy about math and science.
loucas por matemática e ciências.
I'd learned about nuclear weapons,
descobri as armas nucleares
with the ethics of science.
com a ética da ciência.
a circunstâncias familiares,
as soon as possible.
a trabalhar o mais rápido possível.
let me pick a technical field
"Ei, vou escolher a área técnica,
um emprego facilmente
with any troublesome questions of ethics.
questões éticas perturbadoras".
All the laughs are on me.
are building platforms
constroem plataformas
people see every day.
de pessoas veem todos os dias.
that could decide who to run over.
que poderiam decidir quem atropelar.
máquinas e armas
to make all sort of decisions,
para tomar todo tipo de decisão,
that have no single right answers,
que não têm apenas uma resposta correta,
e que envolvem julgamento de valor.
"Quem a empresa deve contratar?"
should you be shown?"
deve ser mostrada?"
likely to reoffend?"
de reincidir num crime?"
should be recommended to people?"
ser recomendados às pessoas?"
computers for a while,
já faz um bom tempo,
for such subjective decisions
para essas decisões subjetivas
for flying airplanes, building bridges,
na computação para pilotar aviões,
A ponte balançou e caiu?
Did the bridge sway and fall?
fairly clear benchmarks,
bem clara com os parâmetros,
em negócios humanos confusos.
our software is getting more powerful,
nosso software está ficando mais poderoso,
transparent and more complex.
e mais complexo.
have made great strides.
de cartão de crédito, bloquear spam,
em jogos de xadrez e Go.
from a method called "machine learning."
chamado "aprendizado de máquina".
than traditional programming,
da programação tradicional
detailed, exact, painstaking instructions.
e meticulosas são dadas ao computador.
and you feed it lots of data,
e alimentá-lo com montes de dados,
in our digital lives.
em nossas vidas digitais.
by churning through this data.
under a single-answer logic.
sob a lógica de uma resposta única.
it's more probabilistic:
simples; é mais probabilidade:
what you're looking for."
o que você está procurando".
this method is really powerful.
é realmente poderoso.
what the system learned.
o que o sistema aprendeu.
instructions to a computer;
instruções a um computador;
a puppy-machine-creature
ou conhecemos de verdade.
intelligence system gets things wrong.
artificial entende as coisas errado.
when it gets things right,
quando ele entende certo,
when it's a subjective problem.
quando se trata de um problema subjetivo.
está pensando.
um algoritmo de contratação,
using machine-learning systems.
on previous employees' data
em dados prévios dos empregados
high performers in the company.
com alto desempenho na empresa.
human resources managers and executives,
da área de recursos humanos,
usando tais sistemas para contratar.
more objective, less biased,
mais objetiva, menos parcial,
and minorities a better shot
uma melhor oportunidade
humana é tendenciosa.
as a programmer,
empregos como programadora,
come down to where I was
às vezes vinha ao meu setor
or really late in the afternoon,
ou bem no final da tarde,
let's go to lunch!"
almoço grátis, eu sempre ia.
o que estava acontecendo.
had not confessed to their higher-ups
confessado a seus superiores
for a serious job was a teen girl
para um emprego sério era uma adolescente
I just looked wrong
da raça e do gênero
it is more complicated, and here's why:
é mais complicado, e eis a razão:
can infer all sorts of things about you
inferir todo tipo de coisas sobre nós
disclosed those things.
nossa orientação sexual,
with high levels of accuracy.
com altos níveis de precisão.
you haven't even disclosed.
que não revelamos: isso é inferência.
such computational systems
um sistema de computador
of clinical or postpartum depression
de depressão clínica pós-parto
the likelihood of depression
a probabilidade de depressão
de quaisquer sintomas,
for early intervention. Great!
para intervenção precoce.
no contexto da contratação.
managers conference,
de gerentes de recursos humanos,
in a very large company,
com alto cargo numa grande empresa,
what if, unbeknownst to you,
e se, sem seu conhecimento,
with high future likelihood of depression?
com probabilidade de depressão futura?
just maybe in the future, more likely.
mas, no futuro, bem provavelmente.
more likely to be pregnant
com maior probabilidade de engravidar
but aren't pregnant now?
mas que não estejam grávidas agora?
because that's your workplace culture?"
por causa da cultura da empresa?
at gender breakdowns.
com análises de gênero.
not traditional coding,
não é codificação tradicional,
labeled "higher risk of depression,"
'alto risco de depressão',
what your system is selecting on,
seu sistema está selecionando,
where to begin to look.
but you don't understand it.
mas você não o entende.
isn't doing something shady?"
não está fazendo algo suspeito?"
just stepped on 10 puppy tails.
pisado no rabo de dez cachorrinhos.
another word about this."
nem mais uma palavra sobre isso".
isn't my problem, go away, death stare.
vai embora, agourenta".
may even be less biased
ser menos tendencioso
shutting out of the job market
fechamento do mercado de trabalho
we want to build,
que queremos construir,
to machines we don't totally understand?
de decisão que não entendemos totalmente?
on data generated by our actions,
com dados gerados pelas nossas ações,
reflecting our biases,
refletindo nossas tendências,
could be picking up on our biases
estar pegando nossas tendências,
enquanto dizemos a nós mesmos:
computação objetiva e neutra".
neutral computation."
to be shown job ads for high-paying jobs.
bem pagos às mulheres do que aos homens.
suggesting criminal history,
anúncios sugerindo história criminal,
and black-box algorithms
e algoritmos caixas-pretas,
but sometimes we don't know,
mas às vezes desconhecemos,
was sentenced to six years in prison
a seis anos de prisão
in parole and sentencing decisions.
mais usados em decisões judiciais.
How is this score calculated?
como esse número foi calculado?
be challenged in open court.
seu algoritmo exposto no tribunal.
nonprofit, audited that very algorithm
investigativa sem fins lucrativos,
públicos que conseguiu encontrar
eram tendenciosos,
was dismal, barely better than chance,
apenas um pouco melhor do que o acaso,
black defendants as future criminals
réus negros como futuros criminosos
picking up her godsister
para buscar sua parente
de Broward, na Flórida.
with a friend of hers.
and a scooter on a porch
e uma lambreta numa varanda
a woman came out and said,
uma mulher saiu e falou:
but they were arrested.
fugiram, mas foram presas.
but she was also just 18.
mas tinha apenas 18 anos.
for shoplifting in Home Depot --
tinha sido preso por furtar na Home Depot
a similar petty crime.
um crime pequeno similar.
armed robbery convictions.
prévias por roubo à mão armada.
como sendo de alto risco, e ele não.
as high risk, and not him.
que ela não tinha reincidido em crime.
that she had not reoffended.
um emprego com esse histórico.
for her with her record.
prison term for a later crime.
de prisão por um crime posterior.
auditar nossas caixas-pretas
this kind of unchecked power.
de poder sem controle.
but they don't solve all our problems.
mas não resolvem todos os problemas.
news feed algorithm --
and decides what to show you
e páginas que seguimos?
uma outra foto de bebê?
for engagement on the site:
em Ferguson, no Missouri,
teenager by a white police officer,
afro-americano por um policial branco,
estavam por toda parte
unfiltered Twitter feed,
sem algoritmo de filtragem,
keeps wanting to make you
pois o Facebook espera que nós
were talking about it.
estavam falando sobre o assunto.
wasn't showing it to me.
simplesmente não mostrava.
que era um problema geral.
this was a widespread problem.
wasn't algorithm-friendly.
era compatível com o algoritmo.
quem ia "curtir" aquilo?
comentar sobre o assunto.
to even fewer people,
isso para cada vez menos pessoas,
o algoritmo do Facebook priorizou isto:
esclerose lateral amiotrófica.
donate to charity, fine.
doar para caridade, tudo bem.
but difficult conversation
mas muito difícil,
can also be wrong
também podem errar
dos sistemas humanos.
de inteligência de máquina da IBM
IBM's machine-intelligence system
with human contestants on Jeopardy?
com seres humanos num show de TV?
Watson was asked this question:
a seguinte pergunta a Watson:
de um herói da Segunda Guerra,
for a World War II hero,
for a World War II battle."
answered "Toronto" --
a second-grader wouldn't make.
uma criança não cometeria.
error patterns of humans,
nos padrões de erros humanos,
e para as quais não estamos preparados.
and be prepared for.
one is qualified for,
para o qual se está qualificado,
if it was because of stack overflow
se fosse por causa de um "stack overflow"
fueled by a feedback loop
alimentada pelo sistema de autoajuste
of value in 36 minutes.
what "error" means
no que significaria "erro"
autonomous weapons.
sempre foram tendenciosos.
but that's exactly my point.
mas esse é exatamente meu ponto.
these difficult questions.
dessas questões difíceis.
our responsibilities to machines.
nossas responsabilidades para as máquinas.
a "Get out of ethics free" card.
um passe para a "zona livre de ética".
calls this math-washing.
chama isso de "mathwashing".
scrutiny and investigation.
a suspeita e investigação dos algoritmos.
algorithmic accountability,
responsabilidade algorítmica,
that bringing math and computation
a matemática e a computação
envolvendo julgamento de valor,
invades the algorithms.
dos negócios humanos invade os algoritmos.
to our moral responsibility to judgment,
nossa responsabilidade moral para julgar,
dentro desse espectro,
and outsource our responsibilities
responsabilidades ou terceirizá-las,
ter de nos agarrar firmemente
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com