Zeynep Tufekci: Machine intelligence makes human morals more important
Зайнеп Туфекці: Штучний інтелект підсилює значення моральних норм
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
as a computer programmer
програмісткою,
came down to where I was,
підійшов до мене
And why are we whispering?"
І чому ми говоримо пошепки?"
at the computer in the room.
на комп'ютер.
an affair with the receptionist.
роман із секретаркою.
if you're lying."
що ти брешеш".
the laugh's on me.
сміялась над собою.
emotional states and even lying
і навіть брехню,
are very interested.
в цьому дуже зацікавлені.
crazy about math and science.
які шаленіли від точних наук.
I'd learned about nuclear weapons,
про ядерну зброю,
with the ethics of science.
питання наукової етики.
as soon as possible.
почати працювати якнайшвидше.
let me pick a technical field
технічну сферу,
with any troublesome questions of ethics.
болісними етичними проблемами".
All the laughs are on me.
Всі наді мною сміялися.
are building platforms
people see every day.
щодня бачать.
that could decide who to run over.
які можуть вирішити, кого переїхати.
to make all sort of decisions,
щоб ухвалювати будь-які рішення,
that have no single right answers,
які не мають чітких правильних відповідей,
на ідеях цінностей.
should you be shown?"
likely to reoffend?"
знову порушити закон?"
should be recommended to people?"
слід рекомендувати людям?"
computers for a while,
використовували комп'ютери,
for such subjective decisions
відповідальність за такі суб'єктивні рішення,
for flying airplanes, building bridges,
будування мостів,
Did the bridge sway and fall?
Мости не хиталися і не падали?
fairly clear benchmarks,
цілком зрозумілі критерії порівняння,
брудних людських справ.
our software is getting more powerful,
щоб зробити деякі речі складнішими,
transparent and more complex.
і заплутанішим.
have made great strides.
великого успіху.
from a method called "machine learning."
прийшла з методу "машинного навчання".
than traditional programming,
традиційного програмування,
detailed, exact, painstaking instructions.
точні, досконалі інструкції.
and you feed it lots of data,
систему і наповнюєте її інформацією,
in our digital lives.
у цифровому житті.
by churning through this data.
цієї інформації.
under a single-answer logic.
із необхідністю знайти єдину відповідь.
it's more probabilistic:
виходячи з теорії імовірностей.
what you're looking for."
що ви шукаєте".
this method is really powerful.
цей метод справді потужний.
what the system learned.
про що дізнається система.
instructions to a computer;
ми даємо комп'ютеру інструкції,
a puppy-machine-creature
маленької машинної істоти,
не контролюємо.
intelligence system gets things wrong.
інтелекту засвоює інформацію неправильно.
when it gets things right,
інформацію правильно,
when it's a subjective problem.
коли це суб'єктивна проблема.
using machine-learning systems.
використовує системи машинного навчання.
on previous employees' data
на даних попередніх працівників
high performers in the company.
працівників компанії.
human resources managers and executives,
та члени правління,
more objective, less biased,
роботу більш об'єктивним, менш упередженим,
and minorities a better shot
більше шансів,
справа упереджена.
as a programmer,
де я програмувала,
come down to where I was
деколи підходила до мене
or really late in the afternoon,
let's go to lunch!"
Але я завжди йшла.
had not confessed to their higher-ups
зізнатися вищому керівництву,
for a serious job was a teen girl
дівчинку-підлітка,
I just looked wrong
але виглядала неправильно
it is more complicated, and here's why:
ще заплутаніший, і ось чому:
can infer all sorts of things about you
зробити будь-які висновки про вас,
disclosed those things.
не підозрюєте.
сексуальну орієнтацію,
with high levels of accuracy.
з високим рівнем точності.
you haven't even disclosed.
ви навіть не підозрюєте.
such computational systems
такі системи,
of clinical or postpartum depression
клінічної чи післяпологової депресії,
the likelihood of depression
ймовірність депресії
for early intervention. Great!
для втручання на ранній стадії. Чудово!
managers conference,
in a very large company,
дуже великої компанії
what if, unbeknownst to you,
with high future likelihood of depression?
ймовірністю появи депресії?
just maybe in the future, more likely.
стануть такими в майбутньому.
more likely to be pregnant
можливо, завагітніють
but aren't pregnant now?
але не вагітні зараз?
because that's your workplace culture?"
людей через корпоративну культуру?"
at gender breakdowns.
гендерний баланс.
not traditional coding,
а не традиційне програмування,
labeled "higher risk of depression,"
"високий ризик депресії",
what your system is selecting on,
візьме до уваги,
where to begin to look.
де це починати шукати.
but you don't understand it.
але ви її не розумієте.
"Які запобіжні заходи у вас є,
isn't doing something shady?"
не робить нічого підозрілого?"
just stepped on 10 puppy tails.
я наступила щеняті на хвіст.
another word about this."
isn't my problem, go away, death stare.
не моя проблема. Іди геть; вбивчий погляд.
may even be less biased
менш упереджені,
shutting out of the job market
з ринку праці
депресії.
we want to build,
яке ми хочемо будувати,
to machines we don't totally understand?
машинам, яких повністю не розуміємо.
on data generated by our actions,
інформації, пов'язаній з нашими діями,
reflecting our biases,
наші упередження,
could be picking up on our biases
neutral computation."
нейтральний розрахунок".
to be shown job ads for high-paying jobs.
про високооплачувану роботу.
suggesting criminal history,
про кримінальні історії,
and black-box algorithms
і алгоритми "чорної скриньки",
but sometimes we don't know,
а деколи ми про них навіть не знаємо,
was sentenced to six years in prison
до шести років у в'язниці
in parole and sentencing decisions.
для визначення міри покарання.
How is this score calculated?
як визначили цей показник.
be challenged in open court.
алгоритму, викликали на судове засідання.
nonprofit, audited that very algorithm
перевірила той самий алгоритм
були необ'єктивні,
was dismal, barely better than chance,
мало відрізнялася від випадковості
black defendants as future criminals
обвинувачуваних, як майбутніх злочинців,
обвинувачуваних.
picking up her godsister
забирати свою сестру
with a friend of hers.
зі своїми друзями.
and a scooter on a porch
дитячий велосипед і самокат на терасі
a woman came out and said,
і сказала:
but they were arrested.
але їх арештували.
but she was also just 18.
але ж їй було всього 18.
незначних правопорушень.
for shoplifting in Home Depot --
крадіжку в магазині Home Depot -
a similar petty crime.
такий же маленький злочин.
armed robbery convictions.
за збройні напади.
as high risk, and not him.
небезпечніша за нього.
that she had not reoffended.
що вона знову порушила закон.
for her with her record.
отримати роботу.
знову порушив закон
prison term for a later crime.
за останній злочин.
this kind of unchecked power.
неперевіреною силою.
but they don't solve all our problems.
але вони не розв'язують всіх наших проблем.
news feed algorithm --
стрічки новин у Фейсбуці -
and decides what to show you
що вам показати
for engagement on the site:
штат Міссуррі,
teenager by a white police officer,
афро-американського підлітка
unfiltered Twitter feed,
новин у Твіттері,
keeps wanting to make you
бажання
were talking about it.
wasn't showing it to me.
this was a widespread problem.
вона досить поширена.
wasn't algorithm-friendly.
алгоритму.
to even fewer people,
жменьці людей,
donate to charity, fine.
холодною водою заради благодійності.
but difficult conversation
can also be wrong
можуть помилятися
людський ресурс.
IBM's machine-intelligence system
інтелекту Watson,
with human contestants on Jeopardy?
людьми на телегрі Jeopardy?
Watson was asked this question:
for a World War II hero,
на честь героя Другої світової війни,
for a World War II battle."
битви Другої світової війни".
answered "Toronto" --
"Торонто" -
a second-grader wouldn't make.
яких не зробив би навіть другокласник.
error patterns of humans,
and be prepared for.
і не будемо до цього готові.
one is qualified for,
до якої підходить твоя кваліфікація,
if it was because of stack overflow
переповнення стека
fueled by a feedback loop
циклом зворотнього зв'язку
of value in 36 minutes.
за 36 хвилин.
what "error" means
що "помилка" означає
autonomous weapons.
летального озброєння.
but that's exactly my point.
але у цьому й річ.
these difficult questions.
заплутаних питань.
our responsibilities to machines.
на машини.
a "Get out of ethics free" card.
картку "звільнення від моральних норм".
calls this math-washing.
називає це математичною чисткою.
scrutiny and investigation.
вивчення і дослідження алгоритмів.
algorithmic accountability,
алгоритмічна звітність,
that bringing math and computation
комп'ютерів до безладних
invades the algorithms.
заплутаність людських справ.
комп'ютери,
to our moral responsibility to judgment,
відповідальності за вироки суду
максимум як структуру,
and outsource our responsibilities
відповідальність
ще сильніше
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com