Zeynep Tufekci: Machine intelligence makes human morals more important
Зейнеп Тюфекчи: Искусственный интеллект усиливает важность человеческой этики
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
as a computer programmer
came down to where I was,
менеджеров подошёл ко мне
And why are we whispering?"
at the computer in the room.
an affair with the receptionist.
был роман с секретаршей.
if you're lying."
когда вы лжёте».
the laugh's on me.
что это была не шутка.
emotional states and even lying
эмоциональное состояние и даже ложь,
are very interested.
очень заинтересованы.
crazy about math and science.
математикой и наукой ребёнком.
I'd learned about nuclear weapons,
о существовании ядерного оружия
with the ethics of science.
as soon as possible.
работать как можно скорее.
let me pick a technical field
надо выбрать техническую область,
with any troublesome questions of ethics.
дело со сложными этическими вопросами».
All the laughs are on me.
are building platforms
учёные создают платформы,
people see every day.
что миллиард человек видит каждый день.
that could decide who to run over.
которые могли бы решить, кого задавить.
to make all sort of decisions,
технику для принятия каких угодно решений,
that have no single right answers,
на которые нет единого правильного ответа:
should you be shown?"
друга мы должны видеть?»
likely to reoffend?"
скорее всего станет рецидивистом?»
should be recommended to people?"
рекомендовать людям?»
computers for a while,
уже продолжительное время,
for such subjective decisions
принятия субъективных решений,
for flying airplanes, building bridges,
сборки самолётов, строительства мостов
Did the bridge sway and fall?
Мосты больше не падают?
fairly clear benchmarks,
достаточно чёткие критерии
на которые мы можем положиться.
в запутанных людских делах.
our software is getting more powerful,
программное обеспечение,
transparent and more complex.
и более сложным и мощным.
have made great strides.
достигло больших успехов.
с кредитными картами
в рентгенографии.
from a method called "machine learning."
с помощью «машинного обучения».
than traditional programming,
от традиционного программирования,
detailed, exact, painstaking instructions.
точные, чёткие инструкции.
and you feed it lots of data,
скармливаем компьютеру много данных,
in our digital lives.
в нашей цифровой жизни.
by churning through this data.
систематизировать эти данные.
under a single-answer logic.
по логике поиска единого ответа.
it's more probabilistic:
они основаны на вероятности:
what you're looking for."
похож на то, что вы ищете».
this method is really powerful.
что он очень перспективный.
эффективность данных».
what the system learned.
что именно система выучила.
instructions to a computer;
как давать указания компьютеру;
a puppy-machine-creature
на обучение машины-щенка,
intelligence system gets things wrong.
интеллекта понимает что-то неправильно.
when it gets things right,
понимает что-то правильно,
when it's a subjective problem.
когда дело касается субъективой проблемы.
using machine-learning systems.
с использованием машинного обучения.
on previous employees' data
по данным о предыдущих сотрудниках
high performers in the company.
сотрудников компании.
human resources managers and executives,
more objective, less biased,
найма более объективным, менее предвзятым,
and minorities a better shot
больше шансов
настроенных менеджеров.
as a programmer,
в качестве программиста
come down to where I was
иногда подходила ко мне
or really late in the afternoon,
let's go to lunch!"
Я всегда ходила.
had not confessed to their higher-ups
не признались вышестоящему руководству,
for a serious job was a teen girl
на серьёзный проект — девушка подросток,
в джинсах и кроссовках.
я просто выглядела неподобающе,
I just looked wrong
как хорошая идея.
it is more complicated, and here's why:
всё сложнее, и вот почему:
can infer all sorts of things about you
могут узнать всю информацию о вас
в цифровом виде,
disclosed those things.
такую информацию.
вашу сексуальную ориентацию,
with high levels of accuracy.
с высоким уровнем точности.
которую вы даже не разглашаете.
you haven't even disclosed.
such computational systems
разрабатывает такие системы
of clinical or postpartum depression
клинической или послеродовой депрессии
the likelihood of depression
вероятность депрессии
for early intervention. Great!
использоваться для профилактики. Отлично!
для управляющих персоналом
managers conference,
in a very large company,
в очень крупной компании,
what if, unbeknownst to you,
«Что, если система без вашего ведома,
with high future likelihood of depression?
с высокой вероятностью будущей депрессии?
just maybe in the future, more likely.
но в будущем вероятность высока.
чья вероятность забеременеть
more likely to be pregnant
but aren't pregnant now?
но они не беременны сейчас?
because that's your workplace culture?"
потому что это норма для вашей компании?
на процентное соотношение полов.
at gender breakdowns.
not traditional coding,
а не традиционное программирование,
labeled "higher risk of depression,"
«более высокий риск депрессии»,
what your system is selecting on,
как ваша система делает выводы,
where to begin to look.
but you don't understand it.
но мы не понимаем принцип его работы.
«Какие у вас меры предосторожности,
isn't doing something shady?"
не делает ничего сомнительного?»
just stepped on 10 puppy tails.
только что отдавила хвосты 10 щенкам.
another word about this."
isn't my problem, go away, death stare.
не моя проблема, отвяжись, стрелы из глаз.
may even be less biased
может быть менее предвзятой,
shutting out of the job market
выдавливанию с рынка труда
риском развития депрессии.
we want to build,
to machines we don't totally understand?
машинам, которых до конца не понимаем?
on data generated by our actions,
произведённых нашими действиями —
reflecting our biases,
отражают наши предубеждения,
could be picking up on our biases
собирать наши пристрастия
neutral computation."
непредвзятые вычисления».
to be shown job ads for high-paying jobs.
объявления о высокооплачиваемой работе.
афро-американские имена,
suggesting criminal history,
криминального характера будет выше,
and black-box algorithms
и алгоритмы чёрного ящика,
but sometimes we don't know,
иногда выявляют, а иногда нет,
was sentenced to six years in prison
к шести годам лишения свободы
in parole and sentencing decisions.
в вынесении приговоров.
How is this score calculated?
как всё это рассчитывается?
be challenged in open court.
свой алгоритм на открытом заседании суда.
nonprofit, audited that very algorithm
ProPublica проверила алгоритм,
что результаты необъективны,
was dismal, barely better than chance,
немного лучше, чем случайность.
black defendants as future criminals
обвиняемых как будущих преступников
picking up her godsister
свою крёстную сестру
with a friend of hers.
and a scooter on a porch
велосипед и скутер на крыльце
a woman came out and said,
вышла женщина и крикнула:
but they were arrested.
но их арестовали.
but she was also just 18.
но ей было всего 18 лет.
малолетних правонарушений.
for shoplifting in Home Depot --
арестован за кражу в магазине Home Depot,
a similar petty crime.
такое же мелкое преступление.
armed robbery convictions.
две судимости за вооружённый грабеж.
as high risk, and not him.
что её показатель риска выше, чем его.
that she had not reoffended.
что она больше не совершала преступлений.
for her with her record.
работу, имея судимость.
prison term for a later crime.
срок за своё последнее преступление.
наши чёрные ящики,
this kind of unchecked power.
бесконтрольную власть.
but they don't solve all our problems.
но они не решают всех проблем.
news feed algorithm --
ленты новостей на Facebook —
and decides what to show you
и решает, что именно вам показывать
на которые вы подписаны.
for engagement on the site:
вашу деятельность на сайте:
вспыхнули протесты
teenager by a white police officer,
убил афро-американского подростка
unfiltered Twitter feed,
нефильтрованный Twitter,
keeps wanting to make you
were talking about it.
обсуждали эту тему.
wasn't showing it to me.
что это распространённая проблема.
this was a widespread problem.
была неудобна для алгоритма.
wasn't algorithm-friendly.
to even fewer people,
новость ещё меньшему кругу людей,
жертвуем на благотворительность — супер.
donate to charity, fine.
but difficult conversation
can also be wrong
IBM's machine-intelligence system
искусственный интеллект IBM,
with human contestants on Jeopardy?
на телевикторине Jeopardy?
Watson was asked this question:
Уотсону задали вопрос:
в честь героя Второй мировой войны,
for a World War II hero,
for a World War II battle."
Второй мировой войны».
answered "Toronto" --
a second-grader wouldn't make.
даже второклассник бы не ошибся.
может ошибиться там,
error patterns of humans,
and be prepared for.
ошибку и не готовы к ней.
one is qualified for,
кто для неё подходит,
if it was because of stack overflow
из-за переполнения стека
fueled by a feedback loop
по вине метода передачи данных
of value in 36 minutes.
на триллион долларов на 36 минут.
последствия может иметь «ошибка»
what "error" means
autonomous weapons.
but that's exactly my point.
именно это я и имею в виду.
these difficult questions.
our responsibilities to machines.
свои обязанности на машины.
a "Get out of ethics free" card.
права переложить вопросы этики на машину.
calls this math-washing.
называет это «математической чисткой».
scrutiny and investigation.
контроль и оценка алгоритмов.
algorithmic accountability,
алгоритмическая отчётность,
that bringing math and computation
математику и вычисления
invades the algorithms.
отношений вторгнется в алгоритмы.
использовать вычисления
to our moral responsibility to judgment,
ответственность и принимать решения,
and outsource our responsibilities
чтобы передать наши обязанности
ещё больше придерживаться
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com