Zeynep Tufekci: Machine intelligence makes human morals more important
זיינאפ טוּפֶקְסי: בינה מלאכותית גורמת למוסר האנושי להיות חשוב יותר
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
as a computer programmer
כמתכנתת מחשבים
came down to where I was,
נכנס לחדר בו הייתי,
And why are we whispering?"
ולמה אנחנו לוחשים?"
at the computer in the room.
an affair with the receptionist.
if you're lying."
the laugh's on me.
הבדיחה היא על חשבוני.
emotional states and even lying
are very interested.
crazy about math and science.
שמשוגעים על מתמטיקה ומדעים.
I'd learned about nuclear weapons,
למדתי על נשק גרעיני,
with the ethics of science.
בעניין האתיקה של המדע.
as soon as possible.
מוקדם ככל האפשר.
let me pick a technical field
אני אבחר בתחום טכני
with any troublesome questions of ethics.
בשאלות אתיות מטרידות.
All the laughs are on me.
כל הצחוק הוא על חשבוני.
are building platforms
people see every day.
יצפו בכל יום.
that could decide who to run over.
שיכולות להחליט את מי לדרוס.
to make all sort of decisions,
כדי לקבל כל מיני החלטות.
that have no single right answers,
שיש להן יותר מתשובה נכונה אחת,
should you be shown?"
אנחנו צריכים להראות?"
likely to reoffend?"
should be recommended to people?"
כדאי להמליץ לאנשים?"
computers for a while,
כבר זמן רב,
for such subjective decisions
בשאלות סובייקטיביות כאלו
for flying airplanes, building bridges,
להטסת מטוסים, לבניית גשרים,
Did the bridge sway and fall?
האם הגשר התנדנד ונפל?
fairly clear benchmarks,
אמות מידה ברורות למדי,
our software is getting more powerful,
התוכנה שלנו הולכת ונעשית חזקה יותר,
transparent and more complex.
ויותר מורכבת.
have made great strides.
במשחקי שח-מט וגו.
from a method called "machine learning."
שנקראת "לימוד מכונה".
than traditional programming,
detailed, exact, painstaking instructions.
מדויקות, מדוקדקות.
and you feed it lots of data,
in our digital lives.
by churning through this data.
על-ידי ערבול כל הנתונים הללו.
under a single-answer logic.
על פי ההיגיון של תשובה-אחת.
it's more probabilistic:
זה יותר הסתברותי:
what you're looking for."
this method is really powerful.
השיטה הזו ממש חזקה.
what the system learned.
מה המערכת למדה.
instructions to a computer;
a puppy-machine-creature
intelligence system gets things wrong.
when it gets things right,
when it's a subjective problem.
כאשר הבעיה היא סוביקטיבית.
using machine-learning systems.
משתמשת במערכות לימוד-מכונה.
on previous employees' data
על נתוני העסקה קודמים
high performers in the company.
כמו אלה שכבר נמצאים בחברה.
human resources managers and executives,
מנהלי משאבי אנוש,
more objective, less biased,
לאובייקטיבי יותר, פחות מוטה,
and minorities a better shot
as a programmer,
come down to where I was
למקום בו הייתי
or really late in the afternoon,
או ממש מאוחר אחר הצהריים,
let's go to lunch!"
בואי נלך לאכול ארוחת צהרים!"
had not confessed to their higher-ups
בפני הממונים עליהם
for a serious job was a teen girl
היא נערה מתבגרת
I just looked wrong
רק לא נראיתי נכון
it is more complicated, and here's why:
זה יותר מורכב, וזו הסיבה:
can infer all sorts of things about you
כל מיני דברים עליכם
disclosed those things.
המינית שלכם,
with high levels of accuracy.
you haven't even disclosed.
such computational systems
מערכות ממוחשבות שיכולות
of clinical or postpartum depression
או דיכאון אחרי לידה
the likelihood of depression
את הסיכון ללקות בדיכאון
for early intervention. Great!
להתערבות מוקדמת. נהדר!
managers conference,
in a very large company,
what if, unbeknownst to you,
מה אם, ללא ידיעתך,
with high future likelihood of depression?
עם סיכון עתידי גבוה ללקות בדיכאון?
just maybe in the future, more likely.
רק אולי בעתיד, בסיכון גבוה יותר.
more likely to be pregnant
שסיכוייהן גדולים יותר להרות
but aren't pregnant now?
אך אינן בהריון כעת?
because that's your workplace culture?"
מכיוון שזו התרבות בסביבת העבודה שלך?"
at gender breakdowns.
על-ידי חלוקה למגדרים.
not traditional coding,
לא שיטת קידוד מסורתית,
labeled "higher risk of depression,"
what your system is selecting on,
לפי מה המערכת שלכם בוחרת,
where to begin to look.
but you don't understand it.
אבל אתם לא מבינים אותה.
isn't doing something shady?"
לא עושה משהו מפוקפק?"
just stepped on 10 puppy tails.
על 10 זנבות של כלבלבים.
another word about this."
isn't my problem, go away, death stare.
הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.
may even be less biased
יכולה אפילו להיות פחות מוטה
shutting out of the job market
we want to build,
to machines we don't totally understand?
בידי מכונות שאנחנו לא מבינים עד הסוף?
on data generated by our actions,
לנתונים המיוצרים על ידי הפעולות שלנו,
reflecting our biases,
את ההעדפות שלנו.
could be picking up on our biases
neutral computation."
to be shown job ads for high-paying jobs.
לקבל מודעות דרושים לתפקידים עם שכר גבוה.
suggesting criminal history,
המרמזות על עבר פלילי,
and black-box algorithms
ואלגוריתמים של קופסא שחורה
but sometimes we don't know,
אבל לפעמים איננו יודעים עליהם,
was sentenced to six years in prison
נשפט לשש שנים בכלא
in parole and sentencing decisions.
בהחלטות על ענישה וחנינה.
How is this score calculated?
איך המספר הזה חושב?
be challenged in open court.
שלה באולם בית המשפט
nonprofit, audited that very algorithm
ללא מטרות רווח, בדקה את האלגוריתם הזה
was dismal, barely better than chance,
בקושי יותר טוב ממזל,
black defendants as future criminals
נאשם שחור כפושע עתידי
picking up her godsister
את אחותה החורגת
with a friend of hers.
and a scooter on a porch
שהיו לא קשורים במרפסת
a woman came out and said,
אישה הגיחה ואמרה,
but they were arrested.
אבל הן נעצרו.
but she was also just 18.
אבל היא גם הייתה רק בת 18.
for shoplifting in Home Depot --
בהום דיפו -
a similar petty crime.
פשע חסר חשיבות דומה.
armed robbery convictions.
על שוד מזויין.
as high risk, and not him.
ולא אותו.
that she had not reoffended.
שהיא לא פשעה שוב.
for her with her record.
עם העבר שלה.
prison term for a later crime.
בגלל פשע מאוחר יותר.
את הקופסאות השחורות שלנו
this kind of unchecked power.
but they don't solve all our problems.
אך הן לא פותרות את כל בעיותינו.
news feed algorithm --
של הפיד החדשותי של פייסבוק -
and decides what to show you
ומחליט מה להראות לכם
תמונה אחרת של תינוק?
for engagement on the site:
teenager by a white police officer,
על-ידי שוטר לבן,
unfiltered Twitter feed,
keeps wanting to make you
were talking about it.
wasn't showing it to me.
this was a widespread problem.
שזו הייתה בעיה נרחבת.
wasn't algorithm-friendly.
to even fewer people,
אפילו לפחות אנשים,
donate to charity, fine.
תרום כסף, יופי.
but difficult conversation
can also be wrong
גם יכולות לטעות
IBM's machine-intelligence system
מערכת הבינה המלאכותית של IBM
with human contestants on Jeopardy?
עם מתחרה אנושי במשחק "סכנה"?
Watson was asked this question:
ווטסון נשאל את השאלה הבאה:
for a World War II hero,
נקרא ע"ש גיבור מלחמת העולם ה-2,
for a World War II battle."
על שם קרב במלחמת העולם ה-II."
answered "Toronto" --
a second-grader wouldn't make.
שתלמיד כיתה ב' לא היה עושה.
error patterns of humans,
לדפוסי טעויות אנושיות,
and be prepared for.
ולא מוכנים להן.
one is qualified for,
שאתה מוכשר אליה,
if it was because of stack overflow
אם זה יהיה בגלל גלישת מחסנית
fueled by a feedback loop
שהתגברה עקב תגובה חוזרת ונשנית
of value in 36 minutes.
ב- 36 דקות.
what "error" means
מה המשמעות של "טעות"
autonomous weapons.
but that's exactly my point.
אבל זו בדיוק הטענה שלי.
these difficult questions.
מהשאלות הקשות הללו.
our responsibilities to machines.
את האחריות שלנו למכונות.
a "Get out of ethics free" card.
אישור להשתחרר מהאתיקה.
calls this math-washing.
מכנה זאת "שטיפה-מתמטית".
scrutiny and investigation.
בחינה מדוקדקת וחקירה.
algorithmic accountability,
נטילת אחריות אלגוריתמית,
that bringing math and computation
invades the algorithms.
חודרת אל האלגוריתמים.
to our moral responsibility to judgment,
על האחריות המוסרית והשיפוטיות שלנו,
and outsource our responsibilities
או להעביר את האחריות שלנו
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com