Zeynep Tufekci: Machine intelligence makes human morals more important
ゼイナップ・トゥフェックチー: 機械知能は人間の道徳性をより重要なものにする
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
as a computer programmer
としての最初の仕事を
came down to where I was,
私のところに来て
And why are we whispering?"
それにどうしてひそひそ声で?」
at the computer in the room.
室内のコンピュータを指さして
an affair with the receptionist.
受付係と浮気してたんです
彼に叫び返しました
if you're lying."
お見通しですよ」って
the laugh's on me.
その笑いは自分に返ってきました
emotional states and even lying
are very interested.
非常に関心を寄せています
私がなったのは
crazy about math and science.
熱狂的に好きだったからです
I'd learned about nuclear weapons,
核兵器についても学び
with the ethics of science.
非常に懸念するようになりました
as soon as possible.
働き始めなければなりませんでした
let me pick a technical field
技術者として
with any troublesome questions of ethics.
考えなくていい分野の仕事はないかと
All the laughs are on me.
自分のことを笑ってるんです
are building platforms
people see every day.
プラットフォームを作っています
that could decide who to run over.
車を開発しています
to make all sort of decisions,
あらゆる種類の決定を下し
that have no single right answers,
コンピュータに尋ねています
価値観にかかわるものです
should you be shown?"
表示すべきか?」
likely to reoffend?"
should be recommended to people?"
ニュースや映画はどれか?」
computers for a while,
コンピュータを使ってきました
for such subjective decisions
コンピュータには頼れないからです
for flying airplanes, building bridges,
Did the bridge sway and fall?
その橋は揺れたり落ちたりしたか?
fairly clear benchmarks,
かなり明確な基準があり
支えや基準を何も持っていないのが
厄介な決定についてです
our software is getting more powerful,
ソフトウェアは強力になりつつあります
transparent and more complex.
複雑さを増してもいるのです
have made great strides.
大きく前進しました
腫瘍を探しあてることもできます
打ち負かすこともできます
from a method called "machine learning."
呼ばれる方法から成り立っています
than traditional programming,
詳細で正確、綿密な指示を与える―
detailed, exact, painstaking instructions.
and you feed it lots of data,
しこたま詰め込むやり方です
in our digital lives.
生成する類のものも含まれます
by churning through this data.
組み合わせながら学習します
under a single-answer logic.
答が単一になる論理で動いてはいません
it's more probabilistic:
もっと確率論的です
what you're looking for."
探しているものにより近いでしょう」
this method is really powerful.
この方法が非常に強力であることです
と呼んでいます
what the system learned.
私たちはそれほど理解していないことです
instructions to a computer;
指示を与えるというよりは
a puppy-machine-creature
訓練するようなものです
理解も制御もできていないのにです
intelligence system gets things wrong.
誤りを犯したときだけでなく
when it gets things right,
問題が生じます
when it's a subjective problem.
私たちには正誤さえも分からないからです
何を考えているか知りません
考えてみましょう
using machine-learning systems.
機械学習システムを使っています
on previous employees' data
データに基づいて訓練されています
high performers in the company.
人材を探し雇うことです
出席した折のことですが
human resources managers and executives,
執行役が集まっていました
雇用に活用しています
more objective, less biased,
より客観的で偏見の少ない雇用を行い
and minorities a better shot
女性や少数派の人々に
雇用には偏見が混じるのです
as a programmer,
働きだした頃
come down to where I was
時々私のところに来ました
or really late in the afternoon,
let's go to lunch!"
「ゼイナップ ランチ行きましょ」
全く訳が分かりませんでした
いつも行きました
had not confessed to their higher-ups
for a serious job was a teen girl
10代女子だと言ってなかったんです
I just looked wrong
体裁が悪くて
良くなかったんです
惑わされない形での雇用は
私には思えます
it is more complicated, and here's why:
事態はより複雑になります なぜなら
can infer all sorts of things about you
あなたに関するあらゆる類のことを
推測できるからです
disclosed those things.
with high levels of accuracy.
予測する力を持っています
you haven't even disclosed.
開示さえしていない事柄をですよ
such computational systems
そのようなコンピュータシステムを
of clinical or postpartum depression
予測するために開発しています
the likelihood of depression
うつ罹患の可能性を
予測できるのです
for early intervention. Great!
活用したがっています 素晴らしい!
考えてみましょう
managers conference,
in a very large company,
高職位のマネージャーに近づき
what if, unbeknownst to you,
「まだご存じないこととは思いますが
with high future likelihood of depression?
高い人を排除しているとしたらどうでしょう?
just maybe in the future, more likely.
将来そうなる可能性が高い人です
more likely to be pregnant
高い女性を排除しているとしたら?
but aren't pregnant now?
今は妊娠していない場合ですよ?
because that's your workplace culture?"
攻撃的な人が雇われたらどうします?」
at gender breakdowns.
そのことを読み取れません
not traditional coding,
伝統的なプログラムではないので
labeled "higher risk of depression,"
「妊娠ハイリスク」
what your system is selecting on,
分からないばかりか
where to begin to look.
手がかりもありません
but you don't understand it.
人間には理解できない代物です
isn't doing something shady?"
やましいことをしないようにです」
just stepped on 10 puppy tails.
人でなしを見るかのような顔になりました
another word about this."
もう何も聞きたくない」
行ってしまいました
isn't my problem, go away, death stare.
あっち行ってという憎悪の眼差しでした
may even be less biased
ある意味 偏見の程度は
少ないかもしれません
理にかなっているでしょう
shutting out of the job market
労働市場からの
つながりかねません
we want to build,
社会の姿でしょうか?
私たちは知らないんです
to machines we don't totally understand?
意思決定をさせているんですからね
on data generated by our actions,
人間の行動データに基づいています
reflecting our biases,
反映している可能性があり
could be picking up on our biases
私たちの偏見を拾い上げ
neutral computation."
中立的なコンピューティングですから」
to be shown job ads for high-paying jobs.
表示されにくいことを見出しました
名前を検索すると
suggesting criminal history,
高確率で表示されます
and black-box algorithms
ブラックボックスのアルゴリズムを
but sometimes we don't know,
知られない場合もあります
変える結果になりうるのです
was sentenced to six years in prison
刑期6年の判決を受けました
in parole and sentencing decisions.
アルゴリズムの使用が増えています
How is this score calculated?
知りたいと思いました
be challenged in open court.
公開の法廷で検証されるのを拒みました
nonprofit, audited that very algorithm
そのアルゴリズムを監査しました
公開データを用いてです
結果には偏見が影響しており
was dismal, barely better than chance,
偶然よりわずかにましな程度です
black defendants as future criminals
将来犯罪を起こす確率が
誤ってラベリングされていました
picking up her godsister
親友を迎えに行くため
ある学校に向かって
with a friend of hers.
and a scooter on a porch
子ども用の自転車とキックスケーターを見つけ
a woman came out and said,
女性が出てきて言いました
それはうちの子の自転車よ!」
but they were arrested.
逮捕されました
but she was also just 18.
でもまだ18歳です
for shoplifting in Home Depot --
万引きをして捕まりました
a similar petty crime.
同じく軽犯罪ですが
armed robbery convictions.
as high risk, and not him.
女性の方をハイリスクと評価しました
that she had not reoffended.
ProPiblicaは明らかにしています
for her with her record.
職を得るのは実に困難でした
prison term for a later crime.
現在は8年間の収監中です
監査が必要なのは明白です
this kind of unchecked power.
与えてはいけないのです
but they don't solve all our problems.
それで全ての問題を解決できはしません
news feed algorithm --
強力なアルゴリズムの場合
and decides what to show you
全ての友達やフォロー中のページのなかで
for engagement on the site:
やりとりに応じて最適化します
といったものです
抗議運動が勃発しました
teenager by a white police officer,
白人の警察官に殺され
unfiltered Twitter feed,
Twitterフィードを埋め尽くしました
表示されませんでした
関連でしょうか?
無効にしました
keeps wanting to make you
管理下に置きたがるので
were talking about it.
話しているのが分かりました
wasn't showing it to me.
見せなかっただけなんです
this was a widespread problem.
これは広範囲にわたる問題でした
wasn't algorithm-friendly.
アルゴリズムに馴染まなかったんです
容易じゃありません
to even fewer people,
それを表示しません
ハイライトしたのは
donate to charity, fine.
チャリティに寄付 良いですね
アルゴリズムに馴染みます
これを決定したんです
but difficult conversation
can also be wrong
犯しうるのです
IBM's machine-intelligence system
IBMの機械知能システムで
with human contestants on Jeopardy?
対戦相手の人間を打ち負かしました
Watson was asked this question:
ワトソンは こんな質問をされました
for a World War II hero,
第二次世界大戦の英雄に由来し
for a World War II battle."
第二次世界大戦中の戦いです」
answered "Toronto" --
「トロント」
問題だったのに!
エラーをするんです
a second-grader wouldn't make.
2年生の子どもでもしません
error patterns of humans,
異なります
and be prepared for.
one is qualified for,
ひどい話ですが
if it was because of stack overflow
スタックオーバーフローが原因なら
fueled by a feedback loop
「売り」アルゴリズムでの
瞬間暴落が起き
of value in 36 minutes.
損失が出ました
what "error" means
考えたくもないのが
autonomous weapons.
but that's exactly my point.
これこそ私の言いたいことです
these difficult questions.
私たちは逃れられません
our responsibilities to machines.
機械に外部委託することはできないのです
a "Get out of ethics free" card.
私たちにくれたりしません
calls this math-washing.
これを数学による洗脳だと呼びました
scrutiny and investigation.
精査するようにならねばなりません
algorithmic accountability,
説明責任を持ち
求めなければなりません
that bringing math and computation
人間くさい事柄に対して
客観性をもたらしえないことを
invades the algorithms.
アルゴリズムを管理するのです
良い決断を下す助けとして
to our moral responsibility to judgment,
自分の道徳的な責任を認め
その枠内で用いなければなりません
and outsource our responsibilities
別の人間へ委ねることとは
人間としての価値観や倫理感を
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com