ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

图费・克奇: 机器智能时代,坚守人类道德更重要

Filmed:
1,648,711 views

人工智能的到来,使我们在很多主观决策上使用它们。但是人工智能的复杂度使人难以去了解,去控制它。在这个演讲中,科技社会学家图费・克奇解释了机器和人类在出错这方面的差异性,并提出这些问题是我们难以预料和准备的。“我们不能把我们该承担的责任转移给机器”,她说,“我们必须更加坚守人类的价值观和伦理。”
- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio

Double-click the English transcript below to play the video.

00:12
So, I started开始 my first job工作
as a computer电脑 programmer程序员
0
739
4122
我的第一份工作是程序员,
00:16
in my very first year of college学院 --
1
4885
1956
那是在我刚上大学的时候,
00:18
basically基本上, as a teenager青少年.
2
6865
1507
不到二十岁。
00:20
Soon不久 after I started开始 working加工,
3
8889
1732
我刚开始工作不久,
00:22
writing写作 software软件 in a company公司,
4
10645
1610
正当在公司写程序,
00:24
a manager经理 who worked工作 at the company公司
came来了 down to where I was,
5
12799
3635
公司的一位经理来到我旁边,
00:28
and he whispered低声道 to me,
6
16458
1268
他悄悄的对我说,
00:30
"Can he tell if I'm lying说谎?"
7
18229
2861
“他能看出来我在撒谎吗?”
00:33
There was nobody没有人 else其他 in the room房间.
8
21806
2077
当时屋子里没有别人。
00:37
"Can who tell if you're lying说谎?
And why are we whispering耳语?"
9
25032
4389
“你是指谁能看出你在撒谎?
还有,我们干嘛要悄悄地说话?”
00:42
The manager经理 pointed
at the computer电脑 in the room房间.
10
30266
3107
那个经理指着屋子里的电脑,说:
00:45
"Can he tell if I'm lying说谎?"
11
33397
3096
“他能看出我在撒谎吗?”
00:49
Well, that manager经理 was having
an affair事务 with the receptionist接待员.
12
37613
4362
其实,那个经理和前台有一腿。
00:53
(Laughter笑声)
13
41999
1112
(笑声)
00:55
And I was still a teenager青少年.
14
43135
1766
当时我只有十来岁,
00:57
So I whisper-shouted耳语叫着 back to him,
15
45447
2019
我低声地回答他,
00:59
"Yes, the computer电脑 can tell
if you're lying说谎."
16
47490
3624
“是的,电脑什么都知道。”
01:03
(Laughter笑声)
17
51138
1806
(笑声)
01:04
Well, I laughed笑了, but actually其实,
the laugh's笑的 on me.
18
52968
2923
我笑了,但其实我是在笑自己,
01:07
Nowadays如今, there are computational计算 systems系统
19
55915
3268
现在,计算机系统已经可以
01:11
that can sussSUSS out
emotional情绪化 states状态 and even lying说谎
20
59207
3548
通过分析人脸来辨别人的情绪,
甚至包括是否在撒谎。
01:14
from processing处理 human人的 faces面孔.
21
62779
2044
01:17
Advertisers广告商 and even governments政府
are very interested有兴趣.
22
65248
4153
广告商,甚至政府
都对此很感兴趣。
01:22
I had become成为 a computer电脑 programmer程序员
23
70319
1862
我选择成为电脑程序员,
01:24
because I was one of those kids孩子
crazy about math数学 and science科学.
24
72205
3113
因为我是那种
痴迷于数学和科学孩子。
01:27
But somewhere某处 along沿 the line线
I'd learned学到了 about nuclear weapons武器,
25
75942
3108
其间我也学习过核武器,
01:31
and I'd gotten得到 really concerned关心
with the ethics伦理 of science科学.
26
79074
2952
我也非常关心科学伦理。
01:34
I was troubled苦恼.
27
82050
1204
我曾经很困惑。
01:35
However然而, because of family家庭 circumstances情况,
28
83278
2641
但是,因为家庭原因,
01:37
I also needed需要 to start开始 working加工
as soon不久 as possible可能.
29
85943
3298
我需要尽快参加工作。
01:41
So I thought to myself, hey,
let me pick a technical技术 field领域
30
89265
3299
我对自己说,嘿,
选一个容易找工作
01:44
where I can get a job工作 easily容易
31
92588
1796
的科技领域吧,
01:46
and where I don't have to deal合同
with any troublesome麻烦 questions问题 of ethics伦理.
32
94408
4018
并且找个不需要
操心伦理问题的。
01:51
So I picked采摘的 computers电脑.
33
99022
1529
所以我选了计算机。
01:52
(Laughter笑声)
34
100575
1104
(笑声)
01:53
Well, ha, ha, ha!
All the laughs are on me.
35
101703
3410
哈哈哈,
我多可笑。
01:57
Nowadays如今, computer电脑 scientists科学家们
are building建造 platforms平台
36
105137
2754
如今,计算机科学控制着
01:59
that control控制 what a billion十亿
people see every一切 day.
37
107915
4209
十亿人每天能看到的信息,
02:05
They're developing发展 cars汽车
that could decide决定 who to run over.
38
113052
3822
它们可以控制汽车朝哪里开,
02:09
They're even building建造 machines, weapons武器,
39
117707
3213
它们可以建造机器、武器,
02:12
that might威力 kill human人的 beings众生 in war战争.
40
120944
2285
那些在战争中
用于杀人的武器。
02:15
It's ethics伦理 all the way down.
41
123253
2771
说到底,
都是伦理问题。
02:19
Machine intelligence情报 is here.
42
127183
2058
机器智能来了。
02:21
We're now using运用 computation计算
to make all sort分类 of decisions决定,
43
129823
3474
我们用计算机来做各种决策,
02:25
but also new kinds of decisions决定.
44
133321
1886
包括人们面临的新决策。
02:27
We're asking questions问题 to computation计算
that have no single right answers答案,
45
135231
5172
我们向计算机询问多解的、
02:32
that are subjective主观
46
140427
1202
主观的、
02:33
and open-ended打开端 and value-laden价值负载.
47
141653
2325
开放性的或意义深远的问题。
02:36
We're asking questions问题 like,
48
144002
1758
我们会问,
02:37
"Who should the company公司 hire聘请?"
49
145784
1650
“我们公司应该聘请谁?”
02:40
"Which哪一个 update更新 from which哪一个 friend朋友
should you be shown显示?"
50
148096
2759
“你该关注哪个朋友
的哪条状态?”
02:42
"Which哪一个 convict定罪 is more
likely容易 to reoffend重犯?"
51
150879
2266
“哪种犯罪更容易再犯?”
02:45
"Which哪一个 news新闻 item项目 or movie电影
should be recommended推荐的 to people?"
52
153514
3054
“应该给人们推荐
哪条新闻或是电影?”
02:48
Look, yes, we've我们已经 been using运用
computers电脑 for a while,
53
156592
3372
看,是的,我们使用计算机
已经有一段时间了,
02:51
but this is different不同.
54
159988
1517
但现在不一样了。
02:53
This is a historical历史的 twist,
55
161529
2067
这是历史性的转折,
02:55
because we cannot不能 anchor computation计算
for such这样 subjective主观 decisions决定
56
163620
5337
因为我们在这些主观决策上
无法主导计算机,
03:00
the way we can anchor computation计算
for flying飞行 airplanes飞机, building建造 bridges桥梁,
57
168981
5420
不像我们在
管理飞机、建造桥梁、
登月等问题上,
可以主导它们。
03:06
going to the moon月亮.
58
174425
1259
03:08
Are airplanes飞机 safer更安全?
Did the bridge sway摇摆 and fall秋季?
59
176449
3259
飞机会更安全吗?
桥梁会摇晃或倒塌吗?
03:11
There, we have agreed-upon同意;打勾,
fairly相当 clear明确 benchmarks基准,
60
179732
4498
在这些问题上,我们
有统一而清晰的判断标准,
03:16
and we have laws法律 of nature性质 to guide指南 us.
61
184254
2239
我们有自然定律来指导。
03:18
We have no such这样 anchors and benchmarks基准
62
186517
3394
但是在复杂的人类事务上,
03:21
for decisions决定 in messy human人的 affairs事务.
63
189935
3963
我们没有这样的客观标准。
03:25
To make things more complicated复杂,
our software软件 is getting得到 more powerful强大,
64
193922
4237
让问题变得更复杂的,
是我们的软件正越来越强大,
03:30
but it's also getting得到 less
transparent透明 and more complex复杂.
65
198183
3773
同时也变得更加不透明,
更加复杂。
03:34
Recently最近, in the past过去 decade,
66
202542
2040
最近的几十年,
03:36
complex复杂 algorithms算法
have made制作 great strides进步.
67
204606
2729
复杂算法已
取得了长足发展,
03:39
They can recognize认识 human人的 faces面孔.
68
207359
1990
它们可以识别人脸,
03:41
They can decipher解码 handwriting手写.
69
209985
2055
它们可以破解笔迹,
03:44
They can detect检测 credit信用 card fraud舞弊
70
212436
2066
它们可以识别信用卡欺诈,
03:46
and block spam垃圾邮件
71
214526
1189
可以屏蔽垃圾信息,
03:47
and they can translate翻译 between之间 languages语言.
72
215739
2037
它们可以翻译语言,
03:49
They can detect检测 tumors肿瘤 in medical imaging成像.
73
217800
2574
他们可以通过
医学图像识别肿瘤,
03:52
They can beat击败 humans人类 in chess and Go.
74
220398
2205
它们可以在国际象棋
和围棋上击败人类。
03:55
Much of this progress进展 comes
from a method方法 called "machine learning学习."
75
223264
4504
类似的很多发展,
都来自一种叫“机器学习”的方法。
04:00
Machine learning学习 is different不同
than traditional传统 programming程序设计,
76
228175
3187
机器学习不像传统程序一样,
04:03
where you give the computer电脑
detailed详细, exact精确, painstaking刻苦 instructions说明.
77
231386
3585
需要给计算机详细、
准确的逐条指令。
04:07
It's more like you take the system系统
and you feed饲料 it lots of data数据,
78
235378
4182
它更像是你给系统
喂了很多数据,
04:11
including包含 unstructured非结构化 data数据,
79
239584
1656
包括非结构化数据,
04:13
like the kind we generate生成
in our digital数字 lives生活.
80
241264
2278
比如我们在数字生活中
产生的数据。
04:15
And the system系统 learns获悉
by churning翻腾 through通过 this data数据.
81
243566
2730
系统扎进这些数据中学习,
04:18
And also, crucially关键,
82
246669
1526
重要的是,
04:20
these systems系统 don't operate操作
under a single-answer单答案 logic逻辑.
83
248219
4380
这些系统不再局限单一答案。
04:24
They don't produce生产 a simple简单 answer回答;
it's more probabilistic概率:
84
252623
2959
他们得出的不是一个
简单的答案,而是概率性的:
04:27
"This one is probably大概 more like
what you're looking for."
85
255606
3483
“这个更像是你在寻找的。”
04:32
Now, the upside上边 is:
this method方法 is really powerful强大.
86
260023
3070
它的优势是:
它真的非常强大。
04:35
The head of Google's谷歌的 AIAI systems系统 called it,
87
263117
2076
Google 人工智能系统的
负责人称它为:
04:37
"the unreasonable不合理 effectiveness效用 of data数据."
88
265217
2197
“不可思议的数据效率”。
04:39
The downside缺点 is,
89
267791
1353
缺点在于,
04:41
we don't really understand理解
what the system系统 learned学到了.
90
269738
3071
我们无法清楚的了解
系统学到了什么,
04:44
In fact事实, that's its power功率.
91
272833
1587
事实上,这也正是
它的强大之处。
04:46
This is less like giving
instructions说明 to a computer电脑;
92
274946
3798
不像是给计算机下达指令,
04:51
it's more like training训练
a puppy-machine-creature小狗 - 机 - 生物
93
279200
4064
更像是在训练一个机器狗,
04:55
we don't really understand理解 or control控制.
94
283288
2371
我们无法精确的
了解和控制它。
04:58
So this is our problem问题.
95
286362
1551
这就是我们遇到的问题。
05:00
It's a problem问题 when this artificial人造
intelligence情报 system系统 gets得到 things wrong错误.
96
288427
4262
人工智能会出错,
这是一个问题。
05:04
It's also a problem问题
when it gets得到 things right,
97
292713
3540
但他们得出正确答案,
又是另一种问题。
05:08
because we don't even know which哪一个 is which哪一个
when it's a subjective主观 problem问题.
98
296277
3628
因为我们面对主观问题,
是不应该有答案的。
05:11
We don't know what this thing is thinking思维.
99
299929
2339
我们不知道
这些机器在想什么。
05:15
So, consider考虑 a hiring招聘 algorithm算法 --
100
303493
3683
所以,考虑一下招聘算法-
05:20
a system系统 used to hire聘请 people,
using运用 machine-learning机器学习 systems系统.
101
308123
4311
通过机器学习构建的招聘系统。
05:25
Such这样 a system系统 would have been trained熟练
on previous以前 employees'雇员' data数据
102
313052
3579
这样的系统会用员工
现有的数据进行自我培训,
05:28
and instructed指示 to find and hire聘请
103
316655
2591
参照公司的优秀员工
05:31
people like the existing现有
high performers表演者 in the company公司.
104
319270
3038
来寻找和招聘新人。
05:34
Sounds声音 good.
105
322814
1153
听起来很好。
05:35
I once一旦 attended出席 a conference会议
106
323991
1999
有次我参加了一个会议,
05:38
that brought together一起
human人的 resources资源 managers经理 and executives高管,
107
326014
3125
会上聚集了很多
人力资源部的经理和总监,
05:41
high-level高水平 people,
108
329163
1206
都是高管,
05:42
using运用 such这样 systems系统 in hiring招聘.
109
330393
1559
让他们使用这样的招聘系统。
05:43
They were super excited兴奋.
110
331976
1646
他们都非常兴奋,
05:45
They thought that this would make hiring招聘
more objective目的, less biased,
111
333646
4653
认为这可以让招聘变得
更加客观,从而减少偏见,
05:50
and give women妇女
and minorities少数民族 a better shot射击
112
338323
3000
给女性和少数族裔
更多的机会,
05:53
against反对 biased human人的 managers经理.
113
341347
2188
减少他们自身的偏见。
05:55
And look -- human人的 hiring招聘 is biased.
114
343559
2843
你知道的,
招聘是存在偏见的,
05:59
I know.
115
347099
1185
我也很清楚。
06:00
I mean, in one of my early jobs工作
as a programmer程序员,
116
348308
3005
在我刚开始做程序员的时候,
06:03
my immediate即时 manager经理 would sometimes有时
come down to where I was
117
351337
3868
我的直接主管会来找我,
06:07
really early in the morning早上
or really late晚了 in the afternoon下午,
118
355229
3753
在早晨很早或下午很晚的时候,
06:11
and she'd say, "ZeynepZeynep相识,
let's go to lunch午餐!"
119
359006
3062
说,“ 图费, 我们去吃午饭!”
06:14
I'd be puzzled困惑 by the weird奇怪的 timing定时.
120
362724
2167
我就被这奇怪的时间
给搞糊涂了,
06:16
It's 4pm下午. Lunch午餐?
121
364915
2129
现在是下午4点,吃午饭?
06:19
I was broke打破, so free自由 lunch午餐. I always went.
122
367068
3094
我当时很穷,所以
不会放过免费的午餐。
06:22
I later后来 realized实现 what was happening事件.
123
370618
2067
后来我才想明白原因,
06:24
My immediate即时 managers经理
had not confessed供认不讳 to their higher-ups上级
124
372709
4546
我的主管们没有
向他们的上级坦白,
06:29
that the programmer程序员 they hired雇用
for a serious严重 job工作 was a teen青少年 girl女孩
125
377279
3113
他们雇了一个十多岁的小女孩
来做重要的编程工作,
06:32
who wore穿着 jeans牛仔裤 and sneakers球鞋 to work.
126
380416
3930
一个穿着牛仔裤,
运动鞋工作的女孩。
06:37
I was doing a good job工作,
I just looked看着 wrong错误
127
385174
2202
我的工作做得很好,
我只是看起来不合适,
06:39
and was the wrong错误 age年龄 and gender性别.
128
387400
1699
年龄和性别也不合适。
06:41
So hiring招聘 in a gender-性别- and race-blind比赛盲 way
129
389123
3346
所以,忽略性别和种族的招聘,
06:44
certainly当然 sounds声音 good to me.
130
392493
1865
听起来很适合我。
06:47
But with these systems系统,
it is more complicated复杂, and here's这里的 why:
131
395031
3341
但是这样的系统会带来更多问题,
06:50
Currently目前, computational计算 systems系统
can infer推断 all sorts排序 of things about you
132
398968
5791
当前,计算机系统
能根据零散的数据,
06:56
from your digital数字 crumbs,
133
404783
1872
推断出关于你的一切,
06:58
even if you have not
disclosed披露 those things.
134
406679
2333
甚至你没有公开的事。
07:01
They can infer推断 your sexual有性 orientation方向,
135
409506
2927
它们可以推断你的性取向,
07:04
your personality个性 traits性状,
136
412994
1306
你的性格特点,
07:06
your political政治 leanings倾向.
137
414859
1373
你的政治倾向。
07:08
They have predictive预测 power功率
with high levels水平 of accuracy准确性.
138
416830
3685
它们有高准确度的预测能力,
07:13
Remember记得 -- for things
you haven't没有 even disclosed披露.
139
421362
2578
记住,是你没有公开的事情,
07:15
This is inference推理.
140
423964
1591
这就是推断。
07:17
I have a friend朋友 who developed发达
such这样 computational计算 systems系统
141
425579
3261
我有个朋友
就是开发这种系统,
07:20
to predict预测 the likelihood可能性
of clinical临床 or postpartum产后 depression萧条
142
428864
3641
从社交媒体的数据中,
推断患临床或
产后抑郁症的可能性。
07:24
from social社会 media媒体 data数据.
143
432529
1416
07:26
The results结果 are impressive有声有色.
144
434676
1427
结果令人印象深刻,
07:28
Her system系统 can predict预测
the likelihood可能性 of depression萧条
145
436492
3357
她的系统可以
在症状出现前几个月
07:31
months个月 before the onset发病 of any symptoms症状 --
146
439873
3903
成功预测到
患抑郁的可能性,
07:35
months个月 before.
147
443800
1373
提前几个月。
07:37
No symptoms症状, there's prediction预测.
148
445197
2246
在有症状之前,
就可以预测到,
07:39
She hopes希望 it will be used
for early intervention介入. Great!
149
447467
4812
她希望这可以用于
临床早期干预,这很棒!
07:44
But now put this in the context上下文 of hiring招聘.
150
452911
2040
现在我们把这项技术
放到招聘中来看。
07:48
So at this human人的 resources资源
managers经理 conference会议,
151
456027
3046
在那次人力资源管理会议中,
07:51
I approached接近 a high-level高水平 manager经理
in a very large company公司,
152
459097
4709
我接近了一位大公司的高管,
07:55
and I said to her, "Look,
what if, unbeknownst不知情 to you,
153
463830
4578
我对她说,“看,如果这个系统
在不通知你的情况下,
08:00
your system系统 is weeding除草 out people
with high future未来 likelihood可能性 of depression萧条?
154
468432
6549
就剔除了未来
有可能抑郁的人,怎么办?
08:07
They're not depressed郁闷 now,
just maybe in the future未来, more likely容易.
155
475761
3376
他们现在不抑郁,
只是未来有可能。
08:11
What if it's weeding除草 out women妇女
more likely容易 to be pregnant
156
479923
3406
如果它剔除了
有可能怀孕的女性,怎么办?
08:15
in the next下一个 year or two
but aren't pregnant now?
157
483353
2586
她们现在没怀孕,
但未来一两年有可能。
08:18
What if it's hiring招聘 aggressive侵略性 people
because that's your workplace职场 culture文化?"
158
486844
5636
如果因为你的公司文化,
它只雇佣激进的候选人怎么办?”
08:25
You can't tell this by looking
at gender性别 breakdowns故障.
159
493173
2691
只看性别比例,
你发现不了这些问题,
08:27
Those may可能 be balanced均衡.
160
495888
1502
性别比例是可以被调整的。
08:29
And since以来 this is machine learning学习,
not traditional传统 coding编码,
161
497414
3557
并且因为这是机器学习,
不是传统的代码,
08:32
there is no variable变量 there
labeled标记 "higher更高 risk风险 of depression萧条,"
162
500995
4907
不会有一个变量来标识
“高抑郁风险”、
08:37
"higher更高 risk风险 of pregnancy怀孕,"
163
505926
1833
“高怀孕风险”、
08:39
"aggressive侵略性 guy scale规模."
164
507783
1734
“人员的激进程度”。
08:41
Not only do you not know
what your system系统 is selecting选择 on,
165
509995
3679
你不仅无法了解系统
在选什么样的人,
08:45
you don't even know
where to begin开始 to look.
166
513698
2323
你甚至不知道
从哪里入手了解。
08:48
It's a black黑色 box.
167
516045
1246
它是个暗箱。
08:49
It has predictive预测 power功率,
but you don't understand理解 it.
168
517315
2807
它有预测的能力,
但你不了解它。
08:52
"What safeguards保障," I asked, "do you have
169
520486
2369
我问,“你有什么措施
可以保证,
08:54
to make sure that your black黑色 box
isn't doing something shady阴凉?"
170
522879
3673
你的暗箱没有
在做些见不得人的事?”
09:00
She looked看着 at me as if I had
just stepped加强 on 10 puppy小狗 tails尾巴.
171
528863
3878
她看着我,就好像
我刚踩了10只小狗的尾巴。
09:04
(Laughter笑声)
172
532765
1248
(笑声)
09:06
She stared盯着 at me and she said,
173
534037
2041
她瞪着我说:
09:08
"I don't want to hear
another另一个 word about this."
174
536556
4333
“我不想再听你多说一个字。”
09:13
And she turned转身 around and walked away.
175
541458
2034
然后她转身走开了。
09:16
Mind心神 you -- she wasn't rude无礼.
176
544064
1486
其实,
她不是无礼,
09:17
It was clearly明确地: what I don't know
isn't my problem问题, go away, death死亡 stare.
177
545574
6308
她想表达的其实是:我不知道,
这不是我的错,走开,不然我瞪死你。
09:23
(Laughter笑声)
178
551906
1246
(笑声)
09:25
Look, such这样 a system系统
may可能 even be less biased
179
553862
3839
看,这样的系统
可能在某些方面
09:29
than human人的 managers经理 in some ways方法.
180
557725
2103
比人类高管
怀有更少偏见,
09:31
And it could make monetary货币 sense.
181
559852
2146
而且可以创造经济价值。
09:34
But it could also lead
182
562573
1650
但它也可能
09:36
to a steady稳定 but stealthy鬼鬼祟祟
shutting关闭 out of the job工作 market市场
183
564247
4748
用一种顽固且隐秘的方式,
把高抑郁风险的人清出职场。
09:41
of people with higher更高 risk风险 of depression萧条.
184
569019
2293
09:43
Is this the kind of society社会
we want to build建立,
185
571753
2596
这是我们想要的未来吗?
09:46
without even knowing会心 we've我们已经 doneDONE this,
186
574373
2285
把决策权给予我们
并不完全了解的机器,
09:48
because we turned转身 decision-making做决定
to machines we don't totally完全 understand理解?
187
576682
3964
在我们不知情的状况下
构建一种新的社会?
09:53
Another另一个 problem问题 is this:
188
581265
1458
另一个问题是,
09:55
these systems系统 are often经常 trained熟练
on data数据 generated产生 by our actions行动,
189
583314
4452
这些系统通常使用
我们真实的
行为数据来训练。
09:59
human人的 imprints印记.
190
587790
1816
10:02
Well, they could just be
reflecting反映 our biases偏见,
191
590188
3808
它们可能只是在
反馈我们的偏见,
10:06
and these systems系统
could be picking选择 up on our biases偏见
192
594020
3593
这些系统会
继承我们的偏见,
10:09
and amplifying放大 them
193
597637
1313
并把它们放大,
10:10
and showing展示 them back to us,
194
598974
1418
然后反馈给我们。
10:12
while we're telling告诉 ourselves我们自己,
195
600416
1462
我们骗自己说,
10:13
"We're just doing objective目的,
neutral中性 computation计算."
196
601902
3117
“我们只做客观、
中立的预测。”
10:18
Researchers研究人员 found发现 that on Google谷歌,
197
606314
2677
研究者发现,在 Google 上,
10:22
women妇女 are less likely容易 than men男人
to be shown显示 job工作 ads广告 for high-paying高薪 jobs工作.
198
610134
5313
高收入工作的广告
更多的被展示给男性用户。
10:28
And searching搜索 for African-American非裔美国人 names
199
616463
2530
搜索非裔美国人的名字,
10:31
is more likely容易 to bring带来 up ads广告
suggesting提示 criminal刑事 history历史,
200
619017
4706
更可能出现
关于犯罪史的广告,
10:35
even when there is none没有.
201
623747
1567
即使某些根本不存在。
10:38
Such这样 hidden biases偏见
and black-box黑盒子 algorithms算法
202
626693
3549
这些潜在的偏见
以及暗箱中的算法,
10:42
that researchers研究人员 uncover揭露 sometimes有时
but sometimes有时 we don't know,
203
630266
3973
有些会被研究者揭露,
有些根本不会被发现,
10:46
can have life-altering改变生活 consequences后果.
204
634263
2661
它的后果可能是
改变一个人的人生。
10:49
In Wisconsin威斯康星, a defendant被告
was sentenced判刑 to six years年份 in prison监狱
205
637958
4159
在威斯康星,一个被告
因逃避警察被判刑六年。
10:54
for evading回避 the police警察.
206
642141
1355
10:56
You may可能 not know this,
207
644824
1186
你可能不知道,
10:58
but algorithms算法 are increasingly日益 used
in parole言语 and sentencing宣判 decisions决定.
208
646034
3998
但计算机算法正越来越多的
被应用在假释及量刑裁定上。
11:02
He wanted to know:
How is this score得分了 calculated计算?
209
650056
2955
他想要弄清楚,这个
得分是怎么算出来的?
11:05
It's a commercial广告 black黑色 box.
210
653795
1665
这是个商业暗箱,
11:07
The company公司 refused拒绝 to have its algorithm算法
be challenged挑战 in open打开 court法庭.
211
655484
4205
这家公司拒绝在公开法庭上
讨论他们的算法。
11:12
But ProPublicaProPublica, an investigative研究
nonprofit非营利性, audited审计 that very algorithm算法
212
660396
5532
但是一家叫 ProPublica
的非盈利机构,
根据公开数据,
对这个算法进行了评估,
11:17
with what public上市 data数据 they could find,
213
665952
2016
11:19
and found发现 that its outcomes结果 were biased
214
667992
2316
他们发现这个算法
的结论是有偏见的,
11:22
and its predictive预测 power功率
was dismal惨淡, barely仅仅 better than chance机会,
215
670332
3629
它的预测能力很差,
比碰运气强不了多少,
11:25
and it was wrongly labeling标签
black黑色 defendants被告 as future未来 criminals罪犯
216
673985
4416
并且它错误的把黑人被告
未来犯罪的可能性
11:30
at twice两次 the rate of white白色 defendants被告.
217
678425
3895
标记为白人的两倍。
11:35
So, consider考虑 this case案件:
218
683891
1564
看下这个案例:
11:38
This woman女人 was late晚了
picking选择 up her godsistergodsister
219
686103
3852
这个女人急着去佛罗里达州,
布劳沃德县的一所学校,
11:41
from a school学校 in Broward布劳沃德 County, Florida佛罗里达,
220
689979
2075
去接她的干妹妹。
11:44
running赛跑 down the street
with a friend朋友 of hers她的.
221
692757
2356
女人和她的朋友在街上狂奔,
11:47
They spotted an unlocked解锁 kid's孩子的 bike自行车
and a scooter摩托车 on a porch门廊
222
695137
4099
她们看到门廊上一辆没上锁的
儿童自行车,和一辆电瓶车,
11:51
and foolishly婆妈 jumped跳下 on it.
223
699260
1632
于是就愚蠢的骑上了车。
11:52
As they were speeding超速 off,
a woman女人 came来了 out and said,
224
700916
2599
正在她们要骑走的时候,
另一个女人出来,喊道:
11:55
"Hey! That's my kid's孩子的 bike自行车!"
225
703539
2205
“嘿!那是我孩子的自行车!”
11:57
They dropped下降 it, they walked away,
but they were arrested被捕.
226
705768
3294
她们扔掉车走开,
但还是被抓住了。
12:01
She was wrong错误, she was foolish,
but she was also just 18.
227
709086
3637
她做错了,她很愚蠢,
但她也才刚满18岁,
12:04
She had a couple一对 of juvenile少年 misdemeanors轻罪.
228
712747
2544
她之前有不少
青少年轻罪的记录。
12:07
Meanwhile与此同时, that man had been arrested被捕
for shoplifting行窃 in Home Depot仓库 --
229
715808
5185
与此同时,这个男人
在连锁超市偷窃被捕了,
12:13
85 dollars'美元的 worth价值 of stuff东东,
a similar类似 petty小气 crime犯罪.
230
721017
2924
偷了价值85美金的东西,
同样的轻微犯罪,
12:16
But he had two prior
armed武装 robbery抢劫 convictions信念.
231
724766
4559
但他有两次持枪抢劫的案底。
12:21
But the algorithm算法 scored进球 her
as high risk风险, and not him.
232
729955
3482
这个程序将这位女性判定为
高风险,而这位男性则不是。
12:26
Two years年份 later后来, ProPublicaProPublica found发现
that she had not reoffendedreoffended.
233
734746
3874
两年后,ProPublica
发现她没有再次犯罪,
12:30
It was just hard to get a job工作
for her with her record记录.
234
738644
2550
但这个记录
使她很难找到工作。
12:33
He, on the other hand, did reoffend重犯
235
741218
2076
而这位男性,却再次犯罪,
12:35
and is now serving服务 an eight-year八年
prison监狱 term术语 for a later后来 crime犯罪.
236
743318
3836
并因此被判八年监禁。
12:40
Clearly明确地, we need to audit审计 our black黑色 boxes盒子
237
748088
3369
显然,我们需要
审查这些暗箱,
12:43
and not have them have
this kind of unchecked未选中 power功率.
238
751481
2615
确保它们不再有这样
不加限制的权限。
12:46
(Applause掌声)
239
754120
2879
(掌声)
12:50
Audits审计 are great and important重要,
but they don't solve解决 all our problems问题.
240
758087
4242
审查是很重要的,
但不能解决所有的问题。
12:54
Take Facebook'sFacebook的 powerful强大
news新闻 feed饲料 algorithm算法 --
241
762353
2748
拿 Facebook 的强大的
新闻流算法来说,
12:57
you know, the one that ranks行列 everything
and decides决定 what to show显示 you
242
765125
4843
就是通过你的朋友圈
和你浏览过的页面,
决定你的
“推荐内容”的算法。
13:01
from all the friends朋友 and pages网页 you follow跟随.
243
769992
2284
13:04
Should you be shown显示 another另一个 baby宝宝 picture图片?
244
772898
2275
它会决定要不要
再推一张婴儿照片给你,
13:07
(Laughter笑声)
245
775197
1196
(笑声)
13:08
A sullen忧郁 note注意 from an acquaintance熟人?
246
776417
2596
要不要推一条熟人
的沮丧状态?
13:11
An important重要 but difficult news新闻 item项目?
247
779449
1856
要不要推一条重要
但艰涩的新闻?
13:13
There's no right answer回答.
248
781329
1482
这个问题没有正解。
13:14
FacebookFacebook的 optimizes公司优化
for engagement订婚 on the site现场:
249
782835
2659
Facebook 会根据
网站的参与度来优化:
13:17
likes喜欢, shares分享, comments注释.
250
785518
1415
喜欢、分享、评论。
13:20
In August八月 of 2014,
251
788168
2696
在2014年8月,
13:22
protests抗议 broke打破 out in Ferguson弗格森, Missouri密苏里州,
252
790888
2662
密苏里州弗格森市爆发了游行,
13:25
after the killing谋杀 of an African-American非裔美国人
teenager青少年 by a white白色 police警察 officer,
253
793574
4417
一个白人警察在不明状况下
杀害了一位非裔少年。
13:30
under murky模糊 circumstances情况.
254
798015
1570
13:31
The news新闻 of the protests抗议 was all over
255
799974
2007
关于游行的新闻
13:34
my algorithmically算法
unfiltered未经过滤 Twitter推特 feed饲料,
256
802005
2685
在我的未经算法过滤的
Twitter 上大量出现,
13:36
but nowhere无处 on my FacebookFacebook的.
257
804714
1950
但 Facebook 上却没有。
13:39
Was it my FacebookFacebook的 friends朋友?
258
807182
1734
是因为我的 Facebook 好友
不关注这事吗?
13:40
I disabled Facebook'sFacebook的 algorithm算法,
259
808940
2032
我禁用了 Facebook 的算法,
13:43
which哪一个 is hard because FacebookFacebook的
keeps保持 wanting希望 to make you
260
811472
2848
这是很麻烦的一键事,
因为 Facebook 希望
13:46
come under the algorithm's算法的 control控制,
261
814344
2036
你一直在它的算法
控制下使用,
13:48
and saw that my friends朋友
were talking about it.
262
816404
2238
希望我的朋友持续
地谈论这件事。
13:50
It's just that the algorithm算法
wasn't showing展示 it to me.
263
818666
2509
只是算法没法
给我这些信息。
13:53
I researched研究 this and found发现
this was a widespread广泛 problem问题.
264
821199
3042
我研究了这个现象,
发现这是个普遍的问题。
13:56
The story故事 of Ferguson弗格森
wasn't algorithm-friendly算法友好.
265
824265
3813
弗格森事件
对算法是不适用的,
它不是值得“赞”的新闻,
14:00
It's not "likable讨人喜欢."
266
828102
1171
14:01
Who's谁是 going to click点击 on "like?"
267
829297
1552
谁会在这样
的文章下点“赞”呢?
14:03
It's not even easy简单 to comment评论 on.
268
831500
2206
甚至这新闻都不好被评论。
14:05
Without没有 likes喜欢 and comments注释,
269
833730
1371
因为没有“赞”和评论,
14:07
the algorithm算法 was likely容易 showing展示 it
to even fewer people,
270
835125
3292
算法会减少
这些新闻的曝光,
14:10
so we didn't get to see this.
271
838441
1542
所以我们无法看到。
14:12
Instead代替, that week,
272
840946
1228
相反的,在同一周,
14:14
Facebook'sFacebook的 algorithm算法 highlighted突出 this,
273
842198
2298
Facebook 的算法热推了
14:16
which哪一个 is the ALSALS Ice Bucket Challenge挑战.
274
844520
2226
ALS 冰桶挑战的信息。
14:18
Worthy值得 cause原因; dump倾倒 ice water,
donate to charity慈善机构, fine.
275
846770
3742
这很有意义,倒冰水,
为慈善捐款,很好。
14:22
But it was super algorithm-friendly算法友好.
276
850536
1904
这个事件对算法是很适用的,
14:25
The machine made制作 this decision决定 for us.
277
853219
2613
机器帮我们做了这个决定。
14:27
A very important重要
but difficult conversation会话
278
855856
3497
非常重要但艰涩的新闻事件
14:31
might威力 have been smothered窒息,
279
859377
1555
可能会被埋没掉,
14:32
had FacebookFacebook的 been the only channel渠道.
280
860956
2696
因为 Facebook 已经成为
主要的信息来源。
14:36
Now, finally最后, these systems系统
can also be wrong错误
281
864117
3797
最后,这些系统
也可能会在一些
14:39
in ways方法 that don't resemble类似 human人的 systems系统.
282
867938
2736
不同于人力系统
的那些事情上搞错。
14:42
Do you guys remember记得 Watson沃森,
IBM'sIBM的 machine-intelligence机器智能 system系统
283
870698
2922
你们记得 Watson 吧,
那个在智力竞赛《危险边缘》中
14:45
that wiped the floor地板
with human人的 contestants参赛者 on Jeopardy危险?
284
873644
3128
横扫人类选手的
IBM 机器智能系统,
14:49
It was a great player播放机.
285
877131
1428
它是个很厉害的选手。
14:50
But then, for Final最后 Jeopardy危险,
Watson沃森 was asked this question:
286
878583
3569
但是,在最后一轮比赛中,
Watson 被问道:
14:54
"Its largest最大 airport飞机场 is named命名
for a World世界 War战争 IIII hero英雄,
287
882659
2932
“它最大的机场是以
二战英雄命名的,
14:57
its second-largest第二大
for a World世界 War战争 IIII battle战斗."
288
885615
2252
它第二大机场是以
二战战场命名的。”
14:59
(HumsHUMS Final最后 Jeopardy危险 music音乐)
289
887891
1378
(哼唱《危险边缘》插曲)
15:01
Chicago芝加哥.
290
889582
1182
芝加哥。
15:02
The two humans人类 got it right.
291
890788
1370
两位人类选手答对了,
15:04
Watson沃森, on the other hand,
answered回答 "Toronto多伦多" --
292
892697
4348
但 Watson 答的是,
“多伦多”,
15:09
for a US city category类别!
293
897069
1818
这是个猜美国城市的环节!
15:11
The impressive有声有色 system系统 also made制作 an error错误
294
899596
2901
这个厉害的系统也会犯
15:14
that a human人的 would never make,
a second-grader二年级 wouldn't不会 make.
295
902521
3651
人类都不会犯的,二年级
小孩都不会犯的错误。
15:18
Our machine intelligence情报 can fail失败
296
906823
3109
我们的机器智能系统,
15:21
in ways方法 that don't fit适合
error错误 patterns模式 of humans人类,
297
909956
3100
会在一些不符合人类
出错模式的问题上出错,
15:25
in ways方法 we won't惯于 expect期望
and be prepared准备 for.
298
913080
2950
这些问题都是我们
无法预料和准备的。
15:28
It'd它会 be lousy糟糕 not to get a job工作
one is qualified合格 for,
299
916054
3638
丢失一份完全有能力胜任
的工作时,人们会感到很糟,
15:31
but it would triple三倍 suck吮吸
if it was because of stack overflow溢出
300
919716
3727
但如果是因为机器
子程序的过度堆积,
15:35
in some subroutine子程序.
301
923467
1432
就简直糟透了。
15:36
(Laughter笑声)
302
924923
1579
(笑声)
15:38
In May可能 of 2010,
303
926526
2786
在2010年五月,
15:41
a flash crash紧急 on Wall Street
fueled燃料 by a feedback反馈 loop循环
304
929336
4044
华尔街出现一次
股票闪电崩盘,
原因是“卖出”算法
的反馈回路导致,
15:45
in Wall Street's华尔街 "sell" algorithm算法
305
933404
3028
15:48
wiped a trillion dollars美元
of value in 36 minutes分钟.
306
936456
4184
在36分钟内
损失了几十亿美金。
15:53
I don't even want to think
what "error错误" means手段
307
941722
2187
我甚至不敢想,
致命的自动化武器
15:55
in the context上下文 of lethal致命
autonomous自主性 weapons武器.
308
943933
3589
发生“错误”会是什么后果。
16:01
So yes, humans人类 have always made制作 biases偏见.
309
949894
3790
是的,人类总是会有偏见,
16:05
Decision决策 makers制造商 and gatekeepers守门,
310
953708
2176
法庭上、新闻机构、战争中的,
16:07
in courts法院, in news新闻, in war战争 ...
311
955908
3493
决策者、看门人…
16:11
they make mistakes错误;
but that's exactly究竟 my point.
312
959425
3038
他们都会犯错,
但这恰恰是我要说的。
16:14
We cannot不能 escape逃逸
these difficult questions问题.
313
962487
3521
我们无法抛开
这些困难的问题,
我们不能把我们自身
该承担的责任推给机器。
16:18
We cannot不能 outsource外包
our responsibilities责任 to machines.
314
966596
3516
16:22
(Applause掌声)
315
970676
4208
(掌声)
16:29
Artificial人造 intelligence情报 does not give us
a "Get out of ethics伦理 free自由" card.
316
977089
4447
人工智能不会给我们
一张“伦理免责卡”。
16:34
Data数据 scientist科学家 Fred弗雷德 Benenson尼森
calls电话 this math-washing数学洗.
317
982742
3381
数据科学家 Fred Benenson
称之为“数学粉饰”。
16:38
We need the opposite对面.
318
986147
1389
我们需要是相反的东西。
16:39
We need to cultivate培育 algorithm算法 suspicion怀疑,
scrutiny审查 and investigation调查.
319
987560
5388
我们需要培养算法的
怀疑、复查和调研能力。
16:45
We need to make sure we have
algorithmic算法 accountability问责,
320
993380
3198
我们需要确保
有人为算法负责,
16:48
auditing审计 and meaningful富有意义的 transparency透明度.
321
996602
2445
为算法审查,
并切实的公开透明。
16:51
We need to accept接受
that bringing使 math数学 and computation计算
322
999380
3234
我们必须认识到,
把数学和计算引入
16:54
to messy, value-laden价值负载 human人的 affairs事务
323
1002638
2970
解决复杂的、高价值
的人类事务中,
16:57
does not bring带来 objectivity客观性;
324
1005632
2384
并不能带来客观性,
17:00
rather, the complexity复杂 of human人的 affairs事务
invades侵入 the algorithms算法.
325
1008040
3633
相反,人类事务
的复杂性会扰乱算法。
17:04
Yes, we can and we should use computation计算
326
1012148
3487
是的,我们可以
并且需要使用计算机
17:07
to help us make better decisions决定.
327
1015659
2014
来帮助我们做更好的决策,
17:09
But we have to own拥有 up
to our moral道德 responsibility责任 to judgment判断,
328
1017697
5332
但我们也需要在判断中
加入道德义务,
17:15
and use algorithms算法 within that framework骨架,
329
1023053
2818
在这个框架下使用算法,
17:17
not as a means手段 to abdicate放弃
and outsource外包 our responsibilities责任
330
1025895
4935
而不是像人与人
之间相互推卸那样,
就把责任转移给机器。
17:22
to one another另一个 as human人的 to human人的.
331
1030854
2454
17:25
Machine intelligence情报 is here.
332
1033807
2609
人工智能到来了,
17:28
That means手段 we must必须 hold保持 on ever tighter更紧
333
1036440
3421
这意味着
我们要格外坚守
人类的价值观和伦理。
17:31
to human人的 values and human人的 ethics伦理.
334
1039885
2147
17:34
Thank you.
335
1042056
1154
谢谢。
17:35
(Applause掌声)
336
1043234
5020
(掌声)
Translated by Yangyang Liu
Reviewed by Junyi Sha

▲Back to top

ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com