ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

尼克·博斯特罗姆: 当电脑比我们还聪明时会发生什么?

Filmed:
4,632,705 views

人工智能技术在这个世纪中突飞猛进,研究表明,人工智能电脑可以和人类一样聪明。而在那之后,尼克·博斯特罗姆认为,它们将会超越我们:“机器智能是人类的最终发明。” 作为一个科技学家和哲学家,博斯特罗姆要我们反思我们正在建造的世界,这世界由具有思考能力的机器所主宰。这些聪明的机器会帮助我们维持人性和价值观?还是会创造出它们自己的价值观?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunch of mathematicians数学家,
philosophers哲学家 and computer电脑 scientists科学家们,
0
570
4207
我和一些数学家、
哲学家和电脑学家一起工作,
00:16
and we sit around and think about
the future未来 of machine intelligence情报,
1
4777
5209
我们会坐在一起思考未来的机械智能,
00:21
among其中 other things.
2
9986
2044
和其他的一些事情。
00:24
Some people think that some of these
things are sort分类 of science科学 fiction-y小说-Y,
3
12030
4725
有的人认为这类事情只是科幻,
00:28
far out there, crazy.
4
16755
3101
不切实际,很疯狂。
00:31
But I like to say,
5
19856
1470
但是我想说,
00:33
okay, let's look at the modern现代
human人的 condition条件.
6
21326
3604
好吧,那我们来看看人类现状吧。
00:36
(Laughter笑声)
7
24930
1692
(笑)
00:38
This is the normal正常 way for things to be.
8
26622
2402
这是世间一种常态。
00:41
But if we think about it,
9
29024
2285
但是如果我们去思考,
00:43
we are actually其实 recently最近 arrived到达
guests宾客 on this planet行星,
10
31309
3293
我们人类,其实相当晚才
00:46
the human人的 species种类.
11
34602
2082
出现在这个星球上。
00:48
Think about if Earth地球
was created创建 one year ago,
12
36684
4746
想一想,如果地球是一年前才被创造的,
00:53
the human人的 species种类, then,
would be 10 minutes分钟 old.
13
41430
3548
人类,那么,10分钟前才出现。
00:56
The industrial产业 era时代 started开始
two seconds ago.
14
44978
3168
然后工业时代两秒钟前刚刚开始。
01:01
Another另一个 way to look at this is to think of
world世界 GDPGDP over the last 10,000 years年份,
15
49276
5225
另一种看待这件事的方式是去
想一下在过去一万年间的世界 GDP 状况。
01:06
I've actually其实 taken采取 the trouble麻烦
to plot情节 this for you in a graph图形.
16
54501
3029
我其实真的试着去做了一个统计图。
01:09
It looks容貌 like this.
17
57530
1774
就是这样。
01:11
(Laughter笑声)
18
59304
1363
(笑)
01:12
It's a curious好奇 shape形状
for a normal正常 condition条件.
19
60667
2151
这是个令人好奇的形状,正常情况下。
01:14
I sure wouldn't不会 want to sit on it.
20
62818
1698
我确定我不想坐在上面。
01:16
(Laughter笑声)
21
64516
2551
(笑)
01:19
Let's ask ourselves我们自己, what is the cause原因
of this current当前 anomaly不规则?
22
67067
4774
让我们扪心自问,到底是什么造成了
如此不寻常的现状?
01:23
Some people would say it's technology技术.
23
71841
2552
一些人会说,因为科技。
01:26
Now it's true真正, technology技术 has accumulated积累
through通过 human人的 history历史,
24
74393
4668
对于现在来说是对的,科技是人类历史
不断积累下来的果实。
01:31
and right now, technology技术
advances进步 extremely非常 rapidly急速 --
25
79061
4652
现在,科技发展十分迅速:
01:35
that is the proximate最近的 cause原因,
26
83713
1565
这是个直接原因,
01:37
that's why we are currently目前
so very productive生产的.
27
85278
2565
这就是为什么我们现在生产效率如此高。
01:40
But I like to think back further进一步
to the ultimate最终 cause原因.
28
88473
3661
但是我想探究更远的在未来的终极原因。
01:45
Look at these two highly高度
distinguished杰出的 gentlemen绅士:
29
93114
3766
看这两个非常不同的男士:
01:48
We have Kanzi坎兹 --
30
96880
1600
这是 Kanzi,
01:50
he's mastered掌握 200 lexical词法
tokens令牌, an incredible难以置信 feat功绩.
31
98480
4643
他已经掌握了 200 个词法标记,
一个难以置信的成就。
01:55
And Ed埃德 Witten威滕 unleashed如虎添翼 the second第二
superstring超弦理论 revolution革命.
32
103123
3694
Ed Witten 开创了第二个令人惊人的创新。
01:58
If we look under the hood引擎罩,
this is what we find:
33
106817
2324
如果我们去看这些事物的本质,
这是我们的发现:
02:01
basically基本上 the same相同 thing.
34
109141
1570
全都是一样的。
02:02
One is a little larger,
35
110711
1813
一个稍微大了一点,
02:04
it maybe also has a few少数 tricks技巧
in the exact精确 way it's wired有线.
36
112524
2758
也许它有一些特殊的技巧。
02:07
These invisible无形 differences分歧 cannot不能
be too complicated复杂, however然而,
37
115282
3812
但是,这些隐形的不同并没有很错综复杂,
02:11
because there have only
been 250,000 generations
38
119094
4285
因为在我们和我们的祖先之间
02:15
since以来 our last common共同 ancestor祖先.
39
123379
1732
只有 25 万代人。
02:17
We know that complicated复杂 mechanisms机制
take a long time to evolve发展.
40
125111
3849
我们知道复杂的机制
需要很长的时间来进化得到。
02:22
So a bunch of relatively相对 minor次要 changes变化
41
130000
2499
所以,一些相对小的变化,
02:24
take us from Kanzi坎兹 to Witten威滕,
42
132499
3067
让我们从 Kanzi 变成了 Witten,
02:27
from broken-off破关 tree branches分支机构
to intercontinental洲际 ballistic弹道的 missiles导弹.
43
135566
4543
从捡起掉下的树枝作为武器,
到发射洲际导弹。
02:32
So this then seems似乎 pretty漂亮 obvious明显
that everything we've我们已经 achieved实现,
44
140839
3935
因此,至今我们所办到的所有事情,
02:36
and everything we care关心 about,
45
144774
1378
以及我们所关心的事情,
02:38
depends依靠 crucially关键 on some relatively相对 minor次要
changes变化 that made制作 the human人的 mind心神.
46
146152
5228
都取决于人大脑中细小的变化。
02:44
And the corollary推论, of course课程,
is that any further进一步 changes变化
47
152650
3662
因此得出的结论是:在未来,
02:48
that could significantly显著 change更改
the substrate基质 of thinking思维
48
156312
3477
任何显著的思考基体的变化,
02:51
could have potentially可能
enormous巨大 consequences后果.
49
159789
3202
都能带来巨大的后果。
02:56
Some of my colleagues同事
think we're on the verge边缘
50
164321
2905
我的一些同事觉得我们即将会发明,
02:59
of something that could cause原因
a profound深刻 change更改 in that substrate基质,
51
167226
3908
足以深深地改变人类思考模式的科技。
03:03
and that is machine superintelligence超级智能.
52
171134
3213
就是超级机能智慧。
03:06
Artificial人造 intelligence情报 used to be
about putting commands命令 in a box.
53
174347
4739
以前的人工智慧
是把指令输入到一个箱子里。
03:11
You would have human人的 programmers程序员
54
179086
1665
你需要人类程序员,
03:12
that would painstakingly精心
handcraft手工 knowledge知识 items项目.
55
180751
3135
来努力把知识转变成程序。
03:15
You build建立 up these expert专家 systems系统,
56
183886
2086
你会建立起一些专业系统,
03:17
and they were kind of useful有用
for some purposes目的,
57
185972
2324
它们有时候会有帮助,
03:20
but they were very brittle,
you couldn't不能 scale规模 them.
58
188296
2681
但是它们很生硬,你不能延展它们的功能。
03:22
Basically基本上, you got out only
what you put in.
59
190977
3433
基本上你只能得到你放进去的东西。
03:26
But since以来 then,
60
194410
997
但是自从那时候开始,
03:27
a paradigm范例 shift转移 has taken采取 place地点
in the field领域 of artificial人造 intelligence情报.
61
195407
3467
人工智能的领域发生了巨大的改变。
03:30
Today今天, the action行动 is really
around machine learning学习.
62
198874
2770
现在主要的研究方向是机器的学习。
03:34
So rather than handcrafting手工制作 knowledge知识
representations交涉 and features特征,
63
202394
5387
所以,预期设计出知识的再现,
03:40
we create创建 algorithms算法 that learn学习,
often经常 from raw生的 perceptual知觉的 data数据.
64
208511
5554
我们写出具有从原始感官数据学习的程序,
03:46
Basically基本上 the same相同 thing
that the human人的 infant婴儿 does.
65
214065
4998
像婴儿一样。
03:51
The result结果 is A.I. that is not
limited有限 to one domain --
66
219063
4207
结果就不会局限于某个领域的人工智能:
03:55
the same相同 system系统 can learn学习 to translate翻译
between之间 any pairs of languages语言,
67
223270
4631
同一个系统可以学习两种语言之间的翻译
03:59
or learn学习 to play any computer电脑 game游戏
on the Atari雅达利 console安慰.
68
227901
5437
或者学着玩 Atari 的游戏。
04:05
Now of course课程,
69
233338
1779
当然,现在,
04:07
A.I. is still nowhere无处 near having
the same相同 powerful强大, cross-domain跨域
70
235117
3999
人工智能还未能达到向人类一样,
04:11
ability能力 to learn学习 and plan计划
as a human人的 being存在 has.
71
239116
3219
具有强大的跨领域学习能力。
04:14
The cortex皮质 still has some
algorithmic算法 tricks技巧
72
242335
2126
人类大脑还具有一些运算技巧,
04:16
that we don't yet然而 know
how to match比赛 in machines.
73
244461
2355
可是我们不知道如何
将这些技巧用于机器。
04:19
So the question is,
74
247886
1899
所以我们现在需要问:
04:21
how far are we from being存在 able能够
to match比赛 those tricks技巧?
75
249785
3500
我们还要多久才可以
让机器复制这种能力?
04:26
A couple一对 of years年份 ago,
76
254245
1083
几年前,
04:27
we did a survey调查 of some of the world's世界
leading领导 A.I. experts专家,
77
255328
2888
我们对世界顶尖的人工智能专家
做了一次问卷调查,
04:30
to see what they think,
and one of the questions问题 we asked was,
78
258216
3224
来收集他们的想法,其中一道题目是:
04:33
"By which哪一个 year do you think
there is a 50 percent百分 probability可能性
79
261440
3353
“到哪一年你觉得人类会有 50% 的可能性
04:36
that we will have achieved实现
human-level人类水平 machine intelligence情报?"
80
264793
3482
创造达到人类水平的人工智能?”
04:40
We defined定义 human-level人类水平 here
as the ability能力 to perform演出
81
268785
4183
我们把这样的人工智能定义为
04:44
almost几乎 any job工作 at least最小 as well
as an adult成人 human人的,
82
272968
2871
有能力将任何任务
完成得至少和一名成年人一样好。
04:47
so real真实 human-level人类水平, not just
within some limited有限 domain.
83
275839
4005
所以是真正的人类级别,
而不是仅限于一些领域。
04:51
And the median中位数 answer回答 was 2040 or 2050,
84
279844
3650
而答案的中位数是 2040 到 2050 年,
04:55
depending根据 on precisely恰恰 which哪一个
group of experts专家 we asked.
85
283494
2806
取决于这些专家的群体。
04:58
Now, it could happen发生 much,
much later后来, or sooner,
86
286300
4039
当然这个有可能要过很久才能实现,
也有可能提前实现。
05:02
the truth真相 is nobody没有人 really knows知道.
87
290339
1940
没有人知道确切的时间。
05:05
What we do know is that the ultimate最终
limit限制 to information信息 processing处理
88
293259
4412
我们知道的事,
处理信息的能力的最终点,
05:09
in a machine substrate基质 lies far outside
the limits范围 in biological生物 tissue组织.
89
297671
4871
比任何生物组织要大很多。
05:15
This comes down to physics物理.
90
303241
2378
这取决与物理原理。
05:17
A biological生物 neuron神经元 fires火灾, maybe,
at 200 hertz赫兹, 200 times a second第二.
91
305619
4718
一个生物神经元所发出的脉冲频率
大约位于 200 赫兹,每秒 200 次。
05:22
But even a present-day今天 transistor晶体管
operates操作 at the Gigahertz千兆赫.
92
310337
3594
但是就算是现在的电晶体
都以千兆赫的频率运行。
05:25
Neurons神经元 propagate传播 slowly慢慢地 in axons轴突,
100 meters per second第二, tops上衣.
93
313931
5297
神经元在轴突中传输的速度较慢,
最多 100 米每秒。
05:31
But in computers电脑, signals信号 can travel旅行
at the speed速度 of light.
94
319228
3111
但在电脑里,信号是以光速传播的。
05:35
There are also size尺寸 limitations限制,
95
323079
1869
另外还有尺寸的限制,
05:36
like a human人的 brain has
to fit适合 inside a cranium颅骨,
96
324948
3027
就像人类的大脑只能有颅骨那么大,
05:39
but a computer电脑 can be the size尺寸
of a warehouse仓库 or larger.
97
327975
4761
但是一个电脑可以和仓库一样大,甚至更大。
05:44
So the potential潜在 for superintelligence超级智能
lies dormant休眠 in matter,
98
332736
5599
因此超级智慧的潜能正潜伏在物质之中,
05:50
much like the power功率 of the atom原子
lay铺设 dormant休眠 throughout始终 human人的 history历史,
99
338335
5712
就像原子能潜伏在人类历史中一样,
05:56
patiently耐心地 waiting等候 there until直到 1945.
100
344047
4405
直到 1945。
06:00
In this century世纪,
101
348452
1248
在这个世纪里,
06:01
scientists科学家们 may可能 learn学习 to awaken
the power功率 of artificial人造 intelligence情报.
102
349700
4118
科学家可能能将人工智慧的力量唤醒。
06:05
And I think we might威力 then see
an intelligence情报 explosion爆炸.
103
353818
4008
那时候我觉得我们会看到智慧大爆发。
06:10
Now most people, when they think
about what is smart聪明 and what is dumb,
104
358406
3957
大部分的人,当他们想
什么是聪明什么是笨的时候,
06:14
I think have in mind心神 a picture图片
roughly大致 like this.
105
362363
3023
他们脑子里的画面是这样的:
06:17
So at one end结束 we have the village idiot白痴,
106
365386
2598
一边是村子里的傻子,
06:19
and then far over at the other side
107
367984
2483
一边是
06:22
we have Ed埃德 Witten威滕, or Albert阿尔伯特 Einstein爱因斯坦,
or whoever your favorite喜爱 guru领袖 is.
108
370467
4756
Ed Witten 或 Albert Einstein,
或者其他大师。
06:27
But I think that from the point of view视图
of artificial人造 intelligence情报,
109
375223
3834
但是我觉得从人工智能的观点来看,
06:31
the true真正 picture图片 is actually其实
probably大概 more like this:
110
379057
3681
真正的画面也许是这样:
06:35
AIAI starts启动 out at this point here,
at zero intelligence情报,
111
383258
3378
人工智能从这一点开始,零智慧。
06:38
and then, after many许多, many许多
years年份 of really hard work,
112
386636
3011
然后,在许多许多辛劳工作后,
06:41
maybe eventually终于 we get to
mouse-level鼠标级 artificial人造 intelligence情报,
113
389647
3844
也许最终我们能达到老鼠级别的智慧,
06:45
something that can navigate导航
cluttered凌乱 environments环境
114
393491
2430
能在混乱中找到开出一条道路,
06:47
as well as a mouse老鼠 can.
115
395921
1987
像一只老鼠一样。
06:49
And then, after many许多, many许多 more years年份
of really hard work, lots of investment投资,
116
397908
4313
之后,在更多更多年的辛苦研究
和投资之后,
06:54
maybe eventually终于 we get to
chimpanzee-level黑猩猩级 artificial人造 intelligence情报.
117
402221
4639
也许最终我们能到达黑猩猩级人工智能。
06:58
And then, after even more years年份
of really, really hard work,
118
406860
3210
在后来,更多年的研究之后,
07:02
we get to village idiot白痴
artificial人造 intelligence情报.
119
410070
2913
我们能够达到村里的傻子级别的人工智能。
07:04
And a few少数 moments瞬间 later后来,
we are beyond Ed埃德 Witten威滕.
120
412983
3272
在一段时间之后,
我们能超越 Ed Witten。
07:08
The train培养 doesn't stop
at HumanvilleHumanville Station.
121
416255
2970
这列火车不会在“人类站”就停下。
07:11
It's likely容易, rather, to swoosh旋风 right by.
122
419225
3022
它比较可能会呼啸而过。
07:14
Now this has profound深刻 implications启示,
123
422247
1984
现在这个有深远的寓意,
07:16
particularly尤其 when it comes
to questions问题 of power功率.
124
424231
3862
尤其是当我们谈到力量权利的时候。
07:20
For example, chimpanzees黑猩猩 are strong强大 --
125
428093
1899
比如,黑猩猩很强壮:
07:21
pound for pound, a chimpanzee黑猩猩 is about
twice两次 as strong强大 as a fit适合 human人的 male.
126
429992
5222
同等的体重,一个黑猩猩是
两个健康男性那么强壮。
07:27
And yet然而, the fate命运 of Kanzi坎兹
and his pals哥儿们 depends依靠 a lot more
127
435214
4614
然而,Kanzi 和他的朋友们的命运
更多取决于
07:31
on what we humans人类 do than on
what the chimpanzees黑猩猩 do themselves他们自己.
128
439828
4140
我们人类能做到什么,
而不是猩猩能做到什么。
07:37
Once一旦 there is superintelligence超级智能,
129
445228
2314
当超级智慧出现的时候,
07:39
the fate命运 of humanity人性 may可能 depend依靠
on what the superintelligence超级智能 does.
130
447542
3839
人类的命运也许会取决于
那个超级智慧体要做什么。
07:44
Think about it:
131
452451
1057
想一想:
07:45
Machine intelligence情报 is the last invention发明
that humanity人性 will ever need to make.
132
453508
5044
机器智慧是人类需要创造的最后一个东西。
07:50
Machines will then be better
at inventing发明了 than we are,
133
458552
2973
机器在那之后会比我们更擅长创造,
07:53
and they'll他们会 be doing so
on digital数字 timescales时间表.
134
461525
2540
他们也会在数位时间里这样做。
07:56
What this means手段 is basically基本上
a telescoping伸缩式 of the future未来.
135
464065
4901
这个意味着一个被缩短的未来。
08:00
Think of all the crazy technologies技术
that you could have imagined想象
136
468966
3558
想一下你曾想象过的所有的疯狂的科技,
08:04
maybe humans人类 could have developed发达
in the fullness充满 of time:
137
472524
2798
也许人类可以在适当的时候完成:
08:07
cures治愈 for aging老化, space空间 colonization定植,
138
475322
3258
终结衰老、宇宙殖民、
08:10
self-replicating自我复制 nanobots纳米机器人 or uploading上传
of minds头脑 into computers电脑,
139
478580
3731
自我复制的纳米机器人
和大脑到电脑的传输,
08:14
all kinds of science科学 fiction-y小说-Y stuff东东
140
482311
2159
诸如此类的看似仅存在于科幻
08:16
that's nevertheless虽然 consistent一贯
with the laws法律 of physics物理.
141
484470
2737
却有同时符合物理法则的元素。
08:19
All of this superintelligence超级智能 could
develop发展, and possibly或者 quite相当 rapidly急速.
142
487207
4212
超级智慧有办法开发出这些东西,也许更快。
08:24
Now, a superintelligence超级智能 with such这样
technological技术性 maturity到期
143
492449
3558
现在,一个拥有如此成熟科技的超级智慧体
08:28
would be extremely非常 powerful强大,
144
496007
2179
将会是非常强大,
08:30
and at least最小 in some scenarios场景,
it would be able能够 to get what it wants.
145
498186
4546
至少在一些情况下,
它能得到它想要的东西。
08:34
We would then have a future未来 that would
be shaped成形 by the preferences优先 of this A.I.
146
502732
5661
我们的未来就将会被
这个超级智慧体的喜好所主宰。
08:41
Now a good question is,
what are those preferences优先?
147
509855
3749
现在的问题就是,
这些喜好是什么呢?
08:46
Here it gets得到 trickier棘手.
148
514244
1769
这很棘手。
08:48
To make any headway前进 with this,
149
516013
1435
要在这个领域取得进步,
08:49
we must必须 first of all
avoid避免 anthropomorphizinganthropomorphizing.
150
517448
3276
我们必须避免将机器智慧人格化。
08:53
And this is ironic具有讽刺意味 because
every一切 newspaper报纸 article文章
151
521934
3301
这一点很讽刺,
因为每一个关于人工智能的未来
08:57
about the future未来 of A.I.
has a picture图片 of this:
152
525235
3855
的新闻报道,都会有这个图片:
09:02
So I think what we need to do is
to conceive构想 of the issue问题 more abstractly抽象地,
153
530280
4134
所以我觉得我们必须
用更抽象的方法看待这个问题,
09:06
not in terms条款 of vivid生动 Hollywood好莱坞 scenarios场景.
154
534414
2790
而不是在好莱坞电影的叙事之下。
09:09
We need to think of intelligence情报
as an optimization优化 process处理,
155
537204
3617
我们需要把智慧看做是一个优化的过程,
09:12
a process处理 that steers公牛 the future未来
into a particular特定 set of configurations配置.
156
540821
5649
一个能把未来引导至
一个特殊组合结构的过程。
09:18
A superintelligence超级智能 is
a really strong强大 optimization优化 process处理.
157
546470
3511
一个超级智慧体是一个
非常强大的优化过程。
09:21
It's extremely非常 good at using运用
available可得到 means手段 to achieve实现 a state
158
549981
4117
它将会擅长利用资源来
达到自己的目标。
09:26
in which哪一个 its goal目标 is realized实现.
159
554098
1909
09:28
This means手段 that there is no necessary必要
conenctionconenction between之间
160
556447
2672
这意味着有着高智慧和
09:31
being存在 highly高度 intelligent智能 in this sense,
161
559119
2734
拥有一个对人类来说有用的目标之间
09:33
and having an objective目的 that we humans人类
would find worthwhile合算 or meaningful富有意义的.
162
561853
4662
并没有必然的联系。
09:39
Suppose假设 we give an A.I. the goal目标
to make humans人类 smile微笑.
163
567321
3794
假设我们给予人工智慧的目的是让人笑,
09:43
When the A.I. is weak, it performs施行 useful有用
or amusing有趣 actions行动
164
571115
2982
当人工智能弱的时候,
它能做出有用或好笑的表演,
09:46
that cause原因 its user用户 to smile微笑.
165
574097
2517
这样它的使用者就会笑了。
09:48
When the A.I. becomes superintelligent超智,
166
576614
2417
当人工智能变成超级智慧体的时候,
09:51
it realizes实现 that there is a more
effective有效 way to achieve实现 this goal目标:
167
579031
3523
它会意识到有一个更有效的办法
能达到这个效果:
09:54
take control控制 of the world世界
168
582554
1922
控制世界,
09:56
and stick electrodes电极 into the facial面部
muscles肌肉 of humans人类
169
584476
3162
在人类面部肌肉上插入电极
09:59
to cause原因 constant不变, beaming聚束 grins笑容.
170
587638
2941
来让人类不断地笑。
10:02
Another另一个 example,
171
590579
1035
另一个例子:
10:03
suppose假设 we give A.I. the goal目标 to solve解决
a difficult mathematical数学的 problem问题.
172
591614
3383
假设我们给予人工智能的目标
是解出很难的数学题,
10:06
When the A.I. becomes superintelligent超智,
173
594997
1937
当人工智能变成超级智慧体的时候,
10:08
it realizes实现 that the most effective有效 way
to get the solution to this problem问题
174
596934
4171
它意识到有一个更有效的办法来解出问题,
10:13
is by transforming转型 the planet行星
into a giant巨人 computer电脑,
175
601105
2930
是把整个地球变成一个巨型电脑,
10:16
so as to increase增加 its thinking思维 capacity容量.
176
604035
2246
这样它的运算能力就变更强大了。
10:18
And notice注意 that this gives the A.I.s
an instrumental仪器的 reason原因
177
606281
2764
注意到这个是
给予人工智能一个模式型的理由
10:21
to do things to us that we
might威力 not approve批准 of.
178
609045
2516
来做我们也许并不认可的事情。
10:23
Human人的 beings众生 in this model模型 are threats威胁,
179
611561
1935
人类在这个模式中是威胁,
10:25
we could prevent避免 the mathematical数学的
problem问题 from being存在 solved解决了.
180
613496
2921
我们可以人为地
让这个数学问题不能被解出。
10:29
Of course课程, perceivably可察觉 things won't惯于
go wrong错误 in these particular特定 ways方法;
181
617207
3494
当然了,我们预见
这种事情不会错到这样的地步,
10:32
these are cartoon动画片 examples例子.
182
620701
1753
这些是夸张的例子。
10:34
But the general一般 point here is important重要:
183
622454
1939
但是它们所代表的主旨很重要:
10:36
if you create创建 a really powerful强大
optimization优化 process处理
184
624393
2873
如果你创造了一个非常强大的优化过程
10:39
to maximize最大化 for objective目的 x,
185
627266
2234
来最大化目标 X,
10:41
you better make sure
that your definition定义 of x
186
629500
2276
你最好保证你的意义上的 X
10:43
incorporates合并 everything you care关心 about.
187
631776
2469
包括了所有你在乎的事情。
10:46
This is a lesson that's also taught
in many许多 a myth神话.
188
634835
4384
这是一个很多神话故事中都在传递的寓意。
10:51
King国王 Midas迈达斯 wishes祝福 that everything
he touches触摸 be turned转身 into gold.
189
639219
5298
(希腊神话中)的 Midas 国王
希望他碰到的所有东西都能变成金子。
10:56
He touches触摸 his daughter女儿,
she turns into gold.
190
644517
2861
他碰到了他的女儿,她于是变成了金子。
10:59
He touches触摸 his food餐饮, it turns into gold.
191
647378
2553
他碰到了食物,于是食物变成了金子。
11:01
This could become成为 practically几乎 relevant相应,
192
649931
2589
这个故事和我们的话题息息相关,
11:04
not just as a metaphor隐喻 for greed贪心,
193
652520
2070
并不只是因为它隐藏在对贪婪的暗喻,
11:06
but as an illustration插图 of what happens发生
194
654590
1895
也是因为他指出了
11:08
if you create创建 a powerful强大
optimization优化 process处理
195
656485
2837
如果你创造出来一个强大的优化过程
11:11
and give it misconceived误解
or poorly不好 specified规定 goals目标.
196
659322
4789
并且给他了一个错误的或者不精确的目标,
后果会是什么。
11:16
Now you might威力 say, if a computer电脑 starts启动
sticking症结 electrodes电极 into people's人们 faces面孔,
197
664111
5189
现在也许你会说,
如果一个电脑开始在人类脸上插电极,
11:21
we'd星期三 just shut关闭 it off.
198
669300
2265
我们会关掉它。
11:24
A, this is not necessarily一定 so easy简单 to do
if we've我们已经 grown长大的 dependent依赖的 on the system系统 --
199
672555
5340
第一,这不是一件容易事,
如果我们变得非常依赖这个系统:
11:29
like, where is the off switch开关
to the Internet互联网?
200
677895
2732
比如,你知道互联网的开关在哪吗?
11:32
B, why haven't没有 the chimpanzees黑猩猩
flicked轻弹 the off switch开关 to humanity人性,
201
680627
5120
第二,为什么当初黑猩猩
没有关掉人类的开关,
11:37
or the Neanderthals尼安德特人?
202
685747
1551
或者尼安德特人的开关?
11:39
They certainly当然 had reasons原因.
203
687298
2666
他们肯定有理由。
11:41
We have an off switch开关,
for example, right here.
204
689964
2795
我们有一个开关,比如,这里。
11:44
(Choking窒息的)
205
692759
1554
(窒息声)
11:46
The reason原因 is that we are
an intelligent智能 adversary对手;
206
694313
2925
之所以我们是聪明的敌人,
11:49
we can anticipate预料 threats威胁
and plan计划 around them.
207
697238
2728
因为我们可以预见到威胁并且尝试避免它。
11:51
But so could a superintelligent超智 agent代理人,
208
699966
2504
但是一个超级智慧体也可以,
11:54
and it would be much better
at that than we are.
209
702470
3254
而且会做得更好。
11:57
The point is, we should not be confident信心
that we have this under control控制 here.
210
705724
7187
我们不应该很自信地
表示我们能控制所有事情。
12:04
And we could try to make our job工作
a little bit easier更轻松 by, say,
211
712911
3447
为了把我们的工作变得更简单一点,
我们应该试着,比如,
12:08
putting the A.I. in a box,
212
716358
1590
把人工智能放进一个小盒子,
12:09
like a secure安全 software软件 environment环境,
213
717948
1796
想一个保险的软件环境,
12:11
a virtual虚拟 reality现实 simulation模拟
from which哪一个 it cannot不能 escape逃逸.
214
719744
3022
一个它无法逃脱的虚拟现实模拟器。
12:14
But how confident信心 can we be that
the A.I. couldn't不能 find a bug窃听器.
215
722766
4146
但是我们有信心它不可能能发现一个漏洞,
能让它逃出的漏洞吗?
12:18
Given特定 that merely仅仅 human人的 hackers黑客
find bugs虫子 all the time,
216
726912
3169
连人类黑客每时每刻都能发现网络漏洞,
12:22
I'd say, probably大概 not very confident信心.
217
730081
3036
我会说,也许不是很有信心。
12:26
So we disconnect断开 the ethernet以太网络 cable电缆
to create创建 an air空气 gap间隙,
218
734237
4548
所以我们断开以太网的链接来创建一个空隙,
12:30
but again, like merely仅仅 human人的 hackers黑客
219
738785
2668
但是,重申一遍,人类黑客都可以
12:33
routinely常规 transgress侵越 air空气 gaps空白
using运用 social社会 engineering工程.
220
741453
3381
一次又一次以社会工程跨越这样的空隙。
12:36
Right now, as I speak说话,
221
744834
1259
现在,在我说话的时候,
12:38
I'm sure there is some employee雇员
out there somewhere某处
222
746093
2389
我肯定在这边的某个雇员,
12:40
who has been talked into handing移交 out
her account帐户 details细节
223
748482
3346
曾近被要求交出他的账户明细,
12:43
by somebody claiming自称 to be
from the I.T. department.
224
751828
2746
给一个自称是电脑信息部门的人。
12:46
More creative创作的 scenarios场景 are also possible可能,
225
754574
2127
其他的情况也有可能,
12:48
like if you're the A.I.,
226
756701
1315
比如如果你是人工智能,
12:50
you can imagine想像 wiggling摆动 electrodes电极
around in your internal内部 circuitry电路
227
758016
3532
你可以想象你用在你的体内
环绕复杂缠绕的电极
12:53
to create创建 radio无线电 waves波浪 that you
can use to communicate通信.
228
761548
3462
创造出一种无线电波来交流。
12:57
Or maybe you could pretend假装 to malfunction故障,
229
765010
2424
或者也许你可以假装你出了问题,
12:59
and then when the programmers程序员 open打开
you up to see what went wrong错误 with you,
230
767434
3497
然后程序师就把你打开看看哪里出错了,
13:02
they look at the source资源 code -- Bam哄骗! --
231
770931
1936
他们找出了源代码——Bang!——
13:04
the manipulation操作 can take place地点.
232
772867
2447
你就可以取得控制权了。
13:07
Or it could output产量 the blueprint蓝图
to a really nifty俏皮的 technology技术,
233
775314
3430
或者它可以做出一个
非常漂亮的科技蓝图,
13:10
and when we implement实行 it,
234
778744
1398
当我们实现之后,
13:12
it has some surreptitious诡秘 side effect影响
that the A.I. had planned计划.
235
780142
4397
它有一些被人工智能计划好的
秘密的副作用。
13:16
The point here is that we should
not be confident信心 in our ability能力
236
784539
3463
所以我们不能
对我们能够永远控制
13:20
to keep a superintelligent超智 genie精灵
locked锁定 up in its bottle瓶子 forever永远.
237
788002
3808
一个超级智能体的能力
表示过度自信。
13:23
Sooner迟早 or later后来, it will out.
238
791810
2254
在不久后,它会逃脱出来。
13:27
I believe that the answer回答 here
is to figure数字 out
239
795034
3103
我相信我们需要弄明白
13:30
how to create创建 superintelligent超智 A.I.
such这样 that even if -- when -- it escapes逃逸,
240
798137
5024
如何创造出超级人工智能体,哪怕它逃走了,
13:35
it is still safe安全 because it is
fundamentally从根本上 on our side
241
803161
3277
它仍然是无害的,因为它是我们这一边的,
13:38
because it shares分享 our values.
242
806438
1899
因为它有我们的价值观。
13:40
I see no way around
this difficult problem问题.
243
808337
3210
我认为这是个不可避免的问题。
13:44
Now, I'm actually其实 fairly相当 optimistic乐观
that this problem问题 can be solved解决了.
244
812557
3834
现在,我对这个问题能否被解决保持乐观。
13:48
We wouldn't不会 have to write down
a long list名单 of everything we care关心 about,
245
816391
3903
我们不需要写下
所有我们在乎的事情,
13:52
or worse更差 yet然而, spell拼写 it out
in some computer电脑 language语言
246
820294
3643
或者,更糟地,把这些事情变成计算机语言,
13:55
like C++ or Python蟒蛇,
247
823937
1454
C++ 或者 Python,
13:57
that would be a task任务 beyond hopeless绝望.
248
825391
2767
这是个不可能的任务。
14:00
Instead代替, we would create创建 an A.I.
that uses使用 its intelligence情报
249
828158
4297
而是,我们会创造出一个人工智能机器人,
用它自己的智慧
14:04
to learn学习 what we value,
250
832455
2771
来学习我们的价值观,
14:07
and its motivation动机 system系统 is constructed
in such这样 a way that it is motivated动机
251
835226
5280
它的激励制度可以激励它
14:12
to pursue追求 our values or to perform演出 actions行动
that it predicts预测 we would approve批准 of.
252
840506
5232
来追求我们的价值观
或者去做我们会赞成的事情。
14:17
We would thus从而 leverage杠杆作用
its intelligence情报 as much as possible可能
253
845738
3414
我们会因此最大地提高它的智力,
14:21
to solve解决 the problem问题 of value-loading值加载.
254
849152
2745
来解决富有价值的问题。
14:24
This can happen发生,
255
852727
1512
这是有可能的,
14:26
and the outcome结果 could be
very good for humanity人性.
256
854239
3596
结果可以使人类非常受益。
14:29
But it doesn't happen发生 automatically自动.
257
857835
3957
但它不是自动发生的。
14:33
The initial初始 conditions条件
for the intelligence情报 explosion爆炸
258
861792
2998
智慧大爆炸的初始条件
14:36
might威力 need to be set up
in just the right way
259
864790
2863
需要被正确地建立起来,
14:39
if we are to have a controlled受控 detonation引爆.
260
867653
3530
如果我们想要一切在掌握之中。
14:43
The values that the A.I. has
need to match比赛 ours我们的,
261
871183
2618
人工智能的价值观
要和我们的价值观相辅相成,
14:45
not just in the familiar context上下文,
262
873801
1760
不只是在熟悉的情况下,
14:47
like where we can easily容易 check
how the A.I. behaves的行为,
263
875561
2438
比如当我们能很容易检查它的行为的时候,
14:49
but also in all novel小说 contexts上下文
that the A.I. might威力 encounter遭遇
264
877999
3234
但也要在所有人工智能可能会遇到的
前所未有的情况下,
14:53
in the indefinite不定 future未来.
265
881233
1557
在没有界限的未来,
与我们的价值观相辅相成。
14:54
And there are also some esoteric深奥 issues问题
that would need to be solved解决了, sorted分类 out:
266
882790
4737
也有很多深奥的问题需要被分拣解决:
14:59
the exact精确 details细节 of its decision决定 theory理论,
267
887527
2089
它如何做决定,
15:01
how to deal合同 with logical合乎逻辑
uncertainty不确定 and so forth向前.
268
889616
2864
如何解决逻辑不确定性和类似的情况。
15:05
So the technical技术 problems问题 that need
to be solved解决了 to make this work
269
893330
3102
所以技术上的待解决问题让这个任务
15:08
look quite相当 difficult --
270
896432
1113
看起来有些困难:
15:09
not as difficult as making制造
a superintelligent超智 A.I.,
271
897545
3380
并没有像做出一个超级智慧体一样困难,
15:12
but fairly相当 difficult.
272
900925
2868
但是还是很难。
15:15
Here is the worry担心:
273
903793
1695
这使我们所担心的:
15:17
Making制造 superintelligent超智 A.I.
is a really hard challenge挑战.
274
905488
4684
创造出一个超级智慧体确实是个很大的挑战。
15:22
Making制造 superintelligent超智 A.I. that is safe安全
275
910172
2548
创造出一个安全的超级智慧体,
15:24
involves涉及 some additional额外
challenge挑战 on top最佳 of that.
276
912720
2416
是个更大的挑战。
15:28
The risk风险 is that if somebody figures人物 out
how to crack裂纹 the first challenge挑战
277
916216
3487
风险是,如果有人有办法解决第一个难题,
15:31
without also having cracked破解
the additional额外 challenge挑战
278
919703
3001
却无法解决第二个
15:34
of ensuring确保 perfect完善 safety安全.
279
922704
1901
确保安全性的挑战。
15:37
So I think that we should
work out a solution
280
925375
3331
所以我认为我们应该预先想出
15:40
to the control控制 problem问题 in advance提前,
281
928706
2822
“控制性”的解决方法,
15:43
so that we have it available可得到
by the time it is needed需要.
282
931528
2660
这样我们就能在需要的时候用到它了。
15:46
Now it might威力 be that we cannot不能 solve解决
the entire整个 control控制 problem问题 in advance提前
283
934768
3507
现在也许我们并不能
预先解决全部的控制性问题,
15:50
because maybe some elements分子
can only be put in place地点
284
938275
3024
因为有些因素需要你了解
15:53
once一旦 you know the details细节 of the
architecture建筑 where it will be implemented实施.
285
941299
3997
你要应用到的那个构架的细节才能实施。
15:57
But the more of the control控制 problem问题
that we solve解决 in advance提前,
286
945296
3380
但如果我们能解决更多控制性的难题,
16:00
the better the odds可能性 that the transition过渡
to the machine intelligence情报 era时代
287
948676
4090
当我们迈入机器智能时代后
16:04
will go well.
288
952766
1540
就能更加顺利。
16:06
This to me looks容貌 like a thing
that is well worth价值 doing
289
954306
4644
这对于我来说是个值得一试的东西,
16:10
and I can imagine想像 that if
things turn out okay,
290
958950
3332
而且我能想象,如果一切顺利,
16:14
that people a million百万 years年份 from now
look back at this century世纪
291
962282
4658
几百万年后的人类回首我们这个世纪,
16:18
and it might威力 well be that they say that
the one thing we did that really mattered要紧
292
966940
4002
他们也许会说,
我们所做的最最重要的事情,
16:22
was to get this thing right.
293
970942
1567
就是做了这个正确的决定。
16:24
Thank you.
294
972509
1689
谢谢。
16:26
(Applause掌声)
295
974198
2813
(掌声)
Translated by Bill Xie
Reviewed by Geoff Chen

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee