ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

尼克.波斯特羅姆: 當電腦比人類聰明時會發生什麼?

Filmed:
4,632,705 views

人工智慧科技正在突飛猛進──研究顯示在這個世紀以內,一部電腦的人工智慧有可能和人類一樣聰明。在這之後,尼克.波斯特羅姆 指出,它們將會超越人類 : 「機械智慧將是人類所需要的最後一個發明。」作為一個哲學家及科學家,尼克.波斯特羅姆讓我們反思我們正在創造的世界,一個由有思考能力的機械所組成的世界。這些具有智能的機械會幫我們維持人性以及我們的價值,還是會創造出它們自己的價值觀?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunch of mathematicians數學家,
philosophers哲學家 and computer電腦 scientists科學家們,
0
570
4207
我和一群數學家、 哲學家、
及電腦科學家一起工作。
00:16
and we sit around and think about
the future未來 of machine intelligence情報,
1
4777
5209
我們坐在一起
思考機器智慧的未來。
00:21
among其中 other things.
2
9986
2044
以及其他問題。
00:24
Some people think that some of these
things are sort分類 of science科學 fiction-y小說-Y,
3
12030
4725
有些人可能認為
這是科幻小說的範疇,
00:28
far out there, crazy.
4
16755
3101
離我們很遙遠,很瘋狂。
00:31
But I like to say,
5
19856
1470
但是我要說,
00:33
okay, let's look at the modern現代
human人的 condition條件.
6
21326
3604
好,我們來看看
現代人類的狀況....
00:36
(Laughter笑聲)
7
24930
1692
(觀眾笑聲)
00:38
This is the normal正常 way for things to be.
8
26622
2402
這是人類的常態。
00:41
But if we think about it,
9
29024
2285
但如果我們仔細想想,
00:43
we are actually其實 recently最近 arrived到達
guests賓客 on this planet行星,
10
31309
3293
其實人類是剛剛才抵達地球的訪客
00:46
the human人的 species種類.
11
34602
2082
假設地球在一年前誕生,
00:48
Think about if Earth地球
was created創建 one year ago,
12
36684
4746
00:53
the human人的 species種類, then,
would be 10 minutes分鐘 old.
13
41430
3548
人類這個物種則僅存在了10分鐘。
00:56
The industrial產業 era時代 started開始
two seconds ago.
14
44978
3168
工業革命在2秒鐘前開始。
另外一個角度是
看看這一萬年來的GDP增長
01:01
Another另一個 way to look at this is to think of
world世界 GDPGDP over the last 10,000 years年份,
15
49276
5225
01:06
I've actually其實 taken採取 the trouble麻煩
to plot情節 this for you in a graph圖形.
16
54501
3029
我花了時間作了張圖表,
01:09
It looks容貌 like this.
17
57530
1774
它長這個樣子
01:11
(Laughter笑聲)
18
59304
1363
(觀眾笑聲)
01:12
It's a curious好奇 shape形狀
for a normal正常 condition條件.
19
60667
2151
對一個正常的狀態來說
這是個很有趣的形狀。
01:14
I sure wouldn't不會 want to sit on it.
20
62818
1698
我可不想要坐在上面。
01:16
(Laughter笑聲)
21
64516
2551
(觀眾笑聲)
01:19
Let's ask ourselves我們自己, what is the cause原因
of this current當前 anomaly不規則?
22
67067
4774
我們不禁問自己:
「是什麼造成了這種異態呢?」
01:23
Some people would say it's technology技術.
23
71841
2552
有些人會說是科技
01:26
Now it's true真正, technology技術 has accumulated積累
through通過 human人的 history歷史,
24
74393
4668
這是對的,
科技在人類歷史上不斷累積,
01:31
and right now, technology技術
advances進步 extremely非常 rapidly急速 --
25
79061
4652
而現在科技正以飛快的速度進步。
01:35
that is the proximate最近的 cause原因,
26
83713
1565
這個是近因,
01:37
that's why we are currently目前
so very productive生產的.
27
85278
2565
這也是為什麼
我們現在的生產力很高。
01:40
But I like to think back further進一步
to the ultimate最終 cause原因.
28
88473
3661
但是我想要進一步
回想到最終的原因
01:45
Look at these two highly高度
distinguished傑出的 gentlemen紳士:
29
93114
3766
看看這兩位非常傑出的紳士:
01:48
We have Kanzi坎茲 --
30
96880
1600
這位是坎茲先生
01:50
he's mastered掌握 200 lexical詞法
tokens令牌, an incredible難以置信 feat功績.
31
98480
4643
他掌握了200個詞彙,
這是一個難以置信的壯舉。
01:55
And Ed埃德 Witten威滕 unleashed如虎添翼 the second第二
superstring超弦理論 revolution革命.
32
103123
3694
以及 愛德 維騰,
他掀起了第二次超弦革命。
01:58
If we look under the hood引擎罩,
this is what we find:
33
106817
2324
如果我們往腦袋瓜裡面看,
這是我們看到的:
02:01
basically基本上 the same相同 thing.
34
109141
1570
基本上是一樣的東西。
02:02
One is a little larger,
35
110711
1813
一個稍微大一點,
02:04
it maybe also has a few少數 tricks技巧
in the exact精確 way it's wired有線.
36
112524
2758
它可能有一些特別的連結方法。
02:07
These invisible無形 differences分歧 cannot不能
be too complicated複雜, however然而,
37
115282
3812
但是這些無形的差異不會太複雜,
02:11
because there have only
been 250,000 generations
38
119094
4285
因為從我們共同的祖先以來,
02:15
since以來 our last common共同 ancestor祖先.
39
123379
1732
只經過了25萬代。
02:17
We know that complicated複雜 mechanisms機制
take a long time to evolve發展.
40
125111
3849
我們知道複雜的機制
需要很長的時間演化。
02:22
So a bunch of relatively相對 minor次要 changes變化
41
130000
2499
因此 一些相對微小的變化
02:24
take us from Kanzi坎茲 to Witten威滕,
42
132499
3067
將我們從坎茲先生變成了維騰,
02:27
from broken-off破關 tree branches分支機構
to intercontinental洲際 ballistic彈道的 missiles導彈.
43
135566
4543
從撿起掉落的樹枝當武器
到發射洲際彈道飛彈
因此,顯而易見的是
至今我們所實現的所有事
02:32
So this then seems似乎 pretty漂亮 obvious明顯
that everything we've我們已經 achieved實現,
44
140839
3935
02:36
and everything we care關心 about,
45
144774
1378
以及我們關心的所有事物,
02:38
depends依靠 crucially關鍵 on some relatively相對 minor次要
changes變化 that made製作 the human人的 mind心神.
46
146152
5228
都取決於人腦中相對微小的改變。
02:44
And the corollary推論, of course課程,
is that any further進一步 changes變化
47
152650
3662
由此而來的推論就是:在未來,
02:48
that could significantly顯著 change更改
the substrate基質 of thinking思維
48
156312
3477
任何能顯著地改變思想基體的變化
02:51
could have potentially可能
enormous巨大 consequences後果.
49
159789
3202
都有可能會帶來巨大的後果。
02:56
Some of my colleagues同事
think we're on the verge邊緣
50
164321
2905
我的一些同事覺得我們即將發現
02:59
of something that could cause原因
a profound深刻 change更改 in that substrate基質,
51
167226
3908
足以深刻的改變思想基體的科技
03:03
and that is machine superintelligence超級智能.
52
171134
3213
那就是超級機器智慧
03:06
Artificial人造 intelligence情報 used to be
about putting commands命令 in a box.
53
174347
4739
以前的人工智慧是
將指令輸入到一個箱子裡。
03:11
You would have human人的 programmers程序員
54
179086
1665
你需要程式設計師
03:12
that would painstakingly精心
handcraft手工 knowledge知識 items項目.
55
180751
3135
精心的將知識設計成指令。
03:15
You build建立 up these expert專家 systems系統,
56
183886
2086
你建立這些專門系統,
03:17
and they were kind of useful有用
for some purposes目的,
57
185972
2324
這些系統在某些特定的領域中有點用,
03:20
but they were very brittle,
you couldn't不能 scale規模 them.
58
188296
2681
但是它們很生硬,
你無法延展這些系統。
03:22
Basically基本上, you got out only
what you put in.
59
190977
3433
基本上這些系統所輸出的東西
僅限於你事先輸入的範圍。
03:26
But since以來 then,
60
194410
997
但是從那時起,
03:27
a paradigm範例 shift轉移 has taken採取 place地點
in the field領域 of artificial人造 intelligence情報.
61
195407
3467
人工智慧的領域裡發生了模式的轉變。
03:30
Today今天, the action行動 is really
around machine learning學習.
62
198874
2770
現在主要的課題是機器的學習。
03:34
So rather than handcrafting手工製作 knowledge知識
representations交涉 and features特徵,
63
202394
5387
因此,與其設計知識的表現及特點,
03:40
we create創建 algorithms算法 that learn學習,
often經常 from raw生的 perceptual知覺的 data數據.
64
208511
5554
我們寫出具有學習原始感官數據
的能力的程式碼。
03:46
Basically基本上 the same相同 thing
that the human人的 infant嬰兒 does.
65
214065
4998
基本上和嬰兒所做的是一樣的。
03:51
The result結果 is A.I. that is not
limited有限 to one domain --
66
219063
4207
結果就是不侷限於
某個領域的人工智慧 --
03:55
the same相同 system系統 can learn學習 to translate翻譯
between之間 any pairs of languages語言,
67
223270
4631
同一個系統可以學習
在任何兩種語言之間翻譯
03:59
or learn學習 to play any computer電腦 game遊戲
on the Atari雅達利 console安慰.
68
227901
5437
或者學著玩雅達利系統上
的任何一款遊戲。
04:05
Now of course課程,
69
233338
1779
現在當然
04:07
A.I. is still nowhere無處 near having
the same相同 powerful強大, cross-domain跨域
70
235117
3999
人工智慧到現在
還未能達到像人類一樣
04:11
ability能力 to learn學習 and plan計劃
as a human人的 being存在 has.
71
239116
3219
具有強大的跨領域的學習能力。
04:14
The cortex皮質 still has some
algorithmic算法 tricks技巧
72
242335
2126
人類大腦還具有一些運算技巧
04:16
that we don't yet然而 know
how to match比賽 in machines.
73
244461
2355
我們不知道如何將這些技巧
複製到機器中。
04:19
So the question is,
74
247886
1899
所以現在需要問的是:
04:21
how far are we from being存在 able能夠
to match比賽 those tricks技巧?
75
249785
3500
我們還要多久才能
在機器裡面複製這些技巧?
04:26
A couple一對 of years年份 ago,
76
254245
1083
在幾年前,
04:27
we did a survey調查 of some of the world's世界
leading領導 A.I. experts專家,
77
255328
2888
我們對世界頂尖的人工智慧專家
做了一次問卷調查,
04:30
to see what they think,
and one of the questions問題 we asked was,
78
258216
3224
想要看看他們的想法,
其中的一個題目是:
04:33
"By which哪一個 year do you think
there is a 50 percent百分 probability可能性
79
261440
3353
"到哪一年你覺得
人類會有50%的機率
04:36
that we will have achieved實現
human-level人類水平 machine intelligence情報?"
80
264793
3482
能夠達成人類級的人工智慧?"
04:40
We defined定義 human-level人類水平 here
as the ability能力 to perform演出
81
268785
4183
我們把人類級的人工智慧
定義為有能力
04:44
almost幾乎 any job工作 at least最小 as well
as an adult成人 human人的,
82
272968
2871
將任何任務至少執行得
像一名成年人一樣好,
04:47
so real真實 human-level人類水平, not just
within some limited有限 domain.
83
275839
4005
所以是真正的人類級別,
而不是僅限於某些領域。
04:51
And the median中位數 answer回答 was 2040 or 2050,
84
279844
3650
而答案的中位數是2040或2050年
04:55
depending根據 on precisely恰恰 which哪一個
group of experts專家 we asked.
85
283494
2806
取決於我們問的專家屬於什麼群體。
04:58
Now, it could happen發生 much,
much later後來, or sooner,
86
286300
4039
當然,這個有可能過很久才實現,
也有可能提早實現
05:02
the truth真相 is nobody沒有人 really knows知道.
87
290339
1940
沒有人知道確切的時間。
05:05
What we do know is that the ultimate最終
limit限制 to information信息 processing處理
88
293259
4412
我們知道的是,
機器基體處理資訊能力的最終界限
05:09
in a machine substrate基質 lies far outside
the limits範圍 in biological生物 tissue組織.
89
297671
4871
比生物組織的界限要大的多。
05:15
This comes down to physics物理.
90
303241
2378
這取決於物理原理。
05:17
A biological生物 neuron神經元 fires火災, maybe,
at 200 hertz赫茲, 200 times a second第二.
91
305619
4718
一個生物神經元發出脈衝的頻率
可能在200赫茲,每秒200次。
05:22
But even a present-day今天 transistor晶體管
operates操作 at the Gigahertz千兆赫.
92
310337
3594
但就算是現在的電晶體
都以千兆赫(GHz)的頻率運轉。
05:25
Neurons神經元 propagate傳播 slowly慢慢地 in axons軸突,
100 meters per second第二, tops上衣.
93
313931
5297
神經元在軸突中傳輸的速度
比較慢,頂多是每秒100公尺。
05:31
But in computers電腦, signals信號 can travel旅行
at the speed速度 of light.
94
319228
3111
但在電腦裡面,信號是以光速傳播的。
05:35
There are also size尺寸 limitations限制,
95
323079
1869
另外還有尺寸的限制
05:36
like a human人的 brain has
to fit適合 inside a cranium顱骨,
96
324948
3027
就像人類的大腦
必需要放得進顱骨內。
05:39
but a computer電腦 can be the size尺寸
of a warehouse倉庫 or larger.
97
327975
4761
但是一部電腦可以
跟倉庫一樣大,甚至更大。
05:44
So the potential潛在 for superintelligence超級智能
lies dormant休眠 in matter,
98
332736
5599
因此超級智慧的潛能
現在正潛伏在物質裡面,
05:50
much like the power功率 of the atom原子
lay鋪設 dormant休眠 throughout始終 human人的 history歷史,
99
338335
5712
就像是原子能
在人類的歷史中一直潛伏著,
05:56
patiently耐心地 waiting等候 there until直到 1945.
100
344047
4405
耐心的等著,一直到1945年。
06:00
In this century世紀,
101
348452
1248
在這個世紀內,
06:01
scientists科學家們 may可能 learn學習 to awaken
the power功率 of artificial人造 intelligence情報.
102
349700
4118
科學家有可能會
將人工智慧的力量喚醒。
06:05
And I think we might威力 then see
an intelligence情報 explosion爆炸.
103
353818
4008
屆時我覺得我們會
見證到智慧的大爆發。
06:10
Now most people, when they think
about what is smart聰明 and what is dumb,
104
358406
3957
大部分的人,當他們在想
什麼是聰明什麼是愚笨的時候,
06:14
I think have in mind心神 a picture圖片
roughly大致 like this.
105
362363
3023
我想他們腦中浮現出的畫面
會是這樣的:
06:17
So at one end結束 we have the village idiot白痴,
106
365386
2598
在一邊是村裡的傻子,
06:19
and then far over at the other side
107
367984
2483
然後在另外一邊
06:22
we have Ed埃德 Witten威滕, or Albert阿爾伯特 Einstein愛因斯坦,
or whoever your favorite喜愛 guru領袖 is.
108
370467
4756
是 愛德 維騰 或愛因斯坦,
或你喜歡的某位大師。
06:27
But I think that from the point of view視圖
of artificial人造 intelligence情報,
109
375223
3834
但是我覺得從人工智慧的觀點來看,
06:31
the true真正 picture圖片 is actually其實
probably大概 more like this:
110
379057
3681
真正的畫面應該比較像這樣子:
06:35
AIAI starts啟動 out at this point here,
at zero intelligence情報,
111
383258
3378
人工智慧從這一點開始,零智慧
06:38
and then, after many許多, many許多
years年份 of really hard work,
112
386636
3011
然後,在許多許多年
辛苦的研究以後,
06:41
maybe eventually終於 we get to
mouse-level鼠標級 artificial人造 intelligence情報,
113
389647
3844
我們可能可以達到
老鼠級的人工智慧,
06:45
something that can navigate導航
cluttered凌亂 environments環境
114
393491
2430
它可以在凌亂的環境中找到路
06:47
as well as a mouse老鼠 can.
115
395921
1987
就像一隻老鼠一樣。
06:49
And then, after many許多, many許多 more years年份
of really hard work, lots of investment投資,
116
397908
4313
然後,在更多年的辛苦研究
及投資了很多資源之後,
06:54
maybe eventually終於 we get to
chimpanzee-level黑猩猩級 artificial人造 intelligence情報.
117
402221
4639
我們可能可以達到
黑猩猩級的人工智慧。
06:58
And then, after even more years年份
of really, really hard work,
118
406860
3210
然後,在更加多年的辛苦研究之後,
07:02
we get to village idiot白痴
artificial人造 intelligence情報.
119
410070
2913
我們達到村莊傻子級別的人工智慧。
07:04
And a few少數 moments瞬間 later後來,
we are beyond Ed埃德 Witten威滕.
120
412983
3272
然後過一小會兒後,
我們就超越了愛德維騰。
07:08
The train培養 doesn't stop
at HumanvilleHumanville Station.
121
416255
2970
這列火車並不會
在人類村這一站就停車。
07:11
It's likely容易, rather, to swoosh旋風 right by.
122
419225
3022
它比較可能會直接呼嘯而過。
07:14
Now this has profound深刻 implications啟示,
123
422247
1984
這個具有深遠的寓意,
07:16
particularly尤其 when it comes
to questions問題 of power功率.
124
424231
3862
特別是在談到權力的問題。
07:20
For example, chimpanzees黑猩猩 are strong強大 --
125
428093
1899
舉例來說,黑猩猩很強壯 --
07:21
pound for pound, a chimpanzee黑猩猩 is about
twice兩次 as strong強大 as a fit適合 human人的 male.
126
429992
5222
以體重比例來說, 一隻黑猩猩
比一個健康的男性人類要強壯兩倍。
07:27
And yet然而, the fate命運 of Kanzi坎茲
and his pals哥兒們 depends依靠 a lot more
127
435214
4614
然而,坎茲和他朋友們的命運
則很大的部分取決於
07:31
on what we humans人類 do than on
what the chimpanzees黑猩猩 do themselves他們自己.
128
439828
4140
人類的作為,
而非黑猩猩們自己的作為。
07:37
Once一旦 there is superintelligence超級智能,
129
445228
2314
當超級智慧出現後,
07:39
the fate命運 of humanity人性 may可能 depend依靠
on what the superintelligence超級智能 does.
130
447542
3839
人類的命運可能會取決於
超級智慧的作為。
07:44
Think about it:
131
452451
1057
想想看:
07:45
Machine intelligence情報 is the last invention發明
that humanity人性 will ever need to make.
132
453508
5044
機器智慧將會是人類所需要作出的
最後一個發明。
07:50
Machines will then be better
at inventing發明了 than we are,
133
458552
2973
從那之後機器將會比人類更會發明,
07:53
and they'll他們會 be doing so
on digital數字 timescales時間表.
134
461525
2540
他們也將會在"數位時間"裡
做出這些事。
07:56
What this means手段 is basically基本上
a telescoping伸縮式 of the future未來.
135
464065
4901
這意味著未來到來的時間將被縮短。
08:00
Think of all the crazy technologies技術
that you could have imagined想像
136
468966
3558
想想那些我們曾經想像過的瘋狂科技
08:04
maybe humans人類 could have developed發達
in the fullness充滿 of time:
137
472524
2798
人類可能在有足夠的時間下
可以發明出來:
08:07
cures治愈 for aging老化, space空間 colonization定植,
138
475322
3258
防止衰老、殖民太空、
08:10
self-replicating自我複製 nanobots納米機器人 or uploading上傳
of minds頭腦 into computers電腦,
139
478580
3731
自行複製的奈米機器人,
或將我們的頭腦上載到電腦裡,
08:14
all kinds of science科學 fiction-y小說-Y stuff東東
140
482311
2159
這一些僅存在科幻小說範疇,
08:16
that's nevertheless雖然 consistent一貫
with the laws法律 of physics物理.
141
484470
2737
但同時還是符合物理法則的東西
08:19
All of this superintelligence超級智能 could
develop發展, and possibly或者 quite相當 rapidly急速.
142
487207
4212
超級智慧有辦法開發出這些東西,
而且速度可能很快。
08:24
Now, a superintelligence超級智能 with such這樣
technological技術性 maturity到期
143
492449
3558
這麼成熟的超級智慧
08:28
would be extremely非常 powerful強大,
144
496007
2179
將會非常的強大,
08:30
and at least最小 in some scenarios場景,
it would be able能夠 to get what it wants.
145
498186
4546
最少在某些場景它將有辦法
得到它想要的東西。
08:34
We would then have a future未來 that would
be shaped成形 by the preferences優先 of this A.I.
146
502732
5661
這樣以來我們的未來就將會
被這個超級智慧的偏好所影響。
08:41
Now a good question is,
what are those preferences優先?
147
509855
3749
現在出現了一個好問題,
這些偏好是什麼呢?
08:46
Here it gets得到 trickier棘手.
148
514244
1769
這個問題更棘手。
08:48
To make any headway前進 with this,
149
516013
1435
要在這個領域往前走,
08:49
we must必須 first of all
avoid避免 anthropomorphizinganthropomorphizing.
150
517448
3276
我們必須避免
將機器智慧擬人化(人格化)。
08:53
And this is ironic具有諷刺意味 because
every一切 newspaper報紙 article文章
151
521934
3301
這一點很諷刺因為
每一篇關於未來的人工智慧
08:57
about the future未來 of A.I.
has a picture圖片 of this:
152
525235
3855
的報導都會有這張照片:
09:02
So I think what we need to do is
to conceive構想 of the issue問題 more abstractly抽象地,
153
530280
4134
所以我覺得我們必須要
更抽象的來想像這個議題,
09:06
not in terms條款 of vivid生動 Hollywood好萊塢 scenarios場景.
154
534414
2790
而非以好萊塢的鮮明場景來想像。
09:09
We need to think of intelligence情報
as an optimization優化 process處理,
155
537204
3617
我們需要把智慧看做是
一個優化的過程,
09:12
a process處理 that steers公牛 the future未來
into a particular特定 set of configurations配置.
156
540821
5649
一個將未來指引到
特定的組態的過程。
09:18
A superintelligence超級智能 is
a really strong強大 optimization優化 process處理.
157
546470
3511
一個超級智慧
是一個很強大的優化過程。
09:21
It's extremely非常 good at using運用
available可得到 means手段 to achieve實現 a state
158
549981
4117
它將很會利用現有資源
09:26
in which哪一個 its goal目標 is realized實現.
159
554098
1909
去達到達成目標的狀態。
09:28
This means手段 that there is no necessary必要
conenctionconenction between之間
160
556447
2672
這意味著有著高智慧以及
09:31
being存在 highly高度 intelligent智能 in this sense,
161
559119
2734
擁有一個對人類來說
是有意義的目標之間
09:33
and having an objective目的 that we humans人類
would find worthwhile合算 or meaningful富有意義的.
162
561853
4662
並沒有必然的聯繫。
09:39
Suppose假設 we give an A.I. the goal目標
to make humans人類 smile微笑.
163
567321
3794
假設我們給予人工智慧的目標
是讓人類笑。
09:43
When the A.I. is weak, it performs施行 useful有用
or amusing有趣 actions行動
164
571115
2982
當人工智慧比較弱時,
它會做出有用的或是好笑的動作
09:46
that cause原因 its user用戶 to smile微笑.
165
574097
2517
以讓使用者笑出來。
09:48
When the A.I. becomes superintelligent超智,
166
576614
2417
當人工智慧演化成超級智慧的時後,
09:51
it realizes實現 that there is a more
effective有效 way to achieve實現 this goal目標:
167
579031
3523
它會體認到有更有效的方法
可以達到這個目標:
09:54
take control控制 of the world世界
168
582554
1922
控制這個世界
09:56
and stick electrodes電極 into the facial面部
muscles肌肉 of humans人類
169
584476
3162
然後在人類的臉部肌肉上連接電級
09:59
to cause原因 constant不變, beaming聚束 grins笑容.
170
587638
2941
以使這個人不斷的微笑。
10:02
Another另一個 example,
171
590579
1035
另外一個例子,
10:03
suppose假設 we give A.I. the goal目標 to solve解決
a difficult mathematical數學的 problem問題.
172
591614
3383
假設我們給人工智慧的目標是
解出一個非常困難的數學問題。
10:06
When the A.I. becomes superintelligent超智,
173
594997
1937
當人工智慧變成超級智慧時,
10:08
it realizes實現 that the most effective有效 way
to get the solution to this problem問題
174
596934
4171
它會體認到最有效的方法是
10:13
is by transforming轉型 the planet行星
into a giant巨人 computer電腦,
175
601105
2930
把整個地球轉化成
一部超大號的電腦,
10:16
so as to increase增加 its thinking思維 capacity容量.
176
604035
2246
進而增加它自己的運算能力。
10:18
And notice注意 that this gives the A.I.s
an instrumental儀器的 reason原因
177
606281
2764
注意到這個模式
會給人工智慧理由去做
10:21
to do things to us that we
might威力 not approve批准 of.
178
609045
2516
我們可能不認可的事情。
10:23
Human人的 beings眾生 in this model模型 are threats威脅,
179
611561
1935
在這個模型裡面人類是威脅,
10:25
we could prevent避免 the mathematical數學的
problem問題 from being存在 solved解決了.
180
613496
2921
我們可能會在解開數學問題
的過程中成為阻礙。
10:29
Of course課程, perceivably可察覺 things won't慣於
go wrong錯誤 in these particular特定 ways方法;
181
617207
3494
當然,在我們可預見的範圍內,
事情不會以這種方式出錯;
10:32
these are cartoon動畫片 examples例子.
182
620701
1753
這些是誇大的例子。
10:34
But the general一般 point here is important重要:
183
622454
1939
但是它指出的概念很重要:
10:36
if you create創建 a really powerful強大
optimization優化 process處理
184
624393
2873
如果你創造了一個
非常強大的優化流程
10:39
to maximize最大化 for objective目的 x,
185
627266
2234
要最大化目標X,
10:41
you better make sure
that your definition定義 of x
186
629500
2276
你最好確保你對目標X的定義
10:43
incorporates合併 everything you care關心 about.
187
631776
2469
包含了所有你所在意的事情。
10:46
This is a lesson that's also taught
in many許多 a myth神話.
188
634835
4384
這也是在很多神話故事中
教導的寓意。
10:51
King國王 Midas邁達斯 wishes祝福 that everything
he touches觸摸 be turned轉身 into gold.
189
639219
5298
希臘神話中的米達斯國王希望
他碰到的所有東西都可以變成金子。
10:56
He touches觸摸 his daughter女兒,
she turns into gold.
190
644517
2861
他碰到了他的女兒,
她變成了黃金。
10:59
He touches觸摸 his food餐飲, it turns into gold.
191
647378
2553
他碰到了他的食物,
他的食物也變成了黃金。
11:01
This could become成為 practically幾乎 relevant相應,
192
649931
2589
這實際上跟我們的題目有關,
11:04
not just as a metaphor隱喻 for greed貪心,
193
652520
2070
不僅僅是對貪婪的隱喻,
11:06
but as an illustration插圖 of what happens發生
194
654590
1895
但也指出了如果你創造了
一個強大的優化流程
11:08
if you create創建 a powerful強大
optimization優化 process處理
195
656485
2837
但同時給了它
不正確或不精確的目標後
11:11
and give it misconceived誤解
or poorly不好 specified規定 goals目標.
196
659322
4789
會發生什麼事。
11:16
Now you might威力 say, if a computer電腦 starts啟動
sticking癥結 electrodes電極 into people's人們 faces面孔,
197
664111
5189
你可能會說,如果電腦系統
開始在人臉上安裝電極,
11:21
we'd星期三 just shut關閉 it off.
198
669300
2265
我們可以直接把他關掉就好了。
11:24
A, this is not necessarily一定 so easy簡單 to do
if we've我們已經 grown長大的 dependent依賴的 on the system系統 --
199
672555
5340
一、這並不一定容易做到,如果我們
已經對這個系統產生依賴性 ——
11:29
like, where is the off switch開關
to the Internet互聯網?
200
677895
2732
比如:你知道網際網路的開關在哪裡嗎?
11:32
B, why haven't沒有 the chimpanzees黑猩猩
flicked輕彈 the off switch開關 to humanity人性,
201
680627
5120
二、為什麼黑猩猩當初
沒有把人類的開關關掉?
11:37
or the Neanderthals尼安德特人?
202
685747
1551
或是尼安德特人?
11:39
They certainly當然 had reasons原因.
203
687298
2666
他們有很明顯的理由要這麼做,
11:41
We have an off switch開關,
for example, right here.
204
689964
2795
而我們的開關就在這裡:
11:44
(Choking窒息的)
205
692759
1554
(窒息聲)
11:46
The reason原因 is that we are
an intelligent智能 adversary對手;
206
694313
2925
原因是人類是很聰明的敵人;
11:49
we can anticipate預料 threats威脅
and plan計劃 around them.
207
697238
2728
我們可以預見威脅
並為其做出準備。
11:51
But so could a superintelligent超智 agent代理人,
208
699966
2504
但一個超級智慧也會,
11:54
and it would be much better
at that than we are.
209
702470
3254
而且它的能力將比我們強大的多。
11:57
The point is, we should not be confident信心
that we have this under control控制 here.
210
705724
7187
我想要說的一點是,我們不應該
覺得一切都在我們的掌握之中。
12:04
And we could try to make our job工作
a little bit easier更輕鬆 by, say,
211
712911
3447
我們可能可以藉由
把AI放到一個盒子裡面
12:08
putting the A.I. in a box,
212
716358
1590
來給我們更多的掌握,
12:09
like a secure安全 software軟件 environment環境,
213
717948
1796
就像是一個獨立的軟體環境,
12:11
a virtual虛擬 reality現實 simulation模擬
from which哪一個 it cannot不能 escape逃逸.
214
719744
3022
一個AI無法逃脫的虛擬實境。
12:14
But how confident信心 can we be that
the A.I. couldn't不能 find a bug竊聽器.
215
722766
4146
但是我們有多大的信心
這個AI不會找到漏洞?
12:18
Given特定 that merely僅僅 human人的 hackers黑客
find bugs蟲子 all the time,
216
726912
3169
就算只是人類駭客,
他們還經常找出漏洞。
12:22
I'd say, probably大概 not very confident信心.
217
730081
3036
我想我們不是很有信心。
12:26
So we disconnect斷開 the ethernet以太網絡 cable電纜
to create創建 an air空氣 gap間隙,
218
734237
4548
那所以我們把網路線拔掉,
製造一個物理間隙,
12:30
but again, like merely僅僅 human人的 hackers黑客
219
738785
2668
但同樣的,就算只是人類駭客
12:33
routinely常規 transgress侵越 air空氣 gaps空白
using運用 social社會 engineering工程.
220
741453
3381
也經常可以利用社交工程陷阱
來突破物理間隙。
12:36
Right now, as I speak說話,
221
744834
1259
現在,在我在台上說話的同時
12:38
I'm sure there is some employee僱員
out there somewhere某處
222
746093
2389
我確定在世界的某一個角落裡
有一名公司職員
12:40
who has been talked into handing移交 out
her account帳戶 details細節
223
748482
3346
才剛剛被自稱來自IT部門
的人士說服(詐騙)
12:43
by somebody claiming自稱 to be
from the I.T. department.
224
751828
2746
並交出了她的帳戶信息。
12:46
More creative創作的 scenarios場景 are also possible可能,
225
754574
2127
更天馬行空的狀況也可能會發生,
12:48
like if you're the A.I.,
226
756701
1315
就像是如果你是AI,
12:50
you can imagine想像 wiggling擺動 electrodes電極
around in your internal內部 circuitry電路
227
758016
3532
你可以想像藉由擺動你體內的電路
12:53
to create創建 radio無線電 waves波浪 that you
can use to communicate通信.
228
761548
3462
然後創造出無線電波,
用以與外界溝通。
12:57
Or maybe you could pretend假裝 to malfunction故障,
229
765010
2424
或這你可以假裝有故障,
12:59
and then when the programmers程序員 open打開
you up to see what went wrong錯誤 with you,
230
767434
3497
然後當程式設計師
把你打開檢查哪裡出錯時,
13:02
they look at the source資源 code -- Bam哄騙! --
231
770931
1936
他們找出了原始碼 --梆--
13:04
the manipulation操作 can take place地點.
232
772867
2447
你可以在此做出操控。
13:07
Or it could output產量 the blueprint藍圖
to a really nifty俏皮的 technology技術,
233
775314
3430
或這它可以做出一個
很巧妙的科技藍圖,
13:10
and when we implement實行 it,
234
778744
1398
當我們實施這個藍圖後,
13:12
it has some surreptitious詭秘 side effect影響
that the A.I. had planned計劃.
235
780142
4397
它會產生一些AI計劃好的
秘密副作用。
13:16
The point here is that we should
not be confident信心 in our ability能力
236
784539
3463
寓意是我們不能
對我們控制人工智慧的能力
13:20
to keep a superintelligent超智 genie精靈
locked鎖定 up in its bottle瓶子 forever永遠.
237
788002
3808
具有太大的信心
13:23
Sooner遲早 or later後來, it will out.
238
791810
2254
它終究會逃脫出來,
只是時間問題而已。
13:27
I believe that the answer回答 here
is to figure數字 out
239
795034
3103
我覺得解方是我們需要弄清楚
13:30
how to create創建 superintelligent超智 A.I.
such這樣 that even if -- when -- it escapes逃逸,
240
798137
5024
如何創造出一個超級智慧,
哪怕是它逃出來了,
13:35
it is still safe安全 because it is
fundamentally從根本上 on our side
241
803161
3277
它還是安全的,
因為它是站在我們這一邊的
13:38
because it shares分享 our values.
242
806438
1899
因為它擁有了我們的價值觀。
13:40
I see no way around
this difficult problem問題.
243
808337
3210
我們沒有辦法避免這個艱難的問題。
13:44
Now, I'm actually其實 fairly相當 optimistic樂觀
that this problem問題 can be solved解決了.
244
812557
3834
但是我覺得我們可以解決這個問題。
13:48
We wouldn't不會 have to write down
a long list名單 of everything we care關心 about,
245
816391
3903
我們並不需要把
我們在乎的所有事物寫下來,
13:52
or worse更差 yet然而, spell拼寫 it out
in some computer電腦 language語言
246
820294
3643
或更麻煩的把這些事物
寫成電腦程式語言
13:55
like C++ or Python蟒蛇,
247
823937
1454
像是 C++或 Python,
13:57
that would be a task任務 beyond hopeless絕望.
248
825391
2767
這是個不可能完成的任務。
14:00
Instead代替, we would create創建 an A.I.
that uses使用 its intelligence情報
249
828158
4297
與其,我們可以創造出
一個人工智慧,它用它自己的智慧
14:04
to learn學習 what we value,
250
832455
2771
來學習我們的價值觀,
14:07
and its motivation動機 system系統 is constructed
in such這樣 a way that it is motivated動機
251
835226
5280
它的激勵機制要設計成
會讓它想要
14:12
to pursue追求 our values or to perform演出 actions行動
that it predicts預測 we would approve批准 of.
252
840506
5232
來追求我們的價值觀或者
去做它認為我們會贊成的事情。
14:17
We would thus從而 leverage槓桿作用
its intelligence情報 as much as possible可能
253
845738
3414
藉此我們可以最大化地
利用到它們的智慧
14:21
to solve解決 the problem問題 of value-loading值加載.
254
849152
2745
來解決這個價值觀的問題。
14:24
This can happen發生,
255
852727
1512
這個是有可能的,
14:26
and the outcome結果 could be
very good for humanity人性.
256
854239
3596
而且這個的結果
可對人類是非常有益的。
14:29
But it doesn't happen發生 automatically自動.
257
857835
3957
但是它不會自動發生。
14:33
The initial初始 conditions條件
for the intelligence情報 explosion爆炸
258
861792
2998
如果我們需要控制
這個智慧的大爆炸,
14:36
might威力 need to be set up
in just the right way
259
864790
2863
那智慧大爆炸的初始條件
14:39
if we are to have a controlled受控 detonation引爆.
260
867653
3530
需要被正確的建立起來。
14:43
The values that the A.I. has
need to match比賽 ours我們的,
261
871183
2618
人工智慧的價值觀
要和我們的一致,
14:45
not just in the familiar context上下文,
262
873801
1760
並不只是在常見的狀況下,
14:47
like where we can easily容易 check
how the A.I. behaves的行為,
263
875561
2438
比如我們可以
很簡單低檢查它的行為,
14:49
but also in all novel小說 contexts上下文
that the A.I. might威力 encounter遭遇
264
877999
3234
但也要在未來所有人工智慧
可能會遇到的情況下
14:53
in the indefinite不定 future未來.
265
881233
1557
保持價值觀的一致。
14:54
And there are also some esoteric深奧 issues問題
that would need to be solved解決了, sorted分類 out:
266
882790
4737
還有很多深奧的問題需要被解決:
14:59
the exact精確 details細節 of its decision決定 theory理論,
267
887527
2089
它們決策概念的所有細節,
15:01
how to deal合同 with logical合乎邏輯
uncertainty不確定 and so forth向前.
268
889616
2864
它如何面對解決
邏輯不確定性的情況等問題。
15:05
So the technical技術 problems問題 that need
to be solved解決了 to make this work
269
893330
3102
所以技術上待解決的問題
15:08
look quite相當 difficult --
270
896432
1113
讓這個任務看起來蠻難的 --
15:09
not as difficult as making製造
a superintelligent超智 A.I.,
271
897545
3380
還沒有像做出一個超級智慧
那樣的難,
15:12
but fairly相當 difficult.
272
900925
2868
但還是挺難的。
15:15
Here is the worry擔心:
273
903793
1695
我們所擔心的是:
15:17
Making製造 superintelligent超智 A.I.
is a really hard challenge挑戰.
274
905488
4684
創造出一個超級智慧
是一個很難的挑戰。
15:22
Making製造 superintelligent超智 A.I. that is safe安全
275
910172
2548
創造出一個安全的超級智慧
15:24
involves涉及 some additional額外
challenge挑戰 on top最佳 of that.
276
912720
2416
是一個更大的挑戰。
15:28
The risk風險 is that if somebody figures人物 out
how to crack裂紋 the first challenge挑戰
277
916216
3487
最大的風險在於
有人想出了如何解決第一個難題
15:31
without also having cracked破解
the additional額外 challenge挑戰
278
919703
3001
但是沒有解決第二個問題
15:34
of ensuring確保 perfect完善 safety安全.
279
922704
1901
來確保安全性萬無一失。
15:37
So I think that we should
work out a solution
280
925375
3331
所以我覺得我們應該先想出
15:40
to the control控制 problem問題 in advance提前,
281
928706
2822
如何"控制"的方法。
15:43
so that we have it available可得到
by the time it is needed需要.
282
931528
2660
這樣當我們需要的時候
我們可以用的到它。
15:46
Now it might威力 be that we cannot不能 solve解決
the entire整個 control控制 problem問題 in advance提前
283
934768
3507
現在也許我們無法
完全解決「控制」的問題
15:50
because maybe some elements分子
can only be put in place地點
284
938275
3024
因為有時候你要了解
你所想要控制的架構後
15:53
once一旦 you know the details細節 of the
architecture建築 where it will be implemented實施.
285
941299
3997
你才能知道如何實施。
15:57
But the more of the control控制 problem問題
that we solve解決 in advance提前,
286
945296
3380
但是如果我們可以
事先解決更多的難題
16:00
the better the odds可能性 that the transition過渡
to the machine intelligence情報 era時代
287
948676
4090
我們順利的進入到
機器智能時代的機率
16:04
will go well.
288
952766
1540
就會更高。
16:06
This to me looks容貌 like a thing
that is well worth價值 doing
289
954306
4644
這對我來說是一個值得挑戰的事情
16:10
and I can imagine想像 that if
things turn out okay,
290
958950
3332
而且我能想像到如果一切順利的話,
16:14
that people a million百萬 years年份 from now
look back at this century世紀
291
962282
4658
我們的後代,幾百萬年以後的人類
回顧我們這個時代的時候
16:18
and it might威力 well be that they say that
the one thing we did that really mattered要緊
292
966940
4002
他們可能會說我們
所做的最重要的事就是
16:22
was to get this thing right.
293
970942
1567
把這個事情弄對了。
16:24
Thank you.
294
972509
1689
謝謝
16:26
(Applause掌聲)
295
974198
2813
(觀眾掌聲)

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee