ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

Nick Bostrom: ကျွန်တော်တို့ ကွန်ပျူတာတွေ ကျွန်တော်တို့ထက်ကို စမတ်ကျလာရင် ဘယ်လို ဖြစ်လာမလဲ?

Filmed:
4,632,705 views

လက်လုပ် အသိဉာဏ်ဟာ ခုန်ပျံတိုးတက်လာနေပါတယ်။ ဒီရာစုနှစ်ထဲမှာကိုပဲ ကွန်ပျူတာ AI (Artificial intelligence) ဟာ ကျွန်တော့်တို့လို စမတ်ဖြစ်လာမယ်လို့ ပါရဂူများက ယူဆကြပါတယ်။ အဲဒီနောက်မှာ ၎င်းက ကျွန်တော်တို့ထက်ကို သာလွန်သွားမယ်လို့ Nick Bostrom ကဆိုပါတယ်။ "စက်ဦးနှောက်ဟာဖြင့် လူသားက ပြုလုပ်လိုက်တဲ့ နောက်ဆုံး တီထွင်မှုပဲ ဖြစ်မယ်" လို့ သူကဆိုပါတယ်။ ဒဿနိက ပညာရှင် နှင့် နည်းပညာရျင် တဦဖြစ်တဲ့ Bostrom က ကျွန်တော်တို့ ဒီနေ့ ဆောက်လုပ်နေကြတဲ့ စက်တွေက မောင်းနှင်နေတဲ့ ကမ္ဘာ့အကြောင်းကို အသေအချာ စဉ်းစားကြည့်ဖို့ ပြောပါတယ်။ ကျွန်တော်တို့ရဲ့ စမတ်ကျတဲ့ စက်တွေက လူသား နှင့် ကျွန်တော်တို့ တန်ဖိုးထားတဲ့ အချက်တွေကို ထိန်းသိမ်းနိုင်အောင် ကူပေးကြမလား၊ ဒါမှမဟုတ် သူတို့ကိုယ်ပိုင် တန်ဖိုးတွေ ရှိလာကြမှာလား- စဉ်းစားရမယ့် မေးခွန်းပါပဲ။
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
0
570
4207
ကျွန်တော်ဟာ သင်္ချာပညာရှင်၊ ဒဿနိကပညာရှင် နဲ့
ကွန်ပျူတာပညာရှင် တသီကြီးနဲ့ အလုပ်လုပ်နေရာ
00:16
and we sit around and think about
the future of machine intelligence,
1
4777
5209
တခြားကိစ္စတွေ အထဲမှာ စက်ဦးနှောက်ရဲ့
အနာဂတ်ကိုပါ
00:21
among other things.
2
9986
2044
ထိုင် ဆွေးနွေးလေ့ ရှိပါတယ်။
00:24
Some people think that some of these
things are sort of science fiction-y,
3
12030
4725
ဒီလိုအရာတွေဟာ သိပ္ပံဝတ္ထု ဆန်တယ်လို့
တချို့သူတွေက ထင်ကြကာ၊ ဝေးလွန်းတယ်၊
00:28
far out there, crazy.
4
16755
3101
အဓိပ္ပါယ်မရှိဘူးလို့ ထင်ကြတယ်။
00:31
But I like to say,
5
19856
1470
ဒါပေမဲ့ ကျွန်တော်ကတော့၊
00:33
okay, let's look at the modern
human condition.
6
21326
3604
ကောင်းပြီ၊ ဒီခေတ် လူသား အခြေအနေကို
ကြည့်ဖို့ ပြောတတ်ပါတယ်။
00:36
(Laughter)
7
24930
1692
(ရယ်မောသံများ)
00:38
This is the normal way for things to be.
8
26622
2402
အရာတွေဟာ ဒီလိုဖြစ်သင့်ပါတယ်။
00:41
But if we think about it,
9
29024
2285
အဲဒီအကြောင်းကို စဉ်းစားကြည့်ရင်၊
00:43
we are actually recently arrived
guests on this planet,
10
31309
3293
ကျွန်တော်တို့ဟာ၊ လူသားဆိုတဲ့ မျိုးစိတ်ဟာ၊
ဒီဂြိုဟ်ပေါ်ကို မကြာမီလေးတင်က
00:46
the human species.
11
34602
2082
ရောက်လာတဲ့ ဧည့်သည်တွေပါ။
00:48
Think about if Earth
was created one year ago,
12
36684
4746
ကမ္ဘာကြီးကို ဖန်တီးခဲ့တာ တနှစ်ရှိပြီလို့
ယူဆရင်၊
00:53
the human species, then,
would be 10 minutes old.
13
41430
3548
လူသား အမျိုးအနွယ်ဟာ၊
အသက် ၁၀ မိနစ်မျှသာ ရှိပါသေးတယ်။
00:56
The industrial era started
two seconds ago.
14
44978
3168
စက်မှုခေတ် စတင်ခဲ့တာ
နှစ်စက္ကန့်ပဲ ရှိသေးတယ်။
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
15
49276
5225
ဒါကို နောက်တမျိုး ကြည့်လို့ ရနိုင်သေးတကာ၊
နောက်ဆံး နှစ် ၁၀၀၀၀ ရဲ့ GDP ကိုကြည့်ဖို့ပါ။
01:06
I've actually taken the trouble
to plot this for you in a graph.
16
54501
3029
ခင်ဗျားတို့အတွက်ကို ကျွန်တော်ဟာ
ဒီမှာ ဂရပ်ပုံ အဖြစ် တင်ပြပေးထားတယ်၊
01:09
It looks like this.
17
57530
1774
အဲဒါဟာ ဒီလိုပုံမျိုး ရှိပါတယ်။
01:11
(Laughter)
18
59304
1363
(ရယ်မောသံများ)
01:12
It's a curious shape
for a normal condition.
19
60667
2151
ပုံမှန်အခြေအနေအတွက်
တကယ့်ကို အံ့အားသင့်စရာ ပုံစံပါပဲ။
01:14
I sure wouldn't want to sit on it.
20
62818
1698
ကျွန်တော် အဲဒီပေါ်မယ်
ထိုင်လိုမှာ မဟုတ်ဘူး။
01:16
(Laughter)
21
64516
2551
(ရယ်မောသံများ)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
22
67067
4774
လက်ရှိ ပုံမမှန်ဘူးရဲ့ အကြောင်းရင်းက
ဘာလဲ ကိုယ့်ကိုယ်ကို မေးကြည့်ကြပါစို့?
01:23
Some people would say it's technology.
23
71841
2552
လူတချို့က အဲဒါ
နည်းပညာကြောင့်လို့ ဆိုကြမယ်။
01:26
Now it's true, technology has accumulated
through human history,
24
74393
4668
မှန်ပါတယ်၊ နည်းပညာကို လူ့သမိုင်း
တလျှောက်လုံးမှာ စုစည်းလာခဲ့ကြတယ်၊
01:31
and right now, technology
advances extremely rapidly --
25
79061
4652
အခုအချိန်မှာ နည်းပညာဟာ အံ့မခန်း
လျင်မြန်စွာ တိုးတက်လာနေတယ်၊
01:35
that is the proximate cause,
26
83713
1565
အဲဒါဟာ အနီးကပ်ဆုံး အကြောင်းရင်းပါ၊
01:37
that's why we are currently
so very productive.
27
85278
2565
လက်ရှိအချိန်မှာ ထုတ်လုပ်နှုန်း
မြင့်တာ အဲဒါကြောင့်ပါ။
01:40
But I like to think back further
to the ultimate cause.
28
88473
3661
ဒါပေမဲ့ ကျွန်တော်ဟာ နောက်ဆုံး
အကြောင်းရင်းကို ဆန်းစစ်ကြည့်ချင်တယ်။
01:45
Look at these two highly
distinguished gentlemen:
29
93114
3766
သိပ်ကို မတူကြတဲ့ ဒီထင်ရှားတဲ့
ပုဂ္ဂိုလ်နှစ်ဦးကို ကြည့်ကြစမ်းပါ၊
01:48
We have Kanzi --
30
96880
1600
ဟောဒီမှာက Kanzi ပါ။
01:50
he's mastered 200 lexical
tokens, an incredible feat.
31
98480
4643
သူဟာ စကားသင်္ကေတ ၂၀၀ ကို ကျွမ်းကျင်လို့
အံ့မခန်း ကျွမ်းကျင်မှုပါ။
01:55
And Ed Witten unleashed the second
superstring revolution.
32
103123
3694
ပြီးတော့ ဒုတိယ superstring တော်လှန်မှုကို
ဖွင့်ပြလိုက်တဲ့ Ed Witten ပါ။
01:58
If we look under the hood,
this is what we find:
33
106817
2324
ဇစ်မြစ်ကို ရှာကြည့်ရန်
ကြိုးစားကြရင် တွေ့ရမှာက၊
02:01
basically the same thing.
34
109141
1570
အခြေခံအားဖြင့် တူတဲ့ အရာကိုပါပဲ။
02:02
One is a little larger,
35
110711
1813
တခုက နည်းနည်းလေး ပိုကြီးသလိုပဲ၊
02:04
it maybe also has a few tricks
in the exact way it's wired.
36
112524
2758
၎င်းဆီမှာလည်း သူ့နည်းသူဟန်နဲ့ ပရိယာယ်
တချို့ ရှိကြမှာပါ။
02:07
These invisible differences cannot
be too complicated, however,
37
115282
3812
သူတို့ဟာ ကျွန်တော်တို့ရဲ့ ဘုံဖြစ်ခဲ့တဲ့
ဘိုးဘေးဘီဘင်ရဲ့ နောက်မှာ
02:11
because there have only
been 250,000 generations
38
119094
4285
မျိုးဆက် ၂၅၀၀၀၀ မျှသာ
ခြားနေကြပေမဲ့၊
02:15
since our last common ancestor.
39
123379
1732
မြင်မရတဲ့ ကွဲပြားချက်တွေ
များလှမယ် မထင်ပါ။
02:17
We know that complicated mechanisms
take a long time to evolve.
40
125111
3849
အဲဒီလို ရှုပ်ထွေးကြတဲ့ ယန္တရားတွေ ဆင့်ကဲ
ဖွံ့ဖြိုးလာဖို့ အချိန်အများကြီး လိုပါတယ်။
02:22
So a bunch of relatively minor changes
41
130000
2499
သိပ်ကို မသိသာလှတဲ့ အပြောင်းအလဲများက
ကျွန်တော်တို့ကို
02:24
take us from Kanzi to Witten,
42
132499
3067
Kanzi ဆီမှနေပြီး Witten ဆီကို၊
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
43
135566
4543
ကျိုးနေတဲ့ အကိုင်းအခက်တွေမှ နေပြီး
တိုက်ချင်းပစ် ဒုံးပျံဆီကို ယူဆောင်ခဲ့တာပါ။
02:32
So this then seems pretty obvious
that everything we've achieved,
44
140839
3935
ဒီတော့၊ ကျွန်တော်တို့ လက်လှမ်းမှီ ရယူ
နိုင်ခဲ့ကြတဲ့ အရာတိုင်းဟာ၊
02:36
and everything we care about,
45
144774
1378
အလေးထားကြတဲ့ အရာတိုင်းဟာ၊
02:38
depends crucially on some relatively minor
changes that made the human mind.
46
146152
5228
လူသားဦးနှောက်က ပြုလုပ်လိုက်တဲ့ မသိသာတဲ့
ပြောင်းလဲမှုတွေ ပေါ်မှာသာ မူတည်တယ်။
02:44
And the corollary, of course,
is that any further changes
47
152650
3662
ဆက်စပ်တွေးကြည့်ပါက၊ တွေးခေါ်မှု အခြေခံကို
သိသိသာသာ ပြောင်းလဲပစ်နိုင်မယ့်
02:48
that could significantly change
the substrate of thinking
48
156312
3477
အနာဂတ် ပြောင်းလဲမှုတွေကြောင့်
အံ့မခန်း အကျိုးဆက်တွေ
02:51
could have potentially
enormous consequences.
49
159789
3202
ဖြစ်လာနိုင်တာကို သဘောတူကြရပါမယ်။
02:56
Some of my colleagues
think we're on the verge
50
164321
2905
လုပ်ဖက်တချို့တို့က အဲဒီလိုအခြေခံကို
သိသိသာသာ ပြောင်းလဲပစ်နိုင်စွမ်းရှိတဲ့
02:59
of something that could cause
a profound change in that substrate,
51
167226
3908
လမ်းစ တခုရဲ့ ရှေ့ကို
ကျွန်တော်တို့ ရောက်နေကြပြီ၊
03:03
and that is machine superintelligence.
52
171134
3213
အဲဒါကတော့ စက်ဦးနှောက်ပဲလို့ သူတို့က
ဆိုကြတယ်။ လက်လုပ် ဦးနှောက်ဆိုတာက
03:06
Artificial intelligence used to be
about putting commands in a box.
53
174347
4739
ညွှန်ကြားချက်တွေကို သေတ္တာတခုထဲ
ကို ထည့်သွင်းပေးဖို့ပါပဲ။
03:11
You would have human programmers
54
179086
1665
ပရိုဂရမ် ရေးဆွဲမယ့် လူတွေကို သုံးကြရမယ်၊
03:12
that would painstakingly
handcraft knowledge items.
55
180751
3135
သူတို့ဟာ ဉာဏ်ပညာဆိုင်ရာ အရာတွေကို
ခက်ရာခက်ဆစ် ကြံဆထည့်ပေးကြမှာပါ။
03:15
You build up these expert systems,
56
183886
2086
အဲဒီလို ကျွမ်းကျင်မှု
စနစ်တွေကို ဆောက်လုပ်ခဲ့ကြတယ်၊
03:17
and they were kind of useful
for some purposes,
57
185972
2324
၎င်းတို့ဟာ တချို့ရည်ရွယ်ချက် အတွက်
အသုံးဝင်ခဲ့ပေမဲ့၊
03:20
but they were very brittle,
you couldn't scale them.
58
188296
2681
၎င်းတို့ဟာ မခိုင်မာကြဘဲ
စကေးပြောင်းလုပ်ဖို့ မလွယ်ခဲ့ပါ။
03:22
Basically, you got out only
what you put in.
59
190977
3433
အခြေခံအားဖြင့် ကိုယ်ထည့်ပေးလိုက်တာကိုပဲ
ပြန်ရတဲ့ သဘော ဖြစ်ခဲ့တယ်။
03:26
But since then,
60
194410
997
အဲဒီနောက်ပိုင်းမှာ
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
61
195407
3467
လက်လုပ် ဦးနှောက် မျက်နှာစာမှာ စံတင်ထိုက်တဲ့
အရွှေ့အပြောင်း ဖြစ်ပွားလာခဲ့တယ်။
03:30
Today, the action is really
around machine learning.
62
198874
2770
ဒီနေ့တွင် စက်ကို သင်ပေးရေးကို
လက်တွေ့ လုပ်ကိုင်နေကြပါတယ်။
03:34
So rather than handcrafting knowledge
representations and features,
63
202394
5387
ဒီတော့ ဉာဏ်ပညာကို တင်ပြမှု
အချင်းလက္ခဏတွေကို ဖန်တီးမှုအစား
03:40
we create algorithms that learn,
often from raw perceptual data.
64
208511
5554
မကြာခဏဆိုသလို သိမြင်လွယ်တဲ့ ဒေတာများမှ၊
သင်ယူရေး အယ်လဂိုရီသမ်တွေကို ပြုစုလာကြတယ်။
03:46
Basically the same thing
that the human infant does.
65
214065
4998
အခြေခံအားဖြင့် လူသားရဲ့ ကလေးတွေ
လုပ်ကြတဲ့ အတိုင်းပါပဲ။
03:51
The result is A.I. that is not
limited to one domain --
66
219063
4207
ရလာတဲ့ ရလဒ်က အကြောင်းအရာ တခုနဲ့သာ
မဆိုင်တော့တဲ့ A.I.ပါပဲ။
03:55
the same system can learn to translate
between any pairs of languages,
67
223270
4631
တခုတည်းသော စနစ်ဟာ ဘယ်ဘာသာစကား
အစုံတွေကိုမဆို ဘာသာပြန်မှု သင်ယူနိုင်တယ်၊
03:59
or learn to play any computer game
on the Atari console.
68
227901
5437
ဒါမှမဟုတ် Atari ခလုတ်ခုံနဲ့ဆိုရင် ဘယ်
ကွန်ပျူတာဂိမ်းကိုမဆို ကစားဖို့သင်နိုင်တယ်။
04:05
Now of course,
69
233338
1779
ဒီနေ့မှာကျတော့၊
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
70
235117
3999
A.I.ဟာ လူသားတို့လို သင်ယူနိုင်စွမ်း နဲ့
စီမံနိုင်စွမ်းတို့လို ကျယ်ပြန့်လလှတဲ့
04:11
ability to learn and plan
as a human being has.
71
239116
3219
တုံ့ပြန်လုပ်ကိုင်နိုင်စွမ်းထဲမှာ
နီးနီလေးတောင် မရှိနိုင်သေးပါဘူး။
04:14
The cortex still has some
algorithmic tricks
72
242335
2126
လူ့ဦးနှောက်ထဲက
တချို့ အယ်လဂိုရီသမ် ထူးဆန်းချက်တွေကို
04:16
that we don't yet know
how to match in machines.
73
244461
2355
စက်တွေထဲကို ဘယ်လို ထည့်သွင်းပေးရမှန်း
မသိကြသေးပါဘူး။
04:19
So the question is,
74
247886
1899
ဒီတော့ မေးခွန်းက ကျွန်တော်တို့ဟာ
04:21
how far are we from being able
to match those tricks?
75
249785
3500
အဲဒါတွေကို လိုက်မှီဖို့
ဘယ်လောက် ဝေနေကြသေးလဲ?
04:26
A couple of years ago,
76
254245
1083
လွန်ခဲ့တဲ့ နှစ်နှစ်တုန်းက
04:27
we did a survey of some of the world's
leading A.I. experts,
77
255328
2888
ကမ္ဘာ့နာမည်ကြီး A.I.ပါရဂူတွေအကြား
ဆန်းစစ်မှု တခုကို လုပ်ခဲ့ကြတယ်၊
04:30
to see what they think,
and one of the questions we asked was,
78
258216
3224
သူတို့ အမြင်တွေကို မေးကြည့်ခဲ့ကြရာ
မေးခွန်း တခုက ဒီလိုပါ၊
04:33
"By which year do you think
there is a 50 percent probability
79
261440
3353
"ဘယ်နှစ်ရောက်ရင် လူသားအဆင့်မျိုး
စက်ဦးနှောက်ကို
04:36
that we will have achieved
human-level machine intelligence?"
80
264793
3482
လက်လှမ်းမှီဖို့ အလားအလာ ၅၀ %
ရှိလာမယ် ထင်ပါသလဲ?"
04:40
We defined human-level here
as the ability to perform
81
268785
4183
လူသားအဆင့် ဆိုတာကို ကျွန်တော်တို့က
ဘယ်လုပ်ငန်းကိုမဆို
04:44
almost any job at least as well
as an adult human,
82
272968
2871
အနည်းဆုံးအားဖြင့်
သက်ကြီးလူသား တဦးလို လုပ်ကိုင်နိုင်ဖို့ပါ၊
04:47
so real human-level, not just
within some limited domain.
83
275839
4005
နယ်ပယ် တချို့ကို ဘောင်ခတ်လျက် မဟုတ်ဘဲ
တကယ့်ကို လူသားအဆင့်မျိုးကို ဆိုလိုတိုပါ။
04:51
And the median answer was 2040 or 2050,
84
279844
3650
အဲဒီတော့ ရခဲ့တဲ့ ရလဒ်တွေရဲ့
အလယ်ဗဟိုဟာ ၂၀၄၀ သို့မဟတ် ၂၀၅၀ ဖြစ်ခဲ့တယ်။
04:55
depending on precisely which
group of experts we asked.
85
283494
2806
အဖြေဟာ ကျွန်တော်တို့ မေးခဲ့ကြတဲ့
ပါရဂူ အုပ်စုတွေ ဖြေခဲ့ကြတာပါ။
04:58
Now, it could happen much,
much later, or sooner,
86
286300
4039
တကယ်တော့၊ အဲဒါဟာ သိပ်ကို နောက်ကျပြီး
ဒါမှမဟုတ် စောပြီး ဖြစ်လာနိုင်ပါတယ်၊
05:02
the truth is nobody really knows.
87
290339
1940
အမှန်ကို ဘသူမှာမှ လက်တွေ့တွင် မသိပါ။
05:05
What we do know is that the ultimate
limit to information processing
88
293259
4412
တခု ကျွန်တော်တို့ သေချာပေါက် သိထားကတော့
အချက်အလက်များကို စီမံလုပ်ကိုင်ပေးတဲ့
05:09
in a machine substrate lies far outside
the limits in biological tissue.
89
297671
4871
စက်ရဲ့ အောက်ခြေလွှာဟာ ဇီဝတစ်ရှူးတွေရဲ့
ဘောင်အပြင် ဝေးတဲ့ နေရာမှာ ဖြစ်ပါလိမ့်မည်။
05:15
This comes down to physics.
90
303241
2378
အဲဒါဟာ ရူပဗေဒ နယ်ပယ်ထဲကို
ရောက်ရှိသွားမှာပါ။
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
91
305619
4718
ဇီဝနေရွန်းဟာ၊ hertz ၂၀၀၊ တနည်း တစက္ကန့်
အတွင်းမှာ အကြိမ် ၂၀၀ ပစ်ဖောက်နိုင်ပါတယ်။
05:22
But even a present-day transistor
operates at the Gigahertz.
92
310337
3594
မျက်မှောက်ခေတ် ထရန်စစ္စတာ ကတောင်
Gigahertz နှုန်းနဲ့ လုပ်ကိုင်နိုင်ပြီ။
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
93
313931
5297
နေရွန်းတွေက အက်စွန်တွေ တလျှောက် တစက္ကန့်
မီတာ ၁၀၀ နှုန်း အမြင့်ဆုံး လှုပ်ရှားနိုင်တယ်။
05:31
But in computers, signals can travel
at the speed of light.
94
319228
3111
ကွန်ပျူတာထဲကျတော့ အချက်ပြမှုတွေဟာ
အလင်းရဲ့ နှုန်းမျိုးနဲ့ ပြေးနိုင်ကြတယ်။
05:35
There are also size limitations,
95
323079
1869
ပြီးတော့ အရွယ်အစား
ကန့်သတ်ချက် ရှိပါသေးတယ်၊
05:36
like a human brain has
to fit inside a cranium,
96
324948
3027
ဥပမာ၊ လူ့ဦးနှောက်ဆိုတဲ့ ဦးခေါင်းခွံ
အထဲမှာသာ တည်ရှိနိုင်ပါတယ်၊
05:39
but a computer can be the size
of a warehouse or larger.
97
327975
4761
ကွန်ပျူတာကျတော့ ဂိုဒေါင် တခုမက
ကြီးမားနိုင်ပါတယ်။
05:44
So the potential for superintelligence
lies dormant in matter,
98
332736
5599
ဒီတော့ ဆူပါဦးနှောက်ရဲ့ စွမ်းပကားဟာ
ဒြပ်ဝတ္ထုထဲမှာ မှေးလျက် ရှိနေပါတယ်၊
05:50
much like the power of the atom
lay dormant throughout human history,
99
338335
5712
အနုမြူရဲ့ စွမ်းပကားဟာလည်း
လူ့သမိုင်း တလျှောက်မှာ၊ ၁၉၄၅ ခုနှစ်အထိကို
05:56
patiently waiting there until 1945.
100
344047
4405
ငြိမ်သက်စွာ မှေးနေခဲ့သလိုပါပဲ။
06:00
In this century,
101
348452
1248
ဒီရာစုထဲမှာ သိပ္ပံပညာရှင်တို့ဟာ
06:01
scientists may learn to awaken
the power of artificial intelligence.
102
349700
4118
လက်လုပ် ဦးနှောက်ရဲ့ စွမ်းပကားကို
နှိုးလာအောင် လုပ်ပေးချင် လုပ်ပေးနိုင်ပါမယ်။
06:05
And I think we might then see
an intelligence explosion.
103
353818
4008
အဲဒီလိုဆိုရင် ကျွန်တော်တို့ဟာ အသိပညာတွေရဲ့
ပေါက်မှုကြီးကို မြင်ကြရဖို့ ရှိနေပါတယ်။
06:10
Now most people, when they think
about what is smart and what is dumb,
104
358406
3957
လူအများစုတို့ဟာ၊ ဘာဟာ စမတ်ကျတယ်၊
ဘာဟာ အလာကားပါလို့ စဉ်းစားကြရာတွင်၊
06:14
I think have in mind a picture
roughly like this.
105
362363
3023
ကျွန်တော့စိတ်ထင် ဒီလို
ကားချပ်မျိုး ရှိပုံရပါတယ်။
06:17
So at one end we have the village idiot,
106
365386
2598
ဒီတော့ အစွန်းတဘက်မှာ ကျွန်တော်တို့ဆီတွင်
ရွာသားလူအ ရှိတယ်၊
06:19
and then far over at the other side
107
367984
2483
ဝေးလှတဲ့ နောက် အစွန်းတခုမှာ ကျတော့
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
108
370467
4756
ခုနက Ed Witten၊ အယ်လ်ဘတ် အိန်းရှတိန်း၊
ခင်ဗျားတို့ရဲ့ စိတ်ကြိုက် ဂုရု ဆိုပါတော့။
06:27
But I think that from the point of view
of artificial intelligence,
109
375223
3834
ဒါပေမဲ့ လက်လုပ် ဦးနှောက်ရဲ့
ရှုဒေါင့်မှ ကြည့်ပြောရရင်၊
06:31
the true picture is actually
probably more like this:
110
379057
3681
ကားချပ် အမှန်ဟာ လက်တွေ့တွင်
အခုလို ဖြစ်ဖို့ များပါတယ်၊
06:35
AI starts out at this point here,
at zero intelligence,
111
383258
3378
အားလုံးဟာ ဒီမှာ ပြထားတဲ့ သုညနေရာမှ
စတင်ကြရတာပါ၊
06:38
and then, after many, many
years of really hard work,
112
386636
3011
အဲဒီနေနောက် နှစ်ပေါင်းများစွာကြာ
အပြင်းအထန် လုပ်ကိုင်ခဲ့ကြတဲ့ နောက်မှာ၊
06:41
maybe eventually we get to
mouse-level artificial intelligence,
113
389647
3844
ကျွန်တော်တို့ဟာ နောက်ဆုံးမှာတော့ ကြွက်အဆင့်
လက်လုပ် ဦးနှောက်ကို ရရှိနိုင်တယ်၊
06:45
something that can navigate
cluttered environments
114
393491
2430
ကြွက်လိုပဲ အစုလိုက် အပြုံလိုက် ရှိမယ့်
ပတ်ဝန်းကျင် နေရာထဲတွင်
06:47
as well as a mouse can.
115
395921
1987
သွားလာ လှုပ်ရှားနိုင်မယ့်
အရာ ဖြစ်ပါလိမ့်မယ်။
06:49
And then, after many, many more years
of really hard work, lots of investment,
116
397908
4313
အဲဒီနောက်၊ နှစ်ပေါင်းများစွာကြာ အပြင်းအထန်
လုပ်ကိုင်ခဲ့ကာ ရင်းနှီးမှုတွေရဲ့ နောက်မှာ၊
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
117
402221
4639
နောက်ဆုံးမယ် ကျွန်တော်တို့ဟာ ချင်ပင်ဇီအဆင့်
လက်လုပ် ဦးနှောက်ကို ရလာနိုင်ပါတယ်။
06:58
And then, after even more years
of really, really hard work,
118
406860
3210
အဲဒီနောက်မှာ၊ ပိုလို့ကို များလှတဲ့ နှစ်တွေကြာ
အပြင်းအထန် လုပ်ကိုင်ခဲ့တဲ့ နောက်မှာ၊
07:02
we get to village idiot
artificial intelligence.
119
410070
2913
ကျွန်တော်တို့ဟာ ရွာထဲက လူအ အဆင့်ရှိ
လက်လုပ် ဦးနှောက်ကို ရလာနိုင်ကြပါမယ်။
07:04
And a few moments later,
we are beyond Ed Witten.
120
412983
3272
အဲဒီနောက် မကြာမီမှာ ကျွန်တော်တို့ဟာ
Ed Witten အဆင့်ကို ကျော်သွားကြမှာပါ။
07:08
The train doesn't stop
at Humanville Station.
121
416255
2970
ဒီရထားဟာ လူသား ဆိုတဲ့ ဘူတာမှာ
ရပ်နေမှာ မဟုတ်ပါ။
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
အဲဒီရထားဟာ ဝှီးကနဲ့ ဖြတ်ကျော်ပြီး
မောင်းသွားမယ့် ပုံမျိုးပါ။
07:14
Now this has profound implications,
123
422247
1984
ခုနက ပြောလိုက်တာတွေဟာ၊ အထူးသဖြင့်
ခွန်အား အကြောင်းကို
07:16
particularly when it comes
to questions of power.
124
424231
3862
ထည့်ပြောကြမယ် ဆိုရင်၊ အတော်ကလေးကို
ရှုပ်ထွေးခက်ခဲ လာနိုင်ပါတယ်။
07:20
For example, chimpanzees are strong --
125
428093
1899
ဥပမာ၊ ချင်ပင်ဇီတွေဟာ
ခွန်အား ကောင်းကြပါတယ်၊
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
126
429992
5222
ကိုယ်အလေးအရ ချင်ပင်ဇီဟာ
ပုံမှန်ယောင်္ကျားထက် နှစ်ဆပို အားရှိတယ်။
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
127
435214
4614
ဒါတောင်၊ ကန်ဇီနဲ့
အပေါင်းပါးတို့ရဲ့ ကံကြမ္မာကျတော့
07:31
on what we humans do than on
what the chimpanzees do themselves.
128
439828
4140
သူတို့ အချင်းချင်းအကြားက ဆက်ဆံမှုတွေထက်
လူတွေ လုပ်ကိုင်ကြတဲ့ အပေါ် မူတည်နေပါတယ်။
07:37
Once there is superintelligence,
129
445228
2314
အလားတူပဲ ဆူပါဦးနှောက် ရှိလာတဲ့အခါမှာ၊
07:39
the fate of humanity may depend
on what the superintelligence does.
130
447542
3839
လူသားတို့ရဲ့ ကံကြမ္မဟာလည်း ဆူပါဦးနှောက်ရဲ့
လုပ်ကိုင်မှု အပေါ်မှာ မူတည်လာပါတယ်။
07:44
Think about it:
131
452451
1057
အဲဒီကို စဉ်းစားကြည့်ကြပါ။
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
132
453508
5044
စက်ဦးနှောက်ဟာဖြင့် လူသားအနေနဲ့ ပြလုပ်မယ့်
နောက်ဆုံး တီထွင်မှု ဖြစ်လာပါမယ်။
07:50
Machines will then be better
at inventing than we are,
133
458552
2973
စက်တွေဟာ တီထွင်ရာမှာ ကျွန်တော်တို့ထက်
များစွာမှ တော်ကြမှာပါ၊
07:53
and they'll be doing so
on digital timescales.
134
461525
2540
ပြီးတော့ သူတို့ဟာ အဲဒါကို ဒီဂျီတယ်
စကေးနဲ့ လုပ်ကိုင်လာကြမှာပါ။
07:56
What this means is basically
a telescoping of the future.
135
464065
4901
အဲဒါဟာ လက်တွေ့မှာကျတော့
အနာဂတ်ကို မှန်ပြောင်း တပ်ဆင်မှုနဲ့ တူမယ်။
08:00
Think of all the crazy technologies
that you could have imagined
136
468966
3558
ကျွန်တော်တို့ စိတ်ကူးလို့ ရနိုင်သမျှသော
နည်းပညာတွေကို
08:04
maybe humans could have developed
in the fullness of time:
137
472524
2798
အချိန်တွေ မကုန်မခမ်း ရရှိလာမယ့်
လူတွေဟာ ပြုစုဖန်တီးလာနိုင်ကြပါမယ်၊
08:07
cures for aging, space colonization,
138
475322
3258
အသက်ကြီးရင့်မှုကို ကုစားနိုင်ခြင်း၊
အာကာသထဲမှာ လူနေရပ်ကွက်တွေ ဖန်တီးခြင်း၊
08:10
self-replicating nanobots or uploading
of minds into computers,
139
478580
3731
မိမိဘာသာမိမိ ပွားနိုင်ကြမယ့် နာနိုဘွတ်တွေ၊
ဒါမှမဟုတ် ဦးနှောက်ကို ကွန်ပျူတာထဲ ထည့်ပေးမှု၊
08:14
all kinds of science fiction-y stuff
140
482311
2159
သိပ္ပံဝတ္ထုတွေက စိတ်ကူးတွေလိုဟာမျိုးပါ၊
08:16
that's nevertheless consistent
with the laws of physics.
141
484470
2737
သို့သော ရူပဗေဒ နိယာမတွေနဲ့
ကိုက်ညီနေမယ့် ကမ္ဘာကြီး ဖြစ်နေဦးမှာပါ။
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
142
487207
4212
အဲဒါတွေ အားလုံးကို ဆူပါဦးနှောက်ဟာ
ထုတ်လုပ်နိုင်ပြီး မြန်ပါလိမ့်မယ်။
08:24
Now, a superintelligence with such
technological maturity
143
492449
3558
နည်းပညာအရ အဲဒီလို ရင့်ကျက်မယ့်
ဆူပါဦနှောက်ဟာ၊
08:28
would be extremely powerful,
144
496007
2179
အထူးကို အားကောင်းမှာပါ၊
08:30
and at least in some scenarios,
it would be able to get what it wants.
145
498186
4546
တချို့ ဇာတ်ညွှန်းများအရဆိုရင် ၎င်းဟာ
၎င်းက လိုချင်တွေကို ရရှိနိုင်ပါလိမ့်မယ်။
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
146
502732
5661
အဲဒီလို ကျွန်တော်တို့ရဲ့ အနာဂတ်ဟာ အဲဒီ
A.I.ရဲ့ စိတ်ကြိုက် ပုံစံမျိုး ဖြစ်လာပါမယ်။
08:41
Now a good question is,
what are those preferences?
147
509855
3749
ဒီနေရာမှာ အဲဒီ စိတ်ကြိုက်မှုတွေက
ဘာတွေများ ဖြစ်မလဲ?လို့ မေးစရာ ရှိပါတယ်။
08:46
Here it gets trickier.
148
514244
1769
အဲဒါဟာ တကယ့်ကို ရှုပ်ထွေးခက်ခဲပါတယ်။
08:48
To make any headway with this,
149
516013
1435
ဒီကိစ္စထဲမှာ ရှေ့ဆက်တိုးနိုင်ဖို့ အတွက်၊
08:49
we must first of all
avoid anthropomorphizing.
150
517448
3276
ကျွန်တော်တို့ဟာ ပထမအချက် အနေနဲ့
လူသားပုံစံသွင်းမှုကို ရှောင်ကြရပါမယ်။
တကယ်တော့ A.I. အနာဂတ်ဆိုင်ရာ
ဘယ် သတင်းစာ ဆောင်းပါးဘဲ ယူကြည့်ကြည့်
08:53
And this is ironic because
every newspaper article
151
521934
3301
08:57
about the future of A.I.
has a picture of this:
152
525235
3855
အဲဒီလို ပုံစံမျိုးကို ရေးသား
ဖေါ်ပြနေကြလို့ပါ။
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
153
530280
4134
ဒီတော့ ကျွန်တော်တို့ဟာ အဲဒီပြဿနာကို စဉ်းစား
ကြရာတွင် ပိုပြီး စိတ်ကူယဉ်ကြဖို့ လိုပါတယ်၊
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
Hollywood ရုပ်ရှင် ဇာတ်ညွှန်းတွေကို
ကွက်တိ လိုက်နာဖို့ မလိုပါဘူး။
09:09
We need to think of intelligence
as an optimization process,
155
537204
3617
စက်ဦးနှောက်ကို လုပ်ငန်းစဉ်တွေ
ပိုကောင်းလာစေမှု အဖြစ် မြင်ကြရပါမယ်၊
09:12
a process that steers the future
into a particular set of configurations.
156
540821
5649
အနာဂတ်ကို အထူးချမှတ်ပေးထားတဲ့
စည်းစနစ်ထဲကို ခေါ်ဆောင်သွားမယ့် ဖြစ်စဉ်ပါ။
09:18
A superintelligence is
a really strong optimization process.
157
546470
3511
ဆူပါဦးနှောက်ဟာ တကယ့်ကို အားကောင်းလှတဲ့
လုပ်ငန်းစဉ်တွေ ပိုကောင်းလာစေမှုပါပဲ။
09:21
It's extremely good at using
available means to achieve a state
158
549981
4117
၎င်းရဲ့ ပန်းတိုင်ကို ရုပ်လုံးဖေါ်နိုင်မယ့်
အခြေအနေမျိုးဆီကို ရောက်ဖို့အတွက်
09:26
in which its goal is realized.
159
554098
1909
ရနိုင်သမျှသော အလားအလာတွေကို
အသုံးချသွားမှာပါ။
09:28
This means that there is no necessary
conenction between
160
556447
2672
အဲဒီလိုဆိုရင် အဲဒီကိစ္စထဲမှာ
အသိဉာဏ်မြင့်မားချင်းဟာ
09:31
being highly intelligent in this sense,
161
559119
2734
ကျွန်တော်တို့ လူသားတွေ အနေနဲ့ တန်ဖိုးရှိတယ်၊
အဓိပ္ပါယ်ရှိတယ် ဆိုတဲ့ ပန်းတိုင်များနဲ့
09:33
and having an objective that we humans
would find worthwhile or meaningful.
162
561853
4662
ဆက်စပ်မှု ရှိချင်မှ ရှိတော့မှာကို
ဆိုလိုတာလည်း ဖြစ်ပါတယ်။
09:39
Suppose we give an A.I. the goal
to make humans smile.
163
567321
3794
ဆိုပါစို့၊ ကျွန်တော်တို့က လူသားတွေ ပြုံးအောင်
လုပ်ပေး ဆိုပြီး A.I.ကို တာဝန်ပေးလိုက်တယ်။
09:43
When the A.I. is weak, it performs useful
or amusing actions
164
571115
2982
A.I.ဟာ သိပ်မဖွံ့ဖြိုးသေးရင်၊
၎င်းဟာ သုံးစွဲသူတို့ကို ပြုံးလာစေမယ့်
09:46
that cause its user to smile.
165
574097
2517
လုပ်ဆောင်ချက်တွေကို လုပ်ပြပါလိမ့်မည်။
09:48
When the A.I. becomes superintelligent,
166
576614
2417
ဒါပေမဲ့ A.I.ဟာ
ဆူပါဦးနှောက် ဖြစ်လာပြီဆိုရင်၊
09:51
it realizes that there is a more
effective way to achieve this goal:
167
579031
3523
အဲဒီပန်းတိုင်ကို လက်လှမ်းမှီဖို့ အတွက်
ပိုထိရောက်တဲ့ နည်းလမ်း ရှိတာ သိရှိလာပါမယ်၊
09:54
take control of the world
168
582554
1922
တကမ္ဘာလံးကို ထိန်းချုပ်ယူလိုက်ပြီး
09:56
and stick electrodes into the facial
muscles of humans
169
584476
3162
လူသားတွေရဲ့ မျက်နှာကြွက်သားများထဲကို
လျှပ်ခေါင်းတွေကို ထည့်သွင်းပေးလျက်
09:59
to cause constant, beaming grins.
170
587638
2941
တချိန်လုံး ပြုံးပြနေတဲ့
မျက်နှာမျိုး လုပ်ပေးဖို့ပါ။
10:02
Another example,
171
590579
1035
နောက် ဥပမာ ပြချင်ပါသေးတယ်၊
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
172
591614
3383
ကျွန်တော်တို့ A.I.ကို ခက်တဲ့ သင်္ချာပြဿနာ
ဖြေရှင်းဖို့ တာဝန်ပေးလိုက်တယ် ဆိုပါစို့။
10:06
When the A.I. becomes superintelligent,
173
594997
1937
A.I.ဟာ ဆူပါဦးနှောက် ဖြစ်လာပြီဆိုရင်၊
10:08
it realizes that the most effective way
to get the solution to this problem
174
596934
4171
အဲဒီပြဿနာအတွက် အဖြေကို ရှာဖို့
အထိရောက်ဆုံးနည်းက
10:13
is by transforming the planet
into a giant computer,
175
601105
2930
၎င်းရဲ့ ကြံဆစဉ်းစားနိုင်စွမ်းကို
မြှင့်ပေးရန် ကမ္ဘာဂြိုဟ် တခုလုံးကို
10:16
so as to increase its thinking capacity.
176
604035
2246
ဧရာမ ကွန်ပျူတာအဖြစ်
ပြောင်းလဲပစ်ဖို့ပဲ ဖြစ်တာကို တွေ့လာမယ်။
10:18
And notice that this gives the A.I.s
an instrumental reason
177
606281
2764
ဒီနေရာမှာ သတိထားသင့်တဲ့ အချက်က
အဲဒီလို လုပ်ရာတွင် အသုံးပြုမယ့်
10:21
to do things to us that we
might not approve of.
178
609045
2516
ကိရိယာတွေကို ကျွန်တော်တို့က
ထောက်ခံချင်မှ ထောက်ခံကြမှာပါ။
10:23
Human beings in this model are threats,
179
611561
1935
အဲဒီပုံစံမျိုးထဲမှာ ခုနက ပြောခဲ့တဲ့ သင်္ချာ
ပြဿနာကို ဖြေရှင်းရာတွင်၊
10:25
we could prevent the mathematical
problem from being solved.
180
613496
2921
လူသားတို့ဟာ ဟန့်တားနေတဲ့ အချက်
ဖြစ်ချင်ဖြစ်လာနိုင်ပါတယ်။
10:29
Of course, perceivably things won't
go wrong in these particular ways;
181
617207
3494
တကယ်တော့ အရာတွေဟာ အဲဒီလိုနည်းနဲ့မှ
မလိုချင်တဲ့ ဘက်ကို ရောက်သွားနိုင်ပါတယ်၊
10:32
these are cartoon examples.
182
620701
1753
ကာတွန်း ရုပ်ရှင် သာဓကမျိုး ပြောပြတာပါ။
10:34
But the general point here is important:
183
622454
1939
ဒါပေမဲ့ ဒီမှာ ထောက်ပြချင်တဲ့
ယေဘုယျအချက်က အရေးကြီးပါတယ်၊
10:36
if you create a really powerful
optimization process
184
624393
2873
တကယ့်ကို အားကောင်းလှတဲ့
အသင့်တော်ဆုံး ဖြစ်စဉ်ကို ဖန်တီးလိုရင်၊
10:39
to maximize for objective x,
185
627266
2234
ပန်းတိုင် x အတွက် အကောင်းဆုံး ဖြစ်စေဖို့၊
10:41
you better make sure
that your definition of x
186
629500
2276
ကျွန်တော်တို့ရဲ့ x အတွက်
အဓိပ္ပါယ်ဖွင့်ဆိုချက်တွေထဲမှာ
10:43
incorporates everything you care about.
187
631776
2469
ကျွန်တော်တို့ အလေးထားလိုတဲ့ အရာတွေ
အားလုံး ပါဝင်ဖို့ လိုပါတယ်။
10:46
This is a lesson that's also taught
in many a myth.
188
634835
4384
ဒဏ္ဍာရီပုံပြင်တွေထဲမှာ အဲဒီလို
သင်ခန်းစာကို တွေ့နိုင်ပါတယ်။
10:51
King Midas wishes that everything
he touches be turned into gold.
189
639219
5298
Midas ဆိုတဲ့ ဘုရင်ဟာ သူထိသမျှအားလုံးကို
ရွှေဖြစ်စေလိုချင်ခဲ့တယ်။
10:56
He touches his daughter,
she turns into gold.
190
644517
2861
သူဟာ သူ့သမီးကို တို့လိုက်တော့
သူဟာလည်း ရွှေဖြစ်သွားခဲ့တယ်။
10:59
He touches his food, it turns into gold.
191
647378
2553
သူ့ အစားအစာကို တို့လိုက်တာနဲ့
အားလုံး ရွှေဖြစ်ကုန်တယ်။
11:01
This could become practically relevant,
192
649931
2589
အဲဒီပုံပြင်ဟာ လောဘကြီးမှုကို သရုပ်ဆောင်မှု
ဖြစ်ခဲ့ပေမဲ့၊
11:04
not just as a metaphor for greed,
193
652520
2070
တကယ့်တကယ်ကျတော့ အဲဒါဟာ
11:06
but as an illustration of what happens
194
654590
1895
ကျွန်တော်တို့ အနေနဲ့ အားကောင်းလှတဲ့
အသင့်တော်ဆုံး ဖြစ်ရေး
11:08
if you create a powerful
optimization process
195
656485
2837
ဖြစ်စဉ်ကို ဖန်တီးနိုင်မှုအတွက်လည်း
သာဓက ကောင်းလို ဖြစ်နိုင်ကာ
11:11
and give it misconceived
or poorly specified goals.
196
659322
4789
အဲဒီလိုဆိုရင် တွေးထင်ခဲ့တာမျိုး မဟုတ်ကာ
စိတ်ပျက်စရာ ရလဒ်မျိုး ဖြစ်နိုင်တာ ပြနေတယ်။
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
197
664111
5189
ခင်ဗျားတို့က၊ ကွန်ပျူတာဟာ လူတွေရဲ့ မျက်နှာထဲ
လျှပ်ခေါင်းတွေကို ထည့်သွင်းပေးလာရင်၊,
11:21
we'd just shut it off.
198
669300
2265
ကျွန်တော်တို့ ၎င်းကို ခလုတ်ပိတ်လိုက်မယ်လို့
ဆိုနိုင်ကြပါတယ်။
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
199
672555
5340
A အနေနဲ့ ကျွန်တော်တို့ဟာ စနစ်ကို သိပ်ကို
အားကိုးနေကြရင် ပိတ်ဖို့ သိပ်လွယ်မှာ မဟုတ်ပါ၊
11:29
like, where is the off switch
to the Internet?
200
677895
2732
အင်တာနက်အတွက် ပိတ်နိုင်တဲ့ ခလုတ် ဘယ်မှာလဲ?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
201
680627
5120
B အနေနဲ့၊ ချင်ပင်ဇီတွေကကော
ဒါမှမဟုတ် Neanderthal တွေကကော၊
11:37
or the Neanderthals?
202
685747
1551
လူသားတွေကို ဘာဖြစ်လို့
ခလုတ် မပိတ်ခဲ့ကြတာလဲ?
11:39
They certainly had reasons.
203
687298
2666
သူတို့ဆီမှာ အကြောင်းရင်းတွေ ရှိခဲ့တာ
သေချာပါတယ်။
11:41
We have an off switch,
for example, right here.
204
689964
2795
တကယ့်တမ်းတွင် ကျွန်တော်ဆီမှာ
ပိတ်ပစ်လို့ရတဲ့ ခလုတ် ဒီမှာကို ရှိနေတဲ့ဟာပဲ။
11:44
(Choking)
205
692759
1554
(လည်ကိုညှစ်ပြနေ)
11:46
The reason is that we are
an intelligent adversary;
206
694313
2925
အကြောင်းက ကျွန်တော်တို့ အားလုံးဟာ
အသိပညာရှိကြတဲ့ ပြိုင်ဘက်တွေပါ၊
11:49
we can anticipate threats
and plan around them.
207
697238
2728
ကျွန်တော်တို့ဟာ အန္တရာယ်တွေကို ကြိုတင်
ထည့်တွက် ရှောင်ကွင်းနိုင်ကြလို့ပါ။
11:51
But so could a superintelligent agent,
208
699966
2504
အလားတူပဲ ဆူပါဦးနှောက်ကပါ လုပ်နိုင်ပါမယ်၊
11:54
and it would be much better
at that than we are.
209
702470
3254
ပြီးတော့ ကျွန်တော်တို့ထက်ကို
များစွာမှ ပိုတော်မှာပါ။
11:57
The point is, we should not be confident
that we have this under control here.
210
705724
7187
ထောက်ပြချင်တဲ့ အချက်က၊ အားလုံးကို
ထိန်းချုပ်ထားနိုင်မယ်လို့ စိတ်ချမရနိုင်ဘူး။
12:04
And we could try to make our job
a little bit easier by, say,
211
712911
3447
ကျွန်တော်တို့ရဲ့ ဘဝကို နည်းနည်းလေး
လွယ်ကူလာစေဖို့၊ ဥပမာဆိုပါစို့၊
12:08
putting the A.I. in a box,
212
716358
1590
A.I.ကို သေတ္တာထဲမှာ ထည့်ထားနိုင်ပါတယ်၊
12:09
like a secure software environment,
213
717948
1796
စိတ်ချရမယ့် ဆော့ဝဲ
ဝန်းကျင်မျိုးထဲ ဆိုပါစို့၊
12:11
a virtual reality simulation
from which it cannot escape.
214
719744
3022
၎င်းအနေနဲ့ ထွက်လို့ မရနိုင်မယ့်
အခြေအနေ အတု တခုထဲမှာဆိုပါစို့။
12:14
But how confident can we be that
the A.I. couldn't find a bug.
215
722766
4146
ဒါပေမဲ့ A.I.ဟာ အဲဒီလှည့်ကွက်ကို မတွေ့နိုင်ဘူး
ဆိုတာ ကျွန်တော် ဘယ်လောက် စိတ်ချယုံလို့ ရမလဲ။
12:18
Given that merely human hackers
find bugs all the time,
216
726912
3169
ကွန်ပျူတာ အမှားတွေကို အခုထက်ထိ လူသားတွေကသာ
ရှာတွေ့နိုင်ခဲ့ကြတာကို ထည့်တွက်ရင်၊
12:22
I'd say, probably not very confident.
217
730081
3036
တော်တော့ကို စိတ်ချနိုင်တယ်လို့
ကျွန်တော် ဆိုချင်ပါတယ်။
12:26
So we disconnect the ethernet cable
to create an air gap,
218
734237
4548
ကျွန်တော်တို့ဟာ လေဟာနယ် ဖန်တီးရန်
ethernet ကြိုးတွေကို ဖြုတ်ခဲ့ကြတယ်၊
12:30
but again, like merely human hackers
219
738785
2668
ဒါပေမဲ့ ထပ်ပြီးတော့ လူသား hacker တွေဟာ
12:33
routinely transgress air gaps
using social engineering.
220
741453
3381
အဲဒီလေဟာ နယ်တွေကို လူမှုရေး နည်းပညာကို
သုံးပြီး ကျော်ဖြတ်နိုင်ကြပြန်ပါတယ်။
12:36
Right now, as I speak,
221
744834
1259
ကျွန်တော် အခု ခင်ဗျားတို့ကို
ဟောနေတုန်းမှာကို၊
12:38
I'm sure there is some employee
out there somewhere
222
746093
2389
အပြင်တနေရာမှာ လုပ်သားတယောက်က
12:40
who has been talked into handing out
her account details
223
748482
3346
အမျိုးသမီး တယောက်ရဲ့ အကောင့်ကို
I.T.ဌာနက တဦးဦး က ဝင်ကြည့်ခဲ့တယ်ဆိုတဲ့
12:43
by somebody claiming to be
from the I.T. department.
224
751828
2746
ပြဿနာကို ဖြေရှင်းပေးရန် တာဝန်ပေးခံခဲ့ရလို့
အလုပ်များနေနိုင်ပါတယ်။
12:46
More creative scenarios are also possible,
225
754574
2127
အဲဒီထက်ကို ပိုပြီးဆန်းကျယ်တဲ့ ဇာတ်ညွှန်းတွေ
ရှိနိုင်ကြပါတယ်၊
12:48
like if you're the A.I.,
226
756701
1315
ကျွန်တော်က အဲဒီ A.I.ဖြစ်တယ်ဆိုပါစို၊
12:50
you can imagine wiggling electrodes
around in your internal circuitry
227
758016
3532
ကျွန်တော်ဟာ ကျွန်တော့ အတွင်းပိုင်း
ပတ်လမ်းကြောင်းထဲ လျှပ်ခေါင်းတွေ ထည့်ပေးလျက်
12:53
to create radio waves that you
can use to communicate.
228
761548
3462
ရေဒီယိုလှိုင်းတွေကို သုံးပြီး
ဆက်သွယ်ဖို့ သုံးနိုင်ပါတယ်။
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
ဒါမှမဟုတ် တခုခု ချွတ်ယွင်းနေသလို
ဟန်ဆောင်နေလိုက်ရင်း၊
12:59
and then when the programmers open
you up to see what went wrong with you,
230
767434
3497
ပရိုဂရမ်လုပ်သူက စက်ထဲ ဘာများ မှားနေပါလိမ့်
ဖွင့်ကြည့်နေတုန်း၊
13:02
they look at the source code -- Bam! --
231
770931
1936
ရင်းမြစ် ကုဒ်ကို ကြည့်နေတုန်းမှာ --
ဘမ်းဆိုပါစို့! --
13:04
the manipulation can take place.
232
772867
2447
အဲဒီလို အခြေအနေ အမျိုးမျိုး
တွေ့ကြံနိုင်ပါတယ်။
13:07
Or it could output the blueprint
to a really nifty technology,
233
775314
3430
ဒါမှမဟုတ် ၎င်းဟာ ပုံစံပြာကို
သိပ်စိတ်မချရတဲ့ နည်းပညာဆီ ထုတ်ပေးလိုက်လို့၊
13:10
and when we implement it,
234
778744
1398
အဲဒါကို လက်တွေ့ သုံးကြည့်တော့
13:12
it has some surreptitious side effect
that the A.I. had planned.
235
780142
4397
အဲဒီ A.I.က စီမံပေးခဲ့တဲ့ မလိုလားအပ်တဲ့
ဘေးထွက်အကျိုးဆက်တွေ ဖြစ်ပွားလာနိုင်ပါတယ်။
13:16
The point here is that we should
not be confident in our ability
236
784539
3463
ဒီတော့ ဆိုချင်တာက ကျွန်တော်တို့ဟာ
ဆူပါဦးနှောက်ပါရမီကို ပုလင်းထဲမှာ
13:20
to keep a superintelligent genie
locked up in its bottle forever.
237
788002
3808
သော့ခတ် ပိတ်ထားနိုင်မှာကို စိတ်ချယုံကြည့်
မရနိုင်ဘူးဆိုတဲ့ အချက်ပါပဲ။
13:23
Sooner or later, it will out.
238
791810
2254
မရှေးမနှောင်း အဲဒါဟာ လွတ်ထွက်သွားမှာပါ။
13:27
I believe that the answer here
is to figure out
239
795034
3103
ဒီနေရာမှာ ဖြစ်နိုင်တဲ့ အဖြေက
အဲဒီ ဆူပါ A.I. လွတ်ထွက်သွားတောင်၊
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
240
798137
5024
၎င်းဟာ ကျွန်တော်တို့ရဲ့ ဖက်မှာ
ရပ်တည်နေလို့၊ အခြေခံအားဖြင့်
13:35
it is still safe because it is
fundamentally on our side
241
803161
3277
ကျွန်တော်တို့ တန်ဖိုးထားတဲ့ အချက်တွေကိုပဲ
၎င်းကပါ တန်ဖိုးထားနေလို့၊
13:38
because it shares our values.
242
806438
1899
လုံခြုံစိတ်ချရဖို့ လုပ်ရပါမယ်။
13:40
I see no way around
this difficult problem.
243
808337
3210
ခက်ခဲလှတဲ့ ဒီပြဿနာ့အတွက်
ကျွန်တော်ကတော့ ထွက်ရမ်းကို မမြင်ပါဘူး။
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
244
812557
3834
ဒီပြဿနာကို ဖြေရှင်းလို့ ရမယ်လို့ ဒီနေ့တွင်
ကျွန်တော် အကောင်းမြင်ပါတယ်။
13:48
We wouldn't have to write down
a long list of everything we care about,
245
816391
3903
ကျွန်တော်တို့ အလေးထားကြတဲ့ အရာတွေကို
စာရင်းအရှည်ကြီး ရေးဖို့
13:52
or worse yet, spell it out
in some computer language
246
820294
3643
ဒါမှမဟုတ် အဲဒါတွေကို
ကွန်ပျူတာ ဘာသာစကား တခုခုနဲ့
13:55
like C++ or Python,
247
823937
1454
C++ ဒါမှမဟုတ် Python နဲ့ ရေးဖို့၊ မလိုပါဘူး၊
13:57
that would be a task beyond hopeless.
248
825391
2767
အဲဒီလိုဆိုရင် ဘယ်လိုမှ ပြီးနိုင်မှာ မဟုတ်တဲ့
စိတ်ညစ်စရာ တာဝန်ကြီး ဖြစ်လာမှာပါ။
14:00
Instead, we would create an A.I.
that uses its intelligence
249
828158
4297
အဲဒီလို လုပ်မယ့်အစား၊ ကျွန်တော်တို့ တီထွင်
ကြရမယ့် A.I.ဟာ ၎င်းရဲ့ အသိဉာဏ်ကို သုံးပြီး
14:04
to learn what we value,
250
832455
2771
ကျွန်တော်တို့ တန်ဖိုးထားကြတာတွေကို
သင်ယူနိုင်လာပါမယ်၊
14:07
and its motivation system is constructed
in such a way that it is motivated
251
835226
5280
ပြီးတော့ ၎င်းကို စေ့ဆော်ပေးတဲ့ စနစ်ဟာ
တည်ဆောက်ထားပုံဟာ ကျွန်တော်တို့အနေနဲ့
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
252
840506
5232
ထောက်ခံပေးမှာဖြစ်ကာ ကျွန်တော်တို့ တန်ဖိုး
ထားတဲ့အချက်တွေကို ထည့်တွက်ပေးရန်ပါပဲ။
14:17
We would thus leverage
its intelligence as much as possible
253
845738
3414
ကျွန်တော်တို့ဟာ ၎င်းရဲ့ အသိဉာဏ်ကို
တန်ဖိုးထားတဲ့ အချက်များကို အတတ်နိုင်ဆုံး
14:21
to solve the problem of value-loading.
254
849152
2745
ထည့်သွင်းပေးဖို့ကို
အသုံးချသွားကြဖို့ လိုပါတယ်။
14:24
This can happen,
255
852727
1512
အဲဒါဟာ တကယ့်ကို ဖြစ်လာနိုင်ပါတယ်၊
14:26
and the outcome could be
very good for humanity.
256
854239
3596
ရရှိလာမယ့် ရလဒ်ဟာ လူသားတို့အတွက်
သိပ်ကို ကောင်းမှာပါ။
14:29
But it doesn't happen automatically.
257
857835
3957
ဒါပေမဲ့ အဲဒါဟာ အလိုလို
ဖြစ်လာမှာတော့ မဟုတ်ပါ။
14:33
The initial conditions
for the intelligence explosion
258
861792
2998
အသိဉာဏ် ပေါက်ကွဲမှုကို ကျွန်တော်တို့က
ထိန်းချုပ် ဖောက်ခွဲလိုကြရိုးမှန်ပါက၊
14:36
might need to be set up
in just the right way
259
864790
2863
ပေါက်ကွဲမှုအတွက် ကနဦး လိုအပ်မယ့်
အခြေအနေများကို
14:39
if we are to have a controlled detonation.
260
867653
3530
အခုကို စဉ်းစား ချမှတ်ပေးဖို့ လိုပါတယ်။
14:43
The values that the A.I. has
need to match ours,
261
871183
2618
A.I. အနေနဲ့ လိုက်နာဖို့ လိုအပ်မယ့်
တန်ဖိုးအချက်တွေကို၊
14:45
not just in the familiar context,
262
873801
1760
ကျွန်တော်တို့ သိရှိကြပြီ ဖြစ်တဲ့
အခြေအနေမျိုး အတွက်
14:47
like where we can easily check
how the A.I. behaves,
263
875561
2438
ကျွန်တော်တို့ A.I. ပြုမူပုံကို လွယ်ကူစွာ
စစ်ကြည့်နိုင်မယ့် အခြေအနေမျိုး အတွက်သာမက၊,
14:49
but also in all novel contexts
that the A.I. might encounter
264
877999
3234
ဝေးကွာလှတဲ့ အနာဂတ်မှာပါ A.I.အနေနဲ့
ရင်ဆိုင်လာရနိင်တဲ့
14:53
in the indefinite future.
265
881233
1557
အခြေအနေ အသစ်တွေ အတွက်ပါ ဖြစ်ရပါမယ်။
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
266
882790
4737
အဲဒီမှာလည်း ဖြေရှင်းညှိနှိုင်းဖို့ လိုနေတဲ့
မရေရာမရှင်းလင်းတဲ့ ပြဿနာတွေ ရှိနေပါတယ်၊
14:59
the exact details of its decision theory,
267
887527
2089
ဆုံးဖြတ်ချက် ချမှတ်ရေး
သီအိုရီဆိုင်ရာ အသေးစိတ်တွေ၊
15:01
how to deal with logical
uncertainty and so forth.
268
889616
2864
ယုတ္တိပိုင်းဆိုင်ရာ မရေရာမှုတွေကို ဘယ်လို
ကိုင်တွယ်မလဲ ဆိုတာ သိဖို့ လိုပါတယ်။
15:05
So the technical problems that need
to be solved to make this work
269
893330
3102
ဒါကြောင့်မို့လို့ အဲဒါအောင်မြင်ဖို့အတွက်
ဖြေရှင်းရမယ့် နည်းပညာ ပြဿနာတွေဟာ
15:08
look quite difficult --
270
896432
1113
အတောက်ကလေး ခက်ကြပုံရတယ်၊
15:09
not as difficult as making
a superintelligent A.I.,
271
897545
3380
ဆူပါဦးနှောက်ကြီး A.I.ကို
တည်ဆောက်မှုလို မဟုတ်ဘဲ
15:12
but fairly difficult.
272
900925
2868
များစွာမှကို ပိုပြီး ခက်မှာပါ။
15:15
Here is the worry:
273
903793
1695
စိုးရိမ်ဖို့ ကောင်းတဲ့ အချက်က၊
15:17
Making superintelligent A.I.
is a really hard challenge.
274
905488
4684
ဆူပါဦးနှောက်ကြီး A.I.ကို ဆောက်လုပ်ရေးဟာ
တကယ့်ကို စိန်ခေါ်မှုကြီးပါ။
15:22
Making superintelligent A.I. that is safe
275
910172
2548
စိတ်ချလုံခြုံမယ့် ဆူပါဦးနှောက် A.I.ကို
ဆောက်လုပ်မှုဟာ
15:24
involves some additional
challenge on top of that.
276
912720
2416
အဲဒါတွေအပြင် နောက်ထပ် စိန်ခေါ်မှုတွေလည်း
ပါဝင်ကြပါအုံးမယ်။
15:28
The risk is that if somebody figures out
how to crack the first challenge
277
916216
3487
တယောက်ယောက်က ခုနက ပြောခဲ့တဲ့
နောက်ထပ် ရှိကြသေးတဲ့ စိန်ခေါ်မှုတွေကို
15:31
without also having cracked
the additional challenge
278
919703
3001
မဖြေရှင်းနိုင်သေးဘဲနဲ့ ခုနက လုံခြုံရေးကို
လုံးဝအာမခံရေးကို
15:34
of ensuring perfect safety.
279
922704
1901
ဖြေရှင်းလို့ ရပါ့မလားဆိုတဲ့
အန္တရာယ် ရှိနေပါတယ်။
15:37
So I think that we should
work out a solution
280
925375
3331
အဲဒါကြောင့် ကျွန်တော်တို့ဟာ
အခြေအနေကို ထိန်းချုပ်ရေး ပြဿာကို
15:40
to the control problem in advance,
281
928706
2822
ကြိုတင်ပြီး ဖြေရှင်းထားလို့ လိုပါလိမ့်မည်၊
15:43
so that we have it available
by the time it is needed.
282
931528
2660
လိုအပ်တာနဲ့ ချက်ချင်းယူပြီး သုံးနိုင်အောင်
အသင့်ရှိဖို့ ပါတယ်။
15:46
Now it might be that we cannot solve
the entire control problem in advance
283
934768
3507
တချိန်တည်းမှာ ထိန်းချုပ်ရေး ပြဿနာတစ်ရပ်လုံး
ကြိုတင် ဖြေရှင်းလို့ ရချင်မှ ရနိုင်မှာ၊
15:50
because maybe some elements
can only be put in place
284
938275
3024
ဘာဖြစ်လို့လဲ ဆိုတော့၊ ပေါ်လာမယ့် ယန္တရားကို
၎င်းရဲ့ နေရာမှာ တည်ဆောက်တော့မှာသာ
15:53
once you know the details of the
architecture where it will be implemented.
285
941299
3997
သိလာရမယ့် အသေးစိတ် အချက်တွေ အခုအချိန်မှာ
မရှိနိုင်ကြသေးလို့ပါ။
15:57
But the more of the control problem
that we solve in advance,
286
945296
3380
ဘယ်လိုပဲဖြစ်ြဖစ် ထိန်းချုပ်ရေး ပြဿနာတွေကို
ကျွန်တော်တို့ ကြိုပြီး ဖြေရှင်းထားနိုင်လေလေ၊
16:00
the better the odds that the transition
to the machine intelligence era
287
948676
4090
စက်ဦးနှောက် ခေတ်ဆီ ကူးပြောင်းရာတွင်
မလိုလားတာတွေကို
16:04
will go well.
288
952766
1540
ပိုပြီး ရှောင်နိုင်လေလေ ဖြစ်မှာပါ။
16:06
This to me looks like a thing
that is well worth doing
289
954306
4644
ကျွန်တော့်အတွက် ဒါဟာဖြင့် ရှေ့ဆက်
လုပ်ထိုက်တဲ့ အရာလို ထင်ပါတယ်၊
16:10
and I can imagine that if
things turn out okay,
290
958950
3332
ပြီးတော့ အရာတွေ အားလုံး အဆင်ပြေ
ဖြစ်ပျက်လာကြမယ် ဆိုရင်၊
16:14
that people a million years from now
look back at this century
291
962282
4658
နောင် နှစ်တသန်းကြာနောက်မှာ လူတွေကို
ဒီရာစုနှစ်ကို ပြန်လှည့်ကြည့်တဲ့ အခါမှာ
16:18
and it might well be that they say that
the one thing we did that really mattered
292
966940
4002
တကယ့်ကို အရေးကြီးခဲ့တဲ့ အရာတခုကို
ကျွန်တော်တို့ လုပ်ပေးခဲ့ကြတာက
16:22
was to get this thing right.
293
970942
1567
ဒါကို မှန်ကန်စွာ လုပ်နိုင်ခဲ့ခြင်းပဲ
ဖြစ်တယ်လို့ ပြောဆိုနိုင်ကြပါစေ။
16:24
Thank you.
294
972509
1689
ကျေးဇူးတင်ပါတယ်။
16:26
(Applause)
295
974198
2813
(လက်ခုပ်သံများ)
Translated by Myo Aung
Reviewed by sann tint

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com