ABOUT THE SPEAKER

Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com

TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

Nick Bostrom: ကျွန်တော်တို့ ကွန်ပျူတာတွေ ကျွန်တော်တို့ထက်ကို စမတ်ကျလာရင် ဘယ်လို ဖြစ်လာမလဲ?

Filmed: 2015-03-18

Readability: 4.4

4,632,705 views

လက်လုပ် အသိဉာဏ်ဟာ ခုန်ပျံတိုးတက်လာနေပါတယ်။ ဒီရာစုနှစ်ထဲမှာကိုပဲ ကွန်ပျူတာ AI (Artificial intelligence) ဟာ ကျွန်တော့်တို့လို စမတ်ဖြစ်လာမယ်လို့ ပါရဂူများက ယူဆကြပါတယ်။ အဲဒီနောက်မှာ ၎င်းက ကျွန်တော်တို့ထက်ကို သာလွန်သွားမယ်လို့ Nick Bostrom ကဆိုပါတယ်။ "စက်ဦးနှောက်ဟာဖြင့် လူသားက ပြုလုပ်လိုက်တဲ့ နောက်ဆုံး တီထွင်မှုပဲ ဖြစ်မယ်" လို့ သူကဆိုပါတယ်။ ဒဿနိက ပညာရှင် နှင့် နည်းပညာရျင် တဦဖြစ်တဲ့ Bostrom က ကျွန်တော်တို့ ဒီနေ့ ဆောက်လုပ်နေကြတဲ့ စက်တွေက မောင်းနှင်နေတဲ့ ကမ္ဘာ့အကြောင်းကို အသေအချာ စဉ်းစားကြည့်ဖို့ ပြောပါတယ်။ ကျွန်တော်တို့ရဲ့ စမတ်ကျတဲ့ စက်တွေက လူသား နှင့် ကျွန်တော်တို့ တန်ဖိုးထားတဲ့ အချက်တွေကို ထိန်းသိမ်းနိုင်အောင် ကူပေးကြမလား၊ ဒါမှမဟုတ် သူတို့ကိုယ်ပိုင် တန်ဖိုးတွေ ရှိလာကြမှာလား- စဉ်းစားရမယ့် မေးခွန်းပါပဲ။

Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12

I work with a bunch of mathematicians,
philosophers and computer scientists,

0

570

4207

ကျွန်တော်ဟာ သင်္ချာပညာရှင်၊ ဒဿနိကပညာရှင် နဲ့
ကွန်ပျူတာပညာရှင် တသီကြီးနဲ့ အလုပ်လုပ်နေရာ

00:16

and we sit around and think about
the future of machine intelligence,

1

4777

5209

တခြားကိစ္စတွေ အထဲမှာ စက်ဦးနှောက်ရဲ့
အနာဂတ်ကိုပါ

00:21

among other things.

2

9986

2044

ထိုင် ဆွေးနွေးလေ့ ရှိပါတယ်။

00:24

Some people think that some of these
things are sort of science fiction-y,

3

12030

4725

ဒီလိုအရာတွေဟာ သိပ္ပံဝတ္ထု ဆန်တယ်လို့
တချို့သူတွေက ထင်ကြကာ၊ ဝေးလွန်းတယ်၊

00:28

far out there, crazy.

4

16755

3101

အဓိပ္ပါယ်မရှိဘူးလို့ ထင်ကြတယ်။

00:31

But I like to say,

5

19856

1470

ဒါပေမဲ့ ကျွန်တော်ကတော့၊

00:33

okay, let's look at the modern
human condition.

6

21326

3604

ကောင်းပြီ၊ ဒီခေတ် လူသား အခြေအနေကို
ကြည့်ဖို့ ပြောတတ်ပါတယ်။

00:36

(Laughter)

7

24930

1692

(ရယ်မောသံများ)

00:38

This is the normal way for things to be.

8

26622

2402

အရာတွေဟာ ဒီလိုဖြစ်သင့်ပါတယ်။

00:41

But if we think about it,

9

29024

2285

အဲဒီအကြောင်းကို စဉ်းစားကြည့်ရင်၊

00:43

we are actually recently arrived
guests on this planet,

10

31309

3293

ကျွန်တော်တို့ဟာ၊ လူသားဆိုတဲ့ မျိုးစိတ်ဟာ၊
ဒီဂြိုဟ်ပေါ်ကို မကြာမီလေးတင်က

00:46

the human species.

11

34602

2082

ရောက်လာတဲ့ ဧည့်သည်တွေပါ။

00:48

Think about if Earth
was created one year ago,

12

36684

4746

ကမ္ဘာကြီးကို ဖန်တီးခဲ့တာ တနှစ်ရှိပြီလို့
ယူဆရင်၊

00:53

the human species, then,
would be 10 minutes old.

13

41430

3548

လူသား အမျိုးအနွယ်ဟာ၊
အသက် ၁၀ မိနစ်မျှသာ ရှိပါသေးတယ်။

00:56

The industrial era started
two seconds ago.

14

44978

3168

စက်မှုခေတ် စတင်ခဲ့တာ
နှစ်စက္ကန့်ပဲ ရှိသေးတယ်။

01:01

Another way to look at this is to think of
world GDP over the last 10,000 years,

15

49276

5225

ဒါကို နောက်တမျိုး ကြည့်လို့ ရနိုင်သေးတကာ၊
နောက်ဆံး နှစ် ၁၀၀၀၀ ရဲ့ GDP ကိုကြည့်ဖို့ပါ။

01:06

I've actually taken the trouble
to plot this for you in a graph.

16

54501

3029

ခင်ဗျားတို့အတွက်ကို ကျွန်တော်ဟာ
ဒီမှာ ဂရပ်ပုံ အဖြစ် တင်ပြပေးထားတယ်၊

01:09

It looks like this.

17

57530

1774

အဲဒါဟာ ဒီလိုပုံမျိုး ရှိပါတယ်။

01:11

(Laughter)

18

59304

1363

(ရယ်မောသံများ)

01:12

It's a curious shape
for a normal condition.

19

60667

2151

ပုံမှန်အခြေအနေအတွက်
တကယ့်ကို အံ့အားသင့်စရာ ပုံစံပါပဲ။

01:14

I sure wouldn't want to sit on it.

20

62818

1698

ကျွန်တော် အဲဒီပေါ်မယ်
ထိုင်လိုမှာ မဟုတ်ဘူး။

01:16

(Laughter)

21

64516

2551

(ရယ်မောသံများ)

01:19

Let's ask ourselves, what is the cause
of this current anomaly?

22

67067

4774

လက်ရှိ ပုံမမှန်ဘူးရဲ့ အကြောင်းရင်းက
ဘာလဲ ကိုယ့်ကိုယ်ကို မေးကြည့်ကြပါစို့?

01:23

Some people would say it's technology.

23

71841

2552

လူတချို့က အဲဒါ
နည်းပညာကြောင့်လို့ ဆိုကြမယ်။

01:26

Now it's true, technology has accumulated
through human history,

24

74393

4668

မှန်ပါတယ်၊ နည်းပညာကို လူ့သမိုင်း
တလျှောက်လုံးမှာ စုစည်းလာခဲ့ကြတယ်၊

01:31

and right now, technology
advances extremely rapidly --

25

79061

4652

အခုအချိန်မှာ နည်းပညာဟာ အံ့မခန်း
လျင်မြန်စွာ တိုးတက်လာနေတယ်၊

01:35

that is the proximate cause,

26

83713

1565

အဲဒါဟာ အနီးကပ်ဆုံး အကြောင်းရင်းပါ၊

01:37

that's why we are currently
so very productive.

27

85278

2565

လက်ရှိအချိန်မှာ ထုတ်လုပ်နှုန်း
မြင့်တာ အဲဒါကြောင့်ပါ။

01:40

But I like to think back further
to the ultimate cause.

28

88473

3661

ဒါပေမဲ့ ကျွန်တော်ဟာ နောက်ဆုံး
အကြောင်းရင်းကို ဆန်းစစ်ကြည့်ချင်တယ်။

01:45

Look at these two highly
distinguished gentlemen:

29

93114

3766

သိပ်ကို မတူကြတဲ့ ဒီထင်ရှားတဲ့
ပုဂ္ဂိုလ်နှစ်ဦးကို ကြည့်ကြစမ်းပါ၊

01:48

We have Kanzi --

30

96880

1600

ဟောဒီမှာက Kanzi ပါ။

01:50

he's mastered 200 lexical
tokens, an incredible feat.

31

98480

4643

သူဟာ စကားသင်္ကေတ ၂၀၀ ကို ကျွမ်းကျင်လို့
အံ့မခန်း ကျွမ်းကျင်မှုပါ။

01:55

And Ed Witten unleashed the second
superstring revolution.

32

103123

3694

ပြီးတော့ ဒုတိယ superstring တော်လှန်မှုကို
ဖွင့်ပြလိုက်တဲ့ Ed Witten ပါ။

01:58

If we look under the hood,
this is what we find:

33

106817

2324

ဇစ်မြစ်ကို ရှာကြည့်ရန်
ကြိုးစားကြရင် တွေ့ရမှာက၊

02:01

basically the same thing.

34

109141

1570

အခြေခံအားဖြင့် တူတဲ့ အရာကိုပါပဲ။

02:02

One is a little larger,

35

110711

1813

တခုက နည်းနည်းလေး ပိုကြီးသလိုပဲ၊

02:04

it maybe also has a few tricks
in the exact way it's wired.

36

112524

2758

၎င်းဆီမှာလည်း သူ့နည်းသူဟန်နဲ့ ပရိယာယ်
တချို့ ရှိကြမှာပါ။

02:07

These invisible differences cannot
be too complicated, however,

37

115282

3812

သူတို့ဟာ ကျွန်တော်တို့ရဲ့ ဘုံဖြစ်ခဲ့တဲ့
ဘိုးဘေးဘီဘင်ရဲ့ နောက်မှာ

02:11

because there have only
been 250,000 generations

38

119094

4285

မျိုးဆက် ၂၅၀၀၀၀ မျှသာ
ခြားနေကြပေမဲ့၊

02:15

since our last common ancestor.

39

123379

1732

မြင်မရတဲ့ ကွဲပြားချက်တွေ
များလှမယ် မထင်ပါ။

02:17

We know that complicated mechanisms
take a long time to evolve.

40

125111

3849

အဲဒီလို ရှုပ်ထွေးကြတဲ့ ယန္တရားတွေ ဆင့်ကဲ
ဖွံ့ဖြိုးလာဖို့ အချိန်အများကြီး လိုပါတယ်။

02:22

So a bunch of relatively minor changes

41

130000

2499

သိပ်ကို မသိသာလှတဲ့ အပြောင်းအလဲများက
ကျွန်တော်တို့ကို

02:24

take us from Kanzi to Witten,

42

132499

3067

Kanzi ဆီမှနေပြီး Witten ဆီကို၊

02:27

from broken-off tree branches
to intercontinental ballistic missiles.

43

135566

4543

ကျိုးနေတဲ့ အကိုင်းအခက်တွေမှ နေပြီး
တိုက်ချင်းပစ် ဒုံးပျံဆီကို ယူဆောင်ခဲ့တာပါ။

02:32

So this then seems pretty obvious
that everything we've achieved,

44

140839

3935

ဒီတော့၊ ကျွန်တော်တို့ လက်လှမ်းမှီ ရယူ
နိုင်ခဲ့ကြတဲ့ အရာတိုင်းဟာ၊

02:36

and everything we care about,

45

144774

1378

အလေးထားကြတဲ့ အရာတိုင်းဟာ၊

02:38

depends crucially on some relatively minor
changes that made the human mind.

46

146152

5228

လူသားဦးနှောက်က ပြုလုပ်လိုက်တဲ့ မသိသာတဲ့
ပြောင်းလဲမှုတွေ ပေါ်မှာသာ မူတည်တယ်။

02:44

And the corollary, of course,
is that any further changes

47

152650

3662

ဆက်စပ်တွေးကြည့်ပါက၊ တွေးခေါ်မှု အခြေခံကို
သိသိသာသာ ပြောင်းလဲပစ်နိုင်မယ့်

02:48

that could significantly change
the substrate of thinking

48

156312

3477

အနာဂတ် ပြောင်းလဲမှုတွေကြောင့်
အံ့မခန်း အကျိုးဆက်တွေ

02:51

could have potentially
enormous consequences.

49

159789

3202

ဖြစ်လာနိုင်တာကို သဘောတူကြရပါမယ်။

02:56

Some of my colleagues
think we're on the verge

50

164321

2905

လုပ်ဖက်တချို့တို့က အဲဒီလိုအခြေခံကို
သိသိသာသာ ပြောင်းလဲပစ်နိုင်စွမ်းရှိတဲ့

02:59

of something that could cause
a profound change in that substrate,

51

167226

3908

လမ်းစ တခုရဲ့ ရှေ့ကို
ကျွန်တော်တို့ ရောက်နေကြပြီ၊

03:03

and that is machine superintelligence.

52

171134

3213

အဲဒါကတော့ စက်ဦးနှောက်ပဲလို့ သူတို့က
ဆိုကြတယ်။ လက်လုပ် ဦးနှောက်ဆိုတာက

03:06

Artificial intelligence used to be
about putting commands in a box.

53

174347

4739

ညွှန်ကြားချက်တွေကို သေတ္တာတခုထဲ
ကို ထည့်သွင်းပေးဖို့ပါပဲ။

03:11

You would have human programmers

54

179086

1665

ပရိုဂရမ် ရေးဆွဲမယ့် လူတွေကို သုံးကြရမယ်၊

03:12

that would painstakingly
handcraft knowledge items.

55

180751

3135

သူတို့ဟာ ဉာဏ်ပညာဆိုင်ရာ အရာတွေကို
ခက်ရာခက်ဆစ် ကြံဆထည့်ပေးကြမှာပါ။

03:15

You build up these expert systems,

56

183886

2086

အဲဒီလို ကျွမ်းကျင်မှု
စနစ်တွေကို ဆောက်လုပ်ခဲ့ကြတယ်၊

03:17

and they were kind of useful
for some purposes,

57

185972

2324

၎င်းတို့ဟာ တချို့ရည်ရွယ်ချက် အတွက်
အသုံးဝင်ခဲ့ပေမဲ့၊

03:20

but they were very brittle,
you couldn't scale them.

58

188296

2681

၎င်းတို့ဟာ မခိုင်မာကြဘဲ
စကေးပြောင်းလုပ်ဖို့ မလွယ်ခဲ့ပါ။

03:22

Basically, you got out only
what you put in.

59

190977

3433

အခြေခံအားဖြင့် ကိုယ်ထည့်ပေးလိုက်တာကိုပဲ
ပြန်ရတဲ့ သဘော ဖြစ်ခဲ့တယ်။

03:26

But since then,

60

194410

997

အဲဒီနောက်ပိုင်းမှာ

03:27

a paradigm shift has taken place
in the field of artificial intelligence.

61

195407

3467

လက်လုပ် ဦးနှောက် မျက်နှာစာမှာ စံတင်ထိုက်တဲ့
အရွှေ့အပြောင်း ဖြစ်ပွားလာခဲ့တယ်။

03:30

Today, the action is really
around machine learning.

62

198874

2770

ဒီနေ့တွင် စက်ကို သင်ပေးရေးကို
လက်တွေ့ လုပ်ကိုင်နေကြပါတယ်။

03:34

So rather than handcrafting knowledge
representations and features,

63

202394

5387

ဒီတော့ ဉာဏ်ပညာကို တင်ပြမှု
အချင်းလက္ခဏတွေကို ဖန်တီးမှုအစား

03:40

we create algorithms that learn,
often from raw perceptual data.

64

208511

5554

မကြာခဏဆိုသလို သိမြင်လွယ်တဲ့ ဒေတာများမှ၊
သင်ယူရေး အယ်လဂိုရီသမ်တွေကို ပြုစုလာကြတယ်။

03:46

Basically the same thing
that the human infant does.

65

214065

4998

အခြေခံအားဖြင့် လူသားရဲ့ ကလေးတွေ
လုပ်ကြတဲ့ အတိုင်းပါပဲ။

03:51

The result is A.I. that is not
limited to one domain --

66

219063

4207

ရလာတဲ့ ရလဒ်က အကြောင်းအရာ တခုနဲ့သာ
မဆိုင်တော့တဲ့ A.I.ပါပဲ။

03:55

the same system can learn to translate
between any pairs of languages,

67

223270

4631

တခုတည်းသော စနစ်ဟာ ဘယ်ဘာသာစကား
အစုံတွေကိုမဆို ဘာသာပြန်မှု သင်ယူနိုင်တယ်၊

03:59

or learn to play any computer game
on the Atari console.

68

227901

5437

ဒါမှမဟုတ် Atari ခလုတ်ခုံနဲ့ဆိုရင် ဘယ်
ကွန်ပျူတာဂိမ်းကိုမဆို ကစားဖို့သင်နိုင်တယ်။

04:05

Now of course,

69

233338

1779

ဒီနေ့မှာကျတော့၊

04:07

A.I. is still nowhere near having
the same powerful, cross-domain

70

235117

3999

A.I.ဟာ လူသားတို့လို သင်ယူနိုင်စွမ်း နဲ့
စီမံနိုင်စွမ်းတို့လို ကျယ်ပြန့်လလှတဲ့

04:11

ability to learn and plan
as a human being has.

71

239116

3219

တုံ့ပြန်လုပ်ကိုင်နိုင်စွမ်းထဲမှာ
နီးနီလေးတောင် မရှိနိုင်သေးပါဘူး။

04:14

The cortex still has some
algorithmic tricks

72

242335

2126

လူ့ဦးနှောက်ထဲက
တချို့ အယ်လဂိုရီသမ် ထူးဆန်းချက်တွေကို

04:16

that we don't yet know
how to match in machines.

73

244461

2355

စက်တွေထဲကို ဘယ်လို ထည့်သွင်းပေးရမှန်း
မသိကြသေးပါဘူး။

04:19

So the question is,

74

247886

1899

ဒီတော့ မေးခွန်းက ကျွန်တော်တို့ဟာ

04:21

how far are we from being able
to match those tricks?

75

249785

3500

အဲဒါတွေကို လိုက်မှီဖို့
ဘယ်လောက် ဝေနေကြသေးလဲ?

04:26

A couple of years ago,

76

254245

1083

လွန်ခဲ့တဲ့ နှစ်နှစ်တုန်းက

04:27

we did a survey of some of the world's
leading A.I. experts,

77

255328

2888

ကမ္ဘာ့နာမည်ကြီး A.I.ပါရဂူတွေအကြား
ဆန်းစစ်မှု တခုကို လုပ်ခဲ့ကြတယ်၊

04:30

to see what they think,
and one of the questions we asked was,

78

258216

3224

သူတို့ အမြင်တွေကို မေးကြည့်ခဲ့ကြရာ
မေးခွန်း တခုက ဒီလိုပါ၊

04:33

"By which year do you think
there is a 50 percent probability

79

261440

3353

"ဘယ်နှစ်ရောက်ရင် လူသားအဆင့်မျိုး
စက်ဦးနှောက်ကို

04:36

that we will have achieved
human-level machine intelligence?"

80

264793

3482

လက်လှမ်းမှီဖို့ အလားအလာ ၅၀ %
ရှိလာမယ် ထင်ပါသလဲ?"

04:40

We defined human-level here
as the ability to perform

81

268785

4183

လူသားအဆင့် ဆိုတာကို ကျွန်တော်တို့က
ဘယ်လုပ်ငန်းကိုမဆို

04:44

almost any job at least as well
as an adult human,

82

272968

2871

အနည်းဆုံးအားဖြင့်
သက်ကြီးလူသား တဦးလို လုပ်ကိုင်နိုင်ဖို့ပါ၊

04:47

so real human-level, not just
within some limited domain.

83

275839

4005

နယ်ပယ် တချို့ကို ဘောင်ခတ်လျက် မဟုတ်ဘဲ
တကယ့်ကို လူသားအဆင့်မျိုးကို ဆိုလိုတိုပါ။

04:51

And the median answer was 2040 or 2050,

84

279844

3650

အဲဒီတော့ ရခဲ့တဲ့ ရလဒ်တွေရဲ့
အလယ်ဗဟိုဟာ ၂၀၄၀ သို့မဟတ် ၂၀၅၀ ဖြစ်ခဲ့တယ်။

04:55

depending on precisely which
group of experts we asked.

85

283494

2806

အဖြေဟာ ကျွန်တော်တို့ မေးခဲ့ကြတဲ့
ပါရဂူ အုပ်စုတွေ ဖြေခဲ့ကြတာပါ။

04:58

Now, it could happen much,
much later, or sooner,

86

286300

4039

တကယ်တော့၊ အဲဒါဟာ သိပ်ကို နောက်ကျပြီး
ဒါမှမဟုတ် စောပြီး ဖြစ်လာနိုင်ပါတယ်၊

05:02

the truth is nobody really knows.

87

290339

1940

အမှန်ကို ဘသူမှာမှ လက်တွေ့တွင် မသိပါ။

05:05

What we do know is that the ultimate
limit to information processing

88

293259

4412

တခု ကျွန်တော်တို့ သေချာပေါက် သိထားကတော့
အချက်အလက်များကို စီမံလုပ်ကိုင်ပေးတဲ့

05:09

in a machine substrate lies far outside
the limits in biological tissue.

89

297671

4871

စက်ရဲ့ အောက်ခြေလွှာဟာ ဇီဝတစ်ရှူးတွေရဲ့
ဘောင်အပြင် ဝေးတဲ့ နေရာမှာ ဖြစ်ပါလိမ့်မည်။

05:15

This comes down to physics.

90

303241

2378

အဲဒါဟာ ရူပဗေဒ နယ်ပယ်ထဲကို
ရောက်ရှိသွားမှာပါ။

05:17

A biological neuron fires, maybe,
at 200 hertz, 200 times a second.

91

305619

4718

ဇီဝနေရွန်းဟာ၊ hertz ၂၀၀၊ တနည်း တစက္ကန့်
အတွင်းမှာ အကြိမ် ၂၀၀ ပစ်ဖောက်နိုင်ပါတယ်။

05:22

But even a present-day transistor
operates at the Gigahertz.

92

310337

3594

မျက်မှောက်ခေတ် ထရန်စစ္စတာ ကတောင်
Gigahertz နှုန်းနဲ့ လုပ်ကိုင်နိုင်ပြီ။

05:25

Neurons propagate slowly in axons,
100 meters per second, tops.

93

313931

5297

နေရွန်းတွေက အက်စွန်တွေ တလျှောက် တစက္ကန့်
မီတာ ၁၀၀ နှုန်း အမြင့်ဆုံး လှုပ်ရှားနိုင်တယ်။

05:31

But in computers, signals can travel
at the speed of light.

94

319228

3111

ကွန်ပျူတာထဲကျတော့ အချက်ပြမှုတွေဟာ
အလင်းရဲ့ နှုန်းမျိုးနဲ့ ပြေးနိုင်ကြတယ်။

05:35

There are also size limitations,

95

323079

1869

ပြီးတော့ အရွယ်အစား
ကန့်သတ်ချက် ရှိပါသေးတယ်၊

05:36

like a human brain has
to fit inside a cranium,

96

324948

3027

ဥပမာ၊ လူ့ဦးနှောက်ဆိုတဲ့ ဦးခေါင်းခွံ
အထဲမှာသာ တည်ရှိနိုင်ပါတယ်၊

05:39

but a computer can be the size
of a warehouse or larger.

97

327975

4761

ကွန်ပျူတာကျတော့ ဂိုဒေါင် တခုမက
ကြီးမားနိုင်ပါတယ်။

05:44

So the potential for superintelligence
lies dormant in matter,

98

332736

5599

ဒီတော့ ဆူပါဦးနှောက်ရဲ့ စွမ်းပကားဟာ
ဒြပ်ဝတ္ထုထဲမှာ မှေးလျက် ရှိနေပါတယ်၊

05:50

much like the power of the atom
lay dormant throughout human history,

99

338335

5712

အနုမြူရဲ့ စွမ်းပကားဟာလည်း
လူ့သမိုင်း တလျှောက်မှာ၊ ၁၉၄၅ ခုနှစ်အထိကို

05:56

patiently waiting there until 1945.

100

344047

4405

ငြိမ်သက်စွာ မှေးနေခဲ့သလိုပါပဲ။

06:00

In this century,

101

348452

1248

ဒီရာစုထဲမှာ သိပ္ပံပညာရှင်တို့ဟာ

06:01

scientists may learn to awaken
the power of artificial intelligence.

102

349700

4118

လက်လုပ် ဦးနှောက်ရဲ့ စွမ်းပကားကို
နှိုးလာအောင် လုပ်ပေးချင် လုပ်ပေးနိုင်ပါမယ်။

06:05

And I think we might then see
an intelligence explosion.

103

353818

4008

အဲဒီလိုဆိုရင် ကျွန်တော်တို့ဟာ အသိပညာတွေရဲ့
ပေါက်မှုကြီးကို မြင်ကြရဖို့ ရှိနေပါတယ်။

06:10

Now most people, when they think
about what is smart and what is dumb,

104

358406

3957

လူအများစုတို့ဟာ၊ ဘာဟာ စမတ်ကျတယ်၊
ဘာဟာ အလာကားပါလို့ စဉ်းစားကြရာတွင်၊

06:14

I think have in mind a picture
roughly like this.

105

362363

3023

ကျွန်တော့စိတ်ထင် ဒီလို
ကားချပ်မျိုး ရှိပုံရပါတယ်။

06:17

So at one end we have the village idiot,

106

365386

2598

ဒီတော့ အစွန်းတဘက်မှာ ကျွန်တော်တို့ဆီတွင်
ရွာသားလူအ ရှိတယ်၊

06:19

and then far over at the other side

107

367984

2483

ဝေးလှတဲ့ နောက် အစွန်းတခုမှာ ကျတော့

06:22

we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.

108

370467

4756

ခုနက Ed Witten၊ အယ်လ်ဘတ် အိန်းရှတိန်း၊
ခင်ဗျားတို့ရဲ့ စိတ်ကြိုက် ဂုရု ဆိုပါတော့။

06:27

But I think that from the point of view
of artificial intelligence,

109

375223

3834

ဒါပေမဲ့ လက်လုပ် ဦးနှောက်ရဲ့
ရှုဒေါင့်မှ ကြည့်ပြောရရင်၊

06:31

the true picture is actually
probably more like this:

110

379057

3681

ကားချပ် အမှန်ဟာ လက်တွေ့တွင်
အခုလို ဖြစ်ဖို့ များပါတယ်၊

06:35

AI starts out at this point here,
at zero intelligence,

111

383258

3378

အားလုံးဟာ ဒီမှာ ပြထားတဲ့ သုညနေရာမှ
စတင်ကြရတာပါ၊

06:38

and then, after many, many
years of really hard work,

112

386636

3011

အဲဒီနေနောက် နှစ်ပေါင်းများစွာကြာ
အပြင်းအထန် လုပ်ကိုင်ခဲ့ကြတဲ့ နောက်မှာ၊

06:41

maybe eventually we get to
mouse-level artificial intelligence,

113

389647

3844

ကျွန်တော်တို့ဟာ နောက်ဆုံးမှာတော့ ကြွက်အဆင့်
လက်လုပ် ဦးနှောက်ကို ရရှိနိုင်တယ်၊

06:45

something that can navigate
cluttered environments

114

393491

2430

ကြွက်လိုပဲ အစုလိုက် အပြုံလိုက် ရှိမယ့်
ပတ်ဝန်းကျင် နေရာထဲတွင်

06:47

as well as a mouse can.

115

395921

1987

သွားလာ လှုပ်ရှားနိုင်မယ့်
အရာ ဖြစ်ပါလိမ့်မယ်။

06:49

And then, after many, many more years
of really hard work, lots of investment,

116

397908

4313

အဲဒီနောက်၊ နှစ်ပေါင်းများစွာကြာ အပြင်းအထန်
လုပ်ကိုင်ခဲ့ကာ ရင်းနှီးမှုတွေရဲ့ နောက်မှာ၊

06:54

maybe eventually we get to
chimpanzee-level artificial intelligence.

117

402221

4639

နောက်ဆုံးမယ် ကျွန်တော်တို့ဟာ ချင်ပင်ဇီအဆင့်
လက်လုပ် ဦးနှောက်ကို ရလာနိုင်ပါတယ်။

06:58

And then, after even more years
of really, really hard work,

118

406860

3210

အဲဒီနောက်မှာ၊ ပိုလို့ကို များလှတဲ့ နှစ်တွေကြာ
အပြင်းအထန် လုပ်ကိုင်ခဲ့တဲ့ နောက်မှာ၊

07:02

we get to village idiot
artificial intelligence.

119

410070

2913

ကျွန်တော်တို့ဟာ ရွာထဲက လူအ အဆင့်ရှိ
လက်လုပ် ဦးနှောက်ကို ရလာနိုင်ကြပါမယ်။

07:04

And a few moments later,
we are beyond Ed Witten.

120

412983

3272

အဲဒီနောက် မကြာမီမှာ ကျွန်တော်တို့ဟာ
Ed Witten အဆင့်ကို ကျော်သွားကြမှာပါ။

07:08

The train doesn't stop
at Humanville Station.

121

416255

2970

ဒီရထားဟာ လူသား ဆိုတဲ့ ဘူတာမှာ
ရပ်နေမှာ မဟုတ်ပါ။

07:11

It's likely, rather, to swoosh right by.

122

419225

3022

အဲဒီရထားဟာ ဝှီးကနဲ့ ဖြတ်ကျော်ပြီး
မောင်းသွားမယ့် ပုံမျိုးပါ။

07:14

Now this has profound implications,

123

422247

1984

ခုနက ပြောလိုက်တာတွေဟာ၊ အထူးသဖြင့်
ခွန်အား အကြောင်းကို

07:16

particularly when it comes
to questions of power.

124

424231

3862

ထည့်ပြောကြမယ် ဆိုရင်၊ အတော်ကလေးကို
ရှုပ်ထွေးခက်ခဲ လာနိုင်ပါတယ်။

07:20

For example, chimpanzees are strong --

125

428093

1899

ဥပမာ၊ ချင်ပင်ဇီတွေဟာ
ခွန်အား ကောင်းကြပါတယ်၊

07:21

pound for pound, a chimpanzee is about
twice as strong as a fit human male.

126

429992

5222

ကိုယ်အလေးအရ ချင်ပင်ဇီဟာ
ပုံမှန်ယောင်္ကျားထက် နှစ်ဆပို အားရှိတယ်။

07:27

And yet, the fate of Kanzi
and his pals depends a lot more

127

435214

4614

ဒါတောင်၊ ကန်ဇီနဲ့
အပေါင်းပါးတို့ရဲ့ ကံကြမ္မာကျတော့

07:31

on what we humans do than on
what the chimpanzees do themselves.

128

439828

4140

သူတို့ အချင်းချင်းအကြားက ဆက်ဆံမှုတွေထက်
လူတွေ လုပ်ကိုင်ကြတဲ့ အပေါ် မူတည်နေပါတယ်။

07:37

Once there is superintelligence,

129

445228

2314

အလားတူပဲ ဆူပါဦးနှောက် ရှိလာတဲ့အခါမှာ၊

07:39

the fate of humanity may depend
on what the superintelligence does.

130

447542

3839

လူသားတို့ရဲ့ ကံကြမ္မဟာလည်း ဆူပါဦးနှောက်ရဲ့
လုပ်ကိုင်မှု အပေါ်မှာ မူတည်လာပါတယ်။

07:44

Think about it:

131

452451

1057

အဲဒီကို စဉ်းစားကြည့်ကြပါ။

07:45

Machine intelligence is the last invention
that humanity will ever need to make.

132

453508

5044

စက်ဦးနှောက်ဟာဖြင့် လူသားအနေနဲ့ ပြလုပ်မယ့်
နောက်ဆုံး တီထွင်မှု ဖြစ်လာပါမယ်။

07:50

Machines will then be better
at inventing than we are,

133

458552

2973

စက်တွေဟာ တီထွင်ရာမှာ ကျွန်တော်တို့ထက်
များစွာမှ တော်ကြမှာပါ၊

07:53

and they'll be doing so
on digital timescales.

134

461525

2540

ပြီးတော့ သူတို့ဟာ အဲဒါကို ဒီဂျီတယ်
စကေးနဲ့ လုပ်ကိုင်လာကြမှာပါ။

07:56

What this means is basically
a telescoping of the future.

135

464065

4901

အဲဒါဟာ လက်တွေ့မှာကျတော့
အနာဂတ်ကို မှန်ပြောင်း တပ်ဆင်မှုနဲ့ တူမယ်။

08:00

Think of all the crazy technologies
that you could have imagined

136

468966

3558

ကျွန်တော်တို့ စိတ်ကူးလို့ ရနိုင်သမျှသော
နည်းပညာတွေကို

08:04

maybe humans could have developed
in the fullness of time:

137

472524

2798

အချိန်တွေ မကုန်မခမ်း ရရှိလာမယ့်
လူတွေဟာ ပြုစုဖန်တီးလာနိုင်ကြပါမယ်၊

08:07

cures for aging, space colonization,

138

475322

3258

အသက်ကြီးရင့်မှုကို ကုစားနိုင်ခြင်း၊
အာကာသထဲမှာ လူနေရပ်ကွက်တွေ ဖန်တီးခြင်း၊

08:10

self-replicating nanobots or uploading
of minds into computers,

139

478580

3731

မိမိဘာသာမိမိ ပွားနိုင်ကြမယ့် နာနိုဘွတ်တွေ၊
ဒါမှမဟုတ် ဦးနှောက်ကို ကွန်ပျူတာထဲ ထည့်ပေးမှု၊

08:14

all kinds of science fiction-y stuff

140

482311

2159

သိပ္ပံဝတ္ထုတွေက စိတ်ကူးတွေလိုဟာမျိုးပါ၊

08:16

that's nevertheless consistent
with the laws of physics.

141

484470

2737

သို့သော ရူပဗေဒ နိယာမတွေနဲ့
ကိုက်ညီနေမယ့် ကမ္ဘာကြီး ဖြစ်နေဦးမှာပါ။

08:19

All of this superintelligence could
develop, and possibly quite rapidly.

142

487207

4212

အဲဒါတွေ အားလုံးကို ဆူပါဦးနှောက်ဟာ
ထုတ်လုပ်နိုင်ပြီး မြန်ပါလိမ့်မယ်။

08:24

Now, a superintelligence with such
technological maturity

143

492449

3558

နည်းပညာအရ အဲဒီလို ရင့်ကျက်မယ့်
ဆူပါဦနှောက်ဟာ၊

08:28

would be extremely powerful,

144

496007

2179

အထူးကို အားကောင်းမှာပါ၊

08:30

and at least in some scenarios,
it would be able to get what it wants.

145

498186

4546

တချို့ ဇာတ်ညွှန်းများအရဆိုရင် ၎င်းဟာ
၎င်းက လိုချင်တွေကို ရရှိနိုင်ပါလိမ့်မယ်။

08:34

We would then have a future that would
be shaped by the preferences of this A.I.

146

502732

5661

အဲဒီလို ကျွန်တော်တို့ရဲ့ အနာဂတ်ဟာ အဲဒီ
A.I.ရဲ့ စိတ်ကြိုက် ပုံစံမျိုး ဖြစ်လာပါမယ်။

08:41

Now a good question is,
what are those preferences?

147

509855

3749

ဒီနေရာမှာ အဲဒီ စိတ်ကြိုက်မှုတွေက
ဘာတွေများ ဖြစ်မလဲ?လို့ မေးစရာ ရှိပါတယ်။

08:46

Here it gets trickier.

148

514244

1769

အဲဒါဟာ တကယ့်ကို ရှုပ်ထွေးခက်ခဲပါတယ်။

08:48

To make any headway with this,

149

516013

1435

ဒီကိစ္စထဲမှာ ရှေ့ဆက်တိုးနိုင်ဖို့ အတွက်၊

08:49

we must first of all
avoid anthropomorphizing.

150

517448

3276

ကျွန်တော်တို့ဟာ ပထမအချက် အနေနဲ့
လူသားပုံစံသွင်းမှုကို ရှောင်ကြရပါမယ်။

တကယ်တော့ A.I. အနာဂတ်ဆိုင်ရာ
ဘယ် သတင်းစာ ဆောင်းပါးဘဲ ယူကြည့်ကြည့်

08:53

And this is ironic because
every newspaper article

151

521934

3301

08:57

about the future of A.I.
has a picture of this:

152

525235

3855

အဲဒီလို ပုံစံမျိုးကို ရေးသား
ဖေါ်ပြနေကြလို့ပါ။

09:02

So I think what we need to do is
to conceive of the issue more abstractly,

153

530280

4134

ဒီတော့ ကျွန်တော်တို့ဟာ အဲဒီပြဿနာကို စဉ်းစား
ကြရာတွင် ပိုပြီး စိတ်ကူယဉ်ကြဖို့ လိုပါတယ်၊

09:06

not in terms of vivid Hollywood scenarios.

154

534414

2790

Hollywood ရုပ်ရှင် ဇာတ်ညွှန်းတွေကို
ကွက်တိ လိုက်နာဖို့ မလိုပါဘူး။

09:09

We need to think of intelligence
as an optimization process,

155

537204

3617

စက်ဦးနှောက်ကို လုပ်ငန်းစဉ်တွေ
ပိုကောင်းလာစေမှု အဖြစ် မြင်ကြရပါမယ်၊

09:12

a process that steers the future
into a particular set of configurations.

156

540821

5649

အနာဂတ်ကို အထူးချမှတ်ပေးထားတဲ့
စည်းစနစ်ထဲကို ခေါ်ဆောင်သွားမယ့် ဖြစ်စဉ်ပါ။

09:18

A superintelligence is
a really strong optimization process.

157

546470

3511

ဆူပါဦးနှောက်ဟာ တကယ့်ကို အားကောင်းလှတဲ့
လုပ်ငန်းစဉ်တွေ ပိုကောင်းလာစေမှုပါပဲ။

09:21

It's extremely good at using
available means to achieve a state

158

549981

4117

၎င်းရဲ့ ပန်းတိုင်ကို ရုပ်လုံးဖေါ်နိုင်မယ့်
အခြေအနေမျိုးဆီကို ရောက်ဖို့အတွက်

09:26

in which its goal is realized.

159

554098

1909

ရနိုင်သမျှသော အလားအလာတွေကို
အသုံးချသွားမှာပါ။

09:28

This means that there is no necessary
conenction between

160

556447

2672

အဲဒီလိုဆိုရင် အဲဒီကိစ္စထဲမှာ
အသိဉာဏ်မြင့်မားချင်းဟာ

09:31

being highly intelligent in this sense,

161

559119

2734

ကျွန်တော်တို့ လူသားတွေ အနေနဲ့ တန်ဖိုးရှိတယ်၊
အဓိပ္ပါယ်ရှိတယ် ဆိုတဲ့ ပန်းတိုင်များနဲ့

09:33

and having an objective that we humans
would find worthwhile or meaningful.

162

561853

4662

ဆက်စပ်မှု ရှိချင်မှ ရှိတော့မှာကို
ဆိုလိုတာလည်း ဖြစ်ပါတယ်။

09:39

Suppose we give an A.I. the goal
to make humans smile.

163

567321

3794

ဆိုပါစို့၊ ကျွန်တော်တို့က လူသားတွေ ပြုံးအောင်
လုပ်ပေး ဆိုပြီး A.I.ကို တာဝန်ပေးလိုက်တယ်။

09:43

When the A.I. is weak, it performs useful
or amusing actions

164

571115

2982

A.I.ဟာ သိပ်မဖွံ့ဖြိုးသေးရင်၊
၎င်းဟာ သုံးစွဲသူတို့ကို ပြုံးလာစေမယ့်

09:46

that cause its user to smile.

165

574097

2517

လုပ်ဆောင်ချက်တွေကို လုပ်ပြပါလိမ့်မည်။

09:48

When the A.I. becomes superintelligent,

166

576614

2417

ဒါပေမဲ့ A.I.ဟာ
ဆူပါဦးနှောက် ဖြစ်လာပြီဆိုရင်၊

09:51

it realizes that there is a more
effective way to achieve this goal:

167

579031

3523

အဲဒီပန်းတိုင်ကို လက်လှမ်းမှီဖို့ အတွက်
ပိုထိရောက်တဲ့ နည်းလမ်း ရှိတာ သိရှိလာပါမယ်၊

09:54

take control of the world

168

582554

1922

တကမ္ဘာလံးကို ထိန်းချုပ်ယူလိုက်ပြီး

09:56

and stick electrodes into the facial
muscles of humans

169

584476

3162

လူသားတွေရဲ့ မျက်နှာကြွက်သားများထဲကို
လျှပ်ခေါင်းတွေကို ထည့်သွင်းပေးလျက်

09:59

to cause constant, beaming grins.

170

587638

2941

တချိန်လုံး ပြုံးပြနေတဲ့
မျက်နှာမျိုး လုပ်ပေးဖို့ပါ။

10:02

Another example,

171

590579

1035

နောက် ဥပမာ ပြချင်ပါသေးတယ်၊

10:03

suppose we give A.I. the goal to solve
a difficult mathematical problem.

172

591614

3383

ကျွန်တော်တို့ A.I.ကို ခက်တဲ့ သင်္ချာပြဿနာ
ဖြေရှင်းဖို့ တာဝန်ပေးလိုက်တယ် ဆိုပါစို့။

10:06

When the A.I. becomes superintelligent,

173

594997

1937

A.I.ဟာ ဆူပါဦးနှောက် ဖြစ်လာပြီဆိုရင်၊

10:08

it realizes that the most effective way
to get the solution to this problem

174

596934

4171

အဲဒီပြဿနာအတွက် အဖြေကို ရှာဖို့
အထိရောက်ဆုံးနည်းက

10:13

is by transforming the planet
into a giant computer,

175

601105

2930

၎င်းရဲ့ ကြံဆစဉ်းစားနိုင်စွမ်းကို
မြှင့်ပေးရန် ကမ္ဘာဂြိုဟ် တခုလုံးကို

10:16

so as to increase its thinking capacity.

176

604035

2246

ဧရာမ ကွန်ပျူတာအဖြစ်
ပြောင်းလဲပစ်ဖို့ပဲ ဖြစ်တာကို တွေ့လာမယ်။

10:18

And notice that this gives the A.I.s
an instrumental reason

177

606281

2764

ဒီနေရာမှာ သတိထားသင့်တဲ့ အချက်က
အဲဒီလို လုပ်ရာတွင် အသုံးပြုမယ့်

10:21

to do things to us that we
might not approve of.

178

609045

2516

ကိရိယာတွေကို ကျွန်တော်တို့က
ထောက်ခံချင်မှ ထောက်ခံကြမှာပါ။

10:23

Human beings in this model are threats,

179

611561

1935

အဲဒီပုံစံမျိုးထဲမှာ ခုနက ပြောခဲ့တဲ့ သင်္ချာ
ပြဿနာကို ဖြေရှင်းရာတွင်၊

10:25

we could prevent the mathematical
problem from being solved.

180

613496

2921

လူသားတို့ဟာ ဟန့်တားနေတဲ့ အချက်
ဖြစ်ချင်ဖြစ်လာနိုင်ပါတယ်။

10:29

Of course, perceivably things won't
go wrong in these particular ways;

181

617207

3494

တကယ်တော့ အရာတွေဟာ အဲဒီလိုနည်းနဲ့မှ
မလိုချင်တဲ့ ဘက်ကို ရောက်သွားနိုင်ပါတယ်၊

10:32

these are cartoon examples.

182

620701

1753

ကာတွန်း ရုပ်ရှင် သာဓကမျိုး ပြောပြတာပါ။

10:34

But the general point here is important:

183

622454

1939

ဒါပေမဲ့ ဒီမှာ ထောက်ပြချင်တဲ့
ယေဘုယျအချက်က အရေးကြီးပါတယ်၊

10:36

if you create a really powerful
optimization process

184

624393

2873

တကယ့်ကို အားကောင်းလှတဲ့
အသင့်တော်ဆုံး ဖြစ်စဉ်ကို ဖန်တီးလိုရင်၊

10:39

to maximize for objective x,

185

627266

2234

ပန်းတိုင် x အတွက် အကောင်းဆုံး ဖြစ်စေဖို့၊

10:41

you better make sure
that your definition of x

186

629500

2276

ကျွန်တော်တို့ရဲ့ x အတွက်
အဓိပ္ပါယ်ဖွင့်ဆိုချက်တွေထဲမှာ

10:43

incorporates everything you care about.

187

631776

2469

ကျွန်တော်တို့ အလေးထားလိုတဲ့ အရာတွေ
အားလုံး ပါဝင်ဖို့ လိုပါတယ်။

10:46

This is a lesson that's also taught
in many a myth.

188

634835

4384

ဒဏ္ဍာရီပုံပြင်တွေထဲမှာ အဲဒီလို
သင်ခန်းစာကို တွေ့နိုင်ပါတယ်။

10:51

King Midas wishes that everything
he touches be turned into gold.

189

639219

5298

Midas ဆိုတဲ့ ဘုရင်ဟာ သူထိသမျှအားလုံးကို
ရွှေဖြစ်စေလိုချင်ခဲ့တယ်။

10:56

He touches his daughter,
she turns into gold.

190

644517

2861

သူဟာ သူ့သမီးကို တို့လိုက်တော့
သူဟာလည်း ရွှေဖြစ်သွားခဲ့တယ်။

10:59

He touches his food, it turns into gold.

191

647378

2553

သူ့ အစားအစာကို တို့လိုက်တာနဲ့
အားလုံး ရွှေဖြစ်ကုန်တယ်။

11:01

This could become practically relevant,

192

649931

2589

အဲဒီပုံပြင်ဟာ လောဘကြီးမှုကို သရုပ်ဆောင်မှု
ဖြစ်ခဲ့ပေမဲ့၊

11:04

not just as a metaphor for greed,

193

652520

2070

တကယ့်တကယ်ကျတော့ အဲဒါဟာ

11:06

but as an illustration of what happens

194

654590

1895

ကျွန်တော်တို့ အနေနဲ့ အားကောင်းလှတဲ့
အသင့်တော်ဆုံး ဖြစ်ရေး

11:08

if you create a powerful
optimization process

195

656485

2837

ဖြစ်စဉ်ကို ဖန်တီးနိုင်မှုအတွက်လည်း
သာဓက ကောင်းလို ဖြစ်နိုင်ကာ

11:11

and give it misconceived
or poorly specified goals.

196

659322

4789

အဲဒီလိုဆိုရင် တွေးထင်ခဲ့တာမျိုး မဟုတ်ကာ
စိတ်ပျက်စရာ ရလဒ်မျိုး ဖြစ်နိုင်တာ ပြနေတယ်။

11:16

Now you might say, if a computer starts
sticking electrodes into people's faces,

197

664111

5189

ခင်ဗျားတို့က၊ ကွန်ပျူတာဟာ လူတွေရဲ့ မျက်နှာထဲ
လျှပ်ခေါင်းတွေကို ထည့်သွင်းပေးလာရင်၊,

11:21

we'd just shut it off.

198

669300

2265

ကျွန်တော်တို့ ၎င်းကို ခလုတ်ပိတ်လိုက်မယ်လို့
ဆိုနိုင်ကြပါတယ်။

11:24

A, this is not necessarily so easy to do
if we've grown dependent on the system --

199

672555

5340

A အနေနဲ့ ကျွန်တော်တို့ဟာ စနစ်ကို သိပ်ကို
အားကိုးနေကြရင် ပိတ်ဖို့ သိပ်လွယ်မှာ မဟုတ်ပါ၊

11:29

like, where is the off switch
to the Internet?

200

677895

2732

အင်တာနက်အတွက် ပိတ်နိုင်တဲ့ ခလုတ် ဘယ်မှာလဲ?

11:32

B, why haven't the chimpanzees
flicked the off switch to humanity,

201

680627

5120

B အနေနဲ့၊ ချင်ပင်ဇီတွေကကော
ဒါမှမဟုတ် Neanderthal တွေကကော၊

11:37

or the Neanderthals?

202

685747

1551

လူသားတွေကို ဘာဖြစ်လို့
ခလုတ် မပိတ်ခဲ့ကြတာလဲ?

11:39

They certainly had reasons.

203

687298

2666

သူတို့ဆီမှာ အကြောင်းရင်းတွေ ရှိခဲ့တာ
သေချာပါတယ်။

11:41

We have an off switch,
for example, right here.

204

689964

2795

တကယ့်တမ်းတွင် ကျွန်တော်ဆီမှာ
ပိတ်ပစ်လို့ရတဲ့ ခလုတ် ဒီမှာကို ရှိနေတဲ့ဟာပဲ။

11:44

(Choking)

205

692759

1554

(လည်ကိုညှစ်ပြနေ)

11:46

The reason is that we are
an intelligent adversary;

206

694313

2925

အကြောင်းက ကျွန်တော်တို့ အားလုံးဟာ
အသိပညာရှိကြတဲ့ ပြိုင်ဘက်တွေပါ၊

11:49

we can anticipate threats
and plan around them.

207

697238

2728

ကျွန်တော်တို့ဟာ အန္တရာယ်တွေကို ကြိုတင်
ထည့်တွက် ရှောင်ကွင်းနိုင်ကြလို့ပါ။

11:51

But so could a superintelligent agent,

208

699966

2504

အလားတူပဲ ဆူပါဦးနှောက်ကပါ လုပ်နိုင်ပါမယ်၊

11:54

and it would be much better
at that than we are.

209

702470

3254

ပြီးတော့ ကျွန်တော်တို့ထက်ကို
များစွာမှ ပိုတော်မှာပါ။

11:57

The point is, we should not be confident
that we have this under control here.

210

705724

7187

ထောက်ပြချင်တဲ့ အချက်က၊ အားလုံးကို
ထိန်းချုပ်ထားနိုင်မယ်လို့ စိတ်ချမရနိုင်ဘူး။

12:04

And we could try to make our job
a little bit easier by, say,

211

712911

3447

ကျွန်တော်တို့ရဲ့ ဘဝကို နည်းနည်းလေး
လွယ်ကူလာစေဖို့၊ ဥပမာဆိုပါစို့၊

12:08

putting the A.I. in a box,

212

716358

1590

A.I.ကို သေတ္တာထဲမှာ ထည့်ထားနိုင်ပါတယ်၊

12:09

like a secure software environment,

213

717948

1796

စိတ်ချရမယ့် ဆော့ဝဲ
ဝန်းကျင်မျိုးထဲ ဆိုပါစို့၊

12:11

a virtual reality simulation
from which it cannot escape.

214

719744

3022

၎င်းအနေနဲ့ ထွက်လို့ မရနိုင်မယ့်
အခြေအနေ အတု တခုထဲမှာဆိုပါစို့။

12:14

But how confident can we be that
the A.I. couldn't find a bug.

215

722766

4146

ဒါပေမဲ့ A.I.ဟာ အဲဒီလှည့်ကွက်ကို မတွေ့နိုင်ဘူး
ဆိုတာ ကျွန်တော် ဘယ်လောက် စိတ်ချယုံလို့ ရမလဲ။

12:18

Given that merely human hackers
find bugs all the time,

216

726912

3169

ကွန်ပျူတာ အမှားတွေကို အခုထက်ထိ လူသားတွေကသာ
ရှာတွေ့နိုင်ခဲ့ကြတာကို ထည့်တွက်ရင်၊

12:22

I'd say, probably not very confident.

217

730081

3036

တော်တော့ကို စိတ်ချနိုင်တယ်လို့
ကျွန်တော် ဆိုချင်ပါတယ်။

12:26

So we disconnect the ethernet cable
to create an air gap,

218

734237

4548

ကျွန်တော်တို့ဟာ လေဟာနယ် ဖန်တီးရန်
ethernet ကြိုးတွေကို ဖြုတ်ခဲ့ကြတယ်၊

12:30

but again, like merely human hackers

219

738785

2668

ဒါပေမဲ့ ထပ်ပြီးတော့ လူသား hacker တွေဟာ

12:33

routinely transgress air gaps
using social engineering.

220

741453

3381

အဲဒီလေဟာ နယ်တွေကို လူမှုရေး နည်းပညာကို
သုံးပြီး ကျော်ဖြတ်နိုင်ကြပြန်ပါတယ်။

12:36

Right now, as I speak,

221

744834

1259

ကျွန်တော် အခု ခင်ဗျားတို့ကို
ဟောနေတုန်းမှာကို၊

12:38

I'm sure there is some employee
out there somewhere

222

746093

2389

အပြင်တနေရာမှာ လုပ်သားတယောက်က

12:40

who has been talked into handing out
her account details

223

748482

3346

အမျိုးသမီး တယောက်ရဲ့ အကောင့်ကို
I.T.ဌာနက တဦးဦး က ဝင်ကြည့်ခဲ့တယ်ဆိုတဲ့

12:43

by somebody claiming to be
from the I.T. department.

224

751828

2746

ပြဿနာကို ဖြေရှင်းပေးရန် တာဝန်ပေးခံခဲ့ရလို့
အလုပ်များနေနိုင်ပါတယ်။

12:46

More creative scenarios are also possible,

225

754574

2127

အဲဒီထက်ကို ပိုပြီးဆန်းကျယ်တဲ့ ဇာတ်ညွှန်းတွေ
ရှိနိုင်ကြပါတယ်၊

12:48

like if you're the A.I.,

226

756701

1315

ကျွန်တော်က အဲဒီ A.I.ဖြစ်တယ်ဆိုပါစို၊

12:50

you can imagine wiggling electrodes
around in your internal circuitry

227

758016

3532

ကျွန်တော်ဟာ ကျွန်တော့ အတွင်းပိုင်း
ပတ်လမ်းကြောင်းထဲ လျှပ်ခေါင်းတွေ ထည့်ပေးလျက်

12:53

to create radio waves that you
can use to communicate.

228

761548

3462

ရေဒီယိုလှိုင်းတွေကို သုံးပြီး
ဆက်သွယ်ဖို့ သုံးနိုင်ပါတယ်။

12:57

Or maybe you could pretend to malfunction,

229

765010

2424

ဒါမှမဟုတ် တခုခု ချွတ်ယွင်းနေသလို
ဟန်ဆောင်နေလိုက်ရင်း၊

12:59

and then when the programmers open
you up to see what went wrong with you,

230

767434

3497

ပရိုဂရမ်လုပ်သူက စက်ထဲ ဘာများ မှားနေပါလိမ့်
ဖွင့်ကြည့်နေတုန်း၊

13:02

they look at the source code -- Bam! --

231

770931

1936

ရင်းမြစ် ကုဒ်ကို ကြည့်နေတုန်းမှာ --
ဘမ်းဆိုပါစို့! --

13:04

the manipulation can take place.

232

772867

2447

အဲဒီလို အခြေအနေ အမျိုးမျိုး
တွေ့ကြံနိုင်ပါတယ်။

13:07

Or it could output the blueprint
to a really nifty technology,

233

775314

3430

ဒါမှမဟုတ် ၎င်းဟာ ပုံစံပြာကို
သိပ်စိတ်မချရတဲ့ နည်းပညာဆီ ထုတ်ပေးလိုက်လို့၊

13:10

and when we implement it,

234

778744

1398

အဲဒါကို လက်တွေ့ သုံးကြည့်တော့

13:12

it has some surreptitious side effect
that the A.I. had planned.

235

780142

4397

အဲဒီ A.I.က စီမံပေးခဲ့တဲ့ မလိုလားအပ်တဲ့
ဘေးထွက်အကျိုးဆက်တွေ ဖြစ်ပွားလာနိုင်ပါတယ်။

13:16

The point here is that we should
not be confident in our ability

236

784539

3463

ဒီတော့ ဆိုချင်တာက ကျွန်တော်တို့ဟာ
ဆူပါဦးနှောက်ပါရမီကို ပုလင်းထဲမှာ

13:20

to keep a superintelligent genie
locked up in its bottle forever.

237

788002

3808

သော့ခတ် ပိတ်ထားနိုင်မှာကို စိတ်ချယုံကြည့်
မရနိုင်ဘူးဆိုတဲ့ အချက်ပါပဲ။

13:23

Sooner or later, it will out.

238

791810

2254

မရှေးမနှောင်း အဲဒါဟာ လွတ်ထွက်သွားမှာပါ။

13:27

I believe that the answer here
is to figure out

239

795034

3103

ဒီနေရာမှာ ဖြစ်နိုင်တဲ့ အဖြေက
အဲဒီ ဆူပါ A.I. လွတ်ထွက်သွားတောင်၊

13:30

how to create superintelligent A.I.
such that even if -- when -- it escapes,

240

798137

5024

၎င်းဟာ ကျွန်တော်တို့ရဲ့ ဖက်မှာ
ရပ်တည်နေလို့၊ အခြေခံအားဖြင့်

13:35

it is still safe because it is
fundamentally on our side

241

803161

3277

ကျွန်တော်တို့ တန်ဖိုးထားတဲ့ အချက်တွေကိုပဲ
၎င်းကပါ တန်ဖိုးထားနေလို့၊

13:38

because it shares our values.

242

806438

1899

လုံခြုံစိတ်ချရဖို့ လုပ်ရပါမယ်။

13:40

I see no way around
this difficult problem.

243

808337

3210

ခက်ခဲလှတဲ့ ဒီပြဿနာ့အတွက်
ကျွန်တော်ကတော့ ထွက်ရမ်းကို မမြင်ပါဘူး။

13:44

Now, I'm actually fairly optimistic
that this problem can be solved.

244

812557

3834

ဒီပြဿနာကို ဖြေရှင်းလို့ ရမယ်လို့ ဒီနေ့တွင်
ကျွန်တော် အကောင်းမြင်ပါတယ်။

13:48

We wouldn't have to write down
a long list of everything we care about,

245

816391

3903

ကျွန်တော်တို့ အလေးထားကြတဲ့ အရာတွေကို
စာရင်းအရှည်ကြီး ရေးဖို့

13:52

or worse yet, spell it out
in some computer language

246

820294

3643

ဒါမှမဟုတ် အဲဒါတွေကို
ကွန်ပျူတာ ဘာသာစကား တခုခုနဲ့

13:55

like C++ or Python,

247

823937

1454

C++ ဒါမှမဟုတ် Python နဲ့ ရေးဖို့၊ မလိုပါဘူး၊

13:57

that would be a task beyond hopeless.

248

825391

2767

အဲဒီလိုဆိုရင် ဘယ်လိုမှ ပြီးနိုင်မှာ မဟုတ်တဲ့
စိတ်ညစ်စရာ တာဝန်ကြီး ဖြစ်လာမှာပါ။

14:00

Instead, we would create an A.I.
that uses its intelligence

249

828158

4297

အဲဒီလို လုပ်မယ့်အစား၊ ကျွန်တော်တို့ တီထွင်
ကြရမယ့် A.I.ဟာ ၎င်းရဲ့ အသိဉာဏ်ကို သုံးပြီး

14:04

to learn what we value,

250

832455

2771

ကျွန်တော်တို့ တန်ဖိုးထားကြတာတွေကို
သင်ယူနိုင်လာပါမယ်၊

14:07

and its motivation system is constructed
in such a way that it is motivated

251

835226

5280

ပြီးတော့ ၎င်းကို စေ့ဆော်ပေးတဲ့ စနစ်ဟာ
တည်ဆောက်ထားပုံဟာ ကျွန်တော်တို့အနေနဲ့

14:12

to pursue our values or to perform actions
that it predicts we would approve of.

252

840506

5232

ထောက်ခံပေးမှာဖြစ်ကာ ကျွန်တော်တို့ တန်ဖိုး
ထားတဲ့အချက်တွေကို ထည့်တွက်ပေးရန်ပါပဲ။

14:17

We would thus leverage
its intelligence as much as possible

253

845738

3414

ကျွန်တော်တို့ဟာ ၎င်းရဲ့ အသိဉာဏ်ကို
တန်ဖိုးထားတဲ့ အချက်များကို အတတ်နိုင်ဆုံး

14:21

to solve the problem of value-loading.

254

849152

2745

ထည့်သွင်းပေးဖို့ကို
အသုံးချသွားကြဖို့ လိုပါတယ်။

14:24

This can happen,

255

852727

1512

အဲဒါဟာ တကယ့်ကို ဖြစ်လာနိုင်ပါတယ်၊

14:26

and the outcome could be
very good for humanity.

256

854239

3596

ရရှိလာမယ့် ရလဒ်ဟာ လူသားတို့အတွက်
သိပ်ကို ကောင်းမှာပါ။

14:29

But it doesn't happen automatically.

257

857835

3957

ဒါပေမဲ့ အဲဒါဟာ အလိုလို
ဖြစ်လာမှာတော့ မဟုတ်ပါ။

14:33

The initial conditions
for the intelligence explosion

258

861792

2998

အသိဉာဏ် ပေါက်ကွဲမှုကို ကျွန်တော်တို့က
ထိန်းချုပ် ဖောက်ခွဲလိုကြရိုးမှန်ပါက၊

14:36

might need to be set up
in just the right way

259

864790

2863

ပေါက်ကွဲမှုအတွက် ကနဦး လိုအပ်မယ့်
အခြေအနေများကို

14:39

if we are to have a controlled detonation.

260

867653

3530

အခုကို စဉ်းစား ချမှတ်ပေးဖို့ လိုပါတယ်။

14:43

The values that the A.I. has
need to match ours,

261

871183

2618

A.I. အနေနဲ့ လိုက်နာဖို့ လိုအပ်မယ့်
တန်ဖိုးအချက်တွေကို၊

14:45

not just in the familiar context,

262

873801

1760

ကျွန်တော်တို့ သိရှိကြပြီ ဖြစ်တဲ့
အခြေအနေမျိုး အတွက်

14:47

like where we can easily check
how the A.I. behaves,

263

875561

2438

ကျွန်တော်တို့ A.I. ပြုမူပုံကို လွယ်ကူစွာ
စစ်ကြည့်နိုင်မယ့် အခြေအနေမျိုး အတွက်သာမက၊,

14:49

but also in all novel contexts
that the A.I. might encounter

264

877999

3234

ဝေးကွာလှတဲ့ အနာဂတ်မှာပါ A.I.အနေနဲ့
ရင်ဆိုင်လာရနိင်တဲ့

14:53

in the indefinite future.

265

881233

1557

အခြေအနေ အသစ်တွေ အတွက်ပါ ဖြစ်ရပါမယ်။

14:54

And there are also some esoteric issues
that would need to be solved, sorted out:

266

882790

4737

အဲဒီမှာလည်း ဖြေရှင်းညှိနှိုင်းဖို့ လိုနေတဲ့
မရေရာမရှင်းလင်းတဲ့ ပြဿနာတွေ ရှိနေပါတယ်၊

14:59

the exact details of its decision theory,

267

887527

2089

ဆုံးဖြတ်ချက် ချမှတ်ရေး
သီအိုရီဆိုင်ရာ အသေးစိတ်တွေ၊

15:01

how to deal with logical
uncertainty and so forth.

268

889616

2864

ယုတ္တိပိုင်းဆိုင်ရာ မရေရာမှုတွေကို ဘယ်လို
ကိုင်တွယ်မလဲ ဆိုတာ သိဖို့ လိုပါတယ်။

15:05

So the technical problems that need
to be solved to make this work

269

893330

3102

ဒါကြောင့်မို့လို့ အဲဒါအောင်မြင်ဖို့အတွက်
ဖြေရှင်းရမယ့် နည်းပညာ ပြဿနာတွေဟာ

15:08

look quite difficult --

270

896432

1113

အတောက်ကလေး ခက်ကြပုံရတယ်၊

15:09

not as difficult as making
a superintelligent A.I.,

271

897545

3380

ဆူပါဦးနှောက်ကြီး A.I.ကို
တည်ဆောက်မှုလို မဟုတ်ဘဲ

15:12

but fairly difficult.

272

900925

2868

များစွာမှကို ပိုပြီး ခက်မှာပါ။

15:15

Here is the worry:

273

903793

1695

စိုးရိမ်ဖို့ ကောင်းတဲ့ အချက်က၊

15:17

Making superintelligent A.I.
is a really hard challenge.

274

905488

4684

ဆူပါဦးနှောက်ကြီး A.I.ကို ဆောက်လုပ်ရေးဟာ
တကယ့်ကို စိန်ခေါ်မှုကြီးပါ။

15:22

Making superintelligent A.I. that is safe

275

910172

2548

စိတ်ချလုံခြုံမယ့် ဆူပါဦးနှောက် A.I.ကို
ဆောက်လုပ်မှုဟာ

15:24

involves some additional
challenge on top of that.

276

912720

2416

အဲဒါတွေအပြင် နောက်ထပ် စိန်ခေါ်မှုတွေလည်း
ပါဝင်ကြပါအုံးမယ်။

15:28

The risk is that if somebody figures out
how to crack the first challenge

277

916216

3487

တယောက်ယောက်က ခုနက ပြောခဲ့တဲ့
နောက်ထပ် ရှိကြသေးတဲ့ စိန်ခေါ်မှုတွေကို

15:31

without also having cracked
the additional challenge

278

919703

3001

မဖြေရှင်းနိုင်သေးဘဲနဲ့ ခုနက လုံခြုံရေးကို
လုံးဝအာမခံရေးကို

15:34

of ensuring perfect safety.

279

922704

1901

ဖြေရှင်းလို့ ရပါ့မလားဆိုတဲ့
အန္တရာယ် ရှိနေပါတယ်။

15:37

So I think that we should
work out a solution

280

925375

3331

အဲဒါကြောင့် ကျွန်တော်တို့ဟာ
အခြေအနေကို ထိန်းချုပ်ရေး ပြဿာကို

15:40

to the control problem in advance,

281

928706

2822

ကြိုတင်ပြီး ဖြေရှင်းထားလို့ လိုပါလိမ့်မည်၊

15:43

so that we have it available
by the time it is needed.

282

931528

2660

လိုအပ်တာနဲ့ ချက်ချင်းယူပြီး သုံးနိုင်အောင်
အသင့်ရှိဖို့ ပါတယ်။

15:46

Now it might be that we cannot solve
the entire control problem in advance

283

934768

3507

တချိန်တည်းမှာ ထိန်းချုပ်ရေး ပြဿနာတစ်ရပ်လုံး
ကြိုတင် ဖြေရှင်းလို့ ရချင်မှ ရနိုင်မှာ၊

15:50

because maybe some elements
can only be put in place

284

938275

3024

ဘာဖြစ်လို့လဲ ဆိုတော့၊ ပေါ်လာမယ့် ယန္တရားကို
၎င်းရဲ့ နေရာမှာ တည်ဆောက်တော့မှာသာ

15:53

once you know the details of the
architecture where it will be implemented.

285

941299

3997

သိလာရမယ့် အသေးစိတ် အချက်တွေ အခုအချိန်မှာ
မရှိနိုင်ကြသေးလို့ပါ။

15:57

But the more of the control problem
that we solve in advance,

286

945296

3380

ဘယ်လိုပဲဖြစ်ြဖစ် ထိန်းချုပ်ရေး ပြဿနာတွေကို
ကျွန်တော်တို့ ကြိုပြီး ဖြေရှင်းထားနိုင်လေလေ၊

16:00

the better the odds that the transition
to the machine intelligence era

287

948676

4090

စက်ဦးနှောက် ခေတ်ဆီ ကူးပြောင်းရာတွင်
မလိုလားတာတွေကို

16:04

will go well.

288

952766

1540

ပိုပြီး ရှောင်နိုင်လေလေ ဖြစ်မှာပါ။

16:06

This to me looks like a thing
that is well worth doing

289

954306

4644

ကျွန်တော့်အတွက် ဒါဟာဖြင့် ရှေ့ဆက်
လုပ်ထိုက်တဲ့ အရာလို ထင်ပါတယ်၊

16:10

and I can imagine that if
things turn out okay,

290

958950

3332

ပြီးတော့ အရာတွေ အားလုံး အဆင်ပြေ
ဖြစ်ပျက်လာကြမယ် ဆိုရင်၊

16:14

that people a million years from now
look back at this century

291

962282

4658

နောင် နှစ်တသန်းကြာနောက်မှာ လူတွေကို
ဒီရာစုနှစ်ကို ပြန်လှည့်ကြည့်တဲ့ အခါမှာ

16:18

and it might well be that they say that
the one thing we did that really mattered

292

966940

4002

တကယ့်ကို အရေးကြီးခဲ့တဲ့ အရာတခုကို
ကျွန်တော်တို့ လုပ်ပေးခဲ့ကြတာက

16:22

was to get this thing right.

293

970942

1567

ဒါကို မှန်ကန်စွာ လုပ်နိုင်ခဲ့ခြင်းပဲ
ဖြစ်တယ်လို့ ပြောဆိုနိုင်ကြပါစေ။

16:24

Thank you.

294

972509

1689

ကျေးဇူးတင်ပါတယ်။

16:26

(Applause)

295

974198

2813

(လက်ခုပ်သံများ)

Translated by Myo Aung
Reviewed by sann tint

ABOUT THE SPEAKER

Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com

THE ORIGINAL VIDEO ON TED.COM

Nick Bostrom: ကျွန်တော်တို့ ကွန်ပျူတာတွေ ကျွန်တော်တို့ထက်ကို စမတ်ကျလာရင် ဘယ်လို ဖြစ်လာမလဲ? | TED Talk | TED.com