ABOUT THE SPEAKER

Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com

TED2017

Stuart Russell: 3 principles for creating safer AI

스튜어드 러셀(Stuart Russell): 인공지능이 우리를 더 나은 사람으로 만들 수 있을까요?

Filmed: 2017-04-24

Readability: 3.9

1,465,832 views

우리는 로봇의 지배를 받는 재앙을 막으면서도 초지능 인공지능과 함께 공존할 수 있을까요? 모든 것을 아는 인공지능 로봇 개발 분야에서 인공지능의 선구자인 스튜어트 러셀은 조금 다른 관점에서 불확실성을 갖는 로봇을 연구하고 있습니다. 그는 이 강연에서 상식적이고 이타적이며 인간 가치를 통해 인간과 공존 가능한 인공지능이 갖는 문제와 이를 해결하는 방법에 대해 이야기합니다.

Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

00:12

This is Lee남자 이름 Sedol세돌.

0

712

1552

이 사람은 이세돌입니다.

00:14

Lee남자 이름 Sedol세돌 is one of the world's세계의
greatest가장 큰 Go players선수,

1

2288

3997

이세돌은 세계에서 가장 뛰어난
바둑 기사 중 한명이죠.

00:18

and he's having데 what my friends친구
in Silicon규소 Valley골짜기 call

2

6309

2885

보고 계신 이 사진의 순간에
실리콘벨리의 제 친구들은

00:21

a "Holy거룩한 Cow소" moment순간 --

3

9218

1510

"세상에나!" 라고 외쳤습니다.

00:22

(Laughter웃음)

4

10752

1073

(웃음)

00:23

a moment순간 where we realize깨닫다

5

11849

2188

바로 이 순간에

00:26

that AIAI is actually사실은 progressing진행 중
a lot faster더 빠른 than we expected예상 한.

6

14061

3296

인공지능이 생각했던 것보다 빠르게
발전하고 있음을 깨닫게 되었죠.

00:30

So humans인간 have lost잃어버린 on the Go board판.
What about the real레알 world세계?

7

18154

3047

자, 바둑판에서 인간들은 패배했습니다.
그럼 현실 세상에서는 어떨까요?

00:33

Well, the real레알 world세계 is much bigger더 큰,

8

21225

2100

현실 세계는 훨씬 크고

00:35

much more complicated복잡한 than the Go board판.

9

23349

2249

바둑판보다 훨씬 복잡합니다.

00:37

It's a lot less적게 visible명백한,

10

25622

1819

한 눈에 들어오지도 않고

00:39

but it's still a decision결정 problem문제.

11

27465

2038

결정에 관한 문제도
여전히 남아있습니다.

00:42

And if we think about some
of the technologies기술

12

30948

2321

그리고 새롭게 떠오르는
기술들을 살펴보면

00:45

that are coming오는 down the pike단창 ...

13

33293

1749

----------------------------------

00:47

Noriko노리코 [Arai아라이] mentioned말하는 that reading독서
is not yet아직 happening사고 in machines기계들,

14

35738

4335

노리코 아라이 교수가 말한대로
독서하는 인공지능은 아직 없습니다.

적어도 이해를 동반한 독서 말이죠.

00:52

at least가장 작은 with understanding이해.

15

40097

1500

00:53

But that will happen우연히 있다,

16

41621

1536

하지만 그런 인공지능도 출현할 겁니다.

00:55

and when that happens일이,

17

43181

1771

그때가 되면

00:56

very soon곧 afterwards나중에,

18

44976

1187

얼마 안돼서

00:58

machines기계들 will have read독서 everything
that the human인간의 race경주 has ever written쓴.

19

46187

4572

인공지능은 인류가 지금까지 쓴
모든 것을 읽게 될 것입니다.

01:03

And that will enable가능하게하다 machines기계들,

20

51850

2030

그리고 인공지능 기계들이
그렇게 할 수 있게 되면

01:05

along...을 따라서 with the ability능력 to look
further더욱이 ahead앞으로 than humans인간 can,

21

53904

2920

인간보다 더 멀리 예측하는
능력을 갖게 되고

01:08

as we've우리는 already이미 seen본 in Go,

22

56848

1680

바둑 시합에서 이미 드러났듯이

01:10

if they also또한 have access접속하다
to more information정보,

23

58552

2164

인공지능 기계들이 더 많은
정보에 접근할 수 있으면

01:12

they'll그들은 할 것이다 be able할 수 있는 to make better decisions결정들
in the real레알 world세계 than we can.

24

60740

4268

실제 세계에서 우리보다 더 나은
결정들을 할 수 있을 것입니다.

01:18

So is that a good thing?

25

66792

1606

그러면 좋은 것일까요?

01:21

Well, I hope기대 so.

26

69898

2232

음, 그랬으면 좋겠네요.

01:26

Our entire완전한 civilization문명,
everything that we value값,

27

74694

3255

우리 인류 문명을 통틀어
가치 있다고 여기는 모든 것들은

01:29

is based기반 on our intelligence지성.

28

77973

2068

우리 지식에 바탕한 것입니다.

01:32

And if we had access접속하다
to a lot more intelligence지성,

29

80065

3694

그리고 만약 우리가 더 많은
지식에 접근할 수 있다면

01:35

then there's really no limit한도
to what the human인간의 race경주 can do.

30

83783

3302

인류가 할 수 있는 것들에서
진정한 한계는 없을 것입니다.

01:40

And I think this could be,
as some people have described기술 된 it,

31

88665

3325

누군가 말했듯이 그렇게만 된다면

01:44

the biggest가장 큰 event행사 in human인간의 history역사.

32

92014

2016

인류 역사상 가장 큰 사건이 되겠죠.

01:48

So why are people saying속담 things like this,

33

96665

2829

그런데 왜 사람들은 이런 말을 할까요?

01:51

that AIAI might힘 spell주문 the end종료
of the human인간의 race경주?

34

99518

2876

인공지능(AI)이 우리 인류의
종말을 가져올 거라고 말이죠.

01:55

Is this a new새로운 thing?

35

103438

1659

인공지능이 새로운 것일까요?

01:57

Is it just Elon엘론 Musk사향 and Bill계산서 Gates게이츠
and Stephen스티븐 Hawking호킹?

36

105121

4110

엘런 머스크, 빌 게이츠, 스티븐 호킹.
이런 사람들만 아는 것인가요?

02:01

Actually사실은, no. This idea생각
has been around for a while.

37

109953

3262

사실, 아닙니다.
이 개념이 나온 지는 좀 되었죠.

02:05

Here's여기에 a quotation인용:

38

113239

1962

이런 말이 있습니다.

02:07

"Even if we could keep the machines기계들
in a subservient관대 한 position위치,

39

115225

4350

"중요한 순간에 전원을 꺼버리는 식으로

02:11

for instance예, by turning선회 off the power힘
at strategic전략적 moments순간들" --

40

119599

2984

기계를 우리 인간에게 계속
복종하도록 만들 수 있더라도.."

02:14

and I'll come back to that
"turning선회 off the power힘" idea생각 later후에 on --

41

122607

3237

"전원을 끈다"는 개념은 나중에
다시 설명하겠습니다.

"우리는 인류로서
겸손함을 느껴야 합니다. "

02:17

"we should, as a species종,
feel greatly매우 humbled겸손한."

42

125868

2804

02:22

So who said this?
This is Alan앨런 Turing튜링 in 1951.

43

130177

3448

누가 한 말일까요? 앨런 튜링이
1951년에 한 말입니다.

02:26

Alan앨런 Turing튜링, as you know,
is the father아버지 of computer컴퓨터 science과학

44

134300

2763

앨런 튜링은 아시다시피
컴퓨터 과학의 아버지입니다.

02:29

and in many많은 ways길,
the father아버지 of AIAI as well.

45

137087

3048

그리고 여러 측면에서
인공지능의 아버지이기도 하죠.

02:33

So if we think about this problem문제,

46

141239

1882

이런 문제를 생각해볼까요.

02:35

the problem문제 of creating창조 something
more intelligent지적인 than your own개인적인 species종,

47

143145

3787

우리 인류의 지능을 뛰어넘는
무언가를 창조하는 문제입니다.

02:38

we might힘 call this "the gorilla고릴라 problem문제,"

48

146956

2622

이른바 "고릴라 문제"라 할 수 있죠.

02:42

because gorillas'고릴라 ' ancestors선조 did this
a few조금 million백만 years연령 ago...전에,

49

150345

3750

수만 년 전 고릴라들의 조상들도
같은 고민을 했을테니까요.

02:46

and now we can ask청하다 the gorillas고릴라:

50

154119

1745

그럼 이제 고릴라들에게
이렇게 물어보면 어떨까요.

02:48

Was this a good idea생각?

51

156752

1160

"좋은 아이디어였나요?"

02:49

So here they are having데 a meeting모임
to discuss즐기며 먹다 whether인지 어떤지 it was a good idea생각,

52

157936

3530

고릴라들은 좋은 생각이었는지
의논하기 위해 모였습니다.

02:53

and after a little while,
they conclude끝내다, no,

53

161490

3346

그리고 잠시 후 결론을 내립니다.

최악의 아이디어였다고 결론짓죠.

02:56

this was a terrible무서운 idea생각.

54

164860

1345

02:58

Our species종 is in dire무서운 straits해협.

55

166229

1782

그 때문에 자신들이
곤경에 처했다면서요.

03:00

In fact것, you can see the existential실존 적
sadness비애 in their그들의 eyes눈.

56

168538

4263

실제로 그들 눈에서
존재론적 슬픔이 엿보이네요.

03:04

(Laughter웃음)

57

172825

1640

(웃음)

03:06

So this queasy기이 한 feeling감각 that making만들기
something smarter똑똑한 than your own개인적인 species종

58

174489

4840

따라서 우리보다 더 뛰어난 무언가를
만들어낸다는 이러한 초조한 느낌은

03:11

is maybe not a good idea생각 --

59

179353

2365

좋은 아이디어가 아닐 겁니다.

03:14

what can we do about that?

60

182488

1491

그럼 어떻게 해야 할까요?

03:16

Well, really nothing,
except외 stop doing AIAI,

61

184003

4767

음, 사실 인공지능을 중단시키는 것
말고는 딱히 방법이 없습니다.

03:20

and because of all
the benefits은혜 that I mentioned말하는

62

188794

2510

그리고 제가 앞서 말씀드렸던
모든 장점들 때문이기도 하고

03:23

and because I'm an AIAI researcher연구원,

63

191328

1716

물론 제가 인공지능을
연구하고 있어서도 그렇지만

03:25

I'm not having데 that.

64

193068

1791

저는 중단을 고려하지는 않습니다.

03:27

I actually사실은 want to be able할 수 있는
to keep doing AIAI.

65

195283

2468

저는 사실 계속 인공지능을
가능하게 하고 싶습니다.

03:30

So we actually사실은 need to nail네일 down
the problem문제 a bit비트 more.

66

198615

2678

여기서 이 문제에 대해 좀 더
살펴볼 필요가 있습니다.

문제가 정확히 무엇일까요?

03:33

What exactly정확하게 is the problem문제?

67

201317

1371

왜 뛰어난 인공지능은 재앙을 뜻할까요?

03:34

Why is better AIAI possibly혹시 a catastrophe대단원?

68

202712

3246

03:39

So here's여기에 another다른 quotation인용:

69

207398

1498

자, 이런 말도 있습니다.

03:41

"We had better be quite아주 sure
that the purpose목적 put into the machine기계

70

209935

3335

"기계에 부여한 그 목적이
우리가 정말 원했던 목적인지를

03:45

is the purpose목적 which어느 we really desire염원."

71

213294

2298

좀 더 확실히 해두었어야 합니다."

03:48

This was said by Norbert노르 베르트 Wiener위너 in 1960,

72

216282

3498

이건 노버트 위너가
1960년에 한 말입니다.

03:51

shortly곧 after he watched보았다
one of the very early이른 learning배우기 systems시스템

73

219804

4002

매우 초기의 기계 학습 장치가
체스 두는 법을 배우고

03:55

learn배우다 to play놀이 checkers체커
better than its creator창조자.

74

223830

2583

사람보다 체스를 더 잘 두게
된 것을 보고 바로 한 말이죠.

04:00

But this could equally같이 have been said

75

228602

2683

하지만 어떻게 보자면

마이더스 왕과 같다고
할 수도 있습니다.

04:03

by King왕 Midas마이다스.

76

231309

1167

04:05

King왕 Midas마이다스 said, "I want everything
I touch접촉 to turn회전 to gold금,"

77

233083

3134

손대는 모든 것이 금으로
변하길 원했던 왕이죠.

그리고 그가 원했던대로
실제로 그렇게 되었습니다.

04:08

and he got exactly정확하게 what he asked물었다 for.

78

236241

2473

04:10

That was the purpose목적
that he put into the machine기계,

79

238738

2751

그게 바로 그가 기계에
입력한 목표입니다.

04:13

so to speak말하다,

80

241513

1450

비유를 하자면 그렇죠.

04:14

and then his food식품 and his drink음주
and his relatives친척 turned돌린 to gold금

81

242987

3444

그리고 그의 음식, 술, 가족까지
모두 금으로 변했습니다.

04:18

and he died사망 한 in misery불행 and starvation굶주림.

82

246455

2281

그리고 그는 처절함과
배고픔 속에서 죽었습니다.

04:22

So we'll잘 call this
"the King왕 Midas마이다스 problem문제"

83

250444

2341

우리는 이것을 "마이더스 왕의
딜레마"라고 부릅니다.

04:24

of stating진술하는 an objective목표
which어느 is not, in fact것,

84

252809

3305

이 딜레마는 그가 말한 목적이
실제로 그가 정말 원했던 것과

04:28

truly진실로 aligned정렬 된 with what we want.

85

256138

2413

동일하지 않게 되는 문제입니다.

04:30

In modern현대 terms자귀, we call this
"the value값 alignment조정 problem문제."

86

258575

3253

현대 용어로는
"가치 조합 문제"라고 하죠.

04:37

Putting퍼팅 in the wrong잘못된 objective목표
is not the only part부품 of the problem문제.

87

265047

3485

잘못된 목표를 입력하는 것만
문제가 되는 것은 아닙니다.

04:40

There's another다른 part부품.

88

268556

1152

또 다른 문제가 있습니다.

04:42

If you put an objective목표 into a machine기계,

89

270160

1943

여러분이 기계에 목표를 입력할 때

04:44

even something as simple단순한 as,
"Fetch술책 the coffee커피,"

90

272127

2448

"커피를 갖고 와"같이
단순한 것이라고 해도

04:47

the machine기계 says말한다 to itself그 자체,

91

275908

1841

기계는 이렇게 생각할지 모릅니다.

04:50

"Well, how might힘 I fail실패
to fetch술책 the coffee커피?

92

278733

2623

"자, 어떻게 하면 내가
커피를 못가져가게 될까?

04:53

Someone어떤 사람 might힘 switch스위치 me off.

93

281380

1580

누가 전원을 꺼버릴 수도 있잖아.

04:55

OK, I have to take steps걸음 to prevent막다 that.

94

283645

2387

좋아, 그런 일을 막기 위해
조치를 취해야겠어.

04:58

I will disable무능하게하다 my 'off''떨어져서' switch스위치.

95

286056

1906

내 '꺼짐' 버튼을 고장 내야겠어.

05:00

I will do anything to defend지키다 myself자기
against반대 interference간섭

96

288534

2959

주어진 임무를 못하게
방해하는 것들로부터

05:03

with this objective목표
that I have been given주어진."

97

291517

2629

나를 보호하기 위해
뭐든지 할 거야. "

05:06

So this single-minded편견없는 pursuit추구

98

294170

2012

사실, 이렇게 방어적 자세로

05:09

in a very defensive방어적인 mode방법
of an objective목표 that is, in fact것,

99

297213

2945

오직 목표 달성만을 추구하는 것은

05:12

not aligned정렬 된 with the true참된 objectives목적들
of the human인간의 race경주 --

100

300182

2814

인류의 진실된 목표와
일치하지는 않습니다.

05:16

that's the problem문제 that we face얼굴.

101

304122

1862

우리가 직면한 문제점이
바로 이것입니다.

05:19

And in fact것, that's the high-value높은 가치
takeaway테이크 아웃 from this talk.

102

307007

4767

이건 사실 이번 강연 에서
무척 고차원적인 부분인데요.

05:23

If you want to remember생각해 내다 one thing,

103

311798

2055

만약 하나만 기억해야 한다면

05:25

it's that you can't fetch술책
the coffee커피 if you're dead죽은.

104

313877

2675

여러분이 죽으면 커피를 가져다
주지 않을 거라는 것입니다.

05:28

(Laughter웃음)

105

316576

1061

(웃음)

05:29

It's very simple단순한. Just remember생각해 내다 that.
Repeat반복 it to yourself당신 자신 three세 times타임스 a day.

106

317661

3829

간단하죠.
하루에 세 번씩 외우세요.

05:33

(Laughter웃음)

107

321514

1821

(웃음)

05:35

And in fact것, this is exactly정확하게 the plot음모

108

323359

2754

그리고 사실 이게 바로

05:38

of "2001: [A Space공간 Odyssey오디세이]"

109

326137

2648

"2001:스페이스 오디세이"
영화의 줄거리입니다.

05:41

HALHAL has an objective목표, a mission사명,

110

329226

2090

인공지능인 '할(HAL)'은 목표,
즉 임무를 갖고 있습니다.

05:43

which어느 is not aligned정렬 된
with the objectives목적들 of the humans인간,

111

331340

3732

이건 인류의 목표와
일치하지는 않습니다.

05:47

and that leads리드 to this conflict충돌.

112

335096

1810

그래서 결국 서로 충돌하죠.

05:49

Now fortunately다행히도, HALHAL
is not superintelligent지능.

113

337494

2969

다행히도 HAL의 지능이
아주 뛰어나진 않았습니다.

05:52

He's pretty예쁜 smart똑똑한,
but eventually결국 Dave데이브 outwits의지 him

114

340487

3587

꽤 똑똑했지만 결국 데이브가
HAL보다 한 수 위였고

05:56

and manages관리하다 to switch스위치 him off.

115

344098

1849

HAL의 전원을 끌 수 있게 됩니다.

06:01

But we might힘 not be so lucky운이 좋은.

116

349828

1619

하지만 우리는 영화처럼
운이 좋지 않을 수 있습니다.

06:08

So what are we going to do?

117

356193

1592

그럼 어떻게 해야 할까요?

06:12

I'm trying견딜 수 없는 to redefine재정의하다 AIAI

118

360371

2601

저는 인공지능을
다시 정의하려 합니다.

06:14

to get away from this classical고전 notion개념

119

362996

2061

고전적 개념을 깨려고 해요.

06:17

of machines기계들 that intelligently지능적으로
pursue추구하다 objectives목적들.

120

365081

4567

기계는 지능적으로 목표를
달성하려 한다는 개념이죠.

06:22

There are three세 principles원칙들 involved뒤얽힌.

121

370712

1798

여기에는 세 가지 원칙이 있습니다.

첫번째는 이타주의 원칙입니다.

06:24

The first one is a principle원리
of altruism애타 주의, if you like,

122

372534

3289

06:27

that the robot's로봇 only objective목표

123

375847

3262

로봇의 유일한 목적은

06:31

is to maximize최대화하다 the realization실현
of human인간의 objectives목적들,

124

379133

4246

인간의 목표와

인간의 가치를 최대한
실현하는 것입니다.

06:35

of human인간의 values값.

125

383403

1390

06:36

And by values값 here I don't mean
touchy-feely까칠 까칠한, goody-goodygoody-goody values값.

126

384817

3330

여기서 말하는 가치는 닭살돋는
숭고한 가치를 의미하진 않습니다.

06:40

I just mean whatever도대체 무엇이 it is
that the human인간의 would prefer취하다

127

388171

3787

제가 말씀드리는 가치는

어떻게 해야 사람들의 삶이
더 나아질지를 의미하는 것입니다.

06:43

their그들의 life to be like.

128

391982

1343

06:47

And so this actually사실은 violates위반하다 Asimov's아시모프 law법

129

395364

2309

그리고 사실 이건
아시모프의 원칙 중에서

06:49

that the robot기계 인간 has to protect보호
its own개인적인 existence존재.

130

397697

2329

로봇은 스스로를 보호해야
한다는 원칙과 충돌합니다.

06:52

It has no interest관심 in preserving보존
its existence존재 whatsoever도대체 무엇이.

131

400050

3723

어쨌든 로봇은 스스로를
보호해서 얻는 것이 없죠.

06:57

The second둘째 law법 is a law법
of humility겸손, if you like.

132

405420

3768

두 번째 원칙은 겸손에 관한
법칙이라고 말할 수 있습니다.

07:01

And this turns회전 out to be really
important중대한 to make robots로봇 safe안전한.

133

409974

3743

로봇의 안전을 지키기 위한
아주 중요한 원칙이죠.

07:05

It says말한다 that the robot기계 인간 does not know

134

413741

3142

이 원칙은

로봇들은 인간이 추구하는 가치가
무엇인지는 알 수 없다는 것입니다.

07:08

what those human인간의 values값 are,

135

416907

2028

07:10

so it has to maximize최대화하다 them,
but it doesn't know what they are.

136

418959

3178

가치를 극대화해야 하지만 그것이
무엇인지는 알지 못한다는 것이죠.

07:15

And that avoids회피하다 this problem문제
of single-minded편견없는 pursuit추구

137

423254

2626

그렇기 때문에 이를 통해서

목표만을 맹목적으로 추구하는
문제를 피할 수 있습니다.

07:17

of an objective목표.

138

425904

1212

이런 불확실성은
매우 중요한 부분입니다.

07:19

This uncertainty불확실성 turns회전 out to be crucial결정적인.

139

427140

2172

07:21

Now, in order주문 to be useful유능한 to us,

140

429726

1639

자, 우리에게 도움이 되기 위해서는

07:23

it has to have some idea생각 of what we want.

141

431389

2731

우리가 무엇을 원하는지에 대한
개념을 갖고 있어야 합니다.

07:27

It obtains획득하다 that information정보 primarily주로
by observation관측 of human인간의 choices선택,

142

435223

5427

로봇은 주로 사람들이 선택하는
것을 관찰해서 정보를 얻습니다.

07:32

so our own개인적인 choices선택 reveal창틀 information정보

143

440674

2801

그래서 우리들의 선택 안에는

07:35

about what it is that we prefer취하다
our lives삶 to be like.

144

443499

3300

우리 삶이 어떻게 되기를
바라는지에 관한 정보가 있습니다

07:40

So those are the three세 principles원칙들.

145

448632

1683

이것들이 세 개의 원칙입니다.

자 그러면 이것이 다음 질문에
어떻게 적용되는지 살펴봅시다.

07:42

Let's see how that applies적용하다
to this question문제 of:

146

450339

2318

07:44

"Can you switch스위치 the machine기계 off?"
as Turing튜링 suggested제안 된.

147

452681

2789

기계의 전원을 끌 수 있을지에 관해
앨런 튜링이 제기했던 문제입니다.

07:49

So here's여기에 a PR홍보2 robot기계 인간.

148

457073

2120

여기에 PR2 로봇이 있습니다.

07:51

This is one that we have in our lab랩,

149

459217

1821

저희 연구소에 있는 로봇입니다.

07:53

and it has a big큰 red빨간 "off" switch스위치
right on the back.

150

461062

2903

이 로봇 뒤에는 커다랗고 빨간
"꺼짐" 버튼이 있습니다.

07:56

The question문제 is: Is it
going to let you switch스위치 it off?

151

464541

2615

자 여기에서 질문입니다.
로봇은 여러분이 전원을 끄도록 할까요?

07:59

If we do it the classical고전 way,

152

467180

1465

고전적 방법대로 로봇에게
이런 목표를 부여한다고 치죠.

08:00

we give it the objective목표 of, "Fetch술책
the coffee커피, I must절대로 필요한 것 fetch술책 the coffee커피,

153

468669

3482

"커피를 갖고 간다.
나는 커피를 가져가야만 한다.

08:04

I can't fetch술책 the coffee커피 if I'm dead죽은,"

154

472175

2580

내 전원이 꺼지면
커피를 갖고 갈 수 없다."

08:06

so obviously명백하게 the PR홍보2
has been listening청취 to my talk,

155

474779

3341

PR2는 제 명령을 그대로
따르기 위해 이렇게 말하겠죠.

08:10

and so it says말한다, therefore따라서,
"I must절대로 필요한 것 disable무능하게하다 my 'off''떨어져서' switch스위치,

156

478144

3753

"좋아, 내 '꺼짐' 버튼을
망가뜨려야 겠어.

08:14

and probably아마 taser테이서 all the other
people in Starbucks스타 벅스

157

482976

2694

그리고 스타벅스에 있는 모든
사람들을 전기총으로 쏴야겠어.

08:17

who might힘 interfere방해하다 with me."

158

485694

1560

이 사람들이 장애물이 될 테니까."

08:19

(Laughter웃음)

159

487278

2062

(웃음)

08:21

So this seems~ 같다 to be inevitable피할 수 없는, right?

160

489364

2153

이렇게 될 수 밖에 없잖아요.

08:23

This kind종류 of failure실패 mode방법
seems~ 같다 to be inevitable피할 수 없는,

161

491541

2398

이러한 종류의 실패 모드는
피할 수 없을 겁니다.

08:25

and it follows따르다 from having데
a concrete콘크리트, definite명확한 objective목표.

162

493963

3543

확실하고 명확한 목적을 갖고
그대로 따르고 있으니까요.

08:30

So what happens일이 if the machine기계
is uncertain불확실한 about the objective목표?

163

498812

3144

그러면 이 기계가 목표를 부정확하게
알고 있으면 어떤 일이 일어날까요?

음, 좀 다른 방식으로
이렇게 생각하게 될 겁니다.

08:33

Well, it reasons원인 in a different다른 way.

164

501980

2127

08:36

It says말한다, "OK, the human인간의
might힘 switch스위치 me off,

165

504131

2424

"좋아, 인간이
내 전원을 끌 수 있어.

08:39

but only if I'm doing something wrong잘못된.

166

507144

1866

하지만 내가 뭔가
잘못했을 때만 그럴 거야.

08:41

Well, I don't really know what wrong잘못된 is,

167

509747

2475

그런데 나는 잘못한다는 게
뭔지는 모르지만

08:44

but I know that I don't want to do it."

168

512246

2044

잘못하고 싶지는 않아."

자, 여기에 첫 번째와
두 번째 원칙이 있습니다.

08:46

So that's the first and second둘째
principles원칙들 right there.

169

514314

3010

08:49

"So I should let the human인간의 switch스위치 me off."

170

517348

3359

"그러면 나는 인간이
전원을 끄게 놔둬야겠다."

08:53

And in fact것 you can calculate계산하다
the incentive자극 that the robot기계 인간 has

171

521721

3956

사실 로봇이 인간으로 하여금
전원을 끌 수 있도록 놔둘 때

08:57

to allow허용하다 the human인간의 to switch스위치 it off,

172

525701

2493

어떤 이득이 있을지 예측할 수 있고

09:00

and it's directly직접 tied묶인 to the degree정도

173

528218

1914

이것은 기저에 깔린

목적에 대한 불확실성의 정도와
직접적으로 연결됩니다.

09:02

of uncertainty불확실성 about
the underlying밑에 있는 objective목표.

174

530156

2746

09:05

And then when the machine기계 is switched교환 된 off,

175

533977

2949

그리고 로봇의 전원이 꺼지면

09:08

that third제삼 principle원리 comes온다 into play놀이.

176

536950

1805

세 번째 원칙이 작동하게 됩니다.

09:10

It learns배우다 something about the objectives목적들
it should be pursuing추구하다,

177

538779

3062

로봇은 추구해야 하는
목표에 대해 이해하게 되죠.

목표 수행에서 무엇이 잘못됐는지
알게 되기 때문입니다.

09:13

because it learns배우다 that
what it did wasn't아니었다. right.

178

541865

2533

09:16

In fact것, we can, with suitable적당한 use
of Greek그리스 사람 symbols기호들,

179

544422

3570

사실 우리가 그리이스 문자를 사용해서

09:20

as mathematicians수학자 usually보통 do,

180

548016

2131

수학을 늘 공부하는 것처럼

09:22

we can actually사실은 prove알다 a theorem정리

181

550171

1984

우리는 하나의 가설을
증명할 수 있습니다.

09:24

that says말한다 that such이러한 a robot기계 인간
is provably증명할 수있는 beneficial유익한 to the human인간의.

182

552179

3553

어떤 정의냐면, 이런 로봇은 아마도
인간에게 도움이 될 거라는 겁니다.

09:27

You are provably증명할 수있는 better off
with a machine기계 that's designed디자인 된 in this way

183

555756

3803

아마도 이렇게 작동하게 만들어진
기계로 인해 혜택을 보게 될 겁니다.

09:31

than without없이 it.

184

559583

1246

이런 기계가 없을 때보다 말이죠.

09:33

So this is a very simple단순한 example예,
but this is the first step단계

185

561237

2906

이것은 매우 간단한 예시입니다.

인간과 공존할 수 있는 인공지능으로
무얼 할 수 있는지에 대한 첫걸음이죠.

09:36

in what we're trying견딜 수 없는 to do
with human-compatible인간과 호환되는 AIAI.

186

564167

3903

09:42

Now, this third제삼 principle원리,

187

570657

3257

자, 이제 세 번째 원칙입니다.

09:45

I think is the one that you're probably아마
scratching긁는 your head머리 over.

188

573938

3112

이걸 보고 어쩌면 여러분이
머리를 긁적이실 것 같은데요.

09:49

You're probably아마 thinking생각, "Well,
you know, I behave굴다 badly심하게.

189

577074

3239

이렇게 생각할 수도 있습니다.
"음, 내가 좀 못됐잖아.

09:52

I don't want my robot기계 인간 to behave굴다 like me.

190

580337

2929

나는 내 로봇이 나처럼
행동하는 건 별로야.

09:55

I sneak좀도둑 down in the middle중간 of the night
and take stuff물건 from the fridge냉장고.

191

583290

3434

나는 한밤중에 몰래 냉장고를
뒤져서 먹을 걸 찾기도 하잖아.

그것 말고도 많지."

09:58

I do this and that."

192

586748

1168

로봇이 하지 않았으면 하는
여러 행동들이 있을 겁니다.

09:59

There's all kinds종류 of things
you don't want the robot기계 인간 doing.

193

587940

2797

10:02

But in fact것, it doesn't
quite아주 work that way.

194

590761

2071

그런데, 그런 일은 없을 거예요.

단순히 여러분이
나쁜 행동을 했다고 해서

10:04

Just because you behave굴다 badly심하게

195

592856

2155

10:07

doesn't mean the robot기계 인간
is going to copy부 your behavior행동.

196

595035

2623

로봇이 그 행동을 그대로
따라서 하는 건 아닙니다.

로봇은 여러분의 동기를 이해하고
그 나쁜 행동을 하지 않도록 돕습니다.

10:09

It's going to understand알다 your motivations동기
and maybe help you resist견디다 them,

197

597682

3910

10:13

if appropriate적당한.

198

601616

1320

만약 그게 옳다면 말이죠.

10:16

But it's still difficult어려운.

199

604206

1464

하지만 이건 어려운 문제입니다.

10:18

What we're trying견딜 수 없는 to do, in fact것,

200

606302

2545

사실 우리가 하려고 하는 건

10:20

is to allow허용하다 machines기계들 to predict예측하다
for any person사람 and for any possible가능한 life

201

608871

5796

기계로 하여금 누군가를 대상으로
앞으로 그가 살게 될 삶이 어떠한지를

10:26

that they could live살고 있다,

202

614691

1161

예측하게 하는 겁니다.

10:27

and the lives삶 of everybody각자 모두 else그밖에:

203

615876

1597

그리고 다른 여러 모두의
사람들의 삶을 말이죠.

10:29

Which어느 would they prefer취하다?

204

617497

2517

어떤 것을 그들이 더 선호할까요?

10:34

And there are many많은, many많은
difficulties어려움 involved뒤얽힌 in doing this;

205

622061

2954

이를 가능하게 하려면 너무나
많은 난관을 넘어야 합니다.

10:37

I don't expect배고 있다 that this
is going to get solved해결 된 very quickly빨리.

206

625039

2932

저는 이 문제들이 단기간에
해결되리라고 보지 않습니다.

10:39

The real레알 difficulties어려움, in fact것, are us.

207

627995

2643

사실 그중 가장 큰 난관은
바로 우리 자신입니다.

10:44

As I have already이미 mentioned말하는,
we behave굴다 badly심하게.

208

632149

3117

앞서 말씀드렸듯이
우리는 나쁜 행동을 합니다.

사실 우리 중에 누군가는
정말 형편 없을지도 모르죠.

10:47

In fact것, some of us are downright철저한 nasty추잡한.

209

635290

2321

10:50

Now the robot기계 인간, as I said,
doesn't have to copy부 the behavior행동.

210

638431

3052

말씀드렸듯이 로봇은 그런 행동을
그대로 따라 하지는 않습니다.

10:53

The robot기계 인간 does not have
any objective목표 of its own개인적인.

211

641507

2791

로봇은 스스로를 위한
어떤 목적도 갖지 않습니다.

10:56

It's purely전혀 altruistic이타적인.

212

644322

1737

로봇은 순전히 이타적이죠.

10:59

And it's not designed디자인 된 just to satisfy풀다
the desires욕망 of one person사람, the user사용자,

213

647293

5221

그리고 사용자라는 한 사람만의 욕구를
충족하기 위해 만들어진 것도 아닙니다.

11:04

but in fact것 it has to respect존경
the preferences환경 설정 of everybody각자 모두.

214

652538

3138

사실은 모든 사람들이
원하는 바를 고려해야 하죠.

11:09

So it can deal거래 with a certain어떤
amount양 of nastiness지독한,

215

657263

2570

어느 정도의 형편없는 상황은
감내하게 될 것입니다.

11:11

and it can even understand알다
that your nastiness지독한, for example예,

216

659857

3701

여러분이 아무리 형편없어도
어느 정도는 양해해 주겠죠.

예를 들어 여러분이 여권 발급
공무원인데 뇌물을 받았다고 칩시다.

11:15

you may할 수있다 take bribes뇌물 as a passport여권 official공무원

217

663582

2671

11:18

because you need to feed먹이 your family가족
and send보내다 your kids아이들 to school학교.

218

666277

3812

그런데 뇌물을 받은 이유가 생활비와
아이들 교육을 위한 것이었다면

11:22

It can understand알다 that;
it doesn't mean it's going to steal훔치다.

219

670113

2906

로봇은 이런 걸 이해하고,
빼앗아가지는 않을 겁니다.

오히려 로봇은 여러분의 자녀가
학교에 갈 수 있도록 도울 거예요.

11:25

In fact것, it'll그것은 just help you
send보내다 your kids아이들 to school학교.

220

673043

2679

11:28

We are also또한 computationally계산적으로 limited제한된.

221

676976

3012

우리의 연산능력은 한계가 있습니다.

11:32

Lee남자 이름 Sedol세돌 is a brilliant훌륭한 Go player플레이어,

222

680012

2505

이세들은 천재 바둑기사입니다.

11:34

but he still lost잃어버린.

223

682541

1325

하지만 그는 로봇에게 졌죠.

11:35

So if we look at his actions행위,
he took~했다 an action동작 that lost잃어버린 the game경기.

224

683890

4239

그의 수를 살펴보면, 그는 로봇에게
질 수 밖에 없는 수를 두었습니다.

11:40

That doesn't mean he wanted to lose잃다.

225

688153

2161

그렇다고 해서 그가 패배를
원했다는 건 아닙니다.

11:43

So to understand알다 his behavior행동,

226

691340

2040

따라서 그의 수를 이해하려면

11:45

we actually사실은 have to invert거꾸로 하다
through...을 통하여 a model모델 of human인간의 cognition인식

227

693404

3644

우리는 인간의 지각 모델을
아예 뒤집어 봐야 합니다

11:49

that includes포함하다 our computational전산의
limitations한계 -- a very complicated복잡한 model모델.

228

697072

4977

인간의 지각 모델은 우리의 계산적
한계를 담고 있어서 매우 복잡합니다.

11:54

But it's still something
that we can work on understanding이해.

229

702073

2993

하지만 연구를 통해서
계속 발전하고 있습니다.

11:57

Probably아마 the most가장 difficult어려운 part부품,
from my point포인트 of view전망 as an AIAI researcher연구원,

230

705876

4320

인공지능 연구자의 입장에서
제가 보기에 가장 어려운 부분은

12:02

is the fact것 that there are lots of us,

231

710220

2575

인간이 너무 많다는 것입니다.

12:06

and so the machine기계 has to somehow어쩐지
trade무역 off, weigh달다 up the preferences환경 설정

232

714294

3581

그래서 인공지능 기계는 수많은
사람들의 선호도를 비교하면서

12:09

of many많은 different다른 people,

233

717899

2225

균형을 유지해야 하죠.

12:12

and there are different다른 ways길 to do that.

234

720148

1906

거기에는 여러 방법이 있습니다.

12:14

Economists경제학자, sociologists사회 학자,
moral사기 philosophers철학자 have understood이해 된 that,

235

722078

3689

그에 관해 경제학자, 사회학자,
윤리학자들이 연구를 수행했고

12:17

and we are actively활발히
looking for collaboration협동.

236

725791

2455

각 분야가 서로 협력하는
시도를 하고 있습니다.

12:20

Let's have a look and see what happens일이
when you get that wrong잘못된.

237

728270

3251

자 여러분이 잘못했을 때
어떤 일이 일어날지 살펴보죠.

12:23

So you can have
a conversation대화, for example예,

238

731545

2133

예를 들어 여러분이
대화를 하고 있습니다.

12:25

with your intelligent지적인 personal개인적인 assistant조수

239

733702

1944

여러분의 인공지능 비서와
이야기를 하고 있습니다.

12:27

that might힘 be available유효한
in a few조금 years'연령' time.

240

735670

2285

이런 대화는 앞으로
몇 년 안에 가능해질 겁니다.

12:29

Think of a Siri시리 on steroids스테로이드.

241

737979

2524

시리를 생각해보세요.

12:33

So Siri시리 says말한다, "Your wife아내 called전화 한
to remind생각 나게하다 you about dinner공식 만찬 tonight오늘 밤."

242

741627

4322

시리가 "사모님이 오늘 저녁 약속을
잊지말라고 전화하셨어요"라고 말합니다.

12:38

And of course코스, you've forgotten잊혀진.
"What? What dinner공식 만찬?

243

746616

2508

여러분은 약속을 잊고 있었죠.

"뭐라고? 무슨 저녁?
무슨 말 하는거야?"

12:41

What are you talking말하는 about?"

244

749148

1425

12:42

"Uh, your 20th일 anniversary기념일 at 7pm오후."

245

750597

3746

"음, 7시로 예정된 결혼 20주년
축하 저녁식사 입니다."

12:48

"I can't do that. I'm meeting모임
with the secretary-general사무 총장 at 7:30.

246

756915

3719

"시간이 안되는데.. 사무총장님과
7시 반에 약속이 있단 말이야.

12:52

How could this have happened일어난?"

247

760658

1692

어떻게 이렇게 겹쳤지?"

12:54

"Well, I did warn경고하다 you, but you overrode지나치다
my recommendation추천."

248

762374

4660

"음, 제가 말씀드리긴 했지만
제 이야기는 무시하셨죠."

13:00

"Well, what am I going to do?
I can't just tell him I'm too busy바쁜."

249

768146

3328

"그럼 어떡하지? 사무총장님한테
바쁘다고 핑계를 댈 수는 없잖아."

13:04

"Don't worry걱정. I arranged배열 된
for his plane평면 to be delayed지연."

250

772490

3281

"걱정마세요. 제가 사무총장님이 타신
비행기가 연착되도록 손 썼습니다."

13:07

(Laughter웃음)

251

775795

1682

(웃음)

13:10

"Some kind종류 of computer컴퓨터 malfunction부조."

252

778249

2101

"알 수 없는 컴퓨터 오류가
일어나도록 했죠."

13:12

(Laughter웃음)

253

780374

1212

(웃음)

13:13

"Really? You can do that?"

254

781610

1617

"정말? 그렇게 할 수 있어?"

13:16

"He sends보냄 his profound깊은 apologies사과

255

784400

2179

"사무총장님이 정말
미안하다고 하셨습니다.

13:18

and looks외모 forward앞으로 to meeting모임 you
for lunch점심 tomorrow내일."

256

786603

2555

그리고 대신 내일 점심에
꼭 보자고 하셨습니다."

13:21

(Laughter웃음)

257

789182

1299

(웃음)

13:22

So the values값 here --
there's a slight근소한 mistake잘못 going on.

258

790505

4403

이 상황에서 가치를 둔 것은..
방향이 조금 잘못되기는 했지만요.

13:26

This is clearly분명히 following수행원 my wife's아내 values값

259

794932

3009

이건 분명 제 아내에게
가치를 둔 결정입니다.

"아내가 행복하면, 삶이 행복하다."
라는 말처럼요.

13:29

which어느 is "Happy행복 wife아내, happy행복 life."

260

797965

2069

13:32

(Laughter웃음)

261

800058

1583

(웃음)

13:33

It could go the other way.

262

801665

1444

다른 상황도 벌어질 수 있습니다.

13:35

You could come home
after a hard단단한 day's오늘의 work,

263

803821

2201

여러분이 정말 힘든 하루를
보내고 집에 왔습니다.

13:38

and the computer컴퓨터 says말한다, "Long day?"

264

806046

2195

그리고 컴퓨터가 말합니다.
"힘든 하루였죠?"

13:40

"Yes, I didn't even have time for lunch점심."

265

808265

2288

"맞아, 점심 먹을 시간도 없었어."

"배가 많이 고프시겠네요."

13:42

"You must절대로 필요한 것 be very hungry배고픈."

266

810577

1282

13:43

"Starving굶주리는, yeah.
Could you make some dinner공식 만찬?"

267

811883

2646

"배고파 죽을 것 같아.
저녁 좀 해줄래?"

13:48

"There's something I need to tell you."

268

816070

2090

"제가 먼저 드릴 말씀이 있습니다."

13:50

(Laughter웃음)

269

818184

1155

(웃음)

13:52

"There are humans인간 in South남쪽 Sudan수단
who are in more urgent긴급한 need than you."

270

820193

4905

"남 수단에는 주인님보다 더 심한
굶주림에 시달리는 사람들이 있습니다."

13:57

(Laughter웃음)

271

825122

1104

(웃음)

13:58

"So I'm leaving퇴거. Make your own개인적인 dinner공식 만찬."

272

826250

2075

"저는 이제 전원을 끄겠습니다.
저녁은 알아서 드세요."

14:00

(Laughter웃음)

273

828349

2000

(웃음)

14:02

So we have to solve풀다 these problems문제들,

274

830823

1739

우리는 이런 문제들을 해결해야 합니다.

14:04

and I'm looking forward앞으로
to working일 on them.

275

832586

2515

그리고 해결되리라고 기대합니다.

14:07

There are reasons원인 for optimism낙천주의.

276

835125

1843

제가 낙관하는 이유가 있습니다.

14:08

One reason이유 is,

277

836992

1159

그 중 하나는

14:10

there is a massive거대한 amount양 of data데이터.

278

838175

1868

정말 방대한 양의 정보가 있다는 거죠.

14:12

Because remember생각해 내다 -- I said
they're going to read독서 everything

279

840067

2794

기계들은 인류가 기록해 둔 모든
자료를 읽어 들일 것입니다.

14:14

the human인간의 race경주 has ever written쓴.

280

842885

1546

우리가 기록한 자료 대부분은
누가 무엇을 했고

14:16

Most가장 of what we write쓰다 about
is human인간의 beings존재들 doing things

281

844455

2724

누가 그 일에 반대했는가에
관한 것들입니다.

14:19

and other people getting점점 upset당황 about it.

282

847203

1914

이런 방대한 양의 정보에서
배울 점이 있습니다.

14:21

So there's a massive거대한 amount양
of data데이터 to learn배우다 from.

283

849141

2398

이를 통해 엄청난
경제적 이득을 볼 수 있죠.

14:23

There's also또한 a very
strong강한 economic간결한 incentive자극

284

851563

2236

14:27

to get this right.

285

855331

1186

제대로 활용한다면요.

14:28

So imagine상상하다 your domestic하인 robot's로봇 at home.

286

856541

2001

자, 여러분 집에 가정부
로봇이 있다고 상상해보세요.

14:30

You're late늦은 from work again
and the robot기계 인간 has to feed먹이 the kids아이들,

287

858566

3067

여러분이 야근으로 귀가가 늦어졌고,
로봇이 아이들의 식사를 챙겨야 합니다.

14:33

and the kids아이들 are hungry배고픈
and there's nothing in the fridge냉장고.

288

861657

2823

아이들은 배가 고프고
냉장고에는 먹을 게 없습니다.

14:36

And the robot기계 인간 sees본다 the cat고양이.

289

864504

2605

그때 로봇은 고양이를 쳐다봅니다.

14:39

(Laughter웃음)

290

867133

1692

(웃음)

14:40

And the robot기계 인간 hasn't~하지 않았다. quite아주 learned배운
the human인간의 value값 function기능 properly정확히,

291

868849

4190

그리고 이 로봇은 인간의 가치 평가
방식을 아직 제대로 배우지 않았습니다.

14:45

so it doesn't understand알다

292

873063

1251

그래서 고양이의 영양학적 가치보다
인간이 고양이를 아끼는 감성적 가치가

14:46

the sentimental감상적 인 value값 of the cat고양이 outweighs보다 중요하다.
the nutritional영양가있는 value값 of the cat고양이.

293

874338

4844

더 중요하다는 것을 이해하지 못합니다.

14:51

(Laughter웃음)

294

879206

1095

(웃음)

어떤 일이 일어날까요?

14:52

So then what happens일이?

295

880325

1748

음, 이런 일이 일어날 겁니다.

14:54

Well, it happens일이 like this:

296

882097

3297

14:57

"Deranged황홀한 robot기계 인간 cooks요리사 kitty고양이 새끼
for family가족 dinner공식 만찬."

297

885418

2964

"미친 로봇이 저녁 메뉴로
고양이를 요리했다"

15:00

That one incident사건 would be the end종료
of the domestic하인 robot기계 인간 industry산업.

298

888406

4523

이 사건 하나로 가정용 로봇
업계는 망해버릴 수 있습니다.

15:04

So there's a huge거대한 incentive자극
to get this right

299

892953

3372

따라서 초지능을 가진
로봇이 출현하기 전에

15:08

long before we reach범위
superintelligent지능 machines기계들.

300

896349

2715

이걸 바로 잡는 것이 무척 중요합니다.

15:12

So to summarize요약하다:

301

900128

1535

자, 요약을 하자면

15:13

I'm actually사실은 trying견딜 수 없는 to change변화
the definition정의 of AIAI

302

901687

2881

저는 인공지능에 대한 정의를
바꾸기 위해 노력합니다.

15:16

so that we have provably증명할 수있는
beneficial유익한 machines기계들.

303

904592

2993

그래야만 정말 도움이 되는
로봇들을 가질 수 있을 겁니다.

15:19

And the principles원칙들 are:

304

907609

1222

여기에는 기본 원칙이 있죠.

15:20

machines기계들 that are altruistic이타적인,

305

908855

1398

로봇은 이타적이어야 하고

15:22

that want to achieve이루다 only our objectives목적들,

306

910277

2804

우리가 원하는 목적만을
이루려고 해야 합니다.

15:25

but that are uncertain불확실한
about what those objectives목적들 are,

307

913105

3116

하지만 그 목적이 정확히
무엇인지 몰라야 합니다.

15:28

and will watch all of us

308

916245

1998

그리고 우리 인간을 잘 살펴야 하죠.

15:30

to learn배우다 more about what it is
that we really want.

309

918267

3203

우리가 진정 무엇을 원하는지
이해하기 위해서입니다.

15:34

And hopefully희망을 갖고 in the process방법,
we will learn배우다 to be better people.

310

922373

3559

그리고 그 과정에서 우리는 더 나은
사람이 되는 법을 배우게 될 것입니다.

15:37

Thank you very much.

311

925956

1191

감사합니다.

15:39

(Applause박수 갈채)

312

927171

3709

(웃음)

15:42

Chris크리스 Anderson앤더슨: So interesting재미있는, Stuart스튜어트.

313

930904

1868

CA: 정말 흥미롭네요. 스튜어트.

다음 강연 순서를 준비하는 동안에
잠깐 이야기를 나누겠습니다.

15:44

We're going to stand대 here a bit비트
because I think they're setting환경 up

314

932796

3170

15:47

for our next다음 것 speaker스피커.

315

935990

1151

몇 가지 질문이 있는데요.

15:49

A couple두 of questions질문들.

316

937165

1538

15:50

So the idea생각 of programming프로그램 작성 in ignorance무지
seems~ 같다 intuitively직관적으로 really powerful강한.

317

938727

5453

무지한 상태에서 프로그래밍한다는 게
무척 대단하다고 생각됩니다.

15:56

As you get to superintelligence슈퍼 인텔리전스,

318

944204

1594

초지능 연구를 하고 계시는데요.

15:57

what's going to stop a robot기계 인간

319

945822

2258

로봇의 이런 부분을 막을 수 있을까요?

16:00

reading독서 literature문학 and discovering발견
this idea생각 that knowledge지식

320

948104

2852

로봇이 문학 서적을 읽고

지식이 무지보다 더 낫다는
개념을 발견하게 되고

16:02

is actually사실은 better than ignorance무지

321

950980

1572

16:04

and still just shifting이동 its own개인적인 goals목표
and rewriting다시 쓰기 that programming프로그램 작성?

322

952576

4218

그러면서도 계속 스스로 목적을 바꾸고

그걸 다시 프로그래밍히는 걸
막을 수 있나요?

16:09

Stuart스튜어트 Russell러셀: Yes, so we want
it to learn배우다 more, as I said,

323

957692

6356

SR: 네. 말씀드렸다시피, 우리는
로봇이 더 많이 배우길 바랍니다.

16:16

about our objectives목적들.

324

964072

1287

우리의 목표에 대해서 말이죠

16:17

It'll그것은 only become지다 more certain어떤
as it becomes된다 more correct옳은,

325

965383

5521

목표가 더 정확해질수록
더 확실해지게 됩니다.

16:22

so the evidence증거 is there

326

970928

1945

그런 증거들이 있습니다.

16:24

and it's going to be designed디자인 된
to interpret새기다 it correctly바르게.

327

972897

2724

그리고 목표를 정확하게
해석할 수 있도록 설계될 겁니다.

16:27

It will understand알다, for example예,
that books서적 are very biased치우친

328

975645

3956

예를 들어, 인공지능이 책들을 읽고

그 안에 담긴 내용들이 한쪽으로
편향되어 있다고 이해하게 될 겁니다.

16:31

in the evidence증거 they contain있다.

329

979625

1483

그 책들의 내용은

16:33

They only talk about kings왕 and princes왕자

330

981132

2397

왕과 왕자, 뛰어난 백인
남성들의 업적들 뿐이죠.

16:35

and elite엘리트 white화이트 male남성 people doing stuff물건.

331

983553

2800

16:38

So it's a complicated복잡한 problem문제,

332

986377

2096

이것은 어려운 문제입니다.

16:40

but as it learns배우다 more about our objectives목적들

333

988497

3872

하지만 우리의 목적에 대해
더 많이 알게 될수록

16:44

it will become지다 more and more useful유능한 to us.

334

992393

2063

우리에게 더욱 유용하게 될 겁니다.

16:46

CA캘리포니아 주: And you couldn't할 수 없었다
just boil종기 it down to one law법,

335

994480

2526

CA: 그런데 그걸 하나의
법칙으로만 말할 수는 없겠죠.

말하자면, 이렇게 입력하는 건가요.

16:49

you know, hardwired하드 와이어드 in:

336

997030

1650

16:50

"if any human인간의 ever tries시도하다 to switch스위치 me off,

337

998704

3293

"만약 어떤 인간이라도
내 전원을 끄려고 한다면

16:54

I comply응하다. I comply응하다."

338

1002021

1935

나는 복종한다. 복종한다"

16:55

SRSR: Absolutely전혀 not.

339

1003980

1182

SR: 물론 아닙니다.
그건 정말 끔찍한 생각이에요.

16:57

That would be a terrible무서운 idea생각.

340

1005186

1499

무인자동차를 갖고 있다고 생각해보세요.

16:58

So imagine상상하다 that you have
a self-driving자가 운전 car차

341

1006709

2689

17:01

and you want to send보내다 your five-year-old5 살짜리

342

1009422

2433

그리고 다섯 살이 된 아이를
유치원에 데려다 주려고 합니다.

17:03

off to preschool취학 전의.

343

1011879

1174

17:05

Do you want your five-year-old5 살짜리
to be able할 수 있는 to switch스위치 off the car차

344

1013077

3101

그때 운전중에 다섯 살짜리 아이가
전원을 꺼버리게 두시겠어요?

17:08

while it's driving운전 along...을 따라서?

345

1016202

1213

아마 아닐 겁니다.

17:09

Probably아마 not.

346

1017439

1159

로봇은 작동하는 사람이 얼마나
이성적이고 지각이 있는지 파악합니다.

17:10

So it needs필요 to understand알다 how rational이성적인
and sensible현명한 the person사람 is.

347

1018622

4703

17:15

The more rational이성적인 the person사람,

348

1023349

1676

더 이성적인 사람이
전윈을 꺼주기를 바라겠죠.

17:17

the more willing자발적인 you are
to be switched교환 된 off.

349

1025049

2103

만약 어떤 사람인지 전혀 모르고
심지어 악의적인 사람이라면

17:19

If the person사람 is completely완전히
random무작위의 or even malicious악의 있는,

350

1027176

2543

17:21

then you're less적게 willing자발적인
to be switched교환 된 off.

351

1029743

2512

그런 사람이 전원을 끄기를
원하지는 않을 겁니다.

17:24

CA캘리포니아 주: All right. Stuart스튜어트, can I just say,

352

1032279

1866

CA: 알겠습니다. 스튜어드씨,

저희 모두를 위해 그 문제를
해결해 주시기를 바랍니다.

17:26

I really, really hope기대 you
figure그림 this out for us.

353

1034169

2314

좋은 강연 감사합니다.
정말 놀라운 이야기였습니다

17:28

Thank you so much for that talk.
That was amazing놀랄 만한.

354

1036507

2375

SR: 감사합니다

17:30

SRSR: Thank you.

355

1038906

1167

17:32

(Applause박수 갈채)

356

1040097

1837

(박수)

Translated by Julie Jeng
Reviewed by Keun young Lee

ABOUT THE SPEAKER

Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com

THE ORIGINAL VIDEO ON TED.COM

스튜어드 러셀(Stuart Russell): 인공지능이 우리를 더 나은 사람으로 만들 수 있을까요? | TED Talk | TED.com