TEDSummit
Sam Harris: Can we build AI without losing control over it?
샘 해리스(Sam Harris): 우리가 통제권을 잃지 않으면서 인공지능 만들수 있을까요?
Filmed:
Readability: 4.1
5,024,015 views
엄청난 지능의 인공지능(AI)이 두려우신가요? 신경과학자이자 철학자인 샘 해리스는 두려워 해야 하고, 단지 이론적으로만 두려워 할 게 아니라고 말합니다. 우리는 인간을 뛰어 넘는 기계를 만들테지만, 우리가 개미를 대하듯이 우리를 그렇게 대할 수도 있는 기계를 만들지도 모른다는 문제는 아직 고민한 적도 없다고 그는 지적합니다.
Sam Harris - Neuroscientist, philosopher
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Sam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live. Full bio
Double-click the English transcript below to play the video.
00:13
I'm going to talk
about a failure of intuition
about a failure of intuition
0
1000
2216
직감이 틀리는 경우에
대해서 얘기할까 합니다.
대해서 얘기할까 합니다.
00:15
that many of us suffer from.
1
3240
1600
우리가 흔히 겪는 일이죠.
00:17
It's really a failure
to detect a certain kind of danger.
to detect a certain kind of danger.
2
5480
3040
이것은 실제로 어떤 종류의
위험을 감지하지 못하는 겁니다.
위험을 감지하지 못하는 겁니다.
00:21
I'm going to describe a scenario
3
9360
1736
가능한 시나리오를 말씀드리겠습니다.
00:23
that I think is both terrifying
4
11120
3256
아주 무섭기도 하고
00:26
and likely to occur,
5
14400
1760
일어날 가능성도 높죠.
00:28
and that's not a good combination,
6
16840
1656
이 둘의 조합은 별로
반길 상황은 아닐 겁니다.
반길 상황은 아닐 겁니다.
00:30
as it turns out.
7
18520
1536
00:32
And yet rather than be scared,
most of you will feel
most of you will feel
8
20080
2456
하지만 여러분 대부분은
제가 말씀드릴 내용에 대해서
제가 말씀드릴 내용에 대해서
00:34
that what I'm talking about
is kind of cool.
is kind of cool.
9
22560
2080
무서워하기 보다는
멋지다고 생각할 겁니다.
멋지다고 생각할 겁니다.
00:37
I'm going to describe
how the gains we make
how the gains we make
10
25200
2976
제가 말씀드리고 싶은 것은
인공지능을 만들어서 얻게 될 이점이
인공지능을 만들어서 얻게 될 이점이
00:40
in artificial intelligence
11
28200
1776
결국 우리를 파멸시킬 수도
있다는 사실입니다.
있다는 사실입니다.
00:42
could ultimately destroy us.
12
30000
1776
00:43
And in fact, I think it's very difficult
to see how they won't destroy us
to see how they won't destroy us
13
31800
3456
사실 인공지능이 우리를
파멸시키지 않을지
파멸시키지 않을지
우리 스스로 자멸하도록
만들지는 전혀 알 수 없죠.
만들지는 전혀 알 수 없죠.
00:47
or inspire us to destroy ourselves.
14
35280
1680
00:49
And yet if you're anything like me,
15
37400
1856
하지만 여러분이 저와 같다면
00:51
you'll find that it's fun
to think about these things.
to think about these things.
16
39280
2656
이 문제를 생각해 보는 것도
재미있다고 느끼실 겁니다.
재미있다고 느끼실 겁니다.
00:53
And that response is part of the problem.
17
41960
3376
그런 반응도 문제입니다.
00:57
OK? That response should worry you.
18
45360
1720
걱정스런 반응이어야죠.
00:59
And if I were to convince you in this talk
19
47920
2656
이 강연에서 여러분들에게
01:02
that we were likely
to suffer a global famine,
to suffer a global famine,
20
50600
3416
기후변화나 다른 재앙으로 인해
세계적 기근으로 고통받을 거라든지
세계적 기근으로 고통받을 거라든지
01:06
either because of climate change
or some other catastrophe,
or some other catastrophe,
21
54040
3056
01:09
and that your grandchildren,
or their grandchildren,
or their grandchildren,
22
57120
3416
여러분의 손자나 그들의 손자들이
01:12
are very likely to live like this,
23
60560
1800
이러저러하게 살게 될 거라고 설명하면
01:15
you wouldn't think,
24
63200
1200
이런 생각은 안드시겠죠.
01:17
"Interesting.
25
65440
1336
"재미있군.
01:18
I like this TED Talk."
26
66800
1200
이 강연 맘에 들어"라고요.
01:21
Famine isn't fun.
27
69200
1520
기근은 재미있는 일이 아닙니다.
01:23
Death by science fiction,
on the other hand, is fun,
on the other hand, is fun,
28
71800
3376
그러나 공상과학에서
벌어지는 죽음은 재미있죠.
벌어지는 죽음은 재미있죠.
01:27
and one of the things that worries me most
about the development of AI at this point
about the development of AI at this point
29
75200
3976
지금 이 시점에서 인공지능
개발에 대해 가장 걱정되는 것은
개발에 대해 가장 걱정되는 것은
01:31
is that we seem unable to marshal
an appropriate emotional response
an appropriate emotional response
30
79200
4096
앞으로 있을 위험에 대한
적절한 감정적 반응을
적절한 감정적 반응을
01:35
to the dangers that lie ahead.
31
83320
1816
못하는 것 같다는 겁니다.
01:37
I am unable to marshal this response,
and I'm giving this talk.
and I'm giving this talk.
32
85160
3200
저도 잘 못하면서
이 강연을 하고 있습니다.
이 강연을 하고 있습니다.
01:42
It's as though we stand before two doors.
33
90120
2696
마치 두 개의 문 앞에
서 있는 것과 같습니다.
서 있는 것과 같습니다.
01:44
Behind door number one,
34
92840
1256
1번 문으로 들어서면
01:46
we stop making progress
in building intelligent machines.
in building intelligent machines.
35
94120
3296
인공지능 기계의 구축은
더이상 진보하지 않습니다.
더이상 진보하지 않습니다.
01:49
Our computer hardware and software
just stops getting better for some reason.
just stops getting better for some reason.
36
97440
4016
컴퓨터 하드웨어와 소프트웨어가
더 이상 발전하지 않습니다.
더 이상 발전하지 않습니다.
01:53
Now take a moment
to consider why this might happen.
to consider why this might happen.
37
101480
3000
왜 그런 일이 일어날지
한번 생각해보죠.
한번 생각해보죠.
01:57
I mean, given how valuable
intelligence and automation are,
intelligence and automation are,
38
105080
3656
인공지능과 자동화가
얼마나 가치있는지 안다면
얼마나 가치있는지 안다면
02:00
we will continue to improve our technology
if we are at all able to.
if we are at all able to.
39
108760
3520
할 수 있는 한 계속해서
기술을 향상시키려 하겠죠.
기술을 향상시키려 하겠죠.
02:05
What could stop us from doing this?
40
113200
1667
그걸 멈춘다면 이유가 뭘까요?
02:07
A full-scale nuclear war?
41
115800
1800
전면적 핵 전쟁일까요?
02:11
A global pandemic?
42
119000
1560
세계적 전염병 재앙일까요?
02:14
An asteroid impact?
43
122320
1320
소행성 충돌일까요?
02:17
Justin Bieber becoming
president of the United States?
president of the United States?
44
125640
2576
저스틴 비버가 미국 대통령이
된다면 이유가 될까요?
된다면 이유가 될까요?
02:20
(Laughter)
45
128240
2280
(웃음)
02:24
The point is, something would have to
destroy civilization as we know it.
destroy civilization as we know it.
46
132760
3920
핵심은 뭔가가 우리가 아는
문명을 파괴한다는 겁니다.
문명을 파괴한다는 겁니다.
02:29
You have to imagine
how bad it would have to be
how bad it would have to be
47
137360
4296
이게 얼마나 나쁠지
생각해 봐야 합니다.
생각해 봐야 합니다.
02:33
to prevent us from making
improvements in our technology
improvements in our technology
48
141680
3336
우리의 기술향상을 막을 정도로 말이죠.
02:37
permanently,
49
145040
1216
영원히
02:38
generation after generation.
50
146280
2016
앞으로 계속이요.
02:40
Almost by definition,
this is the worst thing
this is the worst thing
51
148320
2136
말 그대로 그것은
인류 사상 최악의 일입니다.
인류 사상 최악의 일입니다.
02:42
that's ever happened in human history.
52
150480
2016
02:44
So the only alternative,
53
152520
1296
그래서 유일한 대안은
02:45
and this is what lies
behind door number two,
behind door number two,
54
153840
2336
2번 문 뒤에 있는데
02:48
is that we continue
to improve our intelligent machines
to improve our intelligent machines
55
156200
3136
인공지능을 계속 발전시키는 겁니다.
02:51
year after year after year.
56
159360
1600
앞으로 수년 동안 계속이요.
02:53
At a certain point, we will build
machines that are smarter than we are,
machines that are smarter than we are,
57
161720
3640
언젠가는 우리보다
똑똑한 기계를 만들겠죠.
똑똑한 기계를 만들겠죠.
02:58
and once we have machines
that are smarter than we are,
that are smarter than we are,
58
166080
2616
더 똑똑한 기계가 생기면
기계 스스로 발전할 겁니다.
03:00
they will begin to improve themselves.
59
168720
1976
03:02
And then we risk what
the mathematician IJ Good called
the mathematician IJ Good called
60
170720
2736
그러면 수학자 아이 제이 굿의 말대로
03:05
an "intelligence explosion,"
61
173480
1776
"지능 폭발"이라는
위험성을 안게 되는데
위험성을 안게 되는데
03:07
that the process could get away from us.
62
175280
2000
우리 통제권을 벗어나는
일이 생기는 거죠.
일이 생기는 거죠.
03:10
Now, this is often caricatured,
as I have here,
as I have here,
63
178120
2816
여기 보시는 것처럼
이런 풍자만화도 있는데요.
이런 풍자만화도 있는데요.
03:12
as a fear that armies of malicious robots
64
180960
3216
위험한 로봇 군대가 우리를
공격하리라는 두려움이죠.
공격하리라는 두려움이죠.
03:16
will attack us.
65
184200
1256
03:17
But that isn't the most likely scenario.
66
185480
2696
하지만 그건 있을만한 일은 아닙니다.
03:20
It's not that our machines
will become spontaneously malevolent.
will become spontaneously malevolent.
67
188200
4856
기계가 스스로 악해질 리가 없거든요.
03:25
The concern is really
that we will build machines
that we will build machines
68
193080
2616
문제는 우리가 기계를 만드는데
03:27
that are so much
more competent than we are
more competent than we are
69
195720
2056
우리보다 너무 능력이 뛰어나서
03:29
that the slightest divergence
between their goals and our own
between their goals and our own
70
197800
3776
기계와 우리의 목표가 살짝만 어긋나도
우리를 파멸시킬 수 있는 겁니다.
우리를 파멸시킬 수 있는 겁니다.
03:33
could destroy us.
71
201600
1200
03:35
Just think about how we relate to ants.
72
203960
2080
개미와 관련지어 생각해 보세요.
03:38
We don't hate them.
73
206600
1656
우리는 개미를 싫어하진 않아요.
03:40
We don't go out of our way to harm them.
74
208280
2056
개미를 해치지도 않죠.
03:42
In fact, sometimes
we take pains not to harm them.
we take pains not to harm them.
75
210360
2376
사실 때로는 해치지 않으려고 노력하죠.
03:44
We step over them on the sidewalk.
76
212760
2016
길에서 개미들을 넘어서
걸음을 딛잖아요.
걸음을 딛잖아요.
03:46
But whenever their presence
77
214800
2136
하지만 개미의 존재가
03:48
seriously conflicts with one of our goals,
78
216960
2496
우리의 목표와 심각하게 부딪힐 때
03:51
let's say when constructing
a building like this one,
a building like this one,
79
219480
2477
가령, 이런 건물을 지을 때
03:53
we annihilate them without a qualm.
80
221981
1960
거리낌없이 전멸시킵니다.
03:56
The concern is that we will
one day build machines
one day build machines
81
224480
2936
문제는 우리가 언젠가 기계를 만들텐데
03:59
that, whether they're conscious or not,
82
227440
2736
그 기계가 의식이 있든 없든
04:02
could treat us with similar disregard.
83
230200
2000
비슷하게 무시하는 태도로
우리를 대할 수 있다는 거죠.
우리를 대할 수 있다는 거죠.
04:05
Now, I suspect this seems
far-fetched to many of you.
far-fetched to many of you.
84
233760
2760
지나친 억측이라고
생각하는 분이 대다수겠지만
생각하는 분이 대다수겠지만
04:09
I bet there are those of you who doubt
that superintelligent AI is possible,
that superintelligent AI is possible,
85
237360
6336
초지능 AI가 가능하기나 한지
의심스러운 분도 분명 계시겠죠.
의심스러운 분도 분명 계시겠죠.
04:15
much less inevitable.
86
243720
1656
물론 필연적이라고 보지도 않고요.
04:17
But then you must find something wrong
with one of the following assumptions.
with one of the following assumptions.
87
245400
3620
그럼 다음 가정에서 잘못된
점을 찾으셔야 할 겁니다.
점을 찾으셔야 할 겁니다.
04:21
And there are only three of them.
88
249044
1572
단 세 가지입니다.
04:23
Intelligence is a matter of information
processing in physical systems.
processing in physical systems.
89
251800
4719
지능이란 물리적 시스템에서
정보를 처리하는 것입니다.
정보를 처리하는 것입니다.
04:29
Actually, this is a little bit more
than an assumption.
than an assumption.
90
257320
2615
사실 이것은 약간은
가정 그 이상입니다.
가정 그 이상입니다.
04:31
We have already built
narrow intelligence into our machines,
narrow intelligence into our machines,
91
259959
3457
우린 이미 기계에
제한된 지능을 구축했고
제한된 지능을 구축했고
04:35
and many of these machines perform
92
263440
2016
이 기계들은 이미
04:37
at a level of superhuman
intelligence already.
intelligence already.
93
265480
2640
인간을 뛰어넘는 지능
수준으로 구동합니다.
수준으로 구동합니다.
04:40
And we know that mere matter
94
268840
2576
우리가 알기로 단순한 문제가
04:43
can give rise to what is called
"general intelligence,"
"general intelligence,"
95
271440
2616
"일반 지능"이란 것을
만들어 낼 수도 있죠.
만들어 낼 수도 있죠.
04:46
an ability to think flexibly
across multiple domains,
across multiple domains,
96
274080
3656
다양한 분야에서 융통성 있게
사고하는 능력인데
사고하는 능력인데
04:49
because our brains have managed it. Right?
97
277760
3136
우리 뇌는 그렇게 해왔잖아요. 그렇죠?
04:52
I mean, there's just atoms in here,
98
280920
3936
여기 원자들이 있고
04:56
and as long as we continue
to build systems of atoms
to build systems of atoms
99
284880
4496
원자 시스템을 계속 구축해서
05:01
that display more and more
intelligent behavior,
intelligent behavior,
100
289400
2696
점점 더 지능적인 행동을 하게 하면
05:04
we will eventually,
unless we are interrupted,
unless we are interrupted,
101
292120
2536
중간에 멈추지만 않는다면
05:06
we will eventually
build general intelligence
build general intelligence
102
294680
3376
우린 마침내 일반지능을
05:10
into our machines.
103
298080
1296
기계에 구축할 겁니다.
05:11
It's crucial to realize
that the rate of progress doesn't matter,
that the rate of progress doesn't matter,
104
299400
3656
진보의 속도가 문제되지
않음을 아는게 중요합니다.
않음을 아는게 중요합니다.
05:15
because any progress
is enough to get us into the end zone.
is enough to get us into the end zone.
105
303080
3176
어떻게든 발전하면 끝까지
갈 수 있기 때문이죠.
갈 수 있기 때문이죠.
05:18
We don't need Moore's law to continue.
We don't need exponential progress.
We don't need exponential progress.
106
306280
3776
계속 하기 위해 무어의 법칙이나
기하급수적인 진보가 필요없습니다.
기하급수적인 진보가 필요없습니다.
05:22
We just need to keep going.
107
310080
1600
그냥 계속 하면 되죠.
05:25
The second assumption
is that we will keep going.
is that we will keep going.
108
313480
2920
두 번째 가정은 우리가
계속 할 것이라는 겁니다.
계속 할 것이라는 겁니다.
05:29
We will continue to improve
our intelligent machines.
our intelligent machines.
109
317000
2760
우리는 지능적인 기계를
계속 향상시킬 겁니다.
계속 향상시킬 겁니다.
05:33
And given the value of intelligence --
110
321000
4376
지능의 가치를 생각해 볼 때
05:37
I mean, intelligence is either
the source of everything we value
the source of everything we value
111
325400
3536
지능이란 우리가 가치있게
여기는 모든 것의 원천이거나
여기는 모든 것의 원천이거나
05:40
or we need it to safeguard
everything we value.
everything we value.
112
328960
2776
가치있는 것을 지키기 위해 필요하죠.
05:43
It is our most valuable resource.
113
331760
2256
우리의 가장 귀한 자원입니다.
05:46
So we want to do this.
114
334040
1536
그래서 개발을 하고 싶은 겁니다.
05:47
We have problems
that we desperately need to solve.
that we desperately need to solve.
115
335600
3336
우리는 간절히 해결하고
싶은 문제들이 있죠.
싶은 문제들이 있죠.
05:50
We want to cure diseases
like Alzheimer's and cancer.
like Alzheimer's and cancer.
116
338960
3200
알츠하이머 병이나 암같은
질병을 치료하고 싶어 합니다.
질병을 치료하고 싶어 합니다.
05:54
We want to understand economic systems.
We want to improve our climate science.
We want to improve our climate science.
117
342960
3936
경제 체계를 이해하고 기후 과학을
발전시키고 싶어 하죠.
발전시키고 싶어 하죠.
05:58
So we will do this, if we can.
118
346920
2256
그래서 할 수만 있다면 할 겁니다.
06:01
The train is already out of the station,
and there's no brake to pull.
and there's no brake to pull.
119
349200
3286
기차는 이미 출발했고
멈출 브레이크가 없습니다.
멈출 브레이크가 없습니다.
06:05
Finally, we don't stand
on a peak of intelligence,
on a peak of intelligence,
120
353880
5456
마지막 가정으로 우리는 지능의
정점에 서있지 않다는 겁니다.
정점에 서있지 않다는 겁니다.
06:11
or anywhere near it, likely.
121
359360
1800
그 근처에 가지도 못했을 거에요.
06:13
And this really is the crucial insight.
122
361640
1896
사실 이게 중요한 생각입니다.
06:15
This is what makes
our situation so precarious,
our situation so precarious,
123
363560
2416
바로 그래서 우리 상황이
매우 위험한 겁니다.
매우 위험한 겁니다.
06:18
and this is what makes our intuitions
about risk so unreliable.
about risk so unreliable.
124
366000
4040
그래서 우리 위험을 인지하는
우리 직감을 믿을 수가 없는 것이죠.
우리 직감을 믿을 수가 없는 것이죠.
06:23
Now, just consider the smartest person
who has ever lived.
who has ever lived.
125
371120
2720
이제 지구상에서 가장
똑똑한 사람이 있다고 하죠.
똑똑한 사람이 있다고 하죠.
06:26
On almost everyone's shortlist here
is John von Neumann.
is John von Neumann.
126
374640
3416
거의 모든 사람들을 추려내면
존 폰 노이만이 나옵니다.
존 폰 노이만이 나옵니다.
06:30
I mean, the impression that von Neumann
made on the people around him,
made on the people around him,
127
378080
3336
주변 사람들이 폰 노이만을
어떻게 생각했는지와
어떻게 생각했는지와
06:33
and this included the greatest
mathematicians and physicists of his time,
mathematicians and physicists of his time,
128
381440
4056
그가 당대의 위대한 수학자이자
물리학자에 포함된다는 사실은
물리학자에 포함된다는 사실은
06:37
is fairly well-documented.
129
385520
1936
잘 알려져 있죠.
06:39
If only half the stories
about him are half true,
about him are half true,
130
387480
3776
그에 대한 일화의 절반 중에서
반만 사실이라 하더라도
반만 사실이라 하더라도
06:43
there's no question
131
391280
1216
의심의 여지 없이
06:44
he's one of the smartest people
who has ever lived.
who has ever lived.
132
392520
2456
그는 역사상 가장 똑똑한 사람입니다.
06:47
So consider the spectrum of intelligence.
133
395000
2520
지능의 범위를 생각해 보세요.
06:50
Here we have John von Neumann.
134
398320
1429
폰 노이만은 여기 있습니다.
06:53
And then we have you and me.
135
401560
1334
그리고 여기 여러분과 제가 있죠.
06:56
And then we have a chicken.
136
404120
1296
그리고 닭은 여기 있습니다.
06:57
(Laughter)
137
405440
1936
(웃음)
06:59
Sorry, a chicken.
138
407400
1216
닭아 미안하다.
07:00
(Laughter)
139
408640
1256
(웃음)
07:01
There's no reason for me to make this talk
more depressing than it needs to be.
more depressing than it needs to be.
140
409920
3736
이 강연을 꼭 우울하게
할 필요는 없죠.
할 필요는 없죠.
07:05
(Laughter)
141
413680
1600
(웃음)
07:08
It seems overwhelmingly likely, however,
that the spectrum of intelligence
that the spectrum of intelligence
142
416339
3477
하지만 놀랍게도 지능의 범위는
07:11
extends much further
than we currently conceive,
than we currently conceive,
143
419840
3120
우리가 현재 가질 수 있는
것보다 훨씬 넓게 확장되고
것보다 훨씬 넓게 확장되고
07:15
and if we build machines
that are more intelligent than we are,
that are more intelligent than we are,
144
423880
3216
우리보다 지능적인 기계를 구축한다면
07:19
they will very likely
explore this spectrum
explore this spectrum
145
427120
2296
이 범위를 아우를
가능성이 매우 높습니다.
가능성이 매우 높습니다.
07:21
in ways that we can't imagine,
146
429440
1856
상상할 수 없을 정도로요.
07:23
and exceed us in ways
that we can't imagine.
that we can't imagine.
147
431320
2520
또한 상상할 수 없을 정도로
우리를 능가할 겁니다.
우리를 능가할 겁니다.
07:27
And it's important to recognize that
this is true by virtue of speed alone.
this is true by virtue of speed alone.
148
435000
4336
속도 하나만 봐도
그렇다는 걸 알아야 합니다.
그렇다는 걸 알아야 합니다.
07:31
Right? So imagine if we just built
a superintelligent AI
a superintelligent AI
149
439360
5056
그렇죠? 초지능 AI를
구축한다고 해봅시다.
구축한다고 해봅시다.
07:36
that was no smarter
than your average team of researchers
than your average team of researchers
150
444440
3456
스탠포드 대학이나 MIT의 연구팀의
평균 지능보다 덜 똑똑한 정도로요.
평균 지능보다 덜 똑똑한 정도로요.
07:39
at Stanford or MIT.
151
447920
2296
07:42
Well, electronic circuits
function about a million times faster
function about a million times faster
152
450240
2976
생화학적인 회로보다 전자 회로가
백만 배는 빠르게 작동합니다.
백만 배는 빠르게 작동합니다.
07:45
than biochemical ones,
153
453240
1256
07:46
so this machine should think
about a million times faster
about a million times faster
154
454520
3136
그러니 이 기계는 그걸 구축한 사람보다
백만 배의 속도로 빠르게 생각하겠죠.
백만 배의 속도로 빠르게 생각하겠죠.
07:49
than the minds that built it.
155
457680
1816
07:51
So you set it running for a week,
156
459520
1656
일주일 동안 돌리면
07:53
and it will perform 20,000 years
of human-level intellectual work,
of human-level intellectual work,
157
461200
4560
인간 수준 지능의 2만 년
분량을 해치울 겁니다.
분량을 해치울 겁니다.
07:58
week after week after week.
158
466400
1960
몇 주 동안 계속 말이죠.
08:01
How could we even understand,
much less constrain,
much less constrain,
159
469640
3096
별 제한 없이
이런 진보를 이루어내는 인공지능을
어떻게 받아들여야 할까요?
어떻게 받아들여야 할까요?
08:04
a mind making this sort of progress?
160
472760
2280
08:08
The other thing that's worrying, frankly,
161
476840
2136
솔직히 걱정되는 다른 것은
08:11
is that, imagine the best case scenario.
162
479000
4976
최고의 시나리오를 생각해 보는 겁니다.
08:16
So imagine we hit upon a design
of superintelligent AI
of superintelligent AI
163
484000
4176
안전성에 대해 고려하지 않고
초지능 AI를 설계한다고 상상해 보세요.
초지능 AI를 설계한다고 상상해 보세요.
08:20
that has no safety concerns.
164
488200
1376
08:21
We have the perfect design
the first time around.
the first time around.
165
489600
3256
처음에는 설계가 완벽하죠.
08:24
It's as though we've been handed an oracle
166
492880
2216
의도한 대로 정확히 행동하는
조력자를 얻은 것 같습니다.
조력자를 얻은 것 같습니다.
08:27
that behaves exactly as intended.
167
495120
2016
08:29
Well, this machine would be
the perfect labor-saving device.
the perfect labor-saving device.
168
497160
3720
노동력을 절감해주는
완벽한 기계가 될 겁니다.
완벽한 기계가 될 겁니다.
08:33
It can design the machine
that can build the machine
that can build the machine
169
501680
2429
이걸로 물리적인 작업을 할
기계를 만들어 내는
기계를 만들어 내는
08:36
that can do any physical work,
170
504133
1763
또 다른 기계를 고안할 수 있습니다.
08:37
powered by sunlight,
171
505920
1456
태양에너지로 돌아가고
08:39
more or less for the cost
of raw materials.
of raw materials.
172
507400
2696
원자재 정도의 비용만 들어가죠.
08:42
So we're talking about
the end of human drudgery.
the end of human drudgery.
173
510120
3256
인간의 고된 노동이 끝나게
된다는 걸 의미하는 거에요.
된다는 걸 의미하는 거에요.
08:45
We're also talking about the end
of most intellectual work.
of most intellectual work.
174
513400
2800
그건 대부분의 지적 노동도
끝나게 된다는 말이기도 합니다.
끝나게 된다는 말이기도 합니다.
08:49
So what would apes like ourselves
do in this circumstance?
do in this circumstance?
175
517200
3056
우리 같은 유인원은
이런 상황에서 뭘 할까요?
이런 상황에서 뭘 할까요?
08:52
Well, we'd be free to play Frisbee
and give each other massages.
and give each other massages.
176
520280
4080
한가로이 원반 던지기 놀이하면서
서로 마사지나 해주겠죠.
서로 마사지나 해주겠죠.
08:57
Add some LSD and some
questionable wardrobe choices,
questionable wardrobe choices,
177
525840
2856
환각제 조금과 이상한 옷만 더하면
09:00
and the whole world
could be like Burning Man.
could be like Burning Man.
178
528720
2176
전 세계가 마치 버닝맨
축제 같을 겁니다.
축제 같을 겁니다.
09:02
(Laughter)
179
530920
1640
(웃음)
09:06
Now, that might sound pretty good,
180
534320
2000
참 괜찮을 것 같지만
09:09
but ask yourself what would happen
181
537280
2376
현재의 정치 경제 상황에서
무슨 일이 생길지 자문해 보세요.
무슨 일이 생길지 자문해 보세요.
09:11
under our current economic
and political order?
and political order?
182
539680
2736
09:14
It seems likely that we would witness
183
542440
2416
다분히 우리들은
09:16
a level of wealth inequality
and unemployment
and unemployment
184
544880
4136
이전에 없던 부의 불평등과
실업문제를 직면하게 될 겁니다.
실업문제를 직면하게 될 겁니다.
09:21
that we have never seen before.
185
549040
1496
09:22
Absent a willingness
to immediately put this new wealth
to immediately put this new wealth
186
550560
2616
새로운 부를 즉시 모든
인류와 나누려 하지 않고
인류와 나누려 하지 않고
09:25
to the service of all humanity,
187
553200
1480
09:27
a few trillionaires could grace
the covers of our business magazines
the covers of our business magazines
188
555640
3616
소수의 백만장자들만이
경제지 표지를 장식하겠죠.
경제지 표지를 장식하겠죠.
09:31
while the rest of the world
would be free to starve.
would be free to starve.
189
559280
2440
세계의 나머지 인류는
굶어 죽는 동안에요.
굶어 죽는 동안에요.
09:34
And what would the Russians
or the Chinese do
or the Chinese do
190
562320
2296
러시아나 중국인은 뭘 할까요?
09:36
if they heard that some company
in Silicon Valley
in Silicon Valley
191
564640
2616
실리콘 밸리의 어떤 회사들이
09:39
was about to deploy a superintelligent AI?
192
567280
2736
초지능 AI를 곧 사용하려고
한다는 걸 들으면요.
한다는 걸 들으면요.
09:42
This machine would be capable
of waging war,
of waging war,
193
570040
2856
이 기계는 전쟁도
일으킬 수 있을 겁니다.
일으킬 수 있을 겁니다.
09:44
whether terrestrial or cyber,
194
572920
2216
지역분쟁이건 사이버 전쟁이건
09:47
with unprecedented power.
195
575160
1680
전례없는 힘을 가지고 말입니다.
09:50
This is a winner-take-all scenario.
196
578120
1856
이건 승자독식의 시나리오입니다.
09:52
To be six months ahead
of the competition here
of the competition here
197
580000
3136
이 경쟁에서 6개월 앞선다는 것은
09:55
is to be 500,000 years ahead,
198
583160
2776
최소한 50만 년 앞서는 것입니다.
09:57
at a minimum.
199
585960
1496
09:59
So it seems that even mere rumors
of this kind of breakthrough
of this kind of breakthrough
200
587480
4736
그래서 이런 혁신적인 일이
우리 인류를 미쳐 날뛰게 만들
거라는 소문이 더욱 떠도는 거죠.
거라는 소문이 더욱 떠도는 거죠.
10:04
could cause our species to go berserk.
201
592240
2376
10:06
Now, one of the most frightening things,
202
594640
2896
이제 가장 두려운 것은
10:09
in my view, at this moment,
203
597560
2776
지금 현재, 제 생각에는
10:12
are the kinds of things
that AI researchers say
that AI researchers say
204
600360
4296
AI연구자가 이런 말을 하는 겁니다.
10:16
when they want to be reassuring.
205
604680
1560
안심시키려고 말이죠.
10:19
And the most common reason
we're told not to worry is time.
we're told not to worry is time.
206
607000
3456
걱정하지 않아도 되는
이유는 시기 때문이라고 하죠.
이유는 시기 때문이라고 하죠.
10:22
This is all a long way off,
don't you know.
don't you know.
207
610480
2056
이것은 완전히 빗나간 말입니다.
10:24
This is probably 50 or 100 years away.
208
612560
2440
아마도 50에서 100년 뒤겠죠.
10:27
One researcher has said,
209
615720
1256
한 연구원이 말했습니다.
10:29
"Worrying about AI safety
210
617000
1576
"AI의 안전성에 대한 우려는
10:30
is like worrying
about overpopulation on Mars."
about overpopulation on Mars."
211
618600
2280
마치 화성의 과잉 인구를
걱정하는 것과 같다."
걱정하는 것과 같다."
10:34
This is the Silicon Valley version
212
622116
1620
실리콘 밸리 식으로
표현하면 이런 뜻이죠.
표현하면 이런 뜻이죠.
10:35
of "don't worry your
pretty little head about it."
pretty little head about it."
213
623760
2376
"그 쬐그만 머리로 걱정하지 마세요."
10:38
(Laughter)
214
626160
1336
(웃음)
10:39
No one seems to notice
215
627520
1896
아무도 모르는 것 같습니다.
10:41
that referencing the time horizon
216
629440
2616
시간의 축을 말하는 게
완전히 잘못된 결론인 것을
완전히 잘못된 결론인 것을
10:44
is a total non sequitur.
217
632080
2576
지능이 그저 정보처리하는 문제라면
10:46
If intelligence is just a matter
of information processing,
of information processing,
218
634680
3256
10:49
and we continue to improve our machines,
219
637960
2656
우리는 기계를 계속 향상시킬 것이고
10:52
we will produce
some form of superintelligence.
some form of superintelligence.
220
640640
2880
초지능의 형태를 만들게 될 겁니다.
10:56
And we have no idea
how long it will take us
how long it will take us
221
644320
3656
그것을 안전하게 할 조건을 만들려면
얼마나 걸릴지 우린 모릅니다.
얼마나 걸릴지 우린 모릅니다.
11:00
to create the conditions
to do that safely.
to do that safely.
222
648000
2400
11:04
Let me say that again.
223
652200
1296
다시 말씀드리죠.
11:05
We have no idea how long it will take us
224
653520
3816
그걸 안전하게 할 조건을 만드는 게
얼마나 걸릴지 우리는 모른다고요.
얼마나 걸릴지 우리는 모른다고요.
11:09
to create the conditions
to do that safely.
to do that safely.
225
657360
2240
11:12
And if you haven't noticed,
50 years is not what it used to be.
50 years is not what it used to be.
226
660920
3456
잘 모르신다면, 지금의 50년은
과거와 같은 시간이 아닙니다.
과거와 같은 시간이 아닙니다.
11:16
This is 50 years in months.
227
664400
2456
몇 개월이 50년과 마찬가지죠.
11:18
This is how long we've had the iPhone.
228
666880
1840
아이폰을 갖기까지 그만큼 걸렸습니다.
11:21
This is how long "The Simpsons"
has been on television.
has been on television.
229
669440
2600
심슨가족이 TV로
방영되는 데 걸린 시간입니다.
방영되는 데 걸린 시간입니다.
11:24
Fifty years is not that much time
230
672680
2376
50년이란 그리 많은 시간이 아닙니다.
11:27
to meet one of the greatest challenges
our species will ever face.
our species will ever face.
231
675080
3160
우리 인류가 당면한
최고의 난제를 만나는데요.
최고의 난제를 만나는데요.
11:31
Once again, we seem to be failing
to have an appropriate emotional response
to have an appropriate emotional response
232
679640
4016
다시, 우리는 제대로 된 감정적 반응을
못하고 있는 것 같습니다.
못하고 있는 것 같습니다.
11:35
to what we have every reason
to believe is coming.
to believe is coming.
233
683680
2696
앞으로 벌어질 거라고
생각하는 것들에 대해서요.
생각하는 것들에 대해서요.
11:38
The computer scientist Stuart Russell
has a nice analogy here.
has a nice analogy here.
234
686400
3976
컴퓨터공학자 스튜어트 러셀이
멋진 비유를 들었습니다.
멋진 비유를 들었습니다.
11:42
He said, imagine that we received
a message from an alien civilization,
a message from an alien civilization,
235
690400
4896
외계문명이 보낸 메세지를
받았다고 상상해 보는 겁니다.
받았다고 상상해 보는 겁니다.
11:47
which read:
236
695320
1696
이런 내용의 메세지죠.
11:49
"People of Earth,
237
697040
1536
"지구인들이여
11:50
we will arrive on your planet in 50 years.
238
698600
2360
우리는 50년 후에
지구에 도착할 것이다.
지구에 도착할 것이다.
11:53
Get ready."
239
701800
1576
이에 준비하라."
11:55
And now we're just counting down
the months until the mothership lands?
the months until the mothership lands?
240
703400
4256
그럼 외계 우주선이 도착할
때까지 날짜만 세는 겁니까?
때까지 날짜만 세는 겁니까?
11:59
We would feel a little
more urgency than we do.
more urgency than we do.
241
707680
3000
그것보다는 좀더 위급함을 느껴야죠.
12:04
Another reason we're told not to worry
242
712680
1856
우리에게 걱정말라는 다른 이유는
12:06
is that these machines
can't help but share our values
can't help but share our values
243
714560
3016
이런 기계들은 우리의 가치를
공유할 수밖에 없다는 겁니다.
공유할 수밖에 없다는 겁니다.
12:09
because they will be literally
extensions of ourselves.
extensions of ourselves.
244
717600
2616
말 그대로 우리의 연장선이니까요.
12:12
They'll be grafted onto our brains,
245
720240
1816
기계들은 우리 뇌에 이식될테고
12:14
and we'll essentially
become their limbic systems.
become their limbic systems.
246
722080
2360
우리는 본질적으로 그들의
감정 표현 시스템으로 전락하겠죠.
감정 표현 시스템으로 전락하겠죠.
12:17
Now take a moment to consider
247
725120
1416
한 번 생각해 보세요.
12:18
that the safest
and only prudent path forward,
and only prudent path forward,
248
726560
3176
가장 안전하고 현명한 방법을 추천하자면
12:21
recommended,
249
729760
1336
12:23
is to implant this technology
directly into our brains.
directly into our brains.
250
731120
2800
이 기술을 우리 뇌에
직접 이식하는 겁니다.
직접 이식하는 겁니다.
12:26
Now, this may in fact be the safest
and only prudent path forward,
and only prudent path forward,
251
734600
3376
앞으로 할 수 있는 가장
안전하고 현명한 방법이겠지만
안전하고 현명한 방법이겠지만
12:30
but usually one's safety concerns
about a technology
about a technology
252
738000
3056
기술의 안전성에 대한 우려는 보통
12:33
have to be pretty much worked out
before you stick it inside your head.
before you stick it inside your head.
253
741080
3656
머릿속에서 꽂아 보기
전에 해야 할 일이죠.
전에 해야 할 일이죠.
12:36
(Laughter)
254
744760
2016
(웃음)
12:38
The deeper problem is that
building superintelligent AI on its own
building superintelligent AI on its own
255
746800
5336
좀 더 심오한 문제는
초지능의 AI를 만드는 것 자체가
12:44
seems likely to be easier
256
752160
1736
오히려 더 쉽다는 거에요.
12:45
than building superintelligent AI
257
753920
1856
초지능 AI를 만들고
12:47
and having the completed neuroscience
258
755800
1776
완전한 신경과학이 있어서
12:49
that allows us to seamlessly
integrate our minds with it.
integrate our minds with it.
259
757600
2680
우리의 정신을 AI와 매끄럽게
접목시키는 것에 비해서 말이죠.
접목시키는 것에 비해서 말이죠.
12:52
And given that the companies
and governments doing this work
and governments doing this work
260
760800
3176
기업과 정부가 이 일을 하고 있음을 보면
12:56
are likely to perceive themselves
as being in a race against all others,
as being in a race against all others,
261
764000
3656
다른 종에 대항하는 존재임을
스스로 인지할 가능성이 있습니다.
스스로 인지할 가능성이 있습니다.
12:59
given that to win this race
is to win the world,
is to win the world,
262
767680
3256
이 경쟁에서 이기는 것이 세상을
이기는 것이라고 한다면요.
이기는 것이라고 한다면요.
13:02
provided you don't destroy it
in the next moment,
in the next moment,
263
770960
2456
그것을 바로 파괴하지 않는다면
13:05
then it seems likely
that whatever is easier to do
that whatever is easier to do
264
773440
2616
가장 쉬운 일을 가장 먼저
할 가능성이 있을 겁니다.
할 가능성이 있을 겁니다.
13:08
will get done first.
265
776080
1200
13:10
Now, unfortunately,
I don't have a solution to this problem,
I don't have a solution to this problem,
266
778560
2856
안타깝게도 저는 이 문제에
대한 해법은 없습니다.
대한 해법은 없습니다.
13:13
apart from recommending
that more of us think about it.
that more of us think about it.
267
781440
2616
좀 더 생각해 보자고
하는 것 빼고는요.
하는 것 빼고는요.
13:16
I think we need something
like a Manhattan Project
like a Manhattan Project
268
784080
2376
맨하탄 프로젝트 같은 것이 있어서
13:18
on the topic of artificial intelligence.
269
786480
2016
AI에 대한 연구를 해야
되지 않을까 싶습니다.
되지 않을까 싶습니다.
13:20
Not to build it, because I think
we'll inevitably do that,
we'll inevitably do that,
270
788520
2736
만들기 위해서가 아니라,
필연적으로 하게 될테니까
필연적으로 하게 될테니까
13:23
but to understand
how to avoid an arms race
how to avoid an arms race
271
791280
3336
군비경쟁을 피할 방법을 알고
13:26
and to build it in a way
that is aligned with our interests.
that is aligned with our interests.
272
794640
3496
우리의 관심과 맞출 수
있는 방법을 찾기 위해서죠.
있는 방법을 찾기 위해서죠.
13:30
When you're talking
about superintelligent AI
about superintelligent AI
273
798160
2136
스스로 변할 수 있는
초지능 AI를 말할 때는
초지능 AI를 말할 때는
13:32
that can make changes to itself,
274
800320
2256
13:34
it seems that we only have one chance
to get the initial conditions right,
to get the initial conditions right,
275
802600
4616
첫 출발을 제대로 할 수 있는
기회는 단 한 번뿐인 것 같습니다.
기회는 단 한 번뿐인 것 같습니다.
13:39
and even then we will need to absorb
276
807240
2056
그때도 우리는
13:41
the economic and political
consequences of getting them right.
consequences of getting them right.
277
809320
3040
제대로 하기 위한 정치 경제적
결과를 감내해야 할 겁니다.
결과를 감내해야 할 겁니다.
13:45
But the moment we admit
278
813760
2056
하지만 우리가 인정하는 순간
13:47
that information processing
is the source of intelligence,
is the source of intelligence,
279
815840
4000
정보처리가 지능의 원천이고
13:52
that some appropriate computational system
is what the basis of intelligence is,
is what the basis of intelligence is,
280
820720
4800
적정 연산 체계가 지능의
기본이라고 하는 순간
기본이라고 하는 순간
13:58
and we admit that we will improve
these systems continuously,
these systems continuously,
281
826360
3760
이 체계를 계속 발전시켜
나갈 것임을 인정하는 것이며
나갈 것임을 인정하는 것이며
14:03
and we admit that the horizon
of cognition very likely far exceeds
of cognition very likely far exceeds
282
831280
4456
우리가 현재 아는 인지의 한계를 훨씬
뛰어넘게 될 것임을 인정하는 겁니다.
뛰어넘게 될 것임을 인정하는 겁니다.
14:07
what we currently know,
283
835760
1200
14:10
then we have to admit
284
838120
1216
그럼 우리는
14:11
that we are in the process
of building some sort of god.
of building some sort of god.
285
839360
2640
어떤 신적 존재를 구축하고
있음을 인정해야 합니다.
있음을 인정해야 합니다.
14:15
Now would be a good time
286
843400
1576
지금이야말로 신이 우리와 함께 할 수
있음을 확신하기 좋은 때이겠네요.
있음을 확신하기 좋은 때이겠네요.
14:17
to make sure it's a god we can live with.
287
845000
1953
14:20
Thank you very much.
288
848120
1536
대단히 감사합니다.
14:21
(Applause)
289
849680
5093
(박수)
ABOUT THE SPEAKER
Sam Harris - Neuroscientist, philosopherSam Harris's work focuses on how our growing understanding of ourselves and the world is changing our sense of how we should live.
Why you should listen
Sam Harris is the author of five New York Times bestsellers. His books include The End of Faith, Letter to a Christian Nation, The Moral Landscape, Free Will, Lying, Waking Up and Islam and the Future of Tolerance (with Maajid Nawaz). The End of Faith won the 2005 PEN Award for Nonfiction. Harris's writing and public lectures cover a wide range of topics -- neuroscience, moral philosophy, religion, spirituality, violence, human reasoning -- but generally focus on how a growing understanding of ourselves and the world is changing our sense of how we should live.
Harris's work has been published in more than 20 languages and has been discussed in the New York Times, Time, Scientific American, Nature, Newsweek, Rolling Stone and many other journals. He has written for the New York Times, the Los Angeles Times, The Economist, The Times (London), the Boston Globe, The Atlantic, The Annals of Neurology and elsewhere. Harris also regularly hosts a popular podcast.
Harris received a degree in philosophy from Stanford University and a Ph.D. in neuroscience from UCLA.
Sam Harris | Speaker | TED.com