TED2018
Max Tegmark: How to get empowered, not overpowered, by AI
맥스 테그마크 (Max Tegmark): 인공지능에게 제압당하지 않고, 인공지능으로 힘을 얻는 방법
Filmed:
Readability: 5
1,409,007 views
많은 인공지능 연구자들은 향후 수십 년 내에 인공지능이 모든 면에서 인간보다 우수한 지능을 갖게 되고, 미래는 우리 지능의 한계가 아니라 물리법칙에 제한을 받을 거라고 예상하고 있습니다. MIT의 물리학자이자 인공지능 연구자인 맥스 테그마크는 인공지능에 관한 근거 없는 이야기에서 기회와 위협 요소를 구분하고, 인공지능 때문에 우리 인간에게 일어날지 모르는 일 중에서 최악의 것들보다 최선의 것들을 얻기 위해 지금부터 제대로 나아가야 한다고 이야기합니다.
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder. Full bio
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder. Full bio
Double-click the English transcript below to play the video.
00:12
After 13.8 billion years
of cosmic history,
of cosmic history,
0
760
4416
138억 년의 우주 역사를 뒤로하고
00:17
our universe has woken up
1
5200
2096
우리 우주는 잠에서 깨어나
00:19
and become aware of itself.
2
7320
1520
스스로를 자각하게 되었습니다.
00:21
From a small blue planet,
3
9480
1936
작고 푸른 행성에서
00:23
tiny, conscious parts of our universe
have begun gazing out into the cosmos
have begun gazing out into the cosmos
4
11440
4136
우주의 아주 작은 부분을 알던 우리는
망원경을 통해 먼 우주를 바라보며
00:27
with telescopes,
5
15600
1376
00:29
discovering something humbling.
6
17000
1480
겸손하게 무언가를 찾고 있습니다.
00:31
We've discovered that our universe
is vastly grander
is vastly grander
7
19320
2896
이 거대한 우주의 광대함은
우리의 상상 이상이었고
00:34
than our ancestors imagined
8
22240
1336
생명의 아주 미세한 동요가 없었더라면
00:35
and that life seems to be an almost
imperceptibly small perturbation
imperceptibly small perturbation
9
23600
4256
00:39
on an otherwise dead universe.
10
27880
1720
이미 죽어버린 우주라는 것도 알았죠.
00:42
But we've also discovered
something inspiring,
something inspiring,
11
30320
3016
하지만 우리가 영감을
얻을 만한 것도 발견했죠.
얻을 만한 것도 발견했죠.
00:45
which is that the technology
we're developing has the potential
we're developing has the potential
12
33360
2976
우리의 기술을 통해서
00:48
to help life flourish like never before,
13
36360
2856
이전에 없던 번성을 누릴
역량을 가졌다는 사실입니다.
역량을 가졌다는 사실입니다.
00:51
not just for centuries
but for billions of years,
but for billions of years,
14
39240
3096
단지 수 세기 동안이 아니라
수십억 년 동안 번성하고
수십억 년 동안 번성하고
00:54
and not just on earth but throughout
much of this amazing cosmos.
much of this amazing cosmos.
15
42360
4120
단지 우리 지구에서만이 아니라
이 놀라운 우주 안에서 말이죠.
이 놀라운 우주 안에서 말이죠.
00:59
I think of the earliest life as "Life 1.0"
16
47680
3336
저는 초창기의 생명을
"생명 1.0"이라고 생각합니다.
"생명 1.0"이라고 생각합니다.
01:03
because it was really dumb,
17
51040
1376
미생물처럼 너무나
바보 같았기 때문이죠.
바보 같았기 때문이죠.
01:04
like bacteria, unable to learn
anything during its lifetime.
anything during its lifetime.
18
52440
4296
살면서 아무것도 배울 수 없었습니다.
01:08
I think of us humans as "Life 2.0"
because we can learn,
because we can learn,
19
56760
3376
우리 인간은 "생명 2.0"입니다.
학습할 수 있기 때문이죠.
학습할 수 있기 때문이죠.
01:12
which we in nerdy, geek speak,
20
60160
1496
좀 괴상하게 표현하자면
01:13
might think of as installing
new software into our brains,
new software into our brains,
21
61680
3216
우리 두뇌에 새로운 소프트웨어를
설치했다고 볼 수 있습니다.
설치했다고 볼 수 있습니다.
01:16
like languages and job skills.
22
64920
2120
언어와 업무 능력 같은 것들이요.
01:19
"Life 3.0," which can design not only
its software but also its hardware
its software but also its hardware
23
67680
4296
"생명 3.0"은 소프트웨어뿐만 아니라
하드웨어도 만들 수 있습니다.
하드웨어도 만들 수 있습니다.
01:24
of course doesn't exist yet.
24
72000
1656
물론 아직 이건 실현되지 않았죠.
01:25
But perhaps our technology
has already made us "Life 2.1,"
has already made us "Life 2.1,"
25
73680
3776
하지만 기술은 우리를 이미
"생명 2.1"로 만들었습니다.
"생명 2.1"로 만들었습니다.
01:29
with our artificial knees,
pacemakers and cochlear implants.
pacemakers and cochlear implants.
26
77480
4336
인공 무릎 관절, 인공 심장 박동기,
인공 달팽이관 이식 같은 거로 말이죠.
인공 달팽이관 이식 같은 거로 말이죠.
01:33
So let's take a closer look
at our relationship with technology, OK?
at our relationship with technology, OK?
27
81840
3880
자 그럼, 인간과 기술 사이의 관계를
좀 더 깊이 살펴보기로 하겠습니다.
좀 더 깊이 살펴보기로 하겠습니다.
01:38
As an example,
28
86800
1216
예를 하나 들어보죠.
01:40
the Apollo 11 moon mission
was both successful and inspiring,
was both successful and inspiring,
29
88040
5296
아폴로 11호의 달 탐사 계획은
성공적이었고 고무적이었습니다.
성공적이었고 고무적이었습니다.
01:45
showing that when we humans
use technology wisely,
use technology wisely,
30
93360
3016
인류가 기술을 현명하게 사용하면
01:48
we can accomplish things
that our ancestors could only dream of.
that our ancestors could only dream of.
31
96400
3936
우리 선조가 꿈꾸던 일을 현실로
이루어낼 수 있음을 증명해주었죠.
이루어낼 수 있음을 증명해주었죠.
01:52
But there's an even more inspiring journey
32
100360
2976
하지만 그보다 더
고무적인 여정이 있습니다.
고무적인 여정이 있습니다.
01:55
propelled by something
more powerful than rocket engines,
more powerful than rocket engines,
33
103360
2680
로켓 엔진보다 더 강력한
추진력을 얻고 있죠.
추진력을 얻고 있죠.
단 세 명의 우주인을
승객으로 하는 것이 아니라
승객으로 하는 것이 아니라
01:59
where the passengers
aren't just three astronauts
aren't just three astronauts
34
107200
2336
02:01
but all of humanity.
35
109560
1776
인류 전체가 승객입니다.
02:03
Let's talk about our collective
journey into the future
journey into the future
36
111360
2936
미래를 향한 우리 모두의
여정에 대해 이야기해봅시다.
여정에 대해 이야기해봅시다.
02:06
with artificial intelligence.
37
114320
2000
바로 인공지능입니다.
02:08
My friend Jaan Tallinn likes to point out
that just as with rocketry,
that just as with rocketry,
38
116960
4536
제 친구 얀 탈린은
이렇게 말하곤 했습니다.
이렇게 말하곤 했습니다.
로켓공학과 마찬가지로
02:13
it's not enough to make
our technology powerful.
our technology powerful.
39
121520
3160
우리 기술을 강력하게 만들기에는
아직 부족함이 있다고 말이죠.
아직 부족함이 있다고 말이죠.
02:17
We also have to figure out,
if we're going to be really ambitious,
if we're going to be really ambitious,
40
125560
3175
우리에게 진정 야심 찬 계획이 있는지
알아야 한다고 지적했죠.
알아야 한다고 지적했죠.
02:20
how to steer it
41
128759
1416
어떤 방향으로 이끌어 갈지와
원하는 목표를 알아야 한다고요.
원하는 목표를 알아야 한다고요.
02:22
and where we want to go with it.
42
130199
1681
02:24
So let's talk about all three
for artificial intelligence:
for artificial intelligence:
43
132880
2840
그럼 인공지능에 있어서
세 가지 요소에 대해 이야기해보죠.
세 가지 요소에 대해 이야기해보죠.
02:28
the power, the steering
and the destination.
and the destination.
44
136440
3056
힘, 방향성 그리고 목표입니다.
02:31
Let's start with the power.
45
139520
1286
먼저 '힘'을 얘기해보죠.
02:33
I define intelligence very inclusively --
46
141600
3096
저는 아주 포괄적 의미로
지능을 이렇게 정의합니다.
지능을 이렇게 정의합니다.
02:36
simply as our ability
to accomplish complex goals,
to accomplish complex goals,
47
144720
4336
어려운 목표를 달성하는 능력이라고
간단히 정의할 수 있죠.
간단히 정의할 수 있죠.
02:41
because I want to include both
biological and artificial intelligence.
biological and artificial intelligence.
48
149080
3816
여기에는 생물학적, 그리고 인공적인
지능이 모두 포함되어 있습니다.
지능이 모두 포함되어 있습니다.
02:44
And I want to avoid
the silly carbon-chauvinism idea
the silly carbon-chauvinism idea
49
152920
4016
하지만 어리석은 '탄소 쇼비니즘'처럼
탄소로 이루어진 유기체만
탄소로 이루어진 유기체만
02:48
that you can only be smart
if you're made of meat.
if you're made of meat.
50
156960
2360
사고 능력을 가질 수 있다는
생각은 배제하고자 합니다.
생각은 배제하고자 합니다.
02:52
It's really amazing how the power
of AI has grown recently.
of AI has grown recently.
51
160880
4176
최근 AI가 가진 힘이 얼마나
성장했는지를 보면 정말 놀랍습니다.
성장했는지를 보면 정말 놀랍습니다.
02:57
Just think about it.
52
165080
1256
한번 생각해보세요.
02:58
Not long ago, robots couldn't walk.
53
166360
3200
얼마 전까지만 해도
로봇은 걷지도 못했습니다.
로봇은 걷지도 못했습니다.
03:03
Now, they can do backflips.
54
171040
1720
이제는 뒤로 공중제비도 돌 수 있죠.
03:06
Not long ago,
55
174080
1816
얼마 전까지만 해도
03:07
we didn't have self-driving cars.
56
175920
1760
자율주행 자동차는 존재하지도 않았지만
03:10
Now, we have self-flying rockets.
57
178920
2480
이제는 자율비행 로켓이 등장했습니다.
03:15
Not long ago,
58
183960
1416
얼마 전까지만 해도
03:17
AI couldn't do face recognition.
59
185400
2616
AI는 얼굴 인식도 하지 못했지만
03:20
Now, AI can generate fake faces
60
188040
2976
이제 AI는 가짜 얼굴을 만들어내서
03:23
and simulate your face
saying stuff that you never said.
saying stuff that you never said.
61
191040
4160
여러분이 하지도 않은 말을
한 것처럼 조작하기도 합니다.
한 것처럼 조작하기도 합니다.
03:28
Not long ago,
62
196400
1576
얼마 전까지만 해도
03:30
AI couldn't beat us at the game of Go.
63
198000
1880
AI는 바둑에서 인간을 이기지 못했지만
03:32
Then, Google DeepMind's AlphaZero AI
took 3,000 years of human Go games
took 3,000 years of human Go games
64
200400
5096
이제 구글 딥마인드의 알파제로 AI는
인간의 3000년 바둑 역사와
바둑의 지혜를 익혔습니다.
바둑의 지혜를 익혔습니다.
03:37
and Go wisdom,
65
205520
1256
03:38
ignored it all and became the world's best
player by just playing against itself.
player by just playing against itself.
66
206800
4976
다 제쳐두고, 자기 자신과 싸우면서
세계 최고의 바둑기사가 되었죠.
세계 최고의 바둑기사가 되었죠.
03:43
And the most impressive feat here
wasn't that it crushed human gamers,
wasn't that it crushed human gamers,
67
211800
3696
가장 인상적인 업적은
인간을 물리쳤다는 것이 아니라
인간을 물리쳤다는 것이 아니라
03:47
but that it crushed human AI researchers
68
215520
2576
바둑 프로그램 개발에
수십 년을 공들여 온
수십 년을 공들여 온
03:50
who had spent decades
handcrafting game-playing software.
handcrafting game-playing software.
69
218120
3680
인간 개발자들을 물리쳤다는 사실입니다.
03:54
And AlphaZero crushed human AI researchers
not just in Go but even at chess,
not just in Go but even at chess,
70
222200
4656
알파제로는 바둑뿐만 아니라 체스에서도
인간 개발자들을 물리쳤습니다.
인간 개발자들을 물리쳤습니다.
03:58
which we have been working on since 1950.
71
226880
2480
체스는 1950년부터
연구해왔는데도 말이죠.
연구해왔는데도 말이죠.
04:02
So all this amazing recent progress in AI
really begs the question:
really begs the question:
72
230000
4240
최근 AI의 놀라운 발전을 보면서
이런 질문을 하게 됩니다.
이런 질문을 하게 됩니다.
04:07
How far will it go?
73
235280
1560
얼마나 더 발전하게 될까요?
04:09
I like to think about this question
74
237800
1696
이 질문과 관련해서
04:11
in terms of this abstract
landscape of tasks,
landscape of tasks,
75
239520
2976
추상적인 풍경으로 바꿔서
직업을 생각해보죠.
직업을 생각해보죠.
04:14
where the elevation represents
how hard it is for AI to do each task
how hard it is for AI to do each task
76
242520
3456
지형의 높이는 인간 수준에 대비한
AI의 작업 난이도를 의미합니다.
AI의 작업 난이도를 의미합니다.
04:18
at human level,
77
246000
1216
04:19
and the sea level represents
what AI can do today.
what AI can do today.
78
247240
2760
해수면은 현재 AI가 할 수 있는
일의 수준을 의미하죠.
일의 수준을 의미하죠.
04:23
The sea level is rising
as AI improves,
as AI improves,
79
251120
2056
AI가 발전할수록 해수면은 높아집니다.
04:25
so there's a kind of global warming
going on here in the task landscape.
going on here in the task landscape.
80
253200
3440
이 직업 풍경에 일종의 지구 온난화가
일어나고 있다고 할 수 있죠.
일어나고 있다고 할 수 있죠.
04:30
And the obvious takeaway
is to avoid careers at the waterfront --
is to avoid careers at the waterfront --
81
258040
3335
따라서 물가에 놓인 직업은
선택하지 않는 게 당연할 겁니다.
선택하지 않는 게 당연할 겁니다.
04:33
(Laughter)
82
261399
1257
(웃음)
04:34
which will soon be
automated and disrupted.
automated and disrupted.
83
262680
2856
그런 직업은 머지않아
자동화되거나 사라질 테니까요.
자동화되거나 사라질 테니까요.
04:37
But there's a much
bigger question as well.
bigger question as well.
84
265560
2976
그런데 여기에는 더 중요한
질문이 놓여있습니다.
질문이 놓여있습니다.
04:40
How high will the water end up rising?
85
268560
1810
이 해수면이 얼마나 더 높아질까요?
04:43
Will it eventually rise
to flood everything,
to flood everything,
86
271440
3200
결국 모든 것이 물에 잠기고
04:47
matching human intelligence at all tasks.
87
275840
2496
모든 직업에서 인간의 지능과
맞먹게 될 것입니다.
맞먹게 될 것입니다.
04:50
This is the definition
of artificial general intelligence --
of artificial general intelligence --
88
278360
3736
이것이 범용 인공지능의 정의입니다.
04:54
AGI,
89
282120
1296
AGI 라고 하죠.
04:55
which has been the holy grail
of AI research since its inception.
of AI research since its inception.
90
283440
3080
AI 연구의 태초부터 생각했던
AI의 성배와 같은 것입니다.
AI의 성배와 같은 것입니다.
이에 대해서 사람들은
이렇게 말했습니다.
이렇게 말했습니다.
04:59
By this definition, people who say,
91
287000
1776
05:00
"Ah, there will always be jobs
that humans can do better than machines,"
that humans can do better than machines,"
92
288800
3416
"작업에서는 인간이 항상
기계보다 뛰어날 거야"
기계보다 뛰어날 거야"
05:04
are simply saying
that we'll never get AGI.
that we'll never get AGI.
93
292240
2920
이 말은 AGI는 절대 존재하지
않는다는 걸 의미하죠.
않는다는 걸 의미하죠.
05:07
Sure, we might still choose
to have some human jobs
to have some human jobs
94
295680
3576
물론 일부 인간의 직업을 선택하거나
05:11
or to give humans income
and purpose with our jobs,
and purpose with our jobs,
95
299280
3096
소득과 삶의 목적을 부여하기 위한
직업을 선택할 수 있습니다.
직업을 선택할 수 있습니다.
05:14
but AGI will in any case
transform life as we know it
transform life as we know it
96
302400
3736
하지만 AGI는 어쨌든
우리 삶을 바꿀 것이고
우리 삶을 바꿀 것이고
더는 인간이 가장 지적인 존재로
남아있지 않을 것입니다.
남아있지 않을 것입니다.
05:18
with humans no longer being
the most intelligent.
the most intelligent.
97
306160
2736
05:20
Now, if the water level does reach AGI,
98
308920
3696
이제, 해수면이 AGI까지 높아지면
05:24
then further AI progress will be driven
mainly not by humans but by AI,
mainly not by humans but by AI,
99
312640
5296
AI의 발전은 인간이 아니라
AI가 주도하게 될 것입니다.
AI가 주도하게 될 것입니다.
05:29
which means that there's a possibility
100
317960
1856
이것이 의미하는 바는
AI의 발전이 더욱 가속화되어
05:31
that further AI progress
could be way faster
could be way faster
101
319840
2336
05:34
than the typical human research
and development timescale of years,
and development timescale of years,
102
322200
3376
현재 인간의 AI 연구 및 개발 속도를
뛰어넘을 것이라는 사실입니다.
뛰어넘을 것이라는 사실입니다.
05:37
raising the controversial possibility
of an intelligence explosion
of an intelligence explosion
103
325600
4016
논란이 되고 있는 지능의
폭발적 증가 가능성으로 인해
폭발적 증가 가능성으로 인해
05:41
where recursively self-improving AI
104
329640
2296
AI가 반복해서 스스로 개량함으로써
05:43
rapidly leaves human
intelligence far behind,
intelligence far behind,
105
331960
3416
인간 지능을 급격히 앞지르게 되고
05:47
creating what's known
as superintelligence.
as superintelligence.
106
335400
2440
이른바 초지능이 탄생할 것입니다.
05:51
Alright, reality check:
107
339800
2280
좋아요, 실상을 살펴보죠.
05:55
Are we going to get AGI any time soon?
108
343120
2440
조만간 AGI가 실현될까요?
05:58
Some famous AI researchers,
like Rodney Brooks,
like Rodney Brooks,
109
346360
2696
로드니 브룩스 같은
유명한 AI 연구자들은
유명한 AI 연구자들은
06:01
think it won't happen
for hundreds of years.
for hundreds of years.
110
349080
2496
수백 년 내에 그런 일은
없을 거라 보고 있습니다.
없을 거라 보고 있습니다.
06:03
But others, like Google DeepMind
founder Demis Hassabis,
founder Demis Hassabis,
111
351600
3896
하지만 구글 딥마인드의 창업자인
데미스 하사비스 같은 사람들은
데미스 하사비스 같은 사람들은
06:07
are more optimistic
112
355520
1256
훨씬 낙관적으로 보고
06:08
and are working to try to make
it happen much sooner.
it happen much sooner.
113
356800
2576
AGI 실현 시기를
앞당기려고 애쓰고 있죠.
앞당기려고 애쓰고 있죠.
06:11
And recent surveys have shown
that most AI researchers
that most AI researchers
114
359400
3296
그리고 최근 조사에 따르면
AI 연구자 대부분이 데미스 하사비스의
낙관론에 동조하고 있으며
낙관론에 동조하고 있으며
06:14
actually share Demis's optimism,
115
362720
2856
06:17
expecting that we will
get AGI within decades,
get AGI within decades,
116
365600
3080
수십 년 내에 AGI가 실현될
것으로 기대하고 있습니다.
것으로 기대하고 있습니다.
06:21
so within the lifetime of many of us,
117
369640
2256
우리가 죽기 전에 실현될지 모르겠네요.
06:23
which begs the question -- and then what?
118
371920
1960
또 의문이 생깁니다. 다음은 뭘까요?
06:27
What do we want the role of humans to be
119
375040
2216
우리 인간이 해야 할 역할은 뭘까요?
06:29
if machines can do everything better
and cheaper than us?
and cheaper than us?
120
377280
2680
모든 면에서 기계가 인간보다
더 경제적이고 더 낫다면 말이죠.
더 경제적이고 더 낫다면 말이죠.
06:35
The way I see it, we face a choice.
121
383000
2000
예상컨대 우리는 선택의
기로에 놓일 것입니다.
기로에 놓일 것입니다.
06:38
One option is to be complacent.
122
386000
1576
그중 하나는 자만하는 것이죠.
이렇게 말하면서요.
이렇게 말하면서요.
06:39
We can say, "Oh, let's just build machines
that can do everything we can do
that can do everything we can do
123
387600
3776
"기계를 만들어서 우리가
할 일을 다 시키지 뭐.
할 일을 다 시키지 뭐.
06:43
and not worry about the consequences.
124
391400
1816
그 결과는 걱정할 필요 없잖아.
06:45
Come on, if we build technology
that makes all humans obsolete,
that makes all humans obsolete,
125
393240
3256
인간을 쓸모없게 만드는
기술이 나온다고 해서
기술이 나온다고 해서
06:48
what could possibly go wrong?"
126
396520
2096
뭐가 잘못될 리가 있겠어."
06:50
(Laughter)
127
398640
1656
(웃음)
06:52
But I think that would be
embarrassingly lame.
embarrassingly lame.
128
400320
2760
이건 황당할 정도로
궁색한 말이라고 생각해요.
궁색한 말이라고 생각해요.
06:56
I think we should be more ambitious --
in the spirit of TED.
in the spirit of TED.
129
404080
3496
우리는 더 큰 야망을 품어야 합니다.
TED의 정신으로 말이죠.
TED의 정신으로 말이죠.
06:59
Let's envision a truly inspiring
high-tech future
high-tech future
130
407600
3496
진정으로 영감을 주는
첨단 기술의 미래를 그려야 합니다.
첨단 기술의 미래를 그려야 합니다.
07:03
and try to steer towards it.
131
411120
1400
그리고 그곳을 향해 나아가야 하죠.
여기서 로켓으로 비유되는
두 번째 부분으로 넘어가죠.
두 번째 부분으로 넘어가죠.
07:05
This brings us to the second part
of our rocket metaphor: the steering.
of our rocket metaphor: the steering.
132
413720
3536
방향성입니다.
우리는 더욱 강력한 AI를 만들고 있죠.
07:09
We're making AI more powerful,
133
417280
1896
07:11
but how can we steer towards a future
134
419200
3816
하지만, 어떻게 해야 그 발전 방향을
07:15
where AI helps humanity flourish
rather than flounder?
rather than flounder?
135
423040
3080
AI가 인류를 곤경에 빠뜨리지 않고
번성하도록 이끌 수 있을까요?
번성하도록 이끌 수 있을까요?
저는 이를 위해서 공동으로
"생명의 미래 연구소"를 설립했습니다.
"생명의 미래 연구소"를 설립했습니다.
07:18
To help with this,
136
426760
1256
07:20
I cofounded the Future of Life Institute.
137
428040
1976
07:22
It's a small nonprofit promoting
beneficial technology use,
beneficial technology use,
138
430040
2776
공익적 기술 사용을 도모하는
작은 비영리 단체죠.
작은 비영리 단체죠.
07:24
and our goal is simply
for the future of life to exist
for the future of life to exist
139
432840
2736
저희의 목표는 단순히
생명체의 미래를 실현하고
생명체의 미래를 실현하고
07:27
and to be as inspiring as possible.
140
435600
2056
그 일을 최대한 격려하는 것입니다.
07:29
You know, I love technology.
141
437680
3176
말하자면, 저는 기술을 사랑합니다.
07:32
Technology is why today
is better than the Stone Age.
is better than the Stone Age.
142
440880
2920
지금이 석기시대보다 나은 이유가
바로 기술 덕분입니다.
바로 기술 덕분입니다.
07:36
And I'm optimistic that we can create
a really inspiring high-tech future ...
a really inspiring high-tech future ...
143
444600
4080
저는 정말 고무적인 첨단 기술의
미래가 올 것이라 낙관하고 있습니다.
미래가 올 것이라 낙관하고 있습니다.
07:41
if -- and this is a big if --
144
449680
1456
만약에.. 정말로 만약에요.
07:43
if we win the wisdom race --
145
451160
2456
만약에 경쟁에서
지혜로움이 이기려면 말이죠.
지혜로움이 이기려면 말이죠.
07:45
the race between the growing
power of our technology
power of our technology
146
453640
2856
우리 기술이 갖는 능력이 커질지
07:48
and the growing wisdom
with which we manage it.
with which we manage it.
147
456520
2200
그걸 관리할 우리의 지혜가
커질지의 경쟁에서요.
커질지의 경쟁에서요.
07:51
But this is going to require
a change of strategy
a change of strategy
148
459240
2296
그러려면 전략을 바꿀 필요가 있습니다.
07:53
because our old strategy
has been learning from mistakes.
has been learning from mistakes.
149
461560
3040
왜냐하면 지금까지의 전략은
실수를 통해 배운 것이기 때문이죠.
실수를 통해 배운 것이기 때문이죠.
07:57
We invented fire,
150
465280
1536
우리는 불을 발명했고
07:58
screwed up a bunch of times --
151
466840
1536
시간이 한없이 흐른 뒤에
08:00
invented the fire extinguisher.
152
468400
1816
소화기를 발명했습니다.
08:02
(Laughter)
153
470240
1336
(웃음)
08:03
We invented the car,
screwed up a bunch of times --
screwed up a bunch of times --
154
471600
2416
우리는 자동차를 발명했고,
시간이 한참 지난 뒤에
시간이 한참 지난 뒤에
08:06
invented the traffic light,
the seat belt and the airbag,
the seat belt and the airbag,
155
474040
2667
신호등을 발명했고,
안전벨트와 에어백을 발명했죠.
안전벨트와 에어백을 발명했죠.
08:08
but with more powerful technology
like nuclear weapons and AGI,
like nuclear weapons and AGI,
156
476731
3845
하지만 핵무기나 AGI 같이
훨씬 막강한 기술에 대해서도
훨씬 막강한 기술에 대해서도
08:12
learning from mistakes
is a lousy strategy,
is a lousy strategy,
157
480600
3376
실수에서 교훈을 얻는다는 건
너무나 형편없는 전략이죠.
너무나 형편없는 전략이죠.
08:16
don't you think?
158
484000
1216
그렇지 않나요?
(웃음)
08:17
(Laughter)
159
485240
1016
반응하기보다 선행하는 것이
훨씬 나을 겁니다.
훨씬 나을 겁니다.
08:18
It's much better to be proactive
rather than reactive;
rather than reactive;
160
486280
2576
08:20
plan ahead and get things
right the first time
right the first time
161
488880
2296
미리 계획을 세우고
초기에 바로잡아야죠.
초기에 바로잡아야죠.
08:23
because that might be
the only time we'll get.
the only time we'll get.
162
491200
2496
그때밖에 기회가 없기 때문입니다.
재밌게도 이런 말을 하는
사람들이 있어요.
사람들이 있어요.
08:25
But it is funny because
sometimes people tell me,
sometimes people tell me,
163
493720
2336
"맥스. 쉬잇!
그런 식으로 말하지 말아요.
그런 식으로 말하지 말아요.
08:28
"Max, shhh, don't talk like that.
164
496080
2736
08:30
That's Luddite scaremongering."
165
498840
1720
기술 반대론자들이
겁주는 거 같잖아요."
겁주는 거 같잖아요."
08:34
But it's not scaremongering.
166
502040
1536
하지만 겁주려는 게 아닙니다.
08:35
It's what we at MIT
call safety engineering.
call safety engineering.
167
503600
2880
이걸 저희 MIT에서는
안전공학이라고 하는데요.
안전공학이라고 하는데요.
이점을 한번 생각해보세요.
08:39
Think about it:
168
507200
1216
08:40
before NASA launched
the Apollo 11 mission,
the Apollo 11 mission,
169
508440
2216
NASA가 아폴로 11호를 발사하기 전에
08:42
they systematically thought through
everything that could go wrong
everything that could go wrong
170
510680
3136
오류가 일어날 수 있는 모든
부분을 체계적으로 검토했습니다.
부분을 체계적으로 검토했습니다.
08:45
when you put people
on top of explosive fuel tanks
on top of explosive fuel tanks
171
513840
2376
폭발성 연료를 실은
연료통 위에 사람을 태우고
연료통 위에 사람을 태우고
도와줄 이가 없는 곳으로
그들을 보내야 했으니까요.
그들을 보내야 했으니까요.
08:48
and launch them somewhere
where no one could help them.
where no one could help them.
172
516240
2616
문제가 생길 소지가 너무나 많았죠.
08:50
And there was a lot that could go wrong.
173
518880
1936
08:52
Was that scaremongering?
174
520840
1480
그게 겁주는 건가요?
08:55
No.
175
523159
1217
아니죠.
08:56
That's was precisely
the safety engineering
the safety engineering
176
524400
2016
그것이 바로 안전공학이었습니다.
08:58
that ensured the success of the mission,
177
526440
1936
탐사 계획의 성공을 위한 것이었죠.
09:00
and that is precisely the strategy
I think we should take with AGI.
I think we should take with AGI.
178
528400
4176
그리고 그것이 바로 AGI에 대해
우리가 취해야 할 전략입니다.
우리가 취해야 할 전략입니다.
09:04
Think through what can go wrong
to make sure it goes right.
to make sure it goes right.
179
532600
4056
잘못될 수 있는 부분을 생각하고
제대로 바로잡아 두는 것이죠.
제대로 바로잡아 두는 것이죠.
09:08
So in this spirit,
we've organized conferences,
we've organized conferences,
180
536680
2536
그런 생각을 가지고
저희는 컨퍼런스를 열었습니다.
저희는 컨퍼런스를 열었습니다.
09:11
bringing together leading
AI researchers and other thinkers
AI researchers and other thinkers
181
539240
2816
선도적인 AI 연구자들과
각 분야 권위자들 불러 모아서
각 분야 권위자들 불러 모아서
09:14
to discuss how to grow this wisdom
we need to keep AI beneficial.
we need to keep AI beneficial.
182
542080
3736
AI를 이롭게 하기 위해 필요한
지혜를 어떻게 키워갈지 토론했죠.
지혜를 어떻게 키워갈지 토론했죠.
09:17
Our last conference
was in Asilomar, California last year
was in Asilomar, California last year
183
545840
3296
가장 최근의 컨퍼런스는 작년에
캘리포니아주 애실로마에서 있었는데요.
캘리포니아주 애실로마에서 있었는데요.
09:21
and produced this list of 23 principles
184
549160
3056
거기에서 23개의 원칙을 정했습니다.
이 원칙에 1,000명이 넘는
AI 연구자들과
AI 연구자들과
09:24
which have since been signed
by over 1,000 AI researchers
by over 1,000 AI researchers
185
552240
2896
주요 산업계 대표들이 동의하였는데요.
09:27
and key industry leaders,
186
555160
1296
09:28
and I want to tell you
about three of these principles.
about three of these principles.
187
556480
3176
그중에서 3개의 원칙을
말씀드리려고 합니다.
말씀드리려고 합니다.
09:31
One is that we should avoid an arms race
and lethal autonomous weapons.
and lethal autonomous weapons.
188
559680
4960
첫째로 군비 경쟁과 자동 살상 무기를
근절해야 한다는 것입니다.
근절해야 한다는 것입니다.
09:37
The idea here is that any science
can be used for new ways of helping people
can be used for new ways of helping people
189
565480
3616
모든 과학기술은 사람들을
돕는 수단이 될 수도 있고
돕는 수단이 될 수도 있고
09:41
or new ways of harming people.
190
569120
1536
해칠 수도 있기 때문이죠.
09:42
For example, biology and chemistry
are much more likely to be used
are much more likely to be used
191
570680
3936
예를 들어, 생물학과 화학은
살상의 수단으로 쓰이기보다
신약과 치료제 개발에 더 많이 쓰이죠.
신약과 치료제 개발에 더 많이 쓰이죠.
09:46
for new medicines or new cures
than for new ways of killing people,
than for new ways of killing people,
192
574640
4856
09:51
because biologists
and chemists pushed hard --
and chemists pushed hard --
193
579520
2176
왜냐하면 생물학자와 화학자들은
강력하게, 그리고 성공적으로
09:53
and successfully --
194
581720
1256
09:55
for bans on biological
and chemical weapons.
and chemical weapons.
195
583000
2176
생화학무기를 막아왔습니다.
09:57
And in the same spirit,
196
585200
1256
마찬가지로
09:58
most AI researchers want to stigmatize
and ban lethal autonomous weapons.
and ban lethal autonomous weapons.
197
586480
4440
AI 연구자들도 자동 살상 무기를
비난하고 금지시키고 싶어 합니다.
비난하고 금지시키고 싶어 합니다.
10:03
Another Asilomar AI principle
198
591600
1816
애실로마 AI 원칙 중 다른 하나는
10:05
is that we should mitigate
AI-fueled income inequality.
AI-fueled income inequality.
199
593440
3696
AI로 인한 소득 불평등을
줄여야 한다는 것입니다.
줄여야 한다는 것입니다.
10:09
I think that if we can grow
the economic pie dramatically with AI
the economic pie dramatically with AI
200
597160
4456
AI를 통해 경제 규모가
극단적으로 성장하더라도
극단적으로 성장하더라도
10:13
and we still can't figure out
how to divide this pie
how to divide this pie
201
601640
2456
그 경제 파이를 나누어
모두가 잘살 수 있는 방법을
여전히 찾지 못한다면
여전히 찾지 못한다면
10:16
so that everyone is better off,
202
604120
1576
10:17
then shame on us.
203
605720
1256
부끄러운 일이겠죠.
10:19
(Applause)
204
607000
4096
(박수)
10:23
Alright, now raise your hand
if your computer has ever crashed.
if your computer has ever crashed.
205
611120
3600
좋아요, 혹시 컴퓨터가 다운된 적
있는 분은 손을 들어보세요.
있는 분은 손을 들어보세요.
10:27
(Laughter)
206
615480
1256
(웃음)
10:28
Wow, that's a lot of hands.
207
616760
1656
와, 손을 든 분이 꽤 많네요.
10:30
Well, then you'll appreciate
this principle
this principle
208
618440
2176
그러면 이 원칙이 맘에 드실 거예요.
우리는 AI 안전을 위한 연구에
더 많이 투자해야 한다는 겁니다.
더 많이 투자해야 한다는 겁니다.
10:32
that we should invest much more
in AI safety research,
in AI safety research,
209
620640
3136
10:35
because as we put AI in charge
of even more decisions and infrastructure,
of even more decisions and infrastructure,
210
623800
3656
AI로 하여금 판단과 사회기반에
더 많이 개입하도록 하기 때문이죠.
더 많이 개입하도록 하기 때문이죠.
10:39
we need to figure out how to transform
today's buggy and hackable computers
today's buggy and hackable computers
211
627480
3616
오류가 많고 해킹당할 위험도 있는
현재의 컴퓨터를 바꾸어
현재의 컴퓨터를 바꾸어
신뢰할만한 강력한 AI 시스템으로
만들 방법을 찾아야 합니다.
만들 방법을 찾아야 합니다.
10:43
into robust AI systems
that we can really trust,
that we can really trust,
212
631120
2416
10:45
because otherwise,
213
633560
1216
그렇지 않으면, 이 대단한 신기술이
오작동하여 우리에게 해를 끼치거나
오작동하여 우리에게 해를 끼치거나
10:46
all this awesome new technology
can malfunction and harm us,
can malfunction and harm us,
214
634800
2816
아니면 해킹당해서 우리에게
대적할지도 모릅니다.
대적할지도 모릅니다.
10:49
or get hacked and be turned against us.
215
637640
1976
10:51
And this AI safety work
has to include work on AI value alignment,
has to include work on AI value alignment,
216
639640
5696
그리고 이 AI의 안전에 관한 연구는
AI 가치 조합 연구도 포함해야 합니다.
AI 가치 조합 연구도 포함해야 합니다.
바보 같은 할리우드 영화에서나 그렇지
10:57
because the real threat
from AGI isn't malice,
from AGI isn't malice,
217
645360
2816
AGI의 진정한 위협은
적대감이 아니기 때문이죠.
적대감이 아니기 때문이죠.
11:00
like in silly Hollywood movies,
218
648200
1656
11:01
but competence --
219
649880
1736
오히려 권한입니다.
11:03
AGI accomplishing goals
that just aren't aligned with ours.
that just aren't aligned with ours.
220
651640
3416
AGI가 이루려는 목표는
우리의 목표와 일치하지 않습니다.
우리의 목표와 일치하지 않습니다.
11:07
For example, when we humans drove
the West African black rhino extinct,
the West African black rhino extinct,
221
655080
4736
예를 들면, 우리 인간이 서아프리카의
검은 코뿔소의 멸종을 초래했지만
검은 코뿔소의 멸종을 초래했지만
11:11
we didn't do it because we were a bunch
of evil rhinoceros haters, did we?
of evil rhinoceros haters, did we?
222
659840
3896
우리가 코뿔소 혐오자라서
그랬던 것은 아니잖아요.
그랬던 것은 아니잖아요.
단지 우리가 코뿔소보다
똑똑했기 때문입니다.
똑똑했기 때문입니다.
11:15
We did it because
we were smarter than them
we were smarter than them
223
663760
2056
11:17
and our goals weren't aligned with theirs.
224
665840
2576
우리의 목표가 코뿔소의
목표와는 달랐던 것이죠.
목표와는 달랐던 것이죠.
11:20
But AGI is by definition smarter than us,
225
668440
2656
그런데 AGI는 당연히
우리보다 똑똑할 겁니다.
우리보다 똑똑할 겁니다.
11:23
so to make sure that we don't put
ourselves in the position of those rhinos
ourselves in the position of those rhinos
226
671120
3576
그러니 우리도 우리 자신을 코뿔소 같은
처지가 되도록 만들면 안 되겠죠.
처지가 되도록 만들면 안 되겠죠.
11:26
if we create AGI,
227
674720
1976
우리가 AGI를 만든다면
11:28
we need to figure out how
to make machines understand our goals,
to make machines understand our goals,
228
676720
4176
컴퓨터에게 우리의 목표를
가르칠 방법을 찾아야 합니다.
가르칠 방법을 찾아야 합니다.
11:32
adopt our goals and retain our goals.
229
680920
3160
우리의 목표를 받아들이고
유지하도록 해야 하죠.
유지하도록 해야 하죠.
11:37
And whose goals should these be, anyway?
230
685320
2856
그럼 도대체 누구의 목표를
선택해야 할까요?
선택해야 할까요?
11:40
Which goals should they be?
231
688200
1896
어떤 목표이어야 할까요?
11:42
This brings us to the third part
of our rocket metaphor: the destination.
of our rocket metaphor: the destination.
232
690120
3560
이것이 로켓으로 비유되는
세 번째 부분입니다.
세 번째 부분입니다.
바로 최종 목표죠.
우리는 더욱 막강한 AI를 연구하고
11:47
We're making AI more powerful,
233
695160
1856
11:49
trying to figure out how to steer it,
234
697040
1816
그렇게 할 방법을 찾으려 노력하죠.
11:50
but where do we want to go with it?
235
698880
1680
하지만 얼마나 강력하길 바라는 걸까요?
11:53
This is the elephant in the room
that almost nobody talks about --
that almost nobody talks about --
236
701760
3656
이것은 방 안의 코끼리 같은 것입니다.
아무도 말하려 하지 않죠.
아무도 말하려 하지 않죠.
11:57
not even here at TED --
237
705440
1856
여기 TED에서 조차도요.
11:59
because we're so fixated
on short-term AI challenges.
on short-term AI challenges.
238
707320
4080
왜냐하면 우리는 단기적인
AI 문제에만 집착하기 때문입니다.
AI 문제에만 집착하기 때문입니다.
12:04
Look, our species is trying to build AGI,
239
712080
4656
보세요. 우리 인류는
AGI를 만들려고 합니다.
AGI를 만들려고 합니다.
12:08
motivated by curiosity and economics,
240
716760
3496
그 동기는 호기심과 경제성이죠.
12:12
but what sort of future society
are we hoping for if we succeed?
are we hoping for if we succeed?
241
720280
3680
그런데 미래에 그것이 성공했을 때
어떤 사회가 되기를 기대하는 거죠?
어떤 사회가 되기를 기대하는 거죠?
12:16
We did an opinion poll on this recently,
242
724680
1936
최근에 이에 관한 설문조사를 했는데요.
12:18
and I was struck to see
243
726640
1216
결과는 놀라웠어요.
12:19
that most people actually
want us to build superintelligence:
want us to build superintelligence:
244
727880
2896
대부분의 사람들이 실제로
초지능 개발을 원하고 있었습니다.
초지능 개발을 원하고 있었습니다.
우리보다 모든 면에서
훨씬 뛰어난 AI를 원하고 있었죠.
훨씬 뛰어난 AI를 원하고 있었죠.
12:22
AI that's vastly smarter
than us in all ways.
than us in all ways.
245
730800
3160
대다수가 동의한 부분은
우리가 큰 꿈을 가져야 하고
우리가 큰 꿈을 가져야 하고
12:27
What there was the greatest agreement on
was that we should be ambitious
was that we should be ambitious
246
735120
3416
인류가 우주로 나가도록
해야 한다는 것이었습니다.
해야 한다는 것이었습니다.
12:30
and help life spread into the cosmos,
247
738560
2016
12:32
but there was much less agreement
about who or what should be in charge.
about who or what should be in charge.
248
740600
4496
하지만 누가 어떤 책임을 맡을지는
의견이 분분했습니다.
의견이 분분했습니다.
12:37
And I was actually quite amused
249
745120
1736
그리고 정말 재밌는 부분은
12:38
to see that there's some some people
who want it to be just machines.
who want it to be just machines.
250
746880
3456
컴퓨터에 맡기자고 하는
사람도 있다는 거예요.
사람도 있다는 거예요.
12:42
(Laughter)
251
750360
1696
(웃음)
12:44
And there was total disagreement
about what the role of humans should be,
about what the role of humans should be,
252
752080
3856
그리고 인간의 맡아야 할 역할에
대해서는 모두가 같은 답을 했습니다.
대해서는 모두가 같은 답을 했습니다.
12:47
even at the most basic level,
253
755960
1976
가장 기초적인 수준에 있더라도
12:49
so let's take a closer look
at possible futures
at possible futures
254
757960
2816
어떤 미래가 올지 잘 살펴보고
12:52
that we might choose
to steer toward, alright?
to steer toward, alright?
255
760800
2736
어떤 방향으로 갈지
선택해야 하지 않겠어요?
선택해야 하지 않겠어요?
12:55
So don't get be wrong here.
256
763560
1336
아, 오해하지 마세요.
이것으로 우주여행을
얘기하려는 게 아닙니다.
얘기하려는 게 아닙니다.
12:56
I'm not talking about space travel,
257
764920
2056
12:59
merely about humanity's
metaphorical journey into the future.
metaphorical journey into the future.
258
767000
3200
미래를 향한 우리 인류의 여정을
비유적으로 표현한 거예요.
비유적으로 표현한 거예요.
13:02
So one option that some
of my AI colleagues like
of my AI colleagues like
259
770920
3496
저의 AI 연구 동료 몇몇의
의견 중 하나는
의견 중 하나는
13:06
is to build superintelligence
and keep it under human control,
and keep it under human control,
260
774440
3616
초지능을 만들되
인간의 통제하에 두자는 것입니다.
인간의 통제하에 두자는 것입니다.
13:10
like an enslaved god,
261
778080
1736
마치 노예가 된 신처럼 말이죠.
13:11
disconnected from the internet
262
779840
1576
인터넷 연결을 끊어버리고
13:13
and used to create unimaginable
technology and wealth
technology and wealth
263
781440
3256
상상을 뛰어넘는 기술과 부를
만드는 데에만 사용하는 겁니다.
만드는 데에만 사용하는 겁니다.
13:16
for whoever controls it.
264
784720
1240
자신을 통제하는 사람을 위해서요.
액톤 경은 이렇게 경고했습니다.
13:18
But Lord Acton warned us
265
786800
1456
13:20
that power corrupts,
and absolute power corrupts absolutely,
and absolute power corrupts absolutely,
266
788280
3616
권력은 타락하고, 절대 권력은
반드시 부패하기 마련이라고 했죠.
반드시 부패하기 마련이라고 했죠.
13:23
so you might worry that maybe
we humans just aren't smart enough,
we humans just aren't smart enough,
267
791920
4056
그러니 우리는 인간이 똑똑하지
않다고 걱정할 것이 아니라
않다고 걱정할 것이 아니라
오히려 AI의 막강한 능력을 다룰 만큼
매우 똑똑하다는 걸 걱정해야 합니다.
매우 똑똑하다는 걸 걱정해야 합니다.
13:28
or wise enough rather,
268
796000
1536
13:29
to handle this much power.
269
797560
1240
13:31
Also, aside from any
moral qualms you might have
moral qualms you might have
270
799640
2536
뛰어난 AI를 노예로 만든다는 것에
죄책감을 가질 것이 아니라
죄책감을 가질 것이 아니라
13:34
about enslaving superior minds,
271
802200
2296
13:36
you might worry that maybe
the superintelligence could outsmart us,
the superintelligence could outsmart us,
272
804520
3976
우리가 염려해야 할 것은 어쩌면..
우리를 훨씬 능가하는 초지능이 나타나서
모든 걸 차지할 수 있다는 사실입니다.
모든 걸 차지할 수 있다는 사실입니다.
13:40
break out and take over.
273
808520
2240
13:43
But I also have colleagues
who are fine with AI taking over
who are fine with AI taking over
274
811560
3416
그런데 제 동료 중에는 AI에게
지배당해도 좋다는 이도 있습니다.
지배당해도 좋다는 이도 있습니다.
13:47
and even causing human extinction,
275
815000
2296
심지어 인류가 멸종하게 되더라도
13:49
as long as we feel the the AIs
are our worthy descendants,
are our worthy descendants,
276
817320
3576
AI가 우리의 후손이 될 만하다고
생각되면 그래도 괜찮다는 거예요.
생각되면 그래도 괜찮다는 거예요.
13:52
like our children.
277
820920
1736
우리 아이들처럼 말이죠.
13:54
But how would we know that the AIs
have adopted our best values
have adopted our best values
278
822680
5616
그런데 AI가 우리의 가장 좋은 점만
취할 거라고 어떻게 확신하죠?
취할 거라고 어떻게 확신하죠?
14:00
and aren't just unconscious zombies
tricking us into anthropomorphizing them?
tricking us into anthropomorphizing them?
279
828320
4376
사람 행세를 하는 의식 없는 좀비가
되지 않을 거라고 어떻게 알죠?
되지 않을 거라고 어떻게 알죠?
14:04
Also, shouldn't those people
who don't want human extinction
who don't want human extinction
280
832720
2856
인류의 멸종을 원치 않는 사람들도
14:07
have a say in the matter, too?
281
835600
1440
잠자코 당해야 하는 건가요?
14:10
Now, if you didn't like either
of those two high-tech options,
of those two high-tech options,
282
838200
3376
만약 여러분이 첨단 기술에 대한
이 두 가지 선택을 모두 포기한다면
이 두 가지 선택을 모두 포기한다면
14:13
it's important to remember
that low-tech is suicide
that low-tech is suicide
283
841600
3176
우주적 관점에서 보면
저급한 기술은 자살 행위임을
저급한 기술은 자살 행위임을
14:16
from a cosmic perspective,
284
844800
1256
기억해 두셔야 합니다.
14:18
because if we don't go far
beyond today's technology,
beyond today's technology,
285
846080
2496
왜냐하면 현재의 기술을
뛰어넘지 못하면
뛰어넘지 못하면
인류의 멸종이 문제가 아니라
14:20
the question isn't whether humanity
is going to go extinct,
is going to go extinct,
286
848600
2816
단순히 다른 문제로
우리가 죽을 수도 있으니까요.
우리가 죽을 수도 있으니까요.
14:23
merely whether
we're going to get taken out
we're going to get taken out
287
851440
2016
14:25
by the next killer asteroid, supervolcano
288
853480
2136
살인적인 소행성이나 화산 대폭발
14:27
or some other problem
that better technology could have solved.
that better technology could have solved.
289
855640
3096
아니면 첨단 기술이 있었다면
해결되었을 다른 문제들로 말이죠.
해결되었을 다른 문제들로 말이죠.
14:30
So, how about having
our cake and eating it ...
our cake and eating it ...
290
858760
3576
그렇다면 두 마리 토끼를
한 번에 잡으면 어떨까요?
한 번에 잡으면 어떨까요?
14:34
with AGI that's not enslaved
291
862360
1840
AGI를 노예로 만들지는 못했지만
14:37
but treats us well because its values
are aligned with ours?
are aligned with ours?
292
865120
3176
우리와 같은 가치관을 갖고
우리에게 호의를 베풀게 하는 거죠.
우리에게 호의를 베풀게 하는 거죠.
14:40
This is the gist of what Eliezer Yudkowsky
has called "friendly AI,"
has called "friendly AI,"
293
868320
4176
그것이 엘리제 유드코프스키가 말한
"친근한 AI"의 요지입니다.
"친근한 AI"의 요지입니다.
14:44
and if we can do this,
it could be awesome.
it could be awesome.
294
872520
2680
그렇게만 된다면 정말 최고죠.
14:47
It could not only eliminate negative
experiences like disease, poverty,
experiences like disease, poverty,
295
875840
4816
그러면 부정적인 요소들을
없앨 수 있을 겁니다.
없앨 수 있을 겁니다.
질병, 빈곤, 범죄, 그 밖의
어려운 문제들이요.
어려운 문제들이요.
14:52
crime and other suffering,
296
880680
1456
14:54
but it could also give us
the freedom to choose
the freedom to choose
297
882160
2816
뿐만 아니라 우리에게 선택의
자유도 가져다줄 거예요.
자유도 가져다줄 거예요.
14:57
from a fantastic new diversity
of positive experiences --
of positive experiences --
298
885000
4056
멋지고 다양한 긍정적 요소들을
선택할 수 있게 될 겁니다.
선택할 수 있게 될 겁니다.
15:01
basically making us
the masters of our own destiny.
the masters of our own destiny.
299
889080
3160
그러면 우리의 운명을 우리가
원하는 대로 바꿀 수 있게 되겠죠.
원하는 대로 바꿀 수 있게 되겠죠.
15:06
So in summary,
300
894280
1376
정리해서 말씀드리면
15:07
our situation with technology
is complicated,
is complicated,
301
895680
3096
기술과 관련한 우리의 현실은
매우 복잡합니다.
매우 복잡합니다.
15:10
but the big picture is rather simple.
302
898800
2416
하지만 큰 그림은 오히려 단순하죠.
15:13
Most AI researchers
expect AGI within decades,
expect AGI within decades,
303
901240
3456
AI 연구자 대부분은 수십 년 내에
AGI가 등장할 거라고 기대합니다.
AGI가 등장할 거라고 기대합니다.
15:16
and if we just bumble
into this unprepared,
into this unprepared,
304
904720
3136
그에 대한 대비 없이
우왕좌왕하고 있으면
우왕좌왕하고 있으면
15:19
it will probably be
the biggest mistake in human history --
the biggest mistake in human history --
305
907880
3336
인류 역사상 최대의 실수를
저지를지도 모릅니다.
저지를지도 모릅니다.
15:23
let's face it.
306
911240
1416
맞부딪혀야 해요.
15:24
It could enable brutal,
global dictatorship
global dictatorship
307
912680
2576
잔혹한 세계적 독재자를 만들어
15:27
with unprecedented inequality,
surveillance and suffering,
surveillance and suffering,
308
915280
3536
전례가 없는 불평등과 감시,
그리고 고통이 있을지 모릅니다.
그리고 고통이 있을지 모릅니다.
15:30
and maybe even human extinction.
309
918840
1976
심지어 인류의 멸종까지도요.
15:32
But if we steer carefully,
310
920840
2320
하지만 우리가 잘 이끈다면
15:36
we could end up in a fantastic future
where everybody's better off:
where everybody's better off:
311
924040
3896
모두가 잘살 수 있는 환상적인
미래를 만들 수도 있어요.
미래를 만들 수도 있어요.
15:39
the poor are richer, the rich are richer,
312
927960
2376
가난한 이는 부자가 되고
부자는 더 부자가 되며
부자는 더 부자가 되며
15:42
everybody is healthy
and free to live out their dreams.
and free to live out their dreams.
313
930360
3960
모두가 건강하게 살며
자유롭게 꿈을 이룰 수 있습니다.
자유롭게 꿈을 이룰 수 있습니다.
15:47
Now, hang on.
314
935000
1536
그런데 말이죠.
15:48
Do you folks want the future
that's politically right or left?
that's politically right or left?
315
936560
4576
정치적으로 우익 또는 좌익의
미래 사회를 원하시나요?
미래 사회를 원하시나요?
15:53
Do you want the pious society
with strict moral rules,
with strict moral rules,
316
941160
2856
엄격한 도덕적 규율을 갖는
경건한 사회를 원하시나요?
경건한 사회를 원하시나요?
15:56
or do you an hedonistic free-for-all,
317
944040
1816
아니면 자유로운 쾌락을 원하시나요?
15:57
more like Burning Man 24/7?
318
945880
2216
매일 버닝맨 축제가 열리듯이요.
16:00
Do you want beautiful beaches,
forests and lakes,
forests and lakes,
319
948120
2416
아름다운 해변과 숲과
호수를 원하시나요?
호수를 원하시나요?
16:02
or would you prefer to rearrange
some of those atoms with the computers,
some of those atoms with the computers,
320
950560
3416
아니면 컴퓨터가 만든 가상 체험으로
원자 재배열을 연구하고 싶으신가요?
원자 재배열을 연구하고 싶으신가요?
16:06
enabling virtual experiences?
321
954000
1715
'친근한 AI'가 있다면
이 모든 게 가능합니다.
이 모든 게 가능합니다.
16:07
With friendly AI, we could simply
build all of these societies
build all of these societies
322
955739
3157
16:10
and give people the freedom
to choose which one they want to live in
to choose which one they want to live in
323
958920
3216
사람들은 각자 원하는 삶을
자유롭게 선택할 수 있습니다.
자유롭게 선택할 수 있습니다.
왜냐하면 우리는 더는
지능의 한계에 제한받지 않고
지능의 한계에 제한받지 않고
16:14
because we would no longer
be limited by our intelligence,
be limited by our intelligence,
324
962160
3096
오직 물리 법칙만 남기 때문이죠.
16:17
merely by the laws of physics.
325
965280
1456
16:18
So the resources and space
for this would be astronomical --
for this would be astronomical --
326
966760
4616
이를 위한 자원과 공간은
문자 그대로 천문학적인
수준이 될 것입니다.
수준이 될 것입니다.
16:23
literally.
327
971400
1320
16:25
So here's our choice.
328
973320
1200
이제 우리의 선택이 남아있습니다.
16:27
We can either be complacent
about our future,
about our future,
329
975880
2320
한 가지 선택은 우리 미래를
자만하는 것입니다.
자만하는 것입니다.
16:31
taking as an article of blind faith
330
979440
2656
그저 맹신하는 거예요.
16:34
that any new technology
is guaranteed to be beneficial,
is guaranteed to be beneficial,
331
982120
4016
모든 신기술이 우리에게
이득을 가져다줄 거라고
이득을 가져다줄 거라고
16:38
and just repeat that to ourselves
as a mantra over and over and over again
as a mantra over and over and over again
332
986160
4136
우리 스스로에게 계속해서
주문을 걸기만 하는 겁니다.
주문을 걸기만 하는 겁니다.
16:42
as we drift like a rudderless ship
towards our own obsolescence.
towards our own obsolescence.
333
990320
3680
표류하는 배처럼 떠다니며
진부한 방향으로 흘러가겠죠.
진부한 방향으로 흘러가겠죠.
16:46
Or we can be ambitious --
334
994920
1880
아니면 야망을 선택할 수도 있습니다.
16:49
thinking hard about how
to steer our technology
to steer our technology
335
997840
2456
우리 기술을 어떻게
이끌어 갈지 심사숙고하고
이끌어 갈지 심사숙고하고
16:52
and where we want to go with it
336
1000320
1936
경이로움의 시대를 만들어 내려면
어디로 향해야 할지 고민하는 겁니다.
어디로 향해야 할지 고민하는 겁니다.
16:54
to create the age of amazement.
337
1002280
1760
우리 모두는 경이로움의 시대를
기념하려고 이곳에 모였습니다.
기념하려고 이곳에 모였습니다.
16:57
We're all here to celebrate
the age of amazement,
the age of amazement,
338
1005000
2856
16:59
and I feel that its essence should lie
in becoming not overpowered
in becoming not overpowered
339
1007880
4440
저는 그 본질은 우리가 기술의
힘에 제압당하는 것이 아니라
힘에 제압당하는 것이 아니라
17:05
but empowered by our technology.
340
1013240
2616
기술로써 우리가 힘을
얻는 거라고 생각합니다.
얻는 거라고 생각합니다.
17:07
Thank you.
341
1015880
1376
감사합니다.
17:09
(Applause)
342
1017280
3080
(박수)
ABOUT THE SPEAKER
Max Tegmark - Scientist, authorMax Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.
Why you should listen
Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligence, as well as more than 200 nerdy technical papers on topics from cosmology to AI.
He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."
Max Tegmark | Speaker | TED.com