TED2019
Janelle Shane: The danger of AI is weirder than you think
자넬 셰인(Janelle Shane): 생각보다 이상한 AI의 위험성
Filmed:
Readability: 4.2
376,501 views
AI 연구원 자넬 셰인은 인공지능이 위험한 이유가 그들이 우리에게 반역할 것이기 때문이 아니라, 우리가 말한 것을 아주 그대로 할 것이기 때문이라고 말합니다.
새로운 아이스크림 맛을 만들거나 도로에서 차들을 인식하는 것과 같은 문제를 풀 때 발생하는, 이상하고 때때로 놀라운 AI 알고리즘의 터무니없는 행동들을 소개하면서 셰인은 왜 AI가 실제 인간의 뇌에 미치지 못하는지 보여줍니다.
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
Double-click the English transcript below to play the video.
00:13
So, artificial intelligence
0
1765
3000
인공지능은
00:16
is known for disrupting
all kinds of industries.
all kinds of industries.
1
4789
3529
온갖 종류의 산업을
와해시키는 것으로 알려져 있죠.
와해시키는 것으로 알려져 있죠.
00:20
What about ice cream?
2
8961
2043
아이스크림 시장은 어떨까요?
00:23
What kind of mind-blowing
new flavors could we generate
new flavors could we generate
3
11879
3639
어떤 새롭고 놀라운 맛들을
고도의 인공지능으로 만들 수 있을까요?
00:27
with the power of an advanced
artificial intelligence?
artificial intelligence?
4
15542
2976
00:31
So I teamed up with a group of coders
from Kealing Middle School
from Kealing Middle School
5
19011
4161
그래서 저는 킬링 중학교 학생들과
00:35
to find out the answer to this question.
6
23196
2241
이 문제의 답을 찾아 보고자 했습니다.
00:37
They collected over 1,600
existing ice cream flavors,
existing ice cream flavors,
7
25461
5081
현재 존재하는 1600가지가 넘는
아이스크림 맛들을 모으고,
아이스크림 맛들을 모으고,
00:42
and together, we fed them to an algorithm
to see what it would generate.
to see what it would generate.
8
30566
5522
어떤 것을 만들 수 있는지 보기 위해
알고리즘을 적용했습니다.
알고리즘을 적용했습니다.
00:48
And here are some of the flavors
that the AI came up with.
that the AI came up with.
9
36112
3753
그리고 여기 AI가 만들어낸
맛들이 있습니다.
맛들이 있습니다.
00:52
[Pumpkin Trash Break]
10
40444
1471
[호박 쓰레기 브레이크]
00:53
(Laughter)
11
41939
1402
(웃음)
00:55
[Peanut Butter Slime]
12
43365
2469
[땅콩 버터 슬라임]
00:58
[Strawberry Cream Disease]
13
46822
1343
[딸기 크림 질병]
01:00
(Laughter)
14
48189
2126
(웃음)
01:02
These flavors are not delicious,
as we might have hoped they would be.
as we might have hoped they would be.
15
50339
4597
이 맛들은 저희가 바랐던 것 만큼
맛있지 않습니다.
맛있지 않습니다.
01:06
So the question is: What happened?
16
54960
1864
무슨 일이 일어난 것일까요?
뭐가 잘못된 거죠?
뭐가 잘못된 거죠?
01:08
What went wrong?
17
56848
1394
01:10
Is the AI trying to kill us?
18
58266
1959
AI가 우리를 죽이려고 하는 것일까요?
01:13
Or is it trying to do what we asked,
and there was a problem?
and there was a problem?
19
61027
4310
아니면 우리가 요청했던 걸 하려 했지만
문제가 있었던 걸까요?
문제가 있었던 걸까요?
01:18
In movies, when something
goes wrong with AI,
goes wrong with AI,
20
66567
2464
영화에서 AI와 관련해 뭔가 잘못되면,
01:21
it's usually because the AI has decided
21
69055
2712
보통은 AI가 인간에게 더 이상
복종하기 싫다고 결정하고
복종하기 싫다고 결정하고
01:23
that it doesn't want to obey
the humans anymore,
the humans anymore,
22
71791
2272
01:26
and it's got its own goals,
thank you very much.
thank you very much.
23
74087
2623
AI 스스로의 목표를 가지기 때문이죠,
아주 감사하게도요.
아주 감사하게도요.
01:29
In real life, though,
the AI that we actually have
the AI that we actually have
24
77266
3216
실제 상황에서는 그러나, 실제 AI는
01:32
is not nearly smart enough for that.
25
80506
1863
전혀 그렇게 똑똑하지 않습니다.
01:34
It has the approximate computing power
26
82781
2982
AI의 연산 능력은 대략 지렁이 정도,
01:37
of an earthworm,
27
85787
1276
01:39
or maybe at most a single honeybee,
28
87087
3403
아마 기껏해봐야 꿀벌 한마리,
01:42
and actually, probably maybe less.
29
90514
2215
사실, 아마 그것도 안 될 겁니다.
01:44
Like, we're constantly learning
new things about brains
new things about brains
30
92753
2594
우리는 끊임없이 두뇌에 대해
새로운 것을 배워서
새로운 것을 배워서
01:47
that make it clear how much our AIs
don't measure up to real brains.
don't measure up to real brains.
31
95371
4360
AI가 실제 두뇌에 얼마나 못미치는지
분명히 알 수 있죠.
분명히 알 수 있죠.
01:51
So today's AI can do a task
like identify a pedestrian in a picture,
like identify a pedestrian in a picture,
32
99755
5663
오늘날의 AI는 사진 속의 행인을
식별하기 같은 일을 할 수 있죠.
식별하기 같은 일을 할 수 있죠.
01:57
but it doesn't have a concept
of what the pedestrian is
of what the pedestrian is
33
105442
2983
그러나 AI는 행인이 무엇이라는
개념은 가지고 있지 않습니다.
개념은 가지고 있지 않습니다.
02:00
beyond that it's a collection
of lines and textures and things.
of lines and textures and things.
34
108449
4824
그것은 선과 질감같은 것들의
덩어리 너머의 것입니다.
덩어리 너머의 것입니다.
02:05
It doesn't know what a human actually is.
35
113792
2521
AI는 실제 인간이라는 게
무엇인지 알지 못합니다.
무엇인지 알지 못합니다.
02:08
So will today's AI
do what we ask it to do?
do what we ask it to do?
36
116822
3282
그래서 오늘날의 AI는
우리가 요청한 것을 수행할까요?
우리가 요청한 것을 수행할까요?
02:12
It will if it can,
37
120128
1594
할 수 있다면 하겠죠,
02:13
but it might not do what we actually want.
38
121746
2726
그러나 우리가 진짜 원하는 것을
하지 않을 수도 있습니다.
하지 않을 수도 있습니다.
02:16
So let's say that you
were trying to get an AI
were trying to get an AI
39
124496
2415
가령 여러분이 AI를 이용해서
이 로봇 부품들로
이 로봇 부품들로
02:18
to take this collection of robot parts
40
126935
2619
02:21
and assemble them into some kind of robot
to get from Point A to Point B.
to get from Point A to Point B.
41
129578
4197
로봇을 조립해서 A에서 B로
간다고 생각해 봅시다.
간다고 생각해 봅시다.
02:25
Now, if you were going to try
and solve this problem
and solve this problem
42
133799
2481
만약 여러분이 이 문제를 해결하기 위해
전통적인 방식의
컴퓨터 프로그래밍을 이용한다면,
컴퓨터 프로그래밍을 이용한다면,
02:28
by writing a traditional-style
computer program,
computer program,
43
136304
2351
02:30
you would give the program
step-by-step instructions
step-by-step instructions
44
138679
3417
이 프로그램에 단계별 지시를 주겠죠.
02:34
on how to take these parts,
45
142120
1329
부품들은 다루는 방법이라든가,
다리가 있는 로봇으로 만드는 방법과,
다리가 있는 로봇으로 만드는 방법과,
02:35
how to assemble them
into a robot with legs
into a robot with legs
46
143473
2407
02:37
and then how to use those legs
to walk to Point B.
to walk to Point B.
47
145904
2942
그 다리로 B까지 걸어가는 방법을요.
02:41
But when you're using AI
to solve the problem,
to solve the problem,
48
149441
2340
그러나 AI를 이용해서
이 문제를 해결한다면,
이 문제를 해결한다면,
02:43
it goes differently.
49
151805
1174
다른 이야기가 됩니다.
02:45
You don't tell it
how to solve the problem,
how to solve the problem,
50
153003
2382
어떻게 문제를 해결하는지에 대해
AI에게 알려주지 않고
AI에게 알려주지 않고
02:47
you just give it the goal,
51
155409
1479
여러분은 그냥 목표를 줍니다.
02:48
and it has to figure out for itself
via trial and error
via trial and error
52
156912
3262
그리고 그것은 시행착오를 통해 스스로
목표에 도달할 방법을 알아내는 것이죠.
목표에 도달할 방법을 알아내는 것이죠.
02:52
how to reach that goal.
53
160198
1484
02:54
And it turns out that the way AI tends
to solve this particular problem
to solve this particular problem
54
162254
4102
AI가 이 특정한 문제를 푸는 방식은
02:58
is by doing this:
55
166380
1484
이렇습니다.
02:59
it assembles itself into a tower
and then falls over
and then falls over
56
167888
3367
스스로를 탑으로 조립한 다음에 쓰러져서
B에 떨어지는 것이죠.
B에 떨어지는 것이죠.
03:03
and lands at Point B.
57
171279
1827
03:05
And technically, this solves the problem.
58
173130
2829
그리고, 따지고 보면,
이건 문제를 해결하긴 합니다.
이건 문제를 해결하긴 합니다.
03:07
Technically, it got to Point B.
59
175983
1639
기술적으로는, B까지 도달한 것이죠.
03:09
The danger of AI is not that
it's going to rebel against us,
it's going to rebel against us,
60
177646
4265
AI의 위험은 그것이
우리에게 맞설 것이라는 것이 아니라,
우리에게 맞설 것이라는 것이 아니라,
03:13
it's that it's going to do
exactly what we ask it to do.
exactly what we ask it to do.
61
181935
4274
우리가 요청한 것을
아주 그대로 할 것이라는 겁니다.
아주 그대로 할 것이라는 겁니다.
03:18
So then the trick
of working with AI becomes:
of working with AI becomes:
62
186876
2498
따라서 AI를 사용할 때의 요점은
AI가 우리가 원하는 결과를 만들도록
어떻게 문제를 설정하느냐입니다.
어떻게 문제를 설정하느냐입니다.
03:21
How do we set up the problem
so that it actually does what we want?
so that it actually does what we want?
63
189398
3828
03:26
So this little robot here
is being controlled by an AI.
is being controlled by an AI.
64
194726
3306
여기 이 조그만 로봇은
AI가 조종합니다.
AI가 조종합니다.
03:30
The AI came up with a design
for the robot legs
for the robot legs
65
198056
2814
AI는 로봇다리의 디자인을 생각해냈고
03:32
and then figured out how to use them
to get past all these obstacles.
to get past all these obstacles.
66
200894
4078
모든 장애물들을 지나가기 위해
다리를 이용할 방법을 알아냈습니다.
다리를 이용할 방법을 알아냈습니다.
03:36
But when David Ha set up this experiment,
67
204996
2741
그러나 데이비드 하씨가
이 실험을 고안할 때,
이 실험을 고안할 때,
03:39
he had to set it up
with very, very strict limits
with very, very strict limits
68
207761
2856
그는 아주, 아주 엄격한 제한을
설정해야만 했습니다.
설정해야만 했습니다.
03:42
on how big the AI
was allowed to make the legs,
was allowed to make the legs,
69
210641
3292
AI가 만들 수 있는 다리의 크기에요.
03:45
because otherwise ...
70
213957
1550
그렇지 않았다면...
03:55
(Laughter)
71
223058
3931
(웃음)
04:00
And technically, it got
to the end of that obstacle course.
to the end of that obstacle course.
72
228563
3745
그리고 엄밀히 말하면,
이것은 장애물 코스를 통과했습니다.
이것은 장애물 코스를 통과했습니다.
04:04
So you see how hard it is to get AI
to do something as simple as just walk.
to do something as simple as just walk.
73
232332
4942
이처럼 그냥 걷는 것 같은 간단한 일도
AI에게는 어렵습니다.
AI에게는 어렵습니다.
04:09
So seeing the AI do this,
you may say, OK, no fair,
you may say, OK, no fair,
74
237298
3820
그래서 AI가 이러는 것을 보면,
여러분은 아마 이렇게 말할 겁니다.
여러분은 아마 이렇게 말할 겁니다.
규칙위반이야,
그냥 큰 탑이 돼서 넘어지면 안돼.
그냥 큰 탑이 돼서 넘어지면 안돼.
04:13
you can't just be
a tall tower and fall over,
a tall tower and fall over,
75
241142
2580
04:15
you have to actually, like,
use legs to walk.
use legs to walk.
76
243746
3435
걸으려면 다리같은 걸 써야지.
04:19
And it turns out,
that doesn't always work, either.
that doesn't always work, either.
77
247205
2759
그런데 그 방법도 항상 되지는 않죠.
04:21
This AI's job was to move fast.
78
249988
2759
이 AI의 목표는
빠르게 움직이는 것입니다.
빠르게 움직이는 것입니다.
04:25
They didn't tell it that it had
to run facing forward
to run facing forward
79
253115
3593
그들은 AI에게 앞으로 달려야 하고,
04:28
or that it couldn't use its arms.
80
256732
2258
팔을 사용하면 안된다고
알려주지 않았습니다.
알려주지 않았습니다.
04:31
So this is what you get
when you train AI to move fast,
when you train AI to move fast,
81
259487
4618
AI에게 빨리 움직이는 것을 훈련시키면
이런 결과를 얻을 것입니다.
이런 결과를 얻을 것입니다.
04:36
you get things like somersaulting
and silly walks.
and silly walks.
82
264129
3534
공중제비를 하거나
바보같은 걸음같은 것을 볼 수 있죠.
바보같은 걸음같은 것을 볼 수 있죠.
04:39
It's really common.
83
267687
1400
이건 아주 흔합니다.
04:41
So is twitching along the floor in a heap.
84
269667
3179
바닥에서 웅크리고 씰룩거리는 것도요.
04:44
(Laughter)
85
272870
1150
(웃음)
04:47
So in my opinion, you know what
should have been a whole lot weirder
should have been a whole lot weirder
86
275241
3254
그래서 제 생각에는,
더 이상했어야 했던 것은
더 이상했어야 했던 것은
04:50
is the "Terminator" robots.
87
278519
1396
“터미네이터” 로봇입니다.
04:52
Hacking "The Matrix" is another thing
that AI will do if you give it a chance.
that AI will do if you give it a chance.
88
280256
3755
“매트릭스”를 해킹하는 것은
기회를 주면 AI가 할 또다른 일이죠.
기회를 주면 AI가 할 또다른 일이죠.
04:56
So if you train an AI in a simulation,
89
284035
2517
만약 여러분이 시뮬레이션에서
AI를 훈련시킨다면,
AI를 훈련시킨다면,
04:58
it will learn how to do things like
hack into the simulation's math errors
hack into the simulation's math errors
90
286576
4113
시뮬레이션의 수학적 오류들을
해킹하는 것과 같은 방법을 배워서
해킹하는 것과 같은 방법을 배워서
05:02
and harvest them for energy.
91
290713
2207
그것들을 통해 에너지를 얻을 것입니다.
05:04
Or it will figure out how to move faster
by glitching repeatedly into the floor.
by glitching repeatedly into the floor.
92
292944
5475
아니면 반복적으로 바닥에 고장을 내
더 빨리 움직이는 방법을 알아내겠죠.
더 빨리 움직이는 방법을 알아내겠죠.
05:10
When you're working with AI,
93
298443
1585
AI와 일하는 것은
사람과 일하는 것과 다르고,
사람과 일하는 것과 다르고,
05:12
it's less like working with another human
94
300052
2389
05:14
and a lot more like working
with some kind of weird force of nature.
with some kind of weird force of nature.
95
302465
3629
자연의 어떤 이상한 힘과
일하는 것과 더 유사합니다.
일하는 것과 더 유사합니다.
05:18
And it's really easy to accidentally
give AI the wrong problem to solve,
give AI the wrong problem to solve,
96
306562
4623
실수로 AI에게 잘못된 문제를
주는 것도 쉬운 일입니다.
주는 것도 쉬운 일입니다.
05:23
and often we don't realize that
until something has actually gone wrong.
until something has actually gone wrong.
97
311209
4538
보통 실제로 일이 잘못될 때까지
우리는 그걸 알아채지 못하죠.
우리는 그걸 알아채지 못하죠.
05:28
So here's an experiment I did,
98
316242
2080
제가 진행한 실험이 하나 있습니다.
05:30
where I wanted the AI
to copy paint colors,
to copy paint colors,
99
318346
3182
저는 AI가 물감 색들을 복사해서
05:33
to invent new paint colors,
100
321552
1746
새로운 물감을 만들어내기를 원했습니다.
05:35
given the list like the ones
here on the left.
here on the left.
101
323322
2987
여기 왼쪽에 있는 목록을 주고요.
05:38
And here's what the AI
actually came up with.
actually came up with.
102
326798
3004
이게 AI가 실제로 만들어낸 것입니다.
05:41
[Sindis Poop, Turdly, Suffer, Gray Pubic]
103
329826
3143
[신디스 똥, 똥덩어리같은,
고생하다, 회색 음부]
고생하다, 회색 음부]
05:44
(Laughter)
104
332993
4230
(웃음)
05:51
So technically,
105
339177
1886
그래서 엄밀히 말하면,
05:53
it did what I asked it to.
106
341087
1864
제가 요청한 것을 하긴 했습니다.
05:54
I thought I was asking it for,
like, nice paint color names,
like, nice paint color names,
107
342975
3308
저는 제가 멋진 물감 이름들을
요청했다고 생각했는데
요청했다고 생각했는데
05:58
but what I was actually asking it to do
108
346307
2307
실제로 제가 요청했던 것은
06:00
was just imitate the kinds
of letter combinations
of letter combinations
109
348638
3086
원래에 있던 것들에 보이는 문자조합을
그냥 모방하는 것이었습니다.
그냥 모방하는 것이었습니다.
06:03
that it had seen in the original.
110
351748
1905
06:05
And I didn't tell it anything
about what words mean,
about what words mean,
111
353677
3098
그 단어들의 뜻이 무엇인지에 대해
알려주지 않았습니다.
알려주지 않았습니다.
06:08
or that there are maybe some words
112
356799
2560
혹은 물감에 사용하면 안되는 단어도
있을 수 있다는 것도요.
있을 수 있다는 것도요.
06:11
that it should avoid using
in these paint colors.
in these paint colors.
113
359383
2889
06:15
So its entire world
is the data that I gave it.
is the data that I gave it.
114
363141
3494
AI가 알고 있는 세계는
제가 준 데이터가 전부였지요.
제가 준 데이터가 전부였지요.
06:18
Like with the ice cream flavors,
it doesn't know about anything else.
it doesn't know about anything else.
115
366659
4028
아이스크림 맛처럼, 다른 것에 대해서는
전혀 아는 것이 없었습니다.
전혀 아는 것이 없었습니다.
06:24
So it is through the data
116
372491
1638
그래서 이 데이터를 통해서
06:26
that we often accidentally tell AI
to do the wrong thing.
to do the wrong thing.
117
374153
4044
우리는 AI에게 잘못된 것을 하라고
종종 실수로 말합니다.
종종 실수로 말합니다.
06:30
This is a fish called a tench.
118
378694
3032
이건 잉어라고 불리는 물고기입니다.
06:33
And there was a group of researchers
119
381750
1815
연구자들이 AI를 훈련시켜 사진에서
잉어를 식별하도록 했습니다.
잉어를 식별하도록 했습니다.
06:35
who trained an AI to identify
this tench in pictures.
this tench in pictures.
120
383589
3874
06:39
But then when they asked it
121
387487
1296
그러나 그들이 AI에게
사진의 어떤 부분을
사진의 어떤 부분을
06:40
what part of the picture it was actually
using to identify the fish,
using to identify the fish,
122
388807
3426
물고기를 식별하는데 썼는지 물어보자
이것이 나타났습니다.
06:44
here's what it highlighted.
123
392257
1358
06:47
Yes, those are human fingers.
124
395203
2189
네, 저것들은 사람의 손가락입니다.
06:49
Why would it be looking for human fingers
125
397416
2059
왜 물고기를 식별하는데
사람의 손가락을 찾고 있을까요?
사람의 손가락을 찾고 있을까요?
06:51
if it's trying to identify a fish?
126
399499
1921
06:54
Well, it turns out that the tench
is a trophy fish,
is a trophy fish,
127
402126
3164
잉어는 기념사진으로
남길만한 물고기여서,
남길만한 물고기여서,
06:57
and so in a lot of pictures
that the AI had seen of this fish
that the AI had seen of this fish
128
405314
3811
AI가 훈련동안 보았던
이 물고기의 사진들은
이 물고기의 사진들은
07:01
during training,
129
409149
1151
이러했습니다.
07:02
the fish looked like this.
130
410324
1490
07:03
(Laughter)
131
411838
1635
(웃음)
07:05
And it didn't know that the fingers
aren't part of the fish.
aren't part of the fish.
132
413497
3330
손가락이 물고기의 일부가
아니라는 것을 몰랐죠.
아니라는 것을 몰랐죠.
07:10
So you see why it is so hard
to design an AI
to design an AI
133
418808
4120
그래서 여러분은 진짜로
무엇을 찾고 있는지 이해할 수 있는
무엇을 찾고 있는지 이해할 수 있는
07:14
that actually can understand
what it's looking at.
what it's looking at.
134
422952
3319
AI를 디자인하는 것이
왜 어려운지 알 수 있을 것입니다.
왜 어려운지 알 수 있을 것입니다.
07:18
And this is why designing
the image recognition
the image recognition
135
426295
2862
그리고 이것이 자율주행 자동차에서의
이미지 인식을
이미지 인식을
07:21
in self-driving cars is so hard,
136
429181
2067
디자인하는 것이 왜 그렇게
힘든 일인 지에 대한 이유이고
힘든 일인 지에 대한 이유이고
07:23
and why so many self-driving car failures
137
431272
2205
많은 자율주행 자동차의 실패들의 이유는
AI가 혼란스러워했기 때문입니다.
AI가 혼란스러워했기 때문입니다.
07:25
are because the AI got confused.
138
433501
2885
07:28
I want to talk about an example from 2016.
139
436410
4008
2016년에 있었던 한 예에 대해
이야기해보고 싶습니다.
이야기해보고 싶습니다.
07:32
There was a fatal accident when somebody
was using Tesla's autopilot AI,
was using Tesla's autopilot AI,
140
440442
4455
테슬라 자동조종 AI를 이용하던 사람이
아주 치명적인 사고를 당했습니다.
아주 치명적인 사고를 당했습니다.
07:36
but instead of using it on the highway
like it was designed for,
like it was designed for,
141
444921
3414
원래 고속도로에서 사용하도록
디자인되었는데
디자인되었는데
07:40
they used it on city streets.
142
448359
2205
도시 도로에서 사용되었습니다.
07:43
And what happened was,
143
451239
1175
그리고 어떤 일이 일어났냐면,
07:44
a truck drove out in front of the car
and the car failed to brake.
and the car failed to brake.
144
452438
3396
어떤 트럭이 차 앞으로 나왔는데,
그 차는 서지 못했습니다.
그 차는 서지 못했습니다.
07:48
Now, the AI definitely was trained
to recognize trucks in pictures.
to recognize trucks in pictures.
145
456507
4762
AI는 분명히 사진들에서
트럭을 인식하도록 훈련되었습니다.
트럭을 인식하도록 훈련되었습니다.
07:53
But what it looks like happened is
146
461293
2145
그러나 좀더 들여다 보면
07:55
the AI was trained to recognize
trucks on highway driving,
trucks on highway driving,
147
463462
2931
AI가 고속도로에 있는 트럭들을
인식하도록 훈련된 거 같아 보였습니다.
인식하도록 훈련된 거 같아 보였습니다.
07:58
where you would expect
to see trucks from behind.
to see trucks from behind.
148
466417
2899
트럭의 뒷모습을 볼 것이라고
생각하도록 말이죠.
생각하도록 말이죠.
08:01
Trucks on the side is not supposed
to happen on a highway,
to happen on a highway,
149
469340
3420
트럭의 옆모습을 보는 것은
고속도로에는 일어나지 않는 일이었고,
고속도로에는 일어나지 않는 일이었고,
08:04
and so when the AI saw this truck,
150
472784
3455
이 AI가 이 트럭을 봤을 땐,
08:08
it looks like the AI recognized it
as most likely to be a road sign
as most likely to be a road sign
151
476263
4827
아마도 트럭을 도로 표지판으로 인식하고
08:13
and therefore, safe to drive underneath.
152
481114
2273
따라서 운전을 해도
안전하다고 판단한 것이죠.
안전하다고 판단한 것이죠.
08:16
Here's an AI misstep
from a different field.
from a different field.
153
484114
2580
여기, 다른 분야에서
AI의 실수가 있습니다.
AI의 실수가 있습니다.
08:18
Amazon recently had to give up
on a résumé-sorting algorithm
on a résumé-sorting algorithm
154
486718
3460
아마존은 이력서분류 알고리즘을
포기해야만 했습니다.
포기해야만 했습니다.
08:22
that they were working on
155
490202
1220
실제 적용에서 이 알고리즘이
여성을 차별한다는 것을 발견한 것이죠.
여성을 차별한다는 것을 발견한 것이죠.
08:23
when they discovered that the algorithm
had learned to discriminate against women.
had learned to discriminate against women.
156
491446
3908
그들이 AI 훈련용으로 사용한 이력서는
08:27
What happened is they had trained it
on example résumés
on example résumés
157
495378
2716
08:30
of people who they had hired in the past.
158
498118
2242
과거에 고용한 사람들의 것이었습니다.
08:32
And from these examples, the AI learned
to avoid the résumés of people
to avoid the résumés of people
159
500384
4023
그 예시들로부터, AI는 이런 사람들을
기피하는 것을 배웠습니다.
기피하는 것을 배웠습니다.
08:36
who had gone to women's colleges
160
504431
2026
여대를 나온 사람들,
08:38
or who had the word "women"
somewhere in their resume,
somewhere in their resume,
161
506481
2806
이력서 어딘가에
‘여성’이라는 단어가 있는 사람들,
‘여성’이라는 단어가 있는 사람들,
08:41
as in, "women's soccer team"
or "Society of Women Engineers."
or "Society of Women Engineers."
162
509311
4576
예를 들어 '여자 축구팀',
'여성공학자협회'같은 단어말이죠.
'여성공학자협회'같은 단어말이죠.
08:45
The AI didn't know that it wasn't supposed
to copy this particular thing
to copy this particular thing
163
513911
3974
AI는 이 특정한 행동을 따라 해선
안된다는 것을 모르고 있었죠.
안된다는 것을 모르고 있었죠.
08:49
that it had seen the humans do.
164
517909
1978
인간들이 하는 걸 봤더라도요.
08:51
And technically, it did
what they asked it to do.
what they asked it to do.
165
519911
3177
그리고 엄밀히 말하자면,
AI는 아마존이 요청한 것을 했습니다.
AI는 아마존이 요청한 것을 했습니다.
08:55
They just accidentally asked it
to do the wrong thing.
to do the wrong thing.
166
523112
2797
그들은 그저 실수로
잘못된 일을 시킨 것이죠.
잘못된 일을 시킨 것이죠.
08:58
And this happens all the time with AI.
167
526653
2895
AI에게 이런 일은 항상 일어납니다.
09:02
AI can be really destructive
and not know it.
and not know it.
168
530120
3591
AI는 아주 해로운 일을 하는 와중에,
해롭다는 것을 모를 수 있습니다.
해롭다는 것을 모를 수 있습니다.
09:05
So the AIs that recommend
new content in Facebook, in YouTube,
new content in Facebook, in YouTube,
169
533735
5078
페이스북, 유튜브에서
새로운 콘텐츠를 추천해주는 AI들은
새로운 콘텐츠를 추천해주는 AI들은
09:10
they're optimized to increase
the number of clicks and views.
the number of clicks and views.
170
538837
3539
클릭 수와 조회 수를 늘리도록
최적화되어 있습니다.
최적화되어 있습니다.
09:14
And unfortunately, one way
that they have found of doing this
that they have found of doing this
171
542400
3436
그리고 불행하게도, 그들이 찾은 방법은
09:17
is to recommend the content
of conspiracy theories or bigotry.
of conspiracy theories or bigotry.
172
545860
4503
음모론이나 심한 편견이 있는
콘텐츠를 추천하는 것입니다.
콘텐츠를 추천하는 것입니다.
09:22
The AIs themselves don't have any concept
of what this content actually is,
of what this content actually is,
173
550902
5302
AI들 자체에는 이 콘텐츠들이 실제로
무엇인지에 대한 개념이 없습니다.
무엇인지에 대한 개념이 없습니다.
09:28
and they don't have any concept
of what the consequences might be
of what the consequences might be
174
556228
3395
그리고 그들은 결과가 어떨 것인지에
대한 개념도 없습니다.
대한 개념도 없습니다.
09:31
of recommending this content.
175
559647
2109
이러한 콘텐츠를 추천해줌으로써
발생될 결과요.
발생될 결과요.
09:34
So, when we're working with AI,
176
562296
2011
그래서 우리가 AI와 일할 때,
09:36
it's up to us to avoid problems.
177
564331
4182
문제들을 피하는 것은
우리에게 달려있습니다.
우리에게 달려있습니다.
09:40
And avoiding things going wrong,
178
568537
2323
일들이 잘못되는 것을 피하는 것은,
09:42
that may come down to
the age-old problem of communication,
the age-old problem of communication,
179
570884
4526
아주 오래된 소통의 문제로 이어집니다.
09:47
where we as humans have to learn
how to communicate with AI.
how to communicate with AI.
180
575434
3745
인간인 우리가 AI와 소통하는
방법을 배워야하는 거죠.
방법을 배워야하는 거죠.
09:51
We have to learn what AI
is capable of doing and what it's not,
is capable of doing and what it's not,
181
579203
4039
AI가 할 수 있는 일과 없는 일이
무엇인지 알아야 합니다.
무엇인지 알아야 합니다.
09:55
and to understand that,
with its tiny little worm brain,
with its tiny little worm brain,
182
583266
3086
또한 AI는 그 조그만 지렁이같은 뇌로
09:58
AI doesn't really understand
what we're trying to ask it to do.
what we're trying to ask it to do.
183
586376
4013
우리가 어떤 것을 요청하려고 하는지
이해하지 못한다는 것을 알아야합니다.
이해하지 못한다는 것을 알아야합니다.
10:03
So in other words, we have
to be prepared to work with AI
to be prepared to work with AI
184
591148
3321
다시 말해, 우리는 준비해야 합니다.
10:06
that's not the super-competent,
all-knowing AI of science fiction.
all-knowing AI of science fiction.
185
594493
5258
우리가 사용할 AI는 공상과학에나 있는
전지전능한 AI가 아닙니다.
전지전능한 AI가 아닙니다.
10:11
We have to prepared to work with an AI
186
599775
2862
현재 우리가 실제로 갖고 있는 AI와
함께 일하도록 준비해야 합니다.
함께 일하도록 준비해야 합니다.
10:14
that's the one that we actually have
in the present day.
in the present day.
187
602661
2938
10:17
And present-day AI is plenty weird enough.
188
605623
4205
그리고 오늘날의 AI는
대단히 이상합니다.
대단히 이상합니다.
10:21
Thank you.
189
609852
1190
감사합니다.
10:23
(Applause)
190
611066
5225
(박수)
ABOUT THE SPEAKER
Janelle Shane - AI researcherWhile moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.
Why you should listen
Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.
According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.
Janelle Shane | Speaker | TED.com