TEDGlobal>NYC
Zeynep Tufekci: We're building a dystopia just to make people click on ads
제이넵 투펙치(Zeynep Tufekci): 광고를 팔기 위해 우리는 지옥을 만들고 있습니다
Filmed:
Readability: 4.8
2,866,905 views
우리는 단 한번의 클릭을 통해 인공지능의 지옥을 만들어 간다고 기술 사회학자 제이넵
투펙치가 말하고 있다. 우리를 깨우치는 강연을 통해 페이스북, 구글 그리고 아마존과 같은 기업이 동일한 알고리듬을 사용해 광고를 클릭하게 하고 사용자의 정치나 사회적 정보를 쉽게 접근하고 있다. 우리는 어떻게 권력이 인공지능을 사용해 우리를 지배하는지 설명하고 대응해야 하는지를 전달하고 있다
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So when people voice fears
of artificial intelligence,
of artificial intelligence,
0
760
3536
우리가 인공지능에 대해
걱정을 할 때마다
걱정을 할 때마다
00:16
very often, they invoke images
of humanoid robots run amok.
of humanoid robots run amok.
1
4320
3976
종종 통제불능의 인간처럼 생긴
로봇이 생각납니다.
로봇이 생각납니다.
00:20
You know? Terminator?
2
8320
1240
터미네이터 생각하시나요?
00:22
You know, that might be
something to consider,
something to consider,
3
10400
2336
전혀 가능성이 없다고는 할수 없습니다만
00:24
but that's a distant threat.
4
12760
1856
아직은 먼 미래의
이야기라 할 수 있습니다.
이야기라 할 수 있습니다.
00:26
Or, we fret about digital surveillance
5
14640
3456
과거 비유법으로 처음 등장한
00:30
with metaphors from the past.
6
18120
1776
디지털 감시시스템에 대해
우려가 큽니다.
우려가 큽니다.
00:31
"1984," George Orwell's "1984,"
7
19920
2656
"1984" 조지 오웰의 "1984"
00:34
it's hitting the bestseller lists again.
8
22600
2280
요즘 다시 베스터 셀러가 되고 있습니다.
00:37
It's a great book,
9
25960
1416
대단한 책이죠.
00:39
but it's not the correct dystopia
for the 21st century.
for the 21st century.
10
27400
3880
하지만, 21세기가 지향하는
세상은 아닌 것은 사실입니다.
세상은 아닌 것은 사실입니다.
00:44
What we need to fear most
11
32080
1416
우리가 여기서 가장 두려워해야 할 것은
00:45
is not what artificial intelligence
will do to us on its own,
will do to us on its own,
12
33520
4776
인공지능이 스스로 힘으로
어떤 일을 할 수 있을까가 아닌
어떤 일을 할 수 있을까가 아닌
권력자들이 인공지능을
어떻게 사용할 것인가입니다.
어떻게 사용할 것인가입니다.
00:50
but how the people in power
will use artificial intelligence
will use artificial intelligence
13
38320
4736
00:55
to control us and to manipulate us
14
43080
2816
소설처럼
00:57
in novel, sometimes hidden,
15
45920
3136
보이지 않은 곳에서
01:01
subtle and unexpected ways.
16
49080
3016
느끼지 못하지만 교묘한 방법으로
우리를 통제하고 조종하려 할 것입니다.
우리를 통제하고 조종하려 할 것입니다.
01:04
Much of the technology
17
52120
1856
그러한 기술 대부분은
01:06
that threatens our freedom
and our dignity in the near-term future
and our dignity in the near-term future
18
54000
4336
미래에 우리의 자유와
존엄성을 침해할 수 있지만
존엄성을 침해할 수 있지만
01:10
is being developed by companies
19
58360
1856
많은 기업이 뛰어들고 있습니다.
01:12
in the business of capturing
and selling our data and our attention
and selling our data and our attention
20
60240
4936
광고주와 우리 관심사를 모아
판매하는 회사들이 시스템을 개발하고 있습니다.
판매하는 회사들이 시스템을 개발하고 있습니다.
01:17
to advertisers and others:
21
65200
2256
예를 들어, 페이스북, 구글, 아마존
01:19
Facebook, Google, Amazon,
22
67480
3416
알리바바, 텐센트등이 있습니다.
01:22
Alibaba, Tencent.
23
70920
1880
현재, 인공지능 영역은 기업의 성장에
이바지를 하고 있습니다.
이바지를 하고 있습니다.
01:26
Now, artificial intelligence has started
bolstering their business as well.
bolstering their business as well.
24
74040
5496
그리고 인공지능이
01:31
And it may seem
like artificial intelligence
like artificial intelligence
25
79560
2096
01:33
is just the next thing after online ads.
26
81680
2856
온라인 인터넷 광고의 대체재로
여겨지기도 합니다만
실은 완전히 다른 영역의 기술이고
01:36
It's not.
27
84560
1216
01:37
It's a jump in category.
28
85800
2456
기존의 기술 범주를
뛰어넘는 분야입니다.
뛰어넘는 분야입니다.
01:40
It's a whole different world,
29
88280
2576
새로운 기술인 셈이죠.
01:42
and it has great potential.
30
90880
2616
굉장한 잠재능력을 갖추고
우리 인간의 연구와 실험의
이해속도를 가속할 수도 있습니다.
이해속도를 가속할 수도 있습니다.
01:45
It could accelerate our understanding
of many areas of study and research.
of many areas of study and research.
31
93520
6920
01:53
But to paraphrase
a famous Hollywood philosopher,
a famous Hollywood philosopher,
32
101120
3496
하지만 한 유명한 할리우드
철학자의 말을 조금 인용해 말씀드리면
철학자의 말을 조금 인용해 말씀드리면
01:56
"With prodigious potential
comes prodigious risk."
comes prodigious risk."
33
104640
3640
"천재적인 잠재능력은
천재적인 위험도를 수반한다."
천재적인 위험도를 수반한다."
02:01
Now let's look at a basic fact
of our digital lives, online ads.
of our digital lives, online ads.
34
109120
3936
현재 우리의 디지털 기술 세상인
인터넷 광고의 기본을 살펴보겠습니다.
인터넷 광고의 기본을 살펴보겠습니다.
02:05
Right? We kind of dismiss them.
35
113080
2896
우리는 광고를 거의 보지 않습니다.
02:08
They seem crude, ineffective.
36
116000
1976
성의도 없고, 비효율적인
매체라고 생각하는 듯합니다.
매체라고 생각하는 듯합니다.
02:10
We've all had the experience
of being followed on the web
of being followed on the web
37
118000
4256
인터넷을 하다 보면 광고가
계속 따라다니는 현상을 발견합니다.
계속 따라다니는 현상을 발견합니다.
02:14
by an ad based on something
we searched or read.
we searched or read.
38
122280
2776
우리가 한번 찾았거나 읽었던 사이트의
광고에서 나온 광고가 원인입니다.
광고에서 나온 광고가 원인입니다.
02:17
You know, you look up a pair of boots
39
125080
1856
예를 들어, 부츠를 살려고 찾았는데
02:18
and for a week, those boots are following
you around everywhere you go.
you around everywhere you go.
40
126960
3376
일주일 동안, 그 부츠가 내가 어디를
검색하든 내 주변을 어슬렁거립니다.
검색하든 내 주변을 어슬렁거립니다.
02:22
Even after you succumb and buy them,
they're still following you around.
they're still following you around.
41
130360
3656
심지어는, 부츠를 구매한 사람들에게도
접착제처럼 붙어서 따라다닙니다.
접착제처럼 붙어서 따라다닙니다.
02:26
We're kind of inured to that kind
of basic, cheap manipulation.
of basic, cheap manipulation.
42
134040
3016
우리도 이런 싸구려 술책에 단련이
되어가고 있는 현실입니다.
되어가고 있는 현실입니다.
02:29
We roll our eyes and we think,
"You know what? These things don't work."
"You know what? These things don't work."
43
137080
3400
우리는 눈동자를 굴리면서 생각하죠
"설마 이런 기술이 있을까" 합니다.
"설마 이런 기술이 있을까" 합니다.
02:33
Except, online,
44
141720
2096
그러나 온라인세상에서는
안 되는 것이 없죠.
안 되는 것이 없죠.
02:35
the digital technologies are not just ads.
45
143840
3600
디지털 기술은 단순한 광고만
존재하는 공간이 아닙니다.
존재하는 공간이 아닙니다.
02:40
Now, to understand that,
let's think of a physical world example.
let's think of a physical world example.
46
148240
3120
우리는 이것을 이해하기 위해서
물리적 세상을 이해해야 합니다.
물리적 세상을 이해해야 합니다.
02:43
You know how, at the checkout counters
at supermarkets, near the cashier,
at supermarkets, near the cashier,
47
151840
4656
아시다시피, 슈퍼 계산대 앞
계산원 바로 옆을 생각해 보세요.
계산원 바로 옆을 생각해 보세요.
02:48
there's candy and gum
at the eye level of kids?
at the eye level of kids?
48
156520
3480
사탕과 껌 종류가 아이들
눈높이에 맞게 전시되어 있을 겁니다.
눈높이에 맞게 전시되어 있을 겁니다.
02:52
That's designed to make them
whine at their parents
whine at their parents
49
160800
3496
아이들이 부모님에게 사 달라고
조르라는 마케팅 방법의 하나죠.
조르라는 마케팅 방법의 하나죠.
02:56
just as the parents
are about to sort of check out.
are about to sort of check out.
50
164320
3080
부모님들이 계산대에서 바쁠 때
조르면 다 사 주는 심리를 이용합니다.
조르면 다 사 주는 심리를 이용합니다.
03:00
Now, that's a persuasion architecture.
51
168040
2640
설득 구조 메커니즘입니다.
03:03
It's not nice, but it kind of works.
52
171160
3096
아이들 심리를 이용해서 돈을 벌지만
그래도 꽤 효과적입니다.
그래도 꽤 효과적입니다.
03:06
That's why you see it
in every supermarket.
in every supermarket.
53
174280
2040
그래서 근처 슈퍼에 가시면 다 이렇게
껌과 사탕류를 전시해 놓고 있습니다.
껌과 사탕류를 전시해 놓고 있습니다.
03:08
Now, in the physical world,
54
176720
1696
물리적 세계를 한번 생각해 보겠습니다.
03:10
such persuasion architectures
are kind of limited,
are kind of limited,
55
178440
2496
이러한 설득구조의 효과는
제한적입니다.
제한적입니다.
03:12
because you can only put
so many things by the cashier. Right?
so many things by the cashier. Right?
56
180960
4816
왜냐하면 그 많은 물건을
계산원 옆에 쌓아만 둘 겁니다.
계산원 옆에 쌓아만 둘 겁니다.
03:17
And the candy and gum,
it's the same for everyone,
it's the same for everyone,
57
185800
4296
그리고 사탕이나 껌, 이것들은
다 똑같은 하나의 물건일 뿐입니다.
다 똑같은 하나의 물건일 뿐입니다.
03:22
even though it mostly works
58
190120
1456
효과를 가지는 대상은
03:23
only for people who have
whiny little humans beside them.
whiny little humans beside them.
59
191600
4040
꼬맹이를 둔 부모님에게
한정될 뿐이기 때문입니다.
한정될 뿐이기 때문입니다.
03:29
In the physical world,
we live with those limitations.
we live with those limitations.
60
197160
3920
물질적 세계에서는 한계를 가진
불완전한 세상을 살고 있습니다.
불완전한 세상을 살고 있습니다.
03:34
In the digital world, though,
61
202280
1936
하지만 디지털 세상에서는
03:36
persuasion architectures
can be built at the scale of billions
can be built at the scale of billions
62
204240
4320
수십억 개의 규모로 이루어진 설득구조가
03:41
and they can target, infer, understand
63
209840
3856
목표를 설정하고, 추론하고, 학습합니다.
03:45
and be deployed at individuals
64
213720
2896
그리고 각 개체에 집중해
03:48
one by one
65
216640
1216
하나 하나씩
03:49
by figuring out your weaknesses,
66
217880
2136
그들의 약점을 파악하고
03:52
and they can be sent
to everyone's phone private screen,
to everyone's phone private screen,
67
220040
5616
결과를 사람들의 휴대전화에 전송합니다.
03:57
so it's not visible to us.
68
225680
2256
우리에게 보이지 않습니다.
03:59
And that's different.
69
227960
1256
바로, 그것이 다른 점입니다.
04:01
And that's just one of the basic things
that artificial intelligence can do.
that artificial intelligence can do.
70
229240
3576
인공지능의 기본적인 기능 중
하나일 뿐입니다.
하나일 뿐입니다.
04:04
Now, let's take an example.
71
232840
1336
예를 한번 보시겠습니다.
여러분이 라스 베가스로 가는 표를 팔고
싶은 때가 있다고 하겠습니다.
싶은 때가 있다고 하겠습니다.
04:06
Let's say you want to sell
plane tickets to Vegas. Right?
plane tickets to Vegas. Right?
72
234200
2696
04:08
So in the old world, you could think
of some demographics to target
of some demographics to target
73
236920
3496
예전에는 목표 집단을 먼저
선정하셔야 했습니다.
선정하셔야 했습니다.
04:12
based on experience
and what you can guess.
and what you can guess.
74
240440
2520
경험이나 여러분들이 추론해서
낸 결과를 기초로 해서 말이죠.
낸 결과를 기초로 해서 말이죠.
04:15
You might try to advertise to, oh,
75
243560
2816
그리고 광고를 합니다.
04:18
men between the ages of 25 and 35,
76
246400
2496
나이는 25세에서
35세 사이의 남성이거나
35세 사이의 남성이거나
04:20
or people who have
a high limit on their credit card,
a high limit on their credit card,
77
248920
3936
아니면, 신용카드 한도가 높은
사람들을 대상으로 하거나 말입니다.
사람들을 대상으로 하거나 말입니다.
04:24
or retired couples. Right?
78
252880
1376
또는, 퇴직하는 분들을
목표로 할 수 있습니다.
목표로 할 수 있습니다.
04:26
That's what you would do in the past.
79
254280
1816
과거에는 그런 식으로 일을 했습니다만
04:28
With big data and machine learning,
80
256120
2896
현재는 빅데이타와 기계학습의 영향으로
04:31
that's not how it works anymore.
81
259040
1524
그렇게 일을 하지 않습니다.
04:33
So to imagine that,
82
261320
2176
머릿속에 큰 그림을 한번 그려보시죠.
04:35
think of all the data
that Facebook has on you:
that Facebook has on you:
83
263520
3856
페이스북이 가지고 있을 여러분들의
자료의 양을 상상해 보십시오.
자료의 양을 상상해 보십시오.
04:39
every status update you ever typed,
84
267400
2536
여러분들의 입력한 모두 상태표시
04:41
every Messenger conversation,
85
269960
2016
메신저 대화 내용
04:44
every place you logged in from,
86
272000
1880
로그인했던 모든 장소
04:48
all your photographs
that you uploaded there.
that you uploaded there.
87
276400
3176
올린 모든사진들을 가지고 있습니다.
04:51
If you start typing something
and change your mind and delete it,
and change your mind and delete it,
88
279600
3776
만약 입력하다가
마음이 바뀌어 삭제한다 해도
마음이 바뀌어 삭제한다 해도
04:55
Facebook keeps those
and analyzes them, too.
and analyzes them, too.
89
283400
3200
페이스북은 그 자료를
보관하고 분석합니다.
보관하고 분석합니다.
04:59
Increasingly, it tries
to match you with your offline data.
to match you with your offline data.
90
287160
3936
점점 페이스북은 온라인의 여러분과
오프라인의 여러분을 일치시킬 겁니다.
오프라인의 여러분을 일치시킬 겁니다.
05:03
It also purchases
a lot of data from data brokers.
a lot of data from data brokers.
91
291120
3176
또, 데이터 중개상에게서
많은 정보를 사들이고 있습니다.
많은 정보를 사들이고 있습니다.
05:06
It could be everything
from your financial records
from your financial records
92
294320
3416
그 자료는 금융정보에서부터
05:09
to a good chunk of your browsing history.
93
297760
2120
검색 파편 덩어리에 이르기까지
다양한 것이 포함됩니다.
다양한 것이 포함됩니다.
05:12
Right? In the US,
such data is routinely collected,
such data is routinely collected,
94
300360
5416
미국에서만 그런 자료는
일상적으로 수집되고 있습니다.
일상적으로 수집되고 있습니다.
05:17
collated and sold.
95
305800
1960
그런 자료를 모아 팔아서 돈을 법니다.
05:20
In Europe, they have tougher rules.
96
308320
2440
유럽에서는 좀 더 엄격한 법을
적용하고 있습니다.
적용하고 있습니다.
05:23
So what happens then is,
97
311680
2200
그럼 실제로 여기서
05:26
by churning through all that data,
these machine-learning algorithms --
these machine-learning algorithms --
98
314920
4016
축적한 데이터를 한데 섞어버리는
기계 학습 알고리즘이 일어납니다.
기계 학습 알고리즘이 일어납니다.
05:30
that's why they're called
learning algorithms --
learning algorithms --
99
318960
2896
우리가 학습알고리즘이라
부르는 이유가 여기에 있습니다.
부르는 이유가 여기에 있습니다.
사람들의 특징을
분석하기 위해 학습하거나
분석하기 위해 학습하거나
05:33
they learn to understand
the characteristics of people
the characteristics of people
100
321880
4096
예를 들어 베가스 행 비행기 표를
구매한 사람들을 분석하는 거죠.
구매한 사람들을 분석하는 거죠.
05:38
who purchased tickets to Vegas before.
101
326000
2520
05:41
When they learn this from existing data,
102
329760
3536
일단 기존의 자료로부터 학습이 되면
05:45
they also learn
how to apply this to new people.
how to apply this to new people.
103
333320
3816
새로운 고객에게 적용할 수 있는
방법을 학습하게 됩니다.
방법을 학습하게 됩니다.
05:49
So if they're presented with a new person,
104
337160
3056
그렇다면 만약 새로운 학습자료가
새로운 사람에게 전달됐을 때
새로운 사람에게 전달됐을 때
05:52
they can classify whether that person
is likely to buy a ticket to Vegas or not.
is likely to buy a ticket to Vegas or not.
105
340240
4640
그 사람은 라스 베가스행 표를 구매할
가능성에 따라 분류가 됩니다.
가능성에 따라 분류가 됩니다.
05:57
Fine. You're thinking,
an offer to buy tickets to Vegas.
an offer to buy tickets to Vegas.
106
345720
5456
예를 들어, 여러분들은 라스 베가스행
비행기 표를 제안받았다고 해보죠.
비행기 표를 제안받았다고 해보죠.
06:03
I can ignore that.
107
351200
1456
나는 그 제안을 무시할 수도 있습니다.
06:04
But the problem isn't that.
108
352680
2216
하지만 그것이 문제가 아닙니다.
06:06
The problem is,
109
354920
1576
문제는
06:08
we no longer really understand
how these complex algorithms work.
how these complex algorithms work.
110
356520
4136
이런 복잡한 알고리즘이 어떻게
일을 하는가를 모른다는 것입니다.
일을 하는가를 모른다는 것입니다.
06:12
We don't understand
how they're doing this categorization.
how they're doing this categorization.
111
360680
3456
알고리즘의 분류체계에 관해
우리가 아는 것이 없습니다.
우리가 아는 것이 없습니다.
06:16
It's giant matrices,
thousands of rows and columns,
thousands of rows and columns,
112
364160
4416
엄청난 행과 열의 수로
이루어져 있습니다.
이루어져 있습니다.
06:20
maybe millions of rows and columns,
113
368600
1960
아마도 수백만 행과 열로
짜여 있을 수도 있겠죠.
짜여 있을 수도 있겠죠.
06:23
and not the programmers
114
371320
2640
프로그래머도
06:26
and not anybody who looks at it,
115
374760
1680
알고리즘을 보는 사람들도 모릅니다.
06:29
even if you have all the data,
116
377440
1496
비록 여러분들이 그 모든
데이터를 가지고 있어도
데이터를 가지고 있어도
06:30
understands anymore
how exactly it's operating
how exactly it's operating
117
378960
4616
어떻게 그 데이터를 운용해야 하는지
정확한 이해가 불가능하다는 점과
정확한 이해가 불가능하다는 점과
06:35
any more than you'd know
what I was thinking right now
what I was thinking right now
118
383600
3776
여기 서 있는 제 생각을 여러분들은
추측하시는 이상의 정보는 알 수 없습니다.
추측하시는 이상의 정보는 알 수 없습니다.
06:39
if you were shown
a cross section of my brain.
a cross section of my brain.
119
387400
3960
만약 제 뇌의 단면을
보신다 해도 말이죠.
보신다 해도 말이죠.
06:44
It's like we're not programming anymore,
120
392360
2576
마치 프로그래밍이
불가능한 것과 같습니다.
불가능한 것과 같습니다.
06:46
we're growing intelligence
that we don't truly understand.
that we don't truly understand.
121
394960
4400
우리는 실제로 이해할 수 없는
지능을 생성하고 있습니다.
지능을 생성하고 있습니다.
06:52
And these things only work
if there's an enormous amount of data,
if there's an enormous amount of data,
122
400520
3976
이 모든 것들은 실제로 엄청난 데이터가
있을 때만 사용 가능할 겁니다.
있을 때만 사용 가능할 겁니다.
06:56
so they also encourage
deep surveillance on all of us
deep surveillance on all of us
123
404520
5096
그래서 그들은 우리의
일거수 일투족을 감시하게 됩니다.
일거수 일투족을 감시하게 됩니다.
07:01
so that the machine learning
algorithms can work.
algorithms can work.
124
409640
2336
기계학습 알고리즘을
사용하기 위해서입니다.
사용하기 위해서입니다.
07:04
That's why Facebook wants
to collect all the data it can about you.
to collect all the data it can about you.
125
412000
3176
페이스북은 여러분들에 대한
데이터를 최대한 많이 모으고 있습니다.
데이터를 최대한 많이 모으고 있습니다.
07:07
The algorithms work better.
126
415200
1576
자료가 많을수록
알고리즘의 효율은 높아집니다.
알고리즘의 효율은 높아집니다.
07:08
So let's push that Vegas example a bit.
127
416800
2696
아까 베가스의 예를
좀 더 발전시켜 보겠습니다.
좀 더 발전시켜 보겠습니다.
07:11
What if the system
that we do not understand
that we do not understand
128
419520
3680
만약 우리가 모르는 시스템이
아직 조울증을 앓는 소비자들에게
아직 조울증을 앓는 소비자들에게
07:16
was picking up that it's easier
to sell Vegas tickets
to sell Vegas tickets
129
424200
5136
베가스 행 비행기 표를 판매하는 경우
07:21
to people who are bipolar
and about to enter the manic phase.
and about to enter the manic phase.
130
429360
3760
더 효율성이 높아진다면 어떻게 될까요?
07:25
Such people tend to become
overspenders, compulsive gamblers.
overspenders, compulsive gamblers.
131
433640
4920
그런 사람들은 과소비 경향이 있고
충동구매를 할 가능성이 큽니다.
충동구매를 할 가능성이 큽니다.
07:31
They could do this, and you'd have no clue
that's what they were picking up on.
that's what they were picking up on.
132
439280
4456
그들이 구매를 한다 해도, 우리는
그 구매이유를 알 수는 없습니다.
그 구매이유를 알 수는 없습니다.
07:35
I gave this example
to a bunch of computer scientists once
to a bunch of computer scientists once
133
443760
3616
나는 이런 예를 많은 컴퓨터
전문가들에게 몇 번 보냈는데
전문가들에게 몇 번 보냈는데
07:39
and afterwards, one of them came up to me.
134
447400
2056
그들 중 한 명이 나에게 와서
07:41
He was troubled and he said,
"That's why I couldn't publish it."
"That's why I couldn't publish it."
135
449480
3520
난감해하면서 근거가 부족해
출판을 할 수가 없다고 말하더군요.
출판을 할 수가 없다고 말하더군요.
07:45
I was like, "Couldn't publish what?"
136
453600
1715
나는 무엇을 출판할 수 없는지
되물어야 했습니다.
되물어야 했습니다.
07:47
He had tried to see whether you can indeed
figure out the onset of mania
figure out the onset of mania
137
455800
5856
그 전문가는 조울증의 시작이
병리학적 증상 이전에
병리학적 증상 이전에
07:53
from social media posts
before clinical symptoms,
before clinical symptoms,
138
461680
3216
소셜 미디어 게시물이 원인이라는
점을 밝히고자 노력했으며
점을 밝히고자 노력했으며
07:56
and it had worked,
139
464920
1776
결국, 밝혀냈습니다.
07:58
and it had worked very well,
140
466720
2056
이 전부터 밝혀졌던 사안입니다.
08:00
and he had no idea how it worked
or what it was picking up on.
or what it was picking up on.
141
468800
4880
그런데, 어떻게 일을 수행하고
무엇을 선택하는가에 대한 이유는 몰랐습니다.
무엇을 선택하는가에 대한 이유는 몰랐습니다.
08:06
Now, the problem isn't solved
if he doesn't publish it,
if he doesn't publish it,
142
474840
4416
출판하지 않아도
해결될 문제는 아닙니다.
해결될 문제는 아닙니다.
08:11
because there are already companies
143
479280
1896
왜냐하면 이런 종류의 기술을 개발 중인
08:13
that are developing
this kind of technology,
this kind of technology,
144
481200
2536
회사들이 있고
08:15
and a lot of the stuff
is just off the shelf.
is just off the shelf.
145
483760
2800
현재 많은 것들이 판매되고 있습니다.
08:19
This is not very difficult anymore.
146
487240
2576
더는 불가능한 일이 아닙니다.
08:21
Do you ever go on YouTube
meaning to watch one video
meaning to watch one video
147
489840
3456
비디오를 하나 보기 위해
유튜브에 들어갔다가
유튜브에 들어갔다가
08:25
and an hour later you've watched 27?
148
493320
2360
한 시간 후에 27개의
영상을 본 적이 있으신가요?
영상을 본 적이 있으신가요?
08:28
You know how YouTube
has this column on the right
has this column on the right
149
496760
2496
여러분들은 왜 유튜브가 오른편에
08:31
that says, "Up next"
150
499280
2216
'다음 순서' 라고 있고 무엇인가가
08:33
and it autoplays something?
151
501520
1816
연속 재생되는 사실을 잘 알고 계시죠?
08:35
It's an algorithm
152
503360
1216
그것이 여러분들이 관심은 있지만
08:36
picking what it thinks
that you might be interested in
that you might be interested in
153
504600
3616
스스로 찾을 수 없다고 판단되는 것들을
08:40
and maybe not find on your own.
154
508240
1536
찾아내는 알고리즘입니다.
08:41
It's not a human editor.
155
509800
1256
인간 편집자가 아닙니다.
08:43
It's what algorithms do.
156
511080
1416
바로 알고리즘이 수행합니다.
08:44
It picks up on what you have watched
and what people like you have watched,
and what people like you have watched,
157
512520
4736
알고리듬은 여러분들이 이미 보셨거나
보신 것 중에서 좋아하는 것을 선별해
보신 것 중에서 좋아하는 것을 선별해
08:49
and infers that that must be
what you're interested in,
what you're interested in,
158
517280
4216
그런 종류에 관심을 가진다거나
08:53
what you want more of,
159
521520
1255
더 원한다고 추론한 후
08:54
and just shows you more.
160
522799
1336
여러분들에게 더 많은 것을 보여줍니다.
08:56
It sounds like a benign
and useful feature,
and useful feature,
161
524159
2201
그렇지 않은 경우를 제외하고는
08:59
except when it isn't.
162
527280
1200
무척 매력적이고
유용한 장치처럼 들립니다.
유용한 장치처럼 들립니다.
09:01
So in 2016, I attended rallies
of then-candidate Donald Trump
of then-candidate Donald Trump
163
529640
6960
저는 2016년 당시 대통령 후보였던
도널드 트럼프 대통령을 지지하는
도널드 트럼프 대통령을 지지하는
09:09
to study as a scholar
the movement supporting him.
the movement supporting him.
164
537840
3336
대선 캠페인에 참여했습니다.
09:13
I study social movements,
so I was studying it, too.
so I was studying it, too.
165
541200
3456
많은 운동에 참여했고
연구 중이었습니다.
연구 중이었습니다.
09:16
And then I wanted to write something
about one of his rallies,
about one of his rallies,
166
544680
3336
그 후 나는 트럼프 지지운동에 관한
논문을 쓰고 싶었습니다.
논문을 쓰고 싶었습니다.
09:20
so I watched it a few times on YouTube.
167
548040
1960
유튜브를 통해서도 많이 봤습니다.
09:23
YouTube started recommending to me
168
551240
3096
그 후, 유튜브에서 많은
추천 영상이 올라오더군요.
추천 영상이 올라오더군요.
09:26
and autoplaying to me
white supremacist videos
white supremacist videos
169
554360
4256
많은 백인 우월론자들의
영상이 자동재생되었고요.
영상이 자동재생되었고요.
강도의 순서대로 나열되더군요.
09:30
in increasing order of extremism.
170
558640
2656
09:33
If I watched one,
171
561320
1816
만약 내가 그중 하나를 보게 되면
09:35
it served up one even more extreme
172
563160
2976
그 하나의 영상은 꼬리를 물고
엄청난 양으로 늘어나면서
엄청난 양으로 늘어나면서
09:38
and autoplayed that one, too.
173
566160
1424
자동 재생이 됩니다.
09:40
If you watch Hillary Clinton
or Bernie Sanders content,
or Bernie Sanders content,
174
568320
4536
만약 여러분들이 힐러리 클린턴이나
버니 샌더스의 영상을 보신다면
버니 샌더스의 영상을 보신다면
09:44
YouTube recommends
and autoplays conspiracy left,
and autoplays conspiracy left,
175
572880
4696
유튜브는 여러분에게 관련 정보를
추천하고 남아있는 음모론을 틀어줄 겁니다.
추천하고 남아있는 음모론을 틀어줄 겁니다.
09:49
and it goes downhill from there.
176
577600
1760
가히 엄청난 양의 영상을 추천합니다.
09:52
Well, you might be thinking,
this is politics, but it's not.
this is politics, but it's not.
177
580480
3056
아마 여러분들은 정치를
떠올리시겠지만, 그렇지 않습니다.
떠올리시겠지만, 그렇지 않습니다.
정치 이야기가 아닙니다.
09:55
This isn't about politics.
178
583560
1256
09:56
This is just the algorithm
figuring out human behavior.
figuring out human behavior.
179
584840
3096
인간의 행동을 파악하는
알고리듬의 이야기입니다.
알고리듬의 이야기입니다.
09:59
I once watched a video
about vegetarianism on YouTube
about vegetarianism on YouTube
180
587960
4776
한번은 채식주의에 대한
영상을 유튜브로 봤습니다.
영상을 유튜브로 봤습니다.
10:04
and YouTube recommended
and autoplayed a video about being vegan.
and autoplayed a video about being vegan.
181
592760
4936
채식주의자에 관한 영상을
추천하고 자동 재생을 했습니다.
추천하고 자동 재생을 했습니다.
10:09
It's like you're never
hardcore enough for YouTube.
hardcore enough for YouTube.
182
597720
3016
유튜브는 여러분을
철저한 채식주의자로 분석한 겁니다.
철저한 채식주의자로 분석한 겁니다.
10:12
(Laughter)
183
600760
1576
(웃음)
10:14
So what's going on?
184
602360
1560
도대체 어떤 일이 일어나고 있을까요?
10:16
Now, YouTube's algorithm is proprietary,
185
604520
3536
유튜브의 알고리즘은 전매특허이지만
10:20
but here's what I think is going on.
186
608080
2360
저는 유튜브의 알고리즘
원리를 말하고 있을 뿐입니다.
원리를 말하고 있을 뿐입니다.
10:23
The algorithm has figured out
187
611360
2096
유튜브의 알고리즘은
10:25
that if you can entice people
188
613480
3696
만약, 방문객에게
더 자극적인 것을 보여줄 수 있다는
더 자극적인 것을 보여줄 수 있다는
10:29
into thinking that you can
show them something more hardcore,
show them something more hardcore,
189
617200
3736
사고를 유도할 수만 있다면
10:32
they're more likely to stay on the site
190
620960
2416
더 오래 유튜브에
머무를 것이라고 분석합니다.
머무를 것이라고 분석합니다.
10:35
watching video after video
going down that rabbit hole
going down that rabbit hole
191
623400
4416
이상한 나라의 앨리스처럼
끝없는 영상의 나라로 들어가게 되고
끝없는 영상의 나라로 들어가게 되고
10:39
while Google serves them ads.
192
627840
1680
구글은 이들 영상에
광고를 노출하게 됩니다.
광고를 노출하게 됩니다.
10:43
Now, with nobody minding
the ethics of the store,
the ethics of the store,
193
631760
3120
아무도 유튜브의 상도덕을
신경 쓰지 않는 가운데
신경 쓰지 않는 가운데
10:47
these sites can profile people
194
635720
4240
유튜브는 사람들을 분석할 수 있습니다.
10:53
who are Jew haters,
195
641680
1920
유대인 증오자들
10:56
who think that Jews are parasites
196
644360
2480
유대인들은 기생충이라고 여기는 사람들
11:00
and who have such explicit
anti-Semitic content,
anti-Semitic content,
197
648320
4920
그리고, 노골적인 반유대주의 영상물을
가진 사람들을 가려내고
가진 사람들을 가려내고
11:06
and let you target them with ads.
198
654080
2000
많은 사람에게 그 영상물에
광고를 실어 전파시킵니다.
광고를 실어 전파시킵니다.
11:09
They can also mobilize algorithms
199
657200
3536
구글은 알고리즘을
퍼뜨릴 수도 있습니다.
퍼뜨릴 수도 있습니다.
11:12
to find for you look-alike audiences,
200
660760
3136
여러분과 비슷한
사람들을 찾아내기 위해서죠.
사람들을 찾아내기 위해서죠.
11:15
people who do not have such explicit
anti-Semitic content on their profile
anti-Semitic content on their profile
201
663920
5576
프로필에 반유대적인
영상물이 없는 사람들이지만
영상물이 없는 사람들이지만
11:21
but who the algorithm detects
may be susceptible to such messages,
may be susceptible to such messages,
202
669520
6176
알고리듬이 감지한 사람은
그런 메시지에 취약하게 됩니다.
그런 메시지에 취약하게 됩니다.
11:27
and lets you target them with ads, too.
203
675720
1920
그리고 여러분들의 광고의
희생물로 사용하게 됩니다.
희생물로 사용하게 됩니다.
11:30
Now, this may sound
like an implausible example,
like an implausible example,
204
678680
2736
믿기 어려운 말로
들릴 수도 있을텐데요.
들릴 수도 있을텐데요.
11:33
but this is real.
205
681440
1320
그러나 이것은 사실입니다.
11:35
ProPublica investigated this
206
683480
2136
프로프로비카가 이것을 조사했고
11:37
and found that you can indeed
do this on Facebook,
do this on Facebook,
207
685640
3616
여러분들이 실제로 페이스북에서
광고를 하신다는 것을 발견했습니다.
광고를 하신다는 것을 발견했습니다.
11:41
and Facebook helpfully
offered up suggestions
offered up suggestions
208
689280
2416
그리고 페이스북은
가능성 있는 제안을 하고 있습니다.
가능성 있는 제안을 하고 있습니다.
11:43
on how to broaden that audience.
209
691720
1600
팔로워 수를
늘리는 방법 등을 제시하죠.
늘리는 방법 등을 제시하죠.
11:46
BuzzFeed tried it for Google,
and very quickly they found,
and very quickly they found,
210
694720
3016
버즈피드는 구글에 이것을 시험해 보고
바로 파악을 할 수 있었습니다.
바로 파악을 할 수 있었습니다.
11:49
yep, you can do it on Google, too.
211
697760
1736
네, 여러분들도 하실 수 있습니다.
11:51
And it wasn't even expensive.
212
699520
1696
비용도 비싸지 않았습니다.
11:53
The ProPublica reporter
spent about 30 dollars
spent about 30 dollars
213
701240
4416
프로프로비카의 한 기자가
약 30달러를 사용해서
약 30달러를 사용해서
11:57
to target this category.
214
705680
2240
이 알고리즘을 이용해 봤습니다.
12:02
So last year, Donald Trump's
social media manager disclosed
social media manager disclosed
215
710600
5296
그리고, 작년에 도널드 트럼프 대통령
소셜미디어 매니저가 폭로했는데요.
소셜미디어 매니저가 폭로했는데요.
12:07
that they were using Facebook dark posts
to demobilize people,
to demobilize people,
216
715920
5336
트럼프 진영이 페이스북의 어둠의
게시판을 운영해 사람들을 묶어두고
게시판을 운영해 사람들을 묶어두고
12:13
not to persuade them,
217
721280
1376
외부인은 그들을 설득 못하게 하고
12:14
but to convince them not to vote at all.
218
722680
2800
투표하지 말 것을 설득했다고 합니다.
12:18
And to do that,
they targeted specifically,
they targeted specifically,
219
726520
3576
그 일을 수행하기 위해, 그 미디어팀은
구체적으로 필라델피아와 같은
구체적으로 필라델피아와 같은
12:22
for example, African-American men
in key cities like Philadelphia,
in key cities like Philadelphia,
220
730120
3896
대도시에 거주하는 흑인계층을
목표로 삼아 활동했습니다.
목표로 삼아 활동했습니다.
12:26
and I'm going to read
exactly what he said.
exactly what he said.
221
734040
2456
지금부터 사실을 폭로한 그 사람의
진술을 그대로 읽어 보겠습니다.
진술을 그대로 읽어 보겠습니다.
12:28
I'm quoting.
222
736520
1216
그대로 인용하겠습니다.
12:29
They were using "nonpublic posts
223
737760
3016
"미디어팀은 선거팀이 보기를 통제하는
12:32
whose viewership the campaign controls
224
740800
2176
비공개 게시판을 사용했습니다.
12:35
so that only the people
we want to see it see it.
we want to see it see it.
225
743000
3776
우리가 그것을 보고 싶어 하는
사람들만 볼 수 있도록 관리했습니다."
사람들만 볼 수 있도록 관리했습니다."
12:38
We modeled this.
226
746800
1216
우리는 이것을 따라 해 봤습니다.
12:40
It will dramatically affect her ability
to turn these people out."
to turn these people out."
227
748040
4720
이 기술은 사람들을 조종할 수 있는
그녀의 능력에 엄청나게 영향을 미쳤습니다.
그녀의 능력에 엄청나게 영향을 미쳤습니다.
12:45
What's in those dark posts?
228
753720
2280
암흑의 게시판에는 무엇이 있었을까요?
12:48
We have no idea.
229
756480
1656
우리는 잘 알지 못합니다.
12:50
Facebook won't tell us.
230
758160
1200
페이스북이 우리에게
말해주지 않을 겁니다.
말해주지 않을 겁니다.
12:52
So Facebook also algorithmically
arranges the posts
arranges the posts
231
760480
4376
그래서 페이스북은
게시판을 여러분의 친구가
게시판을 여러분의 친구가
12:56
that your friends put on Facebook,
or the pages you follow.
or the pages you follow.
232
764880
3736
올리는 게시물이나 당신이 팔로워 하는
페이지를 알고리즘화해서 배열하고 있습니다.
페이지를 알고리즘화해서 배열하고 있습니다.
13:00
It doesn't show you
everything chronologically.
everything chronologically.
233
768640
2216
모든 자료를 시간순으로
보여주지 않습니다.
보여주지 않습니다.
13:02
It puts the order in the way
that the algorithm thinks will entice you
that the algorithm thinks will entice you
234
770880
4816
페이스북은 그 알고리듬이 파악한 후
여러분을 더 오래 사이트에 머무르게
여러분을 더 오래 사이트에 머무르게
13:07
to stay on the site longer.
235
775720
1840
방법을 사용해
게시물의 순서를 정합니다.
게시물의 순서를 정합니다.
13:11
Now, so this has a lot of consequences.
236
779040
3376
현재, 많은 결과를 만들고 있습니다.
13:14
You may be thinking
somebody is snubbing you on Facebook.
somebody is snubbing you on Facebook.
237
782440
3800
여러분이 누군가 페이스북에서 당신을
거부하고 있다고 생각할 수도 있습니다.
거부하고 있다고 생각할 수도 있습니다.
13:18
The algorithm may never
be showing your post to them.
be showing your post to them.
238
786800
3256
그 알고리듬은 아마도 그들에게 당신의
게시물을 보여주지 않을 수 있습니다.
게시물을 보여주지 않을 수 있습니다.
13:22
The algorithm is prioritizing
some of them and burying the others.
some of them and burying the others.
239
790080
5960
우선순위를 정하고
나머지는 묻어 버립니다.
나머지는 묻어 버립니다.
13:29
Experiments show
240
797320
1296
연구에 따르면
13:30
that what the algorithm picks to show you
can affect your emotions.
can affect your emotions.
241
798640
4520
알고리즘이 여러분에게 보여줄 자료는
여러분에게 영향을 줄 수 있습니다.
여러분에게 영향을 줄 수 있습니다.
13:36
But that's not all.
242
804600
1200
그러나, 그것이 전부가 아닙니다.
13:38
It also affects political behavior.
243
806280
2360
알고리듬은 정치적 행동에도
영향을 미칠 수 있습니다.
영향을 미칠 수 있습니다.
13:41
So in 2010, in the midterm elections,
244
809360
4656
2010년 중간 선거에서
13:46
Facebook did an experiment
on 61 million people in the US
on 61 million people in the US
245
814040
5896
페이스북은 미국에서 6천 백만 명에게
13:51
that was disclosed after the fact.
246
819960
1896
선거 후에야 발표한 실험을 했습니다.
13:53
So some people were shown,
"Today is election day,"
"Today is election day,"
247
821880
3416
사람들에게 "오늘은 선거일입니다"
라는 글을 보여 주었습니다.
라는 글을 보여 주었습니다.
13:57
the simpler one,
248
825320
1376
정말 간단한 실험이었습니다.
13:58
and some people were shown
the one with that tiny tweak
the one with that tiny tweak
249
826720
3896
어떤 사람들에게는
14:02
with those little thumbnails
250
830640
2096
"투표했어요"버튼에
14:04
of your friends who clicked on "I voted."
251
832760
2840
미세한 조정을 했습니다.
14:09
This simple tweak.
252
837000
1400
아주 간단한 조작이었습니다.
14:11
OK? So the pictures were the only change,
253
839520
4296
그림만 바꾸었습니다.
14:15
and that post shown just once
254
843840
3256
한번만 보여진 그 게시물은
14:19
turned out an additional 340,000 voters
255
847120
6056
그 선거에서 추가로 34만 명을
14:25
in that election,
256
853200
1696
투표하게 만들었습니다.
14:26
according to this research
257
854920
1696
그 실험에서 밝혀진 사실이고
14:28
as confirmed by the voter rolls.
258
856640
2520
유권자 명부에서 확인된 사실입니다.
14:32
A fluke? No.
259
860920
1656
우연의 일치라고요? 그렇지 않습니다.
14:34
Because in 2012,
they repeated the same experiment.
they repeated the same experiment.
260
862600
5360
2012년에 다시
실험을 했기 때문입니다.
실험을 했기 때문입니다.
14:40
And that time,
261
868840
1736
그때는
14:42
that civic message shown just once
262
870600
3296
단 한 번 노출된 공공 회보가
14:45
turned out an additional 270,000 voters.
263
873920
4440
추가로 27만 명의
투표를 만들었습니다.
투표를 만들었습니다.
14:51
For reference, the 2016
US presidential election
US presidential election
264
879160
5216
참고로, 2016년 미국 대선의 결과는
14:56
was decided by about 100,000 votes.
265
884400
3520
약 10만명 차이로 승패가 갈렸습니다.
15:01
Now, Facebook can also
very easily infer what your politics are,
very easily infer what your politics are,
266
889360
4736
현재, 페이스북은 여러분의
정치관도 아주 쉽게 추론할 수 있습니다.
정치관도 아주 쉽게 추론할 수 있습니다.
15:06
even if you've never
disclosed them on the site.
disclosed them on the site.
267
894120
2256
심지어, 한 번도 그런 게시물을
올린 적이 없는데도 말입니다.
올린 적이 없는데도 말입니다.
15:08
Right? These algorithms
can do that quite easily.
can do that quite easily.
268
896400
2520
알고리즘은 그런 일을
꽤 쉽게 수행합니다.
꽤 쉽게 수행합니다.
15:11
What if a platform with that kind of power
269
899960
3896
만약, 그런 힘을 가진
네트워크가 한 후보자를
네트워크가 한 후보자를
15:15
decides to turn out supporters
of one candidate over the other?
of one candidate over the other?
270
903880
5040
선호하는 더 많은 지지자를
만든다면 어떻게 될까요?
만든다면 어떻게 될까요?
15:21
How would we even know about it?
271
909680
2440
우리가 어떻게 그 일을
알 수가 있을까요?
알 수가 있을까요?
15:25
Now, we started from someplace
seemingly innocuous --
seemingly innocuous --
272
913560
4136
우리는 겉보기에는 피해를
주지 않는 한 사이트의
주지 않는 한 사이트의
15:29
online adds following us around --
273
917720
2216
따라 다니는 광고부터
15:31
and we've landed someplace else.
274
919960
1840
다른 사이트까지 이야기하고 있습니다.
15:35
As a public and as citizens,
275
923480
2456
국민이자 시민으로서
15:37
we no longer know
if we're seeing the same information
if we're seeing the same information
276
925960
3416
우리는 다른 사람과
같은 내용의 정보를 보고 있는지
같은 내용의 정보를 보고 있는지
15:41
or what anybody else is seeing,
277
929400
1480
또 다른 이들이 어떤 것을 보는지
더는 알 수가 없게 되고
더는 알 수가 없게 되고
15:43
and without a common basis of information,
278
931680
2576
정보가 가지는 공통 원칙이
15:46
little by little,
279
934280
1616
조금씩 상실된다면
15:47
public debate is becoming impossible,
280
935920
3216
공공의 논쟁은 불가능하게 됩니다.
15:51
and we're just at
the beginning stages of this.
the beginning stages of this.
281
939160
2976
우리는 현재
그 직전의 단계에 있습니다.
그 직전의 단계에 있습니다.
15:54
These algorithms can quite easily infer
282
942160
3456
그러한 알고리즘은 아주 쉽게
15:57
things like your people's ethnicity,
283
945640
3256
여러분의 민족
16:00
religious and political views,
personality traits,
personality traits,
284
948920
2336
종교, 정치적 성향, 개인적 특징
16:03
intelligence, happiness,
use of addictive substances,
use of addictive substances,
285
951280
3376
지능, 행복, 약물 사용
16:06
parental separation, age and genders,
286
954680
3136
부모의 이혼 여부, 성별등을
16:09
just from Facebook likes.
287
957840
1960
페이스북 좋아요 만에서도
알 수가 있습니다.
알 수가 있습니다.
16:13
These algorithms can identify protesters
288
961440
4056
이러한 알고리듬은 시위자들의
정체를 분별할 수 있는데
정체를 분별할 수 있는데
16:17
even if their faces
are partially concealed.
are partially concealed.
289
965520
2760
비록 얼굴을 부분적으로
가린다 해도 알 수가 있습니다.
가린다 해도 알 수가 있습니다.
16:21
These algorithms may be able
to detect people's sexual orientation
to detect people's sexual orientation
290
969720
6616
또한, 데이트 프로필 정보만
가지고도 사람들의 성적 취향을
가지고도 사람들의 성적 취향을
16:28
just from their dating profile pictures.
291
976360
3200
판단할 수 있습니다.
16:33
Now, these are probabilistic guesses,
292
981560
2616
이 모든 것들은 확률적 추론으로
16:36
so they're not going
to be 100 percent right,
to be 100 percent right,
293
984200
2896
100% 일치하지 않습니다
16:39
but I don't see the powerful resisting
the temptation to use these technologies
the temptation to use these technologies
294
987120
4896
하지만 저는 일부 불일치 조건이
존재한다는 이유만으로 이 기술의
존재한다는 이유만으로 이 기술의
16:44
just because there are
some false positives,
some false positives,
295
992040
2176
사용을 꺼리는 그 어떤 개인이나
집단을 보지 못했습니다.
집단을 보지 못했습니다.
16:46
which will of course create
a whole other layer of problems.
a whole other layer of problems.
296
994240
3256
물론, 이 오류가 다층 구조의
문제들을 야기할 수 있어도 말입니다.
문제들을 야기할 수 있어도 말입니다.
16:49
Imagine what a state can do
297
997520
2936
만약, 한 주가 자신들의 시민들에
대한 엄청난 정보를 가지고
대한 엄청난 정보를 가지고
16:52
with the immense amount of data
it has on its citizens.
it has on its citizens.
298
1000480
3560
어떤 일을 할 수 있을까요?
16:56
China is already using
face detection technology
face detection technology
299
1004680
4776
중국은 이미 안면 인식 기술을 사용해
17:01
to identify and arrest people.
300
1009480
2880
사람들의 신분 파악, 체포 등에
이용하고 있습니다.
이용하고 있습니다.
17:05
And here's the tragedy:
301
1013280
2136
바로 이것이 비극입니다.
17:07
we're building this infrastructure
of surveillance authoritarianism
of surveillance authoritarianism
302
1015440
5536
우리는 지금 단순히 사람들이
광고를 클릭하게 할려고
광고를 클릭하게 할려고
17:13
merely to get people to click on ads.
303
1021000
2960
이런 무시무시한 감시 독재국가의
시스템을 만들고 있습니다.
시스템을 만들고 있습니다.
17:17
And this won't be
Orwell's authoritarianism.
Orwell's authoritarianism.
304
1025240
2576
절대 소설 속의 이야기가 아닙니다.
17:19
This isn't "1984."
305
1027839
1897
현실의 "1984"입니다.
17:21
Now, if authoritarianism
is using overt fear to terrorize us,
is using overt fear to terrorize us,
306
1029760
4576
만약, 독재국가가 우리를 억압하기
위해 부당한 위협을 사용하고 있다면
위해 부당한 위협을 사용하고 있다면
17:26
we'll all be scared, but we'll know it,
307
1034359
2897
우리는 겁을 먹겠지만 알 수가 있어
17:29
we'll hate it and we'll resist it.
308
1037280
2200
증오하고 저항할 것입니다.
17:32
But if the people in power
are using these algorithms
are using these algorithms
309
1040880
4416
하지만 권력자들이
이런 알고리즘을 사용해
이런 알고리즘을 사용해
17:37
to quietly watch us,
310
1045319
3377
조용히 우리를 감시하고
17:40
to judge us and to nudge us,
311
1048720
2080
판단하거나, 조정하고
17:43
to predict and identify
the troublemakers and the rebels,
the troublemakers and the rebels,
312
1051720
4176
문제를 일으킬 수 있는 사람들을
예상한 뒤 정체를 파악할 수 있는
예상한 뒤 정체를 파악할 수 있는
17:47
to deploy persuasion
architectures at scale
architectures at scale
313
1055920
3896
엄청난 규모의 회유 아키텍트를
구축하는 일이 가능해집니다.
구축하는 일이 가능해집니다.
17:51
and to manipulate individuals one by one
314
1059840
4136
또한, 개인의 약점이나
17:56
using their personal, individual
weaknesses and vulnerabilities,
weaknesses and vulnerabilities,
315
1064000
5440
취약한 곳을 파악해서
조정할 수도 있습니다.
조정할 수도 있습니다.
18:02
and if they're doing it at scale
316
1070720
2200
또한, 만약 권력자들이
이러한 시스템을 이용해
이러한 시스템을 이용해
18:06
through our private screens
317
1074080
1736
개인에 대한 검열을 한다면
18:07
so that we don't even know
318
1075840
1656
그 결과는
18:09
what our fellow citizens
and neighbors are seeing,
and neighbors are seeing,
319
1077520
2760
우리 국민이나 이웃들의
현실을 우리는 모를 수도 있습니다.
현실을 우리는 모를 수도 있습니다.
18:13
that authoritarianism
will envelop us like a spider's web
will envelop us like a spider's web
320
1081560
4816
그 독재주의는 마치
거미줄처럼 우리을 묶어서
거미줄처럼 우리을 묶어서
18:18
and we may not even know we're in it.
321
1086400
2480
우리가 그 안에 묶여있다는
사실도 모르게 할 수 있습니다.
사실도 모르게 할 수 있습니다.
18:22
So Facebook's market capitalization
322
1090440
2936
페이스북의 현재 시가총액은
18:25
is approaching half a trillion dollars.
323
1093400
3296
5천억 달러에 육박하고 있습니다.
18:28
It's because it works great
as a persuasion architecture.
as a persuasion architecture.
324
1096720
3120
왜냐하면, 페이스북은 회유구조로
작동을 하고 있기 때문입니다.
작동을 하고 있기 때문입니다.
18:33
But the structure of that architecture
325
1101760
2816
그러나 이러한 아키텍트는
18:36
is the same whether you're selling shoes
326
1104600
3216
여러분들이 신발을 팔고 있는지
18:39
or whether you're selling politics.
327
1107840
2496
아니면 정치를 팔고 있는지
구분을 못 한다는 것입니다.
구분을 못 한다는 것입니다.
18:42
The algorithms do not know the difference.
328
1110360
3120
결국, 그 알고리듬은 본질적인
차이는 구분할 수 없습니다.
차이는 구분할 수 없습니다.
18:46
The same algorithms set loose upon us
329
1114240
3296
이 같은 구조의 알고리듬은 우리의
숨통을 열어주는 기능으로 작용해
숨통을 열어주는 기능으로 작용해
18:49
to make us more pliable for ads
330
1117560
3176
우리가 광고에 대해 대처하도록 하고
18:52
are also organizing our political,
personal and social information flows,
personal and social information flows,
331
1120760
6736
정치적, 개인적, 사회적 정보의
흐름을 구성하게 합니다.
흐름을 구성하게 합니다.
18:59
and that's what's got to change.
332
1127520
1840
바로 그것이 변해야 합니다.
19:02
Now, don't get me wrong,
333
1130240
2296
하지만 너무 나쁘게만
생각하지 마시기 바랍니다.
생각하지 마시기 바랍니다.
19:04
we use digital platforms
because they provide us with great value.
because they provide us with great value.
334
1132560
3680
우리가 디지털 플랫폼을 사용하는 이유는
그들이 엄청난 가치를 제공하기 때문입니다.
그들이 엄청난 가치를 제공하기 때문입니다.
19:09
I use Facebook to keep in touch
with friends and family around the world.
with friends and family around the world.
335
1137120
3560
나는 전 세계 친구들이나 가족들과
연락하기 위해서 페이스북을 사용하고 있습니다.
연락하기 위해서 페이스북을 사용하고 있습니다.
19:14
I've written about how crucial
social media is for social movements.
social media is for social movements.
336
1142000
5776
소셜미디어가 사회운동에 얼마나
중요한가에 대한 논문을 쓰기도 했습니다.
중요한가에 대한 논문을 쓰기도 했습니다.
19:19
I have studied how
these technologies can be used
these technologies can be used
337
1147800
3016
저는 전 세계의 검열을 피할 수 있는
방법을 찾고자 이 소셜미디어의
방법을 찾고자 이 소셜미디어의
19:22
to circumvent censorship around the world.
338
1150840
2480
기술을 적용하는 연구를 하고 있습니다.
19:27
But it's not that the people who run,
you know, Facebook or Google
you know, Facebook or Google
339
1155280
6416
그러나 구글이나 페이스북의 운영자들은
19:33
are maliciously and deliberately trying
340
1161720
2696
악의적이며 의도적으로
19:36
to make the country
or the world more polarized
or the world more polarized
341
1164440
4456
우리나라나 세계를 양분시키고
19:40
and encourage extremism.
342
1168920
1680
극단주의를 부추기고 있습니다.
19:43
I read the many
well-intentioned statements
well-intentioned statements
343
1171440
3976
저는 이 기업들이 발표한
그럴듯하게 말로 수식된
그럴듯하게 말로 수식된
19:47
that these people put out.
344
1175440
3320
수많은 성명서를 읽었습니다.
19:51
But it's not the intent or the statements
people in technology make that matter,
people in technology make that matter,
345
1179600
6056
그러나 그자들이 만들고 있는 것은
단순한 성명서나 의도 따위가 아닌
단순한 성명서나 의도 따위가 아닌
19:57
it's the structures
and business models they're building.
and business models they're building.
346
1185680
3560
구조들이며 기업용 상품입니다.
20:02
And that's the core of the problem.
347
1190360
2096
문제의 핵심은 여기에 있습니다.
20:04
Either Facebook is a giant con
of half a trillion dollars
of half a trillion dollars
348
1192480
4720
페이스북은 5천억 달러에
달하는 거대기업이지만
달하는 거대기업이지만
20:10
and ads don't work on the site,
349
1198200
1896
광고는 싣지 않습니다.
20:12
it doesn't work
as a persuasion architecture,
as a persuasion architecture,
350
1200120
2696
또한, 설득 구조로 운영되지 않지만
20:14
or its power of influence
is of great concern.
is of great concern.
351
1202840
4120
영향력은 큰 기업입니다.
20:20
It's either one or the other.
352
1208560
1776
어느 쪽이든 해당합니다.
20:22
It's similar for Google, too.
353
1210360
1600
구글도 마찬가지 입니다.
20:24
So what can we do?
354
1212880
2456
그렇다면 우리는
무엇을 할 수 있을까요?
무엇을 할 수 있을까요?
20:27
This needs to change.
355
1215360
1936
변화시켜야 합니다.
20:29
Now, I can't offer a simple recipe,
356
1217320
2576
현재, 간단한 방법은 아닙니다.
20:31
because we need to restructure
357
1219920
2256
왜냐하면 우리는
디지털 기술이 작동하는
전체 구조를 다시 짜야 하기 때문입니다.
전체 구조를 다시 짜야 하기 때문입니다.
20:34
the whole way our
digital technology operates.
digital technology operates.
358
1222200
3016
20:37
Everything from the way
technology is developed
technology is developed
359
1225240
4096
기술의 발전부터
20:41
to the way the incentives,
economic and otherwise,
economic and otherwise,
360
1229360
3856
성과보수나 경제가 생성되는 방법들 모두가
20:45
are built into the system.
361
1233240
2280
하나의 시스템으로 발전 했습니다.
20:48
We have to face and try to deal with
362
1236480
3456
우리가 대면하고 해야 할 일은
20:51
the lack of transparency
created by the proprietary algorithms,
created by the proprietary algorithms,
363
1239960
4656
전매특허의 알고리듬에 의한
투명성의 결여와
투명성의 결여와
20:56
the structural challenge
of machine learning's opacity,
of machine learning's opacity,
364
1244640
3816
기계 학습의 불투명성에 대한
구조적 도전이며
구조적 도전이며
21:00
all this indiscriminate data
that's being collected about us.
that's being collected about us.
365
1248480
3400
이 모든 무차별적인 정보 수집에
대항하는 것입니다.
대항하는 것입니다.
21:05
We have a big task in front of us.
366
1253000
2520
우리 앞에는 큰 과제가 있습니다.
21:08
We have to mobilize our technology,
367
1256160
2680
변화해야 할것은 기술이고
21:11
our creativity
368
1259760
1576
창의성이고
21:13
and yes, our politics
369
1261360
1880
정치입니다
21:16
so that we can build
artificial intelligence
artificial intelligence
370
1264240
2656
우리가 만드는 인공지능은
21:18
that supports us in our human goals
371
1266920
3120
인간의 목적 속에 우리를 지지하지만
21:22
but that is also constrained
by our human values.
by our human values.
372
1270800
3920
인간의 가치에 제약합니다.
21:27
And I understand this won't be easy.
373
1275600
2160
그 일은 쉽지 않을 것입니다.
21:30
We might not even easily agree
on what those terms mean.
on what those terms mean.
374
1278360
3600
이런 말들이 의미하는 이유에
쉽게 동의하지 못할 수 있습니다.
쉽게 동의하지 못할 수 있습니다.
21:34
But if we take seriously
375
1282920
2400
하지만 만약 심각하게
21:38
how these systems that we
depend on for so much operate,
depend on for so much operate,
376
1286240
5976
우리가 의지하고 있는 시스템이
어떻게 일을 하는지 생각해 본다면
어떻게 일을 하는지 생각해 본다면
21:44
I don't see how we can postpone
this conversation anymore.
this conversation anymore.
377
1292240
4120
저는 왜 우리가 이런 대화를
피하려 하는지 이해할 수 없습니다.
피하려 하는지 이해할 수 없습니다.
21:49
These structures
378
1297200
2536
그러한 구조들은
21:51
are organizing how we function
379
1299760
4096
우리의 기능을 조직화시키고
21:55
and they're controlling
380
1303880
2296
통제를 합니다.
21:58
what we can and we cannot do.
381
1306200
2616
우리가 할 수 있는 것과
할 수 없는 것들을 구분합니다.
할 수 없는 것들을 구분합니다.
22:00
And many of these ad-financed platforms,
382
1308840
2456
그리고 광고를 위주로
운영되는 많은 플랫폼들은
운영되는 많은 플랫폼들은
22:03
they boast that they're free.
383
1311320
1576
그들은 무료임을 내세우고 있습니다.
22:04
In this context, it means
that we are the product that's being sold.
that we are the product that's being sold.
384
1312920
4560
이런 맥락에서, 우리는 팔리고 있는
상품이라는 말과 다르지 않습니다.
상품이라는 말과 다르지 않습니다.
22:10
We need a digital economy
385
1318840
2736
우리는 디지털 기술이 필요하지만
22:13
where our data and our attention
386
1321600
3496
우리의 자료와 관심이
22:17
is not for sale to the highest-bidding
authoritarian or demagogue.
authoritarian or demagogue.
387
1325120
5080
가장 돈을 많이 거는 사업가나
사람들에게 거래가 되지 않은 세상을 꿈꿉니다.
사람들에게 거래가 되지 않은 세상을 꿈꿉니다.
22:23
(Applause)
388
1331160
3800
(박수)
22:30
So to go back to
that Hollywood paraphrase,
that Hollywood paraphrase,
389
1338480
3256
다시 할리우드에서 유행하는 말을
바꿔서 인용하겠습니다.
바꿔서 인용하겠습니다.
22:33
we do want the prodigious potential
390
1341760
3736
"엄청난 잠재능력을 가진
22:37
of artificial intelligence
and digital technology to blossom,
and digital technology to blossom,
391
1345520
3200
인공지능이나 디지털 기술이
꽃 피기를 기대리지만
꽃 피기를 기대리지만
22:41
but for that, we must face
this prodigious menace,
this prodigious menace,
392
1349400
4936
그 일을 위해선, 우리는 엄청난
위험에 맞서야 하고
위험에 맞서야 하고
22:46
open-eyed and now.
393
1354360
1936
눈을 크게 떠야 한다."
22:48
Thank you.
394
1356320
1216
감사합니다.
22:49
(Applause)
395
1357560
4640
(박수)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com