TEDSummit 2019
Danielle Citron: How deepfakes undermine truth and threaten democracy
다니엘 시트론(Danielle Citron): 진실을 해치고 민주주의를 위협하는 딥페이크
Filmed:
Readability: 5
1,533,743 views
딥페이크 기술을 이용하여 영상과 음성 파일을 조작하는 것은, 그것이 폭력을 유도하기 위해서든 정치인과 기자들의 명예를 훼손시키기 위해서든, 실제로 위협을 끼치고 있습니다. 이 도구들이 더욱 접근하기 쉬워지고 결과물이 점점 실제와 비슷해지고 있는 와중, 딥페이크는 우리의 세상에 대한 관점을 어떻게 바꿀까요? 이 강연에서 법학 교수 다니엘 시트론은 딥페이크가 우리의 불신을 증폭시킨다는 사실을 밝힙니다. 또, 진실을 지켜내기 위한 여러 해결책들을 제시합니다.
Danielle Citron - Law professor, deepfake scholar
Danielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice. Full bio
Danielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice. Full bio
Double-click the English transcript below to play the video.
00:12
[This talk contains mature content]
0
535
2767
[본 강연에 성인용 내용이
포함되어 있음]
포함되어 있음]
00:17
Rana Ayyub is a journalist in India
1
5762
2992
라나 아이윱은 인도의 언론인으로,
00:20
whose work has exposed
government corruption
government corruption
2
8778
2602
정부의 부정부패와
00:24
and human rights violations.
3
12411
2157
인권침해를 폭로해왔습니다.
00:26
And over the years,
4
14990
1167
그리고 그녀는 수년간,
00:28
she's gotten used to vitriol
and controversy around her work.
and controversy around her work.
5
16181
3303
자신의 보도를 둘러싼 논쟁과
독설에 익숙해졌죠.
독설에 익숙해졌죠.
00:32
But none of it could have prepared her
for what she faced in April 2018.
for what she faced in April 2018.
6
20149
5109
하지만 그 어떤 것도 2018년 4월
그녀가 마주한 것과 비할 수 없었습니다.
그녀가 마주한 것과 비할 수 없었습니다.
00:38
She was sitting in a café with a friend
when she first saw it:
when she first saw it:
7
26125
3651
그녀가 친구와 카페에 있다가
00:41
a two-minute, 20-second video
of her engaged in a sex act.
of her engaged in a sex act.
8
29800
4943
자신이 나오는 2분 20초짜리
성관계 영상을 본 것입니다.
성관계 영상을 본 것입니다.
00:47
And she couldn't believe her eyes.
9
35188
2349
그녀는 자신의 눈을
믿을 수가 없었습니다.
믿을 수가 없었습니다.
00:49
She had never made a sex video.
10
37561
2273
성관계 영상을 촬영한 적이
없었으니까요.
없었으니까요.
00:52
But unfortunately, thousands
upon thousands of people
upon thousands of people
11
40506
3465
하지만 불행히도, 영상을 본
수천 명의 사람들이
수천 명의 사람들이
00:55
would believe it was her.
12
43995
1666
그녀라고 믿었겠죠.
00:58
I interviewed Ms. Ayyub
about three months ago,
about three months ago,
13
46673
2944
저는 약 3개월 전에
성적 사생활에 대한 제 책과 관련해
성적 사생활에 대한 제 책과 관련해
01:01
in connection with my book
on sexual privacy.
on sexual privacy.
14
49641
2504
아이윱 씨를 인터뷰했습니다.
01:04
I'm a law professor, lawyer
and civil rights advocate.
and civil rights advocate.
15
52681
3198
저는 법학 교수이며, 변호사이자
시민권 옹호자입니다.
시민권 옹호자입니다.
01:08
So it's incredibly frustrating
knowing that right now,
knowing that right now,
16
56204
4611
지금 당장 그녀를 돕기 위해
법적으로 할 수 있는 일이
법적으로 할 수 있는 일이
01:12
law could do very little to help her.
17
60839
2238
많지 않다는 것이
정말 답답할 따름이에요.
정말 답답할 따름이에요.
01:15
And as we talked,
18
63458
1547
이야기 중 그녀는
01:17
she explained that she should have seen
the fake sex video coming.
the fake sex video coming.
19
65029
4512
가짜 성관계 영상이 떠돌 것을
진작 알아차렸어야 했다고 말했죠.
진작 알아차렸어야 했다고 말했죠.
01:22
She said, "After all, sex is so often used
to demean and to shame women,
to demean and to shame women,
20
70038
5596
그리고 종종 섹스가 여성을 비하하고
망신시키기 위해 악용된다고 했죠.
망신시키기 위해 악용된다고 했죠.
01:27
especially minority women,
21
75658
2428
특히 소수 여성, 그리고
01:30
and especially minority women
who dare to challenge powerful men,"
who dare to challenge powerful men,"
22
78110
4312
그 여성들이 권력 있는 남자들에게
맞서는 경우에는 더욱이 그렇다고요.
맞서는 경우에는 더욱이 그렇다고요.
01:34
as she had in her work.
23
82446
1533
아이윱 씨가 그랬던 것처럼요.
01:37
The fake sex video went viral in 48 hours.
24
85191
3976
가짜 성관계 영상은 48시간 만에
인터넷에 퍼졌습니다.
인터넷에 퍼졌습니다.
01:42
All of her online accounts were flooded
with screenshots of the video,
with screenshots of the video,
25
90064
5307
그녀의 온라인 계정은 온통 영상의
스크린샷, 적나라한 강간 장면과
스크린샷, 적나라한 강간 장면과
01:47
with graphic rape and death threats
26
95395
2627
살인 협박, 그리고
그녀의 이슬람 신앙을
그녀의 이슬람 신앙을
01:50
and with slurs about her Muslim faith.
27
98046
2533
비방하는 말들로 도배되었습니다.
01:53
Online posts suggested that
she was "available" for sex.
she was "available" for sex.
28
101426
4564
온라인 게시물들은 그녀가 "헤픈"
여자라는 의미를 내포했죠.
여자라는 의미를 내포했죠.
01:58
And she was doxed,
29
106014
1610
그녀는 해킹을 당했습니다.
01:59
which means that her home address
and her cell phone number
and her cell phone number
30
107648
2778
그녀의 집 주소와 전화 번호까지
02:02
were spread across the internet.
31
110450
1746
인터넷에 퍼졌습니다.
02:04
The video was shared
more than 40,000 times.
more than 40,000 times.
32
112879
4084
영상은 4만 회 이상 공유되었습니다.
02:09
Now, when someone is targeted
with this kind of cybermob attack,
with this kind of cybermob attack,
33
117760
3936
누군가가 이러한 사이버 공격의
대상이 된다면
대상이 된다면
02:13
the harm is profound.
34
121720
2063
그 피해는 심각합니다.
02:16
Rana Ayyub's life was turned upside down.
35
124482
3039
라나 아이윱의 인생은
송두리채 뒤바뀌었습니다.
송두리채 뒤바뀌었습니다.
02:20
For weeks, she could hardly eat or speak.
36
128211
3334
몇 주 동안 그녀는 거의 먹지도,
말하지도 못했습니다.
말하지도 못했습니다.
02:23
She stopped writing and closed
all of her social media accounts,
all of her social media accounts,
37
131919
3689
글 쓰는 것을 멈추고
모든 소셜 미디어 계정을 폐쇄했죠.
모든 소셜 미디어 계정을 폐쇄했죠.
02:27
which is, you know, a tough thing to do
when you're a journalist.
when you're a journalist.
38
135632
3158
저널리스트로서
정말 힘든 일이었을 거예요.
정말 힘든 일이었을 거예요.
02:31
And she was afraid to go outside
her family's home.
her family's home.
39
139188
3484
그녀는 부모님의 집을
벗어나는 것이 두려웠습니다.
벗어나는 것이 두려웠습니다.
02:34
What if the posters
made good on their threats?
made good on their threats?
40
142696
3022
만약 게시물대로 위협이 생기면요?
02:38
The UN Council on Human Rights
confirmed that she wasn't being crazy.
confirmed that she wasn't being crazy.
41
146395
4365
유엔 인권 위원회는 그녀의 걱정이
과민 반응이 아니라고 결론지었습니다.
과민 반응이 아니라고 결론지었습니다.
02:42
It issued a public statement saying
that they were worried about her safety.
that they were worried about her safety.
42
150784
4637
위원회는 그녀의 안전이 걱정된다는
공식 성명서를 발표하였습니다.
공식 성명서를 발표하였습니다.
02:48
What Rana Ayyub faced was a deepfake:
43
156776
4229
라나 아이윱이 본 것은
딥 페이크(deepfake)였습니다.
딥 페이크(deepfake)였습니다.
02:53
machine-learning technology
44
161029
2540
딥 페이크는
머신 러닝 기술의 일종으로,
머신 러닝 기술의 일종으로,
02:55
that manipulates or fabricates
audio and video recordings
audio and video recordings
45
163593
4111
사람이 등장하는
영상과 음성파일을 조작해
영상과 음성파일을 조작해
02:59
to show people doing and saying things
46
167728
2723
실제로 하지 않은 말이나 행동이
03:02
that they never did or said.
47
170475
1866
이루어진 것처럼 보여주는 기술입니다.
03:04
Deepfakes appear authentic
and realistic, but they're not;
and realistic, but they're not;
48
172807
3361
딥페이크는 실제처럼 보이지만,
실상은 그렇지 않습니다.
실상은 그렇지 않습니다.
03:08
they're total falsehoods.
49
176192
1772
완전한 가짜인 것이죠.
03:11
Although the technology
is still developing in its sophistication,
is still developing in its sophistication,
50
179228
3794
아직 이 기술은 발달 단계이지만,
03:15
it is widely available.
51
183046
1614
많은 사람들이
사용할 수 있는 상태입니다.
사용할 수 있는 상태입니다.
03:17
Now, the most recent attention
to deepfakes arose,
to deepfakes arose,
52
185371
3072
온라인상의 많은 것들이 그러듯이,
03:20
as so many things do online,
53
188467
2161
딥페이크는 포르노그래피와 관련한
03:22
with pornography.
54
190652
1255
관심을 많이 받게 되었습니다.
03:24
In early 2018,
55
192498
2111
2018년 초에,
03:26
someone posted a tool on Reddit
56
194633
2468
어떤 사람이 레딧(Reddit)에
03:29
to allow users to insert faces
into porn videos.
into porn videos.
57
197125
4412
포르노 비디오에 얼굴을 삽입할 수
있도록 하는 도구를 올렸습니다.
있도록 하는 도구를 올렸습니다.
03:33
And what followed was a cascade
of fake porn videos
of fake porn videos
58
201561
3440
그 후, 각자가 가장 좋아하는
여성 연예인을 합성한
여성 연예인을 합성한
03:37
featuring people's favorite
female celebrities.
female celebrities.
59
205025
2797
가짜 포르노 영상들이
인터넷을 휩쓸게 되었죠.
인터넷을 휩쓸게 되었죠.
03:40
And today, you can go on YouTube
and pull up countless tutorials
and pull up countless tutorials
60
208712
3477
오늘날, 유튜브에 검색하면
데스크톱을 사용한
데스크톱을 사용한
03:44
with step-by-step instructions
61
212213
2286
딥페이크 영상을 만드는 방법이
03:46
on how to make a deepfake
on your desktop application.
on your desktop application.
62
214523
3163
단계별로 설명되어 있는
튜토리얼이 정말 많습니다.
튜토리얼이 정말 많습니다.
03:50
And soon we may be even able
to make them on our cell phones.
to make them on our cell phones.
63
218260
3706
곧, 휴대폰으로 만들 수
있을지도 모릅니다.
있을지도 모릅니다.
03:55
Now, it's the interaction
of some of our most basic human frailties
of some of our most basic human frailties
64
223072
5382
인간의 약점과 네트워크 도구의
04:00
and network tools
65
228478
1682
상호작용이
04:02
that can turn deepfakes into weapons.
66
230184
2666
딥페이크를 무기로 만들 수
있는 것입니다.
있는 것입니다.
04:04
So let me explain.
67
232874
1200
설명해 드리겠습니다.
04:06
As human beings, we have
a visceral reaction to audio and video.
a visceral reaction to audio and video.
68
234875
4566
인간으로서, 우리는
영상과 음성에 본능적으로 반응합니다.
영상과 음성에 본능적으로 반응합니다.
04:11
We believe they're true,
69
239860
1488
우리는 그것이 사실이라고 받아들입니다.
04:13
on the notion that
of course you can believe
of course you can believe
70
241372
2078
왜냐하면 자신의 눈과 귀가
보여주는 것은
보여주는 것은
04:15
what your eyes and ears are telling you.
71
243474
2478
당연히 믿을 수 있기 때문이죠.
04:18
And it's that mechanism
72
246476
1699
그리고 이 방법이
04:20
that might undermine our shared
sense of reality.
sense of reality.
73
248199
3698
우리의 현실 감각을
약화시키는 것입니다.
약화시키는 것입니다.
04:23
Although we believe deepfakes
to be true, they're not.
to be true, they're not.
74
251921
3147
우리는 딥페이크가 사실이라고 믿지만,
이는 사실이 아닙니다.
이는 사실이 아닙니다.
04:27
And we're attracted
to the salacious, the provocative.
to the salacious, the provocative.
75
255604
4157
또, 우리는 음란하고
눈에 띄는 것에 끌리기 마련이죠.
눈에 띄는 것에 끌리기 마련이죠.
04:32
We tend to believe
and to share information
and to share information
76
260365
3047
우리는 부정적이고 새로운 정보를
04:35
that's negative and novel.
77
263436
2023
믿고 공유하려는 습성이 있습니다.
04:37
And researchers have found that online
hoaxes spread 10 times faster
hoaxes spread 10 times faster
78
265809
5019
연구자들은 온라인 조작이
실제 이야기보다
실제 이야기보다
04:42
than accurate stories.
79
270852
1627
10배나 빨리 퍼진다는 것을 밝혔습니다.
04:46
Now, we're also drawn to information
80
274015
4380
또, 우리는 우리의 관점과 잘 들어맞는
04:50
that aligns with our viewpoints.
81
278419
1892
정보에 이끌리는 본능이 있습니다.
04:52
Psychologists call that tendency
"confirmation bias."
"confirmation bias."
82
280950
3561
심리학자들은 이 현상을
"확증 편향"이라 부릅니다.
"확증 편향"이라 부릅니다.
04:57
And social media platforms
supercharge that tendency,
supercharge that tendency,
83
285300
4387
소셜 미디어 플랫폼은
이 본능을 자극하게 되죠.
이 본능을 자극하게 되죠.
05:01
by allowing us to instantly
and widely share information
and widely share information
84
289711
3881
우리의 관점과 잘 들어맞는
정보를 즉각적으로,
정보를 즉각적으로,
05:05
that accords with our viewpoints.
85
293616
1792
널리 퍼뜨릴 수 있게 해 주니까요.
05:08
Now, deepfakes have the potential to cause
grave individual and societal harm.
grave individual and societal harm.
86
296735
5568
딥페이크는 심각한 개인,
사회적 피해를 초래할 수 있습니다.
사회적 피해를 초래할 수 있습니다.
05:15
So, imagine a deepfake
87
303204
2024
아프가니스탄에 있는 미군들이
코란을 태우는 딥페이크가 있다고 상상해 보세요.
코란을 태우는 딥페이크가 있다고 상상해 보세요.
05:17
that shows American soldiers
in Afganistan burning a Koran.
in Afganistan burning a Koran.
88
305252
4182
05:22
You can imagine that that deepfake
would provoke violence
would provoke violence
89
310807
3024
그 딥페이크는 영상 속 미군들에 대한
05:25
against those soldiers.
90
313855
1533
폭력을 낳을 것이라고 예상할 수 있죠.
05:27
And what if the very next day
91
315847
2873
바로 그 다음 날,
05:30
there's another deepfake that drops,
92
318744
2254
런던의 한 이맘(성직자)이
05:33
that shows a well-known imam
based in London
based in London
93
321022
3317
군인들을 향한 폭력을 찬양하는
05:36
praising the attack on those soldiers?
94
324363
2467
딥페이크 영상이 만들어지면 어떨까요?
05:39
We might see violence and civil unrest,
95
327617
3163
어쩌면 아프가니스탄과
미국 뿐만이 아닌,
미국 뿐만이 아닌,
05:42
not only in Afganistan
and the United Kingdom,
and the United Kingdom,
96
330804
3249
전 세계에 걸친
05:46
but across the globe.
97
334077
1515
폭력과 시민 소요가
일어날 수도 있습니다.
일어날 수도 있습니다.
05:48
And you might say to me,
98
336251
1158
여러분들은 저에게
05:49
"Come on, Danielle, that's far-fetched."
99
337433
2247
"에이, 다니엘, 그건 너무 억지다."
라고 말하실 수도 있습니다.
라고 말하실 수도 있습니다.
05:51
But it's not.
100
339704
1150
하지만 아닙니다.
05:53
We've seen falsehoods spread
101
341293
2191
우리는 왓츠앱(WhatsApp)과
여러 다른 메시지 서비스에서
여러 다른 메시지 서비스에서
05:55
on WhatsApp and other
online message services
online message services
102
343508
2722
거짓 정보가 퍼지는 것을 확인했고,
05:58
lead to violence
against ethnic minorities.
against ethnic minorities.
103
346254
2761
그것이 소수 민족에 대한 폭력으로
이어지는 것을 보았습니다.
이어지는 것을 보았습니다.
06:01
And that was just text --
104
349039
1887
그리고 그것은 단지
글 형태에 불과했죠.
글 형태에 불과했죠.
06:02
imagine if it were video.
105
350950
2024
그것이 영상이라면 어떨까요?
06:06
Now, deepfakes have the potential
to corrode the trust that we have
to corrode the trust that we have
106
354593
5357
딥페이크는 우리가 가지고 있는
민주주의적 제도에 대한 믿음을
민주주의적 제도에 대한 믿음을
06:11
in democratic institutions.
107
359974
1992
약화시킬 수 있는 가능성을
가지고 있습니다.
가지고 있습니다.
06:15
So, imagine the night before an election.
108
363006
2667
선거 전날이라고 생각해 보세요.
06:17
There's a deepfake showing
one of the major party candidates
one of the major party candidates
109
365996
3238
주요 후보자 중 한 명이
아주 아픈 모습을 보여주는
아주 아픈 모습을 보여주는
06:21
gravely sick.
110
369258
1150
딥페이크가 있다고 가정합시다.
06:23
The deepfake could tip the election
111
371202
2333
그 딥페이크는 선거를 뒤바꿀 수 있고
06:25
and shake our sense
that elections are legitimate.
that elections are legitimate.
112
373559
3375
선거가 정당하다는 우리의 믿음을
뒤흔들 수 있습니다.
뒤흔들 수 있습니다.
06:30
Imagine if the night before
an initial public offering
an initial public offering
113
378515
3326
큰 세계적인 은행의
신규 상장 전날이라고 생각해 보세요.
신규 상장 전날이라고 생각해 보세요.
06:33
of a major global bank,
114
381865
2333
그 은행의 CEO가 술에 취한 채로
06:36
there was a deepfake
showing the bank's CEO
showing the bank's CEO
115
384222
3149
음모론 이야기들을 내뱉는
06:39
drunkenly spouting conspiracy theories.
116
387395
2697
딥페이크가 떠돌고 있다고
생각해 보세요.
생각해 보세요.
06:42
The deepfake could tank the IPO,
117
390887
3047
그 딥페이크는 신규 상장을
완전히 망하게 할 수 있습니다.
완전히 망하게 할 수 있습니다.
06:45
and worse, shake our sense
that financial markets are stable.
that financial markets are stable.
118
393958
4115
혹은, 금융 시장이 안정적일 것이라는
우리의 믿음을 뒤흔들 수 있죠.
우리의 믿음을 뒤흔들 수 있죠.
06:51
So deepfakes can exploit and magnify
the deep distrust that we already have
the deep distrust that we already have
119
399385
6989
따라서, 딥페이크는
우리가 이미 가지고 있는
우리가 이미 가지고 있는
06:58
in politicians, business leaders
and other influential leaders.
and other influential leaders.
120
406398
4214
정치인, 사업가, 리더들에 대한
불신을 강화시킬 수 있습니다.
불신을 강화시킬 수 있습니다.
07:02
They find an audience
primed to believe them.
primed to believe them.
121
410945
3284
딥페이크는 그것을 믿을 만한
관객을 찾아내어 유인하죠.
관객을 찾아내어 유인하죠.
07:07
And the pursuit of truth
is on the line as well.
is on the line as well.
122
415287
2765
또, 진리의 추구 또한 위태롭습니다.
07:11
Technologists expect
that with advances in AI,
that with advances in AI,
123
419077
3564
기술인들은 인공지능의
발전 속도를 보았을 때,
발전 속도를 보았을 때,
07:14
soon it may be difficult if not impossible
124
422665
3682
곧 진짜와 가짜 영상을 구분하는 것이
07:18
to tell the difference between
a real video and a fake one.
a real video and a fake one.
125
426371
3769
아주 힘들거나 불가능할 것이라고
예측하고 있습니다.
예측하고 있습니다.
07:23
So how can the truth emerge
in a deepfake-ridden marketplace of ideas?
in a deepfake-ridden marketplace of ideas?
126
431022
5341
그렇다면 어떻게 진실이 딥페이크가 난무한
정보 속에서 빛을 발할 수 있을까요?
정보 속에서 빛을 발할 수 있을까요?
07:28
Will we just proceed along
the path of least resistance
the path of least resistance
127
436752
3420
아무 노력도 들이지 않은 채
07:32
and believe what we want to believe,
128
440196
2437
우리가 원하는 것만을 믿고,
07:34
truth be damned?
129
442657
1150
사실로부터 완전히 등을 돌릴까요?
07:36
And not only might we believe the fakery,
130
444831
3175
어쩌면 우리는 가짜를
믿는 것 뿐만 아니라
믿는 것 뿐만 아니라
07:40
we might start disbelieving the truth.
131
448030
3326
사실을 거절하게 될 수도 있습니다.
07:43
We've already seen people invoke
the phenomenon of deepfakes
the phenomenon of deepfakes
132
451887
4079
우리는 이미 사람들이
딥페이크를 이유로 들며
딥페이크를 이유로 들며
07:47
to cast doubt on real evidence
of their wrongdoing.
of their wrongdoing.
133
455990
3920
실제 증거 자료에게 의문을
제기하는 모습을 보았습니다.
제기하는 모습을 보았습니다.
07:51
We've heard politicians say of audio
of their disturbing comments,
of their disturbing comments,
134
459934
5969
정치인들은 자신의 발언이 담긴
음성 파일을 두고 이렇게 말합니다.
음성 파일을 두고 이렇게 말합니다.
07:57
"Come on, that's fake news.
135
465927
1746
"이봐, 그건 가짜 뉴스라고.
07:59
You can't believe what your eyes
and ears are telling you."
and ears are telling you."
136
467697
3920
여러분의 눈과 귀가 보여주는 것이
전부가 아니란 말입니다."
전부가 아니란 말입니다."
08:04
And it's that risk
137
472402
1731
그리고 로버트 체스니 교수와 저는
08:06
that professor Robert Chesney and I
call the "liar's dividend":
call the "liar's dividend":
138
474157
5436
이 위험을 "거짓말쟁이의 배당금"
이라고 부릅니다.
이라고 부릅니다.
08:11
the risk that liars will invoke deepfakes
139
479617
3357
거짓말쟁이들이 딥페이크를 이유로 들며
08:14
to escape accountability
for their wrongdoing.
for their wrongdoing.
140
482998
2905
자신의 잘못에 대한
책임을 회피하는 것이죠.
책임을 회피하는 것이죠.
08:18
So we've got our work cut out for us,
there's no doubt about it.
there's no doubt about it.
141
486963
3071
이제 우리가 무엇을 해야 할지
확실해졌습니다.
확실해졌습니다.
08:22
And we're going to need
a proactive solution
a proactive solution
142
490606
3325
기술회사들과 입법자들,
08:25
from tech companies, from lawmakers,
143
493955
3511
집행관들과 미디어 사용자들은
08:29
law enforcers and the media.
144
497490
1984
방지책을 내야 합니다.
08:32
And we're going to need
a healthy dose of societal resilience.
a healthy dose of societal resilience.
145
500093
4016
건강한 사회의 유연성
또한 필요합니다.
또한 필요합니다.
08:37
So now, we're right now engaged
in a very public conversation
in a very public conversation
146
505506
3896
우리는 지금 기술 회사들의 책임에 대한
08:41
about the responsibility
of tech companies.
of tech companies.
147
509426
2913
토론에 참여하고 있습니다.
08:44
And my advice to social media platforms
148
512926
3032
소셜 미디어 플랫폼에게 주는
제 조언은 다음과 같습니다.
제 조언은 다음과 같습니다.
08:47
has been to change their terms of service
and community guidelines
and community guidelines
149
515982
3873
서비스 약관과 공동체 규칙을 바꾸어
08:51
to ban deepfakes that cause harm.
150
519879
2336
해를 주는 딥페이크를 막는 것이죠.
08:54
That determination,
that's going to require human judgment,
that's going to require human judgment,
151
522712
3960
이를 위해서는 의지력과
인간의 판단력이 필요하고,
인간의 판단력이 필요하고,
08:58
and it's expensive.
152
526696
1571
비싸기도 합니다.
09:00
But we need human beings
153
528673
2285
하지만 우리는 딥 페이크의
09:02
to look at the content
and context of a deepfake
and context of a deepfake
154
530982
3873
내용과 맥락을 보고
09:06
to figure out if it is
a harmful impersonation
a harmful impersonation
155
534879
3682
사람에게 해를 주는 것인지
09:10
or instead, if it's valuable
satire, art or education.
satire, art or education.
156
538585
4382
가치있는 풍자나 예술인지
판단할 사람들이 필요합니다.
판단할 사람들이 필요합니다.
09:16
So now, what about the law?
157
544118
1495
그렇다면, 법은 어떨까요?
09:18
Law is our educator.
158
546666
2349
법은 우리의 교육자입니다.
09:21
It teaches us about
what's harmful and what's wrong.
what's harmful and what's wrong.
159
549515
4038
어떤 것이 해롭고
어떤 것이 잘못인지 가르쳐 주죠.
어떤 것이 잘못인지 가르쳐 주죠.
09:25
And it shapes behavior it deters
by punishing perpetrators
by punishing perpetrators
160
553577
4555
그리고 가해자를 처벌하고
피해자를 보호해 주며
피해자를 보호해 주며
09:30
and securing remedies for victims.
161
558156
2267
올바른 행동을 할 수 있게
지도해 줍니다.
지도해 줍니다.
09:33
Right now, law is not up to
the challenge of deepfakes.
the challenge of deepfakes.
162
561148
4280
현재의 법은 딥페이크에
대항할 수 없습니다.
대항할 수 없습니다.
09:38
Across the globe,
163
566116
1390
전 세계적으로 보았을 때,
09:39
we lack well-tailored laws
164
567530
2444
성적 사생활을 침해하고
09:41
that would be designed to tackle
digital impersonations
digital impersonations
165
569998
3570
명예를 훼손하고
09:45
that invade sexual privacy,
166
573592
2231
정신적인 고통을 유발하는
09:47
that damage reputations
167
575847
1387
딥페이크를 제어할 수 있는
09:49
and that cause emotional distress.
168
577258
1951
적절한 법률은 전무합니다.
09:51
What happened to Rana Ayyub
is increasingly commonplace.
is increasingly commonplace.
169
579725
3873
라나 아이윱에게 일어났던 일은
점점 흔해지고 있습니다.
점점 흔해지고 있습니다.
09:56
Yet, when she went
to law enforcement in Delhi,
to law enforcement in Delhi,
170
584074
2214
하지만 그녀가 델리의
법 집행기관에 갔을 때,
법 집행기관에 갔을 때,
09:58
she was told nothing could be done.
171
586312
2135
아무것도 할 수 없다는
말을 들었습니다.
말을 들었습니다.
10:01
And the sad truth is
that the same would be true
that the same would be true
172
589101
3183
슬픈 것은, 미국과 영국에서도
10:04
in the United States and in Europe.
173
592308
2266
똑같을 것이라는 사실입니다.
10:07
So we have a legal vacuum
that needs to be filled.
that needs to be filled.
174
595300
4356
우리가 채워야 하는
법의 빈 공간이 존재합니다.
법의 빈 공간이 존재합니다.
10:12
My colleague Dr. Mary Anne Franks and I
are working with US lawmakers
are working with US lawmakers
175
600292
4092
제 동료인 마리 안네 프랑크 박사와
저는 미국 입법자들과 함께 일하며
저는 미국 입법자들과 함께 일하며
10:16
to devise legislation that would ban
harmful digital impersonations
harmful digital impersonations
176
604408
4804
신분 도용이나 다름없는 디지털 사칭을
10:21
that are tantamount to identity theft.
177
609236
2533
막을 수 있는 법을 고안하고 있습니다.
10:24
And we've seen similar moves
178
612252
2126
그리고 아이슬랜드, 영국, 호주에서
10:26
in Iceland, the UK and Australia.
179
614402
3301
비슷한 시도가
일어나는 것을 보았습니다.
일어나는 것을 보았습니다.
10:30
But of course, that's just a small piece
of the regulatory puzzle.
of the regulatory puzzle.
180
618157
3259
하지만 이는 아주 작은
퍼즐 조각에 불과하죠.
퍼즐 조각에 불과하죠.
10:34
Now, I know law is not a cure-all. Right?
181
622911
3169
법은 만병통치약이 아닙니다.
그렇죠?
그렇죠?
10:38
It's a blunt instrument.
182
626104
1600
그저 둔한 몽둥이일 뿐입니다.
10:40
And we've got to use it wisely.
183
628346
1539
우리는 이를 현명하게 다루어야 하죠.
10:42
It also has some practical impediments.
184
630411
2812
또, 법은 실질적인 어려움을
담고 있습니다.
담고 있습니다.
찾을 수 없는 사람에 대해서
법의 처벌을 내릴 수 없죠.
법의 처벌을 내릴 수 없죠.
10:45
You can't leverage law against people
you can't identify and find.
you can't identify and find.
185
633657
5044
10:51
And if a perpetrator lives
outside the country
outside the country
186
639463
3286
그리고 가해자가 피해자가 사는
나라에 살지 않는다면,
나라에 살지 않는다면,
10:54
where a victim lives,
187
642773
1754
10:56
then you may not be able to insist
188
644551
1629
가해자가 처벌을 받을 수 있게
10:58
that the perpetrator
come into local courts
come into local courts
189
646204
2349
법정에 데려오는 것 자체가
11:00
to face justice.
190
648577
1150
가능하지 않을 수 있습니다.
11:02
And so we're going to need
a coordinated international response.
a coordinated international response.
191
650236
4063
따라서 국제적인 대응이 필요합니다.
11:07
Education has to be part
of our response as well.
of our response as well.
192
655819
3333
교육도 그 일부가 되어야겠지요.
11:11
Law enforcers are not
going to enforce laws
going to enforce laws
193
659803
3731
법 집행관들은 본인이 모르는 법을
11:15
they don't know about
194
663558
1458
집행하지 않을 것이고,
11:17
and proffer problems
they don't understand.
they don't understand.
195
665040
2596
본인이 이해하지 못한 문제를
지지하려 하지 않을 것입니다.
지지하려 하지 않을 것입니다.
11:20
In my research on cyberstalking,
196
668376
2191
사이버 스토킹에 대한 제 연구에서,
11:22
I found that law enforcement
lacked the training
lacked the training
197
670591
3499
저는 법 집행기관들에는
11:26
to understand the laws available to them
198
674114
2582
온라인 문제들과
관련 법률을 이해하도록 하는
관련 법률을 이해하도록 하는
11:28
and the problem of online abuse.
199
676720
2349
훈련 과정이 없다는 것을
알게 되었습니다.
알게 되었습니다.
11:31
And so often they told victims,
200
679093
2682
그래서 그들은 피해자들에게
이렇게 말한 것이죠.
이렇게 말한 것이죠.
11:33
"Just turn your computer off.
Ignore it. It'll go away."
Ignore it. It'll go away."
201
681799
3971
"그냥 당신의 컴퓨터를 끄고 무시하세요.
그러면 문제가 없어질 것입니다."
그러면 문제가 없어질 것입니다."
11:38
And we saw that in Rana Ayyub's case.
202
686261
2466
그리고 우리는 이를 라나 아이윱의
사례에서도 보았습니다.
사례에서도 보았습니다.
11:41
She was told, "Come on,
you're making such a big deal about this.
you're making such a big deal about this.
203
689102
3468
"에이, 너무 과민반응하시네요.
남자들이 그런 거잖아요."
남자들이 그런 거잖아요."
11:44
It's boys being boys."
204
692594
1743
라나 아이윱은
이 말을 들어야 했습니다.
이 말을 들어야 했습니다.
11:47
And so we need to pair new legislation
with efforts at training.
with efforts at training.
205
695268
5252
따라서 우리는 훈련 과정을
새 법률과 발맞추어야 합니다.
새 법률과 발맞추어야 합니다.
11:54
And education has to be aimed
on the media as well.
on the media as well.
206
702053
3429
또, 교육은 미디어에서도
이루어져야 하죠.
이루어져야 하죠.
11:58
Journalists need educating
about the phenomenon of deepfakes
about the phenomenon of deepfakes
207
706180
4260
저널리스트들은 딥페이크 현상에 대한
교육이 필요합니다.
교육이 필요합니다.
12:02
so they don't amplify and spread them.
208
710464
3039
그들이 딥페이크를 퍼뜨리는 것을
막기 위해서죠.
막기 위해서죠.
12:06
And this is the part
where we're all involved.
where we're all involved.
209
714583
2168
그리고 우리는 이 부분에서
모두 노력을 기울여야 합니다.
모두 노력을 기울여야 합니다.
12:08
Each and every one of us needs educating.
210
716775
3855
우리 모두는 교육이 필요합니다.
12:13
We click, we share, we like,
and we don't even think about it.
and we don't even think about it.
211
721375
3675
우리는 생각없이 클릭하고,
공유하고, 좋아요를 누릅니다.
공유하고, 좋아요를 누릅니다.
12:17
We need to do better.
212
725551
1547
우리는 이보다 더 잘해야 합니다.
12:19
We need far better radar for fakery.
213
727726
2809
우리는 가짜에 대한
더 좋은 탐지 능력이 필요합니다.
더 좋은 탐지 능력이 필요합니다.
12:25
So as we're working
through these solutions,
through these solutions,
214
733744
3841
우리가 이 해결책을 설계하며,
12:29
there's going to be
a lot of suffering to go around.
a lot of suffering to go around.
215
737609
2563
많은 피해 사례가 일어날 것입니다.
12:33
Rana Ayyub is still wrestling
with the fallout.
with the fallout.
216
741093
2746
라나 아이윱은 아직도
후유증에 맞서 싸우고 있습니다.
후유증에 맞서 싸우고 있습니다.
그녀는 온/오프라인에서
자신을 자유롭게 표출하지 못합니다.
자신을 자유롭게 표출하지 못합니다.
12:36
She still doesn't feel free
to express herself on- and offline.
to express herself on- and offline.
217
744669
4189
12:41
And as she told me,
218
749566
1365
그리고 그녀가 저에게 말해주었듯이,
12:42
she still feels like there are thousands
of eyes on her naked body,
of eyes on her naked body,
219
750955
5074
그녀는 수천 개의 눈이 자신의 나체를
주시하고 있는 것처럼 느낍니다.
주시하고 있는 것처럼 느낍니다.
12:48
even though, intellectually,
she knows it wasn't her body.
she knows it wasn't her body.
220
756053
3661
비록 머리로는 그것이
본인의 몸이 아니라는 것을 알면서도요.
본인의 몸이 아니라는 것을 알면서도요.
12:52
And she has frequent panic attacks,
221
760371
2349
그리고 가끔씩 그녀에게
발작이 찾아오기도 합니다.
발작이 찾아오기도 합니다.
12:54
especially when someone she doesn't know
tries to take her picture.
tries to take her picture.
222
762744
4100
특히, 그녀가 모르는 사람이
그녀를 사진 찍으려 할 때 말입니다.
그녀를 사진 찍으려 할 때 말입니다.
12:58
"What if they're going to make
another deepfake?" she thinks to herself.
another deepfake?" she thinks to herself.
223
766868
3511
"저 사람이 또 다른 딥페이크를 만들면
어떡하지?"라고 그녀는 생각합니다.
어떡하지?"라고 그녀는 생각합니다.
13:03
And so for the sake of
individuals like Rana Ayyub
individuals like Rana Ayyub
224
771082
3921
그래서 라나 아이윱같은 사람들을 위해,
13:07
and the sake of our democracy,
225
775027
2306
또 우리의 민주주의를 위해,
13:09
we need to do something right now.
226
777357
2182
우리는 지금 당장
조치를 취해야 합니다.
조치를 취해야 합니다.
13:11
Thank you.
227
779563
1151
감사합니다.
13:12
(Applause)
228
780738
2508
(박수)
ABOUT THE SPEAKER
Danielle Citron - Law professor, deepfake scholarDanielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice.
Why you should listen
As a law professor, Danielle Citron puts her commitment to civil rights into practice. She is vice president of the Cyber Civil Rights Initiative, a nonprofit combatting privacy-invading online abuse that undermines civil rights and civil liberties.
When Citron began addressing cyber harassment ten years ago, it was commonly believed that it was "no big deal," and that any legal response would "break the internet." Those attitudes -- and the heartbreaking stories of victims who were terrorized, silenced and economically damaged -- drove Citron to write her 2014 book, Hate Crimes in Cyberspace. Ever since, she has been working with lawmakers, law enforcers, and tech companies to make online spaces and tools available to all on equal terms. Her latest book project focuses on the importance of sexual privacy and how we should protect it.
Danielle Citron | Speaker | TED.com