TEDSummit 2019
Danielle Citron: How deepfakes undermine truth and threaten democracy
Danielle Citron: Hoe deepfakes de waarheid ondermijnen en de democratie bedreigen
Filmed:
Readability: 5
1,533,743 views
Het gebruik van deepfake-technologie om video en audio te manipuleren voor kwaadaardige doeleinden -- of het nu is om geweld te stoken of politici en journalisten te belasteren -- wordt een reële bedreiging. Hoe zal het vorm geven aan wat wij over de wereld geloven als deze tools toegankelijker worden en hun producten realistischer? In een onheilspellende lezing onthult professor professor Danielle Citron hoe deepfakes ons wantrouwen vergroten -- en suggereert benaderingen om de waarheid te beschermen.
Danielle Citron - Law professor, deepfake scholar
Danielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice. Full bio
Danielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice. Full bio
Double-click the English transcript below to play the video.
00:12
[This talk contains mature content]
0
535
2767
[Deze talk bevat inhoud voor volwassenen]
00:17
Rana Ayyub is a journalist in India
1
5762
2992
Rana Ayyub is een journaliste in India.
00:20
whose work has exposed
government corruption
government corruption
2
8778
2602
Ze onthulde corruptie bij de overheid
00:24
and human rights violations.
3
12411
2157
en schendingen van de mensenrechten.
00:26
And over the years,
4
14990
1167
Door de jaren heen
00:28
she's gotten used to vitriol
and controversy around her work.
and controversy around her work.
5
16181
3303
is ze aan gifspuiterij en controverse
rond haar werk gewend geraakt.
rond haar werk gewend geraakt.
00:32
But none of it could have prepared her
for what she faced in April 2018.
for what she faced in April 2018.
6
20149
5109
Maar niets kon haar voorbereiden
op wat ze in april 2018 tegenkwam.
op wat ze in april 2018 tegenkwam.
00:38
She was sitting in a café with a friend
when she first saw it:
when she first saw it:
7
26125
3651
Ze zat in een café met een vriend
toen ze het voor het eerst zag:
toen ze het voor het eerst zag:
00:41
a two-minute, 20-second video
of her engaged in a sex act.
of her engaged in a sex act.
8
29800
4943
een video van 2 minuten en 20 seconden
waarop zij bezig was met seks.
00:47
And she couldn't believe her eyes.
9
35188
2349
Ze kon haar ogen niet geloven.
00:49
She had never made a sex video.
10
37561
2273
Ze had nooit een seksvideo gemaakt.
00:52
But unfortunately, thousands
upon thousands of people
upon thousands of people
11
40506
3465
Maar helaas geloofden duizenden
en duizenden mensen dat zij het was.
en duizenden mensen dat zij het was.
00:55
would believe it was her.
12
43995
1666
00:58
I interviewed Ms. Ayyub
about three months ago,
about three months ago,
13
46673
2944
Ik interviewde mevrouw Ayyub
ongeveer drie maanden geleden
ongeveer drie maanden geleden
01:01
in connection with my book
on sexual privacy.
on sexual privacy.
14
49641
2504
in verband met mijn boek
over seksuele privacy.
over seksuele privacy.
Ik ben professor in de rechten,
advocaat en ik kom op voor burgerrechten.
advocaat en ik kom op voor burgerrechten.
01:04
I'm a law professor, lawyer
and civil rights advocate.
and civil rights advocate.
15
52681
3198
01:08
So it's incredibly frustrating
knowing that right now,
knowing that right now,
16
56204
4611
Daarom is het zo ongelooflijk frustrerend
om weten dat op dit moment
om weten dat op dit moment
de wet erg weinig doet om haar te helpen.
01:12
law could do very little to help her.
17
60839
2238
01:15
And as we talked,
18
63458
1547
In ons gesprek
01:17
she explained that she should have seen
the fake sex video coming.
the fake sex video coming.
19
65029
4512
legde ze uit dat ze de nep-seksvideo
had moeten zien aankomen.
had moeten zien aankomen.
01:22
She said, "After all, sex is so often used
to demean and to shame women,
to demean and to shame women,
20
70038
5596
Ze zei: "Seks wordt immers
zo vaak gebruikt
zo vaak gebruikt
om vrouwen te vernederen
en te schande te maken,
en te schande te maken,
01:27
especially minority women,
21
75658
2428
vooral dan allochtone vrouwen,
01:30
and especially minority women
who dare to challenge powerful men,"
who dare to challenge powerful men,"
22
78110
4312
en vooral allochtone vrouwen
die machtige mannen durven uit te dagen,"
die machtige mannen durven uit te dagen,"
01:34
as she had in her work.
23
82446
1533
zoals zij door haar werk had gedaan.
01:37
The fake sex video went viral in 48 hours.
24
85191
3976
De nep-seksvideo ging in 48 uur viraal.
01:42
All of her online accounts were flooded
with screenshots of the video,
with screenshots of the video,
25
90064
5307
Al haar online accounts werden overspoeld
met screenshots van de video,
met screenshots van de video,
met grove dreigingen
van verkrachting en moord
van verkrachting en moord
01:47
with graphic rape and death threats
26
95395
2627
01:50
and with slurs about her Muslim faith.
27
98046
2533
en met laster
over haar islamitische geloof.
over haar islamitische geloof.
01:53
Online posts suggested that
she was "available" for sex.
she was "available" for sex.
28
101426
4564
Online berichten suggereerden
dat ze ‘beschikbaar’ was voor seks.
dat ze ‘beschikbaar’ was voor seks.
01:58
And she was doxed,
29
106014
1610
Ze werd ‘gedoxt’,
01:59
which means that her home address
and her cell phone number
and her cell phone number
30
107648
2778
wat betekent dat haar adres
en haar gsm-nummer
en haar gsm-nummer
02:02
were spread across the internet.
31
110450
1746
werden verspreid over het internet.
02:04
The video was shared
more than 40,000 times.
more than 40,000 times.
32
112879
4084
De video werd meer
dan 40.000 keer gedeeld.
dan 40.000 keer gedeeld.
02:09
Now, when someone is targeted
with this kind of cybermob attack,
with this kind of cybermob attack,
33
117760
3936
Als iemand zo’n aanval
van een cyberbende moet ondergaan,
van een cyberbende moet ondergaan,
02:13
the harm is profound.
34
121720
2063
is de schade diepgaand.
02:16
Rana Ayyub's life was turned upside down.
35
124482
3039
Rana Ayyub's leven stond op zijn kop.
02:20
For weeks, she could hardly eat or speak.
36
128211
3334
Wekenlang kon ze
nauwelijks eten of spreken.
nauwelijks eten of spreken.
02:23
She stopped writing and closed
all of her social media accounts,
all of her social media accounts,
37
131919
3689
Ze stopte met schrijven en sloot
al haar ‘social media’-accounts.
al haar ‘social media’-accounts.
02:27
which is, you know, a tough thing to do
when you're a journalist.
when you're a journalist.
38
135632
3158
Erg moeilijk wanneer je journalist bent.
02:31
And she was afraid to go outside
her family's home.
her family's home.
39
139188
3484
Ze was bang om buiten te komen.
02:34
What if the posters
made good on their threats?
made good on their threats?
40
142696
3022
Wat als de posters
hun dreigementen zouden uitvoeren?
hun dreigementen zouden uitvoeren?
02:38
The UN Council on Human Rights
confirmed that she wasn't being crazy.
confirmed that she wasn't being crazy.
41
146395
4365
De VN-Raad voor de mensenrechten
bevestigde dat ze niet gek was.
bevestigde dat ze niet gek was.
02:42
It issued a public statement saying
that they were worried about her safety.
that they were worried about her safety.
42
150784
4637
Ze legden een openbare verklaring af
waarin ze zich zorgen maakten
over haar veiligheid.
over haar veiligheid.
02:48
What Rana Ayyub faced was a deepfake:
43
156776
4229
Wat Rana Ayyub tegenkwam was een deepfake:
02:53
machine-learning technology
44
161029
2540
zelflerende technologie
02:55
that manipulates or fabricates
audio and video recordings
audio and video recordings
45
163593
4111
die audio- en video-opnamen
manipuleert of fabriceert
manipuleert of fabriceert
02:59
to show people doing and saying things
46
167728
2723
waarin mensen dingen doen en zeggen
die ze nooit gedaan of gezegd hebben.
03:02
that they never did or said.
47
170475
1866
03:04
Deepfakes appear authentic
and realistic, but they're not;
and realistic, but they're not;
48
172807
3361
Deepfakes lijken authentiek
en realistisch, maar zijn het niet:
en realistisch, maar zijn het niet:
03:08
they're total falsehoods.
49
176192
1772
ze zijn helemaal onwaar.
03:11
Although the technology
is still developing in its sophistication,
is still developing in its sophistication,
50
179228
3794
Hoewel de technologie
nog steeds verder wordt verfijnd,
nog steeds verder wordt verfijnd,
03:15
it is widely available.
51
183046
1614
is ze al op grote schaal beschikbaar.
03:17
Now, the most recent attention
to deepfakes arose,
to deepfakes arose,
52
185371
3072
De meest recente aandacht
voor deepfakes ontstond,
voor deepfakes ontstond,
03:20
as so many things do online,
53
188467
2161
zoals met zo veel dingen online,
03:22
with pornography.
54
190652
1255
met pornografie.
03:24
In early 2018,
55
192498
2111
In het begin van 2018
03:26
someone posted a tool on Reddit
56
194633
2468
rapporteerde iemand een tool op Reddit
03:29
to allow users to insert faces
into porn videos.
into porn videos.
57
197125
4412
om gebruikers gezichten
te laten toevoegen in pornovideo's.
te laten toevoegen in pornovideo's.
03:33
And what followed was a cascade
of fake porn videos
of fake porn videos
58
201561
3440
Daarop volgde een hoop fake pornovideo's
03:37
featuring people's favorite
female celebrities.
female celebrities.
59
205025
2797
met favoriete vrouwelijke beroemdheden.
03:40
And today, you can go on YouTube
and pull up countless tutorials
and pull up countless tutorials
60
208712
3477
Vandaag vind je op YouTube
talloze handleidingen
talloze handleidingen
03:44
with step-by-step instructions
61
212213
2286
met stap-voor-stap instructies
03:46
on how to make a deepfake
on your desktop application.
on your desktop application.
62
214523
3163
om een deepfake te maken op je pc.
03:50
And soon we may be even able
to make them on our cell phones.
to make them on our cell phones.
63
218260
3706
Binnenkort kan het zelfs
op onze mobiele telefoons.
op onze mobiele telefoons.
03:55
Now, it's the interaction
of some of our most basic human frailties
of some of our most basic human frailties
64
223072
5382
De combinatie van onze meest
fundamentele menselijke zwakheden
fundamentele menselijke zwakheden
04:00
and network tools
65
228478
1682
met netwerktools
04:02
that can turn deepfakes into weapons.
66
230184
2666
kan deepfakes veranderen in wapens.
04:04
So let me explain.
67
232874
1200
Ik leg het uit.
04:06
As human beings, we have
a visceral reaction to audio and video.
a visceral reaction to audio and video.
68
234875
4566
Als mens hebben we
een viscerale reactie op audio en video.
een viscerale reactie op audio en video.
04:11
We believe they're true,
69
239860
1488
We geloven dat ze waar zijn
04:13
on the notion that
of course you can believe
of course you can believe
70
241372
2078
door het idee dat je
uiteraard kunt geloven
uiteraard kunt geloven
04:15
what your eyes and ears are telling you.
71
243474
2478
wat je ogen en oren je vertellen.
04:18
And it's that mechanism
72
246476
1699
Het is dat mechanisme
04:20
that might undermine our shared
sense of reality.
sense of reality.
73
248199
3698
dat onze gezamenlijke realiteitszin
zou kunnen ondermijnen.
zou kunnen ondermijnen.
04:23
Although we believe deepfakes
to be true, they're not.
to be true, they're not.
74
251921
3147
Hoewel we van deepfakes geloven
dat ze waar zijn, zijn ze het niet.
dat ze waar zijn, zijn ze het niet.
04:27
And we're attracted
to the salacious, the provocative.
to the salacious, the provocative.
75
255604
4157
Het schunnige, het provocerende
trekt ons aan.
trekt ons aan.
04:32
We tend to believe
and to share information
and to share information
76
260365
3047
We hebben de neiging
om negatieve en nieuwe informatie
te geloven en te delen.
te geloven en te delen.
04:35
that's negative and novel.
77
263436
2023
04:37
And researchers have found that online
hoaxes spread 10 times faster
hoaxes spread 10 times faster
78
265809
5019
En onderzoekers hebben ontdekt
dat online hoaxes 10 keer sneller
verspreid worden dan accurate verhalen.
verspreid worden dan accurate verhalen.
04:42
than accurate stories.
79
270852
1627
04:46
Now, we're also drawn to information
80
274015
4380
We zijn ook aangetrokken tot informatie
04:50
that aligns with our viewpoints.
81
278419
1892
die aansluit bij onze standpunten.
04:52
Psychologists call that tendency
"confirmation bias."
"confirmation bias."
82
280950
3561
Psychologen noemen deze tendens
‘voorkeur voor bevestiging’.
‘voorkeur voor bevestiging’.
04:57
And social media platforms
supercharge that tendency,
supercharge that tendency,
83
285300
4387
Sociale media platformen
versterken die tendens,
versterken die tendens,
05:01
by allowing us to instantly
and widely share information
and widely share information
84
289711
3881
door ons informatie direct
en op grote schaal te laten delen
en op grote schaal te laten delen
05:05
that accords with our viewpoints.
85
293616
1792
als het overeenstemt met onze standpunten.
05:08
Now, deepfakes have the potential to cause
grave individual and societal harm.
grave individual and societal harm.
86
296735
5568
Deepfakes kunnen dus ernstige individuele
en maatschappelijke schade veroorzaken.
en maatschappelijke schade veroorzaken.
05:15
So, imagine a deepfake
87
303204
2024
Stel je een deepfake voor
05:17
that shows American soldiers
in Afganistan burning a Koran.
in Afganistan burning a Koran.
88
305252
4182
waarin Amerikaanse soldaten
in Afghanistan een Koran verbranden.
in Afghanistan een Koran verbranden.
05:22
You can imagine that that deepfake
would provoke violence
would provoke violence
89
310807
3024
Je kunt je voorstellen dat die deepfake
geweld kan uitlokken tegen die soldaten.
05:25
against those soldiers.
90
313855
1533
05:27
And what if the very next day
91
315847
2873
En wat als de volgende dag
05:30
there's another deepfake that drops,
92
318744
2254
er nog een deepfake verspreid wordt
05:33
that shows a well-known imam
based in London
based in London
93
321022
3317
die een bekende imam in Londen toont
05:36
praising the attack on those soldiers?
94
324363
2467
die de aanval op die soldaten prijst?
05:39
We might see violence and civil unrest,
95
327617
3163
Het zou kunnen leiden
tot geweld en burgerlijke onrust,
tot geweld en burgerlijke onrust,
05:42
not only in Afganistan
and the United Kingdom,
and the United Kingdom,
96
330804
3249
niet alleen in Afghanistan
en het Verenigd Koninkrijk,
en het Verenigd Koninkrijk,
05:46
but across the globe.
97
334077
1515
maar over de hele wereld.
05:48
And you might say to me,
98
336251
1158
En je zou me kunnen zeggen:
05:49
"Come on, Danielle, that's far-fetched."
99
337433
2247
"Kom nou, Danielle, dat is vergezocht."
05:51
But it's not.
100
339704
1150
Maar dat is het niet.
05:53
We've seen falsehoods spread
101
341293
2191
We hebben onwaarheden zien verspreiden
05:55
on WhatsApp and other
online message services
online message services
102
343508
2722
op WhatsApp en andere
online boodschappendiensten
online boodschappendiensten
05:58
lead to violence
against ethnic minorities.
against ethnic minorities.
103
346254
2761
die leidden tot geweld
tegen etnische minderheden.
tegen etnische minderheden.
06:01
And that was just text --
104
349039
1887
En dat was gewoon tekst --
06:02
imagine if it were video.
105
350950
2024
stel je voor dat het video was.
06:06
Now, deepfakes have the potential
to corrode the trust that we have
to corrode the trust that we have
106
354593
5357
Deepfakes kunnen het vertrouwen aantasten
dat we hebben
in democratische instellingen.
in democratische instellingen.
06:11
in democratic institutions.
107
359974
1992
06:15
So, imagine the night before an election.
108
363006
2667
Stel je de avond voor een verkiezing voor.
06:17
There's a deepfake showing
one of the major party candidates
one of the major party candidates
109
365996
3238
Een deepfake toont
een belangrijke partijkandidaat
als ernstig ziek.
als ernstig ziek.
06:21
gravely sick.
110
369258
1150
06:23
The deepfake could tip the election
111
371202
2333
De deepfake kan de uitslag bepalen
06:25
and shake our sense
that elections are legitimate.
that elections are legitimate.
112
373559
3375
en ons vertrouwen in de legitimiteit
van verkiezingen doen wankelen.
van verkiezingen doen wankelen.
06:30
Imagine if the night before
an initial public offering
an initial public offering
113
378515
3326
Stel je voor dat
op de avond voor een beursgang
op de avond voor een beursgang
06:33
of a major global bank,
114
381865
2333
van een grote internationale bank,
06:36
there was a deepfake
showing the bank's CEO
showing the bank's CEO
115
384222
3149
een deepfake een CEO van de bank toont
06:39
drunkenly spouting conspiracy theories.
116
387395
2697
terwijl hij dronken
samenzweringstheorieën spuit.
samenzweringstheorieën spuit.
06:42
The deepfake could tank the IPO,
117
390887
3047
De deepfake kon
de beursgang doen kelderen,
de beursgang doen kelderen,
06:45
and worse, shake our sense
that financial markets are stable.
that financial markets are stable.
118
393958
4115
en erger, ons het gevoel geven
dat de financiële markten onstabiel zijn.
dat de financiële markten onstabiel zijn.
06:51
So deepfakes can exploit and magnify
the deep distrust that we already have
the deep distrust that we already have
119
399385
6989
Deepfakes kunnen dat benutten en
het diepe wantrouwen vergroten
het diepe wantrouwen vergroten
dat we al hebben
in politici, bedrijfsleiders
en andere invloedrijke leiders.
en andere invloedrijke leiders.
06:58
in politicians, business leaders
and other influential leaders.
and other influential leaders.
120
406398
4214
07:02
They find an audience
primed to believe them.
primed to believe them.
121
410945
3284
Ze vinden een goedgelovig publiek.
07:07
And the pursuit of truth
is on the line as well.
is on the line as well.
122
415287
2765
Het streven naar waarheid
staat ook op het spel.
staat ook op het spel.
07:11
Technologists expect
that with advances in AI,
that with advances in AI,
123
419077
3564
Technologen verwachten
dat met de vooruitgang in AI
dat met de vooruitgang in AI
07:14
soon it may be difficult if not impossible
124
422665
3682
het binnenkort moeilijk,
zo niet onmogelijk, wordt
zo niet onmogelijk, wordt
07:18
to tell the difference between
a real video and a fake one.
a real video and a fake one.
125
426371
3769
om het verschil te zien
tussen een echte video en een nepvideo.
tussen een echte video en een nepvideo.
07:23
So how can the truth emerge
in a deepfake-ridden marketplace of ideas?
in a deepfake-ridden marketplace of ideas?
126
431022
5341
Hoe kunnen we dan nog waarheid vinden
in een door deepfake
geteisterde ideeënwereld?
geteisterde ideeënwereld?
07:28
Will we just proceed along
the path of least resistance
the path of least resistance
127
436752
3420
Kiezen we de weg van de minste weerstand
07:32
and believe what we want to believe,
128
440196
2437
en geloven we wat we willen geloven?
07:34
truth be damned?
129
442657
1150
De waarheid kan de pot op?
07:36
And not only might we believe the fakery,
130
444831
3175
We zouden niet alleen
gaan geloven in het bedrog,
gaan geloven in het bedrog,
07:40
we might start disbelieving the truth.
131
448030
3326
maar ook aan de waarheid
kunnen gaan twijfelen.
kunnen gaan twijfelen.
07:43
We've already seen people invoke
the phenomenon of deepfakes
the phenomenon of deepfakes
132
451887
4079
We zagen al dat mensen beroep deden
op het fenomeen van de deepfakes
op het fenomeen van de deepfakes
07:47
to cast doubt on real evidence
of their wrongdoing.
of their wrongdoing.
133
455990
3920
om echt bewijs over hun wangedrag
in twijfel te trekken.
in twijfel te trekken.
07:51
We've heard politicians say of audio
of their disturbing comments,
of their disturbing comments,
134
459934
5969
We hoorden politici over de opnames
van hun uitschuivers al zeggen:
van hun uitschuivers al zeggen:
07:57
"Come on, that's fake news.
135
465927
1746
"Kom nou, dat is nepnieuws.
07:59
You can't believe what your eyes
and ears are telling you."
and ears are telling you."
136
467697
3920
Je kan niet geloven wat je ogen
en oren je vertellen."
en oren je vertellen."
08:04
And it's that risk
137
472402
1731
Het is dat risico
08:06
that professor Robert Chesney and I
call the "liar's dividend":
call the "liar's dividend":
138
474157
5436
dat professor Robert Chesney en ik
het ‘leugenaarsdividend’ noemen:
het ‘leugenaarsdividend’ noemen:
08:11
the risk that liars will invoke deepfakes
139
479617
3357
het risico dat leugenaars
deepfakes zullen inroepen
deepfakes zullen inroepen
08:14
to escape accountability
for their wrongdoing.
for their wrongdoing.
140
482998
2905
om aan de verantwoording
voor hun wangedrag te ontsnappen.
voor hun wangedrag te ontsnappen.
08:18
So we've got our work cut out for us,
there's no doubt about it.
there's no doubt about it.
141
486963
3071
We hebben werk voor de boeg,
daar is geen twijfel over mogelijk.
daar is geen twijfel over mogelijk.
08:22
And we're going to need
a proactive solution
a proactive solution
142
490606
3325
We hebben een proactieve oplossing nodig
08:25
from tech companies, from lawmakers,
143
493955
3511
van tech-bedrijven, van wetgevers,
08:29
law enforcers and the media.
144
497490
1984
wetshandhavers en de media.
08:32
And we're going to need
a healthy dose of societal resilience.
a healthy dose of societal resilience.
145
500093
4016
En we zullen een gezonde dosis
sociale veerkracht nodig hebben.
sociale veerkracht nodig hebben.
08:37
So now, we're right now engaged
in a very public conversation
in a very public conversation
146
505506
3896
Op dit moment is er
een zeer publiek discussie gaande
een zeer publiek discussie gaande
08:41
about the responsibility
of tech companies.
of tech companies.
147
509426
2913
over de verantwoordelijkheid
van de tech-bedrijven.
van de tech-bedrijven.
08:44
And my advice to social media platforms
148
512926
3032
Het was mijn advies
aan de sociale media platformen
aan de sociale media platformen
08:47
has been to change their terms of service
and community guidelines
and community guidelines
149
515982
3873
om hun dienstvoorwaarden
en gemeenschapsrichtlijnen te veranderen
en gemeenschapsrichtlijnen te veranderen
08:51
to ban deepfakes that cause harm.
150
519879
2336
om schadelijke deepfakes te bannen.
08:54
That determination,
that's going to require human judgment,
that's going to require human judgment,
151
522712
3960
Dat vereist menselijk oordeel
08:58
and it's expensive.
152
526696
1571
en dat is duur.
09:00
But we need human beings
153
528673
2285
Maar we hebben mensen nodig
09:02
to look at the content
and context of a deepfake
and context of a deepfake
154
530982
3873
om naar de inhoud en context
van een deepfake te kijken
van een deepfake te kijken
09:06
to figure out if it is
a harmful impersonation
a harmful impersonation
155
534879
3682
om erachter te komen of het
een schadelijke imitatie is
een schadelijke imitatie is
09:10
or instead, if it's valuable
satire, art or education.
satire, art or education.
156
538585
4382
ofwel waardevolle satire,
kunst of onderwijs.
kunst of onderwijs.
09:16
So now, what about the law?
157
544118
1495
Maar hoe zit het nu met de wet?
09:18
Law is our educator.
158
546666
2349
De wet is onze opvoeder.
09:21
It teaches us about
what's harmful and what's wrong.
what's harmful and what's wrong.
159
549515
4038
Ze leert ons
wat schadelijk en wat fout is.
wat schadelijk en wat fout is.
09:25
And it shapes behavior it deters
by punishing perpetrators
by punishing perpetrators
160
553577
4555
Ze modelleert gedrag
door het bestraffen van daders
door het bestraffen van daders
09:30
and securing remedies for victims.
161
558156
2267
en het beschermen van slachtoffers.
09:33
Right now, law is not up to
the challenge of deepfakes.
the challenge of deepfakes.
162
561148
4280
De wet kan de uitdaging
van deepfakes nog niet aan.
van deepfakes nog niet aan.
09:38
Across the globe,
163
566116
1390
Over heel de wereld
09:39
we lack well-tailored laws
164
567530
2444
mankeren we op maat gesneden wetten
09:41
that would be designed to tackle
digital impersonations
digital impersonations
165
569998
3570
voor het aanpakken van digitale imitaties
09:45
that invade sexual privacy,
166
573592
2231
die de seksuele privacy schenden,
09:47
that damage reputations
167
575847
1387
reputaties beschadigen
09:49
and that cause emotional distress.
168
577258
1951
en emotionele nood veroorzaken.
09:51
What happened to Rana Ayyub
is increasingly commonplace.
is increasingly commonplace.
169
579725
3873
Wat Rana Ayyub overkwam,
komt steeds meer voor.
komt steeds meer voor.
09:56
Yet, when she went
to law enforcement in Delhi,
to law enforcement in Delhi,
170
584074
2214
Toen ze in Delhi
om rechtshandhaving vroeg,
om rechtshandhaving vroeg,
09:58
she was told nothing could be done.
171
586312
2135
vertelden ze haar
dat ze er niets aan konden doen.
dat ze er niets aan konden doen.
10:01
And the sad truth is
that the same would be true
that the same would be true
172
589101
3183
En de trieste waarheid is
dat hetzelfde waar zou zijn
dat hetzelfde waar zou zijn
10:04
in the United States and in Europe.
173
592308
2266
in de Verenigde Staten en in Europa.
10:07
So we have a legal vacuum
that needs to be filled.
that needs to be filled.
174
595300
4356
Dus hebben we een juridisch vacuüm
dat moet worden ingevuld.
dat moet worden ingevuld.
10:12
My colleague Dr. Mary Anne Franks and I
are working with US lawmakers
are working with US lawmakers
175
600292
4092
Mijn collega dr. Mary Anne Franks en ik
werken samen met de Amerikaanse wetgevers
werken samen met de Amerikaanse wetgevers
10:16
to devise legislation that would ban
harmful digital impersonations
harmful digital impersonations
176
604408
4804
aan wetgeving die schadelijke
digitale nabootsingen zou verbieden,
digitale nabootsingen zou verbieden,
10:21
that are tantamount to identity theft.
177
609236
2533
die gelijkstaan aan
diefstal van identiteit.
diefstal van identiteit.
10:24
And we've seen similar moves
178
612252
2126
We zagen vergelijkbare maatregelen
10:26
in Iceland, the UK and Australia.
179
614402
3301
in IJsland, het Verenigd Koninkrijk
en Australië.
en Australië.
10:30
But of course, that's just a small piece
of the regulatory puzzle.
of the regulatory puzzle.
180
618157
3259
Maar natuurlijk is dat nog maar
een klein stuk van de regelgevingspuzzel.
een klein stuk van de regelgevingspuzzel.
10:34
Now, I know law is not a cure-all. Right?
181
622911
3169
Ik weet wel dat de wet
geen wondermiddel is.
geen wondermiddel is.
10:38
It's a blunt instrument.
182
626104
1600
Ze is een bot instrument.
10:40
And we've got to use it wisely.
183
628346
1539
We zullen het verstandig moeten gebruiken.
10:42
It also has some practical impediments.
184
630411
2812
Ze heeft ook een aantal
praktische belemmeringen.
praktische belemmeringen.
10:45
You can't leverage law against people
you can't identify and find.
you can't identify and find.
185
633657
5044
Je kunt de wet niet aanwenden tegen wie
je niet kan identificeren of opsporen.
je niet kan identificeren of opsporen.
10:51
And if a perpetrator lives
outside the country
outside the country
186
639463
3286
Als een dader in een ander land woont
10:54
where a victim lives,
187
642773
1754
dan het slachtoffer,
10:56
then you may not be able to insist
188
644551
1629
kan je misschien niet eisen dat de dader
10:58
that the perpetrator
come into local courts
come into local courts
189
646204
2349
voor de lokale rechtbanken verschijnt
11:00
to face justice.
190
648577
1150
voor gerechtigheid.
11:02
And so we're going to need
a coordinated international response.
a coordinated international response.
191
650236
4063
Dus gaan we een gecoördineerde
internationale respons nodig hebben.
internationale respons nodig hebben.
11:07
Education has to be part
of our response as well.
of our response as well.
192
655819
3333
Ook onderwijs moet onderdeel zijn
van ons antwoord hierop.
van ons antwoord hierop.
11:11
Law enforcers are not
going to enforce laws
going to enforce laws
193
659803
3731
Wetshandhavers gaan geen wetten toepassen
11:15
they don't know about
194
663558
1458
waarover ze niets weten
11:17
and proffer problems
they don't understand.
they don't understand.
195
665040
2596
en problemen behandelen
die ze niet begrijpen.
die ze niet begrijpen.
11:20
In my research on cyberstalking,
196
668376
2191
Bij mijn onderzoek naar cyberstalking
11:22
I found that law enforcement
lacked the training
lacked the training
197
670591
3499
merkte ik dat rechters de training misten
11:26
to understand the laws available to them
198
674114
2582
om de beschikbare wetten te begrijpen
11:28
and the problem of online abuse.
199
676720
2349
alsook het probleem van online misbruik.
11:31
And so often they told victims,
200
679093
2682
Vaak vertelden ze het slachtoffer:
11:33
"Just turn your computer off.
Ignore it. It'll go away."
Ignore it. It'll go away."
201
681799
3971
"Zet gewoon je computer uit.
Negeer het. Het zal ophouden."
Negeer het. Het zal ophouden."
11:38
And we saw that in Rana Ayyub's case.
202
686261
2466
En we zagen dat ook
in het geval van Rana Ayyub.
in het geval van Rana Ayyub.
11:41
She was told, "Come on,
you're making such a big deal about this.
you're making such a big deal about this.
203
689102
3468
Ze kreeg te horen: "Kom op,
je maakt je er zo druk over.
je maakt je er zo druk over.
11:44
It's boys being boys."
204
692594
1743
Het zijn jongensstreken."
11:47
And so we need to pair new legislation
with efforts at training.
with efforts at training.
205
695268
5252
Dus moeten we de nieuwe wetgeving
koppelen aan nieuwe training.
koppelen aan nieuwe training.
11:54
And education has to be aimed
on the media as well.
on the media as well.
206
702053
3429
De media dient ook
heropgevoed te worden.
heropgevoed te worden.
11:58
Journalists need educating
about the phenomenon of deepfakes
about the phenomenon of deepfakes
207
706180
4260
Journalisten moeten
het deepfakefenomeen leren kennen
het deepfakefenomeen leren kennen
12:02
so they don't amplify and spread them.
208
710464
3039
zodat ze het niet
versterken en verspreiden.
versterken en verspreiden.
12:06
And this is the part
where we're all involved.
where we're all involved.
209
714583
2168
Bij dat deel zijn we allemaal betrokken.
12:08
Each and every one of us needs educating.
210
716775
3855
Ieder van ons
moet ermee vertrouwd geraken.
moet ermee vertrouwd geraken.
12:13
We click, we share, we like,
and we don't even think about it.
and we don't even think about it.
211
721375
3675
We klikken, we delen, we vinden leuk
zonder er eens over na te denken.
zonder er eens over na te denken.
12:17
We need to do better.
212
725551
1547
Dat moet beter.
12:19
We need far better radar for fakery.
213
727726
2809
We hebben een veel betere radar
voor bedrog nodig.
voor bedrog nodig.
12:25
So as we're working
through these solutions,
through these solutions,
214
733744
3841
Terwijl we werken aan deze oplossingen,
12:29
there's going to be
a lot of suffering to go around.
a lot of suffering to go around.
215
737609
2563
gaat er nog een heleboel leed
veroorzaakt worden.
veroorzaakt worden.
12:33
Rana Ayyub is still wrestling
with the fallout.
with the fallout.
216
741093
2746
Rana Ayyub worstelt
nog steeds met de gevolgen.
nog steeds met de gevolgen.
12:36
She still doesn't feel free
to express herself on- and offline.
to express herself on- and offline.
217
744669
4189
Ze voelt zich nog steeds geremd
om zich on- en offline te uiten.
om zich on- en offline te uiten.
12:41
And as she told me,
218
749566
1365
Zoals ze me vertelde,
voelt het nog steeds
voelt het nog steeds
12:42
she still feels like there are thousands
of eyes on her naked body,
of eyes on her naked body,
219
750955
5074
alsof er duizenden ogen
op haar naakte lichaam zijn gericht,
op haar naakte lichaam zijn gericht,
12:48
even though, intellectually,
she knows it wasn't her body.
she knows it wasn't her body.
220
756053
3661
hoewel ze verstandelijk weet
dat het niet haar lichaam was.
dat het niet haar lichaam was.
12:52
And she has frequent panic attacks,
221
760371
2349
Ze heeft regelmatig paniekaanvallen,
12:54
especially when someone she doesn't know
tries to take her picture.
tries to take her picture.
222
762744
4100
vooral wanneer iemand die ze niet kent
probeert een foto van haar te nemen.
probeert een foto van haar te nemen.
12:58
"What if they're going to make
another deepfake?" she thinks to herself.
another deepfake?" she thinks to herself.
223
766868
3511
"Wat als het weer voor een deepfake is?"
denkt ze dan.
13:03
And so for the sake of
individuals like Rana Ayyub
individuals like Rana Ayyub
224
771082
3921
Voor het belang van mensen
zoals Rana Ayyub
zoals Rana Ayyub
13:07
and the sake of our democracy,
225
775027
2306
en voor het belang van onze democratie
13:09
we need to do something right now.
226
777357
2182
moeten we nu echt iets doen.
13:11
Thank you.
227
779563
1151
Dank je.
(Applaus)
13:12
(Applause)
228
780738
2508
ABOUT THE SPEAKER
Danielle Citron - Law professor, deepfake scholarDanielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice.
Why you should listen
As a law professor, Danielle Citron puts her commitment to civil rights into practice. She is vice president of the Cyber Civil Rights Initiative, a nonprofit combatting privacy-invading online abuse that undermines civil rights and civil liberties.
When Citron began addressing cyber harassment ten years ago, it was commonly believed that it was "no big deal," and that any legal response would "break the internet." Those attitudes -- and the heartbreaking stories of victims who were terrorized, silenced and economically damaged -- drove Citron to write her 2014 book, Hate Crimes in Cyberspace. Ever since, she has been working with lawmakers, law enforcers, and tech companies to make online spaces and tools available to all on equal terms. Her latest book project focuses on the importance of sexual privacy and how we should protect it.
Danielle Citron | Speaker | TED.com