TEDSummit 2019
Danielle Citron: How deepfakes undermine truth and threaten democracy
Danielle Citron: Wie Deepfakes die Wahrheit untergraben und die Demokratie bedrohen
Filmed:
Readability: 5
1,533,743 views
Der Einsatz von Deepfake-Technologie zur Manipulation von Videos und Tonaufnahmen für böswillige Zwecke -- ob es nun das Schüren von Gewalt oder die Diffamierung von Politikern und Journalisten ist -- wird zu einer echten Bedrohung. Während diese Werkzeuge immer zugänglicher werden und ihre Produkte wirlichkeitsnäher, wie werden sie prägen, was wir über diese Welt denken? In einem unheilverkündenden Vortrag deckt die Juraprofessorin Danielle Citron auf, wie Deepfakes unser Misstrauen verstärken -- und schlägt Ansätze zum Schutz der Wahrheit vor.
Danielle Citron - Law professor, deepfake scholar
Danielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice. Full bio
Danielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice. Full bio
Double-click the English transcript below to play the video.
00:12
[This talk contains mature content]
0
535
2767
[Dieser Vortrag besteht
aus Inhalten für Erwachsene]
aus Inhalten für Erwachsene]
00:17
Rana Ayyub is a journalist in India
1
5762
2992
Rana Ayyub ist Journalistin in Indien,
00:20
whose work has exposed
government corruption
government corruption
2
8778
2602
die Korruption der Regierung
und Menschenrechtsverletzungen aufdeckte.
und Menschenrechtsverletzungen aufdeckte.
00:24
and human rights violations.
3
12411
2157
00:26
And over the years,
4
14990
1167
Im Verlauf der Jahre
00:28
she's gotten used to vitriol
and controversy around her work.
and controversy around her work.
5
16181
3303
gewöhnte sie sich an die Giftigkeit
und den Streit um ihre Arbeit.
und den Streit um ihre Arbeit.
00:32
But none of it could have prepared her
for what she faced in April 2018.
for what she faced in April 2018.
6
20149
5109
Aber nichts konnte sie darauf vorbereiten,
womit man sie im April 2018 konfrontierte.
womit man sie im April 2018 konfrontierte.
00:38
She was sitting in a café with a friend
when she first saw it:
when she first saw it:
7
26125
3651
Sie saß mit einem Freund in einem Café,
als sie es zum ersten Mal sah:
als sie es zum ersten Mal sah:
00:41
a two-minute, 20-second video
of her engaged in a sex act.
of her engaged in a sex act.
8
29800
4943
ein zwei Minuten und 20 Sekunden
langes Video mit ihr beim Sex.
langes Video mit ihr beim Sex.
00:47
And she couldn't believe her eyes.
9
35188
2349
Sie konnte ihren Augen nicht trauen.
00:49
She had never made a sex video.
10
37561
2273
Sie hatte niemals ein Sex-Video gemacht.
00:52
But unfortunately, thousands
upon thousands of people
upon thousands of people
11
40506
3465
Aber leider würden Tausende
und Abertausende glauben, sie wäre es.
und Abertausende glauben, sie wäre es.
00:55
would believe it was her.
12
43995
1666
Vor etwa drei Monaten
interviewte ich Frau Ayyub,
interviewte ich Frau Ayyub,
00:58
I interviewed Ms. Ayyub
about three months ago,
about three months ago,
13
46673
2944
01:01
in connection with my book
on sexual privacy.
on sexual privacy.
14
49641
2504
wegen meines Buches
über sexuelle Privatsphäre.
über sexuelle Privatsphäre.
01:04
I'm a law professor, lawyer
and civil rights advocate.
and civil rights advocate.
15
52681
3198
Ich bin Jura-Professorin,
Anwältin und Bürgerrechtlerin.
Anwältin und Bürgerrechtlerin.
01:08
So it's incredibly frustrating
knowing that right now,
knowing that right now,
16
56204
4611
Es ist unglaublich frustrierend zu wissen,
dass das Recht im Moment
sehr wenig tun kann, um ihr zu helfen.
sehr wenig tun kann, um ihr zu helfen.
01:12
law could do very little to help her.
17
60839
2238
01:15
And as we talked,
18
63458
1547
Als wir miteinander sprachen,
erklärte sie mir,
erklärte sie mir,
01:17
she explained that she should have seen
the fake sex video coming.
the fake sex video coming.
19
65029
4512
dass sie das gefälschte Sex-Video
hätte kommen sehen sollen.
hätte kommen sehen sollen.
01:22
She said, "After all, sex is so often used
to demean and to shame women,
to demean and to shame women,
20
70038
5596
Sie sagte: "Sex wird so oft benutzt,
um Frauen zu erniedrigen und zu beschämen.
um Frauen zu erniedrigen und zu beschämen.
01:27
especially minority women,
21
75658
2428
Besonders Frauen, die
einer Minderheit zugehören
einer Minderheit zugehören
und solchen, die es wagen,
mächtige Männer herauszufordern."
mächtige Männer herauszufordern."
01:30
and especially minority women
who dare to challenge powerful men,"
who dare to challenge powerful men,"
22
78110
4312
So wie sie es durch ihre Arbeit tat.
01:34
as she had in her work.
23
82446
1533
01:37
The fake sex video went viral in 48 hours.
24
85191
3976
Das gefälschte Sex-Video
verbreitete sich viral in 48 Stunden.
verbreitete sich viral in 48 Stunden.
01:42
All of her online accounts were flooded
with screenshots of the video,
with screenshots of the video,
25
90064
5307
All ihre Online-Kontos wurden
mit Screen-Shots des Videos geflutet,
mit Screen-Shots des Videos geflutet,
mit Todesdrohungen,
von grausamer Vergewaltigung
von grausamer Vergewaltigung
01:47
with graphic rape and death threats
26
95395
2627
01:50
and with slurs about her Muslim faith.
27
98046
2533
und Herabsetzung
ihres muslimischen Glaubens.
ihres muslimischen Glaubens.
01:53
Online posts suggested that
she was "available" for sex.
she was "available" for sex.
28
101426
4564
Online-Kommentare deuteten an,
sie sei für Sex "verfügbar".
sie sei für Sex "verfügbar".
01:58
And she was doxed,
29
106014
1610
Sie wurde "gedoxed",
01:59
which means that her home address
and her cell phone number
and her cell phone number
30
107648
2778
was bedeutet, dass ihre Privatadresse
und ihre Handynummer
und ihre Handynummer
02:02
were spread across the internet.
31
110450
1746
im Internet verbreitet wurden.
02:04
The video was shared
more than 40,000 times.
more than 40,000 times.
32
112879
4084
Das Video wurde
mehr als 40.000 Mal geteilt.
mehr als 40.000 Mal geteilt.
02:09
Now, when someone is targeted
with this kind of cybermob attack,
with this kind of cybermob attack,
33
117760
3936
Wenn jemand zum Ziel dieser Art
von Cybermobbing-Angriff wird,
von Cybermobbing-Angriff wird,
02:13
the harm is profound.
34
121720
2063
ist der Schaden tiefgreifend.
02:16
Rana Ayyub's life was turned upside down.
35
124482
3039
Das Leben von Rana Ayyub
wurde auf den Kopf gestellt.
wurde auf den Kopf gestellt.
02:20
For weeks, she could hardly eat or speak.
36
128211
3334
Wochenlang konnte sie kaum
essen oder sprechen.
essen oder sprechen.
02:23
She stopped writing and closed
all of her social media accounts,
all of her social media accounts,
37
131919
3689
Sie hörte auf zu schreiben und schloss
alle ihre Konten auf Sozialen Medien,
alle ihre Konten auf Sozialen Medien,
02:27
which is, you know, a tough thing to do
when you're a journalist.
when you're a journalist.
38
135632
3158
was heikel ist, wenn man Journalistin ist.
02:31
And she was afraid to go outside
her family's home.
her family's home.
39
139188
3484
Sie fürchtete sich davor,
das Haus ihrer Familie zu verlassen.
das Haus ihrer Familie zu verlassen.
02:34
What if the posters
made good on their threats?
made good on their threats?
40
142696
3022
Was wenn die Postenden
ihre Drohungen wahr machen?
ihre Drohungen wahr machen?
02:38
The UN Council on Human Rights
confirmed that she wasn't being crazy.
confirmed that she wasn't being crazy.
41
146395
4365
Der UN-Menschenrechtsrat bestätigte,
dass sie nicht verrückt war.
dass sie nicht verrückt war.
02:42
It issued a public statement saying
that they were worried about her safety.
that they were worried about her safety.
42
150784
4637
Er gab eine öffentliche Stellungnahme
mit der Aussage,
mit der Aussage,
dass sie um ihre Sicherheit besorgt seien.
02:48
What Rana Ayyub faced was a deepfake:
43
156776
4229
Rana Ayyub sah sich
mit einem Deepfake konfrontiert:
mit einem Deepfake konfrontiert:
02:53
machine-learning technology
44
161029
2540
Lernfähige Technologie,
02:55
that manipulates or fabricates
audio and video recordings
audio and video recordings
45
163593
4111
die Ton- und Videoaufnahmen
manipuliert oder erstellt,
manipuliert oder erstellt,
02:59
to show people doing and saying things
46
167728
2723
um Leute zu zeigen,
wie sie etwas tun oder sagen,
wie sie etwas tun oder sagen,
03:02
that they never did or said.
47
170475
1866
dass sie niemals taten oder sagten.
03:04
Deepfakes appear authentic
and realistic, but they're not;
and realistic, but they're not;
48
172807
3361
Deepfakes erscheinen glaubwürdig
und lebensecht zu sein,
und lebensecht zu sein,
das sind sie aber nicht.
03:08
they're total falsehoods.
49
176192
1772
Sie sind totale Lügen.
03:11
Although the technology
is still developing in its sophistication,
is still developing in its sophistication,
50
179228
3794
Obwohl die Technologie
weiter verfeinert wird,
weiter verfeinert wird,
ist sie weit verbreitet.
03:15
it is widely available.
51
183046
1614
03:17
Now, the most recent attention
to deepfakes arose,
to deepfakes arose,
52
185371
3072
Deepfakes erregten zuletzt Aufmerksamkeit,
03:20
as so many things do online,
53
188467
2161
wie so viele Dinge online,
03:22
with pornography.
54
190652
1255
durch Pornographie.
03:24
In early 2018,
55
192498
2111
Anfang 2018 postete jemand
ein Tool auf Reddit,
ein Tool auf Reddit,
03:26
someone posted a tool on Reddit
56
194633
2468
um Nutzern zu ermöglichen,
Gesichter in Porno-Videos einzufügen.
Gesichter in Porno-Videos einzufügen.
03:29
to allow users to insert faces
into porn videos.
into porn videos.
57
197125
4412
03:33
And what followed was a cascade
of fake porn videos
of fake porn videos
58
201561
3440
Es folgte eine Kaskade
von gefälschten Porno-Videos
von gefälschten Porno-Videos
03:37
featuring people's favorite
female celebrities.
female celebrities.
59
205025
2797
mit den weiblichen Lieblingsprominenten.
03:40
And today, you can go on YouTube
and pull up countless tutorials
and pull up countless tutorials
60
208712
3477
Heutzutage kann man auf YouTube gehen
und auf zahllose Anleitungen
mit schrittweisen Anweisungen zugreifen,
mit schrittweisen Anweisungen zugreifen,
03:44
with step-by-step instructions
61
212213
2286
03:46
on how to make a deepfake
on your desktop application.
on your desktop application.
62
214523
3163
wie man ein Deepfake
mit der Desktop-Anwendung erstellt.
mit der Desktop-Anwendung erstellt.
03:50
And soon we may be even able
to make them on our cell phones.
to make them on our cell phones.
63
218260
3706
Bald werden wir das vielleicht sogar
auf dem Smartphone können.
auf dem Smartphone können.
03:55
Now, it's the interaction
of some of our most basic human frailties
of some of our most basic human frailties
64
223072
5382
Es ist die Wechselwirkung
zwischen einigen unserer grundlegendsten
menschlichen Schwächen und Netzwerk-Tools,
menschlichen Schwächen und Netzwerk-Tools,
04:00
and network tools
65
228478
1682
die Deepfakes in Waffen verwandeln können.
04:02
that can turn deepfakes into weapons.
66
230184
2666
04:04
So let me explain.
67
232874
1200
Um es deutlicher zu machen:
04:06
As human beings, we have
a visceral reaction to audio and video.
a visceral reaction to audio and video.
68
234875
4566
Als menschliche Wesen zeigen wir
tiefsitzende Reaktionen auf Ton und Video.
tiefsitzende Reaktionen auf Ton und Video.
04:11
We believe they're true,
69
239860
1488
Wir glauben sie sind wahr.
04:13
on the notion that
of course you can believe
of course you can believe
70
241372
2078
auf dem Gedanken basierend,
dass man glauben kann,
dass man glauben kann,
04:15
what your eyes and ears are telling you.
71
243474
2478
was die Augen und Ohren wahrnehmen.
04:18
And it's that mechanism
72
246476
1699
Dieser Mechanismus untergräbt vielleicht
unseren gemeinsamen Sinn für Realität.
unseren gemeinsamen Sinn für Realität.
04:20
that might undermine our shared
sense of reality.
sense of reality.
73
248199
3698
Obwohl wir glauben, Deepfakes seien wahr,
04:23
Although we believe deepfakes
to be true, they're not.
to be true, they're not.
74
251921
3147
sind sie es nicht.
Wir werden vom Obszönen,
dem Provokativen angezogen.
dem Provokativen angezogen.
04:27
And we're attracted
to the salacious, the provocative.
to the salacious, the provocative.
75
255604
4157
04:32
We tend to believe
and to share information
and to share information
76
260365
3047
Wir neigen dazu Informationen
zu glauben und zu teilen,
zu glauben und zu teilen,
04:35
that's negative and novel.
77
263436
2023
die negativ und originell sind.
04:37
And researchers have found that online
hoaxes spread 10 times faster
hoaxes spread 10 times faster
78
265809
5019
Forscher fanden heraus,
dass sich Online-Falschmeldungen
zehnmal schneller verbreiten
zehnmal schneller verbreiten
04:42
than accurate stories.
79
270852
1627
als zutreffende Geschichten.
04:46
Now, we're also drawn to information
80
274015
4380
Es zieht uns auch zu Informationen,
die sich mit unseren Ansichten decken.
die sich mit unseren Ansichten decken.
04:50
that aligns with our viewpoints.
81
278419
1892
04:52
Psychologists call that tendency
"confirmation bias."
"confirmation bias."
82
280950
3561
Psychologen nennen diese Neigung
"Bestätigungstendenz".
"Bestätigungstendenz".
04:57
And social media platforms
supercharge that tendency,
supercharge that tendency,
83
285300
4387
Social-Media-Plattformen
übersteigern diese Neigung,
übersteigern diese Neigung,
05:01
by allowing us to instantly
and widely share information
and widely share information
84
289711
3881
indem sie uns ermöglichen,
Informationen im Einklang
mit unseren Ansichten
mit unseren Ansichten
05:05
that accords with our viewpoints.
85
293616
1792
sofort und weitläufig zu teilen.
05:08
Now, deepfakes have the potential to cause
grave individual and societal harm.
grave individual and societal harm.
86
296735
5568
Deepfakes haben das Potential,
ernsten Schaden persönlicher
und gesellschaftlicher Art anzurichten.
und gesellschaftlicher Art anzurichten.
05:15
So, imagine a deepfake
87
303204
2024
Stellen Sie sich einen Deepfake vor,
05:17
that shows American soldiers
in Afganistan burning a Koran.
in Afganistan burning a Koran.
88
305252
4182
der US-Soldaten in Afghanistan zeigt,
wie sie einen Koran verbrennen.
wie sie einen Koran verbrennen.
05:22
You can imagine that that deepfake
would provoke violence
would provoke violence
89
310807
3024
Man kann sich denken,
dass dieser Deepfake zu Gewalt
gegen die Soldaten führen würde.
gegen die Soldaten führen würde.
05:25
against those soldiers.
90
313855
1533
05:27
And what if the very next day
91
315847
2873
Und was, wenn direkt am nächsten Tag
05:30
there's another deepfake that drops,
92
318744
2254
ein weiterer Deepfake geschickt wird,
05:33
that shows a well-known imam
based in London
based in London
93
321022
3317
der einen bekannten Imam aus London zeigt
05:36
praising the attack on those soldiers?
94
324363
2467
und den Angriff auf diese Soldaten lobt?
05:39
We might see violence and civil unrest,
95
327617
3163
Wie erleben vielleicht Gewalt und Unruhen,
05:42
not only in Afganistan
and the United Kingdom,
and the United Kingdom,
96
330804
3249
nicht nur in Afghanistan
und im Vereinigten Königreich,
und im Vereinigten Königreich,
05:46
but across the globe.
97
334077
1515
sondern überall auf der Welt.
Sie sagen vielleicht zu mir:
05:48
And you might say to me,
98
336251
1158
05:49
"Come on, Danielle, that's far-fetched."
99
337433
2247
"Kommen Sie, Danielle,
das ist weit hergeholt."
das ist weit hergeholt."
05:51
But it's not.
100
339704
1150
Aber das ist es nicht.
05:53
We've seen falsehoods spread
101
341293
2191
Wir erlebten, wie Lügen,
die sich auf WhatsApp
die sich auf WhatsApp
05:55
on WhatsApp and other
online message services
online message services
102
343508
2722
und weiteren Online-Nachrichten-
Diensten verbreiteten,
Diensten verbreiteten,
05:58
lead to violence
against ethnic minorities.
against ethnic minorities.
103
346254
2761
Gewalt gegen ethnische Minderheiten
zur Folge gehabt haben.
zur Folge gehabt haben.
06:01
And that was just text --
104
349039
1887
Und das war nur Text.
06:02
imagine if it were video.
105
350950
2024
Stellen Sie sich vor, es wäre ein Video.
06:06
Now, deepfakes have the potential
to corrode the trust that we have
to corrode the trust that we have
106
354593
5357
Deepfakes haben das Potential,
das in demokratische Institutionen
gesetzte Vertrauen, zu zersetzen.
gesetzte Vertrauen, zu zersetzen.
06:11
in democratic institutions.
107
359974
1992
06:15
So, imagine the night before an election.
108
363006
2667
Denken Sie an die Nacht vor einer Wahl.
06:17
There's a deepfake showing
one of the major party candidates
one of the major party candidates
109
365996
3238
Es gäbe ein Deepfake, das einen Kandidaten
einer Volkspartei schwer krank zeigt.
einer Volkspartei schwer krank zeigt.
06:21
gravely sick.
110
369258
1150
Der Deepfake könnte bei der Wahl
den Ausschlag geben
den Ausschlag geben
06:23
The deepfake could tip the election
111
371202
2333
06:25
and shake our sense
that elections are legitimate.
that elections are legitimate.
112
373559
3375
und unser Gefühl erschüttern,
dass Wahlen rechtmäßig sind.
dass Wahlen rechtmäßig sind.
06:30
Imagine if the night before
an initial public offering
an initial public offering
113
378515
3326
Stellen Sie sich vor, in der Nacht
vor einem Börsengang
vor einem Börsengang
06:33
of a major global bank,
114
381865
2333
einer globalen Großbank,
06:36
there was a deepfake
showing the bank's CEO
showing the bank's CEO
115
384222
3149
gäbe es einen Deepfake,
der den Bankvorstand zeigt,
der den Bankvorstand zeigt,
06:39
drunkenly spouting conspiracy theories.
116
387395
2697
wie er Verschwörungstheorien
betrunken vom Stapel lässt.
betrunken vom Stapel lässt.
06:42
The deepfake could tank the IPO,
117
390887
3047
Das Deepfake könnte den Börsengang
in sich zusammenbrechen lassen,
in sich zusammenbrechen lassen,
06:45
and worse, shake our sense
that financial markets are stable.
that financial markets are stable.
118
393958
4115
und schlimmer noch,
unser Gefühl erschüttern,
dass die Finanzmärkte stabil sind.
dass die Finanzmärkte stabil sind.
Deepfakes können das tiefe Misstrauen
ausbeuten und verstärken,
ausbeuten und verstärken,
06:51
So deepfakes can exploit and magnify
the deep distrust that we already have
the deep distrust that we already have
119
399385
6989
das wir schon gegenüber Politikern,
Wirtschaftsführern
Wirtschaftsführern
06:58
in politicians, business leaders
and other influential leaders.
and other influential leaders.
120
406398
4214
und einflussreichen Personen hegen.
07:02
They find an audience
primed to believe them.
primed to believe them.
121
410945
3284
Sie finden ein instruiertes
gläubiges Publikum.
gläubiges Publikum.
07:07
And the pursuit of truth
is on the line as well.
is on the line as well.
122
415287
2765
Das Streben nach Wahrheit
steht auch auf dem Spiel.
steht auch auf dem Spiel.
07:11
Technologists expect
that with advances in AI,
that with advances in AI,
123
419077
3564
Technologen erwarten, dass es
mit dem Fortschritt in der KI
mit dem Fortschritt in der KI
07:14
soon it may be difficult if not impossible
124
422665
3682
bald schwierig, wenn nicht sogar
unmöglich sein wird,
unmöglich sein wird,
07:18
to tell the difference between
a real video and a fake one.
a real video and a fake one.
125
426371
3769
zwischen einem echten Video
und einem gefälschten zu unterscheiden.
und einem gefälschten zu unterscheiden.
07:23
So how can the truth emerge
in a deepfake-ridden marketplace of ideas?
in a deepfake-ridden marketplace of ideas?
126
431022
5341
Wie kann auf einem Marktplatz der Ideen,
der von Deepfakes beherrscht wird,
die Wahrheit heraustreten?
die Wahrheit heraustreten?
07:28
Will we just proceed along
the path of least resistance
the path of least resistance
127
436752
3420
Gehen wir einfach weiter
den Weg des geringsten Widerstandes
den Weg des geringsten Widerstandes
07:32
and believe what we want to believe,
128
440196
2437
und glauben, was wir glauben wollen?
07:34
truth be damned?
129
442657
1150
Die Wahrheit sei verflucht.
07:36
And not only might we believe the fakery,
130
444831
3175
Nicht nur, dass wir vielleicht
der Fälschung glauben,
der Fälschung glauben,
07:40
we might start disbelieving the truth.
131
448030
3326
wir beginnen vielleicht
der Wahrheit zu misstrauen.
der Wahrheit zu misstrauen.
07:43
We've already seen people invoke
the phenomenon of deepfakes
the phenomenon of deepfakes
132
451887
4079
Wir erlebten bereits Leute,
die das Phänomen der Deepfakes anführen,
die das Phänomen der Deepfakes anführen,
07:47
to cast doubt on real evidence
of their wrongdoing.
of their wrongdoing.
133
455990
3920
um Zweifel an echten Beweisen
zu ihrem Fehlverhalten zu sähen.
zu ihrem Fehlverhalten zu sähen.
07:51
We've heard politicians say of audio
of their disturbing comments,
of their disturbing comments,
134
459934
5969
Wir hörten Politiker, die über Aufnahmen
ihrer verstörenden Kommentare sagten:
ihrer verstörenden Kommentare sagten:
07:57
"Come on, that's fake news.
135
465927
1746
"Kommen Sie, das sind 'Fake news'.
07:59
You can't believe what your eyes
and ears are telling you."
and ears are telling you."
136
467697
3920
Man kann nicht glauben, was die Augen
und Ohren wahrnehmen."
und Ohren wahrnehmen."
08:04
And it's that risk
137
472402
1731
Das ist die Gefahr,
08:06
that professor Robert Chesney and I
call the "liar's dividend":
call the "liar's dividend":
138
474157
5436
die Professor Robert Chesney und ich,
die "Dividende des Lügners" nennen:
die "Dividende des Lügners" nennen:
08:11
the risk that liars will invoke deepfakes
139
479617
3357
Die Gefahr, dass Lügner
Deepfakes anführen,
Deepfakes anführen,
08:14
to escape accountability
for their wrongdoing.
for their wrongdoing.
140
482998
2905
um der Rechenschaft
für ihr Fehlverhalten zu entkommen.
für ihr Fehlverhalten zu entkommen.
08:18
So we've got our work cut out for us,
there's no doubt about it.
there's no doubt about it.
141
486963
3071
Wir müssen etwas Schwieriges schaffen,
darüber besteht kein Zweifel.
darüber besteht kein Zweifel.
08:22
And we're going to need
a proactive solution
a proactive solution
142
490606
3325
Wir werden eine vorausschauende Lösung
08:25
from tech companies, from lawmakers,
143
493955
3511
von Technologie-Unternehmen,
vom Gesetzgeber,
vom Gesetzgeber,
von Gesetzeshütern
und den Medien brauchen.
und den Medien brauchen.
08:29
law enforcers and the media.
144
497490
1984
08:32
And we're going to need
a healthy dose of societal resilience.
a healthy dose of societal resilience.
145
500093
4016
Wir benötigen eine gesunde Dosis
gesellschaftlicher Widerstandsfähigkeit.
gesellschaftlicher Widerstandsfähigkeit.
08:37
So now, we're right now engaged
in a very public conversation
in a very public conversation
146
505506
3896
Wir sind gerade mit überaus
öffentlichen Gesprächen
öffentlichen Gesprächen
über die Verantwortung
von Technologie-Unternehmen beschäftigt.
von Technologie-Unternehmen beschäftigt.
08:41
about the responsibility
of tech companies.
of tech companies.
147
509426
2913
Mein Rat an Social-Media-Plattformen war,
08:44
And my advice to social media platforms
148
512926
3032
08:47
has been to change their terms of service
and community guidelines
and community guidelines
149
515982
3873
ihre Nutzungsbedingungen
und die Gemeinschaftsleitlinien zu ändern,
und die Gemeinschaftsleitlinien zu ändern,
08:51
to ban deepfakes that cause harm.
150
519879
2336
um Deepfakes zu sperren,
die Schaden verursachen.
die Schaden verursachen.
08:54
That determination,
that's going to require human judgment,
that's going to require human judgment,
151
522712
3960
Diese Feststellung wird
menschliche Beurteilung erfordern
menschliche Beurteilung erfordern
08:58
and it's expensive.
152
526696
1571
und ist kostspielig.
09:00
But we need human beings
153
528673
2285
Aber wir brauchen menschliche Wesen,
09:02
to look at the content
and context of a deepfake
and context of a deepfake
154
530982
3873
um den Inhalt und den Kontext
von Deepfakes zu betrachten
von Deepfakes zu betrachten
09:06
to figure out if it is
a harmful impersonation
a harmful impersonation
155
534879
3682
und herauszufinden, ob es
eine schädliche Verkörperung
eine schädliche Verkörperung
09:10
or instead, if it's valuable
satire, art or education.
satire, art or education.
156
538585
4382
oder stattdessen eine wertvolle Satire,
Kunst oder Bildung ist.
Kunst oder Bildung ist.
09:16
So now, what about the law?
157
544118
1495
Was ist mit dem Recht?
09:18
Law is our educator.
158
546666
2349
Das Recht ist unser Lehrer.
09:21
It teaches us about
what's harmful and what's wrong.
what's harmful and what's wrong.
159
549515
4038
Es lehrt uns, was gefährlich
und falsch ist.
und falsch ist.
09:25
And it shapes behavior it deters
by punishing perpetrators
by punishing perpetrators
160
553577
4555
Es formt Verhalten, es schreckt
Täter ab, indem es bestraft,
Täter ab, indem es bestraft,
09:30
and securing remedies for victims.
161
558156
2267
und garantiert Rechtsmittel für die Opfer.
09:33
Right now, law is not up to
the challenge of deepfakes.
the challenge of deepfakes.
162
561148
4280
Zur Zeit ist das Recht nicht auf der Höhe
der Herausforderung durch Deepfakes.
der Herausforderung durch Deepfakes.
09:38
Across the globe,
163
566116
1390
Überall auf der Welt
09:39
we lack well-tailored laws
164
567530
2444
mangelt es an maßgeschneidertem Recht,
09:41
that would be designed to tackle
digital impersonations
digital impersonations
165
569998
3570
das entworfen wäre,
digitalen Identitätswechsel anzugehen,
digitalen Identitätswechsel anzugehen,
09:45
that invade sexual privacy,
166
573592
2231
die in sexuelle Privatsphäre eindringt,
09:47
that damage reputations
167
575847
1387
die gute Namen beschädigt
09:49
and that cause emotional distress.
168
577258
1951
und emotionalen Schmerz verursacht.
09:51
What happened to Rana Ayyub
is increasingly commonplace.
is increasingly commonplace.
169
579725
3873
Was Rana Ayyub passierte,
wird zunehmend zur Alltäglichkeit.
wird zunehmend zur Alltäglichkeit.
Doch als sie sich an die Gesetzeshüter
in Delhi wandte, sagte man ihr,
in Delhi wandte, sagte man ihr,
09:56
Yet, when she went
to law enforcement in Delhi,
to law enforcement in Delhi,
170
584074
2214
09:58
she was told nothing could be done.
171
586312
2135
es könnte nichts unternommen werden.
10:01
And the sad truth is
that the same would be true
that the same would be true
172
589101
3183
Und die traurige Wahrheit ist:
Das Gleiche gilt für Europa
und die Vereinigten Staaten.
und die Vereinigten Staaten.
10:04
in the United States and in Europe.
173
592308
2266
10:07
So we have a legal vacuum
that needs to be filled.
that needs to be filled.
174
595300
4356
Wir haben einen rechtsfreien Raum,
der gefüllt werden muss.
der gefüllt werden muss.
10:12
My colleague Dr. Mary Anne Franks and I
are working with US lawmakers
are working with US lawmakers
175
600292
4092
Meine Kollegin, Dr. Mary Anne Franks,
und ich erarbeiten gemeinsam
und ich erarbeiten gemeinsam
10:16
to devise legislation that would ban
harmful digital impersonations
harmful digital impersonations
176
604408
4804
mit US-Gesetzgebern Gesetzestexte,
die Identitätswechsel verbieten,
die Identitätswechsel verbieten,
10:21
that are tantamount to identity theft.
177
609236
2533
der gleichbedeutend
mit Identitätsdiebstahl ist.
mit Identitätsdiebstahl ist.
10:24
And we've seen similar moves
178
612252
2126
Wir haben ähnliche Schritte
10:26
in Iceland, the UK and Australia.
179
614402
3301
in Island, dem Vereinigten Königreich
und Australien erlebt.
und Australien erlebt.
10:30
But of course, that's just a small piece
of the regulatory puzzle.
of the regulatory puzzle.
180
618157
3259
Aber selbstverständlich ist das nur
ein kleiner Teil des Regelungspuzzles.
ein kleiner Teil des Regelungspuzzles.
10:34
Now, I know law is not a cure-all. Right?
181
622911
3169
Ich weiß, dass Recht
kein Allheilmittel ist, oder?
kein Allheilmittel ist, oder?
10:38
It's a blunt instrument.
182
626104
1600
Es ist ein stumpfes Instrument.
10:40
And we've got to use it wisely.
183
628346
1539
Und wir müssen es weise einsetzen.
10:42
It also has some practical impediments.
184
630411
2812
Es hat auch einige praktische Hemmschuhe.
10:45
You can't leverage law against people
you can't identify and find.
you can't identify and find.
185
633657
5044
Man kann Recht nicht gegen Leute nutzen,
die man nicht identifizieren
und auffinden kann.
und auffinden kann.
10:51
And if a perpetrator lives
outside the country
outside the country
186
639463
3286
Wenn ein Täter nicht
im Land des Opfers lebt,
im Land des Opfers lebt,
10:54
where a victim lives,
187
642773
1754
kann man vielleicht nicht darauf bestehen,
10:56
then you may not be able to insist
188
644551
1629
10:58
that the perpetrator
come into local courts
come into local courts
189
646204
2349
dass der Täter zum Amtsgericht kommt,
um sich der Gerechtigkeit zu stellen.
um sich der Gerechtigkeit zu stellen.
11:00
to face justice.
190
648577
1150
11:02
And so we're going to need
a coordinated international response.
a coordinated international response.
191
650236
4063
Wir benötigen eine koordinierte
internationale Antwort.
internationale Antwort.
11:07
Education has to be part
of our response as well.
of our response as well.
192
655819
3333
Schulung muss auch ein Teil
unserer Antwort sein.
unserer Antwort sein.
11:11
Law enforcers are not
going to enforce laws
going to enforce laws
193
659803
3731
Gesetzeshüter setzen keine Gesetze durch,
11:15
they don't know about
194
663558
1458
von denen sie nichts wissen
11:17
and proffer problems
they don't understand.
they don't understand.
195
665040
2596
und Probleme ansprechen,
die sie nicht verstehen.
die sie nicht verstehen.
11:20
In my research on cyberstalking,
196
668376
2191
Bei meiner Forschung
zu Cyberstalking fand ich heraus,
zu Cyberstalking fand ich heraus,
11:22
I found that law enforcement
lacked the training
lacked the training
197
670591
3499
dass den Gesetzeshütern
die Schulung fehlt,
die Schulung fehlt,
11:26
to understand the laws available to them
198
674114
2582
um die gültigen Gesetze und das Problem
des Online-Missbrauchs zu verstehen.
des Online-Missbrauchs zu verstehen.
11:28
and the problem of online abuse.
199
676720
2349
11:31
And so often they told victims,
200
679093
2682
So oft wird den Opfern gesagt:
11:33
"Just turn your computer off.
Ignore it. It'll go away."
Ignore it. It'll go away."
201
681799
3971
"Schalten Sie einfach den Computer aus.
Ignorieren Sie es. Es geht vorbei."
Ignorieren Sie es. Es geht vorbei."
11:38
And we saw that in Rana Ayyub's case.
202
686261
2466
Wir erlebten das im Fall von Rana Ayyub.
11:41
She was told, "Come on,
you're making such a big deal about this.
you're making such a big deal about this.
203
689102
3468
Man sagte ihr: "Komm schon, Du machst
so eine große Sache daraus.
so eine große Sache daraus.
11:44
It's boys being boys."
204
692594
1743
Jungs sind nun mal Jungs."
11:47
And so we need to pair new legislation
with efforts at training.
with efforts at training.
205
695268
5252
Wir müssen also neue Gesetzgebung
mit Schulungsmaßnahmen koppeln.
mit Schulungsmaßnahmen koppeln.
11:54
And education has to be aimed
on the media as well.
on the media as well.
206
702053
3429
Und Schulungen müssen auch
auf die Medien gerichtet werden.
auf die Medien gerichtet werden.
11:58
Journalists need educating
about the phenomenon of deepfakes
about the phenomenon of deepfakes
207
706180
4260
Journalisten brauchen Schulungen
zum Phänomen der Deepfakes,
zum Phänomen der Deepfakes,
12:02
so they don't amplify and spread them.
208
710464
3039
damit sie sie nicht verstärken
und sie verbreiten.
und sie verbreiten.
12:06
And this is the part
where we're all involved.
where we're all involved.
209
714583
2168
Das ist der Teil,
wo wir alle beteiligt sind.
wo wir alle beteiligt sind.
12:08
Each and every one of us needs educating.
210
716775
3855
Alle von uns brauchen Schulungen.
12:13
We click, we share, we like,
and we don't even think about it.
and we don't even think about it.
211
721375
3675
Wir klicken, wir teilen, wir liken
und denken noch nicht mal darüber nach.
und denken noch nicht mal darüber nach.
12:17
We need to do better.
212
725551
1547
Wir müssen es besser machen.
12:19
We need far better radar for fakery.
213
727726
2809
Wir brauchen für Fälschungen
einen viel besseren Radar.
einen viel besseren Radar.
12:25
So as we're working
through these solutions,
through these solutions,
214
733744
3841
Während wir uns
durch die Lösungen arbeiten,
durch die Lösungen arbeiten,
12:29
there's going to be
a lot of suffering to go around.
a lot of suffering to go around.
215
737609
2563
liegt noch viel Leid vor uns.
12:33
Rana Ayyub is still wrestling
with the fallout.
with the fallout.
216
741093
2746
Rana Ayyub kämpft immer noch
mit den negativen Folgen.
mit den negativen Folgen.
12:36
She still doesn't feel free
to express herself on- and offline.
to express herself on- and offline.
217
744669
4189
Sie kann sich noch immer nicht ohne Zögern
online und offline ausdrücken.
online und offline ausdrücken.
12:41
And as she told me,
218
749566
1365
Und wie sie mir sagte,
12:42
she still feels like there are thousands
of eyes on her naked body,
of eyes on her naked body,
219
750955
5074
fühlt sie immer noch, als starrten
tausende Augen auf ihren nackten Körper,
tausende Augen auf ihren nackten Körper,
12:48
even though, intellectually,
she knows it wasn't her body.
she knows it wasn't her body.
220
756053
3661
obwohl sie verstandesmäßig weiß,
dass es nicht ihr Körper war.
dass es nicht ihr Körper war.
12:52
And she has frequent panic attacks,
221
760371
2349
Sie hat häufige Panikattacken
und besonders dann, wenn jemand,
den sie nicht kennt, versucht,
den sie nicht kennt, versucht,
12:54
especially when someone she doesn't know
tries to take her picture.
tries to take her picture.
222
762744
4100
ein Foto von ihr zu machen.
12:58
"What if they're going to make
another deepfake?" she thinks to herself.
another deepfake?" she thinks to herself.
223
766868
3511
Sie denkt sich: "Was, wenn man
ein anderes Deepfake machen wird?"
ein anderes Deepfake machen wird?"
13:03
And so for the sake of
individuals like Rana Ayyub
individuals like Rana Ayyub
224
771082
3921
Um Personen wie Rana Ayyub willen
13:07
and the sake of our democracy,
225
775027
2306
und um unserer Demokratie willen,
13:09
we need to do something right now.
226
777357
2182
müssen wir jetzt etwas unternehmen.
13:11
Thank you.
227
779563
1151
Danke.
13:12
(Applause)
228
780738
2508
(Applaus)
ABOUT THE SPEAKER
Danielle Citron - Law professor, deepfake scholarDanielle Citron writes, speaks and teaches her academic loves: privacy, free speech and civil rights. Through her work with privacy organizations, she also puts these ideas into practice.
Why you should listen
As a law professor, Danielle Citron puts her commitment to civil rights into practice. She is vice president of the Cyber Civil Rights Initiative, a nonprofit combatting privacy-invading online abuse that undermines civil rights and civil liberties.
When Citron began addressing cyber harassment ten years ago, it was commonly believed that it was "no big deal," and that any legal response would "break the internet." Those attitudes -- and the heartbreaking stories of victims who were terrorized, silenced and economically damaged -- drove Citron to write her 2014 book, Hate Crimes in Cyberspace. Ever since, she has been working with lawmakers, law enforcers, and tech companies to make online spaces and tools available to all on equal terms. Her latest book project focuses on the importance of sexual privacy and how we should protect it.
Danielle Citron | Speaker | TED.com