TED2014
Del Harvey: Protecting Twitter users (sometimes from themselves)
Del Harvey: Bevreemdende proporties bij Twitter
Filmed:
Readability: 4.4
993,199 views
Als honderdduizenden Tweets per seconde worden verstuurd, komt een geval van 1 op een miljoen -- bijvoorbeeld een onwaarschijnlijk klinkend scenario dat gebruikers kan schaden -- 500 keer per dag voor. Voor Del Harvey, hoofd van het beveiligingsteam bij Twitter, betekent dit werk aan de winkel. De veiligheidsexpert vraagt zich dagelijks af hoe doemscenario's kunnen worden voorkomen, terwijl mensen wereldwijd zich onbelemmerd kunnen uiten. Met een dosis droge humor beschrijft ze haar taak als hoeder van 240 miljoen gebruikers.
Del Harvey - Security maven
Del Harvey works to define policy and to ensure user safety and security in the challenging realm of modern social media. Full bio
Del Harvey works to define policy and to ensure user safety and security in the challenging realm of modern social media. Full bio
Double-click the English transcript below to play the video.
00:12
My job at Twitter
0
984
1291
Mijn taak bij Twitter
00:14
is to ensure user trust,
1
2275
1978
is het waarborgen
van gebruikersvertrouwen
van gebruikersvertrouwen
00:16
protect user rights and keep users safe,
2
4253
2837
en het beschermen van
gebruikers en hun rechten.
gebruikers en hun rechten.
00:19
both from each other
3
7090
1260
Bescherming tegen elkaar,
00:20
and, at times, from themselves.
4
8350
3899
en soms ook tegen zichzelf.
00:24
Let's talk about what scale looks like at Twitter.
5
12249
4275
Laten we even kijken
op welke schaal Twitter opereert.
op welke schaal Twitter opereert.
00:28
Back in January 2009,
6
16524
2870
In januari 2009
00:31
we saw more than two million new tweets each day
7
19394
3331
zagen we dagelijks
ruim 2 miljoen nieuwe tweets
ruim 2 miljoen nieuwe tweets
00:34
on the platform.
8
22725
1764
op het platform.
00:36
January 2014, more than 500 million.
9
24489
5908
In januari 2014 meer dan 500 miljoen.
00:42
We were seeing two million tweets
10
30397
2492
We zagen 2 miljoen nieuwe tweets
00:44
in less than six minutes.
11
32889
2176
in minder dan 6 minuten.
00:47
That's a 24,900-percent increase.
12
35065
6984
Dat is een stijging met 24.900 procent.
00:54
Now, the vast majority of activity on Twitter
13
42049
3253
Verreweg de meeste activiteit op Twitter
00:57
puts no one in harm's way.
14
45302
1503
is voor niemand gevaarlijk.
00:58
There's no risk involved.
15
46805
1935
Niemand loopt risico.
01:00
My job is to root out and prevent activity that might.
16
48740
5753
Mijn taak is, om de uitzonderingen
te bestrijden en voorkomen.
te bestrijden en voorkomen.
01:06
Sounds straightforward, right?
17
54493
1973
Klinkt eenvoudig, niet?
Je zou zelfs kunnen denken
dat het makkelijk is,
dat het makkelijk is,
01:08
You might even think it'd be easy,
18
56466
1152
01:09
given that I just said the vast majority
19
57618
2170
aangezien ik net zei
dat de meeste activiteit
dat de meeste activiteit
01:11
of activity on Twitter puts no one in harm's way.
20
59788
3810
op Twitter niemand schaadt.
01:15
Why spend so much time
21
63598
2169
Waarom sporen we zo naarstig
01:17
searching for potential calamities
22
65767
2743
naar potentiële calamiteiten
01:20
in innocuous activities?
23
68510
2900
in onschuldige activiteiten?
Gezien de huidige schaal van Twitter
01:23
Given the scale that Twitter is at,
24
71410
2940
01:26
a one-in-a-million chance happens
25
74350
2357
gebeurt iets met een kans van
1 op een miljoen
1 op een miljoen
01:28
500 times a day.
26
76707
4876
500 maal per dag.
Dat is hetzelfde voor andere bedrijven
01:33
It's the same for other companies
27
81583
1445
01:35
dealing at this sort of scale.
28
83028
1471
die op deze schaal opereren.
01:36
For us, edge cases,
29
84499
1708
Voor ons zijn randgevallen --
01:38
those rare situations that are unlikely to occur,
30
86207
3625
die zeldzame situaties
waarop weinig kans bestaat --
waarop weinig kans bestaat --
01:41
are more like norms.
31
89832
2622
meer de norm.
01:44
Say 99.999 percent of tweets
32
92454
3942
Stel dat 99,999% van alle tweets
voor niemand schadelijk zijn.
01:48
pose no risk to anyone.
33
96396
1888
Er dreigt voor niemand gevaar.
01:50
There's no threat involved.
34
98284
1066
01:51
Maybe people are documenting travel landmarks
35
99350
2954
Mensen beschrijven wellicht
een reisbestemming
een reisbestemming
01:54
like Australia's Heart Reef,
36
102304
1963
zoals een koraalrif in Australië,
01:56
or tweeting about a concert they're attending,
37
104267
2921
of tweeten over een concert
dat ze bijwonen,
dat ze bijwonen,
01:59
or sharing pictures of cute baby animals.
38
107188
4747
of delen foto's van
schattige jonge dieren.
schattige jonge dieren.
02:03
After you take out that 99.999 percent,
39
111935
4509
Nadat je die 99,999% weglaat,
02:08
that tiny percentage of tweets remaining
40
116444
3529
blijft er een minuscuul
percentage aan tweets over.
percentage aan tweets over.
02:11
works out to roughly
41
119973
2389
Dat blijken er per maand
02:14
150,000 per month.
42
122362
3475
150.000 te zijn.
02:17
The sheer scale of what we're dealing with
43
125837
2456
De schaal waarmee we van doen hebben,
02:20
makes for a challenge.
44
128293
2312
houdt een uitdaging in.
02:22
You know what else makes my role
45
130605
1178
Weet je wat mijn rol
nog meer
nog meer
02:23
particularly challenging?
46
131783
3107
buitengewoon uitdagend maakt?
02:26
People do weird things.
47
134890
5123
Mensen .. doen .. gekke .. dingen.
02:32
(Laughter)
48
140013
1829
(Gelach)
02:33
And I have to figure out what they're doing,
49
141842
2391
En ik moet uitvogelen
wat ze aan het doen zijn,
wat ze aan het doen zijn,
02:36
why, and whether or not there's risk involved,
50
144233
2249
waarom, en of er risico's aan kleven.
02:38
often without much in terms of context
51
146482
2168
Vaak zonder veel context
02:40
or background.
52
148650
1847
of achtergrond.
02:42
I'm going to show you some examples
53
150497
2077
Ik zal wat voorbeelden laten zien
02:44
that I've run into during my time at Twitter --
54
152574
2005
van dingen die ik bij Twitter tegenkwam --
02:46
these are all real examples —
55
154579
1620
alles waargebeurd --
02:48
of situations that at first seemed cut and dried,
56
156199
2653
van situaties die op het eerste oog
zonneklaar leken,
zonneklaar leken,
02:50
but the truth of the matter was something
57
158852
1643
maar waar in feite
iets heel anders speelde.
iets heel anders speelde.
02:52
altogether different.
58
160495
1550
De details zijn veranderd
02:54
The details have been changed
59
162045
1977
02:56
to protect the innocent
60
164022
1257
ter bescherming van de onschuldigen
02:57
and sometimes the guilty.
61
165279
3233
en soms de schuldigen.
03:00
We'll start off easy.
62
168512
3005
We beginnen met een makkelijke.
03:03
["Yo bitch"]
63
171517
1793
["Yo Bitch"]
03:05
If you saw a Tweet that only said this,
64
173310
3228
Als je een tweet zag
met alleen deze inhoud,
met alleen deze inhoud,
zou je kunnen denken
03:08
you might think to yourself,
65
176538
1694
dat hier gescholden wordt.
03:10
"That looks like abuse."
66
178232
1653
03:11
After all, why would you
want to receive the message,
want to receive the message,
67
179885
3107
Immers, waarom zou je
het bericht willen krijgen:
het bericht willen krijgen:
03:14
"Yo, bitch."
68
182992
2218
"Yo Bitch"
(Hoi, teef).
(Hoi, teef).
03:17
Now, I try to stay relatively hip
69
185210
4663
Welnu, ik probeer
enigszins de laatste
enigszins de laatste
03:21
to the latest trends and memes,
70
189873
2512
trends en memes bij te houden,
03:24
so I knew that "yo, bitch"
71
192385
2704
dus ik wist dat "yo, bitch"
03:27
was also often a common greeting between friends,
72
195089
3154
ook een gangbare begroeting
was onder vrienden,
was onder vrienden,
03:30
as well as being a popular "Breaking Bad" reference.
73
198243
4262
evenals een populaire referentie
aan de serie 'Breaking Bad'.
aan de serie 'Breaking Bad'.
03:34
I will admit that I did not expect
74
202505
2487
Grif geef ik toe
dat ik niet verwachtte
dat ik niet verwachtte
03:36
to encounter a fourth use case.
75
204992
2841
een vierde betekenis
tegen te komen.
tegen te komen.
03:39
It turns out it is also used on Twitter
76
207833
3104
Het bleek dat het op Twitter
ook gebruikt wordt
ook gebruikt wordt
03:42
when people are role-playing as dogs.
77
210937
3062
wanneer mensen spelen
dat ze hond zijn.
dat ze hond zijn.
03:45
(Laughter)
78
213999
5279
(Gelach)
03:51
And in fact, in that case,
79
219278
1666
En dan is het in feite
03:52
it's not only not abusive,
80
220944
1609
niet alleen geen schelden,
03:54
it's technically just an accurate greeting.
81
222553
3139
maar technisch gezien
juist een accurate begroeting.
juist een accurate begroeting.
03:57
(Laughter)
82
225692
2889
(Gelach)
04:00
So okay, determining whether or not
83
228581
2071
Oké, bepalen of iets schelden is
04:02
something is abusive without context,
84
230652
1848
zonder de context,
04:04
definitely hard.
85
232500
1592
is behoorlijk moeilijk.
04:06
Let's look at spam.
86
234092
2717
Laten we nu kijken naar spam.
04:08
Here's an example of an account engaged
87
236809
1960
Hier is een voorbeeld van een account
04:10
in classic spammer behavior,
88
238769
1668
die klassiek spammer-gedrag vertoont:
04:12
sending the exact same message
89
240437
1559
hetzelfde bericht wordt verstuurd
naar duizenden mensen.
naar duizenden mensen.
04:13
to thousands of people.
90
241996
1804
04:15
While this is a mockup I put
together using my account,
together using my account,
91
243800
2793
Dit voorbeeld maakte ik zelf
met mijn eigen account,
met mijn eigen account,
04:18
we see accounts doing this all the time.
92
246593
3001
maar wij zien voortdurend
accounts die dit doen.
accounts die dit doen.
04:21
Seems pretty straightforward.
93
249594
1979
Het lijkt duidelijk.
04:23
We should just automatically suspend accounts
94
251573
2053
We zouden accounts
die dit doen
die dit doen
04:25
engaging in this kind of behavior.
95
253626
3307
gewoon automatisch moeten opheffen.
04:28
Turns out there's some exceptions to that rule.
96
256933
3210
Maar er blijken uitzonderingen
te zijn op die regel.
te zijn op die regel.
04:32
Turns out that that message
could also be a notification
could also be a notification
97
260143
2883
Die boodschap zou
ook het bericht kunnen zijn
ook het bericht kunnen zijn
04:35
you signed up for that the International
Space Station is passing overhead
Space Station is passing overhead
98
263026
3889
dat je aangevraagd hebt
om te weten wanneer het
Internationale Ruimtestation overvliegt
Internationale Ruimtestation overvliegt
04:38
because you wanted to go outside
99
266915
1846
zodat je buiten kan gaan kijken.
04:40
and see if you could see it.
100
268761
1948
04:42
You're not going to get that chance
101
270709
1225
Die kans krijg je niet
04:43
if we mistakenly suspend the account
102
271934
1847
als wij per abuis
die account opheffen
die account opheffen
04:45
thinking it's spam.
103
273781
2266
omdat het spam lijkt.
04:48
Okay. Let's make the stakes higher.
104
276047
3526
Oké.
Laten we de inzet verhogen.
Laten we de inzet verhogen.
04:51
Back to my account,
105
279573
1916
Terug naar mijn account,
04:53
again exhibiting classic behavior.
106
281489
3505
dat klassiek gedrag vertoont.
04:56
This time it's sending the same message and link.
107
284994
2643
Deze keer verstuurt het
dezelfde boodschap met link.
dezelfde boodschap met link.
04:59
This is often indicative of
something called phishing,
something called phishing,
108
287637
2774
Dit is wat vaak gebeurt
bij het zogenaamde 'phishing'.
bij het zogenaamde 'phishing'.
05:02
somebody trying to steal another
person's account information
person's account information
109
290411
3178
Iemand probeert de accountinformatie
van een ander te stelen
van een ander te stelen
05:05
by directing them to another website.
110
293589
2203
door hem naar een andere
website te sturen.
website te sturen.
05:07
That's pretty clearly not a good thing.
111
295792
4194
Dat is duidelijk geen goede zaak.
05:11
We want to, and do, suspend accounts
112
299986
1930
Dit soort accounts
heffen we op.
heffen we op.
05:13
engaging in that kind of behavior.
113
301916
2624
Waarom is de inzet hierbij hoger?
05:16
So why are the stakes higher for this?
114
304540
3247
05:19
Well, this could also be a bystander at a rally
115
307787
2999
Dit zou ook een toeschouwer
kunnen zijn bij een betoging,
kunnen zijn bij een betoging,
05:22
who managed to record a video
116
310786
1910
die zojuist een video heeft opgenomen
05:24
of a police officer beating a non-violent protester
117
312696
3270
van een politieagent die
een geweldloze demonstrant slaat
een geweldloze demonstrant slaat
05:27
who's trying to let the world know what's happening.
118
315966
2975
en dit aan de wereld wil laten zien.
05:30
We don't want to gamble
119
318941
1643
We willen niet per ongeluk
05:32
on potentially silencing that crucial speech
120
320584
2517
zo'n belangrijke boodschap
in de kiem smoren
in de kiem smoren
05:35
by classifying it as spam and suspending it.
121
323101
2929
door hem als spam aan te merken
en op te heffen.
en op te heffen.
05:38
That means we evaluate hundreds of parameters
122
326030
2879
Dit betekent dat we
honderden kenmerken evalueren
honderden kenmerken evalueren
05:40
when looking at account behaviors,
123
328909
1688
als we naar accountgedrag kijken
05:42
and even then, we can still get it wrong
124
330597
2016
en zelfs dan kunnen fout zitten
05:44
and have to reevaluate.
125
332613
2236
en bij moeten sturen.
05:46
Now, given the sorts of challenges I'm up against,
126
334849
3708
Gezien het soort uitdagingen
die ik tegenkom
die ik tegenkom
05:50
it's crucial that I not only predict
127
338557
2696
is het cruciaal dat ik
het onverwachte
het onverwachte
05:53
but also design protections for the unexpected.
128
341253
3784
niet alleen voorspel,
maar er ook bescherming tegen bied.
maar er ook bescherming tegen bied.
05:57
And that's not just an issue for me,
129
345037
2342
En dat is niet alleen een zaak voor mij,
05:59
or for Twitter, it's an issue for you.
130
347379
2087
of voor Twitter,
maar ook voor jou.
maar ook voor jou.
06:01
It's an issue for anybody who's building or creating
131
349466
2406
Dit speelt voor iedereen
die iets bouwt of maakt
die iets bouwt of maakt
06:03
something that you think is going to be amazing
132
351872
1925
dat geweldig gaat zijn
06:05
and will let people do awesome things.
133
353797
2789
en mensen tot grote dingen
in staat stelt.
in staat stelt.
06:08
So what do I do?
134
356586
2866
Dus wat doe ik?
06:11
I pause and I think,
135
359452
3318
Ik stop en denk na:
hoe zou dit allemaal
06:14
how could all of this
136
362770
2095
06:16
go horribly wrong?
137
364865
3793
volledig fout kunnen gaan?
06:20
I visualize catastrophe.
138
368658
4453
Ik visualiseer catastrofes.
06:25
And that's hard. There's a sort of
139
373111
2463
Dat is moeilijk.
Er is een soort
Er is een soort
inherente cognitieve dissonantie
wanneer je dat doet.
wanneer je dat doet.
06:27
inherent cognitive dissonance in doing that,
140
375574
2848
06:30
like when you're writing your wedding vows
141
378422
1812
Alsof je je huwelijksbelofte opschrijft,
06:32
at the same time as your prenuptial agreement.
142
380234
2646
en tegelijkertijd je
huwelijkse voorwaarden.
huwelijkse voorwaarden.
06:34
(Laughter)
143
382880
1696
(Gelach)
06:36
But you still have to do it,
144
384576
2373
Maar toch moet je het doen,
06:38
particularly if you're marrying
500 million tweets per day.
500 million tweets per day.
145
386949
4446
vooral als je trouwt
met 500 miljoen tweets per dag.
met 500 miljoen tweets per dag.
06:43
What do I mean by "visualize catastrophe?"
146
391395
3097
Wat bedoel ik met
'catastrofes visualiseren' ?
'catastrofes visualiseren' ?
06:46
I try to think of how something as
147
394492
2762
Ik probeer me voor te stellen
hoe iets onschuldigs
als de afbeelding van de kat
als de afbeelding van de kat
06:49
benign and innocuous as a picture of a cat
148
397254
3228
dodelijk zou kunnen zijn
06:52
could lead to death,
149
400482
1104
06:53
and what to do to prevent that.
150
401586
2326
en hoe dat te voorkomen.
Dat is toevallig mijn volgende voorbeeld.
06:55
Which happens to be my next example.
151
403912
2383
06:58
This is my cat, Eli.
152
406295
3110
Dit is mijn kat, Eli.
We wilden gebruikers
de mogelijkheid geven
de mogelijkheid geven
07:01
We wanted to give users the ability
153
409405
1981
foto's bij hun tweets te voegen.
07:03
to add photos to their tweets.
154
411386
2073
Een foto zegt meer
dan 1000 woorden.
dan 1000 woorden.
07:05
A picture is worth a thousand words.
155
413459
1597
07:07
You only get 140 characters.
156
415056
2009
Je hebt maar 140 tekens.
Voeg een foto toe aan je tweet
07:09
You add a photo to your tweet,
157
417065
1200
07:10
look at how much more content you've got now.
158
418265
3038
en zie hoeveel meer content je hebt.
07:13
There's all sorts of great things you can do
159
421303
1677
Je kan massa's geweldige dingen doen
07:14
by adding a photo to a tweet.
160
422980
2007
door een foto bij een tweet te stoppen.
07:16
My job isn't to think of those.
161
424987
2280
Daar houd ik me niet mee bezig.
07:19
It's to think of what could go wrong.
162
427267
2747
Ik moet bedenken wat er mis kan gaan.
07:22
How could this picture
163
430014
1892
Hoe kan deze foto
07:23
lead to my death?
164
431906
3539
tot mijn dood leiden?
07:27
Well, here's one possibility.
165
435445
3160
Nou, hier is één mogelijkheid.
Er zit in die afbeelding
méér dan alleen een kat.
méér dan alleen een kat.
07:30
There's more in that picture than just a cat.
166
438605
3086
07:33
There's geodata.
167
441691
2092
Er is geodata.
07:35
When you take a picture with your smartphone
168
443783
2212
Als je een foto neemt
met je smartphone of digitale camera
met je smartphone of digitale camera
07:37
or digital camera,
169
445995
1299
slaat deze een heleboel
extra informatie op
extra informatie op
07:39
there's a lot of additional information
170
447294
1654
07:40
saved along in that image.
171
448948
1616
bij die afbeelding.
07:42
In fact, this image also contains
172
450564
1932
In feite bevat deze afbeelding tevens
07:44
the equivalent of this,
173
452496
1805
het equivalent hiervan,
07:46
more specifically, this.
174
454301
3079
of specifieker: dit.
Zeker, het is onwaarschijnlijk
dat iemand zal trachten
dat iemand zal trachten
07:49
Sure, it's not likely that someone's going to try
175
457380
1956
07:51
to track me down and do me harm
176
459336
2285
me op te sporen
en kwaad doen
en kwaad doen
07:53
based upon image data associated
177
461621
1784
naar aanleiding van beeldinformatie
07:55
with a picture I took of my cat,
178
463405
1948
uit de foto die ik nam
van mijn kat,
van mijn kat,
07:57
but I start by assuming the worst will happen.
179
465353
3651
maar ik ga uit
van het ergste geval.
van het ergste geval.
08:01
That's why, when we launched photos on Twitter,
180
469004
2338
Daarom besloten we,
bij de lancering van foto's op Twitter,
bij de lancering van foto's op Twitter,
08:03
we made the decision to strip that geodata out.
181
471342
3821
om al die geodata te wissen.
08:07
(Applause)
182
475163
5847
(Applaus)
08:13
If I start by assuming the worst
183
481010
2613
Als ik begin met
het ergste te veronderstellen
het ergste te veronderstellen
08:15
and work backwards,
184
483623
947
en dan terugwerk,
08:16
I can make sure that the protections we build
185
484570
2553
kan ik verzekeren
dat de bescherming die we bouwen,
dat de bescherming die we bouwen,
08:19
work for both expected
186
487123
1768
werkt voor zowel verwachte
08:20
and unexpected use cases.
187
488891
2078
als onverwachte gevallen.
08:22
Given that I spend my days and nights
188
490969
2945
Gezien het feit
dat ik me dag en nacht
dat ik me dag en nacht
08:25
imagining the worst that could happen,
189
493914
2541
de ergste scenario's voorstel,
08:28
it wouldn't be surprising if
my worldview was gloomy.
my worldview was gloomy.
190
496455
4257
zou het niet verwonderlijk zijn
als mijn wereldbeeld zwart was.
als mijn wereldbeeld zwart was.
08:32
(Laughter)
191
500712
1783
(Gelach)
08:34
It's not.
192
502495
1417
Dat is het niet.
08:35
The vast majority of interactions I see --
193
503912
3876
Het leeuwendeel van
de interacties die ik zie --
de interacties die ik zie --
08:39
and I see a lot, believe me -- are positive,
194
507788
3901
en ik zie een hoop, geloof me --
zijn positief,
zijn positief,
08:43
people reaching out to help
195
511689
1924
mensen die elkaar willen helpen
08:45
or to connect or share information with each other.
196
513613
3448
willen bereiken of
informatie met elkaar delen.
informatie met elkaar delen.
08:49
It's just that for those of us dealing with scale,
197
517061
3323
Maar mensen als ik,
die op deze schaal werken,
die op deze schaal werken,
08:52
for those of us tasked with keeping people safe,
198
520384
3800
en die tot taak hebben
mensen bescherming te bieden,
mensen bescherming te bieden,
08:56
we have to assume the worst will happen,
199
524184
2546
moeten ervan uitgaan
dat het ergste zal gebeuren.
dat het ergste zal gebeuren.
08:58
because for us, a one-in-a-million chance
200
526730
4227
Want voor ons is een kans
van 1 op een miljoen
van 1 op een miljoen
09:02
is pretty good odds.
201
530957
2749
namelijk heel reëel.
09:05
Thank you.
202
533706
1864
Dank je wel.
09:07
(Applause)
203
535570
4000
(Applaus)
ABOUT THE SPEAKER
Del Harvey - Security mavenDel Harvey works to define policy and to ensure user safety and security in the challenging realm of modern social media.
Why you should listen
As Senior Director of Trust and Safety at Twitter, Del Harvey works to define policy and to ensure user safety and security in the challenging realm of modern social media. Prior to joining Twitter, she spent five years as the co-administrator and law enforcement liaison for a 501(c)3 non-profit charity, working with agencies ranging from local police departments to the FBI, U.S. Marshals and the Secret Service.
Del Harvey | Speaker | TED.com