TEDGlobal>NYC
Zeynep Tufekci: We're building a dystopia just to make people click on ads
Zeynep Tufekci: We bouwen een dystopie omwille van advertentiekliks.
Filmed:
Readability: 4.8
2,866,905 views
We bouwen klik voor klik aan een dystopie die draait op kunstmatige intelligentie, zegt techno-socioloog Zeynep Tufekci. In een opzienbarende talk zet ze uiteen hoe dezelfde algoritmen die Facebook, Google en Amazon gebruiken om je op advertenties te laten klikken, ook gebruikt worden om je toegang te regelen tot politieke en sociale informatie. En de machines vormen niet eens de werkelijke dreiging. Wat wij moeten begrijpen, is hoe de machtigen der aarde ons middels kunstmatige intelligentie kunnen beheersen -- en wat we ertegen kunnen doen.
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So when people voice fears
of artificial intelligence,
of artificial intelligence,
0
760
3536
Mensen die hun bezorgdheid uiten
over kunstmatige intelligentie,
over kunstmatige intelligentie,
00:16
very often, they invoke images
of humanoid robots run amok.
of humanoid robots run amok.
1
4320
3976
gebruiken daarvoor vaak het schrikbeeld
van op hol geslagen, mensachtige robots.
van op hol geslagen, mensachtige robots.
00:20
You know? Terminator?
2
8320
1240
Terminator en zo.
00:22
You know, that might be
something to consider,
something to consider,
3
10400
2336
Nou slaat dat de plank niet helemaal mis,
00:24
but that's a distant threat.
4
12760
1856
maar het blijft nogal vergezocht.
00:26
Or, we fret about digital surveillance
5
14640
3456
Of we vrezen digitale datavergaring
aan de hand van oude metaforen.
00:30
with metaphors from the past.
6
18120
1776
00:31
"1984," George Orwell's "1984,"
7
19920
2656
'1984', van George Orwell.
Het staat weer in de bestsellerlijsten.
00:34
it's hitting the bestseller lists again.
8
22600
2280
00:37
It's a great book,
9
25960
1416
Het is een geweldig boek,
00:39
but it's not the correct dystopia
for the 21st century.
for the 21st century.
10
27400
3880
maar niet de juiste dystopie
voor de 21ste eeuw.
voor de 21ste eeuw.
00:44
What we need to fear most
11
32080
1416
Wat wij het meest moeten vrezen,
00:45
is not what artificial intelligence
will do to us on its own,
will do to us on its own,
12
33520
4776
is niet wat kunstmatige intelligentie
op zich ons zal aandoen,
op zich ons zal aandoen,
00:50
but how the people in power
will use artificial intelligence
will use artificial intelligence
13
38320
4736
maar hoe de mensen met macht
ons middels kunstmatige intelligentie
gaan beheersen en manipuleren
gaan beheersen en manipuleren
00:55
to control us and to manipulate us
14
43080
2816
00:57
in novel, sometimes hidden,
15
45920
3136
op ongekende, soms verborgen,
subtiele en onverwachte manieren.
subtiele en onverwachte manieren.
01:01
subtle and unexpected ways.
16
49080
3016
01:04
Much of the technology
17
52120
1856
Veel van de technologie
01:06
that threatens our freedom
and our dignity in the near-term future
and our dignity in the near-term future
18
54000
4336
die onze vrijheid en waardigheid
bedreigt in de nabije toekomst,
bedreigt in de nabije toekomst,
01:10
is being developed by companies
19
58360
1856
wordt ontwikkeld door bedrijven
01:12
in the business of capturing
and selling our data and our attention
and selling our data and our attention
20
60240
4936
die zich bezighouden met het verzamelen
en verkopen van onze data en onze aandacht
en verkopen van onze data en onze aandacht
01:17
to advertisers and others:
21
65200
2256
aan adverteerders en zo.
01:19
Facebook, Google, Amazon,
22
67480
3416
Facebook, Google, Amazon,
01:22
Alibaba, Tencent.
23
70920
1880
Alibaba, Tencent.
01:26
Now, artificial intelligence has started
bolstering their business as well.
bolstering their business as well.
24
74040
5496
Kunstmatige intelligentie begint nu
ook hun activiteiten te versterken.
ook hun activiteiten te versterken.
En het lijkt misschien
01:31
And it may seem
like artificial intelligence
like artificial intelligence
25
79560
2096
alsof kunstmatige intelligentie
de volgende stap is na internetreclame.
de volgende stap is na internetreclame.
01:33
is just the next thing after online ads.
26
81680
2856
Dat is niet zo.
01:36
It's not.
27
84560
1216
01:37
It's a jump in category.
28
85800
2456
Het is een nieuwe categorie.
01:40
It's a whole different world,
29
88280
2576
Een volledig nieuwe wereld,
01:42
and it has great potential.
30
90880
2616
met een enorm potentieel.
01:45
It could accelerate our understanding
of many areas of study and research.
of many areas of study and research.
31
93520
6920
Het zou ons veel kunnen leren
in een hoop onderzoeksgebieden.
in een hoop onderzoeksgebieden.
01:53
But to paraphrase
a famous Hollywood philosopher,
a famous Hollywood philosopher,
32
101120
3496
Maar zoals een bekende
Hollywood-filosoof al zei:
Hollywood-filosoof al zei:
01:56
"With prodigious potential
comes prodigious risk."
comes prodigious risk."
33
104640
3640
"Ongekend potentieel
brengt ongekende risico's met zich mee."
brengt ongekende risico's met zich mee."
Kijk even naar dat basisfenomeen
van ons digitale leven:
van ons digitale leven:
02:01
Now let's look at a basic fact
of our digital lives, online ads.
of our digital lives, online ads.
34
109120
3936
online advertenties.
02:05
Right? We kind of dismiss them.
35
113080
2896
We nemen ze niet helemaal serieus.
02:08
They seem crude, ineffective.
36
116000
1976
Ze lijken dom, ineffectief.
02:10
We've all had the experience
of being followed on the web
of being followed on the web
37
118000
4256
We zijn allemaal wel eens
achtervolgd door een advertentie
achtervolgd door een advertentie
02:14
by an ad based on something
we searched or read.
we searched or read.
38
122280
2776
voor iets wat we eerder zochten of lazen.
Je weet wel, je bekijkt een stel schoenen,
02:17
You know, you look up a pair of boots
39
125080
1856
02:18
and for a week, those boots are following
you around everywhere you go.
you around everywhere you go.
40
126960
3376
en die blijven je dan
een hele week achtervolgen.
een hele week achtervolgen.
02:22
Even after you succumb and buy them,
they're still following you around.
they're still following you around.
41
130360
3656
Zelfs nadat je bezweken bent
en ze kocht, zie je ze overal terug.
en ze kocht, zie je ze overal terug.
02:26
We're kind of inured to that kind
of basic, cheap manipulation.
of basic, cheap manipulation.
42
134040
3016
Dit soort goedkope manipulatie
doet ons al niet zoveel meer.
doet ons al niet zoveel meer.
02:29
We roll our eyes and we think,
"You know what? These things don't work."
"You know what? These things don't work."
43
137080
3400
Je rolt met je ogen
en denkt: "Zoiets werkt dus niet."
en denkt: "Zoiets werkt dus niet."
02:33
Except, online,
44
141720
2096
Maar de digitale technologieën online
bestaan niet alleen uit advertenties.
bestaan niet alleen uit advertenties.
02:35
the digital technologies are not just ads.
45
143840
3600
02:40
Now, to understand that,
let's think of a physical world example.
let's think of a physical world example.
46
148240
3120
Een voorbeeld uit de fysieke wereld
kan dat helpen verduidelijken.
kan dat helpen verduidelijken.
02:43
You know how, at the checkout counters
at supermarkets, near the cashier,
at supermarkets, near the cashier,
47
151840
4656
Bij de kassa in de supermarkt
liggen altijd kauwgum en snoep
op de ooghoogte van kinderen.
op de ooghoogte van kinderen.
02:48
there's candy and gum
at the eye level of kids?
at the eye level of kids?
48
156520
3480
02:52
That's designed to make them
whine at their parents
whine at their parents
49
160800
3496
Dat is bedoeld om hen
bij hun ouders te doen zeuren
bij hun ouders te doen zeuren
02:56
just as the parents
are about to sort of check out.
are about to sort of check out.
50
164320
3080
wanneer die klaar staan om te betalen.
03:00
Now, that's a persuasion architecture.
51
168040
2640
Dat is beïnvloedingstechniek.
03:03
It's not nice, but it kind of works.
52
171160
3096
Niet aardig, maar het werkt redelijk.
03:06
That's why you see it
in every supermarket.
in every supermarket.
53
174280
2040
Daarom heeft iedere supermarkt het.
03:08
Now, in the physical world,
54
176720
1696
In de fysieke wereld zijn er grenzen
aan zulke beïnvloedingstechniek,
aan zulke beïnvloedingstechniek,
03:10
such persuasion architectures
are kind of limited,
are kind of limited,
55
178440
2496
03:12
because you can only put
so many things by the cashier. Right?
so many things by the cashier. Right?
56
180960
4816
want je kan immers niet
alles bij de kassa neerleggen.
alles bij de kassa neerleggen.
03:17
And the candy and gum,
it's the same for everyone,
it's the same for everyone,
57
185800
4296
En iedereen ziet
dezelfde kauwgum en snoep,
dezelfde kauwgum en snoep,
ook al werkt het voornamelijk bij mensen
met zeurende schepseltjes aan hun zijde.
met zeurende schepseltjes aan hun zijde.
03:22
even though it mostly works
58
190120
1456
03:23
only for people who have
whiny little humans beside them.
whiny little humans beside them.
59
191600
4040
03:29
In the physical world,
we live with those limitations.
we live with those limitations.
60
197160
3920
In de fysieke wereld
leven we met die beperkingen.
leven we met die beperkingen.
03:34
In the digital world, though,
61
202280
1936
Maar in de digitale wereld
03:36
persuasion architectures
can be built at the scale of billions
can be built at the scale of billions
62
204240
4320
kan zulke beïnvloedingsmachinerie
gebouwd worden op miljardenschaal,
gebouwd worden op miljardenschaal,
zich richten op individuen,
en deze duiden en begrijpen.
en deze duiden en begrijpen.
03:41
and they can target, infer, understand
63
209840
3856
03:45
and be deployed at individuals
64
213720
2896
Ze wordt losgelaten
op afzonderlijke individuen
op afzonderlijke individuen
03:48
one by one
65
216640
1216
door je zwakheden te leren kennen,
03:49
by figuring out your weaknesses,
66
217880
2136
03:52
and they can be sent
to everyone's phone private screen,
to everyone's phone private screen,
67
220040
5616
en ze kan gestuurd worden
naar ieders persoonlijke telefoonscherm,
naar ieders persoonlijke telefoonscherm,
onzichtbaar voor anderen.
03:57
so it's not visible to us.
68
225680
2256
03:59
And that's different.
69
227960
1256
En dat is anders.
04:01
And that's just one of the basic things
that artificial intelligence can do.
that artificial intelligence can do.
70
229240
3576
Dat is slechts een van de dingen
die kunstmatige intelligentie kan doen.
die kunstmatige intelligentie kan doen.
04:04
Now, let's take an example.
71
232840
1336
Nu een voorbeeld.
04:06
Let's say you want to sell
plane tickets to Vegas. Right?
plane tickets to Vegas. Right?
72
234200
2696
Stel je wilt vliegtuigtickets
naar Las Vegas verkopen.
naar Las Vegas verkopen.
04:08
So in the old world, you could think
of some demographics to target
of some demographics to target
73
236920
3496
Voorheen ging je dan denken
hoe je doelgroep er uit zou zien,
hoe je doelgroep er uit zou zien,
04:12
based on experience
and what you can guess.
and what you can guess.
74
240440
2520
op basis van ervaring en wat je gokte.
04:15
You might try to advertise to, oh,
75
243560
2816
Je zou je kunnen richten
op mannen tussen de 25 en 35,
op mannen tussen de 25 en 35,
04:18
men between the ages of 25 and 35,
76
246400
2496
04:20
or people who have
a high limit on their credit card,
a high limit on their credit card,
77
248920
3936
of mensen met een hoge limiet
op hun credit card,
op hun credit card,
04:24
or retired couples. Right?
78
252880
1376
of gepensioneerde echtparen.
04:26
That's what you would do in the past.
79
254280
1816
Zo ging dat in het verleden.
04:28
With big data and machine learning,
80
256120
2896
Met big data en zelflerende systemen
gaat dat anders in z'n werk.
04:31
that's not how it works anymore.
81
259040
1524
04:33
So to imagine that,
82
261320
2176
Om je dat voor te stellen,
04:35
think of all the data
that Facebook has on you:
that Facebook has on you:
83
263520
3856
kun je denken aan alle data
die Facebook van je heeft:
die Facebook van je heeft:
04:39
every status update you ever typed,
84
267400
2536
elke status update die je ooit intoetste,
04:41
every Messenger conversation,
85
269960
2016
elke Messenger-conversatie,
04:44
every place you logged in from,
86
272000
1880
elke plek vanwaar je inlogde,
04:48
all your photographs
that you uploaded there.
that you uploaded there.
87
276400
3176
al je foto's die je daarheen uploadde.
04:51
If you start typing something
and change your mind and delete it,
and change your mind and delete it,
88
279600
3776
Als je iets begint te typen
maar je bedenkt je en verwijdert het,
maar je bedenkt je en verwijdert het,
04:55
Facebook keeps those
and analyzes them, too.
and analyzes them, too.
89
283400
3200
wordt ook dat door Facebook
bewaard en geanalyseerd.
bewaard en geanalyseerd.
04:59
Increasingly, it tries
to match you with your offline data.
to match you with your offline data.
90
287160
3936
Stukje bij beetje proberen ze
je offline data te achterhalen.
je offline data te achterhalen.
05:03
It also purchases
a lot of data from data brokers.
a lot of data from data brokers.
91
291120
3176
Ook kopen ze veel data van datahandelaren.
05:06
It could be everything
from your financial records
from your financial records
92
294320
3416
Dat kan alles zijn,
van je financiële gegevens
van je financiële gegevens
tot een flink stuk
van je zoekgeschiedenis.
van je zoekgeschiedenis.
05:09
to a good chunk of your browsing history.
93
297760
2120
05:12
Right? In the US,
such data is routinely collected,
such data is routinely collected,
94
300360
5416
In de Verenigde Staten
worden zulke data standaard
vergaard, geordend en verkocht.
vergaard, geordend en verkocht.
05:17
collated and sold.
95
305800
1960
In Europa hebben ze strengere regels.
05:20
In Europe, they have tougher rules.
96
308320
2440
05:23
So what happens then is,
97
311680
2200
Door zich vervolgens
door al die data heen te worstelen,
door al die data heen te worstelen,
05:26
by churning through all that data,
these machine-learning algorithms --
these machine-learning algorithms --
98
314920
4016
leren deze zelflerende algoritmen --
05:30
that's why they're called
learning algorithms --
learning algorithms --
99
318960
2896
de naam is niet toevallig --
aan welke karakteristieken mensen voldoen
05:33
they learn to understand
the characteristics of people
the characteristics of people
100
321880
4096
die eerder tickets kochten naar Las Vegas.
05:38
who purchased tickets to Vegas before.
101
326000
2520
05:41
When they learn this from existing data,
102
329760
3536
Wat ze opsteken uit bestaande data
05:45
they also learn
how to apply this to new people.
how to apply this to new people.
103
333320
3816
kunnen ze dan toepassen op nieuwe mensen.
05:49
So if they're presented with a new person,
104
337160
3056
Als ze een nieuwe persoon
voorgeschoteld krijgen,
voorgeschoteld krijgen,
05:52
they can classify whether that person
is likely to buy a ticket to Vegas or not.
is likely to buy a ticket to Vegas or not.
105
340240
4640
kunnen ze bepalen of die al dan niet
een ticket zal kopen naar Las Vegas.
een ticket zal kopen naar Las Vegas.
05:57
Fine. You're thinking,
an offer to buy tickets to Vegas.
an offer to buy tickets to Vegas.
106
345720
5456
Goed. Nu denk je:
een ticket naar Las Vegas...
een ticket naar Las Vegas...
dat geeft toch niet.
06:03
I can ignore that.
107
351200
1456
06:04
But the problem isn't that.
108
352680
2216
Maar dat is het probleem niet.
06:06
The problem is,
109
354920
1576
Het probleem is
dat we niet langer echt begrijpen
hoe deze complexe algoritmen werken.
hoe deze complexe algoritmen werken.
06:08
we no longer really understand
how these complex algorithms work.
how these complex algorithms work.
110
356520
4136
06:12
We don't understand
how they're doing this categorization.
how they're doing this categorization.
111
360680
3456
We begrijpen niet hoe
deze categorisering in z'n werk gaat.
deze categorisering in z'n werk gaat.
06:16
It's giant matrices,
thousands of rows and columns,
thousands of rows and columns,
112
364160
4416
Het zijn gigantische matrices,
duizenden regels en kolommen,
duizenden regels en kolommen,
06:20
maybe millions of rows and columns,
113
368600
1960
wellicht miljoenen regels en kolommen,
06:23
and not the programmers
114
371320
2640
en noch de programmeurs,
noch wie er ook naar kijkt,
06:26
and not anybody who looks at it,
115
374760
1680
ook al heb je alle data,
06:29
even if you have all the data,
116
377440
1496
06:30
understands anymore
how exactly it's operating
how exactly it's operating
117
378960
4616
begrijpt nog hoe het precies functioneert.
06:35
any more than you'd know
what I was thinking right now
what I was thinking right now
118
383600
3776
Net zo min als dat je zou weten
wat ik momenteel denk,
wat ik momenteel denk,
06:39
if you were shown
a cross section of my brain.
a cross section of my brain.
119
387400
3960
wanneer je een doorsnede
van mijn brein zou zien.
van mijn brein zou zien.
06:44
It's like we're not programming anymore,
120
392360
2576
We programmeren als het ware niet meer,
06:46
we're growing intelligence
that we don't truly understand.
that we don't truly understand.
121
394960
4400
maar we 'telen' intelligentie
die we niet echt begrijpen.
die we niet echt begrijpen.
06:52
And these things only work
if there's an enormous amount of data,
if there's an enormous amount of data,
122
400520
3976
En deze dingen werken alleen
met enorme hoeveelheden data,
met enorme hoeveelheden data,
06:56
so they also encourage
deep surveillance on all of us
deep surveillance on all of us
123
404520
5096
dus ze stimuleren intensieve
datavergaring over ons allemaal,
datavergaring over ons allemaal,
opdat de zelflerende algoritmen
hun werk kunnen doen.
hun werk kunnen doen.
07:01
so that the machine learning
algorithms can work.
algorithms can work.
124
409640
2336
07:04
That's why Facebook wants
to collect all the data it can about you.
to collect all the data it can about you.
125
412000
3176
Daarom vergaart Facebook
alle mogelijke data over jou.
alle mogelijke data over jou.
07:07
The algorithms work better.
126
415200
1576
Dan werken de algoritmen beter.
07:08
So let's push that Vegas example a bit.
127
416800
2696
Nog even terug naar
dat voorbeeld over Las Vegas.
dat voorbeeld over Las Vegas.
07:11
What if the system
that we do not understand
that we do not understand
128
419520
3680
Stel nou dat het systeem
dat we niet begrijpen,
dat we niet begrijpen,
07:16
was picking up that it's easier
to sell Vegas tickets
to sell Vegas tickets
129
424200
5136
doorkreeg dat het makkelijker is
om tickets naar Las Vegas te verkopen
om tickets naar Las Vegas te verkopen
07:21
to people who are bipolar
and about to enter the manic phase.
and about to enter the manic phase.
130
429360
3760
aan bipolaire mensen
vlak voor ze de manische fase ingaan.
vlak voor ze de manische fase ingaan.
Vaak gaan zulke mensen
geld over de balk smijten
geld over de balk smijten
07:25
Such people tend to become
overspenders, compulsive gamblers.
overspenders, compulsive gamblers.
131
433640
4920
en dwangmatig gokken.
07:31
They could do this, and you'd have no clue
that's what they were picking up on.
that's what they were picking up on.
132
439280
4456
Dat zouden ze kunnen, zonder
dat je een clou had wat ze oppikten.
dat je een clou had wat ze oppikten.
07:35
I gave this example
to a bunch of computer scientists once
to a bunch of computer scientists once
133
443760
3616
Ik gaf dit voorbeeld eens
aan een stel computerwetenschappers
aan een stel computerwetenschappers
07:39
and afterwards, one of them came up to me.
134
447400
2056
en achteraf benaderde een van hen me.
07:41
He was troubled and he said,
"That's why I couldn't publish it."
"That's why I couldn't publish it."
135
449480
3520
Hij keek bedrukt en zei:
"Daarom kon ik het niet publiceren."
"Daarom kon ik het niet publiceren."
Ik vroeg: "Wat publiceren?"
07:45
I was like, "Couldn't publish what?"
136
453600
1715
07:47
He had tried to see whether you can indeed
figure out the onset of mania
figure out the onset of mania
137
455800
5856
Hij had onderzocht of je
een manie kon zien aankomen
een manie kon zien aankomen
aan de hand van sociale media-posts,
voordat er klinische symptomen waren.
voordat er klinische symptomen waren.
07:53
from social media posts
before clinical symptoms,
before clinical symptoms,
138
461680
3216
07:56
and it had worked,
139
464920
1776
Met succes.
07:58
and it had worked very well,
140
466720
2056
Het werkte heel goed,
08:00
and he had no idea how it worked
or what it was picking up on.
or what it was picking up on.
141
468800
4880
zonder dat hij een idee had hoe,
of wat er opgepikt werd.
of wat er opgepikt werd.
08:06
Now, the problem isn't solved
if he doesn't publish it,
if he doesn't publish it,
142
474840
4416
Het probleem is niet opgelost
wanneer hij niet publiceert,
wanneer hij niet publiceert,
08:11
because there are already companies
143
479280
1896
want er zijn reeds bedrijven
die dergelijke technologie ontwikkelen,
die dergelijke technologie ontwikkelen,
08:13
that are developing
this kind of technology,
this kind of technology,
144
481200
2536
08:15
and a lot of the stuff
is just off the shelf.
is just off the shelf.
145
483760
2800
met makkelijk verkrijgbare middelen.
08:19
This is not very difficult anymore.
146
487240
2576
Dit is niet zo moeilijk meer.
08:21
Do you ever go on YouTube
meaning to watch one video
meaning to watch one video
147
489840
3456
Zit je wel eens op YouTube
om één video te kijken,
om één video te kijken,
08:25
and an hour later you've watched 27?
148
493320
2360
en een uur later heb er 27 gekeken?
08:28
You know how YouTube
has this column on the right
has this column on the right
149
496760
2496
Je kent die rechterkolom op YouTube wel
08:31
that says, "Up next"
150
499280
2216
waar staat: "Up next"
08:33
and it autoplays something?
151
501520
1816
en het volgende begint automatisch?
08:35
It's an algorithm
152
503360
1216
Dat is een algoritme
08:36
picking what it thinks
that you might be interested in
that you might be interested in
153
504600
3616
dat kiest wat het denkt
dat jou interesseert
dat jou interesseert
08:40
and maybe not find on your own.
154
508240
1536
en dat je zelf niet zou vinden.
08:41
It's not a human editor.
155
509800
1256
Daar zit geen mens achter.
08:43
It's what algorithms do.
156
511080
1416
Dat doen algoritmen.
08:44
It picks up on what you have watched
and what people like you have watched,
and what people like you have watched,
157
512520
4736
Die letten op waar jij naar gekeken hebt
en waarnaar anderen zoals jij naar keken,
en waarnaar anderen zoals jij naar keken,
08:49
and infers that that must be
what you're interested in,
what you're interested in,
158
517280
4216
en concludeert dat dat moet zijn
wat jou interesseert,
wat jou interesseert,
waar je meer van wilt,
08:53
what you want more of,
159
521520
1255
08:54
and just shows you more.
160
522799
1336
en dat schotelt het je voor.
08:56
It sounds like a benign
and useful feature,
and useful feature,
161
524159
2201
Het klinkt als een goedaardige
nuttige functie,
nuttige functie,
maar dat is het soms niet.
08:59
except when it isn't.
162
527280
1200
09:01
So in 2016, I attended rallies
of then-candidate Donald Trump
of then-candidate Donald Trump
163
529640
6960
In 2016 woonde ik bijeenkomsten bij
van toenmalig kandidaat Donald Trump
van toenmalig kandidaat Donald Trump
09:09
to study as a scholar
the movement supporting him.
the movement supporting him.
164
537840
3336
om als onderzoeker
zijn beweging te bestuderen.
zijn beweging te bestuderen.
09:13
I study social movements,
so I was studying it, too.
so I was studying it, too.
165
541200
3456
Ik bestudeer sociale bewegingen,
en daarom ook deze.
en daarom ook deze.
09:16
And then I wanted to write something
about one of his rallies,
about one of his rallies,
166
544680
3336
Toen wilde ik iets schrijven
over een van zijn bijeenkomsten,
over een van zijn bijeenkomsten,
dus bekeek ik die
een paar maal op YouTube.
een paar maal op YouTube.
09:20
so I watched it a few times on YouTube.
167
548040
1960
09:23
YouTube started recommending to me
168
551240
3096
YouTube begon me toen
ultrarechtse video's aan te raden
ultrarechtse video's aan te raden
09:26
and autoplaying to me
white supremacist videos
white supremacist videos
169
554360
4256
en deze automatisch af te spelen.
09:30
in increasing order of extremism.
170
558640
2656
Steeds een graadje extremer.
09:33
If I watched one,
171
561320
1816
Als ik er eentje keek,
09:35
it served up one even more extreme
172
563160
2976
kreeg ik er daarna een
die nog wat extremer was
die nog wat extremer was
09:38
and autoplayed that one, too.
173
566160
1424
en die begon ook automatisch.
09:40
If you watch Hillary Clinton
or Bernie Sanders content,
or Bernie Sanders content,
174
568320
4536
Als je content bekijkt over
Hillary Clinton of Bernie Sanders,
Hillary Clinton of Bernie Sanders,
09:44
YouTube recommends
and autoplays conspiracy left,
and autoplays conspiracy left,
175
572880
4696
schotelt YouTube je
linkse complotvideo's voor
linkse complotvideo's voor
09:49
and it goes downhill from there.
176
577600
1760
en van daar gaat het bergafwaarts.
09:52
Well, you might be thinking,
this is politics, but it's not.
this is politics, but it's not.
177
580480
3056
Nou denk je misschien,
dat is politiek, maar dat is niet zo.
dat is politiek, maar dat is niet zo.
Dit gaat niet over politiek.
09:55
This isn't about politics.
178
583560
1256
09:56
This is just the algorithm
figuring out human behavior.
figuring out human behavior.
179
584840
3096
Het is slechts een algoritme
dat menselijk gedrag doorgrondt.
dat menselijk gedrag doorgrondt.
09:59
I once watched a video
about vegetarianism on YouTube
about vegetarianism on YouTube
180
587960
4776
Ik keek eens een filmpje
over vegetarisme op YouTube
over vegetarisme op YouTube
10:04
and YouTube recommended
and autoplayed a video about being vegan.
and autoplayed a video about being vegan.
181
592760
4936
en vervolgens kreeg ik
een filmpje over veganisme te zien.
een filmpje over veganisme te zien.
10:09
It's like you're never
hardcore enough for YouTube.
hardcore enough for YouTube.
182
597720
3016
Voor YouTube ben je nooit hardcore genoeg.
10:12
(Laughter)
183
600760
1576
(Gelach)
10:14
So what's going on?
184
602360
1560
Waarom is dat toch?
10:16
Now, YouTube's algorithm is proprietary,
185
604520
3536
Nu is YouTubes algoritme niet openbaar,
maar ik denk dat het als volgt zit.
10:20
but here's what I think is going on.
186
608080
2360
10:23
The algorithm has figured out
187
611360
2096
Het algoritme heeft uitgedokterd
10:25
that if you can entice people
188
613480
3696
dat als je mensen kan laten geloven
dat je hen iets kan laten zien
dat meer hardcore is,
dat meer hardcore is,
10:29
into thinking that you can
show them something more hardcore,
show them something more hardcore,
189
617200
3736
10:32
they're more likely to stay on the site
190
620960
2416
zij geneigd zijn om op de site te blijven
10:35
watching video after video
going down that rabbit hole
going down that rabbit hole
191
623400
4416
om video na video te kijken,
vallend door dat konijnenhol,
vallend door dat konijnenhol,
10:39
while Google serves them ads.
192
627840
1680
terwijl Google hen
advertenties kan tonen.
advertenties kan tonen.
10:43
Now, with nobody minding
the ethics of the store,
the ethics of the store,
193
631760
3120
Als er niemand is
die op de ethische code let,
die op de ethische code let,
10:47
these sites can profile people
194
635720
4240
kunnen deze sites mensen profileren
10:53
who are Jew haters,
195
641680
1920
die Joden haten,
10:56
who think that Jews are parasites
196
644360
2480
die vinden dat Joden parasieten zijn
11:00
and who have such explicit
anti-Semitic content,
anti-Semitic content,
197
648320
4920
en die zulke expliciete
antisemitische content tonen,
antisemitische content tonen,
en jou daar gericht laten adverteren.
11:06
and let you target them with ads.
198
654080
2000
11:09
They can also mobilize algorithms
199
657200
3536
Ook kunnen ze algoritmen mobiliseren
om soortgelijk publiek voor je te vinden.
11:12
to find for you look-alike audiences,
200
660760
3136
Mensen zonder zulke expliciete
antisemitische content op hun profiel,
antisemitische content op hun profiel,
11:15
people who do not have such explicit
anti-Semitic content on their profile
anti-Semitic content on their profile
201
663920
5576
11:21
but who the algorithm detects
may be susceptible to such messages,
may be susceptible to such messages,
202
669520
6176
maar die volgens het algoritme
mogelijk ontvankelijk zijn
voor zulke boodschappen,
voor zulke boodschappen,
11:27
and lets you target them with ads, too.
203
675720
1920
en daar mag je dan ook adverteren.
Dat klinkt misschien
als een onwaarschijnlijk voorbeeld,
als een onwaarschijnlijk voorbeeld,
11:30
Now, this may sound
like an implausible example,
like an implausible example,
204
678680
2736
maar dit is echt.
11:33
but this is real.
205
681440
1320
11:35
ProPublica investigated this
206
683480
2136
ProPublica onderzocht dit
11:37
and found that you can indeed
do this on Facebook,
do this on Facebook,
207
685640
3616
en ontdekte dat je dit
daadwerkelijk kan doen op Facebook,
daadwerkelijk kan doen op Facebook,
11:41
and Facebook helpfully
offered up suggestions
offered up suggestions
208
689280
2416
waarbij Facebook behulpzaam suggereert
hoe je dat publiek kan verbreden.
hoe je dat publiek kan verbreden.
11:43
on how to broaden that audience.
209
691720
1600
11:46
BuzzFeed tried it for Google,
and very quickly they found,
and very quickly they found,
210
694720
3016
BuzzFeed probeerde het bij Google
en merkte al snel dat het daar ook kan.
11:49
yep, you can do it on Google, too.
211
697760
1736
11:51
And it wasn't even expensive.
212
699520
1696
Het was niet eens duur.
11:53
The ProPublica reporter
spent about 30 dollars
spent about 30 dollars
213
701240
4416
De journalist van ProPublica
gaf zo'n 30 dollar uit
gaf zo'n 30 dollar uit
om deze doelgroep aan te spreken.
11:57
to target this category.
214
705680
2240
12:02
So last year, Donald Trump's
social media manager disclosed
social media manager disclosed
215
710600
5296
Verleden jaar onthulde
Donald Trumps sociale media-manager
Donald Trumps sociale media-manager
12:07
that they were using Facebook dark posts
to demobilize people,
to demobilize people,
216
715920
5336
dat ze met 'dark posts' op Facebook
mensen demobiliseerden,
mensen demobiliseerden,
12:13
not to persuade them,
217
721280
1376
niet om ze over te halen,
12:14
but to convince them not to vote at all.
218
722680
2800
maar om ze te ontmoedigen te gaan stemmen.
12:18
And to do that,
they targeted specifically,
they targeted specifically,
219
726520
3576
Om dat te doen, richtten ze zich specifiek
op bijvoorbeeld zwarte Amerikaanse mannen
op bijvoorbeeld zwarte Amerikaanse mannen
12:22
for example, African-American men
in key cities like Philadelphia,
in key cities like Philadelphia,
220
730120
3896
in belangrijke steden als Philadelphia.
12:26
and I'm going to read
exactly what he said.
exactly what he said.
221
734040
2456
Ik zal voorlezen wat hij zei.
12:28
I'm quoting.
222
736520
1216
Ik citeer.
12:29
They were using "nonpublic posts
223
737760
3016
Ze gebruikten "niet-openbare posts,
gericht op een doelgroep
die de campagne bepaalt,
die de campagne bepaalt,
12:32
whose viewership the campaign controls
224
740800
2176
12:35
so that only the people
we want to see it see it.
we want to see it see it.
225
743000
3776
dus enkel zichtbaar
voor wie wij willen dat het ziet.
voor wie wij willen dat het ziet.
Wij gaven dit vorm.
12:38
We modeled this.
226
746800
1216
12:40
It will dramatically affect her ability
to turn these people out."
to turn these people out."
227
748040
4720
Ze zal hierdoor veel moeite hebben
deze mensen voor haar te laten stemmen."
deze mensen voor haar te laten stemmen."
12:45
What's in those dark posts?
228
753720
2280
Wat staat er in deze 'dark posts'?
We hebben geen idee.
12:48
We have no idea.
229
756480
1656
Dat houdt Facebook geheim.
12:50
Facebook won't tell us.
230
758160
1200
12:52
So Facebook also algorithmically
arranges the posts
arranges the posts
231
760480
4376
Facebook gebruikt ook een algoritme
voor de ordening van vriendenposts
of de pagina's die je volgt.
of de pagina's die je volgt.
12:56
that your friends put on Facebook,
or the pages you follow.
or the pages you follow.
232
764880
3736
13:00
It doesn't show you
everything chronologically.
everything chronologically.
233
768640
2216
Ze tonen je niet alles chronologisch.
13:02
It puts the order in the way
that the algorithm thinks will entice you
that the algorithm thinks will entice you
234
770880
4816
Het algoritme kiest de volgorde
die jou naar verwachting
het langst op de site zal houden.
het langst op de site zal houden.
13:07
to stay on the site longer.
235
775720
1840
13:11
Now, so this has a lot of consequences.
236
779040
3376
Dit heeft zo zijn consequenties.
13:14
You may be thinking
somebody is snubbing you on Facebook.
somebody is snubbing you on Facebook.
237
782440
3800
Je denkt misschien
dat iemand je negeert op Facebook.
dat iemand je negeert op Facebook.
13:18
The algorithm may never
be showing your post to them.
be showing your post to them.
238
786800
3256
Maar misschien toont het algoritme
die persoon nooit jouw posts.
die persoon nooit jouw posts.
13:22
The algorithm is prioritizing
some of them and burying the others.
some of them and burying the others.
239
790080
5960
Het geeft voorrang aan de een
en begraaft de ander.
en begraaft de ander.
13:29
Experiments show
240
797320
1296
Experimenten laten zien
13:30
that what the algorithm picks to show you
can affect your emotions.
can affect your emotions.
241
798640
4520
dat wat het algoritme toont,
invloed kan hebben op je emoties.
invloed kan hebben op je emoties.
Maar niet alleen dat.
13:36
But that's not all.
242
804600
1200
13:38
It also affects political behavior.
243
806280
2360
Het beïnvloedt ook politiek gedrag.
13:41
So in 2010, in the midterm elections,
244
809360
4656
In 2010, in de verkiezingen
voor het Amerikaanse congres,
voor het Amerikaanse congres,
13:46
Facebook did an experiment
on 61 million people in the US
on 61 million people in the US
245
814040
5896
deed Facebook een experiment
met 61 miljoen Amerikanen
met 61 miljoen Amerikanen
dat ze achteraf openbaar maakten.
13:51
that was disclosed after the fact.
246
819960
1896
13:53
So some people were shown,
"Today is election day,"
"Today is election day,"
247
821880
3416
Sommige mensen kregen te zien:
'Vandaag is verkiezingsdag',
'Vandaag is verkiezingsdag',
13:57
the simpler one,
248
825320
1376
de eenvoudige versie,
13:58
and some people were shown
the one with that tiny tweak
the one with that tiny tweak
249
826720
3896
en anderen zagen de versie
met die kleine aanpassing,
met die kleine aanpassing,
14:02
with those little thumbnails
250
830640
2096
met thumbnails van je vrienden
die hadden geklikt op 'Ik heb gestemd'.
die hadden geklikt op 'Ik heb gestemd'.
14:04
of your friends who clicked on "I voted."
251
832760
2840
14:09
This simple tweak.
252
837000
1400
Een kleine aanpassing.
14:11
OK? So the pictures were the only change,
253
839520
4296
Die foto's waren het enige verschil,
14:15
and that post shown just once
254
843840
3256
maar door één enkele vertoning daarvan
14:19
turned out an additional 340,000 voters
255
847120
6056
gingen 340.000 mensen méér
hun stem uitbrengen
hun stem uitbrengen
14:25
in that election,
256
853200
1696
tijdens die verkiezingen,
14:26
according to this research
257
854920
1696
volgens dit onderzoek,
14:28
as confirmed by the voter rolls.
258
856640
2520
en bevestigd door de opkomstcijfers.
14:32
A fluke? No.
259
860920
1656
Toeval? Nee.
14:34
Because in 2012,
they repeated the same experiment.
they repeated the same experiment.
260
862600
5360
Want in 2012 herhaalden ze dit experiment
14:40
And that time,
261
868840
1736
en deze keer
14:42
that civic message shown just once
262
870600
3296
zorgde één enkele vertoning
van die boodschap
van die boodschap
14:45
turned out an additional 270,000 voters.
263
873920
4440
voor 270.000 extra stembusgangers.
14:51
For reference, the 2016
US presidential election
US presidential election
264
879160
5216
Ter vergelijk:
in de presidentsverkiezingen van 2016
in de presidentsverkiezingen van 2016
14:56
was decided by about 100,000 votes.
265
884400
3520
gaven zo'n 100.000 stemmen de doorslag.
15:01
Now, Facebook can also
very easily infer what your politics are,
very easily infer what your politics are,
266
889360
4736
Facebook kan met gemak
jouw politieke gezindheid achterhalen,
jouw politieke gezindheid achterhalen,
15:06
even if you've never
disclosed them on the site.
disclosed them on the site.
267
894120
2256
al heb je die nooit geuit op de site.
15:08
Right? These algorithms
can do that quite easily.
can do that quite easily.
268
896400
2520
Geen enkel probleem voor die algoritmen.
15:11
What if a platform with that kind of power
269
899960
3896
Stel nou dat een platform met zulke macht
15:15
decides to turn out supporters
of one candidate over the other?
of one candidate over the other?
270
903880
5040
besluit om de opkomst te stimuleren
voor een bepaalde kandidaat?
voor een bepaalde kandidaat?
Hoe zouden we dat
ook maar te weten komen?
ook maar te weten komen?
15:21
How would we even know about it?
271
909680
2440
We zijn begonnen
bij iets dat onschuldig lijkt --
bij iets dat onschuldig lijkt --
15:25
Now, we started from someplace
seemingly innocuous --
seemingly innocuous --
272
913560
4136
15:29
online adds following us around --
273
917720
2216
online advertenties
die ons achtervolgen --
die ons achtervolgen --
15:31
and we've landed someplace else.
274
919960
1840
en zijn ergens anders aanbeland.
15:35
As a public and as citizens,
275
923480
2456
Als publiek en als burgers
weten we niet meer of we
allemaal dezelfde informatie zien,
allemaal dezelfde informatie zien,
15:37
we no longer know
if we're seeing the same information
if we're seeing the same information
276
925960
3416
15:41
or what anybody else is seeing,
277
929400
1480
of wat anderen te zien krijgen.
15:43
and without a common basis of information,
278
931680
2576
Zonder een gedeelde informatievoorziening
15:46
little by little,
279
934280
1616
wordt openbaar debat
geleidelijk aan onmogelijk.
geleidelijk aan onmogelijk.
15:47
public debate is becoming impossible,
280
935920
3216
15:51
and we're just at
the beginning stages of this.
the beginning stages of this.
281
939160
2976
En dit is nog maar net begonnen.
15:54
These algorithms can quite easily infer
282
942160
3456
Deze algoritmen achterhalen met gemak
15:57
things like your people's ethnicity,
283
945640
3256
dingen als je etnische afkomst,
16:00
religious and political views,
personality traits,
personality traits,
284
948920
2336
religieuze en politieke gezindheid,
16:03
intelligence, happiness,
use of addictive substances,
use of addictive substances,
285
951280
3376
intelligentie, welzijn,
gebruik van verslavende middelen,
gebruik van verslavende middelen,
16:06
parental separation, age and genders,
286
954680
3136
gescheiden ouders, leeftijd en geslacht,
puur op basis van Facebook-likes.
16:09
just from Facebook likes.
287
957840
1960
16:13
These algorithms can identify protesters
288
961440
4056
Deze algoritmen kunnen
demonstranten identificeren
demonstranten identificeren
16:17
even if their faces
are partially concealed.
are partially concealed.
289
965520
2760
wier gezichten gedeeltelijk bedekt zijn.
16:21
These algorithms may be able
to detect people's sexual orientation
to detect people's sexual orientation
290
969720
6616
Deze algoritmen zijn mogelijk in staat
iemands seksuele voorkeur te achterhalen
iemands seksuele voorkeur te achterhalen
16:28
just from their dating profile pictures.
291
976360
3200
op basis van profielfoto's op datingsites.
16:33
Now, these are probabilistic guesses,
292
981560
2616
Weliswaar op basis van waarschijnlijkheid,
16:36
so they're not going
to be 100 percent right,
to be 100 percent right,
293
984200
2896
dus ze hebben het
ook wel eens bij het verkeerde eind,
ook wel eens bij het verkeerde eind,
16:39
but I don't see the powerful resisting
the temptation to use these technologies
the temptation to use these technologies
294
987120
4896
maar ik zie de machtigen der aarde
deze technologieën nog niet schuwen
deze technologieën nog niet schuwen
16:44
just because there are
some false positives,
some false positives,
295
992040
2176
enkel vanwege wat valse positieven.
16:46
which will of course create
a whole other layer of problems.
a whole other layer of problems.
296
994240
3256
Dit creëert uiteraard
een geheel nieuwe laag problemen.
een geheel nieuwe laag problemen.
16:49
Imagine what a state can do
297
997520
2936
Stel je voor wat een staat kan doen
16:52
with the immense amount of data
it has on its citizens.
it has on its citizens.
298
1000480
3560
met de immense hoeveelheid data
die hij bezit van zijn burgers.
die hij bezit van zijn burgers.
16:56
China is already using
face detection technology
face detection technology
299
1004680
4776
China gebruikt nu al
gezichtsherkenningssoftware
gezichtsherkenningssoftware
om mensen te identificeren en arresteren.
17:01
to identify and arrest people.
300
1009480
2880
17:05
And here's the tragedy:
301
1013280
2136
En het treurige is dit:
17:07
we're building this infrastructure
of surveillance authoritarianism
of surveillance authoritarianism
302
1015440
5536
we bouwen de infrastructuur
van een politiestaat
van een politiestaat
enkel om mensen
op advertenties te laten klikken.
op advertenties te laten klikken.
17:13
merely to get people to click on ads.
303
1021000
2960
17:17
And this won't be
Orwell's authoritarianism.
Orwell's authoritarianism.
304
1025240
2576
Dit zal geen
Orwelliaanse politiestaat zijn.
Orwelliaanse politiestaat zijn.
17:19
This isn't "1984."
305
1027839
1897
Het is niet '1984'.
17:21
Now, if authoritarianism
is using overt fear to terrorize us,
is using overt fear to terrorize us,
306
1029760
4576
Als een autoritair regime openlijk
angst gebruikt als machtsmiddel,
angst gebruikt als machtsmiddel,
17:26
we'll all be scared, but we'll know it,
307
1034359
2897
zijn we allemaal bang, maar we weten het.
17:29
we'll hate it and we'll resist it.
308
1037280
2200
We haten het en verzetten ons ertegen.
17:32
But if the people in power
are using these algorithms
are using these algorithms
309
1040880
4416
Maar als de machthebbers
deze algoritmen gebruiken
deze algoritmen gebruiken
17:37
to quietly watch us,
310
1045319
3377
om ons stiekem te bespieden,
te beoordelen en te sturen ...
17:40
to judge us and to nudge us,
311
1048720
2080
17:43
to predict and identify
the troublemakers and the rebels,
the troublemakers and the rebels,
312
1051720
4176
te voorspellen wie de
dwarsliggers en rebellen zijn,
dwarsliggers en rebellen zijn,
17:47
to deploy persuasion
architectures at scale
architectures at scale
313
1055920
3896
om op grote schaal die
beïnvloedingsmachine in te zetten
beïnvloedingsmachine in te zetten
17:51
and to manipulate individuals one by one
314
1059840
4136
en mensen individueel te manipuleren,
17:56
using their personal, individual
weaknesses and vulnerabilities,
weaknesses and vulnerabilities,
315
1064000
5440
gebruik makend van ieders
persoonlijke zwakheden,
persoonlijke zwakheden,
18:02
and if they're doing it at scale
316
1070720
2200
en ze doen dat op grote schaal
18:06
through our private screens
317
1074080
1736
via onze persoonlijke schermen,
18:07
so that we don't even know
318
1075840
1656
zodat we niet eens weten
18:09
what our fellow citizens
and neighbors are seeing,
and neighbors are seeing,
319
1077520
2760
wat onze medeburger
of onze buurman ziet ...
of onze buurman ziet ...
18:13
that authoritarianism
will envelop us like a spider's web
will envelop us like a spider's web
320
1081560
4816
... dat autoritarisme zal ons
omsluiten als een spinnenweb,
omsluiten als een spinnenweb,
waarvan we mogelijk
niet eens weten dat we erin zitten.
niet eens weten dat we erin zitten.
18:18
and we may not even know we're in it.
321
1086400
2480
18:22
So Facebook's market capitalization
322
1090440
2936
Facebooks marktkapitalisatie
nadert nu 420 miljard euro.
nadert nu 420 miljard euro.
18:25
is approaching half a trillion dollars.
323
1093400
3296
18:28
It's because it works great
as a persuasion architecture.
as a persuasion architecture.
324
1096720
3120
Dat komt omdat het geweldig werkt
als beïnvloedingsmachine.
als beïnvloedingsmachine.
18:33
But the structure of that architecture
325
1101760
2816
Maar die machinerie werkt hetzelfde
18:36
is the same whether you're selling shoes
326
1104600
3216
of je nu schoenen verkoopt
of een politieke mening.
of een politieke mening.
18:39
or whether you're selling politics.
327
1107840
2496
De algoritmen kennen het verschil niet.
18:42
The algorithms do not know the difference.
328
1110360
3120
18:46
The same algorithms set loose upon us
329
1114240
3296
Dezelfde algoritmen
die op je losgelaten worden
die op je losgelaten worden
18:49
to make us more pliable for ads
330
1117560
3176
om ons dingen aan te smeren,
18:52
are also organizing our political,
personal and social information flows,
personal and social information flows,
331
1120760
6736
bepalen tevens je politieke,
persoonlijke en sociale informatiestromen
persoonlijke en sociale informatiestromen
en dát moet veranderen.
18:59
and that's what's got to change.
332
1127520
1840
19:02
Now, don't get me wrong,
333
1130240
2296
Begrijp me niet verkeerd,
19:04
we use digital platforms
because they provide us with great value.
because they provide us with great value.
334
1132560
3680
we gebruiken digitale platformen
omdat die van grote waarde zijn voor ons.
omdat die van grote waarde zijn voor ons.
19:09
I use Facebook to keep in touch
with friends and family around the world.
with friends and family around the world.
335
1137120
3560
Ik gebruik Facebook voor contact
met vrienden en familie elders ter wereld.
met vrienden en familie elders ter wereld.
19:14
I've written about how crucial
social media is for social movements.
social media is for social movements.
336
1142000
5776
Ik heb geschreven over het enorme belang
van sociale media voor sociale bewegingen.
van sociale media voor sociale bewegingen.
19:19
I have studied how
these technologies can be used
these technologies can be used
337
1147800
3016
Ik heb bestudeerd hoe
deze technologieën gebruikt kunnen worden
deze technologieën gebruikt kunnen worden
19:22
to circumvent censorship around the world.
338
1150840
2480
om wereldwijd censuur te omzeilen.
19:27
But it's not that the people who run,
you know, Facebook or Google
you know, Facebook or Google
339
1155280
6416
Maar het is niet dat de mensen
die Facebook en Google en zo runnen
die Facebook en Google en zo runnen
19:33
are maliciously and deliberately trying
340
1161720
2696
kwaadaardig en bewust proberen
19:36
to make the country
or the world more polarized
or the world more polarized
341
1164440
4456
om het land of de wereld
meer gepolariseerd te maken
meer gepolariseerd te maken
en extremisme aan te wakkeren.
19:40
and encourage extremism.
342
1168920
1680
19:43
I read the many
well-intentioned statements
well-intentioned statements
343
1171440
3976
Ik heb vele welbedoelde statements gelezen
19:47
that these people put out.
344
1175440
3320
van de hand van deze mensen.
19:51
But it's not the intent or the statements
people in technology make that matter,
people in technology make that matter,
345
1179600
6056
Het zijn niet de intentie of de statements
van mensen in de technologiesector
van mensen in de technologiesector
die ertoe doen,
19:57
it's the structures
and business models they're building.
and business models they're building.
346
1185680
3560
maar de structuren
en de bedrijfsmodellen die ze bouwen.
en de bedrijfsmodellen die ze bouwen.
Dat is de kern van het probleem.
20:02
And that's the core of the problem.
347
1190360
2096
20:04
Either Facebook is a giant con
of half a trillion dollars
of half a trillion dollars
348
1192480
4720
Ofwel Facebook zijn oplichters
van bijna een half biljoen
van bijna een half biljoen
20:10
and ads don't work on the site,
349
1198200
1896
met advertenties die niet werken,
20:12
it doesn't work
as a persuasion architecture,
as a persuasion architecture,
350
1200120
2696
die niet werken als beïnvloedingsmachine,
20:14
or its power of influence
is of great concern.
is of great concern.
351
1202840
4120
óf hun beïnvloedingsmacht
is reden tot grote zorg.
is reden tot grote zorg.
Het is het een of het ander.
20:20
It's either one or the other.
352
1208560
1776
20:22
It's similar for Google, too.
353
1210360
1600
Google is een soortgelijk verhaal.
20:24
So what can we do?
354
1212880
2456
Wat kunnen we eraan doen?
20:27
This needs to change.
355
1215360
1936
Dit moet veranderen.
Ik kan geen simpel recept geven,
20:29
Now, I can't offer a simple recipe,
356
1217320
2576
want wij moeten de functioneringswijze
20:31
because we need to restructure
357
1219920
2256
20:34
the whole way our
digital technology operates.
digital technology operates.
358
1222200
3016
van onze hele digitale
technologie herinrichten.
technologie herinrichten.
20:37
Everything from the way
technology is developed
technology is developed
359
1225240
4096
Alles, van hoe de technologie
ontwikkeld wordt,
ontwikkeld wordt,
20:41
to the way the incentives,
economic and otherwise,
economic and otherwise,
360
1229360
3856
tot hoe de stimuli,
zowel economisch als anderszins,
zowel economisch als anderszins,
20:45
are built into the system.
361
1233240
2280
in het systeem ingebouwd zijn.
20:48
We have to face and try to deal with
362
1236480
3456
We zullen een antwoord moeten vinden
20:51
the lack of transparency
created by the proprietary algorithms,
created by the proprietary algorithms,
363
1239960
4656
op het gebrek aan transparantie
veroorzaakt door gesloten algoritmen,
veroorzaakt door gesloten algoritmen,
20:56
the structural challenge
of machine learning's opacity,
of machine learning's opacity,
364
1244640
3816
de ondoorzichtigheid
van kunstmatige intelligentie,
van kunstmatige intelligentie,
en die massa's data
die over ons verzameld worden.
die over ons verzameld worden.
21:00
all this indiscriminate data
that's being collected about us.
that's being collected about us.
365
1248480
3400
21:05
We have a big task in front of us.
366
1253000
2520
Er staat ons veel te doen.
21:08
We have to mobilize our technology,
367
1256160
2680
We moeten onze technologie mobiliseren,
21:11
our creativity
368
1259760
1576
onze creativiteit
en ook onze politiek,
21:13
and yes, our politics
369
1261360
1880
21:16
so that we can build
artificial intelligence
artificial intelligence
370
1264240
2656
zodat we kunstmatige
intelligentie kunnen bouwen
intelligentie kunnen bouwen
21:18
that supports us in our human goals
371
1266920
3120
die ons ondersteunt
in onze menselijke doelen,
in onze menselijke doelen,
maar die ook beteugeld wordt
door onze menselijke waarden.
door onze menselijke waarden.
21:22
but that is also constrained
by our human values.
by our human values.
372
1270800
3920
Ik begrijp dat dit niet makkelijk wordt.
21:27
And I understand this won't be easy.
373
1275600
2160
Misschien is zelfs al consensus
over de betekenis van die termen moeilijk.
over de betekenis van die termen moeilijk.
21:30
We might not even easily agree
on what those terms mean.
on what those terms mean.
374
1278360
3600
21:34
But if we take seriously
375
1282920
2400
Maar als we serieus nemen
hoe deze systemen opereren
waarvan we zo sterk afhankelijk zijn,
waarvan we zo sterk afhankelijk zijn,
21:38
how these systems that we
depend on for so much operate,
depend on for so much operate,
376
1286240
5976
zie ik niet hoe we deze conversatie
nog langer kunnen uitstellen.
nog langer kunnen uitstellen.
21:44
I don't see how we can postpone
this conversation anymore.
this conversation anymore.
377
1292240
4120
21:49
These structures
378
1297200
2536
Deze structuren
21:51
are organizing how we function
379
1299760
4096
regelen ons functioneren
en ze bepalen wat we
wel en niet kunnen doen.
wel en niet kunnen doen.
21:55
and they're controlling
380
1303880
2296
21:58
what we can and we cannot do.
381
1306200
2616
22:00
And many of these ad-financed platforms,
382
1308840
2456
Veel van deze
advertentie-gedreven platformen
advertentie-gedreven platformen
22:03
they boast that they're free.
383
1311320
1576
pochen dat ze gratis zijn.
22:04
In this context, it means
that we are the product that's being sold.
that we are the product that's being sold.
384
1312920
4560
In deze context betekent dat
dat wijzelf de koopwaar zijn.
dat wijzelf de koopwaar zijn.
22:10
We need a digital economy
385
1318840
2736
We hebben een digitale economie nodig
22:13
where our data and our attention
386
1321600
3496
waar onze data en onze aandacht
22:17
is not for sale to the highest-bidding
authoritarian or demagogue.
authoritarian or demagogue.
387
1325120
5080
niet te koop zijn voor
de hoogstbiedende machthebber.
de hoogstbiedende machthebber.
22:23
(Applause)
388
1331160
3800
(Applaus)
22:30
So to go back to
that Hollywood paraphrase,
that Hollywood paraphrase,
389
1338480
3256
Om terug te gaan
naar dat citaat uit Hollywood:
naar dat citaat uit Hollywood:
22:33
we do want the prodigious potential
390
1341760
3736
we willen dat het ongekende potentieel
van kunstmatige intelligentie
en digitale technologie tot wasdom komt,
en digitale technologie tot wasdom komt,
22:37
of artificial intelligence
and digital technology to blossom,
and digital technology to blossom,
391
1345520
3200
maar daarvoor
22:41
but for that, we must face
this prodigious menace,
this prodigious menace,
392
1349400
4936
zullen we dit ongekende monster
onder ogen moeten zien, en wel nu.
onder ogen moeten zien, en wel nu.
22:46
open-eyed and now.
393
1354360
1936
22:48
Thank you.
394
1356320
1216
Dank je wel.
22:49
(Applause)
395
1357560
4640
(Applaus)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com