TEDGlobal>NYC
Zeynep Tufekci: We're building a dystopia just to make people click on ads
Zeynep Tufekci: Estamos criando uma distopia só para fazer as pessoas clicarem em anúncios
Filmed:
Readability: 4.8
2,866,905 views
Estamos criando uma distopia proporcionada pela inteligência artificial, um clique de cada vez, diz a tecno-socióloga Zeynep Tufekci. Em uma palestra reveladora, ela detalha como os mesmos algoritmos usados por empresas como Facebook, Google e Amazon para nos fazer clicar em anúncios também são usados para organizar nosso acesso a informações políticas e sociais. E a ameaça real não são as máquinas. O que precisamos entender é como os poderosos podem usar a IA para nos controlar; e o que podemos fazer para reagir.
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So when people voice fears
of artificial intelligence,
of artificial intelligence,
0
760
3536
Quando as pessoas dizem
que têm medo da inteligência artificial,
que têm medo da inteligência artificial,
00:16
very often, they invoke images
of humanoid robots run amok.
of humanoid robots run amok.
1
4320
3976
com frequência elas evocam imagens
de robôs humanoides cometendo massacres.
de robôs humanoides cometendo massacres.
00:20
You know? Terminator?
2
8320
1240
Sabem? "O Exterminador do Futuro"?
00:22
You know, that might be
something to consider,
something to consider,
3
10400
2336
Bem, isso pode ser algo a ser considerado,
00:24
but that's a distant threat.
4
12760
1856
mas é uma ameaça distante.
00:26
Or, we fret about digital surveillance
5
14640
3456
Ou nos preocupamos com vigilância digital,
00:30
with metaphors from the past.
6
18120
1776
com metáforas do passado.
00:31
"1984," George Orwell's "1984,"
7
19920
2656
O livro "1984", de George Orwell,
00:34
it's hitting the bestseller lists again.
8
22600
2280
está de volta ao topo
das listas dos mais vendidos.
das listas dos mais vendidos.
00:37
It's a great book,
9
25960
1416
É um livro ótimo,
00:39
but it's not the correct dystopia
for the 21st century.
for the 21st century.
10
27400
3880
mas não é a distopia correta
para o século 21.
para o século 21.
00:44
What we need to fear most
11
32080
1416
O que mais devemos temer
00:45
is not what artificial intelligence
will do to us on its own,
will do to us on its own,
12
33520
4776
não é o que a inteligência artificial
em si vai fazer conosco,
em si vai fazer conosco,
00:50
but how the people in power
will use artificial intelligence
will use artificial intelligence
13
38320
4736
mas como as pessoas no poder
vão usar a inteligência artificial
vão usar a inteligência artificial
00:55
to control us and to manipulate us
14
43080
2816
para nos controlar e nos manipular
00:57
in novel, sometimes hidden,
15
45920
3136
de formas novas, às vezes ocultas,
01:01
subtle and unexpected ways.
16
49080
3016
sutis e inesperadas.
01:04
Much of the technology
17
52120
1856
Muita da tecnologia
01:06
that threatens our freedom
and our dignity in the near-term future
and our dignity in the near-term future
18
54000
4336
que ameaça nossa liberdade
e dignidade num futuro a curto prazo
e dignidade num futuro a curto prazo
01:10
is being developed by companies
19
58360
1856
está sendo desenvolvida por empresas
01:12
in the business of capturing
and selling our data and our attention
and selling our data and our attention
20
60240
4936
que estão no negócio de captura
e venda de nossos dados e nossa atenção
e venda de nossos dados e nossa atenção
01:17
to advertisers and others:
21
65200
2256
para anunciantes e outros;
01:19
Facebook, Google, Amazon,
22
67480
3416
Facebook, Google, Amazon,
01:22
Alibaba, Tencent.
23
70920
1880
Alibaba, Tencent.
01:26
Now, artificial intelligence has started
bolstering their business as well.
bolstering their business as well.
24
74040
5496
A inteligência artificial começou
a dar suporte a esses negócios, também.
a dar suporte a esses negócios, também.
01:31
And it may seem
like artificial intelligence
like artificial intelligence
25
79560
2096
E pode parecer
que a inteligência artificial
que a inteligência artificial
01:33
is just the next thing after online ads.
26
81680
2856
é apenas o próximo passo
em anúncios on-line.
em anúncios on-line.
01:36
It's not.
27
84560
1216
Não é.
01:37
It's a jump in category.
28
85800
2456
É um salto de categoria.
01:40
It's a whole different world,
29
88280
2576
É um mundo totalmente novo,
01:42
and it has great potential.
30
90880
2616
e tem muito potencial.
01:45
It could accelerate our understanding
of many areas of study and research.
of many areas of study and research.
31
93520
6920
Ela pode acelerar nosso entendimento
em muitas áreas de estudo e pesquisa.
em muitas áreas de estudo e pesquisa.
01:53
But to paraphrase
a famous Hollywood philosopher,
a famous Hollywood philosopher,
32
101120
3496
Mas, parafraseando
um famoso filósofo de Hollywood:
um famoso filósofo de Hollywood:
01:56
"With prodigious potential
comes prodigious risk."
comes prodigious risk."
33
104640
3640
"Junto com um potencial imenso,
vem um risco imenso".
vem um risco imenso".
02:01
Now let's look at a basic fact
of our digital lives, online ads.
of our digital lives, online ads.
34
109120
3936
Vamos olhar um fato básico
de nossa vida digital: anúncios on-line.
de nossa vida digital: anúncios on-line.
02:05
Right? We kind of dismiss them.
35
113080
2896
Certo? Nós meio que os dispensamos.
02:08
They seem crude, ineffective.
36
116000
1976
Eles parecem toscos, não efetivos.
02:10
We've all had the experience
of being followed on the web
of being followed on the web
37
118000
4256
Todos nós já tivemos a experiência
de sermos seguidos na web
de sermos seguidos na web
02:14
by an ad based on something
we searched or read.
we searched or read.
38
122280
2776
por um anúncio baseado
em algo que pesquisamos ou lemos.
em algo que pesquisamos ou lemos.
02:17
You know, you look up a pair of boots
39
125080
1856
Sabe? Você pesquisa um par de botas
02:18
and for a week, those boots are following
you around everywhere you go.
you around everywhere you go.
40
126960
3376
e, por uma semana, essas botas
o perseguem onde quer que você vá.
o perseguem onde quer que você vá.
02:22
Even after you succumb and buy them,
they're still following you around.
they're still following you around.
41
130360
3656
Mesmo depois de sucumbir e comprá-las,
elas continuam seguindo você.
elas continuam seguindo você.
02:26
We're kind of inured to that kind
of basic, cheap manipulation.
of basic, cheap manipulation.
42
134040
3016
Nós nos acostumamos a esse tipo
de manipulação básica e barata.
de manipulação básica e barata.
02:29
We roll our eyes and we think,
"You know what? These things don't work."
"You know what? These things don't work."
43
137080
3400
Reviramos os olhos e pensamos:
"Quer saber? Essas coisas não funcionam".
"Quer saber? Essas coisas não funcionam".
02:33
Except, online,
44
141720
2096
Mas, on-line, as tecnologias digitais
não são só anúncios.
não são só anúncios.
02:35
the digital technologies are not just ads.
45
143840
3600
02:40
Now, to understand that,
let's think of a physical world example.
let's think of a physical world example.
46
148240
3120
Para entender isso, vamos pensar
em um exemplo do mundo real.
em um exemplo do mundo real.
02:43
You know how, at the checkout counters
at supermarkets, near the cashier,
at supermarkets, near the cashier,
47
151840
4656
Sabem quando, perto
dos caixas do supermercado,
dos caixas do supermercado,
02:48
there's candy and gum
at the eye level of kids?
at the eye level of kids?
48
156520
3480
estão expostas balas e chicletes
na altura dos olhos das crianças?
na altura dos olhos das crianças?
02:52
That's designed to make them
whine at their parents
whine at their parents
49
160800
3496
Isso é projetado para fazê-las
choramingar para os pais
choramingar para os pais
02:56
just as the parents
are about to sort of check out.
are about to sort of check out.
50
164320
3080
bem na hora em que eles
estão encerrando a compra.
estão encerrando a compra.
03:00
Now, that's a persuasion architecture.
51
168040
2640
Isso é uma arquitetura de persuasão.
03:03
It's not nice, but it kind of works.
52
171160
3096
Não é legal, mas funciona.
03:06
That's why you see it
in every supermarket.
in every supermarket.
53
174280
2040
E você vê isso em qualquer supermercado.
03:08
Now, in the physical world,
54
176720
1696
Agora, no mundo físico,
essas arquiteturas de persuasão
são um pouco limitadas,
são um pouco limitadas,
03:10
such persuasion architectures
are kind of limited,
are kind of limited,
55
178440
2496
03:12
because you can only put
so many things by the cashier. Right?
so many things by the cashier. Right?
56
180960
4816
porque só se consegue colocar um certo
número de coisas perto do caixa, certo?
número de coisas perto do caixa, certo?
03:17
And the candy and gum,
it's the same for everyone,
it's the same for everyone,
57
185800
4296
E as balas e chicletes
são iguais para todos,
são iguais para todos,
03:22
even though it mostly works
58
190120
1456
mesmo que funcionem mais para as pessoas
03:23
only for people who have
whiny little humans beside them.
whiny little humans beside them.
59
191600
4040
que estão com pequenos
humanos choraminguentos.
humanos choraminguentos.
03:29
In the physical world,
we live with those limitations.
we live with those limitations.
60
197160
3920
No mundo físico,
vivemos com essas limitações.
vivemos com essas limitações.
03:34
In the digital world, though,
61
202280
1936
No mundo digital, no entanto,
03:36
persuasion architectures
can be built at the scale of billions
can be built at the scale of billions
62
204240
4320
arquiteturas de persuasão
podem ser construídas aos bilhões
podem ser construídas aos bilhões
03:41
and they can target, infer, understand
63
209840
3856
e podem mirar, inferir, entender
03:45
and be deployed at individuals
64
213720
2896
e ser aplicadas individualmente,
03:48
one by one
65
216640
1216
um a um,
03:49
by figuring out your weaknesses,
66
217880
2136
ao entender nossas fraquezas,
03:52
and they can be sent
to everyone's phone private screen,
to everyone's phone private screen,
67
220040
5616
e podem ser enviadas de forma privada
para a tela do telefone de cada um,
para a tela do telefone de cada um,
03:57
so it's not visible to us.
68
225680
2256
então não são visíveis para todos.
03:59
And that's different.
69
227960
1256
E isso é diferente.
04:01
And that's just one of the basic things
that artificial intelligence can do.
that artificial intelligence can do.
70
229240
3576
Essa é só uma das coisas básicas
que a inteligência artificial pode fazer.
que a inteligência artificial pode fazer.
Por exemplo, digamos que você queira
vender passagens aéreas para Las Vegas.
vender passagens aéreas para Las Vegas.
04:04
Now, let's take an example.
71
232840
1336
04:06
Let's say you want to sell
plane tickets to Vegas. Right?
plane tickets to Vegas. Right?
72
234200
2696
04:08
So in the old world, you could think
of some demographics to target
of some demographics to target
73
236920
3496
No mundo antigo, você poderia pensar
em mirar em alguns setores da população
em mirar em alguns setores da população
04:12
based on experience
and what you can guess.
and what you can guess.
74
240440
2520
baseado na experiência
e no que você puder imaginar.
e no que você puder imaginar.
04:15
You might try to advertise to, oh,
75
243560
2816
Você pode tentar anunciar para...
04:18
men between the ages of 25 and 35,
76
246400
2496
homens de 25 a 35 anos,
04:20
or people who have
a high limit on their credit card,
a high limit on their credit card,
77
248920
3936
ou pessoas que têm limite alto
no cartão de crédito,
no cartão de crédito,
04:24
or retired couples. Right?
78
252880
1376
ou casais aposentados, certo?
04:26
That's what you would do in the past.
79
254280
1816
É isso que você faria no passado.
04:28
With big data and machine learning,
80
256120
2896
Com "big data" e aprendizado de máquina,
04:31
that's not how it works anymore.
81
259040
1524
não funciona mais assim.
04:33
So to imagine that,
82
261320
2176
Para imaginar isso,
04:35
think of all the data
that Facebook has on you:
that Facebook has on you:
83
263520
3856
pense em todos os dados
que o Facebook tem sobre você:
que o Facebook tem sobre você:
04:39
every status update you ever typed,
84
267400
2536
cada atualização de status
que você já digitou,
que você já digitou,
04:41
every Messenger conversation,
85
269960
2016
cada conversa no Messenger,
04:44
every place you logged in from,
86
272000
1880
cada local de onde você se conectou,
04:48
all your photographs
that you uploaded there.
that you uploaded there.
87
276400
3176
todas as fotos que você publicou.
04:51
If you start typing something
and change your mind and delete it,
and change your mind and delete it,
88
279600
3776
Se você começa a digitar algo,
muda de ideia e deleta,
muda de ideia e deleta,
04:55
Facebook keeps those
and analyzes them, too.
and analyzes them, too.
89
283400
3200
o Facebook guarda isso e analisa, também.
04:59
Increasingly, it tries
to match you with your offline data.
to match you with your offline data.
90
287160
3936
Além disso, ele tenta combinar você
com seus dados fora da rede.
com seus dados fora da rede.
05:03
It also purchases
a lot of data from data brokers.
a lot of data from data brokers.
91
291120
3176
E também compra muitos dados
de corretores de dados.
de corretores de dados.
05:06
It could be everything
from your financial records
from your financial records
92
294320
3416
Pode ser qualquer coisa,
desde seus registros financeiros
desde seus registros financeiros
05:09
to a good chunk of your browsing history.
93
297760
2120
a uma boa parte
do seu histórico de navegação.
do seu histórico de navegação.
Certo?
05:12
Right? In the US,
such data is routinely collected,
such data is routinely collected,
94
300360
5416
Nos EUA esses dados
são coletados rotineiramente,
são coletados rotineiramente,
05:17
collated and sold.
95
305800
1960
organizados e vendidos.
05:20
In Europe, they have tougher rules.
96
308320
2440
Na Europa, há regras mais rígidas.
05:23
So what happens then is,
97
311680
2200
O que acontece então
05:26
by churning through all that data,
these machine-learning algorithms --
these machine-learning algorithms --
98
314920
4016
é que, vasculhando todos esses dados,
os algoritmos de aprendizado de máquina,
os algoritmos de aprendizado de máquina,
05:30
that's why they're called
learning algorithms --
learning algorithms --
99
318960
2896
e é por isso que são chamados
de algoritmos de aprendizado,
de algoritmos de aprendizado,
05:33
they learn to understand
the characteristics of people
the characteristics of people
100
321880
4096
aprendem a entender
as características das pessoas
as características das pessoas
05:38
who purchased tickets to Vegas before.
101
326000
2520
que já compraram passagens
para Las Vegas antes.
para Las Vegas antes.
05:41
When they learn this from existing data,
102
329760
3536
Quando eles aprendem isso
a partir de dados existentes,
a partir de dados existentes,
05:45
they also learn
how to apply this to new people.
how to apply this to new people.
103
333320
3816
eles também aprendem
a aplicar isso a outras pessoas.
a aplicar isso a outras pessoas.
05:49
So if they're presented with a new person,
104
337160
3056
Então, se uma nova pessoa
é apresentada a eles,
é apresentada a eles,
05:52
they can classify whether that person
is likely to buy a ticket to Vegas or not.
is likely to buy a ticket to Vegas or not.
105
340240
4640
eles podem classificar se essa pessoa
é do tipo que compra passagem
para Las Vegas ou não.
para Las Vegas ou não.
05:57
Fine. You're thinking,
an offer to buy tickets to Vegas.
an offer to buy tickets to Vegas.
106
345720
5456
Bem. Você está pensando:
"Uma oferta de passagem pra Las Vegas.
"Uma oferta de passagem pra Las Vegas.
06:03
I can ignore that.
107
351200
1456
Consigo ignorar isso".
06:04
But the problem isn't that.
108
352680
2216
Mas o problema não é esse.
06:06
The problem is,
109
354920
1576
O problema é que não entendemos mais
como esses algoritmos complexos trabalham.
como esses algoritmos complexos trabalham.
06:08
we no longer really understand
how these complex algorithms work.
how these complex algorithms work.
110
356520
4136
06:12
We don't understand
how they're doing this categorization.
how they're doing this categorization.
111
360680
3456
Não entendemos como eles estão
fazendo essa categorização.
fazendo essa categorização.
06:16
It's giant matrices,
thousands of rows and columns,
thousands of rows and columns,
112
364160
4416
São matrizes gigantes,
milhares de linhas e colunas,
milhares de linhas e colunas,
06:20
maybe millions of rows and columns,
113
368600
1960
talvez milhões,
06:23
and not the programmers
114
371320
2640
e nem os programadores
06:26
and not anybody who looks at it,
115
374760
1680
nem ninguém que olhe isso,
06:29
even if you have all the data,
116
377440
1496
mesmo tendo todos os dados,
06:30
understands anymore
how exactly it's operating
how exactly it's operating
117
378960
4616
entende exatamente
como eles estão operando;
como eles estão operando;
06:35
any more than you'd know
what I was thinking right now
what I was thinking right now
118
383600
3776
não mais do que você saberia
sobre o que estou pensando agora,
sobre o que estou pensando agora,
se visse um corte transversal
do meu cérebro.
do meu cérebro.
06:39
if you were shown
a cross section of my brain.
a cross section of my brain.
119
387400
3960
06:44
It's like we're not programming anymore,
120
392360
2576
É como se não estivéssemos
mais programando,
mais programando,
06:46
we're growing intelligence
that we don't truly understand.
that we don't truly understand.
121
394960
4400
estamos criando inteligência
que não entendemos verdadeiramente.
que não entendemos verdadeiramente.
06:52
And these things only work
if there's an enormous amount of data,
if there's an enormous amount of data,
122
400520
3976
E essas coisas só funcionam
se existir uma quantidade enorme de dados,
se existir uma quantidade enorme de dados,
06:56
so they also encourage
deep surveillance on all of us
deep surveillance on all of us
123
404520
5096
então eles também encorajam
uma grande vigilância sobre nós,
uma grande vigilância sobre nós,
para que os algoritmos
de aprendizado de máquina funcionem.
de aprendizado de máquina funcionem.
07:01
so that the machine learning
algorithms can work.
algorithms can work.
124
409640
2336
07:04
That's why Facebook wants
to collect all the data it can about you.
to collect all the data it can about you.
125
412000
3176
Por isso o Facebook quer
coletar tudo que pode sobre você.
coletar tudo que pode sobre você.
07:07
The algorithms work better.
126
415200
1576
Os algoritmos funcionam melhor.
07:08
So let's push that Vegas example a bit.
127
416800
2696
Vamos explorar um pouco mais
o exemplo sobre Las vegas.
o exemplo sobre Las vegas.
07:11
What if the system
that we do not understand
that we do not understand
128
419520
3680
E se o sistema que nós não entendemos
07:16
was picking up that it's easier
to sell Vegas tickets
to sell Vegas tickets
129
424200
5136
estivesse detectando que é mais fácil
vender passagens para Las Vegas
vender passagens para Las Vegas
07:21
to people who are bipolar
and about to enter the manic phase.
and about to enter the manic phase.
130
429360
3760
para pessoas bipolares
próximas de entrar em sua fase maníaca?
próximas de entrar em sua fase maníaca?
07:25
Such people tend to become
overspenders, compulsive gamblers.
overspenders, compulsive gamblers.
131
433640
4920
Essas pessoas tendem a se tornar
gastadores excessivos,
jogadores compulsivos.
jogadores compulsivos.
07:31
They could do this, and you'd have no clue
that's what they were picking up on.
that's what they were picking up on.
132
439280
4456
Eles podem fazer isso sem tenhamos a menor
ideia de que eles estão detectando isso.
ideia de que eles estão detectando isso.
07:35
I gave this example
to a bunch of computer scientists once
to a bunch of computer scientists once
133
443760
3616
Uma vez dei esse exemplo
a alguns cientistas da computação
a alguns cientistas da computação
07:39
and afterwards, one of them came up to me.
134
447400
2056
e, no fim, um deles veio falar comigo.
07:41
He was troubled and he said,
"That's why I couldn't publish it."
"That's why I couldn't publish it."
135
449480
3520
Ele estava perturbado e disse:
"Por isso eu não pude publicar".
"Por isso eu não pude publicar".
07:45
I was like, "Couldn't publish what?"
136
453600
1715
Eu fiquei tipo: "Não pôde publicar o quê?"
07:47
He had tried to see whether you can indeed
figure out the onset of mania
figure out the onset of mania
137
455800
5856
Ele tinha tentado identificar
o início da fase maníaca,
o início da fase maníaca,
a partir de publicações de redes sociais,
antes dos sintomas clínicos,
antes dos sintomas clínicos,
07:53
from social media posts
before clinical symptoms,
before clinical symptoms,
138
461680
3216
07:56
and it had worked,
139
464920
1776
e tinha funcionado,
07:58
and it had worked very well,
140
466720
2056
tinha funcionado muito bem,
08:00
and he had no idea how it worked
or what it was picking up on.
or what it was picking up on.
141
468800
4880
e ele não tinha ideia sobre como tinha
funcionado ou o que ele estava detectando.
funcionado ou o que ele estava detectando.
08:06
Now, the problem isn't solved
if he doesn't publish it,
if he doesn't publish it,
142
474840
4416
Mas não publicar não resolve o problema,
08:11
because there are already companies
143
479280
1896
porque já existem empresas
08:13
that are developing
this kind of technology,
this kind of technology,
144
481200
2536
que estão desenvolvendo
esse tipo de tecnologia,
esse tipo de tecnologia,
08:15
and a lot of the stuff
is just off the shelf.
is just off the shelf.
145
483760
2800
e muita coisa simplesmente já existe.
08:19
This is not very difficult anymore.
146
487240
2576
Isso não é mais tão difícil.
08:21
Do you ever go on YouTube
meaning to watch one video
meaning to watch one video
147
489840
3456
Você já entrou no YouTube
para assistir a um vídeo
para assistir a um vídeo
08:25
and an hour later you've watched 27?
148
493320
2360
e uma hora depois já assistiu a 27?
08:28
You know how YouTube
has this column on the right
has this column on the right
149
496760
2496
Sabe aquela coluna à direita do YouTube
08:31
that says, "Up next"
150
499280
2216
que diz: "Próximo" e reproduz
automaticamente alguma coisa?
automaticamente alguma coisa?
08:33
and it autoplays something?
151
501520
1816
08:35
It's an algorithm
152
503360
1216
É um algoritmo
08:36
picking what it thinks
that you might be interested in
that you might be interested in
153
504600
3616
que escolhe o que ele acha
que pode interessar a você,
que pode interessar a você,
08:40
and maybe not find on your own.
154
508240
1536
não é você que escolhe.
08:41
It's not a human editor.
155
509800
1256
Não é um editor humano.
É isso que os algoritmos fazem.
08:43
It's what algorithms do.
156
511080
1416
08:44
It picks up on what you have watched
and what people like you have watched,
and what people like you have watched,
157
512520
4736
Eles detectam o que você viu
e o que as pessoas como você viram,
e o que as pessoas como você viram,
08:49
and infers that that must be
what you're interested in,
what you're interested in,
158
517280
4216
e infere que deve ser nisso
que você está interessado,
que você está interessado,
08:53
what you want more of,
159
521520
1255
que você quer consumir mais,
e apresenta mais para você.
e apresenta mais para você.
08:54
and just shows you more.
160
522799
1336
08:56
It sounds like a benign
and useful feature,
and useful feature,
161
524159
2201
Parece uma característica benigna e útil,
08:59
except when it isn't.
162
527280
1200
mas não é.
09:01
So in 2016, I attended rallies
of then-candidate Donald Trump
of then-candidate Donald Trump
163
529640
6960
Em 2016, participei de comícios
do então candidato Donald Trump
do então candidato Donald Trump
09:09
to study as a scholar
the movement supporting him.
the movement supporting him.
164
537840
3336
para estudar o movimento de apoio a ele.
09:13
I study social movements,
so I was studying it, too.
so I was studying it, too.
165
541200
3456
Eu estudo movimentos sociais,
então estava estudando esse também.
então estava estudando esse também.
09:16
And then I wanted to write something
about one of his rallies,
about one of his rallies,
166
544680
3336
Eu queria escrever algo
sobre um de seus comícios,
sobre um de seus comícios,
09:20
so I watched it a few times on YouTube.
167
548040
1960
então assisti a ele
algumas vezes no YouTube.
algumas vezes no YouTube.
09:23
YouTube started recommending to me
168
551240
3096
O YouTube começou a me recomendar
09:26
and autoplaying to me
white supremacist videos
white supremacist videos
169
554360
4256
e a reproduzir automaticamente
vídeos de supremacistas brancos
vídeos de supremacistas brancos
09:30
in increasing order of extremism.
170
558640
2656
em ordem crescente de extremismo.
09:33
If I watched one,
171
561320
1816
Se eu assistia a um,
09:35
it served up one even more extreme
172
563160
2976
ele me apresentava outro
ainda mais radical
ainda mais radical
09:38
and autoplayed that one, too.
173
566160
1424
e reproduzia-o automaticamente, também.
09:40
If you watch Hillary Clinton
or Bernie Sanders content,
or Bernie Sanders content,
174
568320
4536
Se você assistir a conteúdo
da Hillary Clinton ou do Bernie Sanders,
da Hillary Clinton ou do Bernie Sanders,
09:44
YouTube recommends
and autoplays conspiracy left,
and autoplays conspiracy left,
175
572880
4696
o YouTube recomenda e reproduz
conspiração de esquerda,
conspiração de esquerda,
09:49
and it goes downhill from there.
176
577600
1760
e daí pra baixo.
09:52
Well, you might be thinking,
this is politics, but it's not.
this is politics, but it's not.
177
580480
3056
Bem, você pode pensar que isso
tem a ver com política, mas não.
tem a ver com política, mas não.
Não tem a ver com política.
09:55
This isn't about politics.
178
583560
1256
09:56
This is just the algorithm
figuring out human behavior.
figuring out human behavior.
179
584840
3096
Isso é só o algoritmo descobrindo
sobre o comportamento humano.
sobre o comportamento humano.
09:59
I once watched a video
about vegetarianism on YouTube
about vegetarianism on YouTube
180
587960
4776
Uma vez assisti a um vídeo
sobre vegetarianismo no YouTube
sobre vegetarianismo no YouTube
10:04
and YouTube recommended
and autoplayed a video about being vegan.
and autoplayed a video about being vegan.
181
592760
4936
e o YouTube recomendou e reproduziu
automaticamente um vídeo sobre ser vegano.
automaticamente um vídeo sobre ser vegano.
10:09
It's like you're never
hardcore enough for YouTube.
hardcore enough for YouTube.
182
597720
3016
É como se você nunca fosse
radical o suficiente para o YouTube.
radical o suficiente para o YouTube.
10:12
(Laughter)
183
600760
1576
(Risos)
10:14
So what's going on?
184
602360
1560
Então o que está havendo?
10:16
Now, YouTube's algorithm is proprietary,
185
604520
3536
O algoritmo do YouTube é privado,
10:20
but here's what I think is going on.
186
608080
2360
mas acho que acontece o seguinte.
10:23
The algorithm has figured out
187
611360
2096
O algoritmo descobriu
10:25
that if you can entice people
188
613480
3696
que, se conseguir persuadir as pessoas
10:29
into thinking that you can
show them something more hardcore,
show them something more hardcore,
189
617200
3736
a pensarem que você pode mostrar
algo ainda mais extremo,
algo ainda mais extremo,
10:32
they're more likely to stay on the site
190
620960
2416
é mais provável que elas fiquem no site
10:35
watching video after video
going down that rabbit hole
going down that rabbit hole
191
623400
4416
assistindo a vídeo após vídeo
e se afundando cada vez mais,
e se afundando cada vez mais,
10:39
while Google serves them ads.
192
627840
1680
enquanto o Google mostra anúncios a elas.
10:43
Now, with nobody minding
the ethics of the store,
the ethics of the store,
193
631760
3120
Se ninguém cuidar da questão ética,
10:47
these sites can profile people
194
635720
4240
esses sites podem
traçar o perfil de pessoas
traçar o perfil de pessoas
10:53
who are Jew haters,
195
641680
1920
que odeiam judeus,
10:56
who think that Jews are parasites
196
644360
2480
que acham que judeus são parasitas,
11:00
and who have such explicit
anti-Semitic content,
anti-Semitic content,
197
648320
4920
e que têm conteúdo
explicitamente antissemita,
explicitamente antissemita,
11:06
and let you target them with ads.
198
654080
2000
e deixar que você os atinja com anúncios.
11:09
They can also mobilize algorithms
199
657200
3536
Eles também podem mobilizar algoritmos
11:12
to find for you look-alike audiences,
200
660760
3136
para encontrar para você
plateias similares,
plateias similares,
11:15
people who do not have such explicit
anti-Semitic content on their profile
anti-Semitic content on their profile
201
663920
5576
pessoas que não têm conteúdo antissemita
tão explícito em seu perfil,
tão explícito em seu perfil,
11:21
but who the algorithm detects
may be susceptible to such messages,
may be susceptible to such messages,
202
669520
6176
mas que o algoritmo detecta que podem ser
suscetíveis a esse tipo de mensagem,
suscetíveis a esse tipo de mensagem,
11:27
and lets you target them with ads, too.
203
675720
1920
e deixar que você os atinja
com anúncios, também.
com anúncios, também.
11:30
Now, this may sound
like an implausible example,
like an implausible example,
204
678680
2736
Esse exemplo pode não parecer plausível,
11:33
but this is real.
205
681440
1320
mas é real.
11:35
ProPublica investigated this
206
683480
2136
A ProPublica investigou isso
11:37
and found that you can indeed
do this on Facebook,
do this on Facebook,
207
685640
3616
e descobriu que, sem dúvida,
isso pode ser feito no Facebook,
isso pode ser feito no Facebook,
11:41
and Facebook helpfully
offered up suggestions
offered up suggestions
208
689280
2416
e o Facebook prestativamente
ofereceu sugestões
ofereceu sugestões
11:43
on how to broaden that audience.
209
691720
1600
sobre como aumentar esse público.
11:46
BuzzFeed tried it for Google,
and very quickly they found,
and very quickly they found,
210
694720
3016
O BuzzFeed tentou isso com o Google,
e rapidamente descobriu que sim,
e rapidamente descobriu que sim,
11:49
yep, you can do it on Google, too.
211
697760
1736
pode-se fazer isso no Google, também.
11:51
And it wasn't even expensive.
212
699520
1696
E não foi muito caro.
11:53
The ProPublica reporter
spent about 30 dollars
spent about 30 dollars
213
701240
4416
O repórter da ProPublica
gastou em torno de US$ 30
gastou em torno de US$ 30
11:57
to target this category.
214
705680
2240
para atingir esse público-alvo.
12:02
So last year, Donald Trump's
social media manager disclosed
social media manager disclosed
215
710600
5296
No último ano, o gerente
de mídias sociais do Donald Trump revelou
de mídias sociais do Donald Trump revelou
12:07
that they were using Facebook dark posts
to demobilize people,
to demobilize people,
216
715920
5336
que eles estavam usando "dark posts"
do Facebook para desmobilizar pessoas,
do Facebook para desmobilizar pessoas,
12:13
not to persuade them,
217
721280
1376
não para persuadi-las,
12:14
but to convince them not to vote at all.
218
722680
2800
mas para convencê-las a não votar.
12:18
And to do that,
they targeted specifically,
they targeted specifically,
219
726520
3576
E para isso eles miraram especificamente,
12:22
for example, African-American men
in key cities like Philadelphia,
in key cities like Philadelphia,
220
730120
3896
por exemplo, homens afro-americanos
em cidades-chave como a Filadélfia,
em cidades-chave como a Filadélfia,
12:26
and I'm going to read
exactly what he said.
exactly what he said.
221
734040
2456
e vou ler exatamente o que ele disse.
12:28
I'm quoting.
222
736520
1216
Estou citando.
12:29
They were using "nonpublic posts
223
737760
3016
Eles estavam usando "publicações fechadas,
com visualização controlada pela campanha,
12:32
whose viewership the campaign controls
224
740800
2176
12:35
so that only the people
we want to see it see it.
we want to see it see it.
225
743000
3776
para que sejam vistas apenas pelas pessoas
que queremos que os vejam.
que queremos que os vejam.
12:38
We modeled this.
226
746800
1216
Nós modelamos isso.
12:40
It will dramatically affect her ability
to turn these people out."
to turn these people out."
227
748040
4720
E vai afetar drasticamente a capacidade
dela de mobilizar essas pessoas".
dela de mobilizar essas pessoas".
12:45
What's in those dark posts?
228
753720
2280
O que há nesses "dark posts"?
12:48
We have no idea.
229
756480
1656
Não temos ideia.
12:50
Facebook won't tell us.
230
758160
1200
O Facebook não vai nos contar.
12:52
So Facebook also algorithmically
arranges the posts
arranges the posts
231
760480
4376
O Facebook também organiza
algoritmicamente as publicações
algoritmicamente as publicações
12:56
that your friends put on Facebook,
or the pages you follow.
or the pages you follow.
232
764880
3736
de seus amigos
ou das páginas que você segue.
ou das páginas que você segue.
13:00
It doesn't show you
everything chronologically.
everything chronologically.
233
768640
2216
Ele não mostra tudo em ordem cronológica.
13:02
It puts the order in the way
that the algorithm thinks will entice you
that the algorithm thinks will entice you
234
770880
4816
Ele coloca na ordem em que o algoritmo
pensa que vai induzir você
pensa que vai induzir você
13:07
to stay on the site longer.
235
775720
1840
a ficar mais tempo no site.
13:11
Now, so this has a lot of consequences.
236
779040
3376
Isso tem várias consequências.
13:14
You may be thinking
somebody is snubbing you on Facebook.
somebody is snubbing you on Facebook.
237
782440
3800
Você pode estar pensando que alguém
está desprezando você no Facebook.
está desprezando você no Facebook.
13:18
The algorithm may never
be showing your post to them.
be showing your post to them.
238
786800
3256
Mas o algoritmo pode não estar
mostrando suas publicações a ele.
mostrando suas publicações a ele.
13:22
The algorithm is prioritizing
some of them and burying the others.
some of them and burying the others.
239
790080
5960
O algoritmo está priorizando
alguns e encobrindo os outros.
alguns e encobrindo os outros.
13:29
Experiments show
240
797320
1296
Experimentos mostram
13:30
that what the algorithm picks to show you
can affect your emotions.
can affect your emotions.
241
798640
4520
que o que o algoritmo escolhe para mostrar
a você pode afetar suas emoções.
a você pode afetar suas emoções.
13:36
But that's not all.
242
804600
1200
Mas não é só isso.
13:38
It also affects political behavior.
243
806280
2360
Ele também afeta o comportamento político.
13:41
So in 2010, in the midterm elections,
244
809360
4656
Então, em 2010, nas eleições intercalares,
13:46
Facebook did an experiment
on 61 million people in the US
on 61 million people in the US
245
814040
5896
o Facebook fez um experimento
com 61 milhões de pessoas nos EUA;
com 61 milhões de pessoas nos EUA;
13:51
that was disclosed after the fact.
246
819960
1896
isso foi revelado após o fato.
13:53
So some people were shown,
"Today is election day,"
"Today is election day,"
247
821880
3416
Para algumas pessoas ele mostrou:
"Hoje é o dia das eleições",
"Hoje é o dia das eleições",
13:57
the simpler one,
248
825320
1376
a versão mais simples,
13:58
and some people were shown
the one with that tiny tweak
the one with that tiny tweak
249
826720
3896
e para outras pessoas mostrou a versão
com aquela pequena barra
com aquela pequena barra
14:02
with those little thumbnails
250
830640
2096
com as fotinhos dos seus amigos
que clicaram "Eu votei".
que clicaram "Eu votei".
14:04
of your friends who clicked on "I voted."
251
832760
2840
14:09
This simple tweak.
252
837000
1400
Esta barra simples.
14:11
OK? So the pictures were the only change,
253
839520
4296
Então, as fotos eram a única diferença,
14:15
and that post shown just once
254
843840
3256
e essa publicação,
mostrada apenas uma vez,
mostrada apenas uma vez,
14:19
turned out an additional 340,000 voters
255
847120
6056
levou 340 mil eleitores a mais
14:25
in that election,
256
853200
1696
nessa eleição,
14:26
according to this research
257
854920
1696
de acordo com uma pesquisa
14:28
as confirmed by the voter rolls.
258
856640
2520
e confirmada nas listas de eleitores.
14:32
A fluke? No.
259
860920
1656
Acaso? Não.
14:34
Because in 2012,
they repeated the same experiment.
they repeated the same experiment.
260
862600
5360
Porque, em 2012, eles repetiram
o mesmo experimento.
o mesmo experimento.
14:40
And that time,
261
868840
1736
E, dessa vez,
14:42
that civic message shown just once
262
870600
3296
aquela mensagem cívica
apresentada apenas uma vez
apresentada apenas uma vez
14:45
turned out an additional 270,000 voters.
263
873920
4440
se converteu em 270 mil eleitores a mais.
14:51
For reference, the 2016
US presidential election
US presidential election
264
879160
5216
Para referência, as eleições
presidenciais de 2016 nos EUA
presidenciais de 2016 nos EUA
14:56
was decided by about 100,000 votes.
265
884400
3520
foi decidida por cerca de 100 mil votos.
15:01
Now, Facebook can also
very easily infer what your politics are,
very easily infer what your politics are,
266
889360
4736
Agora, o Facebook pode facilmente
inferir suas preferências políticas,
inferir suas preferências políticas,
15:06
even if you've never
disclosed them on the site.
disclosed them on the site.
267
894120
2256
mesmo que você nunca
as tenha revelado no site.
as tenha revelado no site.
15:08
Right? These algorithms
can do that quite easily.
can do that quite easily.
268
896400
2520
Certo? Esses algoritmos
fazem isso facilmente.
fazem isso facilmente.
15:11
What if a platform with that kind of power
269
899960
3896
E se uma plataforma com esse tipo de poder
15:15
decides to turn out supporters
of one candidate over the other?
of one candidate over the other?
270
903880
5040
decidir mobilizar apoiadores
de um candidato e não do outro?
de um candidato e não do outro?
15:21
How would we even know about it?
271
909680
2440
Como vamos ao menos saber disso?
15:25
Now, we started from someplace
seemingly innocuous --
seemingly innocuous --
272
913560
4136
Vejam, começamos por algo
aparentemente inócuo:
aparentemente inócuo:
15:29
online adds following us around --
273
917720
2216
anúncios on-line que nos perseguem;
15:31
and we've landed someplace else.
274
919960
1840
e fomos parar em outro lugar.
15:35
As a public and as citizens,
275
923480
2456
Como público e como cidadãos,
15:37
we no longer know
if we're seeing the same information
if we're seeing the same information
276
925960
3416
não sabemos mais se estamos
vendo a mesma informação
vendo a mesma informação
15:41
or what anybody else is seeing,
277
929400
1480
ou o que os outros estão vendo,
15:43
and without a common basis of information,
278
931680
2576
e sem uma base comum de informação,
15:46
little by little,
279
934280
1616
aos poucos
15:47
public debate is becoming impossible,
280
935920
3216
o debate público está ficando impossível,
15:51
and we're just at
the beginning stages of this.
the beginning stages of this.
281
939160
2976
e estamos apenas
nos primeiros estágios disso.
nos primeiros estágios disso.
15:54
These algorithms can quite easily infer
282
942160
3456
Esses algoritmos podem inferir facilmente
15:57
things like your people's ethnicity,
283
945640
3256
coisas como sua etnia,
posição religiosa e política,
traços de personalidade,
traços de personalidade,
16:00
religious and political views,
personality traits,
personality traits,
284
948920
2336
16:03
intelligence, happiness,
use of addictive substances,
use of addictive substances,
285
951280
3376
inteligência, felicidade,
uso de substâncias viciantes,
uso de substâncias viciantes,
16:06
parental separation, age and genders,
286
954680
3136
separação dos pais, idade e gênero,
16:09
just from Facebook likes.
287
957840
1960
só a partir das curtidas no Facebook.
16:13
These algorithms can identify protesters
288
961440
4056
Esses algoritmos podem
identificar manifestantes
identificar manifestantes
16:17
even if their faces
are partially concealed.
are partially concealed.
289
965520
2760
mesmo que seus rostos
estejam parcialmente ocultos.
estejam parcialmente ocultos.
16:21
These algorithms may be able
to detect people's sexual orientation
to detect people's sexual orientation
290
969720
6616
Esses algoritmos podem detectar
a orientação sexual das pessoas
a orientação sexual das pessoas
16:28
just from their dating profile pictures.
291
976360
3200
só pelas fotos de perfil
de seus relacionamentos.
de seus relacionamentos.
16:33
Now, these are probabilistic guesses,
292
981560
2616
Essas são inferências probabilísticas,
16:36
so they're not going
to be 100 percent right,
to be 100 percent right,
293
984200
2896
então não estarão 100% corretas,
16:39
but I don't see the powerful resisting
the temptation to use these technologies
the temptation to use these technologies
294
987120
4896
mas não vejo os poderosos resistindo
à tentação de usar essas tecnologias
à tentação de usar essas tecnologias
16:44
just because there are
some false positives,
some false positives,
295
992040
2176
só porque há alguns falsos positivos,
16:46
which will of course create
a whole other layer of problems.
a whole other layer of problems.
296
994240
3256
que certamente vão criar
outra camada de problemas.
outra camada de problemas.
16:49
Imagine what a state can do
297
997520
2936
Imagine o que um Estado pode fazer
16:52
with the immense amount of data
it has on its citizens.
it has on its citizens.
298
1000480
3560
com a imensa quantidade de informação
que tem de seus cidadãos.
que tem de seus cidadãos.
16:56
China is already using
face detection technology
face detection technology
299
1004680
4776
A China já usa tecnologia
de detecção facial
de detecção facial
17:01
to identify and arrest people.
300
1009480
2880
para identificar e prender pessoas.
17:05
And here's the tragedy:
301
1013280
2136
E a tragédia é a seguinte:
17:07
we're building this infrastructure
of surveillance authoritarianism
of surveillance authoritarianism
302
1015440
5536
estamos construindo infraestrutura
de vigilância autoritária
de vigilância autoritária
17:13
merely to get people to click on ads.
303
1021000
2960
só para que as pessoas
cliquem em anúncios.
cliquem em anúncios.
17:17
And this won't be
Orwell's authoritarianism.
Orwell's authoritarianism.
304
1025240
2576
E esse não será o autoritarismo do Orwell.
17:19
This isn't "1984."
305
1027839
1897
Isso não é "1984".
17:21
Now, if authoritarianism
is using overt fear to terrorize us,
is using overt fear to terrorize us,
306
1029760
4576
Agora, se o autoritarismo usar
o medo explícito para nos aterrorizar,
o medo explícito para nos aterrorizar,
estaremos todos com medo,
mas saberemos disso,
mas saberemos disso,
17:26
we'll all be scared, but we'll know it,
307
1034359
2897
17:29
we'll hate it and we'll resist it.
308
1037280
2200
vamos odiá-lo e resistir a ele.
17:32
But if the people in power
are using these algorithms
are using these algorithms
309
1040880
4416
Mas, se as pessoas no poder
estiverem usando esses algoritmos
estiverem usando esses algoritmos
17:37
to quietly watch us,
310
1045319
3377
para nos observar discretamente,
17:40
to judge us and to nudge us,
311
1048720
2080
para nos julgar e para nos incitar,
17:43
to predict and identify
the troublemakers and the rebels,
the troublemakers and the rebels,
312
1051720
4176
para prever e identificar
os encrenqueiros e os rebeldes,
os encrenqueiros e os rebeldes,
17:47
to deploy persuasion
architectures at scale
architectures at scale
313
1055920
3896
para aplicar arquiteturas
de persuasão em larga escala
de persuasão em larga escala
17:51
and to manipulate individuals one by one
314
1059840
4136
e para manipular as pessoas uma a uma
17:56
using their personal, individual
weaknesses and vulnerabilities,
weaknesses and vulnerabilities,
315
1064000
5440
usando suas fraquezas e vulnerabilidades
pessoais e individuais,
pessoais e individuais,
18:02
and if they're doing it at scale
316
1070720
2200
e se estiverem fazendo
isso em larga escala,
isso em larga escala,
18:06
through our private screens
317
1074080
1736
através de nossas telas privadas
18:07
so that we don't even know
318
1075840
1656
de forma que nem saibamos
18:09
what our fellow citizens
and neighbors are seeing,
and neighbors are seeing,
319
1077520
2760
o que nossos colegas
cidadãos e vizinhos estão vendo,
cidadãos e vizinhos estão vendo,
18:13
that authoritarianism
will envelop us like a spider's web
will envelop us like a spider's web
320
1081560
4816
esse autoritarismo vai nos envolver
como uma teia de aranha
como uma teia de aranha
18:18
and we may not even know we're in it.
321
1086400
2480
e podemos nem saber que estamos nela.
18:22
So Facebook's market capitalization
322
1090440
2936
A capitalização de mercado do Facebook
18:25
is approaching half a trillion dollars.
323
1093400
3296
está perto de US$ 500 trilhões.
18:28
It's because it works great
as a persuasion architecture.
as a persuasion architecture.
324
1096720
3120
É assim porque ele funciona muito bem
como uma arquitetura de persuasão.
como uma arquitetura de persuasão.
18:33
But the structure of that architecture
325
1101760
2816
Mas a estrutura dessa arquitetura
18:36
is the same whether you're selling shoes
326
1104600
3216
é a mesma se você vende sapatos
18:39
or whether you're selling politics.
327
1107840
2496
ou política.
18:42
The algorithms do not know the difference.
328
1110360
3120
O algoritmo não sabe a diferença.
18:46
The same algorithms set loose upon us
329
1114240
3296
O mesmo algoritmo
que faz o que quiser conosco
que faz o que quiser conosco
18:49
to make us more pliable for ads
330
1117560
3176
para nos tornar mais
influenciáveis pelos anúncios
influenciáveis pelos anúncios
18:52
are also organizing our political,
personal and social information flows,
personal and social information flows,
331
1120760
6736
também organiza o fluxo de informações
políticas, pessoais e sociais,
políticas, pessoais e sociais,
18:59
and that's what's got to change.
332
1127520
1840
e é isso que precisa mudar.
19:02
Now, don't get me wrong,
333
1130240
2296
Não me entendam mal,
19:04
we use digital platforms
because they provide us with great value.
because they provide us with great value.
334
1132560
3680
usamos plataformas digitais
porque elas são valiosas para nós.
porque elas são valiosas para nós.
19:09
I use Facebook to keep in touch
with friends and family around the world.
with friends and family around the world.
335
1137120
3560
Eu uso o Facebook para manter contato
com amigos e parentes no mundo inteiro.
com amigos e parentes no mundo inteiro.
19:14
I've written about how crucial
social media is for social movements.
social media is for social movements.
336
1142000
5776
Já escrevi sobre como as mídias sociais
são cruciais para os movimentos sociais.
são cruciais para os movimentos sociais.
19:19
I have studied how
these technologies can be used
these technologies can be used
337
1147800
3016
Tenho estudado como essas
tecnologias podem ser usadas
tecnologias podem ser usadas
19:22
to circumvent censorship around the world.
338
1150840
2480
para contornar a censura em todo o mundo.
19:27
But it's not that the people who run,
you know, Facebook or Google
you know, Facebook or Google
339
1155280
6416
Não é que as pessoas
que dirigem o Facebook ou Google
que dirigem o Facebook ou Google
19:33
are maliciously and deliberately trying
340
1161720
2696
estejam maliciosamente e deliberadamente
tentando tornar o país
ou o mundo mais polarizado
ou o mundo mais polarizado
19:36
to make the country
or the world more polarized
or the world more polarized
341
1164440
4456
19:40
and encourage extremism.
342
1168920
1680
e encorajando o extremismo.
19:43
I read the many
well-intentioned statements
well-intentioned statements
343
1171440
3976
Li as diversas declarações
bem-intencionadas
bem-intencionadas
19:47
that these people put out.
344
1175440
3320
que essas pessoas expressam.
19:51
But it's not the intent or the statements
people in technology make that matter,
people in technology make that matter,
345
1179600
6056
Mas não são as intenções ou declarações
das pessoas de tecnologia que importam,
das pessoas de tecnologia que importam,
19:57
it's the structures
and business models they're building.
and business models they're building.
346
1185680
3560
são as estruturas e modelos de negócio
que elas estão criando.
que elas estão criando.
20:02
And that's the core of the problem.
347
1190360
2096
E esse é o cerne do problema.
20:04
Either Facebook is a giant con
of half a trillion dollars
of half a trillion dollars
348
1192480
4720
Ou o Facebook é uma enorme fraude
de US$ 500 bilhões
de US$ 500 bilhões
20:10
and ads don't work on the site,
349
1198200
1896
e os anúncios não funcionam no site
20:12
it doesn't work
as a persuasion architecture,
as a persuasion architecture,
350
1200120
2696
e ele não funciona
como uma arquitetura de persuasão,
como uma arquitetura de persuasão,
20:14
or its power of influence
is of great concern.
is of great concern.
351
1202840
4120
ou seu poder de influência
é muito preocupante.
é muito preocupante.
20:20
It's either one or the other.
352
1208560
1776
Ou um ou outro.
20:22
It's similar for Google, too.
353
1210360
1600
E o mesmo para o Google.
20:24
So what can we do?
354
1212880
2456
Então o que podemos fazer?
20:27
This needs to change.
355
1215360
1936
Isso precisa mudar.
20:29
Now, I can't offer a simple recipe,
356
1217320
2576
Eu não tenho uma receita simples,
20:31
because we need to restructure
357
1219920
2256
porque precisamos reestruturar
20:34
the whole way our
digital technology operates.
digital technology operates.
358
1222200
3016
toda a forma como opera
a nossa tecnologia digital.
a nossa tecnologia digital.
20:37
Everything from the way
technology is developed
technology is developed
359
1225240
4096
Tudo, desde a forma
como a tecnologia é desenvolvida
como a tecnologia é desenvolvida
20:41
to the way the incentives,
economic and otherwise,
economic and otherwise,
360
1229360
3856
até a forma como os incentivos,
econômicos e outros,
econômicos e outros,
20:45
are built into the system.
361
1233240
2280
são construídos no sistema.
20:48
We have to face and try to deal with
362
1236480
3456
Precisamos encarar e tentar lidar
20:51
the lack of transparency
created by the proprietary algorithms,
created by the proprietary algorithms,
363
1239960
4656
com a falta de transparência criada
pelos proprietários dos algoritmos,
pelos proprietários dos algoritmos,
20:56
the structural challenge
of machine learning's opacity,
of machine learning's opacity,
364
1244640
3816
o desafio estrutural da opacidade
do aprendizado de máquina,
do aprendizado de máquina,
21:00
all this indiscriminate data
that's being collected about us.
that's being collected about us.
365
1248480
3400
e de todos esses dados sendo coletados
sobre nós indiscriminadamente.
sobre nós indiscriminadamente.
21:05
We have a big task in front of us.
366
1253000
2520
Temos uma tarefa enorme diante de nós.
21:08
We have to mobilize our technology,
367
1256160
2680
Temos que mobilizar nossa tecnologia,
21:11
our creativity
368
1259760
1576
nossa criatividade
21:13
and yes, our politics
369
1261360
1880
e, sim, nossos políticos,
21:16
so that we can build
artificial intelligence
artificial intelligence
370
1264240
2656
para que possamos criar
inteligência artificial
inteligência artificial
21:18
that supports us in our human goals
371
1266920
3120
que dê suporte a nossos objetivos humanos,
21:22
but that is also constrained
by our human values.
by our human values.
372
1270800
3920
mas que também seja limitada
por nossos valores humanos.
por nossos valores humanos.
21:27
And I understand this won't be easy.
373
1275600
2160
E eu entendo que isso não será fácil.
21:30
We might not even easily agree
on what those terms mean.
on what those terms mean.
374
1278360
3600
Podemos não concordar facilmente
com o significado desses termos.
com o significado desses termos.
21:34
But if we take seriously
375
1282920
2400
Mas, se levarmos a sério
21:38
how these systems that we
depend on for so much operate,
depend on for so much operate,
376
1286240
5976
a forma como operam esses sistemas
dos quais tanto dependemos,
dos quais tanto dependemos,
21:44
I don't see how we can postpone
this conversation anymore.
this conversation anymore.
377
1292240
4120
não vejo como postergar
mais essa discussão.
mais essa discussão.
21:49
These structures
378
1297200
2536
Essas estruturas
21:51
are organizing how we function
379
1299760
4096
estão organizando o modo como funcionamos
21:55
and they're controlling
380
1303880
2296
e estão controlando
21:58
what we can and we cannot do.
381
1306200
2616
o que podemos ou não fazer.
22:00
And many of these ad-financed platforms,
382
1308840
2456
E muitas dessas plataformas
financiadas por anúncios
financiadas por anúncios
22:03
they boast that they're free.
383
1311320
1576
se vangloriam de serem gratuitas.
22:04
In this context, it means
that we are the product that's being sold.
that we are the product that's being sold.
384
1312920
4560
Nesse contexto, o produto
que está sendo vendido somos nós.
que está sendo vendido somos nós.
22:10
We need a digital economy
385
1318840
2736
Precisamos de uma economia digital
22:13
where our data and our attention
386
1321600
3496
em que nossos dados e nossa atenção
22:17
is not for sale to the highest-bidding
authoritarian or demagogue.
authoritarian or demagogue.
387
1325120
5080
não estejam à venda para o ditador
ou demagogo que ofereça mais.
ou demagogo que ofereça mais.
22:23
(Applause)
388
1331160
3800
(Aplausos)
22:30
So to go back to
that Hollywood paraphrase,
that Hollywood paraphrase,
389
1338480
3256
Então, parafraseando Hollywood novamente,
22:33
we do want the prodigious potential
390
1341760
3736
queremos que o imenso potencial
22:37
of artificial intelligence
and digital technology to blossom,
and digital technology to blossom,
391
1345520
3200
da inteligência artificial
e da tecnologia digital floresçam,
e da tecnologia digital floresçam,
22:41
but for that, we must face
this prodigious menace,
this prodigious menace,
392
1349400
4936
mas para isso precisamos enfrentar
essa imensa ameaça,
essa imensa ameaça,
22:46
open-eyed and now.
393
1354360
1936
de olhos abertos e agora.
22:48
Thank you.
394
1356320
1216
Obrigada.
22:49
(Applause)
395
1357560
4640
(Aplausos)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com