TEDGlobal>NYC
Zeynep Tufekci: We're building a dystopia just to make people click on ads
Zeynep Tufekci: Estamos construyendo una distopía solo para que la gente cliquee en los anuncios
Filmed:
Readability: 4.8
2,866,905 views
Estamos construyendo una distopía impulsada por inteligencia artificial, un clic a la vez, dice la tecnosocióloga Zeynep Tufekci. En una charla reveladora, Tufekci detalla cómo los mismos algoritmos que compañías como Facebook, Google y Amazon usan para hacerte cliquear en los anuncios también se utilizan para organizar tu acceso a la información política y social. Y las máquinas ni siquiera son la verdadera amenaza. Lo que necesitamos entender es cómo los poderosos podrían usar la IA para controlarnos... y qué podemos hacer en respuesta.
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So when people voice fears
of artificial intelligence,
of artificial intelligence,
0
760
3536
Cuando la gente manifiesta temor
por la inteligencia artificial,
por la inteligencia artificial,
00:16
very often, they invoke images
of humanoid robots run amok.
of humanoid robots run amok.
1
4320
3976
muchas veces recurre a imágenes
de robots humanoides enloquecidos.
de robots humanoides enloquecidos.
00:20
You know? Terminator?
2
8320
1240
Ya saben: Terminator.
00:22
You know, that might be
something to consider,
something to consider,
3
10400
2336
Quizá debamos considerarlo,
00:24
but that's a distant threat.
4
12760
1856
pero es una amenaza lejana.
00:26
Or, we fret about digital surveillance
5
14640
3456
O si no, nos inquietamos
por la vigilancia electrónica
por la vigilancia electrónica
00:30
with metaphors from the past.
6
18120
1776
con metáforas del pasado.
00:31
"1984," George Orwell's "1984,"
7
19920
2656
"1984", el "1984" de George Orwell,
00:34
it's hitting the bestseller lists again.
8
22600
2280
es un libro superventas otra vez.
00:37
It's a great book,
9
25960
1416
Es un gran libro,
00:39
but it's not the correct dystopia
for the 21st century.
for the 21st century.
10
27400
3880
pero no es la distopía
correcta para el siglo XXI.
correcta para el siglo XXI.
00:44
What we need to fear most
11
32080
1416
Lo que debemos temer más
00:45
is not what artificial intelligence
will do to us on its own,
will do to us on its own,
12
33520
4776
no es lo que la inteligencia artificial
nos hará por sí misma,
nos hará por sí misma,
00:50
but how the people in power
will use artificial intelligence
will use artificial intelligence
13
38320
4736
sino cómo la gente en el poder
usará la inteligencia artificial
usará la inteligencia artificial
00:55
to control us and to manipulate us
14
43080
2816
para controlarnos y manipularnos
00:57
in novel, sometimes hidden,
15
45920
3136
de maneras nuevas, a veces escondidas,
01:01
subtle and unexpected ways.
16
49080
3016
sutiles e inesperadas.
01:04
Much of the technology
17
52120
1856
Mucha de la tecnología
01:06
that threatens our freedom
and our dignity in the near-term future
and our dignity in the near-term future
18
54000
4336
que amenaza nuestra libertad
y dignidad en un futuro cercano
y dignidad en un futuro cercano
01:10
is being developed by companies
19
58360
1856
la están desarrollando compañías
01:12
in the business of capturing
and selling our data and our attention
and selling our data and our attention
20
60240
4936
que se dedican a capturar y vender
nuestra información y nuestra atención
nuestra información y nuestra atención
01:17
to advertisers and others:
21
65200
2256
a anunciantes y demás:
01:19
Facebook, Google, Amazon,
22
67480
3416
Facebook, Google, Amazon,
01:22
Alibaba, Tencent.
23
70920
1880
Alibaba, Tencent.
01:26
Now, artificial intelligence has started
bolstering their business as well.
bolstering their business as well.
24
74040
5496
La inteligencia artificial ha comenzado
a respaldar esos negocios también.
a respaldar esos negocios también.
01:31
And it may seem
like artificial intelligence
like artificial intelligence
25
79560
2096
Y parece que la inteligencia artificial
01:33
is just the next thing after online ads.
26
81680
2856
es lo que le sigue
a los anuncios en línea.
a los anuncios en línea.
01:36
It's not.
27
84560
1216
Pero no lo es.
01:37
It's a jump in category.
28
85800
2456
Es un salto de categoría.
01:40
It's a whole different world,
29
88280
2576
Es un mundo totalmente distinto,
01:42
and it has great potential.
30
90880
2616
y tiene un gran potencial.
01:45
It could accelerate our understanding
of many areas of study and research.
of many areas of study and research.
31
93520
6920
Podría acelerar nuestro entendimiento
de muchas áreas
de estudio e investigación.
de estudio e investigación.
01:53
But to paraphrase
a famous Hollywood philosopher,
a famous Hollywood philosopher,
32
101120
3496
Pero, parafraseando a un famoso
filósofo hollywoodense,
filósofo hollywoodense,
01:56
"With prodigious potential
comes prodigious risk."
comes prodigious risk."
33
104640
3640
"Un enorme potencial
viene con un enorme riesgo".
viene con un enorme riesgo".
02:01
Now let's look at a basic fact
of our digital lives, online ads.
of our digital lives, online ads.
34
109120
3936
Ahora hablemos de un hecho básico
de nuestra vida digital: los anuncios.
de nuestra vida digital: los anuncios.
02:05
Right? We kind of dismiss them.
35
113080
2896
Como que los ignoramos, ¿no?
02:08
They seem crude, ineffective.
36
116000
1976
Parecen ordinarios, inefectivos.
02:10
We've all had the experience
of being followed on the web
of being followed on the web
37
118000
4256
Todos hemos tenido esa experiencia
de ser perseguidos en la web
de ser perseguidos en la web
02:14
by an ad based on something
we searched or read.
we searched or read.
38
122280
2776
por un anuncio basado en algo
que buscamos o leímos.
que buscamos o leímos.
02:17
You know, you look up a pair of boots
39
125080
1856
Ya saben, buscas un par de botas
02:18
and for a week, those boots are following
you around everywhere you go.
you around everywhere you go.
40
126960
3376
y durante una semana, esas botas
te siguen a todos lados donde vayas.
te siguen a todos lados donde vayas.
02:22
Even after you succumb and buy them,
they're still following you around.
they're still following you around.
41
130360
3656
Incluso después de haber sucumbido
a comprarlas, te continúan siguiendo.
a comprarlas, te continúan siguiendo.
02:26
We're kind of inured to that kind
of basic, cheap manipulation.
of basic, cheap manipulation.
42
134040
3016
Estamos habituados a ese tipo
de manipulación simple y barata.
de manipulación simple y barata.
02:29
We roll our eyes and we think,
"You know what? These things don't work."
"You know what? These things don't work."
43
137080
3400
Ponemos los ojos en blanco y pensamos,
"¿Sabes qué? Esto no funciona".
"¿Sabes qué? Esto no funciona".
02:33
Except, online,
44
141720
2096
Excepto que, en línea,
02:35
the digital technologies are not just ads.
45
143840
3600
las tecnologías digitales
no son solo anuncios.
no son solo anuncios.
02:40
Now, to understand that,
let's think of a physical world example.
let's think of a physical world example.
46
148240
3120
Para entender eso, pensemos
en un ejemplo del mundo físico.
en un ejemplo del mundo físico.
02:43
You know how, at the checkout counters
at supermarkets, near the cashier,
at supermarkets, near the cashier,
47
151840
4656
¿Han visto que en la caja de cobro
del supermercado, cerca del cajero,
del supermercado, cerca del cajero,
02:48
there's candy and gum
at the eye level of kids?
at the eye level of kids?
48
156520
3480
hay dulces y goma de mascar
a la altura de los ojos de los niños?
a la altura de los ojos de los niños?
02:52
That's designed to make them
whine at their parents
whine at their parents
49
160800
3496
Eso está diseñado para hacerlos
rogar a sus padres
rogar a sus padres
02:56
just as the parents
are about to sort of check out.
are about to sort of check out.
50
164320
3080
justo cuando los padres están por pagar.
03:00
Now, that's a persuasion architecture.
51
168040
2640
Eso es arquitectura de la persuasión.
03:03
It's not nice, but it kind of works.
52
171160
3096
No es agradable, pero funciona.
03:06
That's why you see it
in every supermarket.
in every supermarket.
53
174280
2040
Por eso se ve en todos los supermercados.
03:08
Now, in the physical world,
54
176720
1696
Ahora, en el mundo físico,
la arquitectura de la persuasión
es un poco limitada,
es un poco limitada,
03:10
such persuasion architectures
are kind of limited,
are kind of limited,
55
178440
2496
03:12
because you can only put
so many things by the cashier. Right?
so many things by the cashier. Right?
56
180960
4816
porque solo puedes poner
unas cuantas cosas cerca de la caja, ¿no?
unas cuantas cosas cerca de la caja, ¿no?
03:17
And the candy and gum,
it's the same for everyone,
it's the same for everyone,
57
185800
4296
Y los dulces y goma de mascar
son iguales para todos,
son iguales para todos,
03:22
even though it mostly works
58
190120
1456
aunque en general funciona
03:23
only for people who have
whiny little humans beside them.
whiny little humans beside them.
59
191600
4040
solo con la gente que va acompañada
de personitas caprichosas.
de personitas caprichosas.
03:29
In the physical world,
we live with those limitations.
we live with those limitations.
60
197160
3920
En el mundo físico,
vivimos con esas limitantes.
vivimos con esas limitantes.
03:34
In the digital world, though,
61
202280
1936
No obstante, en el mundo digital,
03:36
persuasion architectures
can be built at the scale of billions
can be built at the scale of billions
62
204240
4320
las arquitecturas de la persuasión
pueden tener miles de millones de opciones
pueden tener miles de millones de opciones
03:41
and they can target, infer, understand
63
209840
3856
y pueden apuntar, inferir, entender
03:45
and be deployed at individuals
64
213720
2896
y ser aplicadas a cada individuo
03:48
one by one
65
216640
1216
uno por uno
03:49
by figuring out your weaknesses,
66
217880
2136
descubriendo nuestras debilidades,
03:52
and they can be sent
to everyone's phone private screen,
to everyone's phone private screen,
67
220040
5616
y pueden ser enviadas directamente
a la pantalla personal de cada teléfono,
a la pantalla personal de cada teléfono,
03:57
so it's not visible to us.
68
225680
2256
así que son invisibles para nosotros.
03:59
And that's different.
69
227960
1256
Y eso es diferente.
04:01
And that's just one of the basic things
that artificial intelligence can do.
that artificial intelligence can do.
70
229240
3576
Es solo una de las cosas que puede hacer
la inteligencia artificial.
la inteligencia artificial.
Pongamos un ejemplo.
04:04
Now, let's take an example.
71
232840
1336
Digamos que quieren vender
boletos de avión a Las Vegas.
boletos de avión a Las Vegas.
04:06
Let's say you want to sell
plane tickets to Vegas. Right?
plane tickets to Vegas. Right?
72
234200
2696
04:08
So in the old world, you could think
of some demographics to target
of some demographics to target
73
236920
3496
En el viejo mundo, se dirigirían
a ciertos sectores demográficos
a ciertos sectores demográficos
04:12
based on experience
and what you can guess.
and what you can guess.
74
240440
2520
basándose en la experiencia
y lo que podían suponer.
y lo que podían suponer.
04:15
You might try to advertise to, oh,
75
243560
2816
Podrían tratar de anunciar para
04:18
men between the ages of 25 and 35,
76
246400
2496
hombres entre los 25 y 35 años,
04:20
or people who have
a high limit on their credit card,
a high limit on their credit card,
77
248920
3936
o gente con un límite alto
en la tarjeta de crédito,
en la tarjeta de crédito,
04:24
or retired couples. Right?
78
252880
1376
o parejas retiradas, ¿no?
04:26
That's what you would do in the past.
79
254280
1816
Eso es lo que harían en el pasado.
04:28
With big data and machine learning,
80
256120
2896
Con big data y aprendizaje automático,
04:31
that's not how it works anymore.
81
259040
1524
ya no funciona más así.
04:33
So to imagine that,
82
261320
2176
Así que, para imaginar eso,
04:35
think of all the data
that Facebook has on you:
that Facebook has on you:
83
263520
3856
piensen en todos los datos
que Facebook tiene sobre Uds.:
que Facebook tiene sobre Uds.:
04:39
every status update you ever typed,
84
267400
2536
cada actualización de estado
que jamás hayan escrito,
que jamás hayan escrito,
04:41
every Messenger conversation,
85
269960
2016
cada conversación en el Messenger,
04:44
every place you logged in from,
86
272000
1880
cada lugar desde donde accedieron,
04:48
all your photographs
that you uploaded there.
that you uploaded there.
87
276400
3176
todas las fotografías que hayan subido.
04:51
If you start typing something
and change your mind and delete it,
and change your mind and delete it,
88
279600
3776
Lo que comenzaron a escribir y borraron
porque cambiaron de opinión;
porque cambiaron de opinión;
04:55
Facebook keeps those
and analyzes them, too.
and analyzes them, too.
89
283400
3200
Facebook guarda y analiza eso también.
04:59
Increasingly, it tries
to match you with your offline data.
to match you with your offline data.
90
287160
3936
Cada vez trata de aproximarse más
a los datos de tu vida fuera de línea.
a los datos de tu vida fuera de línea.
05:03
It also purchases
a lot of data from data brokers.
a lot of data from data brokers.
91
291120
3176
También adquiere muchos datos
de los corredores de datos.
de los corredores de datos.
05:06
It could be everything
from your financial records
from your financial records
92
294320
3416
Podría ser cualquier cosa,
desde registros financieros
desde registros financieros
05:09
to a good chunk of your browsing history.
93
297760
2120
hasta una buena parte
de tu historial de búsqueda.
de tu historial de búsqueda.
05:12
Right? In the US,
such data is routinely collected,
such data is routinely collected,
94
300360
5416
En EE. UU. esos datos
son habitualmente recolectados,
son habitualmente recolectados,
05:17
collated and sold.
95
305800
1960
cotejados y vendidos.
05:20
In Europe, they have tougher rules.
96
308320
2440
En Europa tienen reglas más estrictas.
05:23
So what happens then is,
97
311680
2200
Entonces, lo que ocurre es lo siguiente:
05:26
by churning through all that data,
these machine-learning algorithms --
these machine-learning algorithms --
98
314920
4016
al procesar todos esos datos,
esos algoritmos de aprendizaje automático,
esos algoritmos de aprendizaje automático,
05:30
that's why they're called
learning algorithms --
learning algorithms --
99
318960
2896
y por esto se llaman
algoritmos de aprendizaje,
algoritmos de aprendizaje,
05:33
they learn to understand
the characteristics of people
the characteristics of people
100
321880
4096
aprenden a entender
las características de la gente
las características de la gente
05:38
who purchased tickets to Vegas before.
101
326000
2520
que compró boletos
a Las Vegas anteriormente.
a Las Vegas anteriormente.
05:41
When they learn this from existing data,
102
329760
3536
Una vez que aprenden esto
de los datos existentes,
de los datos existentes,
05:45
they also learn
how to apply this to new people.
how to apply this to new people.
103
333320
3816
también aprenden cómo aplicarlo
a un nuevo grupo de gente.
a un nuevo grupo de gente.
05:49
So if they're presented with a new person,
104
337160
3056
Entonces, si se encuentran
con una persona nueva,
con una persona nueva,
05:52
they can classify whether that person
is likely to buy a ticket to Vegas or not.
is likely to buy a ticket to Vegas or not.
105
340240
4640
pueden clasificar si esa persona
compraría un boleto a Las Vegas o no.
compraría un boleto a Las Vegas o no.
05:57
Fine. You're thinking,
an offer to buy tickets to Vegas.
an offer to buy tickets to Vegas.
106
345720
5456
Ahora bien, Uds. están pensando:
"Una oferta para comprar
boletos a Las Vegas... Puedo ignorarlo".
boletos a Las Vegas... Puedo ignorarlo".
06:03
I can ignore that.
107
351200
1456
06:04
But the problem isn't that.
108
352680
2216
Pero el problema no es ese.
06:06
The problem is,
109
354920
1576
El problema es
06:08
we no longer really understand
how these complex algorithms work.
how these complex algorithms work.
110
356520
4136
que ya no comprendemos realmente
cómo funcionan estos algoritmos complejos.
cómo funcionan estos algoritmos complejos.
06:12
We don't understand
how they're doing this categorization.
how they're doing this categorization.
111
360680
3456
No entendemos cómo categorizan.
06:16
It's giant matrices,
thousands of rows and columns,
thousands of rows and columns,
112
364160
4416
Son matrices gigantes,
miles de filas y columnas,
miles de filas y columnas,
06:20
maybe millions of rows and columns,
113
368600
1960
quizá millones de filas y columnas,
06:23
and not the programmers
114
371320
2640
y ya ni los programadores
06:26
and not anybody who looks at it,
115
374760
1680
ni nadie que los analice,
06:29
even if you have all the data,
116
377440
1496
aun teniendo todos los datos,
06:30
understands anymore
how exactly it's operating
how exactly it's operating
117
378960
4616
comprende cómo operan exactamente;
06:35
any more than you'd know
what I was thinking right now
what I was thinking right now
118
383600
3776
no más de lo que Uds. sabrían
lo que estoy pensado en este momento
lo que estoy pensado en este momento
06:39
if you were shown
a cross section of my brain.
a cross section of my brain.
119
387400
3960
si les enseñaran
una disección de mi cerebro.
una disección de mi cerebro.
06:44
It's like we're not programming anymore,
120
392360
2576
Es como que ya no estamos programando;
06:46
we're growing intelligence
that we don't truly understand.
that we don't truly understand.
121
394960
4400
estamos creando inteligencia
que no comprendemos totalmente.
que no comprendemos totalmente.
06:52
And these things only work
if there's an enormous amount of data,
if there's an enormous amount of data,
122
400520
3976
Y estas cosas solo funcionan
con una enorme cantidad de datos,
con una enorme cantidad de datos,
06:56
so they also encourage
deep surveillance on all of us
deep surveillance on all of us
123
404520
5096
así que también fomentan una
vigilancia profunda de todos nosotros
vigilancia profunda de todos nosotros
para que los algoritmos
de aprendizaje funcionen.
de aprendizaje funcionen.
07:01
so that the machine learning
algorithms can work.
algorithms can work.
124
409640
2336
Por eso Facebook quiere acumular
todos los datos que pueda sobre Uds.
todos los datos que pueda sobre Uds.
07:04
That's why Facebook wants
to collect all the data it can about you.
to collect all the data it can about you.
125
412000
3176
07:07
The algorithms work better.
126
415200
1576
Los algoritmos funcionan mejor.
07:08
So let's push that Vegas example a bit.
127
416800
2696
Así que continuemos
con el ejemplo de Las Vegas.
con el ejemplo de Las Vegas.
07:11
What if the system
that we do not understand
that we do not understand
128
419520
3680
¿Qué pasaría si ese sistema
que no entendemos
que no entendemos
07:16
was picking up that it's easier
to sell Vegas tickets
to sell Vegas tickets
129
424200
5136
aprendiera que es más fácil
venderle boletos a Las Vegas
venderle boletos a Las Vegas
07:21
to people who are bipolar
and about to enter the manic phase.
and about to enter the manic phase.
130
429360
3760
a gente bipolar a punto de entrar
en un episodio maníaco?
en un episodio maníaco?
07:25
Such people tend to become
overspenders, compulsive gamblers.
overspenders, compulsive gamblers.
131
433640
4920
Esa gente tiende a gastar de más
y a apostar compulsivamente.
y a apostar compulsivamente.
07:31
They could do this, and you'd have no clue
that's what they were picking up on.
that's what they were picking up on.
132
439280
4456
Podrían hacerlo y no tendríamos
ni idea de que se fijaron en eso.
ni idea de que se fijaron en eso.
07:35
I gave this example
to a bunch of computer scientists once
to a bunch of computer scientists once
133
443760
3616
Di este ejemplo una vez a un grupo
de científicos de la computación
de científicos de la computación
07:39
and afterwards, one of them came up to me.
134
447400
2056
y después, uno se me acercó.
07:41
He was troubled and he said,
"That's why I couldn't publish it."
"That's why I couldn't publish it."
135
449480
3520
Estaba afligido y dijo:
"Por eso no pude publicarlo".
"Por eso no pude publicarlo".
07:45
I was like, "Couldn't publish what?"
136
453600
1715
Yo le pregunté: "¿Publicar qué?".
07:47
He had tried to see whether you can indeed
figure out the onset of mania
figure out the onset of mania
137
455800
5856
Él había tratado de ver si realmente
se podría predecir el arranque maníaco
se podría predecir el arranque maníaco
07:53
from social media posts
before clinical symptoms,
before clinical symptoms,
138
461680
3216
en publicaciones de redes sociales
antes de los síntomas clínicos,
antes de los síntomas clínicos,
07:56
and it had worked,
139
464920
1776
y había funcionado,
07:58
and it had worked very well,
140
466720
2056
había funcionado muy bien,
08:00
and he had no idea how it worked
or what it was picking up on.
or what it was picking up on.
141
468800
4880
y no tenía idea de cómo funcionaba
o qué había descubierto.
o qué había descubierto.
08:06
Now, the problem isn't solved
if he doesn't publish it,
if he doesn't publish it,
142
474840
4416
El problema no se resuelve
si él no lo publica,
si él no lo publica,
08:11
because there are already companies
143
479280
1896
porque ya hay compañías
08:13
that are developing
this kind of technology,
this kind of technology,
144
481200
2536
que están desarrollando
este tipo de tecnología,
este tipo de tecnología,
08:15
and a lot of the stuff
is just off the shelf.
is just off the shelf.
145
483760
2800
y muchas de estas cosas
ya están a la venta.
ya están a la venta.
08:19
This is not very difficult anymore.
146
487240
2576
Esto ya no es tan difícil.
08:21
Do you ever go on YouTube
meaning to watch one video
meaning to watch one video
147
489840
3456
¿Les ha pasado entrar a YouTube
para ver un video en específico
para ver un video en específico
08:25
and an hour later you've watched 27?
148
493320
2360
y una hora más tarde vieron 27?
08:28
You know how YouTube
has this column on the right
has this column on the right
149
496760
2496
¿Vieron que YouTube tiene
una columna a la derecha
una columna a la derecha
08:31
that says, "Up next"
150
499280
2216
que dice: "A continuación"
08:33
and it autoplays something?
151
501520
1816
y que reproduce algo automáticamente?
08:35
It's an algorithm
152
503360
1216
Es un algoritmo
que elige lo que cree que les interesaría
y que quizá no encuentren por sí mismos.
y que quizá no encuentren por sí mismos.
08:36
picking what it thinks
that you might be interested in
that you might be interested in
153
504600
3616
08:40
and maybe not find on your own.
154
508240
1536
08:41
It's not a human editor.
155
509800
1256
No es un editor humano.
08:43
It's what algorithms do.
156
511080
1416
Eso hacen los algoritmos.
08:44
It picks up on what you have watched
and what people like you have watched,
and what people like you have watched,
157
512520
4736
Se fijan en lo que han mirado
y lo que la gente como Uds. ha mirado,
y lo que la gente como Uds. ha mirado,
08:49
and infers that that must be
what you're interested in,
what you're interested in,
158
517280
4216
e infiere que eso debe ser
lo que les interesa,
lo que les interesa,
08:53
what you want more of,
159
521520
1255
y de lo que quieren más,
08:54
and just shows you more.
160
522799
1336
y entonces les muestra más.
08:56
It sounds like a benign
and useful feature,
and useful feature,
161
524159
2201
Parece una herramienta benigna y útil,
08:59
except when it isn't.
162
527280
1200
excepto cuando no lo es.
09:01
So in 2016, I attended rallies
of then-candidate Donald Trump
of then-candidate Donald Trump
163
529640
6960
En 2016 asistí a actos electorales
del entonces candidato Donald Trump
del entonces candidato Donald Trump
09:09
to study as a scholar
the movement supporting him.
the movement supporting him.
164
537840
3336
para estudiar, como académica,
el movimiento que lo apoyaba.
el movimiento que lo apoyaba.
09:13
I study social movements,
so I was studying it, too.
so I was studying it, too.
165
541200
3456
Estudio los movimientos sociales,
así que por eso lo estudiaba también.
así que por eso lo estudiaba también.
09:16
And then I wanted to write something
about one of his rallies,
about one of his rallies,
166
544680
3336
Quise escribir algo
sobre uno de sus actos,
sobre uno de sus actos,
09:20
so I watched it a few times on YouTube.
167
548040
1960
así que lo miré varias veces en YouTube.
09:23
YouTube started recommending to me
168
551240
3096
YouTube comenzó a recomendarme
09:26
and autoplaying to me
white supremacist videos
white supremacist videos
169
554360
4256
una lista de reproducción de videos
de supremacistas blancos
de supremacistas blancos
09:30
in increasing order of extremism.
170
558640
2656
en orden de extremismo creciente.
09:33
If I watched one,
171
561320
1816
Si miraba uno,
09:35
it served up one even more extreme
172
563160
2976
me llevaba a otro incluso más extremo
09:38
and autoplayed that one, too.
173
566160
1424
y se reproducía automáticamente.
09:40
If you watch Hillary Clinton
or Bernie Sanders content,
or Bernie Sanders content,
174
568320
4536
Si miran contenido sobre
Hillary Clinton o Bernie Sanders,
Hillary Clinton o Bernie Sanders,
09:44
YouTube recommends
and autoplays conspiracy left,
and autoplays conspiracy left,
175
572880
4696
YouTube les recomienda y reproduce
conspiraciones de izquierda,
conspiraciones de izquierda,
09:49
and it goes downhill from there.
176
577600
1760
de ahí hacia abajo.
09:52
Well, you might be thinking,
this is politics, but it's not.
this is politics, but it's not.
177
580480
3056
Quizá estén pensando
que se trata de política, pero no.
que se trata de política, pero no.
09:55
This isn't about politics.
178
583560
1256
No se trata de política.
09:56
This is just the algorithm
figuring out human behavior.
figuring out human behavior.
179
584840
3096
Es solo el algoritmo
entendiendo la conducta humana.
entendiendo la conducta humana.
09:59
I once watched a video
about vegetarianism on YouTube
about vegetarianism on YouTube
180
587960
4776
Una vez miré un video
sobre el vegetarianismo en YouTube
sobre el vegetarianismo en YouTube
10:04
and YouTube recommended
and autoplayed a video about being vegan.
and autoplayed a video about being vegan.
181
592760
4936
y YouTube me recomendó y reprodujo
un video sobre veganismo.
un video sobre veganismo.
10:09
It's like you're never
hardcore enough for YouTube.
hardcore enough for YouTube.
182
597720
3016
Uno nunca es lo suficientemente
extremo para YouTube.
extremo para YouTube.
10:12
(Laughter)
183
600760
1576
(Risas)
10:14
So what's going on?
184
602360
1560
¿Qué está ocurriendo?
10:16
Now, YouTube's algorithm is proprietary,
185
604520
3536
El algoritmo de YouTube está patentado,
10:20
but here's what I think is going on.
186
608080
2360
pero esto es lo que creo que está pasando.
10:23
The algorithm has figured out
187
611360
2096
El algoritmo ha descubierto
10:25
that if you can entice people
188
613480
3696
que si puedes persuadir a la gente
10:29
into thinking that you can
show them something more hardcore,
show them something more hardcore,
189
617200
3736
haciéndoles pensar que puedes
mostrarles algo más extremo,
mostrarles algo más extremo,
10:32
they're more likely to stay on the site
190
620960
2416
son más propensos a quedarse en el sitio
10:35
watching video after video
going down that rabbit hole
going down that rabbit hole
191
623400
4416
viendo video tras video
adentrándose en el agujero de conejo
adentrándose en el agujero de conejo
10:39
while Google serves them ads.
192
627840
1680
mientras Google les sirve anuncios.
10:43
Now, with nobody minding
the ethics of the store,
the ethics of the store,
193
631760
3120
Sin alguien a quien le importe
la ética de la tienda,
la ética de la tienda,
10:47
these sites can profile people
194
635720
4240
estos sitios pueden retratar gente
10:53
who are Jew haters,
195
641680
1920
que odia a los judíos,
10:56
who think that Jews are parasites
196
644360
2480
que cree que los judíos son parásitos
11:00
and who have such explicit
anti-Semitic content,
anti-Semitic content,
197
648320
4920
y que tiene contenido
antisemita explícito,
antisemita explícito,
11:06
and let you target them with ads.
198
654080
2000
y permitirte que les envíes anuncios.
11:09
They can also mobilize algorithms
199
657200
3536
También pueden movilizar algoritmos
11:12
to find for you look-alike audiences,
200
660760
3136
para encontrar audiencias parecidas,
11:15
people who do not have such explicit
anti-Semitic content on their profile
anti-Semitic content on their profile
201
663920
5576
gente que no tiene ese contenido
antisemita explícito en su perfil,
antisemita explícito en su perfil,
11:21
but who the algorithm detects
may be susceptible to such messages,
may be susceptible to such messages,
202
669520
6176
pero a quien el algoritmo detecta
como susceptible a esos mensajes,
como susceptible a esos mensajes,
11:27
and lets you target them with ads, too.
203
675720
1920
y te permite enviarles anuncios también.
11:30
Now, this may sound
like an implausible example,
like an implausible example,
204
678680
2736
Esto puede sonar
como un ejemplo inverosímil,
como un ejemplo inverosímil,
11:33
but this is real.
205
681440
1320
pero es real.
11:35
ProPublica investigated this
206
683480
2136
ProPublica lo investigó
11:37
and found that you can indeed
do this on Facebook,
do this on Facebook,
207
685640
3616
y encontró que de hecho
se puede hacer esto en Facebook,
se puede hacer esto en Facebook,
11:41
and Facebook helpfully
offered up suggestions
offered up suggestions
208
689280
2416
y Facebook amablemente
nos ofreció sugerencias
nos ofreció sugerencias
11:43
on how to broaden that audience.
209
691720
1600
de cómo ampliar la audiencia.
11:46
BuzzFeed tried it for Google,
and very quickly they found,
and very quickly they found,
210
694720
3016
BuzzFeed lo intentó con Google,
y en seguida vieron que sí,
que se puede hacer en Google también.
que se puede hacer en Google también.
11:49
yep, you can do it on Google, too.
211
697760
1736
11:51
And it wasn't even expensive.
212
699520
1696
Y no fue ni siquiera costoso.
11:53
The ProPublica reporter
spent about 30 dollars
spent about 30 dollars
213
701240
4416
El reportero de ProPublica
gastó alrededor de 30 dólares
gastó alrededor de 30 dólares
11:57
to target this category.
214
705680
2240
para anunciarle a esa categoría.
12:02
So last year, Donald Trump's
social media manager disclosed
social media manager disclosed
215
710600
5296
El año pasado, el asesor de medios
de Donald Trump reveló
de Donald Trump reveló
12:07
that they were using Facebook dark posts
to demobilize people,
to demobilize people,
216
715920
5336
que usaban publicaciones de página oculta
en Facebook para desmovilizar gente.
en Facebook para desmovilizar gente.
12:13
not to persuade them,
217
721280
1376
No para persuadirlos,
12:14
but to convince them not to vote at all.
218
722680
2800
sino para convencerlos de no votar.
12:18
And to do that,
they targeted specifically,
they targeted specifically,
219
726520
3576
Y para lograr eso,
se dirigieron a grupos específicos,
se dirigieron a grupos específicos,
12:22
for example, African-American men
in key cities like Philadelphia,
in key cities like Philadelphia,
220
730120
3896
por ejemplo, hombres afroamericanos
en ciudades clave como Filadelfia,
en ciudades clave como Filadelfia,
12:26
and I'm going to read
exactly what he said.
exactly what he said.
221
734040
2456
y voy a leer exactamente lo que dijo.
12:28
I'm quoting.
222
736520
1216
Cito.
12:29
They were using "nonpublic posts
223
737760
3016
Estaban usando "publicaciones no públicas
12:32
whose viewership the campaign controls
224
740800
2176
cuya audiencia controla la campaña
12:35
so that only the people
we want to see it see it.
we want to see it see it.
225
743000
3776
para que solo la gente
que queremos pueda verlas".
que queremos pueda verlas".
12:38
We modeled this.
226
746800
1216
"Modelamos esto".
12:40
It will dramatically affect her ability
to turn these people out."
to turn these people out."
227
748040
4720
"Esto afectará dramáticamente la habilidad
de ella para llevar votantes a las urnas".
de ella para llevar votantes a las urnas".
12:45
What's in those dark posts?
228
753720
2280
¿Qué hay en esas publicaciones
de página oculta?
de página oculta?
12:48
We have no idea.
229
756480
1656
No tenemos idea.
12:50
Facebook won't tell us.
230
758160
1200
Facebook no nos lo dirá.
12:52
So Facebook also algorithmically
arranges the posts
arranges the posts
231
760480
4376
Facebook también organiza
con un algoritmo las publicaciones
con un algoritmo las publicaciones
12:56
that your friends put on Facebook,
or the pages you follow.
or the pages you follow.
232
764880
3736
que nuestros amigos ponen en Facebook,
o las páginas que seguimos.
o las páginas que seguimos.
13:00
It doesn't show you
everything chronologically.
everything chronologically.
233
768640
2216
No nos muestra todo cronológicamente.
13:02
It puts the order in the way
that the algorithm thinks will entice you
that the algorithm thinks will entice you
234
770880
4816
Ordena según la manera en que el algoritmo
piensa que nos va a persuadir
piensa que nos va a persuadir
13:07
to stay on the site longer.
235
775720
1840
para quedarnos más tiempo en el sitio.
13:11
Now, so this has a lot of consequences.
236
779040
3376
Esto tiene muchas consecuencias.
13:14
You may be thinking
somebody is snubbing you on Facebook.
somebody is snubbing you on Facebook.
237
782440
3800
Quizá estén pensando que alguien
los está desairando en Facebook.
los está desairando en Facebook.
13:18
The algorithm may never
be showing your post to them.
be showing your post to them.
238
786800
3256
Pero quizá el algoritmo nunca
les muestra su publicación a ellos.
les muestra su publicación a ellos.
13:22
The algorithm is prioritizing
some of them and burying the others.
some of them and burying the others.
239
790080
5960
El algoritmo prioriza
algunas publicaciones e ignora otras.
algunas publicaciones e ignora otras.
13:29
Experiments show
240
797320
1296
Los experimentos muestran
13:30
that what the algorithm picks to show you
can affect your emotions.
can affect your emotions.
241
798640
4520
que lo que el algoritmo escoge
para mostrar, puede afectar las emociones.
para mostrar, puede afectar las emociones.
13:36
But that's not all.
242
804600
1200
Pero eso no es todo.
13:38
It also affects political behavior.
243
806280
2360
También afecta la conducta política.
13:41
So in 2010, in the midterm elections,
244
809360
4656
Así que en 2010, en la votación
a mitad de legislatura,
a mitad de legislatura,
13:46
Facebook did an experiment
on 61 million people in the US
on 61 million people in the US
245
814040
5896
Facebook hizo un experimento
con 61 millones de personas en EE. UU.
con 61 millones de personas en EE. UU.
13:51
that was disclosed after the fact.
246
819960
1896
y lo dio a conocer después.
13:53
So some people were shown,
"Today is election day,"
"Today is election day,"
247
821880
3416
A algunas personas les mostraron
la publicación "Hoy es día de votación",
la publicación "Hoy es día de votación",
13:57
the simpler one,
248
825320
1376
la más sencilla,
13:58
and some people were shown
the one with that tiny tweak
the one with that tiny tweak
249
826720
3896
y a otras personas les mostraron
la que tiene esa pequeña modificación,
la que tiene esa pequeña modificación,
14:02
with those little thumbnails
250
830640
2096
con esas miniaturas
14:04
of your friends who clicked on "I voted."
251
832760
2840
de tus amigos que cliquearon "Voté".
14:09
This simple tweak.
252
837000
1400
Solo esa pequeña modificación.
14:11
OK? So the pictures were the only change,
253
839520
4296
Así que las fotos
fueron el único cambio,
fueron el único cambio,
14:15
and that post shown just once
254
843840
3256
y esa publicación
que fue mostrada solo una vez
que fue mostrada solo una vez
14:19
turned out an additional 340,000 voters
255
847120
6056
añadió 340 000 votantes
14:25
in that election,
256
853200
1696
en esa elección,
14:26
according to this research
257
854920
1696
según este estudio
14:28
as confirmed by the voter rolls.
258
856640
2520
confirmado por los padrones electorales.
14:32
A fluke? No.
259
860920
1656
¿Suerte? No.
14:34
Because in 2012,
they repeated the same experiment.
they repeated the same experiment.
260
862600
5360
Porque en 2012, repitieron el experimento.
14:40
And that time,
261
868840
1736
Y esa vez,
14:42
that civic message shown just once
262
870600
3296
ese mensaje cívico mostrado una sola vez
14:45
turned out an additional 270,000 voters.
263
873920
4440
añadió 270 000 votantes.
14:51
For reference, the 2016
US presidential election
US presidential election
264
879160
5216
Como referencia, la elección
presidencial de 2016 en EE. UU.
presidencial de 2016 en EE. UU.
14:56
was decided by about 100,000 votes.
265
884400
3520
se decidió por unos 100 000 votos.
15:01
Now, Facebook can also
very easily infer what your politics are,
very easily infer what your politics are,
266
889360
4736
Facebook también puede inferir
muy fácilmente sus opiniones políticas,
muy fácilmente sus opiniones políticas,
15:06
even if you've never
disclosed them on the site.
disclosed them on the site.
267
894120
2256
aun si nunca las han revelado en el sitio.
15:08
Right? These algorithms
can do that quite easily.
can do that quite easily.
268
896400
2520
Estos algoritmos pueden
lograrlo de manera sencilla.
lograrlo de manera sencilla.
15:11
What if a platform with that kind of power
269
899960
3896
¿Qué pasaría si una plataforma
con ese tipo de poder
con ese tipo de poder
15:15
decides to turn out supporters
of one candidate over the other?
of one candidate over the other?
270
903880
5040
decide ganar seguidores
para un candidato y no para el otro?
para un candidato y no para el otro?
15:21
How would we even know about it?
271
909680
2440
¿Cómo lo sabríamos?
15:25
Now, we started from someplace
seemingly innocuous --
seemingly innocuous --
272
913560
4136
Comenzamos en un lugar
aparentemente inocuo,
aparentemente inocuo,
15:29
online adds following us around --
273
917720
2216
anuncios en línea
siguiéndonos a todas partes,
siguiéndonos a todas partes,
15:31
and we've landed someplace else.
274
919960
1840
y hemos terminado en otro lugar.
15:35
As a public and as citizens,
275
923480
2456
Como público y como ciudadanos,
15:37
we no longer know
if we're seeing the same information
if we're seeing the same information
276
925960
3416
no sabemos ya si estamos viendo
la misma información
la misma información
15:41
or what anybody else is seeing,
277
929400
1480
o qué es lo que los demás ven,
15:43
and without a common basis of information,
278
931680
2576
y sin una base común de información,
15:46
little by little,
279
934280
1616
poco a poco,
15:47
public debate is becoming impossible,
280
935920
3216
el debate público
se está volviendo imposible,
se está volviendo imposible,
15:51
and we're just at
the beginning stages of this.
the beginning stages of this.
281
939160
2976
y eso que solo estamos
en las etapas iniciales de esto.
en las etapas iniciales de esto.
15:54
These algorithms can quite easily infer
282
942160
3456
Estos algoritmos pueden inferir fácilmente
15:57
things like your people's ethnicity,
283
945640
3256
cosas como el origen étnico de la gente,
las ideas religiosas y políticas,
las ideas religiosas y políticas,
16:00
religious and political views,
personality traits,
personality traits,
284
948920
2336
la personalidad,
16:03
intelligence, happiness,
use of addictive substances,
use of addictive substances,
285
951280
3376
la inteligencia, la felicidad,
el uso de sustancias adictivas,
el uso de sustancias adictivas,
16:06
parental separation, age and genders,
286
954680
3136
la separación de los padres,
la edad y género,
la edad y género,
16:09
just from Facebook likes.
287
957840
1960
solo con los "me gusta" de Facebook.
16:13
These algorithms can identify protesters
288
961440
4056
Estos algoritmos pueden
identificar manifestantes
identificar manifestantes
16:17
even if their faces
are partially concealed.
are partially concealed.
289
965520
2760
incluso si sus caras están
parcialmente cubiertas.
parcialmente cubiertas.
16:21
These algorithms may be able
to detect people's sexual orientation
to detect people's sexual orientation
290
969720
6616
Estos algoritmos podrían detectar
la orientación sexual de la gente
la orientación sexual de la gente
16:28
just from their dating profile pictures.
291
976360
3200
solo con sus fotos de perfil.
16:33
Now, these are probabilistic guesses,
292
981560
2616
Estas son especulaciones probables
16:36
so they're not going
to be 100 percent right,
to be 100 percent right,
293
984200
2896
así que no serán 100 % atinadas,
16:39
but I don't see the powerful resisting
the temptation to use these technologies
the temptation to use these technologies
294
987120
4896
pero yo no me imagino a los poderosos
resistiendo la tentación
de usar estas tecnologías
de usar estas tecnologías
16:44
just because there are
some false positives,
some false positives,
295
992040
2176
solo porque haya algunos falsos positivos,
16:46
which will of course create
a whole other layer of problems.
a whole other layer of problems.
296
994240
3256
lo cual creará, por supuesto,
otra oleada de problemas.
otra oleada de problemas.
16:49
Imagine what a state can do
297
997520
2936
Imaginen lo que puede hacer un estado
16:52
with the immense amount of data
it has on its citizens.
it has on its citizens.
298
1000480
3560
con la enorme cantidad de datos
que tiene de sus ciudadanos.
que tiene de sus ciudadanos.
16:56
China is already using
face detection technology
face detection technology
299
1004680
4776
China ya está usando
tecnología de detección de rostros
tecnología de detección de rostros
17:01
to identify and arrest people.
300
1009480
2880
para identificar y arrestar gente.
17:05
And here's the tragedy:
301
1013280
2136
Y esta es la tragedia:
17:07
we're building this infrastructure
of surveillance authoritarianism
of surveillance authoritarianism
302
1015440
5536
Estamos construyendo esta infraestructura
de vigilancia y autoritarismo
de vigilancia y autoritarismo
17:13
merely to get people to click on ads.
303
1021000
2960
solo para obtener
más clics en los anuncios.
más clics en los anuncios.
17:17
And this won't be
Orwell's authoritarianism.
Orwell's authoritarianism.
304
1025240
2576
Este no será el autoritarismo de Orwell.
17:19
This isn't "1984."
305
1027839
1897
Esto no es "1984".
17:21
Now, if authoritarianism
is using overt fear to terrorize us,
is using overt fear to terrorize us,
306
1029760
4576
Si el autoritarismo usa
el miedo para aterrorizarnos,
el miedo para aterrorizarnos,
17:26
we'll all be scared, but we'll know it,
307
1034359
2897
todos estaremos asustados,
pero lo sabremos,
pero lo sabremos,
17:29
we'll hate it and we'll resist it.
308
1037280
2200
lo odiaremos y lo resistiremos.
17:32
But if the people in power
are using these algorithms
are using these algorithms
309
1040880
4416
Pero si la gente en el poder
está usando estos algoritmos
está usando estos algoritmos
17:37
to quietly watch us,
310
1045319
3377
para vigilarnos calladamente,
17:40
to judge us and to nudge us,
311
1048720
2080
para juzgarnos y empujarnos,
17:43
to predict and identify
the troublemakers and the rebels,
the troublemakers and the rebels,
312
1051720
4176
para predecir e identificar
a los agitadores y a los rebeldes,
a los agitadores y a los rebeldes,
17:47
to deploy persuasion
architectures at scale
architectures at scale
313
1055920
3896
para desplegar arquitecturas
de persuasión a escala
de persuasión a escala
17:51
and to manipulate individuals one by one
314
1059840
4136
y para manipularnos uno por uno
17:56
using their personal, individual
weaknesses and vulnerabilities,
weaknesses and vulnerabilities,
315
1064000
5440
usando las debilidades y vulnerabilidades
personales e individuales de cada uno,
personales e individuales de cada uno,
18:02
and if they're doing it at scale
316
1070720
2200
y si lo están haciendo a escala
con nuestras pantallas personales
18:06
through our private screens
317
1074080
1736
18:07
so that we don't even know
318
1075840
1656
para que ni siquiera sepamos
18:09
what our fellow citizens
and neighbors are seeing,
and neighbors are seeing,
319
1077520
2760
lo que ven nuestros
compañeros ciudadanos y vecinos,
compañeros ciudadanos y vecinos,
18:13
that authoritarianism
will envelop us like a spider's web
will envelop us like a spider's web
320
1081560
4816
ese autoritarismo nos atrapará
como una telaraña
como una telaraña
18:18
and we may not even know we're in it.
321
1086400
2480
y quizá ni siquiera sepamos
que estamos en ella.
que estamos en ella.
18:22
So Facebook's market capitalization
322
1090440
2936
Así que la capitalización
de mercado de Facebook
de mercado de Facebook
18:25
is approaching half a trillion dollars.
323
1093400
3296
se acerca a medio billón de dólares.
18:28
It's because it works great
as a persuasion architecture.
as a persuasion architecture.
324
1096720
3120
Es porque funciona muy bien
como arquitectura de persuasión.
como arquitectura de persuasión.
18:33
But the structure of that architecture
325
1101760
2816
Pero la estructura de esa arquitectura
18:36
is the same whether you're selling shoes
326
1104600
3216
es la misma, sea que vendan zapatos
18:39
or whether you're selling politics.
327
1107840
2496
o sea que vendan política.
18:42
The algorithms do not know the difference.
328
1110360
3120
Los algoritmos no ven la diferencia.
18:46
The same algorithms set loose upon us
329
1114240
3296
Los mismos algoritmos
utilizados en nosotros
utilizados en nosotros
18:49
to make us more pliable for ads
330
1117560
3176
para hacernos más receptivos
a los anuncios,
a los anuncios,
18:52
are also organizing our political,
personal and social information flows,
personal and social information flows,
331
1120760
6736
también organizan nuestros flujos
de información política, social y personal
de información política, social y personal
18:59
and that's what's got to change.
332
1127520
1840
y eso debe cambiar.
19:02
Now, don't get me wrong,
333
1130240
2296
No me malinterpreten,
19:04
we use digital platforms
because they provide us with great value.
because they provide us with great value.
334
1132560
3680
usamos plataformas digitales
porque nos ofrecen muchísimo.
porque nos ofrecen muchísimo.
19:09
I use Facebook to keep in touch
with friends and family around the world.
with friends and family around the world.
335
1137120
3560
Yo uso Facebook para estar en contacto
con amigos y familia alrededor del mundo.
con amigos y familia alrededor del mundo.
19:14
I've written about how crucial
social media is for social movements.
social media is for social movements.
336
1142000
5776
He escrito acerca lo cruciales que son
las redes para los movimientos sociales.
las redes para los movimientos sociales.
19:19
I have studied how
these technologies can be used
these technologies can be used
337
1147800
3016
He estudiado cómo pueden
usarse estas tecnologías
usarse estas tecnologías
19:22
to circumvent censorship around the world.
338
1150840
2480
para eludir la censura en todo el mundo.
19:27
But it's not that the people who run,
you know, Facebook or Google
you know, Facebook or Google
339
1155280
6416
Pero no es que la gente
que administra Facebook o Google
que administra Facebook o Google
19:33
are maliciously and deliberately trying
340
1161720
2696
esté tratando maliciosa y deliberadamente
19:36
to make the country
or the world more polarized
or the world more polarized
341
1164440
4456
de polarizar un país o el mundo
19:40
and encourage extremism.
342
1168920
1680
y promover el extremismo.
19:43
I read the many
well-intentioned statements
well-intentioned statements
343
1171440
3976
He leído las muchas y
bien intencionadas afirmaciones
bien intencionadas afirmaciones
19:47
that these people put out.
344
1175440
3320
que esa gente publica.
19:51
But it's not the intent or the statements
people in technology make that matter,
people in technology make that matter,
345
1179600
6056
Pero no son sus intenciones
ni las afirmaciones lo que importa,
ni las afirmaciones lo que importa,
19:57
it's the structures
and business models they're building.
and business models they're building.
346
1185680
3560
son las estructuras y modelos de negocio
que están construyendo.
que están construyendo.
20:02
And that's the core of the problem.
347
1190360
2096
Y ese es el meollo del problema.
20:04
Either Facebook is a giant con
of half a trillion dollars
of half a trillion dollars
348
1192480
4720
O Facebook es una estafa gigante
de medio billón de dólares,
de medio billón de dólares,
20:10
and ads don't work on the site,
349
1198200
1896
los avisos en el sitio no funcionan
20:12
it doesn't work
as a persuasion architecture,
as a persuasion architecture,
350
1200120
2696
y no sirve como
arquitectura de persuasión,
arquitectura de persuasión,
20:14
or its power of influence
is of great concern.
is of great concern.
351
1202840
4120
o su poder de influencia
es altamente preocupante.
es altamente preocupante.
20:20
It's either one or the other.
352
1208560
1776
Debe ser una o la otra.
20:22
It's similar for Google, too.
353
1210360
1600
Es similar también para Google.
20:24
So what can we do?
354
1212880
2456
Así que, ¿qué podemos hacer?
20:27
This needs to change.
355
1215360
1936
Esto necesita cambiar.
20:29
Now, I can't offer a simple recipe,
356
1217320
2576
No puedo ofrecerles una receta simple,
20:31
because we need to restructure
357
1219920
2256
porque necesitamos reestructurar
20:34
the whole way our
digital technology operates.
digital technology operates.
358
1222200
3016
completamente cómo opera
nuestra tecnología digital.
nuestra tecnología digital.
20:37
Everything from the way
technology is developed
technology is developed
359
1225240
4096
Todo, desde la manera
en que se desarrolla la tecnología
en que se desarrolla la tecnología
20:41
to the way the incentives,
economic and otherwise,
economic and otherwise,
360
1229360
3856
hasta la manera en que los incentivos,
económicos y demás,
económicos y demás,
20:45
are built into the system.
361
1233240
2280
están incorporados al sistema.
20:48
We have to face and try to deal with
362
1236480
3456
Tenemos que encarar y tratar de lidiar
con la falta de transparencia
con la falta de transparencia
20:51
the lack of transparency
created by the proprietary algorithms,
created by the proprietary algorithms,
363
1239960
4656
creada por los algoritmos patentados,
20:56
the structural challenge
of machine learning's opacity,
of machine learning's opacity,
364
1244640
3816
el desafío estructural en la opacidad
del aprendizaje automático,
del aprendizaje automático,
21:00
all this indiscriminate data
that's being collected about us.
that's being collected about us.
365
1248480
3400
todos estos datos sobre nosotros
recolectados indiscriminadamente.
recolectados indiscriminadamente.
21:05
We have a big task in front of us.
366
1253000
2520
Tenemos una gran tarea por delante.
21:08
We have to mobilize our technology,
367
1256160
2680
Tenemos que movilizar nuestra tecnología,
21:11
our creativity
368
1259760
1576
nuestra creatividad
21:13
and yes, our politics
369
1261360
1880
y sí, nuestra política,
21:16
so that we can build
artificial intelligence
artificial intelligence
370
1264240
2656
para que podamos construir
inteligencia artificial
inteligencia artificial
21:18
that supports us in our human goals
371
1266920
3120
que apoye nuestros objetivos humanos,
21:22
but that is also constrained
by our human values.
by our human values.
372
1270800
3920
pero que también esté limitada
por nuestros valores humanos.
por nuestros valores humanos.
21:27
And I understand this won't be easy.
373
1275600
2160
Entiendo que esto no será sencillo.
21:30
We might not even easily agree
on what those terms mean.
on what those terms mean.
374
1278360
3600
Quizá ni siquiera acordemos fácilmente
qué significan esos términos.
qué significan esos términos.
21:34
But if we take seriously
375
1282920
2400
Pero si nos tomamos en serio
21:38
how these systems that we
depend on for so much operate,
depend on for so much operate,
376
1286240
5976
cómo operan estos sistemas
de los que dependemos para tantas cosas,
de los que dependemos para tantas cosas,
21:44
I don't see how we can postpone
this conversation anymore.
this conversation anymore.
377
1292240
4120
no veo cómo podemos seguir
posponiendo esta conversación.
posponiendo esta conversación.
21:49
These structures
378
1297200
2536
Estas estructuras
21:51
are organizing how we function
379
1299760
4096
están organizando cómo funcionamos
21:55
and they're controlling
380
1303880
2296
y están controlando
21:58
what we can and we cannot do.
381
1306200
2616
lo que podemos y no podemos hacer.
22:00
And many of these ad-financed platforms,
382
1308840
2456
Muchas de estas plataformas
financiadas por anuncios
financiadas por anuncios
22:03
they boast that they're free.
383
1311320
1576
presumen de ser gratuitas.
22:04
In this context, it means
that we are the product that's being sold.
that we are the product that's being sold.
384
1312920
4560
En este contexto, eso significa
que nosotros somos el producto de venta.
que nosotros somos el producto de venta.
22:10
We need a digital economy
385
1318840
2736
Necesitamos una economía digital
22:13
where our data and our attention
386
1321600
3496
donde nuestros datos y nuestra atención
22:17
is not for sale to the highest-bidding
authoritarian or demagogue.
authoritarian or demagogue.
387
1325120
5080
no estén a la venta para el autoritario
o demagogo que pague más.
o demagogo que pague más.
22:23
(Applause)
388
1331160
3800
(Aplausos)
22:30
So to go back to
that Hollywood paraphrase,
that Hollywood paraphrase,
389
1338480
3256
Así que, volviendo
a la paráfrasis de Hollywood:
a la paráfrasis de Hollywood:
22:33
we do want the prodigious potential
390
1341760
3736
Sí, queremos que el enorme potencial
22:37
of artificial intelligence
and digital technology to blossom,
and digital technology to blossom,
391
1345520
3200
de la inteligencia artificial
y la tecnología digital florezca,
y la tecnología digital florezca,
22:41
but for that, we must face
this prodigious menace,
this prodigious menace,
392
1349400
4936
pero para eso debemos enfrentar
esta enorme amenaza,
esta enorme amenaza,
22:46
open-eyed and now.
393
1354360
1936
con los ojos abiertos y ahora.
22:48
Thank you.
394
1356320
1216
Gracias.
22:49
(Applause)
395
1357560
4640
(Aplausos)
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com