TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: ¿Qué sucede cuando nuestras computadoras se vuelven más inteligentes que nosotros?
Filmed:
Readability: 4.4
4,632,705 views
La Inteligencia Artificial está dando grandes pasos: según los expertos, durante este siglo, la inteligencia artificial podría llegar a ser tan "inteligente" como un humano. Para que luego, dice Nick Bostrom, nos supere; en sus palabras, "la inteligencia artificial es el último invento que la humanidad tendrá que hacer". Filósofo y tecnólogo, Bostrom nos pide que pensemos seriamente en el mundo gobernado por máquinas pensantes que estamos construyendo. Estas máquinas inteligentes nos ayudarán a preservar nuestra humanidad y nuestros valores, ¿o tendrán sus propios valores?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Yo trabajo con un grupo de matemáticos,
filósofos y científicos informáticos,
filósofos y científicos informáticos,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
y nos juntamos para pensar en
el futuro de la inteligencia artificial,
el futuro de la inteligencia artificial,
00:21
among other things.
2
9986
2044
entre otras cosas.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Algunos piensan que estas cosas
son una especie de ciencia ficción
son una especie de ciencia ficción
00:28
far out there, crazy.
4
16755
3101
alocadas y alejadas de la verdad.
00:31
But I like to say,
5
19856
1470
Pero bueno, me gusta sugerir
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
que analicemos la
condición humana moderna.
condición humana moderna.
00:36
(Laughter)
7
24930
1692
(Risas)
00:38
This is the normal way for things to be.
8
26622
2402
Así es cómo tienen que ser las cosas.
00:41
But if we think about it,
9
29024
2285
Pero si lo pensamos,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
en realidad acabamos de llegar
a este planeta,
a este planeta,
00:46
the human species.
11
34602
2082
nosotros, la especie humana.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Piensen que si la Tierra
hubiera sido creada hace un año,
hubiera sido creada hace un año,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
entonces la raza humana
solo tendría 10 minutos de edad
solo tendría 10 minutos de edad
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
y la era industrial habría empezado
hace dos segundos.
hace dos segundos.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Otra forma de abordar esto es pensar en
el PIB mundial en los últimos 10 000 años,
el PIB mundial en los últimos 10 000 años,
y de hecho, me he tomado la molestia
de representarlo en un gráfico para Uds.
de representarlo en un gráfico para Uds.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
01:09
It looks like this.
17
57530
1774
Se ve así.
01:11
(Laughter)
18
59304
1363
(Risas)
Tiene una forma curiosa para ser normal.
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Y seguro que no me gustaría
sentarme en ella.
sentarme en ella.
01:16
(Laughter)
21
64516
2551
(Risas)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Preguntémonos ¿cuál es la
causa de esta anomalía actual?
causa de esta anomalía actual?
01:23
Some people would say it's technology.
23
71841
2552
Algunas personas dirán
que es la tecnología.
que es la tecnología.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Ahora bien es cierto que la tecnología
ha aumentado a lo largo de la historia,
ha aumentado a lo largo de la historia,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
y en la actualidad avanza muy rápidamente
01:35
that is the proximate cause,
26
83713
1565
--esa es la causa inmediata--
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
y por esto la razón de ser
muy productivos hoy en día.
muy productivos hoy en día.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Pero me gusta indagar más allá,
buscar la causa de todo.
buscar la causa de todo.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Miren a estos 2 caballeros
muy distinguidos:
muy distinguidos:
Tenemos a Kanzi,
01:48
We have Kanzi --
30
96880
1600
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
que domina 200 unidades léxicas,
una hazaña increíble,
una hazaña increíble,
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
y a Ed Witten que desató la segunda
revolución de las supercuerdas.
revolución de las supercuerdas.
Si miramos atentamente
esto es lo que encontramos:
esto es lo que encontramos:
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
02:01
basically the same thing.
34
109141
1570
básicamente la misma cosa.
02:02
One is a little larger,
35
110711
1813
Uno es un poco más grande,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
y puede que también tenga algunos trucos
más por la forma en que está diseñado,
más por la forma en que está diseñado,
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
sin embargo, estas diferencias invisibles
no pueden ser demasiado complicadas
no pueden ser demasiado complicadas
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
porque solo nos separan
250 000 generaciones
250 000 generaciones
02:15
since our last common ancestor.
39
123379
1732
de nuestro último ancestro común.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Sabemos que los mecanismos complicados
tardan mucho tiempo en evolucionar
tardan mucho tiempo en evolucionar
02:22
So a bunch of relatively minor changes
41
130000
2499
así que una serie de pequeños cambios
02:24
take us from Kanzi to Witten,
42
132499
3067
nos lleva de Kanzi a Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
de las ramas de árboles rotas a
los misiles balísticos intercontinentales.
los misiles balísticos intercontinentales.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Así que parece bastante claro
que todo lo que hemos logrado,
que todo lo que hemos logrado,
y todo lo que nos importa,
02:36
and everything we care about,
45
144774
1378
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
depende fundamentalmente de algunos
cambios relativamente menores
cambios relativamente menores
sufridos por la mente humana.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Y el corolario es que, por supuesto,
cualquier cambio ulterior
cualquier cambio ulterior
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
que cambiara significativamente
el fundamento del pensamiento
el fundamento del pensamiento
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
podría potencialmente acarrear
enormes consecuencias.
enormes consecuencias.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Algunos de mis colegas
piensan que estamos muy cerca
piensan que estamos muy cerca
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
de algo que podría causar un cambio
significativo en ese fundamento
significativo en ese fundamento
03:03
and that is machine superintelligence.
52
171134
3213
y que eso es la máquina superinteligente.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
La inteligencia artificial solía ser
la integración de comandos en una caja,
la integración de comandos en una caja,
03:11
You would have human programmers
54
179086
1665
con programadores humanos
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
que elaboraban conocimiento
minuciosamente a mano.
minuciosamente a mano.
03:15
You build up these expert systems,
56
183886
2086
Se construían
estos sistemas especializados
estos sistemas especializados
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
y eran bastante útiles
para ciertos propósitos,
para ciertos propósitos,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
pero eran muy frágiles
y no se podían ampliar.
y no se podían ampliar.
Básicamente, se conseguía solamente
lo que se invertía en ellos.
lo que se invertía en ellos.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
03:26
But since then,
60
194410
997
Pero desde entonces,
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
hubo un cambio de paradigma en
el campo de la inteligencia artificial.
el campo de la inteligencia artificial.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Hoy, la acción gira en torno
al aprendizaje máquina.
al aprendizaje máquina.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Así que en lugar de
producir características
producir características
y representar el conocimiento
de manera artesanal,
de manera artesanal,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
creamos algoritmos que aprenden a menudo
a partir de datos de percepción en bruto.
a partir de datos de percepción en bruto.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Básicamente lo mismo
que hace el bebé humano.
que hace el bebé humano.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
El resultado es inteligencia artificial
que no se limita a un solo campo;
que no se limita a un solo campo;
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
el mismo sistema puede aprender
a traducir entre cualquier par de idiomas
a traducir entre cualquier par de idiomas
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
o aprender a jugar a cualquier juego
de ordenador en la consola Atari.
de ordenador en la consola Atari.
04:05
Now of course,
69
233338
1779
Ahora, por supuesto,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
la IA está todavía muy lejos de tener el
mismo poder y alcance interdisciplinario
mismo poder y alcance interdisciplinario
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
para aprender y planificar
como lo hacen los humanos.
como lo hacen los humanos.
La corteza cerebral aún esconde
algunos trucos algorítmicos
algunos trucos algorítmicos
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
que todavía no sabemos
cómo simular en las máquinas.
cómo simular en las máquinas.
Así que la pregunta es,
04:19
So the question is,
74
247886
1899
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
¿cuánto nos falta para poder
implementar esos trucos?
implementar esos trucos?
Hace un par de años
04:26
A couple of years ago,
76
254245
1083
hicimos una encuesta entre los expertos
de IA más importantes del mundo
de IA más importantes del mundo
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
para ver lo que piensan, y una
de las preguntas que hicimos fue,
de las preguntas que hicimos fue,
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"¿En qué año crees que habrá
un 50 % de probabilidad en elevar
un 50 % de probabilidad en elevar
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
la inteligencia artificial al mismo nivel
que la inteligencia humana?"
que la inteligencia humana?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Donde hemos definido ese nivel
como la capacidad de realizar
como la capacidad de realizar
casi todas las tareas, al menos así
como las desarrolla un humano adulto,
como las desarrolla un humano adulto,
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
por lo cual, un nivel real no solo
dentro de un área limitada.
dentro de un área limitada.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Y la respuesta fue
alrededor de 2040 o 2050,
alrededor de 2040 o 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
dependiendo del grupo
de expertos consultados.
de expertos consultados.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Ahora, puede ocurrir
mucho más tarde o más temprano,
mucho más tarde o más temprano,
05:02
the truth is nobody really knows.
87
290339
1940
la verdad es que nadie lo sabe realmente.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Lo que sí sabemos es que el umbral
en el procesamiento de información
en el procesamiento de información
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
en una infraestructura artificial
se encuentra mucho más allá de
los límites del tejido biológico.
los límites del tejido biológico.
05:15
This comes down to physics.
90
303241
2378
Esto pertenece al campo de la física.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Una neurona biológica manda impulsos
quizá a 200 Hertz, 200 veces por segundo.
quizá a 200 Hertz, 200 veces por segundo.
mientras que incluso hoy, un transistor
opera a la frecuencia de los gigahercios.
opera a la frecuencia de los gigahercios.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Las neuronas propagan el impulso
lentamente a lo largo de los axones,
lentamente a lo largo de los axones,
a máximo 100 metros por segundo.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Pero en las computadoras, las señales
pueden viajar a la velocidad de la luz.
pueden viajar a la velocidad de la luz.
05:35
There are also size limitations,
95
323079
1869
También hay limitaciones de tamaño,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
como el cerebro humano que tiene
que encajar dentro del cráneo,
que encajar dentro del cráneo,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
pero una computadora puede ser del
tamaño de un almacén o aún más grande.
tamaño de un almacén o aún más grande.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Así que el potencial de
la máquina superinteligente
la máquina superinteligente
permanece latente en la materia,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
al igual que el poder atómico
a lo largo de toda la historia
a lo largo de toda la historia
05:56
patiently waiting there until 1945.
100
344047
4405
que esperó pacientemente hasta 1945.
06:00
In this century,
101
348452
1248
De cara a este siglo los científicos
pueden aprender a despertar
pueden aprender a despertar
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
el poder de la inteligencia artificial
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
y creo que podríamos ser testigos
de una explosión de inteligencia.
de una explosión de inteligencia.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Cuando la mayoría de la gente piensa
en lo inteligente o lo tonto
en lo inteligente o lo tonto
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
creo que tienen en mente
una imagen más o menos así.
una imagen más o menos así.
06:17
So at one end we have the village idiot,
106
365386
2598
En un extremo tenemos
al tonto del pueblo,
al tonto del pueblo,
06:19
and then far over at the other side
107
367984
2483
y lejos en el otro extremo,
tenemos a Ed Witten o a Albert Einstein,
o quien sea su gurú favorito.
o quien sea su gurú favorito.
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Pero creo que desde el punto de
vista de la inteligencia artificial,
vista de la inteligencia artificial,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
lo más probable es que la imagen
real sea la siguiente:
real sea la siguiente:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
Se empieza en este punto aquí,
en ausencia de inteligencia
en ausencia de inteligencia
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
y luego, después de muchos,
muchos años de trabajo muy arduo,
muchos años de trabajo muy arduo,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
quizá finalmente lleguemos
al nivel intelectual de un ratón,
al nivel intelectual de un ratón,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
algo que puede navegar
entornos desordenados
entornos desordenados
06:47
as well as a mouse can.
115
395921
1987
igual que un ratón.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Y luego, después de muchos,
muchos más años
muchos más años
de trabajo muy arduo,
de mucha inversión,
de mucha inversión,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
tal vez alcancemos el nivel de
inteligencia de un chimpancé.
inteligencia de un chimpancé.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Y luego, después de más años
de trabajo muy, muy arduo
de trabajo muy, muy arduo
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
alcancemos la inteligencia artificial
del tonto del pueblo.
del tonto del pueblo.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Un poco más tarde,
estaremos más allá de Ed Witten.
estaremos más allá de Ed Witten.
El tren del progreso no se detiene
en la estación de los Humanos.
en la estación de los Humanos.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Es probable que más bien,
pase volando.
pase volando.
07:14
Now this has profound implications,
123
422247
1984
Esto tiene profundas consecuencias,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
especialmente si se trata de poder.
07:20
For example, chimpanzees are strong --
125
428093
1899
Por ejemplo, los chimpancés son fuertes.
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
Un chimpancé es dos veces más fuerte
y en mejor forma física que un hombre
y en mejor forma física que un hombre
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
y, sin embargo, el destino de Kanzi
y sus amigos depende mucho más
y sus amigos depende mucho más
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
de lo que hacemos los humanos
que de lo que ellos mismos hacen.
que de lo que ellos mismos hacen.
Una vez que hay superinteligencia,
07:37
Once there is superintelligence,
129
445228
2314
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
el destino de la humanidad dependerá
de lo que haga la superinteligencia.
de lo que haga la superinteligencia.
07:44
Think about it:
131
452451
1057
Piensen en esto:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
la máquina inteligente
es el último invento
es el último invento
que la humanidad jamás
tendrá que realizar.
tendrá que realizar.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Las máquinas serán entonces
mejores inventores que nosotros,
mejores inventores que nosotros,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
y lo harán a escala
de tiempo digital
de tiempo digital
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
lo que significa básicamente
que acelerarán la cercanía al futuro.
que acelerarán la cercanía al futuro.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Piensen en todas las tecnologías
que tal vez, en su opinión,
que tal vez, en su opinión,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
los humanos pueden desarrollar
con el paso del tiempo:
con el paso del tiempo:
08:07
cures for aging, space colonization,
138
475322
3258
tratamientos para el envejecimiento,
la colonización del espacio,
la colonización del espacio,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
nanobots autoreplicantes,
mentes integradas en las computadoras,
mentes integradas en las computadoras,
08:14
all kinds of science fiction-y stuff
140
482311
2159
todo tipo de ciencia-ficción
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
y sin embargo en consonancia
con las leyes de la física.
con las leyes de la física.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Todo esta superinteligencia
podría desarrollarse
podría desarrollarse
y posiblemente
con bastante rapidez.
con bastante rapidez.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Ahora, una superinteligencia
con tanta madurez tecnológica
con tanta madurez tecnológica
08:28
would be extremely powerful,
144
496007
2179
sería extremadamente poderosa,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
y con la excepción de algunos casos
sería capaz de conseguir lo que quiere.
sería capaz de conseguir lo que quiere.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Nuestro futuro se determinaría
por las preferencias de esta IA.
por las preferencias de esta IA.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Y una buena pregunta es
¿cuáles son esas preferencias?
¿cuáles son esas preferencias?
08:46
Here it gets trickier.
148
514244
1769
Aquí se vuelve más complicado.
08:48
To make any headway with this,
149
516013
1435
Para avanzar con esto,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
debemos en primer lugar
evitar el antropomorfismo.
evitar el antropomorfismo.
Y esto es irónico porque cada artículo
de prensa sobre el futuro de la IA
de prensa sobre el futuro de la IA
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
presenta una imagen como esta:
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Así que creo que tenemos que
pensar de manera más abstracta,
pensar de manera más abstracta,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
no según escenarios
entretenidos de Hollywood.
entretenidos de Hollywood.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Tenemos que pensar en la inteligencia
como un proceso de optimización
como un proceso de optimización
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
un proceso que dirige el futuro hacia un
conjunto especifico de configuraciones.
conjunto especifico de configuraciones.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Un superinteligencia es un proceso
de optimización realmente potente.
de optimización realmente potente.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Es muy bueno en el uso
de recursos disponibles
de recursos disponibles
para lograr un estado óptimo
y alcanzar su objetivo.
y alcanzar su objetivo.
09:26
in which its goal is realized.
159
554098
1909
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Esto significa que no hay
ningún vínculo necesario
ningún vínculo necesario
09:31
being highly intelligent in this sense,
161
559119
2734
entre ser muy inteligente en este sentido,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
y tener una meta que para los humanos
vale la pena o es significativa.
vale la pena o es significativa.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Por ejemplo, la IA podría tener el
objetivo de hacer sonreír a los humanos.
objetivo de hacer sonreír a los humanos.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Cuando la IA está en desarrollo,
realiza acciones entretenidas
realiza acciones entretenidas
09:46
that cause its user to smile.
165
574097
2517
para hacer sonreír a su usuario.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Cuando la IA se vuelve superinteligente,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
se da cuenta de que hay una manera
más eficaz para lograr su objetivo:
más eficaz para lograr su objetivo:
09:54
take control of the world
168
582554
1922
tomar el control del mundo
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
e introducir electrodos en
los músculos faciales de la gente
los músculos faciales de la gente
09:59
to cause constant, beaming grins.
170
587638
2941
para provocar sonrisas
constantes y radiantes.
constantes y radiantes.
10:02
Another example,
171
590579
1035
Otro ejemplo,
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
supongamos que le damos el objetivo de
resolver un problema matemático difícil.
resolver un problema matemático difícil.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Cuando la IA se vuelve superinteligente,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
se da cuenta de que la forma más eficaz
para conseguir la solución a este problema
para conseguir la solución a este problema
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
es mediante la transformación
del planeta en un computador gigante,
del planeta en un computador gigante,
10:16
so as to increase its thinking capacity.
176
604035
2246
para aumentar su capacidad de pensar.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Y tengan en cuenta que esto da
a la IA una razón instrumental
a la IA una razón instrumental
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
para hacer cosas que nosotros
no podemos aprobar.
no podemos aprobar.
10:23
Human beings in this model are threats,
179
611561
1935
Los seres humanos
se convierten en una amenaza,
se convierten en una amenaza,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
ya que podríamos evitar
que el problema se resuelva.
que el problema se resuelva.
Por supuesto, las cosas no tienen
necesariamente que pasar de esa manera:
necesariamente que pasar de esa manera:
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
10:32
these are cartoon examples.
182
620701
1753
son ejemplos de muestra.
10:34
But the general point here is important:
183
622454
1939
Pero lo importante,
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
si crean un proceso
de optimización muy potente,
de optimización muy potente,
optimizado para lograr el objetivo X,
10:39
to maximize for objective x,
185
627266
2234
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
más vale asegurarse
de que la definición de X
de que la definición de X
10:43
incorporates everything you care about.
187
631776
2469
incluye todo lo que importa.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Es una moraleja que también
se enseña a través de varios mitos.
se enseña a través de varios mitos.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
El rey Midas deseaba convertir
en oro todo lo que tocaba.
en oro todo lo que tocaba.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Toca a su hija
y ella se convierte en oro.
y ella se convierte en oro.
10:59
He touches his food, it turns into gold.
191
647378
2553
Toca su comida, se convierte en oro.
11:01
This could become practically relevant,
192
649931
2589
Es un ejemplo relevante
11:04
not just as a metaphor for greed,
193
652520
2070
no solo de una metáfora de
la codicia sino como ilustración
la codicia sino como ilustración
11:06
but as an illustration of what happens
194
654590
1895
de lo que sucede si crean
un proceso de optimización potente
un proceso de optimización potente
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
pero le encomiendan objetivos
incomprensibles o sin claridad.
incomprensibles o sin claridad.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Uno puede pensar:
"Si una computadora empieza a poner
electrodos en la cara de la gente
electrodos en la cara de la gente
11:21
we'd just shut it off.
198
669300
2265
bastaría simplemente con apagarla.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
En primer lugar, puede
que no sea tan sencillo
que no sea tan sencillo
si somos dependientes del sistema
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
por ejemplo: ¿dónde está el botón
para apagar Internet?
para apagar Internet?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
En segundo lugar,
¿por qué los chimpancés
¿por qué los chimpancés
no tienen acceso al mismo interruptor
de la humanidad, o los neandertales?
de la humanidad, o los neandertales?
11:37
or the Neanderthals?
202
685747
1551
11:39
They certainly had reasons.
203
687298
2666
Sin duda razones tendrían.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Tenemos un interruptor de apagado,
por ejemplo, aquí mismo.
por ejemplo, aquí mismo.
11:44
(Choking)
205
692759
1554
(Finge estrangulación)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
La razón es que somos
un adversario inteligente;
un adversario inteligente;
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
podemos anticipar amenazas
y planificar en consecuencia,
y planificar en consecuencia,
pero también podría hacerlo
un agente superinteligente,
un agente superinteligente,
11:51
But so could a superintelligent agent,
208
699966
2504
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
y mucho mejor que nosotros.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
El tema es que no debemos confiar
que podemos controlar esta situación.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Y podríamos tratar de hacer nuestro
trabajo un poco más fácil digamos,
trabajo un poco más fácil digamos,
12:08
putting the A.I. in a box,
212
716358
1590
poniendo a la IA en una caja,
en un entorno de software seguro,
en un entorno de software seguro,
12:09
like a secure software environment,
213
717948
1796
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
una simulación de realidad virtual
de la que no pueda escapar.
de la que no pueda escapar.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Pero, ¿cómo podemos estar seguros
de que la IA no encontrará un error?
de que la IA no encontrará un error?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Dado que incluso los hackers humanos
encuentran errores todo el tiempo,
encuentran errores todo el tiempo,
12:22
I'd say, probably not very confident.
217
730081
3036
yo diría que probablemente,
no podemos estar muy seguros.
no podemos estar muy seguros.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Así que desconectamos el cable ethernet
para crear un espacio vacío,
para crear un espacio vacío,
pero una vez más, al igual
que los hackers humanos,
que los hackers humanos,
12:30
but again, like merely human hackers
219
738785
2668
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
podrían superar estos espacios
usando la ingeniería social.
usando la ingeniería social.
Ahora mismo, mientras hablo,
12:36
Right now, as I speak,
221
744834
1259
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
estoy seguro de que algún
empleado, en algún lugar
empleado, en algún lugar
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
ha sido convencido para revelar
los detalles de su cuenta
los detalles de su cuenta
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
por alguien que dice ser
del departamento de IT.
del departamento de IT.
12:46
More creative scenarios are also possible,
225
754574
2127
Otros escenarios creativos
también son posibles,
también son posibles,
12:48
like if you're the A.I.,
226
756701
1315
por ejemplo si Ud. es la IA,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
puede hacer cambios en los electrodos
de su circuito interno de seguridad
de su circuito interno de seguridad
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
para crear ondas de radio y
usarlas para comunicarse.
usarlas para comunicarse.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
O tal vez fingir un mal funcionamiento,
y cuando los programadores
lo abren para entender qué está mal,
lo abren para entender qué está mal,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
al mirar el código fuente, ¡pum!
13:02
they look at the source code -- Bam! --
231
770931
1936
ya empieza a manipular.
13:04
the manipulation can take place.
232
772867
2447
O podría idear un programa
tecnológico realmente ingenioso,
tecnológico realmente ingenioso,
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
y cuando lo implementamos,
13:10
and when we implement it,
234
778744
1398
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
tener efectos secundarios
ocultos planeados por la IA.
ocultos planeados por la IA.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
No debemos confiar en nuestra capacidad
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
para mantener un genio superinteligente
encerrado en su lámpara para siempre.
encerrado en su lámpara para siempre.
13:23
Sooner or later, it will out.
238
791810
2254
Tarde o temprano, saldrá.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Creo que la solución es averiguar
cómo crear una IA superinteligente
cómo crear una IA superinteligente
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
para que incluso si, o cuando
se escape, sea todavía segura
se escape, sea todavía segura
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
para que fundamentalmente esté de
nuestro lado y comparta nuestros valores.
nuestro lado y comparta nuestros valores.
13:38
because it shares our values.
242
806438
1899
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
No veo cómo evitar
este problema difícil.
este problema difícil.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
En realidad soy bastante optimista de
que este problema pueda ser resuelto.
que este problema pueda ser resuelto.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
No tendríamos que escribir una larga
lista de todo lo que nos importa,
lista de todo lo que nos importa,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
o, peor aún, codificarla
en algún lenguaje informático
en algún lenguaje informático
13:55
like C++ or Python,
247
823937
1454
como C++ o Python,
13:57
that would be a task beyond hopeless.
248
825391
2767
sería una reto imposible.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
A cambio, crearíamos una IA
que use su inteligencia
que use su inteligencia
14:04
to learn what we value,
250
832455
2771
para aprender lo que valoramos,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
y su sistema integrado
de motivación sería diseñado
de motivación sería diseñado
para defender nuestros valores
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
y realizar acciones
que se ajusten a ellos.
que se ajusten a ellos.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Así que usaríamos su inteligencia
tanto como fuera posible
tanto como fuera posible
14:21
to solve the problem of value-loading.
254
849152
2745
para resolver el problema
de la atribución de valores.
de la atribución de valores.
14:24
This can happen,
255
852727
1512
Esto puede suceder,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
y el resultado podría ser
muy bueno para la humanidad.
muy bueno para la humanidad.
14:29
But it doesn't happen automatically.
257
857835
3957
Pero no sucede automáticamente.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Las condiciones iniciales
para la explosión de la inteligencia
para la explosión de la inteligencia
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
necesitan ser perfectamente definidas
14:39
if we are to have a controlled detonation.
260
867653
3530
si queremos contar con
una detonación controlada.
una detonación controlada.
Los valores de la IA tienen
que coincidir con los nuestros
que coincidir con los nuestros
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
14:45
not just in the familiar context,
262
873801
1760
no solo en el ámbito familiar,
donde podemos comprobar
fácilmente cómo se comporta,
fácilmente cómo se comporta,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
sino también en todos los nuevos contextos
14:53
in the indefinite future.
265
881233
1557
donde la IA podría encontrarse
en un futuro indefinido.
en un futuro indefinido.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Y también hay algunas cuestiones
esotéricas que habría que resolver:
esotéricas que habría que resolver:
14:59
the exact details of its decision theory,
267
887527
2089
los detalles exactos de
su teoría de la decisión,
su teoría de la decisión,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
cómo manejar la incertidumbre lógica, etc.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Así que los problemas
técnicos que hay que resolver
técnicos que hay que resolver
para hacer este trabajo
parecen muy difíciles
parecen muy difíciles
15:08
look quite difficult --
270
896432
1113
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
--no tan difíciles como crear
una IA superinteligente--
una IA superinteligente--
pero bastante difíciles.
15:12
but fairly difficult.
272
900925
2868
15:15
Here is the worry:
273
903793
1695
Este es la preocupación:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
crear una IA superinteligente
es un reto muy difícil
es un reto muy difícil
15:22
Making superintelligent A.I. that is safe
275
910172
2548
y crear una que sea segura
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
implica desafíos adicionales.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
El riesgo es si alguien encuentra
la manera de superar el primer reto
la manera de superar el primer reto
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
sin resolver el otro desafío
de garantizar la máxima seguridad.
de garantizar la máxima seguridad.
15:34
of ensuring perfect safety.
279
922704
1901
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Así que creo que deberíamos
encontrar una solución
encontrar una solución
15:40
to the control problem in advance,
281
928706
2822
al problema del control por adelantado,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
de modo que esté disponible
para cuando sea necesario.
para cuando sea necesario.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Puede ser que no podamos
resolver por completo
resolver por completo
el problema del control de antemano
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
porque tal vez, algunos elementos
solo pueden ser desarrollados
solo pueden ser desarrollados
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
después de reunir los detalles
técnicos de la IA en cuestión.
técnicos de la IA en cuestión.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Pero cuanto antes solucionemos
el problema del control,
el problema del control,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
mayores serán las probabilidades
de que la transición a la era
de las máquinas inteligentes
de las máquinas inteligentes
16:04
will go well.
288
952766
1540
vaya bien.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Esto me parece algo digno de hacer
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
y puedo imaginar que si
las cosas salen bien,
las cosas salen bien,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
la gente en un millón de años
discutirá nuestro siglo
discutirá nuestro siglo
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
y dirá que posiblemente lo único
que hicimos bien y mereció la pena
que hicimos bien y mereció la pena
fue superar con éxito este reto.
16:22
was to get this thing right.
293
970942
1567
16:24
Thank you.
294
972509
1689
Gracias.
(Aplausos)
16:26
(Applause)
295
974198
2813
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com