ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

Stuart Russell: Cómo la IA puede hacernos mejores personas

Filmed:
1,465,832 views

¿Cómo podemos aprovechar el poder de la inteligencia súper inteligente mientras también evitamos la catástrofe de la toma de control robótica? A medida que avanzamos hacia la creación de máquinas de todo conocimiento, el pionero de la inteligencia artificial Stuart Russell está trabajando en algo un poco diferente: los robots con incertidumbre. Escuche su visión de la IA compatible con humanos que puede resolver problemas usando el sentido común, el altruismo y otros valores humanos.
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

00:12
This is LeeSotavento SedolSedol.
0
712
1552
Este es Lee Sedol.
00:14
LeeSotavento SedolSedol is one of the world'smundo
greatestmejor Go playersjugadores,
1
2288
3997
Lee Sedol es uno de los mejores
jugadores de Go del mundo.
Y está teniendo lo que mis amigos
de Silicon Valley llaman
00:18
and he's havingteniendo what my friendsamigos
in SiliconSilicio ValleyValle call
2
6309
2885
un momento "¡Bendito Dios!".
00:21
a "HolySanto CowVaca" momentmomento --
3
9218
1510
(Risas)
00:22
(LaughterRisa)
4
10752
1073
Un momento en el que nos damos cuenta
00:23
a momentmomento where we realizedarse cuenta de
5
11849
2188
de que la IA está avanzando
mucho más rápido de lo que esperábamos.
00:26
that AIAI is actuallyactualmente progressingprogresando
a lot fasterMás rápido than we expectedesperado.
6
14061
3296
Los humanos han perdido
en el tablero de Go.
00:30
So humanshumanos have lostperdió on the Go boardtablero.
What about the realreal worldmundo?
7
18154
3047
¿Y en el mundo real?
00:33
Well, the realreal worldmundo is much biggermás grande,
8
21225
2100
Bueno, el mundo real es mucho
más grande y complicado
00:35
much more complicatedComplicado than the Go boardtablero.
9
23349
2249
que el tablero de Go.
Es mucho menos visible.
00:37
It's a lot lessMenos visiblevisible,
10
25622
1819
Pero sigue siendo un problema de decisión.
00:39
but it's still a decisiondecisión problemproblema.
11
27465
2038
Y si pensamos en algunas
de las tecnologías que están por venir
00:42
And if we think about some
of the technologiestecnologías
12
30948
2321
00:45
that are comingviniendo down the pikelucio ...
13
33293
1749
Noriko [Arai] mencionó
que las máquinas aún no saben leer,
00:47
NorikoNoriko [AraiArai] mentionedmencionado that readingleyendo
is not yettodavía happeningsucediendo in machinesmáquinas,
14
35738
4335
al menos no comprendiendo,
00:52
at leastmenos with understandingcomprensión.
15
40097
1500
00:53
But that will happenocurrir,
16
41621
1536
pero lo harán, y cuando eso suceda,
00:55
and when that happenssucede,
17
43181
1771
00:56
very soonpronto afterwardsdespués,
18
44976
1187
poco después las máquinas habrán leído
todo lo que la raza humana ha escrito.
00:58
machinesmáquinas will have readleer everything
that the humanhumano racecarrera has ever writtenescrito.
19
46187
4572
01:03
And that will enablehabilitar machinesmáquinas,
20
51850
2030
Eso permitirá a las máquinas,
junto a su habilidad mirar más allá
de lo que pueden los humanos,
01:05
alonga lo largo with the abilitycapacidad to look
furtherpromover aheadadelante than humanshumanos can,
21
53904
2920
como ya hemos visto en el Go,
01:08
as we'venosotros tenemos alreadyya seenvisto in Go,
22
56848
1680
si también tienen acceso
a más información,
01:10
if they alsoademás have accessacceso
to more informationinformación,
23
58552
2164
serán capaces de tomar
mejores decisiones en el mundo real
01:12
they'llellos van a be ablepoder to make better decisionsdecisiones
in the realreal worldmundo than we can.
24
60740
4268
que nosotros.
01:18
So is that a good thing?
25
66792
1606
¿Es eso bueno?
01:21
Well, I hopeesperanza so.
26
69898
2232
Bueno, espero que sí.
01:26
Our entiretodo civilizationcivilización,
everything that we valuevalor,
27
74694
3255
Toda nuestra civilización,
todo lo que valoramos,
01:29
is basedbasado on our intelligenceinteligencia.
28
77973
2068
se basa en nuestra inteligencia.
01:32
And if we had accessacceso
to a lot more intelligenceinteligencia,
29
80065
3694
Y si tuviéramos acceso
a mucha más inteligencia,
01:35
then there's really no limitlímite
to what the humanhumano racecarrera can do.
30
83783
3302
entonces no existirían límites
para lo que la raza humana pueda hacer.
01:40
And I think this could be,
as some people have describeddescrito it,
31
88665
3325
Y creo que este podría ser,
como han dicho algunos,
el mayor acontecimiento
de la historia de la humanidad.
01:44
the biggestmás grande eventevento in humanhumano historyhistoria.
32
92014
2016
01:48
So why are people sayingdiciendo things like this,
33
96665
2829
Entonces, ¿por qué la gente afirma
cosas como esta?
01:51
that AIAI mightpodría spelldeletrear the endfin
of the humanhumano racecarrera?
34
99518
2876
Que la inteligencia artificial podría
significar el fin de la raza humana.
01:55
Is this a newnuevo thing?
35
103438
1659
¿Es esto algo nuevo?
01:57
Is it just ElonElon MuskAlmizcle and BillCuenta GatesPuertas
and StephenStephen HawkingHawking?
36
105121
4110
¿Se trata solo de Elon Musk
y Bill Gates y Stephen Hawking?
02:01
ActuallyActualmente, no. This ideaidea
has been around for a while.
37
109953
3262
En realidad, no. Esta idea no es nueva.
02:05
Here'sAquí está a quotationcotización:
38
113239
1962
He aquí una cita:
02:07
"Even if we could keep the machinesmáquinas
in a subservientsubordinado positionposición,
39
115225
4350
"Incluso si pudiéramos mantener las
máquinas en una posición servil,
02:11
for instanceejemplo, by turningtorneado off the powerpoder
at strategicestratégico momentsmomentos" --
40
119599
2984
por ejemplo, desconectándolas
en momentos estratégicos"
02:14
and I'll come back to that
"turningtorneado off the powerpoder" ideaidea laterluego on --
41
122607
3237
--volveré a esa idea de
"quitar la corriente" más adelante--
02:17
"we should, as a speciesespecies,
feel greatlymuy humbledhumillado."
42
125868
2804
"deberíamos, como especie,
sentirnos humillados".
¿Quién dijo esto?
Este es Alan Turing, en 1951.
02:22
So who said this?
This is AlanAlan TuringTuring in 1951.
43
130177
3448
02:26
AlanAlan TuringTuring, as you know,
is the fatherpadre of computercomputadora scienceciencia
44
134300
2763
Alan Turing, como Uds. saben,
es el padre de la informática
02:29
and in manymuchos waysformas,
the fatherpadre of AIAI as well.
45
137087
3048
y en muchos sentidos
también el padre de la IA.
02:33
So if we think about this problemproblema,
46
141239
1882
Así que si pensamos en este problema,
02:35
the problemproblema of creatingcreando something
more intelligentinteligente than your ownpropio speciesespecies,
47
143145
3787
el problema de crear algo
más inteligente que tu propia especie,
02:38
we mightpodría call this "the gorillagorila problemproblema,"
48
146956
2622
podríamos llamar a esto
"el problema del gorila".
02:42
because gorillas'gorilas ancestorsantepasados did this
a fewpocos millionmillón yearsaños agohace,
49
150345
3750
Porque los antepasados de los gorilas
hicieron esto hace unos millones de años,
02:46
and now we can askpedir the gorillasgorilas:
50
154119
1745
y ahora podríamos
preguntar a los gorilas:
02:48
Was this a good ideaidea?
51
156752
1160
¿Fue una buena idea?
02:49
So here they are havingteniendo a meetingreunión
to discussdiscutir whethersi it was a good ideaidea,
52
157936
3530
Aquí están, reunidos para discutir
si fue una buena idea,
02:53
and after a little while,
they concludeconcluir, no,
53
161490
3346
y pasado un tiempo concluyen que no.
02:56
this was a terribleterrible ideaidea.
54
164860
1345
Fue una idea terrible.
02:58
Our speciesespecies is in direterrible straitsestrecheces.
55
166229
1782
Nuestra especie está en apuros.
03:00
In facthecho, you can see the existentialexistencial
sadnesstristeza in theirsu eyesojos.
56
168538
4263
De hecho, pueden ver
la tristeza existencial en sus ojos.
03:04
(LaughterRisa)
57
172825
1640
(Risas)
03:06
So this queasymareado feelingsensación that makingfabricación
something smartermás inteligente than your ownpropio speciesespecies
58
174489
4840
Así que esta sensación mareante
de que crear algo más inteligente
que tu propia especie
tal vez no sea buena idea...
03:11
is maybe not a good ideaidea --
59
179353
2365
03:14
what can we do about that?
60
182488
1491
¿Qué podemos hacer al respecto?
03:16
Well, really nothing,
exceptexcepto stop doing AIAI,
61
184003
4767
Bueno, nada en realidad,
excepto dejar de hacer IA.
03:20
and because of all
the benefitsbeneficios that I mentionedmencionado
62
188794
2510
Y por todos los beneficios
que he mencionado
03:23
and because I'm an AIAI researcherinvestigador,
63
191328
1716
y porque soy un investigador de IA,
03:25
I'm not havingteniendo that.
64
193068
1791
no voy a tomar eso.
03:27
I actuallyactualmente want to be ablepoder
to keep doing AIAI.
65
195283
2468
Sin duda quiero seguir creando IA.
03:30
So we actuallyactualmente need to nailuña down
the problemproblema a bitpoco more.
66
198615
2678
Así que necesitamos precisar
el problema un poco más.
03:33
What exactlyexactamente is the problemproblema?
67
201317
1371
¿Cuál es el problema?
03:34
Why is better AIAI possiblyposiblemente a catastrophecatástrofe?
68
202712
3246
¿Por qué tener mejor IA
puede ser una catástrofe?
03:39
So here'saquí está anotherotro quotationcotización:
69
207398
1498
Aquí hay otra cita:
03:41
"We had better be quitebastante sure
that the purposepropósito put into the machinemáquina
70
209935
3335
"Más nos vale estar seguros
de que el propósito
que introducimos en la máquina
es el que de verdad deseamos".
03:45
is the purposepropósito whichcual we really desiredeseo."
71
213294
2298
Esto fue dicho por Norbert Wiener en 1960,
03:48
This was said by NorbertNorbert WienerWiener in 1960,
72
216282
3498
poco después de ver a uno de
los primeros sistemas de aprendizaje
03:51
shortlydentro de poco after he watchedmirado
one of the very earlytemprano learningaprendizaje systemssistemas
73
219804
4002
aprender a jugar a las damas
mejor que su creador.
03:55
learnaprender to playjugar checkersjuego de damas
better than its creatorcreador.
74
223830
2583
04:00
But this could equallyIgualmente have been said
75
228602
2683
Pero esto podría haberlo dicho
de igual modo el Rey Midas.
04:03
by KingRey MidasMidas.
76
231309
1167
El Rey Midas dijo, "Deseo que todo
lo que toque se convierta en oro".
04:05
KingRey MidasMidas said, "I want everything
I touchtoque to turngiro to goldoro,"
77
233083
3134
Y obtuvo justo lo que pidió.
04:08
and he got exactlyexactamente what he askedpreguntó for.
78
236241
2473
Fue el propósito que introdujo
en la máquina, por así decirlo.
04:10
That was the purposepropósito
that he put into the machinemáquina,
79
238738
2751
04:13
so to speakhablar,
80
241513
1450
04:14
and then his foodcomida and his drinkbeber
and his relativesparientes turnedconvertido to goldoro
81
242987
3444
Y luego su comida, su bebida
y sus familiares se convirtieron en oro
y murió miserable y muerto de hambre.
04:18
and he diedmurió in miserymiseria and starvationinanición.
82
246455
2281
04:22
So we'llbien call this
"the KingRey MidasMidas problemproblema"
83
250444
2341
Así que llamaremos a esto
"el problema del rey Midas",
04:24
of statingindicando an objectiveobjetivo
whichcual is not, in facthecho,
84
252809
3305
el de indicar un objetivo
que no está realmente
04:28
trulyverdaderamente alignedalineado with what we want.
85
256138
2413
alineado con lo que de verdad queremos.
04:30
In modernmoderno termscondiciones, we call this
"the valuevalor alignmentalineación problemproblema."
86
258575
3253
En términos modernos, lo llamamos
"el problema de alineación de valor".
04:37
PuttingPoniendo in the wrongincorrecto objectiveobjetivo
is not the only partparte of the problemproblema.
87
265047
3485
Introducir un objetivo equivocado
no es la única parte del problema.
04:40
There's anotherotro partparte.
88
268556
1152
Hay otra parte.
04:42
If you put an objectiveobjetivo into a machinemáquina,
89
270160
1943
Al introducir un objetivo en una máquina
04:44
even something as simplesencillo as,
"FetchHa podido recuperar the coffeecafé,"
90
272127
2448
incluso algo tan simple como
"Trae el café",
04:47
the machinemáquina saysdice to itselfsí mismo,
91
275908
1841
la máquina se dice a sí misma,
04:50
"Well, how mightpodría I failfallar
to fetchha podido recuperar the coffeecafé?
92
278733
2623
"¿Cómo podría fallar
yendo a buscar el café?
Alguien podría desconectarme.
04:53
SomeoneAlguien mightpodría switchcambiar me off.
93
281380
1580
Vale, debo tomar medidas para evitarlo.
04:55
OK, I have to take stepspasos to preventevitar that.
94
283645
2387
Desactivaré mi interruptor de 'apagado'.
04:58
I will disableinhabilitar my 'off''apagado' switchcambiar.
95
286056
1906
Haré cualquier cosa para protegerme
de interferencias
05:00
I will do anything to defenddefender myselfmí mismo
againsten contra interferenceinterferencia
96
288534
2959
con este objetivo que me han dado.
05:03
with this objectiveobjetivo
that I have been givendado."
97
291517
2629
Así que esta persecución obsesiva
05:06
So this single-mindedmente única pursuitbúsqueda
98
294170
2012
de un modo muy defensivo
para lograr un objetivo
05:09
in a very defensivedefensivo modemodo
of an objectiveobjetivo that is, in facthecho,
99
297213
2945
que no está alineado
con los verdaderos objetivos
05:12
not alignedalineado with the truecierto objectivesobjetivos
of the humanhumano racecarrera --
100
300182
2814
de la raza humana...
ese es el problema
al que nos enfrentamos.
05:16
that's the problemproblema that we facecara.
101
304122
1862
Y de hecho esa es la lección
más valiosa de esta charla.
05:19
And in facthecho, that's the high-valuealto valor
takeawaypara llevar from this talk.
102
307007
4767
Si quieren recordar una cosa
05:23
If you want to rememberrecuerda one thing,
103
311798
2055
05:25
it's that you can't fetchha podido recuperar
the coffeecafé if you're deadmuerto.
104
313877
2675
es que no se puede ir a buscar
el café si se está muerto.
05:28
(LaughterRisa)
105
316576
1061
(Risas)
05:29
It's very simplesencillo. Just rememberrecuerda that.
RepeatRepetir it to yourselftú mismo threeTres timesveces a day.
106
317661
3829
Es muy simple. Solo recuerden eso.
Repítanlo tres veces al día.
05:33
(LaughterRisa)
107
321514
1821
(Risas)
05:35
And in facthecho, this is exactlyexactamente the plottrama
108
323359
2754
Y de hecho, este es el mismo argumento
05:38
of "2001: [A SpaceEspacio OdysseyOdisea]"
109
326137
2648
de "2001: [Una odisea del espacio]".
05:41
HALHAL has an objectiveobjetivo, a missionmisión,
110
329226
2090
HAL tiene un objetivo, una misión,
05:43
whichcual is not alignedalineado
with the objectivesobjetivos of the humanshumanos,
111
331340
3732
que no está alineada
con los objetivos de los humanos,
05:47
and that leadsconduce to this conflictconflicto.
112
335096
1810
y eso conduce a este conflicto.
05:49
Now fortunatelypor suerte, HALHAL
is not superintelligentsuperinteligente.
113
337494
2969
Por suerte HAL no es superinteligente.
05:52
He's prettybonita smartinteligente,
but eventuallyfinalmente DaveDave outwitsfuera de sí him
114
340487
3587
Es bastante inteligente,
pero llegado el momento,
Dave lo supera y logra apagarlo.
05:56
and managesmaneja to switchcambiar him off.
115
344098
1849
06:01
But we mightpodría not be so luckysuerte.
116
349828
1619
Pero tal vez no tengamos tanta suerte.
06:08
So what are we going to do?
117
356193
1592
Entonces, ¿qué vamos a hacer?
06:12
I'm tryingmolesto to redefineredefinir AIAI
118
360371
2601
Estoy tratando de redefinir la IA
06:14
to get away from this classicalclásico notionnoción
119
362996
2061
para alejarnos de esta noción clásica
06:17
of machinesmáquinas that intelligentlyinteligentemente
pursueperseguir objectivesobjetivos.
120
365081
4567
de máquinas que persiguen objetivos
de manera inteligente.
06:22
There are threeTres principlesprincipios involvedinvolucrado.
121
370712
1798
Hay tres principios implicados.
06:24
The first one is a principleprincipio
of altruismaltruismo, if you like,
122
372534
3289
El primero es un principio
de altruismo, por así decirlo,
06:27
that the robot'srobot only objectiveobjetivo
123
375847
3262
el único objetivo del robot
06:31
is to maximizemaximizar the realizationrealización
of humanhumano objectivesobjetivos,
124
379133
4246
es maximizar la realización
de los objetivos humanos,
06:35
of humanhumano valuesvalores.
125
383403
1390
de los valores humanos.
06:36
And by valuesvalores here I don't mean
touchy-feelysensiblero, goody-goodygoody-goody valuesvalores.
126
384817
3330
Y por valores aquí no me refiero
a valores sentimentales o de bondad.
06:40
I just mean whateverlo que sea it is
that the humanhumano would preferpreferir
127
388171
3787
Solo quiero decir aquello
más similar a la vida
06:43
theirsu life to be like.
128
391982
1343
que un humano preferiría.
06:47
And so this actuallyactualmente violatesviola Asimov'sAsimov lawley
129
395364
2309
Y esto viola la ley de Asimov
de que el robot debe proteger
su propia existencia.
06:49
that the robotrobot has to protectproteger
its ownpropio existenceexistencia.
130
397697
2329
No tiene ningún interés en preservar
su existencia en absoluto.
06:52
It has no interestinteresar in preservingconservación
its existenceexistencia whatsoeverlo que.
131
400050
3723
06:57
The secondsegundo lawley is a lawley
of humilityhumildad, if you like.
132
405420
3768
La segunda ley es una ley
de humildad, digamos.
07:01
And this turnsvueltas out to be really
importantimportante to make robotsrobots safeseguro.
133
409974
3743
Y resulta muy importante
para que los robots sean seguros.
07:05
It saysdice that the robotrobot does not know
134
413741
3142
Dice que el robot no sabe
07:08
what those humanhumano valuesvalores are,
135
416907
2028
cuáles son esos valores humanos,
07:10
so it has to maximizemaximizar them,
but it doesn't know what they are.
136
418959
3178
así que debe maximizarlos,
pero no sabe lo que son.
07:15
And that avoidsevita this problemproblema
of single-mindedmente única pursuitbúsqueda
137
423254
2626
Lo cual evita el problema
de la búsqueda obsesiva
07:17
of an objectiveobjetivo.
138
425904
1212
de un objetivo.
07:19
This uncertaintyincertidumbre turnsvueltas out to be crucialcrucial.
139
427140
2172
Esta incertidumbre resulta crucial.
07:21
Now, in orderorden to be usefulútil to us,
140
429726
1639
Claro que para sernos útiles,
07:23
it has to have some ideaidea of what we want.
141
431389
2731
deben tener alguna idea
de lo que queremos.
07:27
It obtainsobtiene that informationinformación primarilyante todo
by observationobservación of humanhumano choiceselecciones,
142
435223
5427
Obtiene esa información sobre todo
observando elecciones humanas,
07:32
so our ownpropio choiceselecciones revealrevelar informationinformación
143
440674
2801
para que nuestras propias
decisiones revelen información
07:35
about what it is that we preferpreferir
our livesvive to be like.
144
443499
3300
sobre lo que nosotros preferimos
para nuestras vidas.
07:40
So those are the threeTres principlesprincipios.
145
448632
1683
Estos son los tres principios.
07:42
Let's see how that appliesaplica
to this questionpregunta of:
146
450339
2318
Veamos cómo se aplica a esta cuestión
07:44
"Can you switchcambiar the machinemáquina off?"
as TuringTuring suggestedsugirió.
147
452681
2789
de "apagar la máquina",
como sugirió Turing.
07:49
So here'saquí está a PRPR2 robotrobot.
148
457073
2120
He aquí un robot PR2.
Es uno que tenemos
en nuestro laboratorio,
07:51
This is one that we have in our lablaboratorio,
149
459217
1821
07:53
and it has a biggrande redrojo "off" switchcambiar
right on the back.
150
461062
2903
y tiene un gran botón rojo de 'apagado'
en la parte posterior.
07:56
The questionpregunta is: Is it
going to let you switchcambiar it off?
151
464541
2615
La pregunta es: ¿Va a
dejar que lo apaguen?
Si lo hacemos a la manera clásica,
07:59
If we do it the classicalclásico way,
152
467180
1465
08:00
we give it the objectiveobjetivo of, "FetchHa podido recuperar
the coffeecafé, I mustdebe fetchha podido recuperar the coffeecafé,
153
468669
3482
le damos el objetivo de traer
el café. "Debo traer el café.
08:04
I can't fetchha podido recuperar the coffeecafé if I'm deadmuerto,"
154
472175
2580
No puedo traer el café
si estoy muerto".
08:06
so obviouslyobviamente the PRPR2
has been listeningescuchando to my talk,
155
474779
3341
Obviamente el PR2
ha escuchado mi charla,
08:10
and so it saysdice, thereforepor lo tanto,
"I mustdebe disableinhabilitar my 'off''apagado' switchcambiar,
156
478144
3753
y por tanto, decide
"Debo inhabilitar mi botón de 'apagado'".
08:14
and probablyprobablemente taserTaser all the other
people in StarbucksStarbucks
157
482976
2694
"Y probablemente electrocutar
al resto de personas en el Starbucks
08:17
who mightpodría interfereinterferir with me."
158
485694
1560
que podrían interferir".
08:19
(LaughterRisa)
159
487278
2062
(Risas)
08:21
So this seemsparece to be inevitableinevitable, right?
160
489364
2153
Así que esto parece ser
inevitable, ¿verdad?
08:23
This kindtipo of failurefracaso modemodo
seemsparece to be inevitableinevitable,
161
491541
2398
Este tipo de error
parece ser inevitable,
08:25
and it followssigue from havingteniendo
a concretehormigón, definitedefinido objectiveobjetivo.
162
493963
3543
y sucede por tener
un objetivo concreto, definido.
08:30
So what happenssucede if the machinemáquina
is uncertainincierto about the objectiveobjetivo?
163
498812
3144
Entonces, ¿qué pasa si la máquina
no tiene claro el objetivo?
08:33
Well, it reasonsrazones in a differentdiferente way.
164
501980
2127
Bueno, razona de una manera diferente.
08:36
It saysdice, "OK, the humanhumano
mightpodría switchcambiar me off,
165
504131
2424
Dice, "El humano podría desconectarme,
pero solo si hago algo malo.
08:39
but only if I'm doing something wrongincorrecto.
166
507144
1866
08:41
Well, I don't really know what wrongincorrecto is,
167
509747
2475
No tengo claro lo que es malo
pero sé que no quiero hacerlo".
08:44
but I know that I don't want to do it."
168
512246
2044
Ahí están el primer
y el segundo principio.
08:46
So that's the first and secondsegundo
principlesprincipios right there.
169
514314
3010
08:49
"So I should let the humanhumano switchcambiar me off."
170
517348
3359
"Así que debería dejar
que el humano me desconecte".
08:53
And in facthecho you can calculatecalcular
the incentiveincentivo that the robotrobot has
171
521721
3956
De hecho se puede calcular
el incentivo que tiene el robot
para permitir que el humano lo apague.
08:57
to allowpermitir the humanhumano to switchcambiar it off,
172
525701
2493
09:00
and it's directlydirectamente tiedatado to the degreela licenciatura
173
528218
1914
Y está directamente ligado
al grado de incertidumbre
09:02
of uncertaintyincertidumbre about
the underlyingsubyacente objectiveobjetivo.
174
530156
2746
sobre el objetivo subyacente.
Y entonces cuando la máquina está apagada,
09:05
And then when the machinemáquina is switchedcambiado off,
175
533977
2949
09:08
that thirdtercero principleprincipio comesproviene into playjugar.
176
536950
1805
el tercer principio entra en juego.
09:10
It learnsaprende something about the objectivesobjetivos
it should be pursuingperseguir,
177
538779
3062
Aprende algo sobre los objetivos
que debe perseguir,
09:13
because it learnsaprende that
what it did wasn'tno fue right.
178
541865
2533
porque aprende que
lo que hizo no estaba bien.
09:16
In facthecho, we can, with suitableadecuado use
of Greekgriego symbolssímbolos,
179
544422
3570
De hecho, podemos, con el uso adecuado
de los símbolos griegos,
09:20
as mathematiciansmatemáticos usuallygeneralmente do,
180
548016
2131
como suelen hacer los matemáticos,
09:22
we can actuallyactualmente proveprobar a theoremteorema
181
550171
1984
podemos probar un teorema
09:24
that saysdice that suchtal a robotrobot
is provablyProbablemente beneficialbeneficioso to the humanhumano.
182
552179
3553
que dice que tal robot es probablemente
beneficioso para el humano.
09:27
You are provablyProbablemente better off
with a machinemáquina that's designeddiseñado in this way
183
555756
3803
Se está demostrablemente mejor con
una máquina que se diseña de esta manera
09:31
than withoutsin it.
184
559583
1246
que sin ella.
09:33
So this is a very simplesencillo exampleejemplo,
but this is the first steppaso
185
561237
2906
Este es un ejemplo muy simple,
pero este es el primer paso
09:36
in what we're tryingmolesto to do
with human-compatiblecompatible con humanos AIAI.
186
564167
3903
en lo que estamos tratando de hacer
con IA compatible con humanos.
09:42
Now, this thirdtercero principleprincipio,
187
570657
3257
Ahora, este tercer principio,
09:45
I think is the one that you're probablyprobablemente
scratchingrascarse your headcabeza over.
188
573938
3112
es probablemente el que está haciendo
que se rasquen la cabeza.
09:49
You're probablyprobablemente thinkingpensando, "Well,
you know, I behavecomportarse badlymal.
189
577074
3239
Probablemente piensen:
"Yo me comporto mal.
No quiero que mi robot
se comporte como yo.
09:52
I don't want my robotrobot to behavecomportarse like me.
190
580337
2929
Me escabullo en mitad de la noche
y tomo cosas de la nevera,
09:55
I sneakfurtivo down in the middlemedio of the night
and take stuffcosas from the fridgerefrigerador.
191
583290
3434
hago esto y hago aquello".
09:58
I do this and that."
192
586748
1168
Hay todo tipo de cosas que no
quieres que haga el robot.
09:59
There's all kindsclases of things
you don't want the robotrobot doing.
193
587940
2797
Pero lo cierto es que
no funciona así.
10:02
But in facthecho, it doesn't
quitebastante work that way.
194
590761
2071
Solo porque uno se comporte mal
10:04
Just because you behavecomportarse badlymal
195
592856
2155
no significa que el robot
vaya a copiar su comportamiento.
10:07
doesn't mean the robotrobot
is going to copydupdo your behaviorcomportamiento.
196
595035
2623
10:09
It's going to understandentender your motivationsmotivaciones
and maybe help you resistresistir them,
197
597682
3910
Va a entender sus motivaciones
y tal vez a ayudarle a resistirlas,
10:13
if appropriateapropiado.
198
601616
1320
si es apropiado.
10:16
But it's still difficultdifícil.
199
604206
1464
Pero sigue siendo difícil.
10:18
What we're tryingmolesto to do, in facthecho,
200
606302
2545
Lo que estamos tratando
de hacer, de hecho,
10:20
is to allowpermitir machinesmáquinas to predictpredecir
for any personpersona and for any possibleposible life
201
608871
5796
es permitir que las máquinas predigan
para cualquier persona
y para cualquier vida posible
que podrían vivir,
10:26
that they could livevivir,
202
614691
1161
10:27
and the livesvive of everybodytodos elsemás:
203
615876
1597
y las vidas de todos los demás
10:29
WhichCual would they preferpreferir?
204
617497
2517
lo que preferirían.
10:34
And there are manymuchos, manymuchos
difficultiesdificultades involvedinvolucrado in doing this;
205
622061
2954
Y hay muchas, muchas
dificultades ligadas a hacer esto.
10:37
I don't expectesperar that this
is going to get solvedresuelto very quicklycon rapidez.
206
625039
2932
No espero que vaya a resolverse pronto.
10:39
The realreal difficultiesdificultades, in facthecho, are us.
207
627995
2643
Las verdaderas dificultades,
de hecho, somos nosotros.
10:44
As I have alreadyya mentionedmencionado,
we behavecomportarse badlymal.
208
632149
3117
Como ya he mencionado,
nos comportamos mal.
10:47
In facthecho, some of us are downrightcompletamente nastyasqueroso.
209
635290
2321
De hecho, algunos de nosotros
somos francamente desagradables.
10:50
Now the robotrobot, as I said,
doesn't have to copydupdo the behaviorcomportamiento.
210
638431
3052
Como he dicho, el robot
no tiene que copiar el comportamiento.
10:53
The robotrobot does not have
any objectiveobjetivo of its ownpropio.
211
641507
2791
El robot no tiene ningún objetivo propio.
10:56
It's purelypuramente altruisticaltruista.
212
644322
1737
Es puramente altruista.
10:59
And it's not designeddiseñado just to satisfysatisfacer
the desiresdeseos of one personpersona, the userusuario,
213
647293
5221
Y no está diseñado solo para satisfacer
los deseos de una persona, el usuario,
11:04
but in facthecho it has to respectel respeto
the preferencespreferencias of everybodytodos.
214
652538
3138
sino que tiene que respetar
las preferencias de todos.
11:09
So it can dealacuerdo with a certaincierto
amountcantidad of nastinesssuciedad,
215
657263
2570
Así que puede lidiar
con cierta cantidad de maldad,
11:11
and it can even understandentender
that your nastinesssuciedad, for exampleejemplo,
216
659857
3701
e incluso puede entender
que su maldad, por ejemplo...
11:15
you maymayo take bribessobornos as a passportpasaporte officialoficial
217
663582
2671
Ud. puede aceptar sobornos
como controlador de pasaportes
11:18
because you need to feedalimentar your familyfamilia
and sendenviar your kidsniños to schoolcolegio.
218
666277
3812
porque necesita alimentar a su familia
y que sus hijos vayan a la escuela.
11:22
It can understandentender that;
it doesn't mean it's going to stealrobar.
219
670113
2906
Puede entender eso;
no significa que vaya a robar.
11:25
In facthecho, it'llva a just help you
sendenviar your kidsniños to schoolcolegio.
220
673043
2679
De hecho, solo le ayudará
a que sus hijos vayan al colegio.
11:28
We are alsoademás computationallycomputacionalmente limitedlimitado.
221
676976
3012
También estamos limitados
computacionalmente.
11:32
LeeSotavento SedolSedol is a brilliantbrillante Go playerjugador,
222
680012
2505
Lee Sedol es un jugador brillante de Go,
11:34
but he still lostperdió.
223
682541
1325
pero aun así perdió.
11:35
So if we look at his actionscomportamiento,
he tooktomó an actionacción that lostperdió the gamejuego.
224
683890
4239
Si nos fijamos en sus acciones,
tomó una decisión que le hizo perder.
11:40
That doesn't mean he wanted to loseperder.
225
688153
2161
Eso no significa que él quisiera perder.
11:43
So to understandentender his behaviorcomportamiento,
226
691340
2040
Así que para entender su comportamiento,
11:45
we actuallyactualmente have to invertinvertir
throughmediante a modelmodelo of humanhumano cognitioncognición
227
693404
3644
en realidad tenemos que invertir,
a través de un modelo cognitivo humano
11:49
that includesincluye our computationalcomputacional
limitationslimitaciones -- a very complicatedComplicado modelmodelo.
228
697072
4977
que incluye nuestras
limitaciones computacionales,
y se trata de un modelo muy complicado.
11:54
But it's still something
that we can work on understandingcomprensión.
229
702073
2993
Pero es algo en lo que podemos
trabajar para comprender.
Puede que la parte más difícil,
desde mi punto de vista
11:57
ProbablyProbablemente the mostmás difficultdifícil partparte,
from my pointpunto of viewver as an AIAI researcherinvestigador,
230
705876
4320
como investigador de IA,
es el hecho de que hay muchos de nosotros,
12:02
is the facthecho that there are lots of us,
231
710220
2575
12:06
and so the machinemáquina has to somehowde algun modo
tradecomercio off, weighpesar up the preferencespreferencias
232
714294
3581
con lo cual la máquina tiene que sopesar
las preferencias de mucha gente diferente.
12:09
of manymuchos differentdiferente people,
233
717899
2225
12:12
and there are differentdiferente waysformas to do that.
234
720148
1906
Hay diferentes maneras de hacer eso.
12:14
EconomistsEconomistas, sociologistssociólogos,
moralmoral philosophersfilósofos have understoodentendido that,
235
722078
3689
Economistas, sociólogos,
filósofos morales han comprendido esto
12:17
and we are activelyactivamente
looking for collaborationcolaboración.
236
725791
2455
y estamos buscando
colaboración de manera activa.
12:20
Let's have a look and see what happenssucede
when you get that wrongincorrecto.
237
728270
3251
Vamos a ver lo que sucede
cuando esto se hace mal.
12:23
So you can have
a conversationconversacion, for exampleejemplo,
238
731545
2133
Ud. puede estar hablando, por ejemplo,
12:25
with your intelligentinteligente personalpersonal assistantasistente
239
733702
1944
con su asistente personal inteligente
12:27
that mightpodría be availabledisponible
in a fewpocos years'años' time.
240
735670
2285
que podría estar disponible
dentro de unos años.
12:29
Think of a SiriSiri on steroidsesteroides.
241
737979
2524
Piensen en Siri con esteroides.
12:33
So SiriSiri saysdice, "Your wifeesposa calledllamado
to remindrecordar you about dinnercena tonightesta noche."
242
741627
4322
Siri dice "Su esposa llamó para
recordarle la cena de esta noche".
12:38
And of coursecurso, you've forgottenolvidado.
"What? What dinnercena?
243
746616
2508
Por supuesto, lo había olvidado.
¿Qué cena? ¿De qué está hablando?
12:41
What are you talkinghablando about?"
244
749148
1425
12:42
"Uh, your 20thth anniversaryaniversario at 7pmpm."
245
750597
3746
"Su 20 aniversario, a las 7pm".
"No puedo, me reúno con el
secretario general a las 7:30.
12:48
"I can't do that. I'm meetingreunión
with the secretary-generalsecretario general at 7:30.
246
756915
3719
¿Cómo ha podido suceder esto?".
12:52
How could this have happenedsucedió?"
247
760658
1692
12:54
"Well, I did warnadvertir you, but you overrodeoverrode
my recommendationrecomendación."
248
762374
4660
"Bueno, le advertí, pero ignoró
mi recomendación".
"¿Qué voy a hacer? No puedo decirles
que estoy demasiado ocupado".
13:00
"Well, what am I going to do?
I can't just tell him I'm too busyocupado."
249
768146
3328
"No se preocupe, he hecho
que su avión se retrase".
13:04
"Don't worrypreocupación. I arrangedarreglado
for his planeavión to be delayedretrasado."
250
772490
3281
13:07
(LaughterRisa)
251
775795
1682
(Risas)
13:10
"Some kindtipo of computercomputadora malfunctionmal funcionamiento."
252
778249
2101
"Algún tipo de error en el ordenador".
13:12
(LaughterRisa)
253
780374
1212
(Risas)
13:13
"Really? You can do that?"
254
781610
1617
"¿En serio? ¿Puede hacer eso?".
13:16
"He sendsenvía his profoundprofundo apologiesdisculpas
255
784400
2179
"Le envía sinceras disculpas
13:18
and looksmiradas forwardadelante to meetingreunión you
for lunchalmuerzo tomorrowmañana."
256
786603
2555
y espera poder conocerle
mañana para el almuerzo".
13:21
(LaughterRisa)
257
789182
1299
(Risas)
13:22
So the valuesvalores here --
there's a slightleve mistakeError going on.
258
790505
4403
Así que los valores aquí...
aquí hay un pequeño fallo.
13:26
This is clearlyclaramente followingsiguiendo my wife'sesposa valuesvalores
259
794932
3009
Claramente está siguiendo
los valores de mi esposa
13:29
whichcual is "HappyContento wifeesposa, happycontento life."
260
797965
2069
que son "esposa feliz, vida feliz".
13:32
(LaughterRisa)
261
800058
1583
(Risas)
13:33
It could go the other way.
262
801665
1444
Podría suceder al revés.
Podría llegar a casa
tras un duro día de trabajo,
13:35
You could come home
after a harddifícil day'sdias work,
263
803821
2201
13:38
and the computercomputadora saysdice, "Long day?"
264
806046
2195
y el ordenador dice "¿Un día duro?".
13:40
"Yes, I didn't even have time for lunchalmuerzo."
265
808265
2288
"Sí, ni tuve tiempo de almorzar".
"Debe tener mucha hambre".
13:42
"You mustdebe be very hungryhambriento."
266
810577
1282
13:43
"StarvingMuriendo de hambre, yeah.
Could you make some dinnercena?"
267
811883
2646
"Me muero de hambre, sí,
¿podría preparar algo de cena?".
13:48
"There's something I need to tell you."
268
816070
2090
"Hay algo que necesito decirle".
13:50
(LaughterRisa)
269
818184
1155
(Risas)
13:52
"There are humanshumanos in SouthSur SudanSudán
who are in more urgenturgente need than you."
270
820193
4905
"Hay humanos en Sudán del Sur
más necesitados que Ud.".
13:57
(LaughterRisa)
271
825122
1104
(Risas)
13:58
"So I'm leavingdejando. Make your ownpropio dinnercena."
272
826250
2075
"Así que me voy, hágase su propia cena".
14:00
(LaughterRisa)
273
828349
2000
(Risas)
Así que tenemos que
resolver estos problemas,
14:02
So we have to solveresolver these problemsproblemas,
274
830823
1739
14:04
and I'm looking forwardadelante
to workingtrabajando on them.
275
832586
2515
y tengo ganas de trabajar en ellos.
14:07
There are reasonsrazones for optimismoptimismo.
276
835125
1843
Hay razones para ser optimistas.
14:08
One reasonrazón is,
277
836992
1159
Una razón es que hay
gran cantidad de datos
14:10
there is a massivemasivo amountcantidad of datadatos.
278
838175
1868
14:12
Because rememberrecuerda -- I said
they're going to readleer everything
279
840067
2794
Recuerden, leerán todo lo que
la raza humana ha escrito.
14:14
the humanhumano racecarrera has ever writtenescrito.
280
842885
1546
La mayoría de lo que escribimos
trata sobre humanos haciendo cosas
14:16
MostMás of what we writeescribir about
is humanhumano beingsseres doing things
281
844455
2724
y cómo estas molestan a otras personas.
14:19
and other people gettingconsiguiendo upsettrastornado about it.
282
847203
1914
14:21
So there's a massivemasivo amountcantidad
of datadatos to learnaprender from.
283
849141
2398
Así que hay muchos datos
de los que aprender.
14:23
There's alsoademás a very
strongfuerte economiceconómico incentiveincentivo
284
851563
2236
También hay un fuerte incentivo económico
para que esto funcione bien.
14:27
to get this right.
285
855331
1186
Imagine que su robot
doméstico está en casa
14:28
So imagineimagina your domesticnacional robot'srobot at home.
286
856541
2001
Ud. llega tarde del trabajo,
14:30
You're latetarde from work again
and the robotrobot has to feedalimentar the kidsniños,
287
858566
3067
el robot tiene que dar
de comer a los niños,
14:33
and the kidsniños are hungryhambriento
and there's nothing in the fridgerefrigerador.
288
861657
2823
los niños tienen hambre
y no hay nada en la nevera.
14:36
And the robotrobot seesve the catgato.
289
864504
2605
Y el robot ve al gato.
14:39
(LaughterRisa)
290
867133
1692
(Risas)
14:40
And the robotrobot hasn'tno tiene quitebastante learnedaprendido
the humanhumano valuevalor functionfunción properlycorrectamente,
291
868849
4190
Y el robot no ha aprendido del todo bien
la función del valor humano
por lo que no entiende
14:45
so it doesn't understandentender
292
873063
1251
14:46
the sentimentalsentimental valuevalor of the catgato outweighssupera
the nutritionalnutricional valuevalor of the catgato.
293
874338
4844
que el valor sentimental del gato supera
el valor nutricional del gato.
(Risas)
14:51
(LaughterRisa)
294
879206
1095
Entonces, ¿qué pasa?
14:52
So then what happenssucede?
295
880325
1748
Bueno, sucede lo siguiente:
14:54
Well, it happenssucede like this:
296
882097
3297
14:57
"DerangedTrastornado robotrobot cookscocineros kittybote
for familyfamilia dinnercena."
297
885418
2964
"Robot desquiciado cocina a un gatito
para la cena familiar".
15:00
That one incidentincidente would be the endfin
of the domesticnacional robotrobot industryindustria.
298
888406
4523
Ese único incidente acabaría
con la industria de robots domésticos.
15:04
So there's a hugeenorme incentiveincentivo
to get this right
299
892953
3372
Así que hay un gran incentivo
para hacer esto bien.
15:08
long before we reachalcanzar
superintelligentsuperinteligente machinesmáquinas.
300
896349
2715
mucho antes de llegar
a las máquinas superinteligentes.
15:12
So to summarizeresumir:
301
900128
1535
Así que para resumir:
15:13
I'm actuallyactualmente tryingmolesto to changecambio
the definitiondefinición of AIAI
302
901687
2881
Estoy intentando cambiar
la definición de IA
15:16
so that we have provablyProbablemente
beneficialbeneficioso machinesmáquinas.
303
904592
2993
para que tengamos máquinas
demostrablemente beneficiosas.
15:19
And the principlesprincipios are:
304
907609
1222
Y los principios son:
15:20
machinesmáquinas that are altruisticaltruista,
305
908855
1398
Máquinas que son altruistas,
15:22
that want to achievelograr only our objectivesobjetivos,
306
910277
2804
que desean lograr solo nuestros objetivos,
pero que no están seguras
de cuáles son esos objetivos
15:25
but that are uncertainincierto
about what those objectivesobjetivos are,
307
913105
3116
y nos observarán a todos
15:28
and will watch all of us
308
916245
1998
15:30
to learnaprender more about what it is
that we really want.
309
918267
3203
para aprender qué es
lo que realmente queremos.
15:34
And hopefullyOjalá in the processproceso,
we will learnaprender to be better people.
310
922373
3559
Y con suerte, en el proceso,
aprenderemos a ser mejores personas.
15:37
Thank you very much.
311
925956
1191
Muchas gracias.
15:39
(ApplauseAplausos)
312
927171
3709
(Aplausos)
Chris Anderson: Muy interesante, Stuart.
15:42
ChrisChris AndersonAnderson: So interestinginteresante, StuartStuart.
313
930904
1868
15:44
We're going to standestar here a bitpoco
because I think they're settingajuste up
314
932796
3170
Vamos a estar aquí un poco
porque creo que están preparando
a nuestro próximo orador.
15:47
for our nextsiguiente speakeraltavoz.
315
935990
1151
15:49
A couplePareja of questionspreguntas.
316
937165
1538
Un par de preguntas.
15:50
So the ideaidea of programmingprogramación in ignoranceignorancia
seemsparece intuitivelyintuitivamente really powerfulpoderoso.
317
938727
5453
La idea de programar ignorancia
parece intuitivamente muy poderosa.
Al llegar a la superinteligencia,
15:56
As you get to superintelligencesuperinteligencia,
318
944204
1594
15:57
what's going to stop a robotrobot
319
945822
2258
¿qué puede impedir que un robot
16:00
readingleyendo literatureliteratura and discoveringdescubriendo
this ideaidea that knowledgeconocimiento
320
948104
2852
lea literatura y descubra esta idea
de que el conocimiento
es mejor que la ignorancia,
16:02
is actuallyactualmente better than ignoranceignorancia
321
950980
1572
16:04
and still just shiftingcambiando its ownpropio goalsmetas
and rewritingreescribiendo that programmingprogramación?
322
952576
4218
cambiando sus propios objetivos
y reescribiendo su programación?
16:09
StuartStuart RussellRussell: Yes, so we want
it to learnaprender more, as I said,
323
957692
6356
Stuart Russell: Queremos
que aprenda más, como he dicho,
sobre nuestros objetivos.
16:16
about our objectivesobjetivos.
324
964072
1287
16:17
It'llVa a only becomevolverse more certaincierto
as it becomesse convierte more correctcorrecto,
325
965383
5521
Solo ganará seguridad
cuanto más acierte.
16:22
so the evidenceevidencia is there
326
970928
1945
La evidencia estará ahí,
16:24
and it's going to be designeddiseñado
to interpretinterpretar it correctlycorrectamente.
327
972897
2724
y estará diseñado para
interpretarla adecuadamente.
16:27
It will understandentender, for exampleejemplo,
that bookslibros are very biasedparcial
328
975645
3956
Comprenderá, por ejemplo,
que los libros son muy sesgados
en la evidencia que contienen.
16:31
in the evidenceevidencia they containContiene.
329
979625
1483
16:33
They only talk about kingsreyes and princespríncipes
330
981132
2397
Solo hablan de reyes y príncipes
16:35
and eliteélite whiteblanco malemasculino people doing stuffcosas.
331
983553
2800
y hombres blancos poderosos
haciendo cosas.
16:38
So it's a complicatedComplicado problemproblema,
332
986377
2096
Es un problema complicado,
pero conforme aprenda más
sobre nuestros objetivos
16:40
but as it learnsaprende more about our objectivesobjetivos
333
988497
3872
será cada vez más útil
para nosotros.
16:44
it will becomevolverse more and more usefulútil to us.
334
992393
2063
16:46
CACalifornia: And you couldn'tno pudo
just boilhervir it down to one lawley,
335
994480
2526
CA: Y no podría reducirse a una ley,
16:49
you know, hardwiredcableado in:
336
997030
1650
ya sabe, grabada a fuego,
16:50
"if any humanhumano ever triesintentos to switchcambiar me off,
337
998704
3293
"Si un humano alguna vez
intenta apagarme
yo obedezco, obedezco".
16:54
I complycumplir. I complycumplir."
338
1002021
1935
16:55
SRSR: AbsolutelyAbsolutamente not.
339
1003980
1182
SR: Absolutamente no.
16:57
That would be a terribleterrible ideaidea.
340
1005186
1499
Sería una idea terrible.
16:58
So imagineimagina that you have
a self-drivingconducción autónoma carcoche
341
1006709
2689
Imagine, tiene un auto que se conduce solo
17:01
and you want to sendenviar your five-year-oldcinco años de edad
342
1009422
2433
y quiere llevar a su hijo de cinco años
al jardín de infancia.
17:03
off to preschoolpreescolar.
343
1011879
1174
¿Quiere que su hijo de cinco años pueda
apagar el coche mientras conduce?
17:05
Do you want your five-year-oldcinco años de edad
to be ablepoder to switchcambiar off the carcoche
344
1013077
3101
17:08
while it's drivingconducción alonga lo largo?
345
1016202
1213
Probablemente no.
17:09
ProbablyProbablemente not.
346
1017439
1159
Por tanto necesita entender
cuán racional y sensata es la persona.
17:10
So it needsnecesariamente to understandentender how rationalracional
and sensiblesensato the personpersona is.
347
1018622
4703
17:15
The more rationalracional the personpersona,
348
1023349
1676
Cuanto más racional sea la persona,
17:17
the more willingcomplaciente you are
to be switchedcambiado off.
349
1025049
2103
más dispuesto estará
a dejar que lo apaguen.
Si la persona es impredecible
o incluso malintencionada
17:19
If the personpersona is completelycompletamente
randomaleatorio or even maliciousmalicioso,
350
1027176
2543
17:21
then you're lessMenos willingcomplaciente
to be switchedcambiado off.
351
1029743
2512
estará menos dispuesto
a permitir que lo apaguen.
CA: Stuart, permítame decir
17:24
CACalifornia: All right. StuartStuart, can I just say,
352
1032279
1866
que de veras espero que resuelva esto
por todos nosotros.
17:26
I really, really hopeesperanza you
figurefigura this out for us.
353
1034169
2314
Muchas gracias por su charla.
Ha sido increíble, gracias.
17:28
Thank you so much for that talk.
That was amazingasombroso.
354
1036507
2375
17:30
SRSR: Thank you.
355
1038906
1167
(Aplausos)
17:32
(ApplauseAplausos)
356
1040097
1837
Translated by Denise R Quivu
Reviewed by Marta Palacio

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com