Stuart Russell: 3 principles for creating safer AI
Stuart Russell: Cómo la IA puede hacernos mejores personas
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
greatest Go players,
jugadores de Go del mundo.
de Silicon Valley llaman
in Silicon Valley call
mucho más rápido de lo que esperábamos.
a lot faster than we expected.
en el tablero de Go.
What about the real world?
más grande y complicado
de las tecnologías que están por venir
of the technologies
que las máquinas aún no saben leer,
is not yet happening in machines,
todo lo que la raza humana ha escrito.
that the human race has ever written.
de lo que pueden los humanos,
further ahead than humans can,
a más información,
to more information,
mejores decisiones en el mundo real
in the real world than we can.
everything that we value,
todo lo que valoramos,
to a lot more intelligence,
a mucha más inteligencia,
to what the human race can do.
para lo que la raza humana pueda hacer.
as some people have described it,
como han dicho algunos,
de la historia de la humanidad.
cosas como esta?
of the human race?
significar el fin de la raza humana.
and Stephen Hawking?
y Bill Gates y Stephen Hawking?
has been around for a while.
in a subservient position,
máquinas en una posición servil,
at strategic moments" --
en momentos estratégicos"
"turning off the power" idea later on --
"quitar la corriente" más adelante--
feel greatly humbled."
sentirnos humillados".
Este es Alan Turing, en 1951.
This is Alan Turing in 1951.
is the father of computer science
es el padre de la informática
the father of AI as well.
también el padre de la IA.
more intelligent than your own species,
más inteligente que tu propia especie,
"el problema del gorila".
a few million years ago,
hicieron esto hace unos millones de años,
preguntar a los gorilas:
to discuss whether it was a good idea,
si fue una buena idea,
they conclude, no,
sadness in their eyes.
la tristeza existencial en sus ojos.
something smarter than your own species
de que crear algo más inteligente
tal vez no sea buena idea...
except stop doing AI,
excepto dejar de hacer IA.
the benefits that I mentioned
que he mencionado
to keep doing AI.
the problem a bit more.
el problema un poco más.
puede ser una catástrofe?
that the purpose put into the machine
de que el propósito
es el que de verdad deseamos".
los primeros sistemas de aprendizaje
one of the very early learning systems
mejor que su creador.
better than its creator.
de igual modo el Rey Midas.
lo que toque se convierta en oro".
I touch to turn to gold,"
en la máquina, por así decirlo.
that he put into the machine,
and his relatives turned to gold
y sus familiares se convirtieron en oro
"the King Midas problem"
"el problema del rey Midas",
which is not, in fact,
que no está realmente
"the value alignment problem."
"el problema de alineación de valor".
is not the only part of the problem.
no es la única parte del problema.
"Fetch the coffee,"
"Trae el café",
to fetch the coffee?
yendo a buscar el café?
de interferencias
against interference
that I have been given."
para lograr un objetivo
of an objective that is, in fact,
con los verdaderos objetivos
of the human race --
al que nos enfrentamos.
más valiosa de esta charla.
takeaway from this talk.
the coffee if you're dead.
el café si se está muerto.
Repeat it to yourself three times a day.
Repítanlo tres veces al día.
with the objectives of the humans,
con los objetivos de los humanos,
is not superintelligent.
but eventually Dave outwits him
pero llegado el momento,
pursue objectives.
de manera inteligente.
of altruism, if you like,
de altruismo, por así decirlo,
of human objectives,
de los objetivos humanos,
touchy-feely, goody-goody values.
a valores sentimentales o de bondad.
that the human would prefer
más similar a la vida
su propia existencia.
its own existence.
su existencia en absoluto.
its existence whatsoever.
of humility, if you like.
de humildad, digamos.
important to make robots safe.
para que los robots sean seguros.
but it doesn't know what they are.
pero no sabe lo que son.
of single-minded pursuit
de la búsqueda obsesiva
de lo que queremos.
by observation of human choices,
observando elecciones humanas,
decisiones revelen información
our lives to be like.
para nuestras vidas.
to this question of:
as Turing suggested.
como sugirió Turing.
en nuestro laboratorio,
right on the back.
en la parte posterior.
going to let you switch it off?
dejar que lo apaguen?
the coffee, I must fetch the coffee,
el café. "Debo traer el café.
si estoy muerto".
has been listening to my talk,
ha escuchado mi charla,
"I must disable my 'off' switch,
people in Starbucks
al resto de personas en el Starbucks
inevitable, ¿verdad?
seems to be inevitable,
parece ser inevitable,
a concrete, definite objective.
un objetivo concreto, definido.
is uncertain about the objective?
no tiene claro el objetivo?
might switch me off,
pero solo si hago algo malo.
pero sé que no quiero hacerlo".
y el segundo principio.
principles right there.
que el humano me desconecte".
the incentive that the robot has
el incentivo que tiene el robot
al grado de incertidumbre
the underlying objective.
it should be pursuing,
que debe perseguir,
what it did wasn't right.
lo que hizo no estaba bien.
of Greek symbols,
de los símbolos griegos,
is provably beneficial to the human.
beneficioso para el humano.
with a machine that's designed in this way
una máquina que se diseña de esta manera
but this is the first step
pero este es el primer paso
with human-compatible AI.
con IA compatible con humanos.
scratching your head over.
que se rasquen la cabeza.
you know, I behave badly.
"Yo me comporto mal.
se comporte como yo.
y tomo cosas de la nevera,
and take stuff from the fridge.
quieres que haga el robot.
you don't want the robot doing.
no funciona así.
quite work that way.
vaya a copiar su comportamiento.
is going to copy your behavior.
and maybe help you resist them,
y tal vez a ayudarle a resistirlas,
de hacer, de hecho,
for any person and for any possible life
para cualquier persona
que podrían vivir,
difficulties involved in doing this;
dificultades ligadas a hacer esto.
is going to get solved very quickly.
de hecho, somos nosotros.
we behave badly.
nos comportamos mal.
somos francamente desagradables.
doesn't have to copy the behavior.
no tiene que copiar el comportamiento.
any objective of its own.
the desires of one person, the user,
los deseos de una persona, el usuario,
the preferences of everybody.
las preferencias de todos.
amount of nastiness,
con cierta cantidad de maldad,
that your nastiness, for example,
que su maldad, por ejemplo...
como controlador de pasaportes
and send your kids to school.
y que sus hijos vayan a la escuela.
it doesn't mean it's going to steal.
no significa que vaya a robar.
send your kids to school.
a que sus hijos vayan al colegio.
computacionalmente.
he took an action that lost the game.
tomó una decisión que le hizo perder.
through a model of human cognition
a través de un modelo cognitivo humano
limitations -- a very complicated model.
limitaciones computacionales,
that we can work on understanding.
trabajar para comprender.
desde mi punto de vista
from my point of view as an AI researcher,
trade off, weigh up the preferences
moral philosophers have understood that,
filósofos morales han comprendido esto
looking for collaboration.
colaboración de manera activa.
when you get that wrong.
cuando esto se hace mal.
a conversation, for example,
in a few years' time.
dentro de unos años.
to remind you about dinner tonight."
recordarle la cena de esta noche".
"What? What dinner?
¿Qué cena? ¿De qué está hablando?
secretario general a las 7:30.
with the secretary-general at 7:30.
my recommendation."
mi recomendación".
que estoy demasiado ocupado".
I can't just tell him I'm too busy."
que su avión se retrase".
for his plane to be delayed."
for lunch tomorrow."
mañana para el almuerzo".
there's a slight mistake going on.
aquí hay un pequeño fallo.
los valores de mi esposa
tras un duro día de trabajo,
after a hard day's work,
Could you make some dinner?"
¿podría preparar algo de cena?".
who are in more urgent need than you."
más necesitados que Ud.".
resolver estos problemas,
to working on them.
gran cantidad de datos
they're going to read everything
la raza humana ha escrito.
trata sobre humanos haciendo cosas
is human beings doing things
of data to learn from.
de los que aprender.
strong economic incentive
doméstico está en casa
and the robot has to feed the kids,
de comer a los niños,
and there's nothing in the fridge.
y no hay nada en la nevera.
the human value function properly,
la función del valor humano
the nutritional value of the cat.
el valor nutricional del gato.
for family dinner."
para la cena familiar".
of the domestic robot industry.
con la industria de robots domésticos.
to get this right
para hacer esto bien.
superintelligent machines.
a las máquinas superinteligentes.
the definition of AI
la definición de IA
beneficial machines.
demostrablemente beneficiosas.
de cuáles son esos objetivos
about what those objectives are,
that we really want.
lo que realmente queremos.
we will learn to be better people.
aprenderemos a ser mejores personas.
because I think they're setting up
porque creo que están preparando
seems intuitively really powerful.
parece intuitivamente muy poderosa.
this idea that knowledge
de que el conocimiento
and rewriting that programming?
y reescribiendo su programación?
it to learn more, as I said,
que aprenda más, como he dicho,
as it becomes more correct,
cuanto más acierte.
to interpret it correctly.
interpretarla adecuadamente.
that books are very biased
que los libros son muy sesgados
haciendo cosas.
sobre nuestros objetivos
para nosotros.
just boil it down to one law,
intenta apagarme
a self-driving car
al jardín de infancia.
apagar el coche mientras conduce?
to be able to switch off the car
cuán racional y sensata es la persona.
and sensible the person is.
to be switched off.
a dejar que lo apaguen.
o incluso malintencionada
random or even malicious,
to be switched off.
a permitir que lo apaguen.
por todos nosotros.
figure this out for us.
Ha sido increíble, gracias.
That was amazing.
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com