Stuart Russell: 3 principles for creating safer AI
Stuart Russell: Como a Inteligência Artificial pode nos tornar pessoas melhores
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
greatest Go players,
jogadores de Go do mundo,
in Silicon Valley call
do Vale do Silício
a lot faster than we expected.
muito mais rápido do que esperávamos.
What about the real world?
do que o tabuleiro de Go.
mas ainda é um problema de decisão.
of the technologies
das tecnologias que estão surgindo...
is not yet happening in machines,
ainda não acontece nos computadores,
terão lido tudo que o homem tiver escrito.
that the human race has ever written.
further ahead than humans can,
mais adiante do que o homem,
to more information,
a mais informação,
in the real world than we can.
melhores no mundo real do que nós.
everything that we value,
tudo o que valorizamos,
to a lot more intelligence,
a muito mais informações,
to what the human race can do.
as some people have described it,
Aproveite sua viagem.]
dizem coisas como esta,
of the human race?
do fim da raça humana?
and Stephen Hawking?
Bill Gates e Stephen Hawking?
has been around for a while.
está por aí há algum tempo.
in a subservient position,
os computadores em posição submissa,
at strategic moments" --
em momentos estratégicos",
de "desligar a energia",
"turning off the power" idea later on --
nos sentir muito humilhados".
feel greatly humbled."
This is Alan Turing in 1951.
is the father of computer science
é o pai da informática
the father of AI as well.
more intelligent than your own species,
do que a própria espécie,
de "problema do gorila",
a few million years ago,
fizeram isso há milhões de anos,
to discuss whether it was a good idea,
para discutir se foi uma boa ideia,
they conclude, no,
sadness in their eyes.
existencial nos olhos deles.
something smarter than your own species
mais inteligente do que a própria espécie
except stop doing AI,
a não ser parar de fazer IA,
the benefits that I mentioned
os benefícios que mencionei
não permitirei isso.
to keep doing AI.
the problem a bit more.
que decidir sobre o problema.
that the purpose put into the machine
de que a missão passada ao computador
one of the very early learning systems
um dos sistemas de aprendizagem
better than its creator.
melhor do que seu criador.
I touch to turn to gold,"
que tudo o que eu tocar vire ouro",
that he put into the machine,
and his relatives turned to gold
e seus parentes se transformaram em ouro,
"the King Midas problem"
which is not, in fact,
com aquilo que queremos.
"the value alignment problem."
de "problema de alinhamento de valor".
is not the only part of the problem.
não é a única parte do problema.
"Fetch the coffee,"
como "Traga o café",
to fetch the coffee?
para evitar isso.
against interference
contra interferências
that I have been given."
of an objective that is, in fact,
de uma missão que não está,
of the human race --
objetivos do homem,
takeaway from this talk.
a conclusão valiosa desta palestra.
the coffee if you're dead.
o café se estiverem mortos.
Repeat it to yourself three times a day.
Repitam a si mesmos três vezes ao dia.
de "2001: Uma Odisseia no Espaço".
with the objectives of the humans,
aos objetivos do homem,
is not superintelligent.
but eventually Dave outwits him
é mais esperto do que ele no final
mas não posso fazer isso.]
a Inteligência Artificial
pursue objectives.
aos objetivos de forma inteligente.
of altruism, if you like,
of human objectives,
de objetivos do homem,
touchy-feely, goody-goody values.
a valores morais, sentimentais.
that the human would prefer
prefere que seja sua vida.
its own existence.
deve proteger sua existência.
sua existência de forma alguma.
its existence whatsoever.
of humility, if you like.
important to make robots safe.
para fazer com que os robôs sejam seguros.
quais são esses valores humanos.
but it doesn't know what they are.
mas não sabe quais são eles.
of single-minded pursuit
determinada por um objetivo.
ter uma ideia do que queremos.
by observation of human choices,
pela observação das escolhas humanas.
revelam informação
our lives to be like.
que sejam nossas vidas.
se aplica a esta questão:
to this question of:
as Turing suggested.
como sugeriu Turing.
que temos em nosso laboratório,
right on the back.
liga e desliga vermelho nas costas.
going to let you switch it off?
damos a ele a missão
the coffee, I must fetch the coffee,
se eu estiver morto".
has been listening to my talk,
ouvindo minha conversa,
"I must disable my 'off' switch,
meu botão liga e desliga,
people in Starbucks
do Starbucks que mexerem comigo".
seems to be inevitable,
parece inevitável,
a concrete, definite objective.
concreto, definido.
is uncertain about the objective?
não tem certeza do objetivo?
might switch me off,
mas sei que não quero fazer isso".
e o segundo princípios.
principles right there.
o homem me desligar".
the incentive that the robot has
o homem desligá-lo,
de incerteza sobre o objetivo fundamental.
the underlying objective.
o terceiro princípio entra em campo.
aos quais deveria se dedicar
it should be pursuing,
what it did wasn't right.
of Greek symbols,
de símbolos gregos,
is provably beneficial to the human.
é provavelmente benéfico ao homem.
with a machine that's designed in this way
com um computador projetado desta forma
but this is the first step
mas é o primeiro passo
with human-compatible AI.
com IA compatível com o homem.
scratching your head over.
coçando a cabeça.
"Bem, sabe, eu me comportei mal.
you know, I behave badly.
se comporte como eu.
and take stuff from the fridge.
e pego coisas da geladeira.
não quer que o robô faça.
you don't want the robot doing.
quite work that way.
is going to copy your behavior.
irá copiar seu comportamento.
e talvez ajudá-lo a resistir a elas,
and maybe help you resist them,
for any person and for any possible life
prevejam para qualquer pessoa
e a vida de todos os demais:
difficulties involved in doing this;
envolvidas para fazer isso.
resolvido muito rapidamente.
is going to get solved very quickly.
na verdade, somos nós.
we behave badly.
nós nos comportamos mal.
doesn't have to copy the behavior.
não tem que copiar o comportamento.
any objective of its own.
the desires of one person, the user,
os desejos de uma pessoa, o consumidor,
the preferences of everybody.
as preferências de todos.
amount of nastiness,
that your nastiness, for example,
suborno como funcionário público
and send your kids to school.
e pagar a escola dos seus filhos.
it doesn't mean it's going to steal.
Não significa que ele irá roubar.
send your kids to school.
a escola de seus filhos.
mas ele ainda perde.
he took an action that lost the game.
vemos que uma delas o fez perder o jogo.
through a model of human cognition
pelo modelo de conhecimento humano
limitations -- a very complicated model.
um modelo muito complexo.
that we can work on understanding.
trabalhar para compreender.
from my point of view as an AI researcher,
de vista como pesquisador de IA,
trade off, weigh up the preferences
trocar, considerar as preferências
moral philosophers have understood that,
filósofos morais entenderam isso,
looking for collaboration.
ativamente por colaboração.
when you get that wrong.
quando você interpreta isso mal.
a conversation, for example,
com seu assistente pessoal inteligente
daqui a alguns anos.
in a few years' time.
to remind you about dinner tonight."
para lembrá-lo do jantar de hoje à noite",
"What? What dinner?
Que jantar? Do que você está falando?"
with the secretary-general at 7:30.
com o secretário geral às 19h30.
my recommendation."
minha recomendação."
I can't just tell him I'm too busy."
que estou muito ocupado."
for his plane to be delayed."
para o avião dele atrasar."
for lunch tomorrow."
amanhã para o almoço".
there's a slight mistake going on.
os valores de minha esposa:
after a hard day's work,
e o computador diz: "Foi um longo dia?"
Could you make some dinner?"
who are in more urgent need than you."
mais urgentes do que as suas."
to working on them.
para trabalhar neles.
uma enorme quantidade de dados.
tudo que o homem tiver escrito.
they're going to read everything
é sobre pessoas fazendo coisas
is human beings doing things
de dados para aprender.
of data to learn from.
strong economic incentive
econômico muito forte
and the robot has to feed the kids,
e o robô precisa alimentar as crianças,
and there's nothing in the fridge.
e não tem nada na geladeira.
the human value function properly,
a função do valor humano.
the nutritional value of the cat.
pesa mais do que seu valor nutritivo.
for family dinner."
para o jantar".
of the domestic robot industry.
da indústria de robôs domésticos.
to get this right
superintelligent machines.
aos computadores superinteligentes.
the definition of AI
mudar a definição de IA
beneficial machines.
apenas nossos objetivos,
about what those objectives are,
that we really want.
sobre o que realmente queremos.
we will learn to be better people.
aprendamos a ser pessoas melhores.
because I think they're setting up
porque acho que estão preparando
seems intuitively really powerful.
parece realmente convincente.
de ler literatura
this idea that knowledge
é melhor que a ignorância
and rewriting that programming?
e reescrever essa programação?
it to learn more, as I said,
como eu disse, sobre nossos objetivos.
as it becomes more correct,
quando se tornar mais correto.
para interpretá-la corretamente.
to interpret it correctly.
that books are very biased
que os livros são muito tendenciosos
e a elite do homem branco fazendo coisas.
mais sobre nossos objetivos,
just boil it down to one law,
reduzir a uma regra, integrada em:
eu concordo. Eu concordo"?
Seria uma ideia terrível.
um carro que dirige sozinho
a self-driving car
de cinco anos para a escola.
to be able to switch off the car
consiga desligar o carro em movimento?
e a sensibilidade da pessoa.
and sensible the person is.
mais disposto estará para ser desligado.
to be switched off.
ou mal-intencionada,
random or even malicious,
to be switched off.
para ser desligado.
que você resolva isso para nós.
figure this out for us.
Foi incrível. Obrigado.
That was amazing.
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com