ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

Stuart Russell: Como a Inteligência Artificial pode nos tornar pessoas melhores

Filmed:
1,465,832 views

Como podemos aproveitar o poder da Inteligência Artificial enquanto também impedimos a catástrofe do controle pelos robôs? À medida que avançamos para criar computadores que conhecem tudo, o precursor da Inteligência Artificial, Stuart Russell, está trabalhando em algo um pouco diferente: robôs com incerteza. Assista à sua visão para a Inteligência Artificial compatível com o homem, que pode resolver problemas usando bom senso, altruísmo e outros valores humanos.
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

00:12
This is Lee Sedol.
0
712
1552
Este é Lee Sedol.
00:14
Lee Sedol is one of the world's
greatest Go players,
1
2288
3997
Lee Sedol é um dos maiores
jogadores de Go do mundo,
00:18
and he's having what my friends
in Silicon Valley call
2
6309
2885
e está tendo o que meus amigos
do Vale do Silício
chamam de momento "Caramba!",
00:21
a "Holy Cow" moment --
3
9218
1510
00:22
(Laughter)
4
10752
1073
(Risos)
00:23
a moment where we realize
5
11849
2188
um momento em que percebemos
00:26
that AI is actually progressing
a lot faster than we expected.
6
14061
3296
que a IA está progredindo realmente
muito mais rápido do que esperávamos.
00:30
So humans have lost on the Go board.
What about the real world?
7
18154
3047
O homem perde no tabuleiro de Go.
E no mundo real?
00:33
Well, the real world is much bigger,
8
21225
2100
Bem, o mundo real é muito maior,
00:35
much more complicated than the Go board.
9
23349
2249
muito mais complicado
do que o tabuleiro de Go.
00:37
It's a lot less visible,
10
25622
1819
É muito menos visível,
mas ainda é um problema de decisão.
00:39
but it's still a decision problem.
11
27465
2038
00:42
And if we think about some
of the technologies
12
30948
2321
Se pensarmos sobre algumas
das tecnologias que estão surgindo...
00:45
that are coming down the pike ...
13
33293
1749
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
14
35738
4335
Noriko [Arai] mencionou que a leitura
ainda não acontece nos computadores,
00:52
at least with understanding.
15
40097
1500
pelo menos, com compreensão,
00:53
But that will happen,
16
41621
1536
mas isso irá acontecer.
00:55
and when that happens,
17
43181
1771
E quando acontecer,
00:56
very soon afterwards,
18
44976
1187
muito em breve, os computadores
terão lido tudo que o homem tiver escrito.
00:58
machines will have read everything
that the human race has ever written.
19
46187
4572
01:03
And that will enable machines,
20
51850
2030
Isso permitirá aos computadores,
01:05
along with the ability to look
further ahead than humans can,
21
53904
2920
junto com a capacidade de olhar
mais adiante do que o homem,
01:08
as we've already seen in Go,
22
56848
1680
como já vimos no Go,
01:10
if they also have access
to more information,
23
58552
2164
se também tiverem acesso
a mais informação,
01:12
they'll be able to make better decisions
in the real world than we can.
24
60740
4268
serem capazes de tomar decisões
melhores no mundo real do que nós.
01:18
So is that a good thing?
25
66792
1606
Isso é bom?
01:21
Well, I hope so.
26
69898
2232
Bem, espero que sim.
01:26
Our entire civilization,
everything that we value,
27
74694
3255
Toda a nossa civilização,
tudo o que valorizamos,
01:29
is based on our intelligence.
28
77973
2068
está baseada em nossa inteligência.
01:32
And if we had access
to a lot more intelligence,
29
80065
3694
Se tivéssemos acesso
a muito mais informações,
01:35
then there's really no limit
to what the human race can do.
30
83783
3302
não haveria limites para o homem.
01:40
And I think this could be,
as some people have described it,
31
88665
3325
Creio que seria, como alguns descreveram,
01:44
the biggest event in human history.
32
92014
2016
o maior evento na história da humanidade.
[Bem-vindo à Utopia.
Aproveite sua viagem.]
01:48
So why are people saying things like this,
33
96665
2829
Então, por que as pessoas
dizem coisas como esta,
01:51
that AI might spell the end
of the human race?
34
99518
2876
que a IA pode ser o sinal
do fim da raça humana?
01:55
Is this a new thing?
35
103438
1659
Isso é novidade?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
36
105121
4110
Trata-se apenas de Elon Musk,
Bill Gates e Stephen Hawking?
02:01
Actually, no. This idea
has been around for a while.
37
109953
3262
Na verdade, não. Esta ideia
está por aí há algum tempo.
02:05
Here's a quotation:
38
113239
1962
Aqui está uma citação:
02:07
"Even if we could keep the machines
in a subservient position,
39
115225
4350
"Mesmo que pudéssemos manter
os computadores em posição submissa,
02:11
for instance, by turning off the power
at strategic moments" --
40
119599
2984
desligando, por exemplo, a energia
em momentos estratégicos",
voltarei mais tarde com essa ideia
de "desligar a energia",
02:14
and I'll come back to that
"turning off the power" idea later on --
41
122607
3237
"deveríamos, como espécie,
nos sentir muito humilhados".
02:17
"we should, as a species,
feel greatly humbled."
42
125868
2804
Quem disse isso?
02:22
So who said this?
This is Alan Turing in 1951.
43
130177
3448
Foi Alan Turing, em 1951.
02:26
Alan Turing, as you know,
is the father of computer science
44
134300
2763
Alan Turing, como sabem,
é o pai da informática
02:29
and in many ways,
the father of AI as well.
45
137087
3048
e, de muitas formas, o pai da IA também.
02:33
So if we think about this problem,
46
141239
1882
Se pensarmos sobre o problema
02:35
the problem of creating something
more intelligent than your own species,
47
143145
3787
de criar algo mais inteligente
do que a própria espécie,
02:38
we might call this "the gorilla problem,"
48
146956
2622
podemos chamar isso
de "problema do gorila",
02:42
because gorillas' ancestors did this
a few million years ago,
49
150345
3750
porque os ancestrais dos gorilas
fizeram isso há milhões de anos,
02:46
and now we can ask the gorillas:
50
154119
1745
e podemos agora perguntar a eles:
02:48
Was this a good idea?
51
156752
1160
"Foi uma boa ideia?"
02:49
So here they are having a meeting
to discuss whether it was a good idea,
52
157936
3530
Aqui estão eles tendo uma reunião
para discutir se foi uma boa ideia,
02:53
and after a little while,
they conclude, no,
53
161490
3346
e, depois de um tempo, concluem que não,
02:56
this was a terrible idea.
54
164860
1345
foi uma péssima ideia.
02:58
Our species is in dire straits.
55
166229
1782
Nossa espécie está em apuros.
03:00
In fact, you can see the existential
sadness in their eyes.
56
168538
4263
Sim, você pode ver a tristeza
existencial nos olhos deles.
03:04
(Laughter)
57
172825
1640
(Risos)
03:06
So this queasy feeling that making
something smarter than your own species
58
174489
4840
Esta sensação desconfortável de algo
mais inteligente do que a própria espécie
03:11
is maybe not a good idea --
59
179353
2365
talvez não seja uma boa ideia.
03:14
what can we do about that?
60
182488
1491
O que podemos fazer a respeito?
03:16
Well, really nothing,
except stop doing AI,
61
184003
4767
Bem, realmente nada,
a não ser parar de fazer IA,
03:20
and because of all
the benefits that I mentioned
62
188794
2510
e, por causa de todos
os benefícios que mencionei
03:23
and because I'm an AI researcher,
63
191328
1716
e, por ser pesquisador de IA,
não permitirei isso.
03:25
I'm not having that.
64
193068
1791
03:27
I actually want to be able
to keep doing AI.
65
195283
2468
Quero mesmo poder continuar a fazer IA.
03:30
So we actually need to nail down
the problem a bit more.
66
198615
2678
Temos, na realidade,
que decidir sobre o problema.
03:33
What exactly is the problem?
67
201317
1371
Qual é o problema exatamente?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
Por que a IA pode ser uma catástrofe?
03:39
So here's another quotation:
69
207398
1498
Aqui está uma outra citação:
03:41
"We had better be quite sure
that the purpose put into the machine
70
209935
3335
"É melhor termos certeza
de que a missão passada ao computador
03:45
is the purpose which we really desire."
71
213294
2298
é o que realmente desejamos".
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
Isso foi dito por Norbert Wiener, em 1960,
03:51
shortly after he watched
one of the very early learning systems
73
219804
4002
pouco depois de ter visto
um dos sistemas de aprendizagem
03:55
learn to play checkers
better than its creator.
74
223830
2583
aprender a jogar damas
melhor do que seu criador.
04:00
But this could equally have been said
75
228602
2683
Mas isso também poderia ter sido dito
04:03
by King Midas.
76
231309
1167
pelo Rei Midas.
04:05
King Midas said, "I want everything
I touch to turn to gold,"
77
233083
3134
O Rei Midas disse: "Quero
que tudo o que eu tocar vire ouro",
04:08
and he got exactly what he asked for.
78
236241
2473
e ele conseguiu exatamente o que pediu.
04:10
That was the purpose
that he put into the machine,
79
238738
2751
Essa foi a missão passada ao computador,
04:13
so to speak,
80
241513
1450
por assim dizer,
04:14
and then his food and his drink
and his relatives turned to gold
81
242987
3444
e então, sua comida, bebida
e seus parentes se transformaram em ouro,
04:18
and he died in misery and starvation.
82
246455
2281
e ele morreu de tristeza e fome.
04:22
So we'll call this
"the King Midas problem"
83
250444
2341
Chamaremos isso de "problema do Rei Midas"
04:24
of stating an objective
which is not, in fact,
84
252809
3305
de dar uma missão que não está, de fato,
04:28
truly aligned with what we want.
85
256138
2413
verdadeiramente alinhada
com aquilo que queremos.
04:30
In modern terms, we call this
"the value alignment problem."
86
258575
3253
Em termos modernos, chamamos
de "problema de alinhamento de valor".
04:37
Putting in the wrong objective
is not the only part of the problem.
87
265047
3485
Atribuir a missão errada
não é a única parte do problema.
04:40
There's another part.
88
268556
1152
Há outro elemento.
04:42
If you put an objective into a machine,
89
270160
1943
Se você passar uma missão ao computador,
04:44
even something as simple as,
"Fetch the coffee,"
90
272127
2448
mesmo algo tão simples
como "Traga o café",
04:47
the machine says to itself,
91
275908
1841
o computador dirá a si mesmo:
04:50
"Well, how might I fail
to fetch the coffee?
92
278733
2623
"Bem, como posso falhar ao trazer o café?
04:53
Someone might switch me off.
93
281380
1580
Alguém pode me desligar.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
Certo, tenho que fazer algo
para evitar isso.
04:58
I will disable my 'off' switch.
95
286056
1906
Desabilitarei meu botão liga e desliga.
05:00
I will do anything to defend myself
against interference
96
288534
2959
Farei de tudo para me defender
contra interferências
05:03
with this objective
that I have been given."
97
291517
2629
a esta missão que recebi".
05:06
So this single-minded pursuit
98
294170
2012
Esta busca determinada,
05:09
in a very defensive mode
of an objective that is, in fact,
99
297213
2945
de modo muito defensivo,
de uma missão que não está,
05:12
not aligned with the true objectives
of the human race --
100
300182
2814
de fato, alinhada com os reais
objetivos do homem,
05:16
that's the problem that we face.
101
304122
1862
é o problema que enfrentamos.
05:19
And in fact, that's the high-value
takeaway from this talk.
102
307007
4767
Essa é, na verdade,
a conclusão valiosa desta palestra.
05:23
If you want to remember one thing,
103
311798
2055
Se quiserem se lembrar de uma coisa,
05:25
it's that you can't fetch
the coffee if you're dead.
104
313877
2675
é que não podem trazer
o café se estiverem mortos.
05:28
(Laughter)
105
316576
1061
(Risos)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
106
317661
3829
É muito simples. Lembrem-se apenas disso.
Repitam a si mesmos três vezes ao dia.
05:33
(Laughter)
107
321514
1821
(Risos)
05:35
And in fact, this is exactly the plot
108
323359
2754
Este é exatamente o enredo
de "2001: Uma Odisseia no Espaço".
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
05:41
HAL has an objective, a mission,
110
329226
2090
HAL tem um objetivo, uma missão,
05:43
which is not aligned
with the objectives of the humans,
111
331340
3732
que não está alinhada
aos objetivos do homem,
05:47
and that leads to this conflict.
112
335096
1810
e que leva a este conflito.
05:49
Now fortunately, HAL
is not superintelligent.
113
337494
2969
Felizmente, HAL não é superinteligente.
05:52
He's pretty smart,
but eventually Dave outwits him
114
340487
3587
É bem inteligente, mas Dave
é mais esperto do que ele no final
05:56
and manages to switch him off.
115
344098
1849
e consegue desligá-lo.
06:01
But we might not be so lucky.
116
349828
1619
Mas podemos não ter tanta sorte.
[Desculpe, Dave,
mas não posso fazer isso.]
06:08
So what are we going to do?
117
356193
1592
Então, o que faremos?
06:12
I'm trying to redefine AI
118
360371
2601
Estou tentando redefinir
a Inteligência Artificial
06:14
to get away from this classical notion
119
362996
2061
para escapar dessa ideia tradicional
06:17
of machines that intelligently
pursue objectives.
120
365081
4567
de computadores que se dedicam
aos objetivos de forma inteligente.
06:22
There are three principles involved.
121
370712
1798
Há três princípios envolvidos.
O primeiro é o princípio do altruísmo
06:24
The first one is a principle
of altruism, if you like,
122
372534
3289
06:27
that the robot's only objective
123
375847
3262
segundo o qual o único objetivo do robô
06:31
is to maximize the realization
of human objectives,
124
379133
4246
é maximizar a realização
de objetivos do homem,
06:35
of human values.
125
383403
1390
de valores humanos.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
126
384817
3330
Por valores aqui, não me refiro
a valores morais, sentimentais.
06:40
I just mean whatever it is
that the human would prefer
127
388171
3787
Refiro-me apenas ao que o homem
prefere que seja sua vida.
06:43
their life to be like.
128
391982
1343
06:47
And so this actually violates Asimov's law
129
395364
2309
Isso realmente viola a lei de Asimov
06:49
that the robot has to protect
its own existence.
130
397697
2329
pela qual o robô
deve proteger sua existência.
Ele não tem interesse em preservar
sua existência de forma alguma.
06:52
It has no interest in preserving
its existence whatsoever.
131
400050
3723
06:57
The second law is a law
of humility, if you like.
132
405420
3768
A segunda lei é a lei da humildade.
07:01
And this turns out to be really
important to make robots safe.
133
409974
3743
Isso vem a ser realmente importante
para fazer com que os robôs sejam seguros.
07:05
It says that the robot does not know
134
413741
3142
Segundo ela, o robô não sabe
quais são esses valores humanos.
07:08
what those human values are,
135
416907
2028
07:10
so it has to maximize them,
but it doesn't know what they are.
136
418959
3178
Então, ele tem que maximizá-los,
mas não sabe quais são eles.
07:15
And that avoids this problem
of single-minded pursuit
137
423254
2626
Isso evita este problema de busca
determinada por um objetivo.
07:17
of an objective.
138
425904
1212
Esta incerteza revela-se crucial.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
07:21
Now, in order to be useful to us,
140
429726
1639
Para ser útil a nós, ele precisa
ter uma ideia do que queremos.
07:23
it has to have some idea of what we want.
141
431389
2731
07:27
It obtains that information primarily
by observation of human choices,
142
435223
5427
Ele obtém essa informação principalmente
pela observação das escolhas humanas.
07:32
so our own choices reveal information
143
440674
2801
Assim nossas próprias escolhas
revelam informação
07:35
about what it is that we prefer
our lives to be like.
144
443499
3300
sobre como preferimos
que sejam nossas vidas.
São três princípios.
07:40
So those are the three principles.
145
448632
1683
Vejamos como isso
se aplica a esta questão:
07:42
Let's see how that applies
to this question of:
146
450339
2318
07:44
"Can you switch the machine off?"
as Turing suggested.
147
452681
2789
"Você pode desligar o computador?"
como sugeriu Turing.
07:49
So here's a PR2 robot.
148
457073
2120
Aqui está o robô PR2,
que temos em nosso laboratório,
07:51
This is one that we have in our lab,
149
459217
1821
07:53
and it has a big red "off" switch
right on the back.
150
461062
2903
com um grande botão
liga e desliga vermelho nas costas.
07:56
The question is: Is it
going to let you switch it off?
151
464541
2615
A questão é: ele deixará você desligá-lo?
07:59
If we do it the classical way,
152
467180
1465
Pelo modo tradicional,
damos a ele a missão
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
153
468669
3482
"Traga o café, devo trazer o café,
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
não posso trazer o café
se eu estiver morto".
08:06
so obviously the PR2
has been listening to my talk,
155
474779
3341
É claro que o PR2 estava
ouvindo minha conversa,
08:10
and so it says, therefore,
"I must disable my 'off' switch,
156
478144
3753
e diz então: "Devo desabilitar
meu botão liga e desliga,
08:14
and probably taser all the other
people in Starbucks
157
482976
2694
e talvez dar um choque nas pessoas
do Starbucks que mexerem comigo".
08:17
who might interfere with me."
158
485694
1560
08:19
(Laughter)
159
487278
2062
(Risos)
08:21
So this seems to be inevitable, right?
160
489364
2153
Isso parece inevitável, não?
08:23
This kind of failure mode
seems to be inevitable,
161
491541
2398
Este tipo de modo de falha
parece inevitável,
08:25
and it follows from having
a concrete, definite objective.
162
493963
3543
e resulta de um objetivo
concreto, definido.
08:30
So what happens if the machine
is uncertain about the objective?
163
498812
3144
O que acontece se o computador
não tem certeza do objetivo?
08:33
Well, it reasons in a different way.
164
501980
2127
Bem, ele raciocina de modo diferente.
08:36
It says, "OK, the human
might switch me off,
165
504131
2424
Diz: "Tudo bem, o homem pode me desligar,
08:39
but only if I'm doing something wrong.
166
507144
1866
mas só se estiver fazendo algo errado.
08:41
Well, I don't really know what wrong is,
167
509747
2475
Bem, não sei o que é errado,
mas sei que não quero fazer isso".
08:44
but I know that I don't want to do it."
168
512246
2044
Ali estão o primeiro
e o segundo princípios.
08:46
So that's the first and second
principles right there.
169
514314
3010
08:49
"So I should let the human switch me off."
170
517348
3359
"Então, deveria deixar
o homem me desligar".
08:53
And in fact you can calculate
the incentive that the robot has
171
521721
3956
De fato, você pode calcular o estímulo
que o robô tem para deixar
o homem desligá-lo,
08:57
to allow the human to switch it off,
172
525701
2493
09:00
and it's directly tied to the degree
173
528218
1914
e está diretamente ligado ao grau
de incerteza sobre o objetivo fundamental.
09:02
of uncertainty about
the underlying objective.
174
530156
2746
09:05
And then when the machine is switched off,
175
533977
2949
Então, quando o computador é desligado,
o terceiro princípio entra em campo.
09:08
that third principle comes into play.
176
536950
1805
Ele aprende algo sobre os objetivos
aos quais deveria se dedicar
09:10
It learns something about the objectives
it should be pursuing,
177
538779
3062
porque aprende que não fez o certo.
09:13
because it learns that
what it did wasn't right.
178
541865
2533
09:16
In fact, we can, with suitable use
of Greek symbols,
179
544422
3570
De fato, com uso adequado
de símbolos gregos,
09:20
as mathematicians usually do,
180
548016
2131
como costumavam fazer os matemáticos,
09:22
we can actually prove a theorem
181
550171
1984
podemos até provar um teorema
09:24
that says that such a robot
is provably beneficial to the human.
182
552179
3553
segundo o qual tal robô
é provavelmente benéfico ao homem.
09:27
You are provably better off
with a machine that's designed in this way
183
555756
3803
Talvez você esteja melhor
com um computador projetado desta forma
09:31
than without it.
184
559583
1246
do que sem ele.
09:33
So this is a very simple example,
but this is the first step
185
561237
2906
Este é um exemplo muito simples,
mas é o primeiro passo
09:36
in what we're trying to do
with human-compatible AI.
186
564167
3903
para o que estamos tentando fazer
com IA compatível com o homem.
09:42
Now, this third principle,
187
570657
3257
Há este terceiro princípio,
09:45
I think is the one that you're probably
scratching your head over.
188
573938
3112
pelo qual você deve estar
coçando a cabeça.
Você deve estar pensando:
"Bem, sabe, eu me comportei mal.
09:49
You're probably thinking, "Well,
you know, I behave badly.
189
577074
3239
09:52
I don't want my robot to behave like me.
190
580337
2929
Não quero que meu robô
se comporte como eu.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
191
583290
3434
Ando às escondidas, no meio da noite,
e pego coisas da geladeira.
09:58
I do this and that."
192
586748
1168
Faço isso e aquilo".
Há muitas coisas que você
não quer que o robô faça.
09:59
There's all kinds of things
you don't want the robot doing.
193
587940
2797
10:02
But in fact, it doesn't
quite work that way.
194
590761
2071
Mas, na verdade, não funciona bem assim.
Só porque você se comporta mal
10:04
Just because you behave badly
195
592856
2155
10:07
doesn't mean the robot
is going to copy your behavior.
196
595035
2623
não quer dizer que o robô
irá copiar seu comportamento.
Ele irá entender suas motivações
e talvez ajudá-lo a resistir a elas,
10:09
It's going to understand your motivations
and maybe help you resist them,
197
597682
3910
10:13
if appropriate.
198
601616
1320
se for adequado.
10:16
But it's still difficult.
199
604206
1464
Mas ainda é difícil.
10:18
What we're trying to do, in fact,
200
606302
2545
O que estamos tentando fazer,
10:20
is to allow machines to predict
for any person and for any possible life
201
608871
5796
é permitir que computadores
prevejam para qualquer pessoa
e para qualquer vida que ela poderia ter,
e a vida de todos os demais:
10:26
that they could live,
202
614691
1161
10:27
and the lives of everybody else:
203
615876
1597
10:29
Which would they prefer?
204
617497
2517
qual vida eles iriam preferir?
10:34
And there are many, many
difficulties involved in doing this;
205
622061
2954
Há muitas dificuldades
envolvidas para fazer isso.
Não espero que isso seja
resolvido muito rapidamente.
10:37
I don't expect that this
is going to get solved very quickly.
206
625039
2932
10:39
The real difficulties, in fact, are us.
207
627995
2643
As dificuldades reais,
na verdade, somos nós.
10:44
As I have already mentioned,
we behave badly.
208
632149
3117
Como já havia mencionado,
nós nos comportamos mal.
10:47
In fact, some of us are downright nasty.
209
635290
2321
Alguns de nós somos muito maus.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
210
638431
3052
Já o robô, como eu disse,
não tem que copiar o comportamento.
10:53
The robot does not have
any objective of its own.
211
641507
2791
O robô não tem nenhum objetivo próprio.
10:56
It's purely altruistic.
212
644322
1737
Ele é meramente altruísta.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
213
647293
5221
Não é projetado apenas para satisfazer
os desejos de uma pessoa, o consumidor,
11:04
but in fact it has to respect
the preferences of everybody.
214
652538
3138
mas ele tem que respeitar
as preferências de todos.
11:09
So it can deal with a certain
amount of nastiness,
215
657263
2570
Ele pode lidar com um pouco de maldade,
11:11
and it can even understand
that your nastiness, for example,
216
659857
3701
e pode até entender essa sua maldade.
Por exemplo, você pode aceitar
suborno como funcionário público
11:15
you may take bribes as a passport official
217
663582
2671
11:18
because you need to feed your family
and send your kids to school.
218
666277
3812
porque precisa alimentar sua família
e pagar a escola dos seus filhos.
11:22
It can understand that;
it doesn't mean it's going to steal.
219
670113
2906
O robô pode entender isso.
Não significa que ele irá roubar.
11:25
In fact, it'll just help you
send your kids to school.
220
673043
2679
Ele só o ajudará a pagar
a escola de seus filhos.
11:28
We are also computationally limited.
221
676976
3012
Também somos computacionalmente limitados.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Lee Sedol é um jogador de Go genial,
mas ele ainda perde.
11:34
but he still lost.
223
682541
1325
11:35
So if we look at his actions,
he took an action that lost the game.
224
683890
4239
Se examinarmos suas ações,
vemos que uma delas o fez perder o jogo.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
Isso não significa que ele queria perder.
11:43
So to understand his behavior,
226
691340
2040
Para entender o comportamento dele,
11:45
we actually have to invert
through a model of human cognition
227
693404
3644
temos realmente que inverter
pelo modelo de conhecimento humano
11:49
that includes our computational
limitations -- a very complicated model.
228
697072
4977
que inclui limitações computacionais,
um modelo muito complexo.
11:54
But it's still something
that we can work on understanding.
229
702073
2993
Mas ainda é algo que podemos
trabalhar para compreender.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
230
705876
4320
Talvez, o mais difícil, do meu ponto
de vista como pesquisador de IA,
12:02
is the fact that there are lots of us,
231
710220
2575
seja o fato de que há muitos de nós,
12:06
and so the machine has to somehow
trade off, weigh up the preferences
232
714294
3581
e o computador precisa, de algum modo,
trocar, considerar as preferências
12:09
of many different people,
233
717899
2225
de muitas pessoas diferentes,
12:12
and there are different ways to do that.
234
720148
1906
e há modos diferentes para fazer isso.
12:14
Economists, sociologists,
moral philosophers have understood that,
235
722078
3689
Economistas, sociólogos,
filósofos morais entenderam isso,
12:17
and we are actively
looking for collaboration.
236
725791
2455
e estamos procurando
ativamente por colaboração.
12:20
Let's have a look and see what happens
when you get that wrong.
237
728270
3251
Vamos ver o que acontece
quando você interpreta isso mal.
12:23
So you can have
a conversation, for example,
238
731545
2133
Você pode ter uma conversa, por exemplo,
com seu assistente pessoal inteligente
12:25
with your intelligent personal assistant
239
733702
1944
que pode estar disponível
daqui a alguns anos.
12:27
that might be available
in a few years' time.
240
735670
2285
12:29
Think of a Siri on steroids.
241
737979
2524
Pense em um assistente virtual.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
242
741627
4322
O assistente lhe diz: "Sua esposa ligou
para lembrá-lo do jantar de hoje à noite",
12:38
And of course, you've forgotten.
"What? What dinner?
243
746616
2508
mas você havia esquecido: "O quê?
Que jantar? Do que você está falando?"
12:41
What are you talking about?"
244
749148
1425
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
"Seu aniversário de 20 anos, às 19h."
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
246
756915
3719
"Não vai dar. Tenho um encontro
com o secretário geral às 19h30.
12:52
How could this have happened?"
247
760658
1692
Como foi que isso aconteceu?"
12:54
"Well, I did warn you, but you overrode
my recommendation."
248
762374
4660
"Bem, eu o avisei, mas você ignorou
minha recomendação."
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
249
768146
3328
"O que vou fazer? Não posso falar
que estou muito ocupado."
13:04
"Don't worry. I arranged
for his plane to be delayed."
250
772490
3281
"Não se preocupe. Dei um jeito
para o avião dele atrasar."
13:07
(Laughter)
251
775795
1682
(Risos)
13:10
"Some kind of computer malfunction."
252
778249
2101
"Algum tipo de defeito no computador".
13:12
(Laughter)
253
780374
1212
(Risos)
13:13
"Really? You can do that?"
254
781610
1617
"Sério? Consegue fazer isso?"
13:16
"He sends his profound apologies
255
784400
2179
"Ele manda suas profundas desculpas
13:18
and looks forward to meeting you
for lunch tomorrow."
256
786603
2555
e não vê a hora de encontrá-lo
amanhã para o almoço".
13:21
(Laughter)
257
789182
1299
(Risos)
13:22
So the values here --
there's a slight mistake going on.
258
790505
4403
Está acontecendo um pequeno erro,
13:26
This is clearly following my wife's values
259
794932
3009
que é, obviamente, seguir
os valores de minha esposa:
13:29
which is "Happy wife, happy life."
260
797965
2069
"Esposa feliz, vida feliz".
13:32
(Laughter)
261
800058
1583
(Risos)
13:33
It could go the other way.
262
801665
1444
Poderia seguir outro rumo.
13:35
You could come home
after a hard day's work,
263
803821
2201
Você chega depois de um dia de trabalho,
e o computador diz: "Foi um longo dia?"
13:38
and the computer says, "Long day?"
264
806046
2195
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
"Sim, nem consegui almoçar."
13:42
"You must be very hungry."
266
810577
1282
"Você deve estar faminto."
13:43
"Starving, yeah.
Could you make some dinner?"
267
811883
2646
"Sim, faminto. Pode fazer o jantar?"
13:48
"There's something I need to tell you."
268
816070
2090
"Precisamos conversar."
13:50
(Laughter)
269
818184
1155
(Risos)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
270
820193
4905
"Tem gente no Sudão com necessidades
mais urgentes do que as suas."
13:57
(Laughter)
271
825122
1104
(Risos)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
"Vou sair. Faça você mesmo o seu jantar."
14:00
(Laughter)
273
828349
2000
(Risos)
14:02
So we have to solve these problems,
274
830823
1739
Temos que resolver esses problemas,
14:04
and I'm looking forward
to working on them.
275
832586
2515
e estou esperando ansiosamente
para trabalhar neles.
14:07
There are reasons for optimism.
276
835125
1843
Há razões para o otimismo.
14:08
One reason is,
277
836992
1159
Uma delas é que há
uma enorme quantidade de dados.
14:10
there is a massive amount of data.
278
838175
1868
Lembrem-se: eu disse que eles irão ler
tudo que o homem tiver escrito.
14:12
Because remember -- I said
they're going to read everything
279
840067
2794
14:14
the human race has ever written.
280
842885
1546
A maioria do que escrevemos
é sobre pessoas fazendo coisas
14:16
Most of what we write about
is human beings doing things
281
844455
2724
14:19
and other people getting upset about it.
282
847203
1914
e outras ficando aborrecidas com isso.
Temos uma enorme quantidade
de dados para aprender.
14:21
So there's a massive amount
of data to learn from.
283
849141
2398
14:23
There's also a very
strong economic incentive
284
851563
2236
Há também um incentivo
econômico muito forte
14:27
to get this right.
285
855331
1186
para resolver isso.
14:28
So imagine your domestic robot's at home.
286
856541
2001
Imagine então seu robô doméstico em casa.
14:30
You're late from work again
and the robot has to feed the kids,
287
858566
3067
Você chega tarde em casa
e o robô precisa alimentar as crianças,
14:33
and the kids are hungry
and there's nothing in the fridge.
288
861657
2823
elas estão com fome
e não tem nada na geladeira.
14:36
And the robot sees the cat.
289
864504
2605
E o robô vê o gato.
14:39
(Laughter)
290
867133
1692
(Risos)
14:40
And the robot hasn't quite learned
the human value function properly,
291
868849
4190
O robô não aprendeu bem
a função do valor humano.
14:45
so it doesn't understand
292
873063
1251
Então, ele não compreende
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
293
874338
4844
que o valor sentimental pelo gato
pesa mais do que seu valor nutritivo.
14:51
(Laughter)
294
879206
1095
(Risos)
14:52
So then what happens?
295
880325
1748
O que acontece então?
14:54
Well, it happens like this:
296
882097
3297
Bem, acontece o seguinte:
14:57
"Deranged robot cooks kitty
for family dinner."
297
885418
2964
"Robô louco cozinha gatinho
para o jantar".
15:00
That one incident would be the end
of the domestic robot industry.
298
888406
4523
Esse único incidente seria o fim
da indústria de robôs domésticos.
15:04
So there's a huge incentive
to get this right
299
892953
3372
Há um enorme incentivo para resolver isso
15:08
long before we reach
superintelligent machines.
300
896349
2715
antes de chegarmos
aos computadores superinteligentes.
15:12
So to summarize:
301
900128
1535
Em resumo:
15:13
I'm actually trying to change
the definition of AI
302
901687
2881
estou tentando realmente
mudar a definição de IA
15:16
so that we have provably
beneficial machines.
303
904592
2993
para que tenhamos computadores úteis.
15:19
And the principles are:
304
907609
1222
Os princípios são:
15:20
machines that are altruistic,
305
908855
1398
computadores altruístas,
15:22
that want to achieve only our objectives,
306
910277
2804
que querem alcançar
apenas nossos objetivos,
15:25
but that are uncertain
about what those objectives are,
307
913105
3116
mas estão incertos sobre quais são eles,
15:28
and will watch all of us
308
916245
1998
e irão observar todos nós
15:30
to learn more about what it is
that we really want.
309
918267
3203
para aprender mais
sobre o que realmente queremos.
15:34
And hopefully in the process,
we will learn to be better people.
310
922373
3559
E tomara que no processo,
aprendamos a ser pessoas melhores.
15:37
Thank you very much.
311
925956
1191
Muito obrigado.
15:39
(Applause)
312
927171
3709
(Aplausos)
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
Chris Anderson: Interessante, Stuart.
15:44
We're going to stand here a bit
because I think they're setting up
314
932796
3170
Ficaremos aqui um pouco
porque acho que estão preparando
para o próximo palestrante.
15:47
for our next speaker.
315
935990
1151
Algumas questões.
15:49
A couple of questions.
316
937165
1538
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
317
938727
5453
A ideia de programar na ignorância
parece realmente convincente.
15:56
As you get to superintelligence,
318
944204
1594
Ao chegar à superinteligência,
15:57
what's going to stop a robot
319
945822
2258
o que irá impedir um robô
de ler literatura
16:00
reading literature and discovering
this idea that knowledge
320
948104
2852
e descobrir que o conhecimento
é melhor que a ignorância
16:02
is actually better than ignorance
321
950980
1572
16:04
and still just shifting its own goals
and rewriting that programming?
322
952576
4218
e ainda mudar seus próprios objetivos
e reescrever essa programação?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
323
957692
6356
Stuart Russell: Sim, queremos...
Queremos que ele aprenda mais,
como eu disse, sobre nossos objetivos.
16:16
about our objectives.
324
964072
1287
16:17
It'll only become more certain
as it becomes more correct,
325
965383
5521
Ele só se tornará mais seguro
quando se tornar mais correto.
16:22
so the evidence is there
326
970928
1945
A evidência está lá, e ele será projetado
para interpretá-la corretamente.
16:24
and it's going to be designed
to interpret it correctly.
327
972897
2724
16:27
It will understand, for example,
that books are very biased
328
975645
3956
Ele entenderá, por exemplo,
que os livros são muito tendenciosos
16:31
in the evidence they contain.
329
979625
1483
na evidência que contêm.
16:33
They only talk about kings and princes
330
981132
2397
Eles só falam sobre reis e príncipes
e a elite do homem branco fazendo coisas.
16:35
and elite white male people doing stuff.
331
983553
2800
16:38
So it's a complicated problem,
332
986377
2096
É um problema complicado,
16:40
but as it learns more about our objectives
333
988497
3872
mas, à medida que aprende
mais sobre nossos objetivos,
16:44
it will become more and more useful to us.
334
992393
2063
ele será cada vez mais útil para nós.
16:46
CA: And you couldn't
just boil it down to one law,
335
994480
2526
CA: E você não poderia apenas
reduzir a uma regra, integrada em:
16:49
you know, hardwired in:
336
997030
1650
16:50
"if any human ever tries to switch me off,
337
998704
3293
"Se qualquer pessoa tentar me desligar,
eu concordo. Eu concordo"?
16:54
I comply. I comply."
338
1002021
1935
16:55
SR: Absolutely not.
339
1003980
1182
SR: De jeito nenhum.
Seria uma ideia terrível.
16:57
That would be a terrible idea.
340
1005186
1499
Imagine que você tem
um carro que dirige sozinho
16:58
So imagine that you have
a self-driving car
341
1006709
2689
17:01
and you want to send your five-year-old
342
1009422
2433
e você quer mandar seu filho
de cinco anos para a escola.
17:03
off to preschool.
343
1011879
1174
17:05
Do you want your five-year-old
to be able to switch off the car
344
1013077
3101
Quer que seu filho de cinco anos
consiga desligar o carro em movimento?
17:08
while it's driving along?
345
1016202
1213
Provavelmente não.
17:09
Probably not.
346
1017439
1159
Ele tem que compreender a racionalidade
e a sensibilidade da pessoa.
17:10
So it needs to understand how rational
and sensible the person is.
347
1018622
4703
17:15
The more rational the person,
348
1023349
1676
Quanto mais racional for a pessoa,
mais disposto estará para ser desligado.
17:17
the more willing you are
to be switched off.
349
1025049
2103
Se a pessoa for sem noção
ou mal-intencionada,
17:19
If the person is completely
random or even malicious,
350
1027176
2543
17:21
then you're less willing
to be switched off.
351
1029743
2512
menos disposto você estará
para ser desligado.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
CA: Tudo bem. Stuart, espero realmente
que você resolva isso para nós.
17:26
I really, really hope you
figure this out for us.
353
1034169
2314
Muito obrigado por esta palestra.
Foi incrível. Obrigado.
17:28
Thank you so much for that talk.
That was amazing.
354
1036507
2375
(Aplausos)
17:30
SR: Thank you.
355
1038906
1167
17:32
(Applause)
356
1040097
1837
Translated by Maurício Tanaka
Reviewed by Maricene Crus

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee