TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: O que acontece quando os computadores ficam mais inteligentes do que nós?
Filmed:
Readability: 4.4
4,632,705 views
A inteligência artificial está se tornando cada vez mais capaz a passos largos: segundo pesquisas, neste século, um computador com inteligência artificial poderia ser tão “esperto” como um ser humano. E então, afirma Nick Bostrom, ele vai nos ultrapassar: “A inteligência das máquinas será a última invenção que a humanidade precisará fazer.”. Filósofo e tecnólogo, Bostrom pede para pensarmos sobre o mundo que estamos construindo agora, impulsionado por máquinas pensantes. Será que nossas máquinas inteligentes vão nos ajudar a preservar a humanidade e nossos valores; ou será que terão seus próprios valores?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Eu trabalho com um grupo de matemáticos,
filósofos e cientistas da computação,
filósofos e cientistas da computação,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
e trocamos ideias sobre o futuro
da inteligência das máquinas,
da inteligência das máquinas,
00:21
among other things.
2
9986
2044
entre outras coisas.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Alguns consideram essas coisas
como ficção científica,
como ficção científica,
00:28
far out there, crazy.
4
16755
3101
muito irreais, malucas.
00:31
But I like to say,
5
19856
1470
Mas eu gosto de dizer:
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
certo, vamos olhar
a condição humana moderna.
a condição humana moderna.
00:36
(Laughter)
7
24930
1692
(Risos)
00:38
This is the normal way for things to be.
8
26622
2402
Este é o modo normal das coisas.
00:41
But if we think about it,
9
29024
2285
Mas se pensarmos bem,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
somos hóspedes
muito recentes deste planeta.
muito recentes deste planeta.
Nós, a espécie humana.
00:46
the human species.
11
34602
2082
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Imaginem que a Terra
tenha sido criada há um ano,
tenha sido criada há um ano,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
então a espécie humana
existiria apenas há 10 minutos.
existiria apenas há 10 minutos.
A era industrial teria começado
dois segundos atrás.
dois segundos atrás.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Outro modo de encarar isto é pensar
no PIB global dos últimos 10 mil anos.
no PIB global dos últimos 10 mil anos.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Eu me dei ao trabalho de colocar
isso num gráfico para vocês.
isso num gráfico para vocês.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
01:09
It looks like this.
17
57530
1774
Ele tem este aspecto.
(Risos)
01:11
(Laughter)
18
59304
1363
É uma forma curiosa
para uma condição normal.
para uma condição normal.
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Não gostaria de me sentar nele.
01:16
(Laughter)
21
64516
2551
(Risos)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Perguntemo-nos:
qual é a causa da anomalia atual?
qual é a causa da anomalia atual?
01:23
Some people would say it's technology.
23
71841
2552
Alguns diriam que é a tecnologia.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
É verdade,
a tecnologia tem se acumulado
através da história
através da história
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
e atualmente, ela avança
com extrema rapidez...
com extrema rapidez...
esta é a causa mais imediata,
01:35
that is the proximate cause,
26
83713
1565
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
e a razão de sermos
muito produtivos hoje em dia.
muito produtivos hoje em dia.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Mas gosto de buscar no passado distante
a causa fundamental de tudo.
a causa fundamental de tudo.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Observem estes dois distintos senhores:
Temos o Kanzi...
01:48
We have Kanzi --
30
96880
1600
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
ele domina 200 símbolos
de léxicos, um feito incrível.
de léxicos, um feito incrível.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
E Ed Witten, que desencadeou
a segunda revolução da supercorda.
a segunda revolução da supercorda.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Dentro do crânio,
eis o que descobriremos:
eis o que descobriremos:
essencialmente a mesma coisa.
02:01
basically the same thing.
34
109141
1570
02:02
One is a little larger,
35
110711
1813
Um deles é um pouco maior,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
pode ter alguns truques a mais,
devido à sua arquitetura.
devido à sua arquitetura.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Contudo, essas diferenças invisíveis,
não podem ser muito complicadas,
não podem ser muito complicadas,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
porque foram apenas 250 mil gerações
02:15
since our last common ancestor.
39
123379
1732
desde o último ancestral comum.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Sabemos que mecanismos complicados
levam muito tempo para evoluir.
levam muito tempo para evoluir.
Então um conjunto de pequenas mudanças
02:22
So a bunch of relatively minor changes
41
130000
2499
02:24
take us from Kanzi to Witten,
42
132499
3067
nos levam do Kanzi ao Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
de galhos de árvores quebrados
a mísseis balísticos intercontinentais.
a mísseis balísticos intercontinentais.
Parece bastante óbvio
que tudo que realizamos,
que tudo que realizamos,
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
02:36
and everything we care about,
45
144774
1378
e tudo o que prezamos
depende de modo crucial
depende de modo crucial
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
de mudanças relativamente pequenas
que fizeram a mente humana.
que fizeram a mente humana.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
E tem como consequência, é claro,
que quaisquer mudanças posteriores
que quaisquer mudanças posteriores
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
que possam alterar significativamente
o substrato do pensamento
o substrato do pensamento
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
poderiam ter enormes consequências.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Alguns colegas acham
que estamos muito próximos
que estamos muito próximos
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
de algo que poderia causar
uma profunda mudança no substrato,
uma profunda mudança no substrato,
03:03
and that is machine superintelligence.
52
171134
3213
que é a máquina superinteligente.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
A inteligência artificial costumava ser
colocar comandos em uma caixa.
colocar comandos em uma caixa.
03:11
You would have human programmers
54
179086
1665
Programadores humanos elaborariam
penosamente itens de conhecimento.
penosamente itens de conhecimento.
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
03:15
You build up these expert systems,
56
183886
2086
Construímos tais sistemas inteligentes
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
e eles eram úteis
para algumas finalidades,
para algumas finalidades,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
mas eram muito frágeis,
não podiam ser ampliados.
não podiam ser ampliados.
Essencialmente, obtinha-se deles
o que havia sido colocado neles.
o que havia sido colocado neles.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Desde então,
03:26
But since then,
60
194410
997
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
houve uma mudança de paradigma
no campo da inteligência artificial.
no campo da inteligência artificial.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Hoje, o esforço é voltado
à aprendizagem das máquinas.
à aprendizagem das máquinas.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Em vez de construirmos representações
do conhecimento e recursos,
do conhecimento e recursos,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
criamos algoritmos que aprendem,
quase sempre a partir
de dados não tratados de percepção.
de dados não tratados de percepção.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Basicamente a mesma coisa
que o bebê humano faz.
que o bebê humano faz.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
O resultado é IA que não se limita
a um único domínio,
a um único domínio,
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
o mesmo sistema pode aprender
a traduzir qualquer par de idiomas,
a traduzir qualquer par de idiomas,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
ou aprender a jogar qualquer game
de computador num console Atari.
de computador num console Atari.
04:05
Now of course,
69
233338
1779
Agora, é claro,
a IA ainda não está nada perto
de ter a mesma poderosa habilidade
de ter a mesma poderosa habilidade
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
de aprender e planejar em várias áreas,
como o ser humano.
como o ser humano.
O córtex ainda guarda
segredos de algoritmos
segredos de algoritmos
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
que ainda não sabemos
como reproduzir nas máquinas.
como reproduzir nas máquinas.
Então a questão é:
04:19
So the question is,
74
247886
1899
"Estamos muito longe de podermos
reproduzir essas proezas?"
reproduzir essas proezas?"
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
Há alguns anos, pesquisamos o que pensavam
os maiores especialistas em IA do mundo.
os maiores especialistas em IA do mundo.
04:26
A couple of years ago,
76
254245
1083
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
E uma das perguntas que fizemos foi:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
“Em qual ano você acha que haverá
50% de probabilidade
50% de probabilidade
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
de termos conseguido a inteligência
de máquinas com nível humano?"
de máquinas com nível humano?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Definimos o nível humano
como a habilidade de realizar
como a habilidade de realizar
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
quase toda tarefa pelo menos
tão bem quanto um adulto humano.
tão bem quanto um adulto humano.
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
Então, nível humano real,
não apenas em alguma área limitada.
não apenas em alguma área limitada.
E a resposta foi em média 2040 ou 2050,
04:51
And the median answer was 2040 or 2050,
84
279844
3650
dependendo do grupo
de especialistas consultado.
de especialistas consultado.
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Poderá acontecer muito mais tarde
ou mais cedo,
ou mais cedo,
05:02
the truth is nobody really knows.
87
290339
1940
a verdade é que ninguém sabe.
O que sabemos é que o último limite
do processamento da informação
do processamento da informação
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
em um substrato de máquina situa-se
bem além dos limites do tecido biológico.
bem além dos limites do tecido biológico.
05:15
This comes down to physics.
90
303241
2378
Isto pertence ao domínio da física.
Um neurônio dispara, talvez,
a 200 hertz, 200 vezes por segundo.
a 200 hertz, 200 vezes por segundo.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Até mesmo os transistores atuais operam
à frequência de gigahertz.
à frequência de gigahertz.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Os neurônios se propagam
lentamente nos axônios,
lentamente nos axônios,
no máximo a 100 metros por segundo.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Mas nos computadores,
os sinais viajam à velocidade da luz.
os sinais viajam à velocidade da luz.
Há também limitações de tamanho,
05:35
There are also size limitations,
95
323079
1869
como a do cérebro humano
ter que caber no crânio,
ter que caber no crânio,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
mas um computador pode ser do tamanho
de um armazém ou maior ainda.
de um armazém ou maior ainda.
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
Então o potencial para a superinteligência
de certa forma está latente na matéria,
de certa forma está latente na matéria,
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
do mesmo modo que o poder do átomo
permaneceu latente durante a história,
permaneceu latente durante a história,
05:56
patiently waiting there until 1945.
100
344047
4405
esperando pacientemente até 1945.
06:00
In this century,
101
348452
1248
Neste século, cientistas podem descobrir
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
como despertar
o poder da inteligência artificial.
o poder da inteligência artificial.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Eu penso que poderemos presenciar
uma explosão de inteligência.
uma explosão de inteligência.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Quando a maioria das pessoas pensa
sobre o que é inteligente ou estúpido,
sobre o que é inteligente ou estúpido,
acho que elas têm em mente
uma imagem como esta.
uma imagem como esta.
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
06:17
So at one end we have the village idiot,
106
365386
2598
Num extremo tem-se um idiota
06:19
and then far over at the other side
107
367984
2483
e lá longe, no outro extremo,
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
temos o Ed Witten, ou Albert Einstein,
ou o seu guru favorito.
ou o seu guru favorito.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Mas penso que do ponto de vista
da inteligência artificial,
da inteligência artificial,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
é mais provável
que o quadro real seja assim:
que o quadro real seja assim:
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
a IA começa neste ponto,
na ausência de inteligência,
na ausência de inteligência,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
e então, após muitos anos
de trabalho bastante duro,
de trabalho bastante duro,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
talvez cheguemos ao nível
de inteligência de um rato,
de inteligência de um rato,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
algo capaz de se mover
em ambientes desorganizados
em ambientes desorganizados
06:47
as well as a mouse can.
115
395921
1987
tão bem quanto um rato.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
E a seguir, após muitos anos
de trabalho duro, de muito investimento,
de trabalho duro, de muito investimento,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
talvez cheguemos ao nível
da inteligência de um chimpanzé.
da inteligência de um chimpanzé.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
E depois de ainda muito mais anos
de trabalho realmente árduo,
de trabalho realmente árduo,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
atinjamos a inteligência artificial
de um idiota.
de um idiota.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Alguns momentos mais tarde,
estamos além de Ed Witten.
estamos além de Ed Witten.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
O trem não para
na Estação Cidade da Humanidade.
na Estação Cidade da Humanidade.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
É provável que passe zunindo, sem parar.
07:14
Now this has profound implications,
123
422247
1984
Isso tem implicações profundas,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
particularmente no que se refere
a questões de poder.
a questões de poder.
07:20
For example, chimpanzees are strong --
125
428093
1899
Por exemplo, um chimpanzé é
duas vezes mais forte
duas vezes mais forte
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
do que um humano do sexo masculino
e em boa forma física.
e em boa forma física.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Apesar disso, o destino de Kanzi
e seus amigos depende muito mais
e seus amigos depende muito mais
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
do que fazem os humanos
e não do que fazem os chimpanzés.
e não do que fazem os chimpanzés.
07:37
Once there is superintelligence,
129
445228
2314
Quando houver a superinteligência,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
o destino da humanidade pode depender
do que a superinteligência fizer.
do que a superinteligência fizer.
Pensem nisso.
07:44
Think about it:
131
452451
1057
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
Máquina inteligente é a última invenção
que a humanidade precisará fazer.
que a humanidade precisará fazer.
As máquinas então serão
melhores inventoras do que nós
melhores inventoras do que nós
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
e elas o farão
numa escala de tempo digital.
numa escala de tempo digital.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Basicamente significa fazer
o futuro ficar mais próximo.
o futuro ficar mais próximo.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Imaginem todas as possíveis
tecnologias malucas
tecnologias malucas
que os humanos poderiam ter desenvolvido
num longo espaço de tempo:
num longo espaço de tempo:
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
08:07
cures for aging, space colonization,
138
475322
3258
curas para o envelhecimento,
a colonização do espaço,
a colonização do espaço,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
robôs autorreplicantes, ou fazer o upload
de mentes em computadores,
de mentes em computadores,
tudo coisas do repertório
da ficção científica
da ficção científica
08:14
all kinds of science fiction-y stuff
140
482311
2159
embora consistentes com as leis da física.
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
Tudo isso a superinteligência
pode desenvolver
pode desenvolver
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
e talvez bem rapidamente.
Uma inteligência assim tão desenvolvida
seria extremamente poderosa
seria extremamente poderosa
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
08:28
would be extremely powerful,
144
496007
2179
e pelo menos em certas situações,
seria capaz de obter o que desejasse.
seria capaz de obter o que desejasse.
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
O nosso futuro seria determinado
pelas preferências da IA.
pelas preferências da IA.
Qual seriam essas preferências?
É uma boa pergunta.
É uma boa pergunta.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
08:46
Here it gets trickier.
148
514244
1769
É aqui que a coisa se complica.
08:48
To make any headway with this,
149
516013
1435
Para prosseguirmos com isto,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
primeiro devemos evitar
a antropomorfização.
a antropomorfização.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
E é irônico, pois toda matéria de revista
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
sobre o futuro da IA
publica um fotografia assim.
publica um fotografia assim.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Eu acho que precisamos considerar
a questão mais abstratamente,
a questão mais abstratamente,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
não em termos hollywoodianos.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Precisamos pensar na inteligência
como um processo de otimização
como um processo de otimização
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
que direciona o futuro
para um conjunto específco
de configurações.
de configurações.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Uma superinteligência é
um poderoso processo de otimização.
um poderoso processo de otimização.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
É extremamente eficiente
em usar os recursos disponíveis
em usar os recursos disponíveis
para atingir seu objetivo.
09:26
in which its goal is realized.
159
554098
1909
Quer dizer que não há necessária ligação
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
09:31
being highly intelligent in this sense,
161
559119
2734
entre ser muito inteligente neste sentido,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
e ter um objetivo que os humanos
julgariam valer a pena ou ser importante.
julgariam valer a pena ou ser importante.
Suponham que déssemos a uma IA
o objetivo de fazer as pessoas sorrirem.
o objetivo de fazer as pessoas sorrirem.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Quando a IA é fraca, ela realiza
ações úteis ou engraçadas
ações úteis ou engraçadas
09:46
that cause its user to smile.
165
574097
2517
que fazem o usuário sorrir.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Quando a IA se torna superinteligente,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
ela percebe que há um modo
mais eficiente de atingir o objetivo:
mais eficiente de atingir o objetivo:
09:54
take control of the world
168
582554
1922
assume o controle do mundo
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
e introduz eletrodos nos músculos
das faces das pessoas
das faces das pessoas
09:59
to cause constant, beaming grins.
170
587638
2941
provocando sorrisos
constantes e radiantes.
constantes e radiantes.
Outro exemplo:
suponham que atribuamos à IA
suponham que atribuamos à IA
10:02
Another example,
171
590579
1035
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
a meta de resolver
um problema matemático difícil.
um problema matemático difícil.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Quando a IA se torna superinteligente,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
ela percebe que o modo mais eficiente
de obter a solução do problema
de obter a solução do problema
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
é transformar o planeta
em um computador gigantesco,
em um computador gigantesco,
10:16
so as to increase its thinking capacity.
176
604035
2246
para aumentar sua capacidade de pensar.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
E notem que isso dá às IAs
uma razão instrumental para fazerem coisas
uma razão instrumental para fazerem coisas
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
com as quais talvez não concordássemos.
10:23
Human beings in this model are threats,
179
611561
1935
Neste modelo, os humanos são ameaças
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
que poderiam impedir a solução
do problema matemático.
do problema matemático.
É evidente que não haverá
problemas desta natureza;
problemas desta natureza;
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
estes são exemplos de desenho animado.
10:32
these are cartoon examples.
182
620701
1753
10:34
But the general point here is important:
183
622454
1939
Mas a questão mais geral é importante:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
se criarmos um processo de otimização
realmente poderoso,
realmente poderoso,
10:39
to maximize for objective x,
185
627266
2234
otimizado para o objetivo x,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
é bom ter certeza
de que a sua definição de x
de que a sua definição de x
10:43
incorporates everything you care about.
187
631776
2469
incorpora tudo o que lhe interessa.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Esta lição também é ensinada
como um mito.
como um mito.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
O rei Midas deseja que tudo que ele tocar
transforme-se em ouro.
transforme-se em ouro.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Ele toca sua filha
e ela se transforma em ouro.
e ela se transforma em ouro.
10:59
He touches his food, it turns into gold.
191
647378
2553
Ele toca sua comida e ela vira ouro.
11:01
This could become practically relevant,
192
649931
2589
Isto poderia tornar-se relevante
em termos práticos,
em termos práticos,
11:04
not just as a metaphor for greed,
193
652520
2070
não apenas uma metáfora para a ganância,
mas uma ilustração do que acontece
mas uma ilustração do que acontece
11:06
but as an illustration of what happens
194
654590
1895
quando se cria um processo
poderoso de otimização
poderoso de otimização
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
e se fornecem objetivos incompreensíveis
ou especificados sem clareza.
ou especificados sem clareza.
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
Poderíamos dizer que,
se um computador puser eletrodos
se um computador puser eletrodos
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
nas faces das pessoas,
bastaria desligá-lo.
bastaria desligá-lo.
11:21
we'd just shut it off.
198
669300
2265
A: isso não é necessariamente
fácil de fazer
fácil de fazer
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
se nos tormanos dependentes do sistema,
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
por exemplo: onde fica o botão
para desligar a Internet?
para desligar a Internet?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
B: por que os chimpanzés ou os neandertais
não interroperam voluntariamente
sua evolução para a humanidade?
sua evolução para a humanidade?
11:37
or the Neanderthals?
202
685747
1551
Eles certamente tiveram motivos para isso.
11:39
They certainly had reasons.
203
687298
2666
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Por exemplo, não temos
uma chave para desligar aqui.
uma chave para desligar aqui.
11:44
(Choking)
205
692759
1554
(Engasgando)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
É que somos um adversário inteligente;
podemos antecipar as ameaças
e planejar levando-as em conta.
e planejar levando-as em conta.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
11:51
But so could a superintelligent agent,
208
699966
2504
Mas um agente superinteligente
também poderia fazê-lo
também poderia fazê-lo
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
e muito melhor do que nós.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Não deveríamos confiar
que temos tudo sob o nosso controle.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Poderíamos tornar nossa tarefa
um pouco mais fácil, digamos,
um pouco mais fácil, digamos,
protegendo a IA num ambiente
de software seguro,
de software seguro,
12:08
putting the A.I. in a box,
212
716358
1590
12:09
like a secure software environment,
213
717948
1796
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
uma simulação de realidade virtual
da qual ela não possa escapar.
da qual ela não possa escapar.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Mas como termos certeza
de que a IA não descobriria uma brecha?
de que a IA não descobriria uma brecha?
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Visto que os hackers
encontram falhas a toda hora,
encontram falhas a toda hora,
eu diria que não temos muita certeza.
12:22
I'd say, probably not very confident.
217
730081
3036
Então desconectaríamos o cabo Ethernet
para criar um “air gap",
para criar um “air gap",
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
mas de novo, os hackers
transgridem rotineiramebte os air gaps
transgridem rotineiramebte os air gaps
12:30
but again, like merely human hackers
219
738785
2668
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
usando a engenharia social.
12:36
Right now, as I speak,
221
744834
1259
Enquanto eu falo,
tenho certeza de que algum funcionário
tenho certeza de que algum funcionário
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
foi convencido a revelar
os detalhes de sua conta
os detalhes de sua conta
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
para alguém que dizia ser
do departamento de TI.
do departamento de TI.
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
Situações mais criativas
também são possíveis,
também são possíveis,
12:46
More creative scenarios are also possible,
225
754574
2127
como se você for a IA,
pode imaginar colocar muitos eletrodos
pode imaginar colocar muitos eletrodos
12:48
like if you're the A.I.,
226
756701
1315
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
no circuito de segurança interna
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
para criar ondas de rádio
que podem ser usadas para comunicação.
que podem ser usadas para comunicação.
Ou talvez pudesse fingir um defeito
e quando os programadores lhe abrissem
e quando os programadores lhe abrissem
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
para investigar o que está errado
eles veriam o código-fonte, bum!
eles veriam o código-fonte, bum!
13:02
they look at the source code -- Bam! --
231
770931
1936
A manipulação pode acontecer.
13:04
the manipulation can take place.
232
772867
2447
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Ou poderia imprimir um projeto
de tecnologia muito elegante,
de tecnologia muito elegante,
13:10
and when we implement it,
234
778744
1398
e quando o implementássemos,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
ele teria efeitos colaterais ocultos
que a IA houvera planejado.
que a IA houvera planejado.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
A questão é que não deveríamos
confiar na nossa capacidade
confiar na nossa capacidade
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
de manter um gênio superinteligente
preso para sempre em uma garrafa.
preso para sempre em uma garrafa.
Mais cedo ou mais tarde ele escapará.
13:23
Sooner or later, it will out.
238
791810
2254
Acredito que a solução é descobrir
como criar uma IA superinteligente
como criar uma IA superinteligente
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
que mesmo se, ou quando, ela escapar,
ainda seja segura,
ainda seja segura,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
porque no fundo está do nosso lado,
pois compartilha nossos valores.
pois compartilha nossos valores.
13:38
because it shares our values.
242
806438
1899
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Não vejo como evitar
este problema difícil.
este problema difícil.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Estou razoavelmente otimista
que este problema pode ser resolvido.
que este problema pode ser resolvido.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Não teríamos que fazer uma lista grande
de todas as coisas relevantes
de todas as coisas relevantes
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
ou pior ainda, escrevê-las
em alguma linguagem de computador
em alguma linguagem de computador
13:55
like C++ or Python,
247
823937
1454
como C++ ou Python,
que seria uma tarefa muito irritante.
que seria uma tarefa muito irritante.
13:57
that would be a task beyond hopeless.
248
825391
2767
Em vez disso, criaríamos
uma IA que usa sua inteligência
uma IA que usa sua inteligência
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
14:04
to learn what we value,
250
832455
2771
para aprender o que valorizamos.
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
E seu sistema de motivação
seria construído
seria construído
de modo que ela fosse incentivada
a obedecer aos nossos valores
ou realizar ações
ou realizar ações
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
que ela previsse
que teriam nossa aprovação.
que teriam nossa aprovação.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Assim, aumentaríamos sua inteligência
o mais que pudéssemos
o mais que pudéssemos
14:21
to solve the problem of value-loading.
254
849152
2745
para resolver o problema
de passar-lhe os nossos valores.
de passar-lhe os nossos valores.
Isso pode acontecer
14:24
This can happen,
255
852727
1512
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
e o resultado pode ser
muito bom para a humanidade.
muito bom para a humanidade.
14:29
But it doesn't happen automatically.
257
857835
3957
Mas não acontece automaticamente.
As condições inicias
para a explosão da inteligência
para a explosão da inteligência
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
podem precisar sofrer um ajuste
no modo correto
no modo correto
se quisermos uma detonação controlada.
14:39
if we are to have a controlled detonation.
260
867653
3530
Os valores da IA devem
coincidir com os nossos,
coincidir com os nossos,
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
não apenas no contexto conhecido,
14:45
not just in the familiar context,
262
873801
1760
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
no qual podemos facilmente verificar
como a IA se comporta,
como a IA se comporta,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
mas também em todos os novos contextos
que a IA pode encontrar
que a IA pode encontrar
14:53
in the indefinite future.
265
881233
1557
no futuro indefinido.
E há também questões esotéricas
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
que precisariam ser resolvidas:
detalhes exatos de sua teoria de decisão,
detalhes exatos de sua teoria de decisão,
14:59
the exact details of its decision theory,
267
887527
2089
como lidar com a incerteza lógica
e assim por diante.
e assim por diante.
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
Então, os problemas técnicos
que devem ser resolvidos
que devem ser resolvidos
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
para que isso funcione
parecem muito difíceis,
parecem muito difíceis,
15:08
look quite difficult --
270
896432
1113
não tão difíceis quanto construir
uma IA superinteligente,
uma IA superinteligente,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
mas razoavelmente difíceis.
15:12
but fairly difficult.
272
900925
2868
Eis a preocupação:
15:15
Here is the worry:
273
903793
1695
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
construir IA superinteligente
é um desafio muito grande.
é um desafio muito grande.
Construir IA superinteligente segura
15:22
Making superintelligent A.I. that is safe
275
910172
2548
envolve desafio adicional.
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
O risco é de alguém descobrir
como vencer o primeiro desafio
como vencer o primeiro desafio
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
sem que também tenha vencido
o desafio adicional
o desafio adicional
15:34
of ensuring perfect safety.
279
922704
1901
de garantir uma segurança perfeita.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Eu acredito que deveríamos
procurar uma solução antecipada
para o problema do controle,
para o problema do controle,
15:40
to the control problem in advance,
281
928706
2822
para que esteja à mão
quando precisarmos dela.
quando precisarmos dela.
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
Pode ser que não consigamos resolver
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
o problema do controle antecipado
talvez porque alguns elementos
talvez porque alguns elementos
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
só possam ser colocados quando conhecermos
os detalhes da arquitetura
os detalhes da arquitetura
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
onde será implementado.
Quanto mais antecipadamente resolvermos
o problema do controle,
o problema do controle,
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
maiores serão as chances
de que a transição
de que a transição
para a era da máquina inteligente
será bem-sucedida.
será bem-sucedida.
16:04
will go well.
288
952766
1540
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Para mim, parece algo
que vale a pena ser feito
que vale a pena ser feito
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
e posso imaginar
que se as coisas correrem bem,
que se as coisas correrem bem,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
e as pessoas daqui a 1 milhão de anos
se lembrarem deste século,
se lembrarem deste século,
pode ser que elas digam que a única coisa
que fizemos e que realmente valeu a pena
que fizemos e que realmente valeu a pena
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
foi fazer isso do jeito correto.
16:22
was to get this thing right.
293
970942
1567
Obrigado.
16:24
Thank you.
294
972509
1689
(Aplausos)
16:26
(Applause)
295
974198
2813
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com