TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Cosa succede quando i computer diventano più intelligenti di noi?
Filmed:
Readability: 4.4
4,632,705 views
L'Intelligenza Artificiale sta facendo passi da gigante: entro questo secolo, sostengono gli esperti, un'intelligenza artificiale potrebbe essere tanto "intelligente" quanto un essere umano. E a quel punto, dice Nick Bostrom, prenderà il controllo: nelle sue parole, "L'intelligenza artificiale è l'ultima invenzione che l'umanità dovrà fare." Filosofo e tecnologo, Bostrom ci chiede di pensare seriamente al mondo, governato da macchine pensanti, che stiamo costruendo. Queste macchine intelligenti ci aiuteranno a preservare la nostra umanità e i nostri valori, o avranno valori tutti loro?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Lavoro con molti matematici,
filosofi e informatici.
filosofi e informatici.
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
Ci sediamo e pensiamo
al futuro dell'Intelligenza Artificiale,
al futuro dell'Intelligenza Artificiale,
tra le altre cose.
00:21
among other things.
2
9986
2044
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Alcuni pensano che alcune di queste cose
siano roba di fantascienza,
siano roba di fantascienza,
di là da venire, folli.
00:28
far out there, crazy.
4
16755
3101
Ma a me piace dire,
00:31
But I like to say,
5
19856
1470
okay, diamo un'occhiata
alla condizione dell'uomo moderno.
alla condizione dell'uomo moderno.
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
00:36
(Laughter)
7
24930
1692
(Risate)
È così che vanno le cose, "normalmente".
00:38
This is the normal way for things to be.
8
26622
2402
Ma se ci pensiamo,
00:41
But if we think about it,
9
29024
2285
in realtà noi umani non siamo ospiti
di questo pianeta da molto tempo.
di questo pianeta da molto tempo.
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
00:46
the human species.
11
34602
2082
Pensate, se la Terra
fosse stata creata un anno fa,
fosse stata creata un anno fa,
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
la specie umana esisterebbe
da soli 10 minuti.
da soli 10 minuti.
L'era industriale
sarebbe iniziata due secondi fa.
sarebbe iniziata due secondi fa.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Un altro modo di vederlo è pensare
al PIL mondiale negli ultimi 10.000 anni:
al PIL mondiale negli ultimi 10.000 anni:
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
mi sono permesso
di mostrarvelo in un grafico.
di mostrarvelo in un grafico.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
01:09
It looks like this.
17
57530
1774
L'andamento è questo.
(Risate)
01:11
(Laughter)
18
59304
1363
Strana curva,
per una condizione normale.
per una condizione normale.
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Certo non vorrei sedermi lì.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
(Risate)
01:16
(Laughter)
21
64516
2551
Chiediamoci, qual è la causa
di questa anomalia?
di questa anomalia?
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Alcuni direbbero che è la tecnologia.
01:23
Some people would say it's technology.
23
71841
2552
Ed è vero, la tecnologia si è accumulata
nel corso della storia umana,
nel corso della storia umana,
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
e ora procede ad un ritmo
estremamente rapido -
estremamente rapido -
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
questa è la causa più immediata,
01:35
that is the proximate cause,
26
83713
1565
il motivo per cui ora
siamo così produttivi.
siamo così produttivi.
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
Ma vorrei andare a ritroso
fino alla causa fondamentale.
fino alla causa fondamentale.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Guardate questi due signori,
molto diversi tra loro:
molto diversi tra loro:
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
01:48
We have Kanzi --
30
96880
1600
Abbiamo Kanzi --
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
che padroneggia 200 elementi lessicali,
una caratteristica incredibile.
una caratteristica incredibile.
E lui è Ed Witten, che ha lanciato
la 2° rivoluzione delle superstringhe.
la 2° rivoluzione delle superstringhe.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
Guardando sotto la fronte,
ecco cosa troviamo:
ecco cosa troviamo:
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
essenzialmente la stessa cosa.
02:01
basically the same thing.
34
109141
1570
Sì, una è un po' più larga,
02:02
One is a little larger,
35
110711
1813
forse è anche cablata un po' meglio.
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
Tuttavia, queste differenze invisibili
non possono essere troppo complicate
non possono essere troppo complicate
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
perché sono passate
solo 250.000 generazioni
solo 250.000 generazioni
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
dall'ultimo progenitore comune.
02:15
since our last common ancestor.
39
123379
1732
E sappiamo che i meccanismi complicati
richiedono molto tempo per evolversi.
richiedono molto tempo per evolversi.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
02:22
So a bunch of relatively minor changes
41
130000
2499
Una manciata di modifiche minori,
quindi, è bastata
quindi, è bastata
a portarci da Kanzi a Witten,
02:24
take us from Kanzi to Witten,
42
132499
3067
dai rami spezzati
ai missili balistici intercontinentali.
ai missili balistici intercontinentali.
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
Sembra quindi abbastanza ovvio
che tutto ciò che abbiamo conquistato,
che tutto ciò che abbiamo conquistato,
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
e a cui diamo valore,
02:36
and everything we care about,
45
144774
1378
derivi sostanzialmente da alcuni ritocchi
che hanno prodotto la mente umana.
che hanno prodotto la mente umana.
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
E il corollario, ovviamente,
è che ogni modifica ulteriore
è che ogni modifica ulteriore
che possa cambiare sostanzialmente
il substrato del pensiero
il substrato del pensiero
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
potrebbe avere conseguenze
potenzialmente enormi.
potenzialmente enormi.
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
Alcuni dei miei colleghi ritengono
che siamo alla vigilia
che siamo alla vigilia
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
di qualcosa che potrebbe causare
un profondo cambiamento in quel substrato,
un profondo cambiamento in quel substrato,
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
e quel qualcosa
è la superintelligenza artificiale.
è la superintelligenza artificiale.
03:03
and that is machine superintelligence.
52
171134
3213
L'Intelligenza Artificiale, un tempo,
consisteva nel dare comandi a una scatola.
consisteva nel dare comandi a una scatola.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
C'erano programmatori umani
03:11
You would have human programmers
54
179086
1665
che elaboravano "manualmente",
con fatica, tasselli di conoscenza.
con fatica, tasselli di conoscenza.
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
Si costruivano questi sistemi esperti
03:15
You build up these expert systems,
56
183886
2086
che erano utili per qualche scopo,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
ma erano molto "fragili",
difficili da espandere.
difficili da espandere.
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
Sostanzialmente ottenevi
solo quello che inserivi.
solo quello che inserivi.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
03:26
But since then,
60
194410
997
Ma da allora
c'è stata una rivoluzione
nel settore dell'Intelligenza Artificiale.
nel settore dell'Intelligenza Artificiale.
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
Oggi, siamo concentrati
sull'apprendimento macchina.
sull'apprendimento macchina.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Invece di inserire a mano rappresentazioni
e caratteristiche della conoscenza,
e caratteristiche della conoscenza,
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
creiamo algoritmi che apprendono,
spesso da dati percettivi grezzi.
spesso da dati percettivi grezzi.
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
In pratica, la stessa cosa
che fa un bambino.
che fa un bambino.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Il risultato è un'intelligenza artificiale
che non si limita a un solo settore:
che non si limita a un solo settore:
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
lo stesso sistema può imparare
a tradurre tra ogni coppia di linguaggi,
a tradurre tra ogni coppia di linguaggi,
o imparare a giocare
ogni gioco della consolle Atari.
ogni gioco della consolle Atari.
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
Naturalmente,
04:05
Now of course,
69
233338
1779
L'IA non è ancora neanche vicina
alla potente, interdisciplinare
alla potente, interdisciplinare
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
capacità di imparare e progettare
di un essere umano.
di un essere umano.
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
La corteccia ha ancora
vantaggi algoritmici
vantaggi algoritmici
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
che non sappiamo riprodurre
nelle macchine.
nelle macchine.
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
Quindi la domanda è,
04:19
So the question is,
74
247886
1899
quanto manca, prima che le macchine
riescano a recuperare questi vantaggi?
riescano a recuperare questi vantaggi?
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
Un paio di anni fa,
04:26
A couple of years ago,
76
254245
1083
abbiamo fatto un sondaggio
ad alcuni esperti mondiali di IA
ad alcuni esperti mondiali di IA
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
per vedere cosa pensassero,
e una delle domande fu:
e una delle domande fu:
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"Entro quale anno pensate
che vi sia una probabilità del 50%
che vi sia una probabilità del 50%
di ottenere un'intelligenza artificiale
di livello umano?"
di livello umano?"
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
Qui definiamo "di livello umano"
l'abilità di eseguire
l'abilità di eseguire
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
quasi ogni lavoro almeno tanto bene
quanto un umano,
quanto un umano,
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
quindi di livello veramente umano,
non solo in qualche dominio limitato.
non solo in qualche dominio limitato.
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
E la risposta mediana fu 2040 o 2050,
04:51
And the median answer was 2040 or 2050,
84
279844
3650
a seconda del gruppo di esperti
a cui chiedevamo.
a cui chiedevamo.
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Potrebbe avvenire molto,
molto più tardi, o prima,
molto più tardi, o prima,
la realtà è che nessuno lo sa davvero.
05:02
the truth is nobody really knows.
87
290339
1940
Quello che sappiamo è che il limite
all'elaborazione di informazioni
all'elaborazione di informazioni
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
su un substrato artificale va molto
al di là dei limiti dei tessuti biologici.
al di là dei limiti dei tessuti biologici.
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
Le ragioni si trovano nella fisica.
05:15
This comes down to physics.
90
303241
2378
Un neurone biologico spara, forse,
a 200 Hertz, 200 volte al secondo.
a 200 Hertz, 200 volte al secondo.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Ma un transistor dei giorni nostri
opera a GigaHertz.
opera a GigaHertz.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
I neuroni si propagano lentamente lungo
gli assoni, a massimo 100 mt/s.
gli assoni, a massimo 100 mt/s.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Ma un computer può instradare
i segnali alla velocità della luce.
i segnali alla velocità della luce.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Ci sono inoltre limiti dimensionali:
05:35
There are also size limitations,
95
323079
1869
un cervello umano deve stare
all'interno di un cranio,
all'interno di un cranio,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
mentre un computer può essere grande
come un magazzino, o di più.
come un magazzino, o di più.
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
Il potenziale della superintelligenza,
quindi, giace nella materia,
quindi, giace nella materia,
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
proprio come la forza dell'atomo
si è nascosta nella storia umana,
si è nascosta nella storia umana,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
attendendo paziente il 1945.
05:56
patiently waiting there until 1945.
100
344047
4405
In questo secolo,
06:00
In this century,
101
348452
1248
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
gli scienziati potrebbero imparare
a scatenare l'intelligenza artificiale.
a scatenare l'intelligenza artificiale.
E penso che a quel punto potremmo
osservare un'esplosione di intelligenza.
osservare un'esplosione di intelligenza.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
La maggior parte delle persone,
quando pensano al genio e all'idiozia,
quando pensano al genio e all'idiozia,
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
penso che abbiano in mente più o meno
un'immagine come questa.
un'immagine come questa.
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
Abbiamo lo scemo del villaggio
ad un estremo,
ad un estremo,
06:17
So at one end we have the village idiot,
106
365386
2598
e in posizione diametralmente opposta
06:19
and then far over at the other side
107
367984
2483
abbiamo Ed Witten, Albert Einstein
o un altro vostro guru preferito.
o un altro vostro guru preferito.
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
Ma penso che dal punto di vista
dell'intelligenza artificiale,
dell'intelligenza artificiale,
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
la vera immagine somigli
più probabilmente a questa:
più probabilmente a questa:
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
l'IA inizia qui, a zero intelligenza,
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
e poi, dopo molti, molti anni
di lavoro veramente duro,
di lavoro veramente duro,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
alla fine forse arriviamo
al livello di intelligenza di un topo,
al livello di intelligenza di un topo,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
qualcosa che possa navigare
in ambienti complessi
in ambienti complessi
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
bene quanto un topo.
06:47
as well as a mouse can.
115
395921
1987
E poi, dopo molti, molti anni
di duro lavoro, e molti investimenti,
di duro lavoro, e molti investimenti,
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
forse alla fine arriviamo a un'IA
intelligente come uno scimpanzé.
intelligente come uno scimpanzé.
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
E poi, dopo ancora molti,
molti anni di lavoro massacrante,
molti anni di lavoro massacrante,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
arriviamo a un'IA al livello
di uno scemo del villaggio.
di uno scemo del villaggio.
E pochi istanti dopo,
avremo sorpassato Ed Witten.
avremo sorpassato Ed Witten.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Il treno non si fermerà a Umanopoli.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
È più probabile che sfrecci oltre, invece.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Questo ha implicazioni profonde,
07:14
Now this has profound implications,
123
422247
1984
soprattutto quando si parla di potere.
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
Gli scimpanzé, ad esempio, sono forti--
07:20
For example, chimpanzees are strong --
125
428093
1899
circa il doppio di un maschio umano
in buona forma fisica.
in buona forma fisica.
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
E tuttavia, il destino di Kanzi
e dei suoi pari dipende molto di più
e dei suoi pari dipende molto di più
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
dalle nostre azioni che dalle loro.
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
Quando arriverà la superintelligenza,
07:37
Once there is superintelligence,
129
445228
2314
anche il nostro destino
potrebbe dipenderne.
potrebbe dipenderne.
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
Pensateci:
07:44
Think about it:
131
452451
1057
L'IA è l'ultima invenzione
che l'umanità dovrà mai creare.
che l'umanità dovrà mai creare.
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
Le macchine saranno
inventori migliori di noi,
inventori migliori di noi,
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
e agiranno in tempi "digitali".
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
Questo significa sostanzialmente
un "avvicinamento" del futuro.
un "avvicinamento" del futuro.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Pensate a tutte le tecnologie folli
che forse, a vostro avviso,
che forse, a vostro avviso,
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
gli umani potrebbero sviluppare:
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
cure per l'invecchiamento,
colonizzazione spaziale,
colonizzazione spaziale,
08:07
cures for aging, space colonization,
138
475322
3258
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
nanobot auto-replicanti,
caricare le proprie menti in un computer.
caricare le proprie menti in un computer.
Ogni sorta di roba fantascientifica
08:14
all kinds of science fiction-y stuff
140
482311
2159
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
e nondimeno permessa dalla fisica.
Una superintelligenza potrebbe sviluppare
tutto questo, e forse molto rapidamente.
tutto questo, e forse molto rapidamente.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Una superintelligenza
con una tale maturità tecnologica
con una tale maturità tecnologica
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
sarebbe estremamente potente,
08:28
would be extremely powerful,
144
496007
2179
e almeno in qualche scenario,
potrebbe ottenere quel che vuole.
potrebbe ottenere quel che vuole.
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
A quel punto avremmo un futuro
modellato sulle preferenze dell'IA.
modellato sulle preferenze dell'IA.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Una buona domanda a quel punto è:
quali sono queste preferenze?
quali sono queste preferenze?
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Qui la cosa si fa intricata.
08:46
Here it gets trickier.
148
514244
1769
Per trovare una via d'uscita,
08:48
To make any headway with this,
149
516013
1435
dobbiamo prima di tutto
evitare l'antropomorfizzazione.
evitare l'antropomorfizzazione.
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
Ed è ironico perché
ogni articolo di giornale
ogni articolo di giornale
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
sul futuro dell'IA
ha un'immagine come questa.
ha un'immagine come questa.
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Quindi penso che dovremmo concepire
la questione in modo più astratto,
la questione in modo più astratto,
non come un film di Hollywood.
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
Dobbiamo pensare all'intelligenza
come a un processo di ottimizzazione,
come a un processo di ottimizzazione,
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
un processo che dirige il futuro verso
un particolare set di configurazioni.
un particolare set di configurazioni.
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Una superintelligenza è un processo
di ottimizzazione davvero potente.
di ottimizzazione davvero potente.
È estremamente capace
di usare i mezzi disponibili
di usare i mezzi disponibili
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
per ottenere una condizione
in cui i suoi scopi sono realizzati.
in cui i suoi scopi sono realizzati.
09:26
in which its goal is realized.
159
554098
1909
Quindi non c'è necessariamente
una connessione
una connessione
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
tra l'essere molto intelligenti
in questo senso
in questo senso
09:31
being highly intelligent in this sense,
161
559119
2734
e avere un obiettivo che noi umani
riterremmo degno o significativo.
riterremmo degno o significativo.
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
Supponiamo di dare all'AI
l'obiettivo di far sorridere gli umani.
l'obiettivo di far sorridere gli umani.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Un'IA debole si limiterebbe
a eseguire azioni utili o divertenti,
a eseguire azioni utili o divertenti,
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
che fanno sorridere il suo utente.
09:46
that cause its user to smile.
165
574097
2517
Quando l'IA diventa superintelligente,
09:48
When the A.I. becomes superintelligent,
166
576614
2417
capisce che c'è un modo più efficace
di ottenere questo scopo:
di ottenere questo scopo:
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
prendere il controllo del mondo,
09:54
take control of the world
168
582554
1922
e infilare elettrodi
nei muscoli facciali degli umani,
nei muscoli facciali degli umani,
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
causando una costante,
accattivante smorfia.
accattivante smorfia.
09:59
to cause constant, beaming grins.
170
587638
2941
Un altro esempio:
supponiamo di dare all'IA
supponiamo di dare all'IA
10:02
Another example,
171
590579
1035
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
un problema matematico duro da risolvere.
Quando l'IA diventa superintelligente,
10:06
When the A.I. becomes superintelligent,
173
594997
1937
capisce che il modo più efficace
di ottenere la soluzione al problema
di ottenere la soluzione al problema
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
è trasformare il pianeta
in un computer gigantesco,
in un computer gigantesco,
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
così da aumentare
la sua capacità di pensiero.
la sua capacità di pensiero.
10:16
so as to increase its thinking capacity.
176
604035
2246
E notate: questo dà all'IA
una ragione strumentale
una ragione strumentale
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
per farci subire cose
che potremmo non approvare.
che potremmo non approvare.
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
Gli umani diventerebbero una minaccia,
10:23
Human beings in this model are threats,
179
611561
1935
perché potremmo impedire
la scoperta della soluzione.
la scoperta della soluzione.
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
Ovviamente, non è detto che le cose
andranno male in questo preciso modo;
andranno male in questo preciso modo;
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
sono esempi da cartone animato.
10:32
these are cartoon examples.
182
620701
1753
Ma è importante cogliere il punto:
10:34
But the general point here is important:
183
622454
1939
se create un processo
di ottimizzazione davvero potente
di ottimizzazione davvero potente
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
che massimizzi l'obiettivo x,
10:39
to maximize for objective x,
185
627266
2234
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
sinceratevi che la vostra definizione di x
includa tutto ciò a cui tenete.
10:43
incorporates everything you care about.
187
631776
2469
È una lezione tramandata
da molti miti, anche.
da molti miti, anche.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Re Mida voleva trasformare in oro
tutto ciò che toccava.
tutto ciò che toccava.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Tocca sua figlia, e la trasforma in oro.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Tocca il suo cibo, si trasforma in oro.
10:59
He touches his food, it turns into gold.
191
647378
2553
È un esempio che potremmo
considerare pregnante:
considerare pregnante:
11:01
This could become practically relevant,
192
649931
2589
11:04
not just as a metaphor for greed,
193
652520
2070
non solo come metafora dell'avidità,
11:06
but as an illustration of what happens
194
654590
1895
ma anche perché illustra cosa succede
se create un potente processo
di ottimizzazione
di ottimizzazione
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
e gli affidate obiettivi indesiderabili,
o male specificati.
o male specificati.
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
Be', mi direte, se un computer inizia
a infilare elettrodi in faccia alla gente,
a infilare elettrodi in faccia alla gente,
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
11:21
we'd just shut it off.
198
669300
2265
basta spegnerlo.
[Le mie obiezioni sono due:]
A, non è detto che sia così semplice,
se diventiamo dipendenti dal sistema --
se diventiamo dipendenti dal sistema --
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
per esempio, dov'è l'interuttore
per spegnere Internet?
per spegnere Internet?
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
B, perché gli scimpanzé non hanno
staccato l'interruttore dell'umanità,
staccato l'interruttore dell'umanità,
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
o i Neanderthal?
11:37
or the Neanderthals?
202
685747
1551
Certamente avevano
delle ragioni per farlo.
delle ragioni per farlo.
11:39
They certainly had reasons.
203
687298
2666
Noi abbiamo un interruttore,
per esempio qui.
per esempio qui.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
(Si strozza da solo)
11:44
(Choking)
205
692759
1554
Il motivo è che siamo
avversari intelligenti;
avversari intelligenti;
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
possiamo anticipare le minacce
e studiare come aggirarle.
e studiare come aggirarle.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
Ma anche un agente
superintelligente potrebbe farlo,
superintelligente potrebbe farlo,
11:51
But so could a superintelligent agent,
208
699966
2504
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
e ci riuscirebbe molto meglio di noi.
Non dovremmo contare
sul fatto di poterlo controllare.
sul fatto di poterlo controllare.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
E potremmo provare a semplificarci
un po' la vita, diciamo,
un po' la vita, diciamo,
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
mettendo l'IA in una "scatola",
12:08
putting the A.I. in a box,
212
716358
1590
come un ambiente virtuale sicuro,
12:09
like a secure software environment,
213
717948
1796
una ricostruzione della realtà
da cui non può sfuggire.
da cui non può sfuggire.
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
Ma quanto possiamo contare sul fatto
che non trovi una falla nel codice?
che non trovi una falla nel codice?
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Visto che molti hacker umani
scoprono bug in continuazione,
scoprono bug in continuazione,
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
direi che non dovremmo contarci molto.
12:22
I'd say, probably not very confident.
217
730081
3036
Potremmo scollegare il cavo Ethernet,
creando un gap fisico.
creando un gap fisico.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Ma anche in questo caso,
molti hacker umani
molti hacker umani
12:30
but again, like merely human hackers
219
738785
2668
aggirano continuamente il problema
con l'ingegneria sociale.
con l'ingegneria sociale.
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
Proprio ora, mentre parlo,
12:36
Right now, as I speak,
221
744834
1259
sono sicuro che c'è
qualche impiegato, là fuori,
qualche impiegato, là fuori,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
che sta dando i dettagli
del suo account a qualcuno
del suo account a qualcuno
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
che si spaccia per il dipartimento IT.
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
E sono possibili anche
scenari più creativi:
scenari più creativi:
12:46
More creative scenarios are also possible,
225
754574
2127
se siete l'IA, ad esempio,
12:48
like if you're the A.I.,
226
756701
1315
potreste pensare a sguinzagliare
degli elettrodi nei vostri circuiti
degli elettrodi nei vostri circuiti
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
per creare onde radio
che potete usare per comunicare.
che potete usare per comunicare.
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Oppure potreste fingere di guastarvi,
e quando i programmatori vi ispezionano
per capire cosa non va,
per capire cosa non va,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
guardano al codice sorgente e BAM!
13:02
they look at the source code -- Bam! --
231
770931
1936
ecco che avviene una manipolazione.
13:04
the manipulation can take place.
232
772867
2447
Oppure potrebbe pubblicare il modello
di una tecnologia affascinante,
di una tecnologia affascinante,
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
che quando la implementiamo
13:10
and when we implement it,
234
778744
1398
produce dei sottili effetti collaterali,
che l'IA aveva previsto.
che l'IA aveva previsto.
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
Non dovremmo contare sulla nostra capacità
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
di chiudere una superintelligenza
nella sua bottiglia in eterno.
nella sua bottiglia in eterno.
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
13:23
Sooner or later, it will out.
238
791810
2254
Prima o poi riuscirà ad uscire.
Credo che qui la risposta sia capire
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
come creare un'IA superintelligente
tale che se -- quando -- uscirà,
tale che se -- quando -- uscirà,
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
resterà amichevole,
fondamentalmente dalla nostra parte
fondamentalmente dalla nostra parte
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
perché condivide i nostri valori.
13:38
because it shares our values.
242
806438
1899
Non vedo scorciatoie
a questo difficile problema.
a questo difficile problema.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Sono molto ottimista
sulle nostre capacità di risolverlo.
sulle nostre capacità di risolverlo.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Non dovremmo scrivere una lunga lista
di tutto ciò a cui diamo valore,
di tutto ciò a cui diamo valore,
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
o peggio ancora codificarlo
in qualche linguaggio
in qualche linguaggio
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
come C++ o Python,
13:55
like C++ or Python,
247
823937
1454
altrimenti sarebbe una sfida impossibile.
13:57
that would be a task beyond hopeless.
248
825391
2767
Invece, dovremmo creare un'IA
che usa la sua intelligenza
che usa la sua intelligenza
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
per imparare a cosa diamo valore,
14:04
to learn what we value,
250
832455
2771
e con un sistema motivazionale concepito
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
per perseguire i nostri valori, o eseguire
azioni che sa che approveremmo.
azioni che sa che approveremmo.
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
Potremmo così sfruttare
la sua intelligenza al massimo
la sua intelligenza al massimo
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
nel risolvere il problema
dell'attribuzione di valore.
dell'attribuzione di valore.
14:21
to solve the problem of value-loading.
254
849152
2745
Possiamo farlo,
14:24
This can happen,
255
852727
1512
e il risultato sarebbe
molto positivo per l'umanità.
molto positivo per l'umanità.
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
Ma non avviene automaticamente.
14:29
But it doesn't happen automatically.
257
857835
3957
Le condizioni iniziali
per questa esplosione di intelligenza
per questa esplosione di intelligenza
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
potrebbero dover essere
definite perfettamente,
definite perfettamente,
se quella che vogliamo
è un'esplosione controllata.
è un'esplosione controllata.
14:39
if we are to have a controlled detonation.
260
867653
3530
I valori dell'IA
devono coincidere con i nostri,
devono coincidere con i nostri,
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
non solo nei contesti familiari,
14:45
not just in the familiar context,
262
873801
1760
dove puoi facilmente controllare
come si comporta,
come si comporta,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
ma anche in tutti quei contesti nuovi
che l'IA potrebbe incontrare
che l'IA potrebbe incontrare
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
in futuro.
14:53
in the indefinite future.
265
881233
1557
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
E restano anche alcune questioni
esoteriche da risolvere e chiarire:
esoteriche da risolvere e chiarire:
i dettagli su come prendere decisioni,
14:59
the exact details of its decision theory,
267
887527
2089
come gestire l'incertezza logica,
e così via.
e così via.
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Quindi i problemi tecnici da risolvere
sembrano molto difficili:
15:08
look quite difficult --
270
896432
1113
non tanto quanto realizzare
un'IA superintelligente,
un'IA superintelligente,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
ma comunque molto difficili.
15:12
but fairly difficult.
272
900925
2868
Questa è la mia paura:
15:15
Here is the worry:
273
903793
1695
realizzare un'IA superintelligente
è già una sfida veramente dura;
è già una sfida veramente dura;
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
realizzare un'IA
superintelligente e sicura
superintelligente e sicura
15:22
Making superintelligent A.I. that is safe
275
910172
2548
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
pone sfide aggiuntive.
Il rischio è che qualcuno capisca
come vincere la prima sfida
come vincere la prima sfida
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
senza sapere ancora
come vincere la sfida aggiuntiva
come vincere la sfida aggiuntiva
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
di assicurare una perfetta sicurezza.
15:34
of ensuring perfect safety.
279
922704
1901
Penso quindi che dovremmo prima
lavorare a una soluzione
lavorare a una soluzione
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
al problema del controllo,
15:40
to the control problem in advance,
281
928706
2822
così da averla disponibile
al momento del bisogno.
al momento del bisogno.
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
Magari non riusciremo
a risolvere tutto a priori,
a risolvere tutto a priori,
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
perché forse alcuni elementi
possono essere messi a punto
possono essere messi a punto
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
solo dopo aver conosciuto
l'architettura che li implementa.
l'architettura che li implementa.
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
Ma più problemi legati al controllo
risolviamo in anticipo,
risolviamo in anticipo,
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
più è probabile che la transizione
all'era dell'intelligenza artificiale
all'era dell'intelligenza artificiale
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
andrà a buon fine.
16:04
will go well.
288
952766
1540
Ritengo che questa sia una cosa
assolutamente da fare,
assolutamente da fare,
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
e posso immaginare
che se le cose andranno bene,
che se le cose andranno bene,
tra un milione di anni
la gente ripenserà a questo secolo
la gente ripenserà a questo secolo
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
e potrebbe ben dire che la sola cosa
importante che abbiamo fatto
importante che abbiamo fatto
fu risolvere questo problema.
16:22
was to get this thing right.
293
970942
1567
Grazie.
16:24
Thank you.
294
972509
1689
(Applausi)
16:26
(Applause)
295
974198
2813
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com