TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: Et si les ordinateurs devenaient plus intelligents que nous?
Filmed:
Readability: 4.4
4,632,705 views
L'intelligence artificielle (IA) devient de plus en plus intelligente. Des recherches suggèrent qu'au cours de notre siècle, une IA pourrait être aussi intelligente qu'un humain. Alors, dit Nick Bostrom, elle pourrait nous diriger: « L'intelligence artificielle est la dernière invention que devra créer l'humanité. » Le philosophe et technologue, Nick Bostrom nous demande de réfléchir au monde que nous sommes en train de construire, un monde rempli de machines intelligentes. Ces dernières nous aideront-elles à préserver l'humanité avec nos valeurs, ou auront-elles leurs propres objectifs?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Je travaille avec des mathématiciens, des
philosophes et des informaticiens,
philosophes et des informaticiens,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
et, ensemble, nous réfléchissons sur le
futur des machines intelligentes,
futur des machines intelligentes,
00:21
among other things.
2
9986
2044
entre autres.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Certains pensent que ces sujets sont
de la pure science-fiction,
de la pure science-fiction,
00:28
far out there, crazy.
4
16755
3101
irréels et fous.
00:31
But I like to say,
5
19856
1470
Mais j'aime leur répondre:
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
« Ok, regardons un instant les
conditions humaines modernes. »
conditions humaines modernes. »
00:36
(Laughter)
7
24930
1692
(Rire)
00:38
This is the normal way for things to be.
8
26622
2402
Ceci est ce qu'on considère comme normal.
00:41
But if we think about it,
9
29024
2285
Mais quand on y pense,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
nous, l'espèce humaine,
ne sommes apparus sur cette planète
ne sommes apparus sur cette planète
00:46
the human species.
11
34602
2082
que très récemment.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Si la Terre avait été créée
il y un an,
il y un an,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
les humains ne seraient âgés
que de 10 minutes.
que de 10 minutes.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
L'ère industrielle n'aurait commencé
qu'il y a deux secondes.
qu'il y a deux secondes.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Un autre point de vue consiste à regarder
le PIB des 10 000 dernières années.
le PIB des 10 000 dernières années.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
J'ai fait l'effort de synthétiser ces
données en un tableau.
données en un tableau.
01:09
It looks like this.
17
57530
1774
Ça ressemble à ça.
01:11
(Laughter)
18
59304
1363
(Rire)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Drôle de forme pour
une condition « normale ».
une condition « normale ».
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Je ne voudrais pas m'asseoir dessus.
01:16
(Laughter)
21
64516
2551
(Rire)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Demandons-nous: quelle est
la cause de cette anomalie?
la cause de cette anomalie?
01:23
Some people would say it's technology.
23
71841
2552
Certains disent que c'est la technologie.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Il est vrai que les technologies se sont
accumulées au cours de l'histoire humaine
accumulées au cours de l'histoire humaine
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
et qu'en ce moment, elles se développent
extrêmement rapidement.
extrêmement rapidement.
01:35
that is the proximate cause,
26
83713
1565
C'est relié à la vraie cause,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
car c'est ce qui nous permet
d'être si productifs.
d'être si productifs.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Mais j'aime à penser que la cause ultime
réside plus loin dans le temps.
réside plus loin dans le temps.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Regardez ces deux messieurs
hautement distingués.
hautement distingués.
01:48
We have Kanzi --
30
96880
1600
Il y a Kanzi:
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
il maîtrise 200 unités lexicales,
un exploit incroyable.
un exploit incroyable.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
Et Ed Witten, qui a mené à la 2e
révolution de la théorie des supercordes.
révolution de la théorie des supercordes.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Si l'on regarde sous le capot,
voici ce que l'on voit:
voici ce que l'on voit:
02:01
basically the same thing.
34
109141
1570
pratiquement la même chose.
02:02
One is a little larger,
35
110711
1813
Un est un peu plus gros
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
et a peut-être quelques
différences dans sa connexion.
différences dans sa connexion.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Mais ces différences invisibles ne peuvent
pas être si compliquées,
pas être si compliquées,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
car il y a seulement
250 000 générations,
250 000 générations,
02:15
since our last common ancestor.
39
123379
1732
nous avions le même ancêtre.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Nous savons que les mécanisme complexes
prennent longtemps à évoluer.
prennent longtemps à évoluer.
02:22
So a bunch of relatively minor changes
41
130000
2499
Donc, une série de petits changements
02:24
take us from Kanzi to Witten,
42
132499
3067
nous amène
de Kanzi à Witten,
de Kanzi à Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
de branches cassés à des
missiles balistiques intercontinentaux.
missiles balistiques intercontinentaux.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Il semble donc évident que tout ce
que l'on a créé,
que l'on a créé,
02:36
and everything we care about,
45
144774
1378
et tout ce à quoi l'on tient,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
dépend à la base de quelques relativement
petits changements dans le cerveau humain.
petits changements dans le cerveau humain.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Et, corolairement, bien sûr,
n'importe quel changement
n'importe quel changement
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
qui pourrait affecter
l'essence de la pensée
l'essence de la pensée
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
pourrait potentiellement avoir
d'énormes conséquences.
d'énormes conséquences.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Certains de mes collègues
pensent que nous sommes
pensent que nous sommes
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
près de quelque chose qui pourrait créer
un profond changement dans cette essence:
un profond changement dans cette essence:
03:03
and that is machine superintelligence.
52
171134
3213
les machines à intelligence artificielle.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Avant, l'intelligence artificielle (IA)
consistait à créer des commandes.
consistait à créer des commandes.
03:11
You would have human programmers
54
179086
1665
Des programmeurs humains
inséraient avec difficultés
inséraient avec difficultés
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
des éléments d'information
dans une boîte.
dans une boîte.
03:15
You build up these expert systems,
56
183886
2086
On construisait des machines expertes qui
étaient utiles pour certaines choses,
mais qui étaient très restreintes.
mais qui étaient très restreintes.
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
On ne pouvait les faire à grande échelle.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
On en retirait que ce
que l'on avait mis.
que l'on avait mis.
03:26
But since then,
60
194410
997
Mais depuis,
un changement de paradigme à eu lieu dans
le domaine de l'intelligence artificielle.
le domaine de l'intelligence artificielle.
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Aujourd'hui, on se concentre sur
les machines qui apprennent.
les machines qui apprennent.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Donc, au lieu d'insérer
manuellement de l'information,
manuellement de l'information,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
on crée des algorithmes qui apprennent,
souvent à partir de donnés perceptives.
souvent à partir de donnés perceptives.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Essentiellement, ils font la même
chose que des enfants humains.
chose que des enfants humains.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Il en résulte des IA qui ne sont
pas limitées à un seul domaine;
pas limitées à un seul domaine;
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
le même système peut apprendre
à traduire n'importe quelle langue
à traduire n'importe quelle langue
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
et à jouer tous les jeux
sur la console Atari.
sur la console Atari.
04:05
Now of course,
69
233338
1779
Bien sûr,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
l'IA est loin d'avoir la même
puissance universelle
puissance universelle
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
d'apprentissage et de planification
que l'être humain.
que l'être humain.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Le cortex a encore quelques
ruses algorithmiques
ruses algorithmiques
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
que l'on arrive pas à créer
dans des machines.
dans des machines.
04:19
So the question is,
74
247886
1899
La question est donc:
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
dans combien de temps
réussirons-nous à les créer?
réussirons-nous à les créer?
Il y a quelques années,
04:26
A couple of years ago,
76
254245
1083
nous avons fait un sondage auprès
d'experts de l'IA mondialement reconnus
d'experts de l'IA mondialement reconnus
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
pour avoir leur opinion.
Une des questions posées était:
« À quand, selon vous, un 50% de chance
« À quand, selon vous, un 50% de chance
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
d’avoir créé une intelligence artificielle
équivalente à celle de l’humain? »
équivalente à celle de l’humain? »
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Nous avons définis cette dernière comme
l'habileté de faire n'importe quel travail
l'habileté de faire n'importe quel travail
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
aussi bien, voire mieux,
qu'un humain adulte,
qu'un humain adulte,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
au niveau d’une intelligence humaine,
qui n'est pas restreinte à un seul domaine.
qui n'est pas restreinte à un seul domaine.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
Et la réponse médiane a été 2040 ou 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
selon les groupes d'experts questionnés.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Bien sûr, cela pourrait se produire bien
plus tard, ou plus tôt;
plus tard, ou plus tôt;
05:02
the truth is nobody really knows.
87
290339
1940
la vérité, c'est que personne ne le sait.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Ce que l'on sait, par contre, c'est que
la capacité de traitement de l'information
la capacité de traitement de l'information
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
est beaucoup plus grande pour
une machine que pour un humain.
une machine que pour un humain.
05:15
This comes down to physics.
90
303241
2378
C'est simplement de la physique.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Un neurone biologique décharge, environ, à
200 Hertz, 200 fois/sec,
200 Hertz, 200 fois/sec,
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
alors qu'un transistor, de nos jours,
fonctionne en Gigahertz.
fonctionne en Gigahertz.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Les neurones se propagent en axons à une
vitesse de 100 m/sec, max,
vitesse de 100 m/sec, max,
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
alors que les signaux des ordinateurs
peuvent voyager à la vitesse de la lumière
peuvent voyager à la vitesse de la lumière
05:35
There are also size limitations,
95
323079
1869
Il y a aussi des
différences de grandeur:
différences de grandeur:
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
un cerveau humain doit entrer à
l’intérieur d'un crâne,
l’intérieur d'un crâne,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
alors qu'un ordinateur peut avoir la
taille d'un entrepôt, et même plus.
taille d'un entrepôt, et même plus.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Donc, le potentiel de la
super-intelligence est en attente,
super-intelligence est en attente,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
tout comme celui du pouvoir de l'atome
l'était au cours de l'histoire,
l'était au cours de l'histoire,
05:56
patiently waiting there until 1945.
100
344047
4405
attendant patiemment jusqu'en 1945.
06:00
In this century,
101
348452
1248
Au cours de notre siècle,
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
les scientifiques réussiront peut-être à
exploiter le pouvoir de l'I.A.
exploiter le pouvoir de l'I.A.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Et alors, selon moi, nous verrons
une explosion de l'intelligence.
une explosion de l'intelligence.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Je crois que lorsque quelqu'un s'imagine
ce qu'est être intelligent ou idiot,
ce qu'est être intelligent ou idiot,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
il a en tête une image comme celle-ci.
06:17
So at one end we have the village idiot,
106
365386
2598
À un bout, il y a l’idiot du village,
06:19
and then far over at the other side
107
367984
2483
et très loin à l'autre bout,
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
il y a Ed Witten, ou Albert Einstein, ou
peu importe qui est votre génie préféré.
peu importe qui est votre génie préféré.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Mais du point de vue de
l'intelligence artificielle,
l'intelligence artificielle,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
la vraie image ressemble plutôt à ceci.
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
L'IA a commencé au bout,
avec zéro intelligence,
avec zéro intelligence,
puis, après plusieurs années de travail,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
nous arriverons peut-être à la rendre
au niveau de la souris,
au niveau de la souris,
c'.-à-d. qu'elle pourra naviguer
dans des environnements encombrés,
dans des environnements encombrés,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
06:47
as well as a mouse can.
115
395921
1987
tout comme une souris.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Puis, après plusieurs autres années
de travail, beaucoup d'investissements,
de travail, beaucoup d'investissements,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
nous arriverons peut-être au niveau
d'intelligence des chimpanzés.
d'intelligence des chimpanzés.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Puis, après encore plusieurs autres années
de travail très acharné,
de travail très acharné,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
nous arriverons au
niveau de l’idiot du village.
niveau de l’idiot du village.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Puis, à peine un moment plus tard,
nous serons au-delà d'Ed Witten,
nous serons au-delà d'Ed Witten,
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
car le train ne s'arrête pas
à la station Humain.
à la station Humain.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Il y a de bonne chance qu'il
passe tout droit.
passe tout droit.
07:14
Now this has profound implications,
123
422247
1984
Cela aura des conséquences importantes,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
en particulier lorsqu'il est
question du pouvoir.
question du pouvoir.
07:20
For example, chimpanzees are strong --
125
428093
1899
Par exemple, les chimpanzés sont forts,
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
— livre pour livre, ils sont environ 2 fois
plus fort qu'un humain bien bâti —
plus fort qu'un humain bien bâti —
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Pourtant, le destin de Kanzi et de ses
amis dépend bien plus
amis dépend bien plus
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
des activités des humains que de leurs
propres activités.
propres activités.
07:37
Once there is superintelligence,
129
445228
2314
Une fois qu'il y aura
une super-intelligence,
une super-intelligence,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
le destin des humains dépendra peut-être
uniquement des activités de celle-ci.
uniquement des activités de celle-ci.
07:44
Think about it:
131
452451
1057
Pensez-y:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
L'IA est la dernière invention que les
humains auront jamais à créer.
humains auront jamais à créer.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Les machines seront de meilleurs
créateurs que nous,
créateurs que nous,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
et ils le feront à une vitesse
à l'échelle numérique.
à l'échelle numérique.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Cela signifie que le futur
va arriver avant son temps.
va arriver avant son temps.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Pensez à toutes les technologies
audacieuses possibles
audacieuses possibles
que les humains auraient peut-être
réussi à créer avec le temps:
réussi à créer avec le temps:
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
08:07
cures for aging, space colonization,
138
475322
3258
la fontaine de jouvence,
la colonisation de l'espace,
la colonisation de l'espace,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
des nanorobots autoréplicatifs,
des esprits intégrés à des ordinateurs,
des esprits intégrés à des ordinateurs,
08:14
all kinds of science fiction-y stuff
140
482311
2159
toutes sortes de choses de science-fiction
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
qui sont tout de même compatibles
avec les lois de la physique.
avec les lois de la physique.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Tout cela pourrait être créé par la
super-intelligence, sans doute rapidement.
super-intelligence, sans doute rapidement.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Une super-intelligence à
un niveau aussi élevé
un niveau aussi élevé
08:28
would be extremely powerful,
144
496007
2179
serait extrêmement puissante,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
et, dans certains scénarios,
elle aurait tout ce qu'elle veut.
elle aurait tout ce qu'elle veut.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Notre futur serait donc
construit selon ses préférences.
construit selon ses préférences.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Une bonne question à se poser est:
mais quelles sont ces préférences?
mais quelles sont ces préférences?
C'est là que ça devient plus compliqué.
08:46
Here it gets trickier.
148
514244
1769
08:48
To make any headway with this,
149
516013
1435
Pour avancer sur ce sujet,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
il faut avant tout éviter
l'anthropomorphisme.
l'anthropomorphisme.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
C'est ironique, car chaque article de
journal à ce propos offre cette image.
journal à ce propos offre cette image.
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Donc, ce que je pense qu'on doit faire,
c'est penser de façon plus abstraite,
c'est penser de façon plus abstraite,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
et non pas selon les
scénarios hollywoodiens.
scénarios hollywoodiens.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Nous devons penser à l'intelligence
comme un processus d'amélioration
comme un processus d'amélioration
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
qui dirige le futur selon certaines
configurations précises.
configurations précises.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Une super-intelligence est un processus
d'amélioration excellent.
d'amélioration excellent.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Il est très bon pour utiliser tous
les moyens disponibles
les moyens disponibles
09:26
in which its goal is realized.
159
554098
1909
pour arriver à son but.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Cela signifie qu'il n'y a
pas nécessairement de lien
pas nécessairement de lien
09:31
being highly intelligent in this sense,
161
559119
2734
entre avoir une haute intelligence
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
et avoir un objectif que les humains
trouvent digne d'intérêt ou significatif.
trouvent digne d'intérêt ou significatif.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Par exemple, l'IA pourrait avoir comme
objectif de faire sourire les humains.
objectif de faire sourire les humains.
Au début, l'IA n'étant pas encore très
développée, elle fera sans doute
développée, elle fera sans doute
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
09:46
that cause its user to smile.
165
574097
2517
des actions qui feront
sourire l'utilisateur.
sourire l'utilisateur.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Puis, quand elle
deviendra super-intelligente,
deviendra super-intelligente,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
elle découvrira qu'il y a une autre
façon plus efficace d'arriver à son but:
façon plus efficace d'arriver à son but:
09:54
take control of the world
168
582554
1922
prendre contrôle de la planète
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
et coller des électrodes aux muscles
faciaux des humains
faciaux des humains
09:59
to cause constant, beaming grins.
170
587638
2941
afin que, constamment, ils
aient un large sourire.
aient un large sourire.
Un autre exemple.
10:02
Another example,
171
590579
1035
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
Nous donnons à l'IA un problème
mathématique complexe à résoudre.
mathématique complexe à résoudre.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Lorsque l'IA devient super-intelligent,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
il découvre que la façon la plus
efficace pour le résoudre
efficace pour le résoudre
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
est de transformer la planète en un
immense ordinateur
immense ordinateur
10:16
so as to increase its thinking capacity.
176
604035
2246
afin d'augmenter sa capacité de penser.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
L'IA se retrouve donc avec
une raison instrumentale
une raison instrumentale
de nous faire subir des choses
que nous n'approuvons pas.
que nous n'approuvons pas.
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
Dans cet exemple, les humains
sont des menaces;
sont des menaces;
10:23
Human beings in this model are threats,
179
611561
1935
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
nous pourrions empêcher que
le problème soit résolu.
le problème soit résolu.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Bien sûr, les choses ne se passeront
pas nécessairement de cette façon là:
pas nécessairement de cette façon là:
10:32
these are cartoon examples.
182
620701
1753
ce sont des caricatures.
10:34
But the general point here is important:
183
622454
1939
Mais ce qui est important
à retenir est ceci:
à retenir est ceci:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
si l'on crée une machine très puissante
10:39
to maximize for objective x,
185
627266
2234
afin d'atteindre l'objectif X,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
on est mieux de s'assurer que
la définition de X
la définition de X
10:43
incorporates everything you care about.
187
631776
2469
comprend tout ce à quoi l'on tient.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
C'est une morale qui est aussi racontée
à travers plusieurs mythes.
à travers plusieurs mythes.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Le Roi Midas souhaite que tout ce qu'il
touche devienne de l'or.
touche devienne de l'or.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Il touche sa fille,
elle se transforme en or.
elle se transforme en or.
10:59
He touches his food, it turns into gold.
191
647378
2553
Il touche sa nourriture,
elle se transforme en or.
elle se transforme en or.
Ceci est pertinent non seulement pour
créer une métaphore sur l'envie,
créer une métaphore sur l'envie,
11:01
This could become practically relevant,
192
649931
2589
11:04
not just as a metaphor for greed,
193
652520
2070
11:06
but as an illustration of what happens
194
654590
1895
mais aussi pour illustrer ce qui arrive
si l'on crée une super-machine
si l'on crée une super-machine
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
et qu'on lui donne des buts inadaptés
ou mal spécifiés.
ou mal spécifiés.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
On peut penser: « Si l'ordinateur commence
à coller des électrodes sur les gens,
à coller des électrodes sur les gens,
11:21
we'd just shut it off.
198
669300
2265
on n'aura qu'à l'éteindre. »
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
1. Ce n'est pas nécessairement facile
si nous sommes dépendants du système
si nous sommes dépendants du système
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
— Où est le bouton off d'Internet? —
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
2. Pourquoi les chimpanzés n'ont pas
« éteint » les humains
« éteint » les humains
11:37
or the Neanderthals?
202
685747
1551
ou les Néandertaliens?
11:39
They certainly had reasons.
203
687298
2666
Ils avaient sans doute des raisons,
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
car nous pouvons être éteints,
par exemple, par ici.
par exemple, par ici.
11:44
(Choking)
205
692759
1554
— Étouffant —
La raison est que nous sommes
des adversaires intelligents.
des adversaires intelligents.
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Nous pouvons anticiper les menaces
et planifier en conséquence.
et planifier en conséquence.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
Et c'est ce que ferait un ordinateur
super-intelligent,
super-intelligent,
11:51
But so could a superintelligent agent,
208
699966
2504
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
et bien mieux que nous en plus.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Le fait est que nous ne devrions pas
penser que nous maîtrisons la situation.
penser que nous maîtrisons la situation.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Nous pourrions essayer de faciliter
notre travail
notre travail
12:08
putting the A.I. in a box,
212
716358
1590
en mettant l'IA dans une boîte,
12:09
like a secure software environment,
213
717948
1796
tel un environnement
numérique sécuritaire,
numérique sécuritaire,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
une réalité virtuelle de laquelle il ne
pourrait s'échapper.
pourrait s'échapper.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Mais pouvons-nous vraiment être sûr que
l'IA ne trouvera pas de bogues,
l'IA ne trouvera pas de bogues,
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
surtout considérant que les hackers
humains y arrivent sans arrêt?
humains y arrivent sans arrêt?
12:22
I'd say, probably not very confident.
217
730081
3036
Je ne crois pas.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Donc nous débranchons les câbles ethernets
afin de créer un manque d'air,
afin de créer un manque d'air,
12:30
but again, like merely human hackers
219
738785
2668
mais là encore, les hackers humains
passent de manière routinière par-dessus
ces problèmes grâce à l’ingénierie.
ces problèmes grâce à l’ingénierie.
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
Au moment où je vous parle,
12:36
Right now, as I speak,
221
744834
1259
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
je suis sûr qu'il y a un employé,
quelque part,
quelque part,
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
que l'on a convaincu de divulguer
les détails de son compte
les détails de son compte
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
en prétendant être du
département de soutien informatique.
département de soutien informatique.
Des scénarios plus créatifs
sont aussi possibles.
sont aussi possibles.
12:46
More creative scenarios are also possible,
225
754574
2127
12:48
like if you're the A.I.,
226
756701
1315
Par exemple, si vous êtes l'IA,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
vous pouvez vous imaginer remuant des
électrodes dans votre circuit interne
électrodes dans votre circuit interne
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
afin de créer des ondes radios
pour communiquer.
pour communiquer.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Ou, vous pourriez prétendre
ne plus fonctionner,
ne plus fonctionner,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
et, lorsque les programmeurs vous ouvrent
afin de voir quel est le problème,
afin de voir quel est le problème,
13:02
they look at the source code -- Bam! --
231
770931
1936
il regarde le code source, et BAM!,
13:04
the manipulation can take place.
232
772867
2447
la manipulation peut commencer.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Ou il pourrait changer les plans
avec une technologie astucieuse
avec une technologie astucieuse
13:10
and when we implement it,
234
778744
1398
de tel sorte que
lorsqu'on les implante,
lorsqu'on les implante,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
un effet secondaire
prévu par l'IA se produit.
prévu par l'IA se produit.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Ce qu'il faut retenir, c'est qu'on ne
devrait pas avoir trop confiance
devrait pas avoir trop confiance
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
en notre capacité à maintenir
un génie dans une lampe pour toujours.
un génie dans une lampe pour toujours.
13:23
Sooner or later, it will out.
238
791810
2254
Tôt ou tard, il en sortira.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Je crois que la solution
est de trouver une façon
est de trouver une façon
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
de créer une IA qui, même si elle
s'échappe, sera toujours sécuritaire:
s'échappe, sera toujours sécuritaire:
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
une IA qui sera toujours de notre bord,
car elle partagera nos valeurs.
car elle partagera nos valeurs.
13:38
because it shares our values.
242
806438
1899
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Je ne vois aucun moyen
de contourner ce problème.
de contourner ce problème.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Mais je suis plutôt optimiste et
je crois qu'on peut trouver la solution.
je crois qu'on peut trouver la solution.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Nous n'aurions pas à faire une longue
liste de tout ce à quoi l'on tient,
liste de tout ce à quoi l'on tient,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
ou, pire encore, transformer celle-ci
en langage informatique
en langage informatique
13:55
like C++ or Python,
247
823937
1454
tel C++ ou Python;
13:57
that would be a task beyond hopeless.
248
825391
2767
ce serait une tâche désespérée.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Il faudrait plutôt créer une IA
qui utilise son intelligence
qui utilise son intelligence
14:04
to learn what we value,
250
832455
2771
pour apprendre ce à quoi l'on tient
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
et qui est construit de tel sorte que
sa motivation consiste à défendre
sa motivation consiste à défendre
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
nos valeurs ou à faire des actions
seulement s'il pense qu'on les approuve.
seulement s'il pense qu'on les approuve.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Nous utiliserions donc son
intelligence autant que possible
intelligence autant que possible
14:21
to solve the problem of value-loading.
254
849152
2745
afin qu'elle résolve le problème
d’implantation de la liste de valeurs.
d’implantation de la liste de valeurs.
14:24
This can happen,
255
852727
1512
Cela est possible
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
et le résultat pourrait être
incroyable pour l'humanité.
incroyable pour l'humanité.
14:29
But it doesn't happen automatically.
257
857835
3957
Mais ça ne se passera pas
comme ça obligatoirement.
comme ça obligatoirement.
Il faut que les conditions initiales,
lors de l'explosion de l'intelligence,
lors de l'explosion de l'intelligence,
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
soient créées d'une façon spécifique afin
que nous ayons un détonation contrôlée.
que nous ayons un détonation contrôlée.
14:39
if we are to have a controlled detonation.
260
867653
3530
Les valeurs de l'IA doivent être
les mêmes que les nôtres
les mêmes que les nôtres
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
non seulement dans le
contexte que l'on connaît
contexte que l'on connaît
14:45
not just in the familiar context,
262
873801
1760
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
où l'on peut contrôler
son comportement,
son comportement,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
mais aussi dans des contextes nouveaux
que l'IA peut rencontrer
que l'IA peut rencontrer
14:53
in the indefinite future.
265
881233
1557
dans un futur indéfini.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Il y a aussi quelques problèmes
ésotériques qui devraient être réglés:
ésotériques qui devraient être réglés:
le détail de sa méthode pour
prendre des décisions,
prendre des décisions,
14:59
the exact details of its decision theory,
267
887527
2089
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
sa façon de gérer les
incertitudes logiques, etc.
incertitudes logiques, etc.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Donc, les problèmes techniques qui
doivent être résolus semblent difficiles,
doivent être résolus semblent difficiles,
15:08
look quite difficult --
270
896432
1113
pas autant que créer
une IA super-intelligente,
une IA super-intelligente,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
15:12
but fairly difficult.
272
900925
2868
mais assez difficiles quand même.
15:15
Here is the worry:
273
903793
1695
Voici ce qui est inquiétant:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
Créer une IA super-intelligente
est un défi colossal.
est un défi colossal.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Créer une IA super-intelligente
qui, en plus, est sécuritaire
qui, en plus, est sécuritaire
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
rajoute un niveau de difficulté.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Le risque réside dans la possibilité que
quelqu'un surmonte le premier défi,
quelqu'un surmonte le premier défi,
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
sans avoir surmonté le deuxième,
celui de la sécurité.
celui de la sécurité.
15:34
of ensuring perfect safety.
279
922704
1901
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Donc, je crois qu'on devrait surmonter
le deuxième défi en avance
le deuxième défi en avance
15:40
to the control problem in advance,
281
928706
2822
afin qu'il soit prêt lorsqu'on
en a besoin.
en a besoin.
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Peut-être ne pourrons-nous pas le
surmonter entièrement en avance,
surmonter entièrement en avance,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
car certains éléments
ne peuvent être créés
ne peuvent être créés
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
seulement lorsque l'on connaîtra les
détails techniques de l'IA en question.
détails techniques de l'IA en question.
Mais plus nous commencerons à travailler
sur ce problème de contrôle en avance,
sur ce problème de contrôle en avance,
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
plus nous augmenterons nos chances
de passer dans cette nouvelle ère
de passer dans cette nouvelle ère
16:04
will go well.
288
952766
1540
en tout sécurité.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Selon moi, ceci est la chose
la plus importante à faire.
la plus importante à faire.
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
Je suis sûr que si on y parvient,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
les humains dans des millions d'années
qui se pencheront sur notre siècle
qui se pencheront sur notre siècle
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
diront que la seule chose que nous avons
fait qui avait vraiment de l'importance
fait qui avait vraiment de l'importance
16:22
was to get this thing right.
293
970942
1567
était de réussir à surmonter ce défi.
16:24
Thank you.
294
972509
1689
Merci
16:26
(Applause)
295
974198
2813
(Applaudissements)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com