TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Que se passera-t-il quand nos ordinateurs deviendront plus intelligents que nous ?: What happens when our computers get smarter than we are?
Filmed:
Readability: 4.4
4,632,705 views
L'intelligence artificielle devient plus maline en progressant par bonds -- d'ici à la fin du siècle, les recherches suggèrent qu'une intelligence artificielle informatique pourrait être aussi "intelligente" qu'un être humain. Nick Bostrom dit qu'alors, elle nous dépasserait : « L'intelligence machine est la dernière invention que l'humanité aura jamais besoin de faire. » Philosophe et technologue, il nous demande de bien réfléchir au monde que nous bâtissons, régit par l'intelligence machine. Nous machines intelligentes nous aideront-elles à préserver l'humanité et ses valeurs ou auront elles les leurs ?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Je travaille avec des mathématiciens,
philosophes et informaticiens,
philosophes et informaticiens,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
et nous nous réunissons pour imaginer
le futur de l'intelligence artificielle,
le futur de l'intelligence artificielle,
00:21
among other things.
2
9986
2044
entre autres choses.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Certains pensent que
c'est un peu de la science-fiction,
c'est un peu de la science-fiction,
00:28
far out there, crazy.
4
16755
3101
complètement éloigné du réel.
00:31
But I like to say,
5
19856
1470
Mais j'aime dire,
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
d'accord, jetons un coup d'oeil
à la condition humaine moderne.
à la condition humaine moderne.
00:36
(Laughter)
7
24930
1692
(Rires)
00:38
This is the normal way for things to be.
8
26622
2402
C'est la façon normale d'être des choses.
00:41
But if we think about it,
9
29024
2285
Mais si on y pense,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
nous ne sommes en fait que des invités
récemment arrivés sur cette planète,
récemment arrivés sur cette planète,
00:46
the human species.
11
34602
2082
l'espèce humaine.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Imaginez si la Terre
avait été créée il y a un an,
avait été créée il y a un an,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
l'espèce humaine existerait alors
depuis dix minutes.
depuis dix minutes.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
L'ère industrielle a débuté
il y a deux secondes.
il y a deux secondes.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Une autre façon de voir est de calculer
le PIB mondial
des 10 000 dernières années.
des 10 000 dernières années.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
J'ai vraiment pris le temps
de faire un graphe pour vous.
de faire un graphe pour vous.
01:09
It looks like this.
17
57530
1774
Il ressemble à ça.
01:11
(Laughter)
18
59304
1363
(Rires)
Drôle de courbe
pour une condition normale.
pour une condition normale.
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Je ne voudrais pas lui tourner le dos.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
01:16
(Laughter)
21
64516
2551
(Rires)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Demandons-nous, quelle est la cause
de cette anomalie ?
de cette anomalie ?
01:23
Some people would say it's technology.
23
71841
2552
Certains diront que c'est la technologie.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
C'est vrai, la technologie s'est accumulée
au cours de l'histoire humaine,
au cours de l'histoire humaine,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
et aujourd'hui, la technologie
progresse très rapidement --
progresse très rapidement --
01:35
that is the proximate cause,
26
83713
1565
c'est la cause la plus proche,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
c'est pourquoi nous sommes
si productifs de nos jours.
si productifs de nos jours.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Mais je préfère réfléchir en remontant
à la cause fondamentale.
à la cause fondamentale.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Regardez ces deux messieurs
très distingués :
très distingués :
01:48
We have Kanzi --
30
96880
1600
Nous avons Kanzi --
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
il maîtrise 200 symboles lexicaux,
un exploit incroyable.
un exploit incroyable.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
Et Ed Witten a déclenché
la seconde révolution des supercordes.
la seconde révolution des supercordes.
Si nous regardons sous la capuche,
voici ce que l'on trouve :
voici ce que l'on trouve :
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
02:01
basically the same thing.
34
109141
1570
en gros, la même chose.
02:02
One is a little larger,
35
110711
1813
L'un est un peu plus grand,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
il y a peut-être aussi quelques
subtilités de câblage.
subtilités de câblage.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Ces différences invisibles ne peuvent
être trop compliquées quoi qu'il en soit,
être trop compliquées quoi qu'il en soit,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
car il n'y a eu que
250 000 générations
250 000 générations
02:15
since our last common ancestor.
39
123379
1732
depuis notre dernier ancêtre commun.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Nous savons que les mécanismes compliqués
demandent beaucoup de temps pour évoluer.
demandent beaucoup de temps pour évoluer.
02:22
So a bunch of relatively minor changes
41
130000
2499
Donc des changements relativement mineurs
02:24
take us from Kanzi to Witten,
42
132499
3067
nous emmènent de Kanzi à Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
de branches arrachées aux arbres aux
missiles balistiques intercontinentaux.
missiles balistiques intercontinentaux.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Il semble alors assez évident
que tout ce que nous avons réalisé,
que tout ce que nous avons réalisé,
02:36
and everything we care about,
45
144774
1378
et ce que nous chérissons,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
dépend principalement de quelques
changements mineurs
changements mineurs
qui ont aboutit à l'esprit humain.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
Le corollaire, bien sûr,
est que tout changement à venir
est que tout changement à venir
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
qui pourrait changer significativement
le substrat de la pensée
le substrat de la pensée
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
pourrait avoir potentiellement
d'énormes conséquences.
d'énormes conséquences.
Certains de mes collègues
pensent que nous sommes sur le point
pensent que nous sommes sur le point
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
de développer quelque chose qui pourrait
causer un tel changement dans ce substrat,
causer un tel changement dans ce substrat,
03:03
and that is machine superintelligence.
52
171134
3213
et c'est la super
intelligence artificielle.
intelligence artificielle.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Avant, l'intelligence artificielle consistait
à mettre des commandes dans une boîte.
à mettre des commandes dans une boîte.
03:11
You would have human programmers
54
179086
1665
Il y avait des programmeurs humains
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
qui fabriquaient minutieusement
des objets savants.
des objets savants.
03:15
You build up these expert systems,
56
183886
2086
On construisait ces systèmes experts,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
et ils étaient utiles
pour certains buts,
pour certains buts,
mais ils étaient très fragiles,
on ne pouvait pas les agrandir.
on ne pouvait pas les agrandir.
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
En gros, vous n'aviez que
ce que vous aviez mis dedans.
ce que vous aviez mis dedans.
03:26
But since then,
60
194410
997
Mais depuis,
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
une révolution conceptuelle s'est opérée
dans le domaine de l'I.A..
dans le domaine de l'I.A..
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Aujourd'hui, l'action est centré sur
l'apprentissage machine.
l'apprentissage machine.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Plutôt que de coder à la main des
programmes et leurs caractéristiques,
programmes et leurs caractéristiques,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
on crée des algorithmes qui apprennent,
souvent à partir
des données brutes perçues.
des données brutes perçues.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
En gros, la même chose que fait un enfant.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
Le résultat est une I.A.
qui n'est pas limitée à un domaine --
qui n'est pas limitée à un domaine --
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
le même système peut apprendre à traduire
n'importe quel couple de langues,
n'importe quel couple de langues,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
ou apprendre à jouer n'importe quel jeu
sur la console Atari.
sur la console Atari.
04:05
Now of course,
69
233338
1779
Bien sûr,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
l'I.A. est toujours loin d'avoir
la capacité puissante et transversale
la capacité puissante et transversale
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
à apprendre et planifier
d'un être humain.
d'un être humain.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
Le cortex a encore des
secrets algorithmiques
secrets algorithmiques
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
que nous ne savons pas
intégrer dans les machines.
intégrer dans les machines.
04:19
So the question is,
74
247886
1899
Donc la question est,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
combien de temps nous faudra-t-il
pour réussir à les intégrer ?
pour réussir à les intégrer ?
Il y a quelques années,
04:26
A couple of years ago,
76
254245
1083
nous avons fait un sondage
auprès des experts mondiaux des I.A.,
auprès des experts mondiaux des I.A.,
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
pour voir ce qu'ils pensaient,
et une des questions posées était,
et une des questions posées était,
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
« En quelle année pensez-vous
qu'il y aura 50% de chance
qu'il y aura 50% de chance
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
qu'une I.A. atteigne le niveau
d'une intelligence humaine ? »
d'une intelligence humaine ? »
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Nous définissons ici le seuil à atteindre
par la capacité de l'I.A. à réaliser
par la capacité de l'I.A. à réaliser
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
presque toutes les tâches
au moins aussi bien qu'un adulte,
au moins aussi bien qu'un adulte,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
donc réellement comme un humain,
pas seulement dans un domaine limité.
pas seulement dans un domaine limité.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
La réponse médiane était 2040 ou 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
en fonction du groupe d'experts
que nous interrogions.
que nous interrogions.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Ça pourrait se produire
bien plus tard ou bien plus tôt,
bien plus tard ou bien plus tôt,
05:02
the truth is nobody really knows.
87
290339
1940
la vérité est que personne ne le sait.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Ce que nous savons est que la limite
de traitement de l'information
de traitement de l'information
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
dans une machine est bien supérieure
à celle d'un tissu biologique.
à celle d'un tissu biologique.
05:15
This comes down to physics.
90
303241
2378
Ça s'explique par la physique.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Un neurone biologique "décharge"
environ à 200 hertz, 200 fois par seconde.
environ à 200 hertz, 200 fois par seconde.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Mais, même un transistor actuel
fonctionne au gigahertz.
fonctionne au gigahertz.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
L'information se propage dans les neurones
le long d'axones à 100 m/s maximum.
le long d'axones à 100 m/s maximum.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
Mais dans les ordinateurs, le signal
peut voyager à la vitesse de la lumière.
peut voyager à la vitesse de la lumière.
05:35
There are also size limitations,
95
323079
1869
Il y a aussi des limitations de taille,
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
car le cerveau humain
doit rentrer dans la boîte crânienne,
doit rentrer dans la boîte crânienne,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
mais un ordinateur peut être
de la taille d'un entrepôt ou plus grand.
de la taille d'un entrepôt ou plus grand.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Donc le potentiel de super intelligence
est en sommeil dans la matière,
est en sommeil dans la matière,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
tout comme la puissance de l'atome
est restée en sommeil
est restée en sommeil
05:56
patiently waiting there until 1945.
100
344047
4405
tout au long de l'histoire humaine,
attendant patiemment jusqu'en 1945.
attendant patiemment jusqu'en 1945.
06:00
In this century,
101
348452
1248
Au cours de ce siècle, il se peut
que les scientifiques apprennent
que les scientifiques apprennent
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
à réveiller la puissance de l'I.A..
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
Je pense que nous pourrions alors
assister à une explosion d'intelligence.
assister à une explosion d'intelligence.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
La plupart des gens, quand ils pensent
à ce qui est bête ou intelligent
à ce qui est bête ou intelligent
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
ont une image de ce genre en tête.
06:17
So at one end we have the village idiot,
106
365386
2598
À une extrémité on a l'idiot du village,
06:19
and then far over at the other side
107
367984
2483
et à l'autre bout
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
on a Ed Witten, ou Albert Einstein,
ou votre gourou, qui qu'il soit.
ou votre gourou, qui qu'il soit.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Mais je pense que du point de vue
de l'intelligence artificielle,
de l'intelligence artificielle,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
la véritable image est plus probablement
comme ceci, en réalité :
comme ceci, en réalité :
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
l'I.A. commence à cet endroit,
à zéro intelligence,
à zéro intelligence,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
et ensuite, après de nombreuses
années de dur labeur,
années de dur labeur,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
peut-être, arrivons-nous au niveau
de l'intelligence d'une souris,
de l'intelligence d'une souris,
quelque chose qui peut naviguer
dans des environnements encombrés
dans des environnements encombrés
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
06:47
as well as a mouse can.
115
395921
1987
aussi bien qu'une souris.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Ensuite, après encore plus d'années de
dur labeur et beaucoup d'investissements,
dur labeur et beaucoup d'investissements,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
peut-être, finalement, arrivons-nous
au niveau d'intelligence d'un chimpanzé.
au niveau d'intelligence d'un chimpanzé.
Ensuite, après toujours plus d'années
de vraiment très dur labeur,
de vraiment très dur labeur,
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
nous arrivons au niveau d'intelligence
de l'idiot du village.
de l'idiot du village.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
Et quelques mois plus tard,
nous sommes après Ed Witten.
nous sommes après Ed Witten.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Le train ne s'arrête pas
à la station Humainville.
à la station Humainville.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Il va plutôt passer à fond devant.
07:14
Now this has profound implications,
123
422247
1984
Il y a là de profondes implications,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
en particulier quand il est question
de pouvoir.
de pouvoir.
Par exemple, les chimpanzés sont forts --
07:20
For example, chimpanzees are strong --
125
428093
1899
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
à poids équivalent, un chimpanzé est
deux fois plus fort qu'un homme adulte.
deux fois plus fort qu'un homme adulte.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
Pourtant, le destin de Kanzi
et de ses congénères dépend beaucoup plus
et de ses congénères dépend beaucoup plus
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
de ce que font les humains que de ce que
les chimpanzés font eux-mêmes.
les chimpanzés font eux-mêmes.
07:37
Once there is superintelligence,
129
445228
2314
Une fois que la super intelligence
sera là,
sera là,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
le destin de l'humanité pourrait dépendre
des actions de cette super intelligence.
des actions de cette super intelligence.
07:44
Think about it:
131
452451
1057
Pensez-y :
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
l'I.A. est la dernière invention que
l'homme aura jamais besoin de faire.
l'homme aura jamais besoin de faire.
Les machines seront alors de meilleurs
inventeurs que nous le sommes,
inventeurs que nous le sommes,
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
et elles inventeront sur des échelles
de temps numériques.
de temps numériques.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Ça veut dire un télescopage avec le futur.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Pensez à toutes les technologies
incroyables que vous avez imaginées,
incroyables que vous avez imaginées,
que les hommes pourraient
avoir développées avec le temps :
avoir développées avec le temps :
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
08:07
cures for aging, space colonization,
138
475322
3258
plus de vieillissement,
colonisation de l'espace,
colonisation de l'espace,
nano-robots auto-répliquants,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
téléchargement d'esprits humains
dans des ordinateurs,
dans des ordinateurs,
08:14
all kinds of science fiction-y stuff
140
482311
2159
plein de technologies de science-fiction
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
qui sont néanmoins cohérentes
avec les lois de la physique.
avec les lois de la physique.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Toute cette super intelligence pourrait
se développer assez rapidement.
se développer assez rapidement.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Bon, une super intelligence avec
une telle maturité technologique
une telle maturité technologique
08:28
would be extremely powerful,
144
496007
2179
serait extrêmement puissante,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
et au moins dans certains scénarios,
serait capable d'obtenir ce qu'elle veut.
serait capable d'obtenir ce qu'elle veut.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Nous aurions alors un futur modelé
par les préférences de cette I.A.
par les préférences de cette I.A.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Une bonne question est,
quelles sont ces préférences ?
quelles sont ces préférences ?
08:46
Here it gets trickier.
148
514244
1769
C'est là que ça devient délicat.
08:48
To make any headway with this,
149
516013
1435
Pour progresser là-dessus,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
nous devons tout d'abord
éviter tout anthropomorphisme.
éviter tout anthropomorphisme.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
C'est ironique car dans tous
les articles de journaux
les articles de journaux
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
qui parle de l'avenir de l'I.A.
comportent une image de ceci.
comportent une image de ceci.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Je pense que nous devons concevoir
ce problème de manière plus abstraite,
ce problème de manière plus abstraite,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
et non en scénario hollywoodien fertile.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Nous devons penser à l'intelligence
comme un processus d'optimisation,
comme un processus d'optimisation,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
un processus qui guide le futur
dans un certain jeu de configurations.
dans un certain jeu de configurations.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Une super intelligence est un
processus d'optimisation très fort.
processus d'optimisation très fort.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Elle est très douée pour utiliser les
moyens disponibles pour atteindre un état
moyens disponibles pour atteindre un état
09:26
in which its goal is realized.
159
554098
1909
dans lequel son but est réalisé.
Ça signifie qu'il n'y a pas
de nécessaire connexion entre
de nécessaire connexion entre
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
09:31
being highly intelligent in this sense,
161
559119
2734
le fait d'être très intelligent
dans ce sens,
dans ce sens,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
et avoir un objectif que nous, humains,
trouverions utile ou significatif.
trouverions utile ou significatif.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Supposons qu'on donne comme but
à une I.A. de faire sourire les humains.
à une I.A. de faire sourire les humains.
Quand l'I.A. est faible, elle réalise
des actions utiles ou amusantes
des actions utiles ou amusantes
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
09:46
that cause its user to smile.
165
574097
2517
qui provoque le sourire de l'utilisateur.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Quand l'I.A. devient super intelligente,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
elle réalise qu'il y a un moyen
plus efficace d'atteindre son objectif :
plus efficace d'atteindre son objectif :
09:54
take control of the world
168
582554
1922
prendre le contrôle du monde
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
et implanter des électrodes
dans les muscles faciaux des humains
dans les muscles faciaux des humains
09:59
to cause constant, beaming grins.
170
587638
2941
pour provoquer des sourires
rayonnants et constants.
rayonnants et constants.
10:02
Another example,
171
590579
1035
Un autre exemple,
supposons qu'on demande à une I.A.
de résoudre un problème de math très dur.
de résoudre un problème de math très dur.
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Quand l'I.A. devient super intelligente,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
elle réalise que le moyen le plus efficace
pour résoudre ce problème
pour résoudre ce problème
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
est de transformer la planète
en un ordinateur géant,
en un ordinateur géant,
10:16
so as to increase its thinking capacity.
176
604035
2246
pour augmenter sa capacité de calcul.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
Remarquez que ça donne aux I.A.s
une raison pratique
une raison pratique
de faire des choses
que nous pourrions ne pas approuver.
que nous pourrions ne pas approuver.
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
10:23
Human beings in this model are threats,
179
611561
1935
Les humains sont des menaces
dans ce modèle,
dans ce modèle,
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
car nous pourrions empêcher
la résolution du problème.
la résolution du problème.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Bien sûr, les choses perceptibles
ne tourneront pas mal de ces façons-là ;
ne tourneront pas mal de ces façons-là ;
10:32
these are cartoon examples.
182
620701
1753
ce sont des exemples caricaturés.
10:34
But the general point here is important:
183
622454
1939
Mais l'argument général est important :
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
si vous créez un processus d'optimisation
très puissant
très puissant
pour maximiser les chances
d'atteindre l'objectif x,
d'atteindre l'objectif x,
10:39
to maximize for objective x,
185
627266
2234
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
vous devez vous assurer
que votre définition de x
que votre définition de x
10:43
incorporates everything you care about.
187
631776
2469
incorpore tout ce à quoi vous tenez.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
C'est une leçon qui est enseignée
dans de nombreux mythes.
dans de nombreux mythes.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Le roi Midas souhaitait que tout
ce qu'il touche se transforme en or.
ce qu'il touche se transforme en or.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Il touche sa fille,
elle se transforme en or.
elle se transforme en or.
10:59
He touches his food, it turns into gold.
191
647378
2553
Il touche sa nourriture,
elle se transforme en or.
elle se transforme en or.
11:01
This could become practically relevant,
192
649931
2589
Ça pourrait devenir
pertinent en pratique,
pertinent en pratique,
11:04
not just as a metaphor for greed,
193
652520
2070
ne pas se limiter à une métaphore
de la cupidité
de la cupidité
11:06
but as an illustration of what happens
194
654590
1895
mais illustrer ce qui arrive
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
si vous créez un processus
d'optimisation puissant
d'optimisation puissant
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
et lui donnez des objectifs
mal conçus ou trop vagues.
mal conçus ou trop vagues.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Vous pourriez dire que si un ordinateur
commence à nous implanter des électrodes,
commence à nous implanter des électrodes,
11:21
we'd just shut it off.
198
669300
2265
nous le débrancherions.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
A, ce n'est pas forcément si facile
à faire si nous sommes devenus dépendants,
à faire si nous sommes devenus dépendants,
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
par exemple,
comment arrête-t-on internet ?
comment arrête-t-on internet ?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
B, pourquoi les chimpanzés
ou les Neandertals
ou les Neandertals
n'ont-ils pas
empêché l'humanité ?
empêché l'humanité ?
11:37
or the Neanderthals?
202
685747
1551
11:39
They certainly had reasons.
203
687298
2666
Ils avaient de bonnes raisons.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Nous avons un interrupteur,
par exemple, juste ici.
par exemple, juste ici.
11:44
(Choking)
205
692759
1554
(Suffocation)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
La raison est que nous sommes
un adversaire intelligent ;
un adversaire intelligent ;
nous pouvons anticiper les menaces
et planifier des solutions.
et planifier des solutions.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
11:51
But so could a superintelligent agent,
208
699966
2504
Mais une super intelligence
pourrait le faire aussi,
pourrait le faire aussi,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
et elle le ferait bien mieux que nous.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
L'important est que nous ne devrions pas
croire que nous avons tout sous contrôle.
croire que nous avons tout sous contrôle.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Nous pourrions tenter
de nous faciliter la tâche, disons
de nous faciliter la tâche, disons
12:08
putting the A.I. in a box,
212
716358
1590
en mettant l'I.A. dans une boîte,
12:09
like a secure software environment,
213
717948
1796
comme un environnement logiciel sûr,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
une simulation de la réalité
d'où elle ne peut s'échapper.
d'où elle ne peut s'échapper.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Mais à quel point sommes-nous sûrs
qu'elle ne trouvera pas un bug.
qu'elle ne trouvera pas un bug.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Étant donné que de simples hackers humains
trouvent toujours des bugs,
trouvent toujours des bugs,
12:22
I'd say, probably not very confident.
217
730081
3036
je dirais, probablement pas très sûrs.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Donc on déconnecte le câble Ethernet
pour créer une séparation physique,
pour créer une séparation physique,
12:30
but again, like merely human hackers
219
738785
2668
mais encore une fois,
comme de simples hackers humains
comme de simples hackers humains
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
transgressent les séparations physiques
grâce à l'ingéniérie sociale.
grâce à l'ingéniérie sociale.
À l'heure où je vous parle,
en ce moment-même,
en ce moment-même,
12:36
Right now, as I speak,
221
744834
1259
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
je suis sûr qu'il y a un employé,
quelque part
quelque part
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
à qui quelqu'un prétendant être
du département informatique
du département informatique
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
a demandé de donner
son identifiant et son mot de passe.
son identifiant et son mot de passe.
Des scénarios plus créatifs
sont aussi possibles,
sont aussi possibles,
12:46
More creative scenarios are also possible,
225
754574
2127
12:48
like if you're the A.I.,
226
756701
1315
par exemple, si vous êtes une I.A.
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
vous pouvez déplacer des électrodes
dans vos circuits internes
dans vos circuits internes
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
pour créer des ondes radio que vous
utiliserez pour communiquer.
utiliserez pour communiquer.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Ou vous pouvez prétendre
dysfonctionner,
dysfonctionner,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
et quand les ingénieurs vous ouvrent
pour voir ce qui ne marche pas,
pour voir ce qui ne marche pas,
13:02
they look at the source code -- Bam! --
231
770931
1936
ils regardent votre code source
-- Vlan ! --
-- Vlan ! --
13:04
the manipulation can take place.
232
772867
2447
la manipulation peut commencer.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Ou elle pourrait produire le plan
d'une nouvelle technologie géniale,
d'une nouvelle technologie géniale,
13:10
and when we implement it,
234
778744
1398
et quand nous l'implementons,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
elle a quelques effets secondaires furtifs
planifiés par l'I.A.
planifiés par l'I.A.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Donc nous ne devrions pas
faire confiance à notre capacité
faire confiance à notre capacité
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
à garder un génie super intelligent
prisonnier dans sa lampe éternellement.
prisonnier dans sa lampe éternellement.
13:23
Sooner or later, it will out.
238
791810
2254
À un moment donné, il va s'échapper.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Je crois que la réponse à ça
est de découvrir
est de découvrir
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
comment créer une super intelligence
telle que même si ou quand elle s'échappe,
telle que même si ou quand elle s'échappe,
on est toujours en sécurité car
elle est fondamentalement de notre côté
elle est fondamentalement de notre côté
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
13:38
because it shares our values.
242
806438
1899
car elle partage nos valeurs.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Je ne vois aucune solution à ce problème.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Mais je suis plutôt optimiste quant le fait
que ce problème peut être résolu.
que ce problème peut être résolu.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Nous n'aurions pas à écrire une longue
liste de tout ce que nous chérissons,
liste de tout ce que nous chérissons,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
ou, encore pire, devoir le coder
en language informatique
en language informatique
13:55
like C++ or Python,
247
823937
1454
comme C++ ou Python,
13:57
that would be a task beyond hopeless.
248
825391
2767
ce qui serait une tâche sans espoir.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Au lieu de ça, nous créerions une I.A.
qui utilise son intelligence
qui utilise son intelligence
14:04
to learn what we value,
250
832455
2771
pour apprendre nos valeurs,
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
et son système de motivation est construit
de telle sorte qu'elle est motivée
de telle sorte qu'elle est motivée
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
par la recherche de valeurs ou d'actions
qu'elle prédit que nous approuverions.
qu'elle prédit que nous approuverions.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Nous pourrions ainsi influencer
son intelligence autant que possible
son intelligence autant que possible
14:21
to solve the problem of value-loading.
254
849152
2745
à résoudre des problèmes importants.
14:24
This can happen,
255
852727
1512
Ça peut arriver,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
et le résultat en serait très positif
pour l'humanité.
pour l'humanité.
14:29
But it doesn't happen automatically.
257
857835
3957
Mais ça n'arrive pas automatiquement.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Les conditions initiales
de l'explosion de l'intelligence
de l'explosion de l'intelligence
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
devront être programmées
de manière précise
de manière précise
14:39
if we are to have a controlled detonation.
260
867653
3530
si nous voulons obtenir
une détonation contrôlée.
une détonation contrôlée.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Les valeurs de l'I.A. devront
correspondre aux nôtres,
correspondre aux nôtres,
pas seulement dans un contexte familier,
14:45
not just in the familiar context,
262
873801
1760
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
où il est facile de contrôler
comment l'I.A. se comporte,
comment l'I.A. se comporte,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
mais aussi dans de nouveaux contextes
que l'I.A. pourrait rencontrer
que l'I.A. pourrait rencontrer
14:53
in the indefinite future.
265
881233
1557
dans un futur indéfini.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Il y a aussi des problèmes ésotériques
qui devront être résolus :
qui devront être résolus :
les détails exacts
de sa théorie de décision,
de sa théorie de décision,
14:59
the exact details of its decision theory,
267
887527
2089
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
comment gérer l'incertitude logique
et ainsi de suite.
et ainsi de suite.
Les problèmes techniques qui doivent
être surmontés pour que ça marche
être surmontés pour que ça marche
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
15:08
look quite difficult --
270
896432
1113
semblent ardus--
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
pas autant que de faire
une I.A. super intelligente,
une I.A. super intelligente,
15:12
but fairly difficult.
272
900925
2868
mais assez ardus.
15:15
Here is the worry:
273
903793
1695
Là où c'est inquiétant, c'est que
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
faire une I.A. super intelligente
est un défi vraiment difficile.
est un défi vraiment difficile.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Faire une I.A. super intelligente
qui soit sûre
qui soit sûre
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
implique quelques
défis supplémentaires.
défis supplémentaires.
Le risque est que si quelqu'un trouve
comment résoudre le premier défi
comment résoudre le premier défi
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
sans avoir aussi résolu
15:34
of ensuring perfect safety.
279
922704
1901
l'autre défi, celui d'assurer
une sécurité parfaite.
une sécurité parfaite.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Je pense que nous devrions donc
commencer à résoudre
commencer à résoudre
15:40
to the control problem in advance,
281
928706
2822
le problème de contrôle d'abord,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
pour qu'il soit disponible
quand on en aura besoin.
quand on en aura besoin.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
On ne pourra peut-être pas résoudre
tout le problème du contrôle à l'avance
tout le problème du contrôle à l'avance
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
car certains éléments ne peuvent
être mis en place
être mis en place
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
qu'une fois qu'on connait les détails
de l'architecture où ce sera implémenté.
de l'architecture où ce sera implémenté.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Mais plus nous résolvons ce problème
de contrôle à l'avance,
de contrôle à l'avance,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
meilleure sera notre chance
que la transition vers l'ère de l'I.A.
que la transition vers l'ère de l'I.A.
16:04
will go well.
288
952766
1540
se passera bien.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Pour moi, ça semble valoir la peine
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
et j'imaginer que,
si tout se passe bien,
si tout se passe bien,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
les gens, dans un million d'années,
penseront peut-être
penseront peut-être
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
que la chose qui a vraiment été
importante dans notre siècle
importante dans notre siècle
16:22
was to get this thing right.
293
970942
1567
était de faire ça bien.
16:24
Thank you.
294
972509
1689
Merci.
16:26
(Applause)
295
974198
2813
(Applaudissements)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com