TED2017
Stuart Russell: 3 principles for creating safer AI
Stuart Russell: Comment l'intelligence artificielle peut-elle nous améliorer ?
Filmed:
Readability: 3.9
1,465,832 views
Comment pouvons-nous dompter le pouvoir d'une supra-intelligente Intelligence Artificielle (IA), tout en empêchant la catastrophe d'une domination robotique ? À mesure que nous nous rapprochons de la création de machines omniscientes, le pionnier de l'IA, Stuart Russell, travaille sur quelque chose d'un peu différent : des robots dotés de l'incertitude. Écoutez sa vision d'une IA compatible avec l'homme qui pourrait résoudre des problèmes en utilisant le bon sens, l'altruisme et d'autres valeurs humaines.
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio
Double-click the English transcript below to play the video.
00:12
This is Lee Sedol.
0
712
1552
Voici Lee Sedol.
00:14
Lee Sedol is one of the world's
greatest Go players,
greatest Go players,
1
2288
3997
Lee Sedol est l'un des meilleurs
joueurs de go au monde,
joueurs de go au monde,
00:18
and he's having what my friends
in Silicon Valley call
in Silicon Valley call
2
6309
2885
et il vient d'avoir ce que mes amis
de Silicon Valley appellent
de Silicon Valley appellent
00:21
a "Holy Cow" moment --
3
9218
1510
un moment « Mince alors... »
00:22
(Laughter)
4
10752
1073
(Rires)
00:23
a moment where we realize
5
11849
2188
Ce moment où nous réalisons
00:26
that AI is actually progressing
a lot faster than we expected.
a lot faster than we expected.
6
14061
3296
que l'intelligence artificielle progresse
plus rapidement que prévu.
plus rapidement que prévu.
Les hommes ont donc perdu au jeu de go.
Qu'en est-il du monde réel ?
Qu'en est-il du monde réel ?
00:30
So humans have lost on the Go board.
What about the real world?
What about the real world?
7
18154
3047
00:33
Well, the real world is much bigger,
8
21225
2100
Eh bien, le monde réel est
bien plus grand,
bien plus grand,
00:35
much more complicated than the Go board.
9
23349
2249
plus compliqué d'un plateau de go.
00:37
It's a lot less visible,
10
25622
1819
C'est beaucoup moins visible
00:39
but it's still a decision problem.
11
27465
2038
mais ça reste un problème de décision.
00:42
And if we think about some
of the technologies
of the technologies
12
30948
2321
Si nous pensons à certaines technologies
00:45
that are coming down the pike ...
13
33293
1749
qui apparaissent...
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
is not yet happening in machines,
14
35738
4335
Noriko [Arai] a dit que la lecture n'est
pas encore au point pour les machines,
pas encore au point pour les machines,
00:52
at least with understanding.
15
40097
1500
du moins avec compréhension.
00:53
But that will happen,
16
41621
1536
Mais cela se produira,
00:55
and when that happens,
17
43181
1771
et quand ça se produira,
00:56
very soon afterwards,
18
44976
1187
très peu de temps après,
00:58
machines will have read everything
that the human race has ever written.
that the human race has ever written.
19
46187
4572
les machines liront tout
ce que la race humaine a jamais écrit.
ce que la race humaine a jamais écrit.
01:03
And that will enable machines,
20
51850
2030
Cela permettra aux machines,
qui ont la capacité de voir plus loin
que les hommes ne le peuvent,
que les hommes ne le peuvent,
01:05
along with the ability to look
further ahead than humans can,
further ahead than humans can,
21
53904
2920
01:08
as we've already seen in Go,
22
56848
1680
comme démontré avec le jeu de go,
01:10
if they also have access
to more information,
to more information,
23
58552
2164
si elles ont accès à plus d'informations,
01:12
they'll be able to make better decisions
in the real world than we can.
in the real world than we can.
24
60740
4268
de prendre de meilleures
décisions dans le monde réel que nous.
décisions dans le monde réel que nous.
01:18
So is that a good thing?
25
66792
1606
Est-ce donc une bonne chose ?
01:21
Well, I hope so.
26
69898
2232
Eh bien, je l'espère.
01:26
Our entire civilization,
everything that we value,
everything that we value,
27
74694
3255
Notre civilisation tout entière,
tout ce que nous apprécions,
tout ce que nous apprécions,
01:29
is based on our intelligence.
28
77973
2068
est basé sur notre intelligence.
01:32
And if we had access
to a lot more intelligence,
to a lot more intelligence,
29
80065
3694
Et si nous avions accès
à une plus large intelligence,
à une plus large intelligence,
01:35
then there's really no limit
to what the human race can do.
to what the human race can do.
30
83783
3302
alors il n'y aurait aucune limite
à ce que la race humaine peut faire.
à ce que la race humaine peut faire.
01:40
And I think this could be,
as some people have described it,
as some people have described it,
31
88665
3325
Je pense que cela pourrait être,
comme certains l'ont décrit,
comme certains l'ont décrit,
01:44
the biggest event in human history.
32
92014
2016
le plus grand moment
de l'histoire humaine.
de l'histoire humaine.
01:48
So why are people saying things like this,
33
96665
2829
Alors, pourquoi les gens
racontent-ils des choses comme :
racontent-ils des choses comme :
01:51
that AI might spell the end
of the human race?
of the human race?
34
99518
2876
« l'IA pourrait signifier
la fin de la race humaine ? »
la fin de la race humaine ? »
01:55
Is this a new thing?
35
103438
1659
Est-ce une chose nouvelle ?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
and Stephen Hawking?
36
105121
4110
Cela ne concerne-t-il qu' Elon Musk,
Bill Gates et Stephen Hawking ?
Bill Gates et Stephen Hawking ?
02:01
Actually, no. This idea
has been around for a while.
has been around for a while.
37
109953
3262
En fait, non.
Cette idée existe depuis un moment.
Cette idée existe depuis un moment.
02:05
Here's a quotation:
38
113239
1962
Voici une citation :
02:07
"Even if we could keep the machines
in a subservient position,
in a subservient position,
39
115225
4350
« Même si nous pouvions garder les
machines dans une position subalterne,
machines dans une position subalterne,
par exemple, en coupant
l'énergie à des moments stratégiques... »
l'énergie à des moments stratégiques... »
02:11
for instance, by turning off the power
at strategic moments" --
at strategic moments" --
40
119599
2984
02:14
and I'll come back to that
"turning off the power" idea later on --
"turning off the power" idea later on --
41
122607
3237
et je reviendrai sur cette idée
de « couper l'énergie » plus tard...
de « couper l'énergie » plus tard...
02:17
"we should, as a species,
feel greatly humbled."
feel greatly humbled."
42
125868
2804
« Nous devrions, en tant qu'espèce,
faire preuve d'humilité. »
faire preuve d'humilité. »
02:22
So who said this?
This is Alan Turing in 1951.
This is Alan Turing in 1951.
43
130177
3448
Donc qui a dit ça ?
C'est Alan Turing en 1951.
C'est Alan Turing en 1951.
02:26
Alan Turing, as you know,
is the father of computer science
is the father of computer science
44
134300
2763
Alan Turing, vous le savez,
est le père de l'informatique
est le père de l'informatique
02:29
and in many ways,
the father of AI as well.
the father of AI as well.
45
137087
3048
et à bien des égards,
le père de l'IA également.
le père de l'IA également.
02:33
So if we think about this problem,
46
141239
1882
Si nous pensons à ce problème,
02:35
the problem of creating something
more intelligent than your own species,
more intelligent than your own species,
47
143145
3787
celui de créer quelque chose de plus
intelligent que notre propre espèce,
intelligent que notre propre espèce,
02:38
we might call this "the gorilla problem,"
48
146956
2622
appelons cela
« le problème du gorille »,
« le problème du gorille »,
02:42
because gorillas' ancestors did this
a few million years ago,
a few million years ago,
49
150345
3750
parce que leurs ancêtres ont vécu cela
il y a quelques millions d'années,
il y a quelques millions d'années,
02:46
and now we can ask the gorillas:
50
154119
1745
nous pouvons donc leur demander :
« Était-ce une bonne idée ? »
02:48
Was this a good idea?
51
156752
1160
02:49
So here they are having a meeting
to discuss whether it was a good idea,
to discuss whether it was a good idea,
52
157936
3530
Donc, ils ont eu une réunion
pour savoir si c'était une bonne idée
pour savoir si c'était une bonne idée
02:53
and after a little while,
they conclude, no,
they conclude, no,
53
161490
3346
et après un petit moment,
ils conclurent que non,
ils conclurent que non,
02:56
this was a terrible idea.
54
164860
1345
c'était une mauvaise idée.
02:58
Our species is in dire straits.
55
166229
1782
« Notre espèce est en difficulté. »
03:00
In fact, you can see the existential
sadness in their eyes.
sadness in their eyes.
56
168538
4263
En fait, vous pouvez voir de la tristesse
existentielle dans leurs yeux.
existentielle dans leurs yeux.
03:04
(Laughter)
57
172825
1640
(Rires)
03:06
So this queasy feeling that making
something smarter than your own species
something smarter than your own species
58
174489
4840
Ce sentiment gênant d'avoir créé
quelque chose de plus intelligent
quelque chose de plus intelligent
que votre propre espèce alors que
ce n'est peut-être pas une bonne idée...
ce n'est peut-être pas une bonne idée...
03:11
is maybe not a good idea --
59
179353
2365
03:14
what can we do about that?
60
182488
1491
« Que pouvons-nous y faire ? »
03:16
Well, really nothing,
except stop doing AI,
except stop doing AI,
61
184003
4767
Eh bien, rien,
sauf abandonner l'IA.
sauf abandonner l'IA.
03:20
and because of all
the benefits that I mentioned
the benefits that I mentioned
62
188794
2510
Mais à cause de tous les avantages
que j'ai mentionnés
que j'ai mentionnés
et parce que je suis chercheur en IA,
03:23
and because I'm an AI researcher,
63
191328
1716
03:25
I'm not having that.
64
193068
1791
je ne peux m'y résoudre.
03:27
I actually want to be able
to keep doing AI.
to keep doing AI.
65
195283
2468
Je veux réellement continuer
à travailler sur l'IA.
à travailler sur l'IA.
03:30
So we actually need to nail down
the problem a bit more.
the problem a bit more.
66
198615
2678
Nous avons besoin de définir
un peu plus le problème.
un peu plus le problème.
03:33
What exactly is the problem?
67
201317
1371
Quel est donc le problème ?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
Pourquoi une meilleure IA
pourrait être une catastrophe ?
pourrait être une catastrophe ?
03:39
So here's another quotation:
69
207398
1498
Voici une autre citation :
03:41
"We had better be quite sure
that the purpose put into the machine
that the purpose put into the machine
70
209935
3335
« Nous devrions être certains
que l'objectif introduit dans la machine
que l'objectif introduit dans la machine
03:45
is the purpose which we really desire."
71
213294
2298
est bien l'objectif que nous souhaitons. »
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
C'est une citation de
Norbert Wienner en 1960,
Norbert Wienner en 1960,
03:51
shortly after he watched
one of the very early learning systems
one of the very early learning systems
73
219804
4002
peu après qu'il a observé
l'un des premiers systèmes d'apprentissage
l'un des premiers systèmes d'apprentissage
03:55
learn to play checkers
better than its creator.
better than its creator.
74
223830
2583
apprendre à mieux jouer aux échecs
que son créateur.
que son créateur.
04:00
But this could equally have been said
75
228602
2683
Mais ça aurait aussi pu être
04:03
by King Midas.
76
231309
1167
le roi Midas, qui a dit :
« Je souhaite que tout
ce que je touche se transforme en or »
ce que je touche se transforme en or »
04:05
King Midas said, "I want everything
I touch to turn to gold,"
I touch to turn to gold,"
77
233083
3134
et qui a obtenu exactement
ce qu'il avait demandé.
ce qu'il avait demandé.
04:08
and he got exactly what he asked for.
78
236241
2473
04:10
That was the purpose
that he put into the machine,
that he put into the machine,
79
238738
2751
C'était l'objectif
qu'il a introduit dans la machine,
qu'il a introduit dans la machine,
04:13
so to speak,
80
241513
1450
pour ainsi dire.
04:14
and then his food and his drink
and his relatives turned to gold
and his relatives turned to gold
81
242987
3444
Sa nourriture, sa boisson et
sa famille se sont alors changées en or.
sa famille se sont alors changées en or.
04:18
and he died in misery and starvation.
82
246455
2281
Il est mort de faim dans la misère.
04:22
So we'll call this
"the King Midas problem"
"the King Midas problem"
83
250444
2341
Nous appellerons ça
« le problème du roi Midas »,
« le problème du roi Midas »,
04:24
of stating an objective
which is not, in fact,
which is not, in fact,
84
252809
3305
le fait de déclarer un objectif
qui n'est pas, en fait,
qui n'est pas, en fait,
04:28
truly aligned with what we want.
85
256138
2413
en adéquation avec ce que nous voulons.
04:30
In modern terms, we call this
"the value alignment problem."
"the value alignment problem."
86
258575
3253
Aujourd'hui, nous appelons cela
« un problème d'alignement de valeur ».
« un problème d'alignement de valeur ».
04:37
Putting in the wrong objective
is not the only part of the problem.
is not the only part of the problem.
87
265047
3485
Établir le mauvais objectif
n'est qu'une partie du problème.
n'est qu'une partie du problème.
04:40
There's another part.
88
268556
1152
Il en existe une autre.
Si vous introduisez un objectif
dans une machine,
dans une machine,
04:42
If you put an objective into a machine,
89
270160
1943
04:44
even something as simple as,
"Fetch the coffee,"
"Fetch the coffee,"
90
272127
2448
même une chose
simple comme « acheter du café »,
simple comme « acheter du café »,
04:47
the machine says to itself,
91
275908
1841
la machine se dit :
04:50
"Well, how might I fail
to fetch the coffee?
to fetch the coffee?
92
278733
2623
« Comment pourrais-je échouer
à apporter du café ?
à apporter du café ?
04:53
Someone might switch me off.
93
281380
1580
Quelqu'un pourrait m'éteindre.
Alors, je dois prendre
des mesures pour éviter cela.
des mesures pour éviter cela.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
04:58
I will disable my 'off' switch.
95
286056
1906
Je vais désactiver mon interrupteur.
05:00
I will do anything to defend myself
against interference
against interference
96
288534
2959
Je ferai tout pour me défendre
contre les interférences
contre les interférences
05:03
with this objective
that I have been given."
that I have been given."
97
291517
2629
contre l'objectif
qu'on m'a donné. »
qu'on m'a donné. »
05:06
So this single-minded pursuit
98
294170
2012
Cette quête obsessionnelle,
avec une attitude très défensive
envers un objectif qui n'est, en fait,
envers un objectif qui n'est, en fait,
05:09
in a very defensive mode
of an objective that is, in fact,
of an objective that is, in fact,
99
297213
2945
05:12
not aligned with the true objectives
of the human race --
of the human race --
100
300182
2814
pas aligné sur les vrais objectifs
de la race humaine...
de la race humaine...
C'est le problème auquel
nous sommes confrontés.
nous sommes confrontés.
05:16
that's the problem that we face.
101
304122
1862
05:19
And in fact, that's the high-value
takeaway from this talk.
takeaway from this talk.
102
307007
4767
Et c'est aussi la notion importante
à retenir de cette présentation.
à retenir de cette présentation.
Si vous ne devez retenir qu'une chose,
05:23
If you want to remember one thing,
103
311798
2055
c'est que vous ne pourrez pas aller
chercher le café si vous êtes mort.
chercher le café si vous êtes mort.
05:25
it's that you can't fetch
the coffee if you're dead.
the coffee if you're dead.
104
313877
2675
05:28
(Laughter)
105
316576
1061
(Rires)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
Repeat it to yourself three times a day.
106
317661
3829
C'est très simple. Rappelez-vous de cela.
Répétez-le-vous trois fois par jour.
Répétez-le-vous trois fois par jour.
05:33
(Laughter)
107
321514
1821
(Rires)
05:35
And in fact, this is exactly the plot
108
323359
2754
En fait, c'est exactement l'intrigue
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
de « 2001, l'Odyssée de l'espace. »
05:41
HAL has an objective, a mission,
110
329226
2090
HAL a un objectif, une mission,
05:43
which is not aligned
with the objectives of the humans,
with the objectives of the humans,
111
331340
3732
qui n'est pas en adéquation
avec les objectifs des êtres humains
avec les objectifs des êtres humains
05:47
and that leads to this conflict.
112
335096
1810
et cela conduit à ce conflit.
05:49
Now fortunately, HAL
is not superintelligent.
is not superintelligent.
113
337494
2969
Heureusement, HAL
n'est pas super-intelligent.
n'est pas super-intelligent.
05:52
He's pretty smart,
but eventually Dave outwits him
but eventually Dave outwits him
114
340487
3587
Il est assez malin,
mais finalement Dave le surpasse
mais finalement Dave le surpasse
05:56
and manages to switch him off.
115
344098
1849
et parvient à l'éteindre.
06:01
But we might not be so lucky.
116
349828
1619
Nous pourrions avoir moins de chance.
06:08
So what are we going to do?
117
356193
1592
Alors qu'allons-nous faire ?
06:12
I'm trying to redefine AI
118
360371
2601
J'essaie de redéfinir l'IA,
06:14
to get away from this classical notion
119
362996
2061
afin de nous éloigner
de cette notion classique
de cette notion classique
06:17
of machines that intelligently
pursue objectives.
pursue objectives.
120
365081
4567
de machines qui poursuivent
leurs objectifs de manière intelligente.
leurs objectifs de manière intelligente.
06:22
There are three principles involved.
121
370712
1798
Cela repose sur trois principes.
06:24
The first one is a principle
of altruism, if you like,
of altruism, if you like,
122
372534
3289
Le premier est un principe d'altruisme,
si vous voulez.
si vous voulez.
06:27
that the robot's only objective
123
375847
3262
L'unique objectif du robot
06:31
is to maximize the realization
of human objectives,
of human objectives,
124
379133
4246
est de maximiser la réalisation
des objectifs des êtres humains,
des objectifs des êtres humains,
06:35
of human values.
125
383403
1390
des valeurs humaines.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
touchy-feely, goody-goody values.
126
384817
3330
Je ne parle pas de celles qui sont
sentimentales ou sainte-nitouche.
sentimentales ou sainte-nitouche.
06:40
I just mean whatever it is
that the human would prefer
that the human would prefer
127
388171
3787
Je parle de la vie que
les êtres humains voudraient
les êtres humains voudraient
06:43
their life to be like.
128
391982
1343
par n'importe quels moyens.
06:47
And so this actually violates Asimov's law
129
395364
2309
Cela viole la loi d'Asimov,
selon laquelle
selon laquelle
06:49
that the robot has to protect
its own existence.
its own existence.
130
397697
2329
le robot doit protéger
sa propre existence.
sa propre existence.
06:52
It has no interest in preserving
its existence whatsoever.
its existence whatsoever.
131
400050
3723
Il n'a aucun intérêt
à préserver son existence.
à préserver son existence.
06:57
The second law is a law
of humility, if you like.
of humility, if you like.
132
405420
3768
La deuxième loi est une loi d'humilité,
si vous préférez.
si vous préférez.
07:01
And this turns out to be really
important to make robots safe.
important to make robots safe.
133
409974
3743
Elle s'avère très importante
afin de rendre le robot inoffensif.
afin de rendre le robot inoffensif.
07:05
It says that the robot does not know
134
413741
3142
L'idée, c'est que le robot ne sait pas
07:08
what those human values are,
135
416907
2028
ce que sont les valeurs humaines.
07:10
so it has to maximize them,
but it doesn't know what they are.
but it doesn't know what they are.
136
418959
3178
Il doit les maximiser,
mais il ne sait pas ce qu'elles sont.
mais il ne sait pas ce qu'elles sont.
07:15
And that avoids this problem
of single-minded pursuit
of single-minded pursuit
137
423254
2626
Pour éviter une quête obsessionnelle
07:17
of an objective.
138
425904
1212
d'un objectif,
07:19
This uncertainty turns out to be crucial.
139
427140
2172
cette incertitude s'avère cruciale.
07:21
Now, in order to be useful to us,
140
429726
1639
Mais pour nous être utiles,
07:23
it has to have some idea of what we want.
141
431389
2731
il doit avoir une idée de nos désirs.
07:27
It obtains that information primarily
by observation of human choices,
by observation of human choices,
142
435223
5427
Il obtient cette information surtout
par l'observation des choix humains.
par l'observation des choix humains.
07:32
so our own choices reveal information
143
440674
2801
Ces choix révèlent donc des informations
07:35
about what it is that we prefer
our lives to be like.
our lives to be like.
144
443499
3300
quant à ce que nous désirons
pour notre vie.
pour notre vie.
07:40
So those are the three principles.
145
448632
1683
Ce sont donc les trois principes.
Voyons comment cela s'applique
à la question
à la question
07:42
Let's see how that applies
to this question of:
to this question of:
146
450339
2318
07:44
"Can you switch the machine off?"
as Turing suggested.
as Turing suggested.
147
452681
2789
de Turing :
« Pouvez-vous éteindre la machine ? »
« Pouvez-vous éteindre la machine ? »
07:49
So here's a PR2 robot.
148
457073
2120
Voici un robot PR2.
07:51
This is one that we have in our lab,
149
459217
1821
C'est celui que nous avons au laboratoire
07:53
and it has a big red "off" switch
right on the back.
right on the back.
150
461062
2903
Il possède un gros interrupteur rouge
directement sur le dos.
directement sur le dos.
La question est :
« Va-t-il nous laisser l'éteindre ? »
« Va-t-il nous laisser l'éteindre ? »
07:56
The question is: Is it
going to let you switch it off?
going to let you switch it off?
151
464541
2615
07:59
If we do it the classical way,
152
467180
1465
Selon la méthode classique,
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
the coffee, I must fetch the coffee,
153
468669
3482
nous lui donnons pour objectif de
« chercher du café,
« chercher du café,
je dois aller chercher du café,
je ne peux pas y aller si je suis mort. »
je ne peux pas y aller si je suis mort. »
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
08:06
so obviously the PR2
has been listening to my talk,
has been listening to my talk,
155
474779
3341
Alors, évidemment, le PR2
a écouté ma présentation
a écouté ma présentation
08:10
and so it says, therefore,
"I must disable my 'off' switch,
"I must disable my 'off' switch,
156
478144
3753
et il se dit :
« Je dois désactiver mon interrupteur
« Je dois désactiver mon interrupteur
08:14
and probably taser all the other
people in Starbucks
people in Starbucks
157
482976
2694
et tirer sur toutes les autres
personnes dans le Starbucks
personnes dans le Starbucks
08:17
who might interfere with me."
158
485694
1560
qui pourraient interférer avec moi. »
08:19
(Laughter)
159
487278
2062
(Rires)
08:21
So this seems to be inevitable, right?
160
489364
2153
Cela semble inévitable, n'est-ce pas ?
08:23
This kind of failure mode
seems to be inevitable,
seems to be inevitable,
161
491541
2398
Ce genre d'échec
semble être inévitable
semble être inévitable
08:25
and it follows from having
a concrete, definite objective.
a concrete, definite objective.
162
493963
3543
et résulte de
l'objectif concret et défini.
l'objectif concret et défini.
08:30
So what happens if the machine
is uncertain about the objective?
is uncertain about the objective?
163
498812
3144
Qu'arrive-t-il si la machine
ne connaît pas l'objectif ?
ne connaît pas l'objectif ?
08:33
Well, it reasons in a different way.
164
501980
2127
Eh bien, elle raisonne différemment.
08:36
It says, "OK, the human
might switch me off,
might switch me off,
165
504131
2424
Elle se dit :
« OK, l'humain pourrait m'éteindre,
« OK, l'humain pourrait m'éteindre,
08:39
but only if I'm doing something wrong.
166
507144
1866
si je fais ce qui ne va pas.
08:41
Well, I don't really know what wrong is,
167
509747
2475
Eh bien, je ne sais pas vraiment
ce qui est mal,
ce qui est mal,
08:44
but I know that I don't want to do it."
168
512246
2044
mais je sais
que je ne veux pas le faire. »
que je ne veux pas le faire. »
08:46
So that's the first and second
principles right there.
principles right there.
169
514314
3010
Voilà le premier et le deuxième principes.
08:49
"So I should let the human switch me off."
170
517348
3359
« Je devrais donc laisser
l'humain m'éteindre. »
l'humain m'éteindre. »
08:53
And in fact you can calculate
the incentive that the robot has
the incentive that the robot has
171
521721
3956
En fait, vous pouvez calculer
l'incitation que le robot a
l'incitation que le robot a
08:57
to allow the human to switch it off,
172
525701
2493
à se laisser éteindre.
09:00
and it's directly tied to the degree
173
528218
1914
C'est directement lié au degré
09:02
of uncertainty about
the underlying objective.
the underlying objective.
174
530156
2746
d'incertitude de
l'objectif sous-jacent.
l'objectif sous-jacent.
09:05
And then when the machine is switched off,
175
533977
2949
Et c'est lorsque la machine est éteinte
que ce troisième principe
entre en jeu.
entre en jeu.
09:08
that third principle comes into play.
176
536950
1805
Elle apprend des choses sur
les objectifs qu'elle doit poursuivre
les objectifs qu'elle doit poursuivre
09:10
It learns something about the objectives
it should be pursuing,
it should be pursuing,
177
538779
3062
09:13
because it learns that
what it did wasn't right.
what it did wasn't right.
178
541865
2533
en constatant que ce qu'elle a fait
n'était pas bien.
n'était pas bien.
09:16
In fact, we can, with suitable use
of Greek symbols,
of Greek symbols,
179
544422
3570
En fait, avec une utilisation
appropriée des symboles grecs,
appropriée des symboles grecs,
09:20
as mathematicians usually do,
180
548016
2131
comme le font souvent les mathématiciens,
09:22
we can actually prove a theorem
181
550171
1984
nous pouvons prouver un théorème
09:24
that says that such a robot
is provably beneficial to the human.
is provably beneficial to the human.
182
552179
3553
qui dit qu'un tel robot
est manifestement bénéfique pour l'humain.
est manifestement bénéfique pour l'humain.
09:27
You are provably better off
with a machine that's designed in this way
with a machine that's designed in this way
183
555756
3803
Vous êtes probablement mieux
avec une machine conçue de cette façon
avec une machine conçue de cette façon
09:31
than without it.
184
559583
1246
que sans.
C'est donc un exemple très simple,
mais c'est la première étape
mais c'est la première étape
09:33
So this is a very simple example,
but this is the first step
but this is the first step
185
561237
2906
09:36
in what we're trying to do
with human-compatible AI.
with human-compatible AI.
186
564167
3903
dans ce que nous essayons de faire avec
l'IA compatible avec les êtres humains.
l'IA compatible avec les êtres humains.
09:42
Now, this third principle,
187
570657
3257
Quant au troisième principe,
je pense que vous êtes en train
de vous gratter la tête à ce sujet.
de vous gratter la tête à ce sujet.
09:45
I think is the one that you're probably
scratching your head over.
scratching your head over.
188
573938
3112
09:49
You're probably thinking, "Well,
you know, I behave badly.
you know, I behave badly.
189
577074
3239
Vous pensez probablement :
« Eh bien, vous savez, je me comporte mal.
« Eh bien, vous savez, je me comporte mal.
09:52
I don't want my robot to behave like me.
190
580337
2929
Je ne veux pas que mon robot
se comporte comme moi.
se comporte comme moi.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
and take stuff from the fridge.
191
583290
3434
Je me faufile au milieu de la nuit
et je picore dans le frigo.
et je picore dans le frigo.
09:58
I do this and that."
192
586748
1168
Je fais ceci et cela. »
09:59
There's all kinds of things
you don't want the robot doing.
you don't want the robot doing.
193
587940
2797
Il y a plein de choses
que vous ne voulez pas qu'un robot fasse.
que vous ne voulez pas qu'un robot fasse.
10:02
But in fact, it doesn't
quite work that way.
quite work that way.
194
590761
2071
Mais cela ne fonctionne pas ainsi.
10:04
Just because you behave badly
195
592856
2155
Votre mauvais comportement
ne va pas inciter le robot
à vous copier.
à vous copier.
10:07
doesn't mean the robot
is going to copy your behavior.
is going to copy your behavior.
196
595035
2623
10:09
It's going to understand your motivations
and maybe help you resist them,
and maybe help you resist them,
197
597682
3910
Il va comprendre vos motivations
et peut-être vous aider à résister,
et peut-être vous aider à résister,
10:13
if appropriate.
198
601616
1320
le cas échéant.
10:16
But it's still difficult.
199
604206
1464
Mais ça restera difficile.
10:18
What we're trying to do, in fact,
200
606302
2545
Ce que nous essayons de faire,
en fait, c'est de permettre
en fait, c'est de permettre
10:20
is to allow machines to predict
for any person and for any possible life
for any person and for any possible life
201
608871
5796
aux machines de se demander,
pour toute personne et
pour toute personne et
pour toute vie qu'ils pourraient vivre
10:26
that they could live,
202
614691
1161
10:27
and the lives of everybody else:
203
615876
1597
et les vies de tous les autres :
10:29
Which would they prefer?
204
617497
2517
« Laquelle préfèreraient-ils ? »
10:34
And there are many, many
difficulties involved in doing this;
difficulties involved in doing this;
205
622061
2954
Et cela engendre
beaucoup, beaucoup de difficultés.
beaucoup, beaucoup de difficultés.
Je ne m'attends pas à ce que nous
résolvions cela très rapidement.
résolvions cela très rapidement.
10:37
I don't expect that this
is going to get solved very quickly.
is going to get solved very quickly.
206
625039
2932
10:39
The real difficulties, in fact, are us.
207
627995
2643
Le vrai problème, en fait, c'est nous.
10:44
As I have already mentioned,
we behave badly.
we behave badly.
208
632149
3117
Comme je l'ai déjà mentionné,
nous nous comportons mal.
nous nous comportons mal.
10:47
In fact, some of us are downright nasty.
209
635290
2321
Certains d'entre nous sont
même foncièrement méchants.
même foncièrement méchants.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
doesn't have to copy the behavior.
210
638431
3052
Le robot, comme je l'ai dit, n'est pas
obligé de copier ce comportement.
obligé de copier ce comportement.
10:53
The robot does not have
any objective of its own.
any objective of its own.
211
641507
2791
Il n'a aucun objectif propre.
10:56
It's purely altruistic.
212
644322
1737
Il est purement altruiste.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
the desires of one person, the user,
213
647293
5221
Il ne doit pas uniquement satisfaire
les désirs d'une personne, l'utilisateur,
les désirs d'une personne, l'utilisateur,
11:04
but in fact it has to respect
the preferences of everybody.
the preferences of everybody.
214
652538
3138
mais, en fait, il doit respecter
les préférences de tous.
les préférences de tous.
11:09
So it can deal with a certain
amount of nastiness,
amount of nastiness,
215
657263
2570
Il peut donc faire face
à une certaine négligence.
à une certaine négligence.
11:11
and it can even understand
that your nastiness, for example,
that your nastiness, for example,
216
659857
3701
Il peut même comprendre
votre malveillance, par exemple,
votre malveillance, par exemple,
11:15
you may take bribes as a passport official
217
663582
2671
si vous acceptez des pots-de-vin en tant
que préposé aux passeports
que préposé aux passeports
11:18
because you need to feed your family
and send your kids to school.
and send your kids to school.
218
666277
3812
afin de nourrir votre famille
et envoyer vos enfants à l'école.
et envoyer vos enfants à l'école.
Il peut comprendre cela, ce qui ne
signifie pas qu'il va se mettre à voler.
signifie pas qu'il va se mettre à voler.
11:22
It can understand that;
it doesn't mean it's going to steal.
it doesn't mean it's going to steal.
219
670113
2906
11:25
In fact, it'll just help you
send your kids to school.
send your kids to school.
220
673043
2679
En fait, il vous aidera
à envoyer vos enfants à l'école.
à envoyer vos enfants à l'école.
11:28
We are also computationally limited.
221
676976
3012
Nous sommes limités
par la puissance de calcul.
par la puissance de calcul.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Lee Sedol est un brillant joueur de go,
11:34
but he still lost.
223
682541
1325
mais il a quand même perdu.
11:35
So if we look at his actions,
he took an action that lost the game.
he took an action that lost the game.
224
683890
4239
Si on regarde ses actions, il a pris
une décision qui lui a coûté le match.
une décision qui lui a coûté le match.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
Ça ne veut pas dire qu'il voulait perdre.
11:43
So to understand his behavior,
226
691340
2040
Pour comprendre son comportement,
11:45
we actually have to invert
through a model of human cognition
through a model of human cognition
227
693404
3644
nous devons l'observer à travers
un modèle de cognition humaine
un modèle de cognition humaine
11:49
that includes our computational
limitations -- a very complicated model.
limitations -- a very complicated model.
228
697072
4977
qui inclut nos limites en calcul.
Un modèle très compliqué.
Un modèle très compliqué.
11:54
But it's still something
that we can work on understanding.
that we can work on understanding.
229
702073
2993
Ça demande un effort,
mais nous pouvons le comprendre.
mais nous pouvons le comprendre.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
from my point of view as an AI researcher,
230
705876
4320
Ce qui est le plus difficile,
de mon point de vue de chercheur en IA,
de mon point de vue de chercheur en IA,
12:02
is the fact that there are lots of us,
231
710220
2575
c'est le fait que nous sommes si nombreux.
12:06
and so the machine has to somehow
trade off, weigh up the preferences
trade off, weigh up the preferences
232
714294
3581
La machine doit faire des choix,
évaluer les préférences
évaluer les préférences
12:09
of many different people,
233
717899
2225
d'un grand nombre
de personnes différentes
de personnes différentes
et il existe différentes
façons de le faire.
façons de le faire.
12:12
and there are different ways to do that.
234
720148
1906
12:14
Economists, sociologists,
moral philosophers have understood that,
moral philosophers have understood that,
235
722078
3689
Les économistes, les sociologues,
les philosophes l'ont bien compris
les philosophes l'ont bien compris
12:17
and we are actively
looking for collaboration.
looking for collaboration.
236
725791
2455
et nous cherchons activement
leur collaboration.
leur collaboration.
12:20
Let's have a look and see what happens
when you get that wrong.
when you get that wrong.
237
728270
3251
Voyons ce qui se passe
lorsque vous avez un problème.
lorsque vous avez un problème.
12:23
So you can have
a conversation, for example,
a conversation, for example,
238
731545
2133
Vous pouvez discuter,
par exemple,
par exemple,
avec votre assistant personnel intelligent
12:25
with your intelligent personal assistant
239
733702
1944
qui pourrait être disponible
dans quelques années.
dans quelques années.
12:27
that might be available
in a few years' time.
in a few years' time.
240
735670
2285
12:29
Think of a Siri on steroids.
241
737979
2524
Pensez à un Siri sous stéroïdes.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
to remind you about dinner tonight."
242
741627
4322
Siri dit : « Votre femme a appelé
pour vous rappeler le dîner de ce soir. »
pour vous rappeler le dîner de ce soir. »
12:38
And of course, you've forgotten.
"What? What dinner?
"What? What dinner?
243
746616
2508
Bien sûr, vous aviez oublié.
« Quoi ? Quel dîner ?
« Quoi ? Quel dîner ?
12:41
What are you talking about?"
244
749148
1425
De quoi me parles-tu ? »
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
« Euh, votre 20ème anniversaire à 19h00. »
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
with the secretary-general at 7:30.
246
756915
3719
« Je ne peux pas. J'ai une réunion
avec le secrétaire général à 19h30.
avec le secrétaire général à 19h30.
12:52
How could this have happened?"
247
760658
1692
Comment cela a-t-il pu arriver ? »
12:54
"Well, I did warn you, but you overrode
my recommendation."
my recommendation."
248
762374
4660
« Eh bien, je vous ai prévenu,
mais vous avez ignoré mon avertissement. »
mais vous avez ignoré mon avertissement. »
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
I can't just tell him I'm too busy."
249
768146
3328
« Qu'est-ce que je vais faire ? Je ne
peux pas lui dire que je suis occupé. »
peux pas lui dire que je suis occupé. »
« Ne vous inquiétez pas. J'ai fait
en sorte que son avion ait du retard. »
en sorte que son avion ait du retard. »
13:04
"Don't worry. I arranged
for his plane to be delayed."
for his plane to be delayed."
250
772490
3281
13:07
(Laughter)
251
775795
1682
(Rires)
13:10
"Some kind of computer malfunction."
252
778249
2101
« Une sorte de bug de l'ordinateur. »
13:12
(Laughter)
253
780374
1212
(Rires)
13:13
"Really? You can do that?"
254
781610
1617
« Vraiment ? Tu peux faire ça ? »
13:16
"He sends his profound apologies
255
784400
2179
« Il vous présente ses excuses
13:18
and looks forward to meeting you
for lunch tomorrow."
for lunch tomorrow."
256
786603
2555
et voudrait vous rencontrer
demain pour le déjeuner. »
demain pour le déjeuner. »
13:21
(Laughter)
257
789182
1299
(Rires)
13:22
So the values here --
there's a slight mistake going on.
there's a slight mistake going on.
258
790505
4403
Donc là...
Il y a une légère erreur.
Il y a une légère erreur.
13:26
This is clearly following my wife's values
259
794932
3009
Ce scénario suit clairement
la philosophie de ma femme.
la philosophie de ma femme.
13:29
which is "Happy wife, happy life."
260
797965
2069
qui est :
« femme heureuse, vie heureuse. »
« femme heureuse, vie heureuse. »
13:32
(Laughter)
261
800058
1583
(Rires)
13:33
It could go the other way.
262
801665
1444
Mais ça pourrait aussi
aller autrement.
aller autrement.
13:35
You could come home
after a hard day's work,
after a hard day's work,
263
803821
2201
Vous pourriez rentrer
après une dure journée
après une dure journée
13:38
and the computer says, "Long day?"
264
806046
2195
et l'ordinateur vous dit :
« Dure journée ? »
« Dure journée ? »
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
« Oui, je n'ai même pas
eu le temps de manger. »
eu le temps de manger. »
13:42
"You must be very hungry."
266
810577
1282
« Tu dois avoir faim. »
13:43
"Starving, yeah.
Could you make some dinner?"
Could you make some dinner?"
267
811883
2646
« Oui, très faim.
Tu peux me faire à dîner ? »
Tu peux me faire à dîner ? »
13:48
"There's something I need to tell you."
268
816070
2090
« Je dois te dire quelque chose. »
13:50
(Laughter)
269
818184
1155
(Rires)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
who are in more urgent need than you."
270
820193
4905
« Il y a des gens au Soudan du Sud qui ont
bien plus besoin de nourriture que toi. »
bien plus besoin de nourriture que toi. »
13:57
(Laughter)
271
825122
1104
(Rires)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
« Je te quitte.
Fais-toi à dîner toi-même. »
Fais-toi à dîner toi-même. »
14:00
(Laughter)
273
828349
2000
(Rires)
14:02
So we have to solve these problems,
274
830823
1739
Nous devons résoudre ces problèmes
14:04
and I'm looking forward
to working on them.
to working on them.
275
832586
2515
et je suis impatient
de travailler là-dessus.
de travailler là-dessus.
Nous avons des raisons
d'être optimistes.
d'être optimistes.
14:07
There are reasons for optimism.
276
835125
1843
14:08
One reason is,
277
836992
1159
La première, c'est que
14:10
there is a massive amount of data.
278
838175
1868
nous disposons d'une masse de données.
14:12
Because remember -- I said
they're going to read everything
they're going to read everything
279
840067
2794
Parce que, souvenez-vous,
j'ai dit que l'IA va lire tout
j'ai dit que l'IA va lire tout
14:14
the human race has ever written.
280
842885
1546
ce que l'homme a jamais écrit.
La plupart du temps,
nous écrivons sur ce que les humains font
nous écrivons sur ce que les humains font
14:16
Most of what we write about
is human beings doing things
is human beings doing things
281
844455
2724
14:19
and other people getting upset about it.
282
847203
1914
et sur les gens que ça contrarie.
14:21
So there's a massive amount
of data to learn from.
of data to learn from.
283
849141
2398
Alors il y a une masse de données
dans laquelle puiser.
dans laquelle puiser.
14:23
There's also a very
strong economic incentive
strong economic incentive
284
851563
2236
Il y a également une très forte
incitation économique à cela.
incitation économique à cela.
14:27
to get this right.
285
855331
1186
Donc,
14:28
So imagine your domestic robot's at home.
286
856541
2001
imaginez votre robot domestique.
Vous êtes en retard au travail
et le robot doit nourrir les enfants,
et le robot doit nourrir les enfants,
14:30
You're late from work again
and the robot has to feed the kids,
and the robot has to feed the kids,
287
858566
3067
14:33
and the kids are hungry
and there's nothing in the fridge.
and there's nothing in the fridge.
288
861657
2823
les enfants ont faim
et il n'y a rien dans le réfrigérateur.
et il n'y a rien dans le réfrigérateur.
14:36
And the robot sees the cat.
289
864504
2605
Le robot voit le chat.
14:39
(Laughter)
290
867133
1692
(Rires)
14:40
And the robot hasn't quite learned
the human value function properly,
the human value function properly,
291
868849
4190
Le robot n'a pas bien appris
les valeurs humaines,
les valeurs humaines,
14:45
so it doesn't understand
292
873063
1251
donc il ne comprend pas
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
the nutritional value of the cat.
293
874338
4844
que la valeur sentimentale du chat
l'emporte sur sa valeur nutritionnelle.
l'emporte sur sa valeur nutritionnelle.
14:51
(Laughter)
294
879206
1095
(Rires)
14:52
So then what happens?
295
880325
1748
Que se passe-t-il ?
14:54
Well, it happens like this:
296
882097
3297
Eh bien, que se passe-t-il ?
14:57
"Deranged robot cooks kitty
for family dinner."
for family dinner."
297
885418
2964
« Le robot fou cuisine le chat
de la famille pour le dîner. »
de la famille pour le dîner. »
15:00
That one incident would be the end
of the domestic robot industry.
of the domestic robot industry.
298
888406
4523
Cet incident sonnerait la fin
de l'industrie du robot domestique.
de l'industrie du robot domestique.
15:04
So there's a huge incentive
to get this right
to get this right
299
892953
3372
Il y a donc une incitation énorme
à régler cela
à régler cela
15:08
long before we reach
superintelligent machines.
superintelligent machines.
300
896349
2715
bien avant que nous n'arrivions
aux machines supra-intelligentes.
aux machines supra-intelligentes.
15:12
So to summarize:
301
900128
1535
Pour résumer.
15:13
I'm actually trying to change
the definition of AI
the definition of AI
302
901687
2881
J'essaie de modifier la définition de l'IA
15:16
so that we have provably
beneficial machines.
beneficial machines.
303
904592
2993
afin que nous ayons des machines
irréfutablement bénéfiques.
irréfutablement bénéfiques.
15:19
And the principles are:
304
907609
1222
Les principes sont :
15:20
machines that are altruistic,
305
908855
1398
des machines altruistes,
15:22
that want to achieve only our objectives,
306
910277
2804
ne cherchant qu'à atteindre nos objectifs,
15:25
but that are uncertain
about what those objectives are,
about what those objectives are,
307
913105
3116
mais ayant une incertitude
quant à ces objectifs
quant à ces objectifs
15:28
and will watch all of us
308
916245
1998
et qui nous observerons
15:30
to learn more about what it is
that we really want.
that we really want.
309
918267
3203
afin d'en savoir plus sur
ce que nous voulons vraiment.
ce que nous voulons vraiment.
15:34
And hopefully in the process,
we will learn to be better people.
we will learn to be better people.
310
922373
3559
J'espère que dans le processus, nous
apprendrons aussi à devenir meilleurs.
apprendrons aussi à devenir meilleurs.
15:37
Thank you very much.
311
925956
1191
Merci beaucoup.
15:39
(Applause)
312
927171
3709
(Applaudissements)
Chris Anderson :
Très intéressant, Stuart.
Très intéressant, Stuart.
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
15:44
We're going to stand here a bit
because I think they're setting up
because I think they're setting up
314
932796
3170
Nous allons rester un peu ici,
car je crois qu'ils préparent
car je crois qu'ils préparent
la prochaine intervention.
15:47
for our next speaker.
315
935990
1151
15:49
A couple of questions.
316
937165
1538
Plusieurs questions.
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
seems intuitively really powerful.
317
938727
5453
L'idée d'une programmation limitée
semble intuitivement très puissante.
semble intuitivement très puissante.
15:56
As you get to superintelligence,
318
944204
1594
En se rapprochant
de la supra-intelligence,
de la supra-intelligence,
15:57
what's going to stop a robot
319
945822
2258
qu'est-ce qui empêchera un robot
16:00
reading literature and discovering
this idea that knowledge
this idea that knowledge
320
948104
2852
de lire la littérature et de découvrir
cette notion que la connaissance
cette notion que la connaissance
16:02
is actually better than ignorance
321
950980
1572
est en fait supérieure à l'ignorance
16:04
and still just shifting its own goals
and rewriting that programming?
and rewriting that programming?
322
952576
4218
et de changer ses propres objectifs
en réécrivant cette programmation ?
en réécrivant cette programmation ?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
it to learn more, as I said,
323
957692
6356
Stuart Russell : Oui, nous voulons qu'il
en apprenne davantage, comme je l'ai dit,
en apprenne davantage, comme je l'ai dit,
16:16
about our objectives.
324
964072
1287
à propos de nos objectifs.
16:17
It'll only become more certain
as it becomes more correct,
as it becomes more correct,
325
965383
5521
Il gagnera en confiance
avec l'expérience,
avec l'expérience,
16:22
so the evidence is there
326
970928
1945
la preuve est là,
16:24
and it's going to be designed
to interpret it correctly.
to interpret it correctly.
327
972897
2724
et il sera conçu pour interpréter
correctement nos objectifs.
correctement nos objectifs.
16:27
It will understand, for example,
that books are very biased
that books are very biased
328
975645
3956
Il comprendra, par exemple,
que les livres sont très biaisés
que les livres sont très biaisés
16:31
in the evidence they contain.
329
979625
1483
en fonction de leur contenu.
16:33
They only talk about kings and princes
330
981132
2397
Ils ne parlent que de rois et de princes
16:35
and elite white male people doing stuff.
331
983553
2800
et des choses
que fait l'élite blanche.
que fait l'élite blanche.
16:38
So it's a complicated problem,
332
986377
2096
C'est donc un problème complexe,
16:40
but as it learns more about our objectives
333
988497
3872
mais comme il en apprend plus
sur nos objectifs,
sur nos objectifs,
16:44
it will become more and more useful to us.
334
992393
2063
il nous sera de plus en plus utile.
CA : Et vous ne pourriez pas
résumer cela en une seule loi,
résumer cela en une seule loi,
16:46
CA: And you couldn't
just boil it down to one law,
just boil it down to one law,
335
994480
2526
16:49
you know, hardwired in:
336
997030
1650
vous savez, une ligne de code :
16:50
"if any human ever tries to switch me off,
337
998704
3293
« Si un humain essaie de me débrancher,
16:54
I comply. I comply."
338
1002021
1935
je coopère, je coopère. »
16:55
SR: Absolutely not.
339
1003980
1182
SR : Impossible.
16:57
That would be a terrible idea.
340
1005186
1499
Ce serait une mauvaise idée.
16:58
So imagine that you have
a self-driving car
a self-driving car
341
1006709
2689
Imaginez que vous ayez
une voiture sans chauffeur
une voiture sans chauffeur
17:01
and you want to send your five-year-old
342
1009422
2433
et vous souhaitez envoyer
votre enfant de cinq ans
votre enfant de cinq ans
17:03
off to preschool.
343
1011879
1174
à la maternelle.
Voulez-vous que votre enfant de cinq ans
puisse éteindre la voiture
puisse éteindre la voiture
17:05
Do you want your five-year-old
to be able to switch off the car
to be able to switch off the car
344
1013077
3101
17:08
while it's driving along?
345
1016202
1213
alors qu'elle roule ?
17:09
Probably not.
346
1017439
1159
Probablement pas.
17:10
So it needs to understand how rational
and sensible the person is.
and sensible the person is.
347
1018622
4703
Alors l'IA doit pouvoir évaluer si la
personne est rationnelle et raisonnable.
personne est rationnelle et raisonnable.
17:15
The more rational the person,
348
1023349
1676
Plus la personne est rationnelle,
17:17
the more willing you are
to be switched off.
to be switched off.
349
1025049
2103
plus elle devrait avoir de contrôle.
17:19
If the person is completely
random or even malicious,
random or even malicious,
350
1027176
2543
Si la personne est incohérente
ou même malveillante,
ou même malveillante,
17:21
then you're less willing
to be switched off.
to be switched off.
351
1029743
2512
alors elle devrait avoir
un contrôle plus limité.
un contrôle plus limité.
CA : Très bien. Stuart,
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
j'espère que vous allez
régler cela pour nous.
régler cela pour nous.
17:26
I really, really hope you
figure this out for us.
figure this out for us.
353
1034169
2314
17:28
Thank you so much for that talk.
That was amazing.
That was amazing.
354
1036507
2375
Merci beaucoup pour cette présentation.
C'était incroyable.
C'était incroyable.
17:30
SR: Thank you.
355
1038906
1167
SR : Merci.
17:32
(Applause)
356
1040097
1837
(Applaudissements)
ABOUT THE SPEAKER
Stuart Russell - AI expertStuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.
Why you should listen
Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.
He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.
Stuart Russell | Speaker | TED.com