TED2019
Janelle Shane: The danger of AI is weirder than you think
Janelle Shane: La menace de l'IA est plus étrange que vous ne le pensez
Filmed:
Readability: 4.2
376,501 views
Le danger avec l'intelligence artificielle n'est pas qu'elle va se rebeller contre nous, mais qu'elle va faire exactement ce que nous lui demandons, dit la chercheuse en IA Janelle Shane. En partageant les singeries étranges et parfois alarmantes des algorithmes d'IA alors qu'ils essayent de résoudre des problèmes humains -- comme créer de nouveaux parfums de glace ou reconnaître les voitures sur la route -- Janelle nous montre pourquoi l'IA n'est pas encore à la hauteur des vrais cerveaux.
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio
Double-click the English transcript below to play the video.
00:13
So, artificial intelligence
0
1765
3000
L'intelligence artificielle
00:16
is known for disrupting
all kinds of industries.
all kinds of industries.
1
4789
3529
est réputée pour chambouler
tous genres d'industries.
tous genres d'industries.
00:20
What about ice cream?
2
8961
2043
Qu'en est-il des glaces ?
00:23
What kind of mind-blowing
new flavors could we generate
new flavors could we generate
3
11879
3639
Quels genres de parfums hallucinants
pourrions-nous créer
pourrions-nous créer
00:27
with the power of an advanced
artificial intelligence?
artificial intelligence?
4
15542
2976
avec les capacités d'une intelligence
artificielle avancée ?
artificielle avancée ?
00:31
So I teamed up with a group of coders
from Kealing Middle School
from Kealing Middle School
5
19011
4161
J'ai fait équipe avec un groupe
de programmeurs d'un collège du Texas
de programmeurs d'un collège du Texas
00:35
to find out the answer to this question.
6
23196
2241
pour trouver la réponse à cette question.
00:37
They collected over 1,600
existing ice cream flavors,
existing ice cream flavors,
7
25461
5081
Ils ont collecté plus de 1 600
parfums de glace existants
parfums de glace existants
00:42
and together, we fed them to an algorithm
to see what it would generate.
to see what it would generate.
8
30566
5522
et ensemble, nous les avons
présentées à un algorithme
présentées à un algorithme
pour voir ce qu'il générerait.
00:48
And here are some of the flavors
that the AI came up with.
that the AI came up with.
9
36112
3753
Voici certains des parfums
que l'IA a inventés.
que l'IA a inventés.
00:52
[Pumpkin Trash Break]
10
40444
1471
[Pause poubelle au potiron]
00:53
(Laughter)
11
41939
1402
(Rires)
00:55
[Peanut Butter Slime]
12
43365
2469
[Boue de beurre de cacahuètes]
00:58
[Strawberry Cream Disease]
13
46822
1343
[Maladie de crème à la fraise]
01:00
(Laughter)
14
48189
2126
(Rires)
01:02
These flavors are not delicious,
as we might have hoped they would be.
as we might have hoped they would be.
15
50339
4597
Ces parfums ne sont pas délicieux,
comme nous aurions pu
espérer qu'ils soient.
espérer qu'ils soient.
01:06
So the question is: What happened?
16
54960
1864
La question est : que s'est-il passé ?
01:08
What went wrong?
17
56848
1394
Qu'est-ce qui a mal tourné ?
01:10
Is the AI trying to kill us?
18
58266
1959
L'IA essaye-t-elle de nous tuer ?
01:13
Or is it trying to do what we asked,
and there was a problem?
and there was a problem?
19
61027
4310
Ou essaye-t-elle de faire
ce que nous avons demandé
ce que nous avons demandé
et il y a un problème ?
01:18
In movies, when something
goes wrong with AI,
goes wrong with AI,
20
66567
2464
Dans les films, quand
cela tourne mal avec l'IA,
cela tourne mal avec l'IA,
01:21
it's usually because the AI has decided
21
69055
2712
c'est généralement que l'IA a décidé
01:23
that it doesn't want to obey
the humans anymore,
the humans anymore,
22
71791
2272
qu'elle ne voulait plus obéir aux humains
01:26
and it's got its own goals,
thank you very much.
thank you very much.
23
74087
2623
et qu'elle a ses propres objectifs,
merci bien.
01:29
In real life, though,
the AI that we actually have
the AI that we actually have
24
77266
3216
Dans la vraie vie, cependant,
l'IA que nous avons
l'IA que nous avons
01:32
is not nearly smart enough for that.
25
80506
1863
n'est pas assez intelligente pour cela.
01:34
It has the approximate computing power
26
82781
2982
Elle a à peu près la puissance
de calcul d'un ver de terre
de calcul d'un ver de terre
01:37
of an earthworm,
27
85787
1276
01:39
or maybe at most a single honeybee,
28
87087
3403
ou peut-être, au mieux,
d'une seule abeille
d'une seule abeille
01:42
and actually, probably maybe less.
29
90514
2215
et probablement moins que cela.
01:44
Like, we're constantly learning
new things about brains
new things about brains
30
92753
2594
Nous apprenons constamment
de nouvelles choses sur le cerveau
de nouvelles choses sur le cerveau
01:47
that make it clear how much our AIs
don't measure up to real brains.
don't measure up to real brains.
31
95371
4360
qui établissent clairement
à quel point nos IA ne sont pas
à la hauteur de vrais cerveaux.
à la hauteur de vrais cerveaux.
01:51
So today's AI can do a task
like identify a pedestrian in a picture,
like identify a pedestrian in a picture,
32
99755
5663
L'IA actuelle peut réaliser une tâche
comme identifier un piéton sur une photo
comme identifier un piéton sur une photo
01:57
but it doesn't have a concept
of what the pedestrian is
of what the pedestrian is
33
105442
2983
mais n'a pas de concept
expliquant ce qu'est un piéton
expliquant ce qu'est un piéton
02:00
beyond that it's a collection
of lines and textures and things.
of lines and textures and things.
34
108449
4824
au-delà d'un ensemble de lignes,
de textures et de choses.
de textures et de choses.
02:05
It doesn't know what a human actually is.
35
113792
2521
Elle ne sait pas
ce qu'est vraiment un humain.
ce qu'est vraiment un humain.
02:08
So will today's AI
do what we ask it to do?
do what we ask it to do?
36
116822
3282
L'IA actuelle fera-t-elle
ce que nous lui demandons de faire ?
ce que nous lui demandons de faire ?
02:12
It will if it can,
37
120128
1594
Oui, si elle le peut,
02:13
but it might not do what we actually want.
38
121746
2726
mais elle pourrait ne pas faire
ce que nous voulons.
ce que nous voulons.
02:16
So let's say that you
were trying to get an AI
were trying to get an AI
39
124496
2415
Disons que vous essayiez
de faire qu'une IA
de faire qu'une IA
02:18
to take this collection of robot parts
40
126935
2619
prenne cet ensemble de pièces d'un robot
02:21
and assemble them into some kind of robot
to get from Point A to Point B.
to get from Point A to Point B.
41
129578
4197
et les assemblent en une sorte de robot
pour aller du point A au point B.
pour aller du point A au point B.
02:25
Now, if you were going to try
and solve this problem
and solve this problem
42
133799
2481
Si vous essayiez de résoudre ce problème
02:28
by writing a traditional-style
computer program,
computer program,
43
136304
2351
en écrivant un programme
informatique traditionnel,
informatique traditionnel,
02:30
you would give the program
step-by-step instructions
step-by-step instructions
44
138679
3417
vous lui donneriez
des instructions par étapes
des instructions par étapes
sur comment prendre ces pièces,
02:34
on how to take these parts,
45
142120
1329
02:35
how to assemble them
into a robot with legs
into a robot with legs
46
143473
2407
les assembler en un robot ayant des jambes
02:37
and then how to use those legs
to walk to Point B.
to walk to Point B.
47
145904
2942
puis comment utiliser ces jambes
pour marcher jusqu'au point B.
pour marcher jusqu'au point B.
02:41
But when you're using AI
to solve the problem,
to solve the problem,
48
149441
2340
Si vous utilisez une IA
pour résoudre le problème,
pour résoudre le problème,
02:43
it goes differently.
49
151805
1174
cela est différent.
02:45
You don't tell it
how to solve the problem,
how to solve the problem,
50
153003
2382
Vous ne lui dites pas
comment résoudre le problème,
comment résoudre le problème,
02:47
you just give it the goal,
51
155409
1479
vous lui donnez juste l'objectif
02:48
and it has to figure out for itself
via trial and error
via trial and error
52
156912
3262
et elle doit trouver par tâtonnements
comment atteindre cet objectif.
comment atteindre cet objectif.
02:52
how to reach that goal.
53
160198
1484
02:54
And it turns out that the way AI tends
to solve this particular problem
to solve this particular problem
54
162254
4102
Il s'avère que l'IA a tendance
à résoudre ce problème en particulier
à résoudre ce problème en particulier
02:58
is by doing this:
55
166380
1484
en faisant ceci :
02:59
it assembles itself into a tower
and then falls over
and then falls over
56
167888
3367
elle s'assemble pour former une tour
puis se laisse tomber
puis se laisse tomber
03:03
and lands at Point B.
57
171279
1827
et atterrit au point B.
03:05
And technically, this solves the problem.
58
173130
2829
Techniquement, cela résout le problème.
Techniquement,
elle est arrivée au point B.
elle est arrivée au point B.
03:07
Technically, it got to Point B.
59
175983
1639
03:09
The danger of AI is not that
it's going to rebel against us,
it's going to rebel against us,
60
177646
4265
Le danger lié à l'IA n'est pas
qu'elle va se rebeller contre nous,
qu'elle va se rebeller contre nous,
03:13
it's that it's going to do
exactly what we ask it to do.
exactly what we ask it to do.
61
181935
4274
c'est qu'elle va faire exactement
ce que nous lui demandons.
ce que nous lui demandons.
03:18
So then the trick
of working with AI becomes:
of working with AI becomes:
62
186876
2498
L'astuce pour travailler
avec une IA devient :
avec une IA devient :
03:21
How do we set up the problem
so that it actually does what we want?
so that it actually does what we want?
63
189398
3828
comment poser le problème
pour qu'elle fasse ce que l'on veut ?
pour qu'elle fasse ce que l'on veut ?
03:26
So this little robot here
is being controlled by an AI.
is being controlled by an AI.
64
194726
3306
Ce petit robot est contrôlé par une IA.
03:30
The AI came up with a design
for the robot legs
for the robot legs
65
198056
2814
L'IA a conçu un design
pour les jambes du robot
pour les jambes du robot
03:32
and then figured out how to use them
to get past all these obstacles.
to get past all these obstacles.
66
200894
4078
puis elle a déterminé comment les utiliser
pour passer tous ces obstacles.
pour passer tous ces obstacles.
03:36
But when David Ha set up this experiment,
67
204996
2741
Mais quand David Ha
a présenté cette expérience,
a présenté cette expérience,
03:39
he had to set it up
with very, very strict limits
with very, very strict limits
68
207761
2856
il a dû établir des limites
très, très strictes
très, très strictes
03:42
on how big the AI
was allowed to make the legs,
was allowed to make the legs,
69
210641
3292
sur la taille autorisée
des jambes que l'IA pouvait créer,
des jambes que l'IA pouvait créer,
03:45
because otherwise ...
70
213957
1550
car sinon...
03:55
(Laughter)
71
223058
3931
(Rires)
04:00
And technically, it got
to the end of that obstacle course.
to the end of that obstacle course.
72
228563
3745
Techniquement, elle est arrivée
à la fin de cette course d'obstacles.
à la fin de cette course d'obstacles.
04:04
So you see how hard it is to get AI
to do something as simple as just walk.
to do something as simple as just walk.
73
232332
4942
Vous voyez à quel point il est difficile
de faire faire une chose
aussi simple que marcher à une IA.
aussi simple que marcher à une IA.
04:09
So seeing the AI do this,
you may say, OK, no fair,
you may say, OK, no fair,
74
237298
3820
En voyant l'IA faire ceci, vous pourriez
dire que cela ne fonctionne pas,
dire que cela ne fonctionne pas,
04:13
you can't just be
a tall tower and fall over,
a tall tower and fall over,
75
241142
2580
qu'elle ne peut pas juste
être une haute tour et tomber,
être une haute tour et tomber,
04:15
you have to actually, like,
use legs to walk.
use legs to walk.
76
243746
3435
qu'elle doit utiliser
des jambes pour marcher.
des jambes pour marcher.
04:19
And it turns out,
that doesn't always work, either.
that doesn't always work, either.
77
247205
2759
Il s'avère que cela non plus
ne fonctionne pas toujours.
ne fonctionne pas toujours.
04:21
This AI's job was to move fast.
78
249988
2759
L'objectif de l'IA
était de se déplacer rapidement.
était de se déplacer rapidement.
04:25
They didn't tell it that it had
to run facing forward
to run facing forward
79
253115
3593
On ne lui a pas dit qu'elle devait
courir vers l'avant
courir vers l'avant
04:28
or that it couldn't use its arms.
80
256732
2258
ou qu'elle ne pouvait pas
utiliser ses bras.
utiliser ses bras.
04:31
So this is what you get
when you train AI to move fast,
when you train AI to move fast,
81
259487
4618
Voilà ce qui arrive quand vous entraînez
une IA à se déplacer rapidement,
une IA à se déplacer rapidement,
04:36
you get things like somersaulting
and silly walks.
and silly walks.
82
264129
3534
vous obtenez des sauts périlleux
et des démarches ridicules.
et des démarches ridicules.
04:39
It's really common.
83
267687
1400
C'est très courant.
04:41
So is twitching along the floor in a heap.
84
269667
3179
Tout comme tressauter
sous forme d'amas informe.
sous forme d'amas informe.
04:44
(Laughter)
85
272870
1150
(Rires)
04:47
So in my opinion, you know what
should have been a whole lot weirder
should have been a whole lot weirder
86
275241
3254
A mon avis, ce qui aurait dû être
bien plus étrange,
bien plus étrange,
ce sont les robots de « Terminator ».
04:50
is the "Terminator" robots.
87
278519
1396
04:52
Hacking "The Matrix" is another thing
that AI will do if you give it a chance.
that AI will do if you give it a chance.
88
280256
3755
Pirater la « Matrice » est une autre chose
que l'IA fera si elle en a l'occasion.
que l'IA fera si elle en a l'occasion.
04:56
So if you train an AI in a simulation,
89
284035
2517
Si vous entraînez votre IA
dans une simulation,
dans une simulation,
04:58
it will learn how to do things like
hack into the simulation's math errors
hack into the simulation's math errors
90
286576
4113
elle apprendra à faire des choses
comme exploiter les erreurs
de maths de la simulation
de maths de la simulation
05:02
and harvest them for energy.
91
290713
2207
pour en tirer de l'énergie.
05:04
Or it will figure out how to move faster
by glitching repeatedly into the floor.
by glitching repeatedly into the floor.
92
292944
5475
Ou elle trouvera
comment se déplacer plus vite
comment se déplacer plus vite
en exploitant à répétition
un bug pour avancer sur le sol.
un bug pour avancer sur le sol.
05:10
When you're working with AI,
93
298443
1585
Travailler avec une IA,
05:12
it's less like working with another human
94
300052
2389
c'est moins comme travailler
avec un autre humain
avec un autre humain
05:14
and a lot more like working
with some kind of weird force of nature.
with some kind of weird force of nature.
95
302465
3629
et plutôt comme travailler
avec une étrange force de la nature.
avec une étrange force de la nature.
05:18
And it's really easy to accidentally
give AI the wrong problem to solve,
give AI the wrong problem to solve,
96
306562
4623
Il est très facile de donner
accidentellement à l'IA
accidentellement à l'IA
le mauvais problème à résoudre
05:23
and often we don't realize that
until something has actually gone wrong.
until something has actually gone wrong.
97
311209
4538
et nous ne nous en rendons
souvent pas compte
souvent pas compte
avant que quelque chose
n'ait très mal tourné.
n'ait très mal tourné.
05:28
So here's an experiment I did,
98
316242
2080
Voici une expérience que j'ai réalisée
05:30
where I wanted the AI
to copy paint colors,
to copy paint colors,
99
318346
3182
où je voulais que l'IA
copie des couleurs de peinture
copie des couleurs de peinture
05:33
to invent new paint colors,
100
321552
1746
pour en inventer de nouvelles
05:35
given the list like the ones
here on the left.
here on the left.
101
323322
2987
en ayant la liste de celles
qui sont sur la gauche.
qui sont sur la gauche.
05:38
And here's what the AI
actually came up with.
actually came up with.
102
326798
3004
Et voici ce que l'IA a inventé.
05:41
[Sindis Poop, Turdly, Suffer, Gray Pubic]
103
329826
3143
[Caca de Sindis, Merdouille,
Souffrance, Pubis gris]
Souffrance, Pubis gris]
05:44
(Laughter)
104
332993
4230
(Rires)
05:51
So technically,
105
339177
1886
Techniquement,
05:53
it did what I asked it to.
106
341087
1864
elle a fait ce que je lui avais demandé.
05:54
I thought I was asking it for,
like, nice paint color names,
like, nice paint color names,
107
342975
3308
Je pensais lui demander
des noms de couleur sympa,
des noms de couleur sympa,
05:58
but what I was actually asking it to do
108
346307
2307
mais ce que je lui demandais de faire,
06:00
was just imitate the kinds
of letter combinations
of letter combinations
109
348638
3086
c'était d'imaginer le genre
de combinaisons de lettres
de combinaisons de lettres
06:03
that it had seen in the original.
110
351748
1905
qu'elle avait vues dans la liste initiale.
06:05
And I didn't tell it anything
about what words mean,
about what words mean,
111
353677
3098
Je ne lui ai rien dit sur le sens des mots
06:08
or that there are maybe some words
112
356799
2560
ni sur le fait qu'il y a
peut-être des mots
peut-être des mots
06:11
that it should avoid using
in these paint colors.
in these paint colors.
113
359383
2889
qu'elle devrait éviter d'utiliser
dans ces couleurs de peinture.
dans ces couleurs de peinture.
06:15
So its entire world
is the data that I gave it.
is the data that I gave it.
114
363141
3494
Son monde se limite
aux données que je lui ai données.
aux données que je lui ai données.
06:18
Like with the ice cream flavors,
it doesn't know about anything else.
it doesn't know about anything else.
115
366659
4028
Comme pour les parfums de glace,
elle ne sait rien d'autre.
elle ne sait rien d'autre.
06:24
So it is through the data
116
372491
1638
C'est à travers les données
06:26
that we often accidentally tell AI
to do the wrong thing.
to do the wrong thing.
117
374153
4044
que nous disons souvent accidentellement
à l'IA de faire la mauvaise chose.
à l'IA de faire la mauvaise chose.
06:30
This is a fish called a tench.
118
378694
3032
Ceci est un poisson appelé une tanche.
06:33
And there was a group of researchers
119
381750
1815
Un groupe de chercheurs
06:35
who trained an AI to identify
this tench in pictures.
this tench in pictures.
120
383589
3874
a entraîné l'IA à identifier
cette tanche sur les photos.
cette tanche sur les photos.
06:39
But then when they asked it
121
387487
1296
Mais quand ils lui ont demandé
06:40
what part of the picture it was actually
using to identify the fish,
using to identify the fish,
122
388807
3426
quelle partie de la photo
elle utilisait pour identifier le poisson,
elle utilisait pour identifier le poisson,
06:44
here's what it highlighted.
123
392257
1358
voici ce qui a été sélectionné.
06:47
Yes, those are human fingers.
124
395203
2189
Oui, ce sont des doigts humains.
06:49
Why would it be looking for human fingers
125
397416
2059
Pourquoi chercherait-elle
des doigts humains
des doigts humains
06:51
if it's trying to identify a fish?
126
399499
1921
si elle essaye d'identifier un poisson ?
06:54
Well, it turns out that the tench
is a trophy fish,
is a trophy fish,
127
402126
3164
Il s'avère que la tanche
est un poisson trophée
est un poisson trophée
06:57
and so in a lot of pictures
that the AI had seen of this fish
that the AI had seen of this fish
128
405314
3811
et donc sur de nombreuses photos
que l'IA avait vues de ce poisson
que l'IA avait vues de ce poisson
07:01
during training,
129
409149
1151
durant son entraînement,
07:02
the fish looked like this.
130
410324
1490
le poisson ressemblait à ceci.
07:03
(Laughter)
131
411838
1635
(Rires)
07:05
And it didn't know that the fingers
aren't part of the fish.
aren't part of the fish.
132
413497
3330
Et elle ne savait pas que les doigts
ne faisaient pas partie du poisson.
ne faisaient pas partie du poisson.
07:10
So you see why it is so hard
to design an AI
to design an AI
133
418808
4120
Vous voyez pourquoi il est si dur
de concevoir une IA
de concevoir une IA
07:14
that actually can understand
what it's looking at.
what it's looking at.
134
422952
3319
qui comprend vraiment
ce qu'elle considère.
ce qu'elle considère.
07:18
And this is why designing
the image recognition
the image recognition
135
426295
2862
C'est pourquoi concevoir
la reconnaissance d'images
la reconnaissance d'images
07:21
in self-driving cars is so hard,
136
429181
2067
dans les voitures autonomes
est si difficile
est si difficile
07:23
and why so many self-driving car failures
137
431272
2205
et pourquoi tant
de défaillances de ces voitures
de défaillances de ces voitures
07:25
are because the AI got confused.
138
433501
2885
sont dues au fait
que l'IA ait confondu des choses.
que l'IA ait confondu des choses.
07:28
I want to talk about an example from 2016.
139
436410
4008
Je veux parler d'un exemple de 2016.
07:32
There was a fatal accident when somebody
was using Tesla's autopilot AI,
was using Tesla's autopilot AI,
140
440442
4455
Il y a eu un accident mortel
où quelqu'un utilisait l'IA
de pilote automatique de Tesla,
de pilote automatique de Tesla,
07:36
but instead of using it on the highway
like it was designed for,
like it was designed for,
141
444921
3414
mais au lieu de l'utiliser
sur l'autoroute,
sur l'autoroute,
ce pour quoi elle était conçue,
07:40
they used it on city streets.
142
448359
2205
il l'a utilisé dans les rues de la ville.
07:43
And what happened was,
143
451239
1175
Ce qu'il s'est passé,
07:44
a truck drove out in front of the car
and the car failed to brake.
and the car failed to brake.
144
452438
3396
c'est qu'un camion est passé
devant la voiture
devant la voiture
et la voiture n'a pas freiné.
07:48
Now, the AI definitely was trained
to recognize trucks in pictures.
to recognize trucks in pictures.
145
456507
4762
L'IA avait été entraînée à reconnaître
les camions sur des photos.
les camions sur des photos.
07:53
But what it looks like happened is
146
461293
2145
Mais il semble que ce qu'il s'est passé,
07:55
the AI was trained to recognize
trucks on highway driving,
trucks on highway driving,
147
463462
2931
c'est qu'elle reconnaissait
les camions sur l'autoroute,
les camions sur l'autoroute,
07:58
where you would expect
to see trucks from behind.
to see trucks from behind.
148
466417
2899
où vous vous attendez
à les voir de derrière.
à les voir de derrière.
08:01
Trucks on the side is not supposed
to happen on a highway,
to happen on a highway,
149
469340
3420
Les camions ne sont pas censés
être vus de côté sur l'autoroute
être vus de côté sur l'autoroute
08:04
and so when the AI saw this truck,
150
472784
3455
et donc quand l'IA a vu ce camion,
08:08
it looks like the AI recognized it
as most likely to be a road sign
as most likely to be a road sign
151
476263
4827
il semblerait que l'IA l'ait reconnu
comme étant un panneau de signalisation,
comme étant un panneau de signalisation,
08:13
and therefore, safe to drive underneath.
152
481114
2273
il était donc sans danger
de passer en dessous.
de passer en dessous.
08:16
Here's an AI misstep
from a different field.
from a different field.
153
484114
2580
Voici une bévue de l'IA
dans un autre domaine.
dans un autre domaine.
08:18
Amazon recently had to give up
on a résumé-sorting algorithm
on a résumé-sorting algorithm
154
486718
3460
Amazon a récemment dû abandonner
un algorithme de tri de CV
un algorithme de tri de CV
08:22
that they were working on
155
490202
1220
sur lequel ils travaillaient
08:23
when they discovered that the algorithm
had learned to discriminate against women.
had learned to discriminate against women.
156
491446
3908
quand ils ont découvert
que l'algorithme avait appris
à discriminer contre les femmes.
à discriminer contre les femmes.
08:27
What happened is they had trained it
on example résumés
on example résumés
157
495378
2716
Ils l'avaient entraîné
avec des exemples de CV
avec des exemples de CV
08:30
of people who they had hired in the past.
158
498118
2242
de gens qu'ils avaient
embauchés dans le passé.
embauchés dans le passé.
08:32
And from these examples, the AI learned
to avoid the résumés of people
to avoid the résumés of people
159
500384
4023
D'après ces exemples, l'IA a appris
à éviter les CV les gens
à éviter les CV les gens
08:36
who had gone to women's colleges
160
504431
2026
ayant été dans des universités de femmes
08:38
or who had the word "women"
somewhere in their resume,
somewhere in their resume,
161
506481
2806
ou ayant le mot « femmes »
quelque part sur leur CV
quelque part sur leur CV
08:41
as in, "women's soccer team"
or "Society of Women Engineers."
or "Society of Women Engineers."
162
509311
4576
comme dans « équipe de sport de femmes »
ou « Société des femmes ingénieures ».
08:45
The AI didn't know that it wasn't supposed
to copy this particular thing
to copy this particular thing
163
513911
3974
L'IA ne savait pas
qu'elle n'était pas censée
qu'elle n'était pas censée
copier cette chose en particulier
08:49
that it had seen the humans do.
164
517909
1978
qu'elle avait vu les humains faire.
08:51
And technically, it did
what they asked it to do.
what they asked it to do.
165
519911
3177
Techniquement, elle a fait
ce qu'ils lui ont demandé.
ce qu'ils lui ont demandé.
08:55
They just accidentally asked it
to do the wrong thing.
to do the wrong thing.
166
523112
2797
Ils lui ont juste accidentellement demandé
de faire la mauvaise chose.
de faire la mauvaise chose.
08:58
And this happens all the time with AI.
167
526653
2895
Cela arrive constamment avec l'IA.
09:02
AI can be really destructive
and not know it.
and not know it.
168
530120
3591
L'IA peut être destructrice
et ne pas le savoir.
et ne pas le savoir.
09:05
So the AIs that recommend
new content in Facebook, in YouTube,
new content in Facebook, in YouTube,
169
533735
5078
Les IA qui recommandent
de nouveaux contenus
de nouveaux contenus
sur Facebook, sur YouTube,
09:10
they're optimized to increase
the number of clicks and views.
the number of clicks and views.
170
538837
3539
elles sont optimisées pour augmenter
le nombre de clics et de vues.
le nombre de clics et de vues.
09:14
And unfortunately, one way
that they have found of doing this
that they have found of doing this
171
542400
3436
Malheureusement, une des façons
trouvées pour faire cela
trouvées pour faire cela
09:17
is to recommend the content
of conspiracy theories or bigotry.
of conspiracy theories or bigotry.
172
545860
4503
est de recommander du contenu
de théories conspirationnistes
de théories conspirationnistes
ou relevant du fanatisme religieux.
09:22
The AIs themselves don't have any concept
of what this content actually is,
of what this content actually is,
173
550902
5302
Les IA n'ont aucune idée
de ce qu'est ce contenu
de ce qu'est ce contenu
09:28
and they don't have any concept
of what the consequences might be
of what the consequences might be
174
556228
3395
et elles n'ont aucune idée
des conséquences possibles
des conséquences possibles
09:31
of recommending this content.
175
559647
2109
de la recommandation de ce contenu.
09:34
So, when we're working with AI,
176
562296
2011
Quand nous travaillons avec une IA,
09:36
it's up to us to avoid problems.
177
564331
4182
c'est à nous d'éviter les problèmes.
09:40
And avoiding things going wrong,
178
568537
2323
Éviter que les choses tournent mal,
09:42
that may come down to
the age-old problem of communication,
the age-old problem of communication,
179
570884
4526
cela pourrait se résumer au sempiternel
problème de communication
problème de communication
09:47
where we as humans have to learn
how to communicate with AI.
how to communicate with AI.
180
575434
3745
où, en tant qu'humains,
nous devons apprendre
nous devons apprendre
à communiquer avec l'IA.
09:51
We have to learn what AI
is capable of doing and what it's not,
is capable of doing and what it's not,
181
579203
4039
Nous devons apprendre ce dont l'IA
est capable et ce dont elle est incapable,
est capable et ce dont elle est incapable,
09:55
and to understand that,
with its tiny little worm brain,
with its tiny little worm brain,
182
583266
3086
et comprendre qu'avec
son petit cerveau de ver,
son petit cerveau de ver,
09:58
AI doesn't really understand
what we're trying to ask it to do.
what we're trying to ask it to do.
183
586376
4013
l'IA ne comprend pas vraiment
ce que nous lui demandons de faire.
ce que nous lui demandons de faire.
10:03
So in other words, we have
to be prepared to work with AI
to be prepared to work with AI
184
591148
3321
En d'autres mots, nous devons
être prêts à travailler avec une IA
être prêts à travailler avec une IA
10:06
that's not the super-competent,
all-knowing AI of science fiction.
all-knowing AI of science fiction.
185
594493
5258
qui n'est pas l'IA super compétente,
omnisciente de la science-fiction.
omnisciente de la science-fiction.
10:11
We have to prepared to work with an AI
186
599775
2862
Nous devons être prêts
à travailler avec une IA
à travailler avec une IA
10:14
that's the one that we actually have
in the present day.
in the present day.
187
602661
2938
qui est celle que nous avons actuellement.
10:17
And present-day AI is plenty weird enough.
188
605623
4205
Et l'IA actuellement est très étrange.
10:21
Thank you.
189
609852
1190
Merci.
10:23
(Applause)
190
611066
5225
(Applaudissements)
ABOUT THE SPEAKER
Janelle Shane - AI researcherWhile moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.
Why you should listen
Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.
According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.
Janelle Shane | Speaker | TED.com