TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Des nouvelles technologies vidéo qui dévoilent les propriétés cachées des objets
Filmed:
Readability: 4.3
1,482,525 views
Des mouvements subtils ont lieu autour de nous continuellement, comme les vibrations infimes causées par le son. De nouvelles technologies prouvent que nous pouvons capter ces vibrations et recréer le son et les conversations à partir d'une vidéo d'objets apparemment immobiles. Abe Davis va un pas plus loin : regardez la démonstration de son logiciel qui permet à tout le monde d'interagir avec ces propriétés cachées, à partir d'une simple vidéo.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
La plupart d'entre nous associe
le mouvement au visuel.
le mouvement au visuel.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Si je traverse cette scène
ou bouge mes mains alors que je parle,
ou bouge mes mains alors que je parle,
00:22
that motion is something that you can see.
2
10977
2261
ce mouvement est quelque chose
que vous pouvez observer.
que vous pouvez observer.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Mais il y a un monde de gestes importants
qui sont imperceptibles à l’œil humain,
qui sont imperceptibles à l’œil humain,
00:31
and over the past few years,
4
19737
2041
et au cours de ces dernières années,
00:33
we've started to find that cameras
5
21778
1997
on s'est rendu compte que les cameras
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
peuvent détecter ces mouvements
même quand l’être humain en est incapable.
même quand l’être humain en est incapable.
Laissez-moi donc vous montrer.
00:40
So let me show you what I mean.
7
28305
1551
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Sur la gauche, vous voyez la vidéo
du poignet d'une personne,
du poignet d'une personne,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
et à droite, vous voyez la vidéo
d'un bébé endormi.
d'un bébé endormi.
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
Mais si je ne vous avais pas dit
qu'il s'agissait de vidéos,
qu'il s'agissait de vidéos,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
vous auriez pu penser que vous regardiez
deux images tout à fait normales.
deux images tout à fait normales.
00:56
because in both cases,
12
44393
1672
Car dans les deux cas,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
ces vidéos semblent
presque complètement immobiles.
presque complètement immobiles.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Mais il y a en fait beaucoup
de mouvement imperceptibles.
de mouvement imperceptibles.
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
Et si vous touchiez
le poignet sur la gauche,
le poignet sur la gauche,
01:08
you would feel a pulse,
16
56452
1996
vous sentiriez un pouls
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
et si vous teniez
le bébé sur l'image de droite,
le bébé sur l'image de droite,
vous sentiriez la montée
et la descente de sa poitrine
et la descente de sa poitrine
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
à chacune de ses respirations.
01:15
as she took each breath.
19
63324
1390
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Et ces mouvements sont lourds de sens
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
mais ils sont souvent
trop subtils pour que nous les voyions.
trop subtils pour que nous les voyions.
01:24
so instead, we have to observe them
22
72681
2276
Donc à la place, nous devons les observer
01:26
through direct contact, through touch.
23
74957
2900
au travers d'un contact direct,
au travers du toucher.
au travers du toucher.
01:30
But a few years ago,
24
78997
1265
Il y a quelques années,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
mes collègues du MIT ont développé
un microscope amplificateur de mouvement.
un microscope amplificateur de mouvement.
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
C'est en fait un logiciel qui repère
ces mouvements imperceptibles en vidéo
ces mouvements imperceptibles en vidéo
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
et les amplifie de manière à les grossir
suffisamment pour qu'on puisse les voir.
suffisamment pour qu'on puisse les voir.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Si bien que, si l'on utilise ce logiciel
sur la vidéo de gauche,
sur la vidéo de gauche,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
ça nous permet de voir le pouls
à l’intérieur du poignet.
à l’intérieur du poignet.
01:52
and if we were to count that pulse,
30
100149
1695
Si nous devions compter ce pouls,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
nous pourrions même obtenir
le rythme cardiaque de la personne.
le rythme cardiaque de la personne.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Si nous utilisons le même logiciel
sur la vidéo de droite,
sur la vidéo de droite,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
nous pouvons voir chacune
des respirations de ce bébé,
des respirations de ce bébé,
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
et l'utiliser comme un moyen sans contact
pour surveiller sa respiration.
pour surveiller sa respiration.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Et donc cette technologie
est réellement puissante
est réellement puissante
puisqu'elle repère ces phénomènes
que nous ne pouvons
sentir qu'avec le toucher,
sentir qu'avec le toucher,
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
et elle les enregistre
visuellement de façon non invasive.
visuellement de façon non invasive.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Il y a deux ans, j'ai rejoint l'équipe
qui a créé ce logiciel
qui a créé ce logiciel
02:25
and we decided to pursue a crazy idea.
39
133515
3367
et nous avons décidé de poursuivre
une idée folle.
une idée folle.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
On s'est dit, c'est génial
d'utiliser un logiciel
d'utiliser un logiciel
02:31
to visualize tiny motions like this,
41
139575
3135
pour visualiser ainsi
de tout petits mouvements
de tout petits mouvements
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
et on peut presque le voir comme un
moyen d’améliorer notre sens du toucher.
moyen d’améliorer notre sens du toucher.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Mais qu'en serait-il si on pouvait en
faire de même avec notre audition?
faire de même avec notre audition?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Et si on pouvait utiliser la vidéo
pour capturer les vibrations sonores,
pour capturer les vibrations sonores,
02:49
which are just another kind of motion,
45
157173
2827
un autre type de mouvements en fait,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
et faire passer ce que l'on voit
dans un microphone?
dans un microphone?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
C'est une idée un peu étrange.
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
Laissez-moi donc mettre cela
en perspective pour vous.
en perspective pour vous.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Un microphone traditionnel fonctionne
en convertissant le mouvement
en convertissant le mouvement
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
d'un diaphragme interne
en un signal électrique,
en un signal électrique,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
et ce diaphragme est conçu
pour bouger facilement avec le son,
pour bouger facilement avec le son,
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
pour que ce mouvement puisse être
enregistré et interprété comme de l'audio.
enregistré et interprété comme de l'audio.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Mais le son fait vibrer tous les objets !
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Ces vibrations sont trop subtiles,
trop rapides pour qu'on puisse les voir.
trop rapides pour qu'on puisse les voir.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Et si on les enregistrait
avec une caméra haute vitesse,
avec une caméra haute vitesse,
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
on pourrait utiliser un logiciel
pour extraire les tout petits mouvements
pour extraire les tout petits mouvements
03:34
from our high-speed video,
57
202197
2090
de notre vidéo en ralenti,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
et analyser ces mouvements
pour comprendre quel son les a créés.
pour comprendre quel son les a créés.
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
On pourrait alors transformer
les objets visibles
les objets visibles
en microphones visuels à distance.
03:49
And so we tried this out,
60
217080
2183
On a donc essayé,
03:51
and here's one of our experiments,
61
219263
1927
et voici une de nos expériences.
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
Ici nous avons pris cette plante
que vous voyez sur la droite,
que vous voyez sur la droite,
03:56
and we filmed it with a high-speed camera
63
224139
2438
et l'avons filmée
avec une caméra haute vitesse,
avec une caméra haute vitesse,
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
pendant qu'un caisson de basse
jouait ce son à côté.
jouait ce son à côté.
(Musique: « Mary had a little lamb »)
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
04:11
And so here's the video that we recorded,
66
239820
2824
Et voilà la vidéo
que nous avons enregistrée.
que nous avons enregistrée.
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
Nous l'avons enregistrée
à des milliers d'images par seconde.
à des milliers d'images par seconde.
04:18
but even if you look very closely,
68
246568
2322
Même si vous y regardez de très près,
04:20
all you'll see are some leaves
69
248890
1951
vous ne pouvez voir que des feuilles
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
qui ne bougent presque pas.
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
Car en effet, notre son a fait bouger
ces feuilles d’à peine un micromètre.
ces feuilles d’à peine un micromètre.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
C'est un dix-millième de centimètre,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
ce qui place cela quelque part entre
un centième et un millième
un centième et un millième
04:39
of a pixel in this image.
74
267535
2299
de pixel dans cette image.
04:41
So you can squint all you want,
75
269881
2887
Donc vous pouvez loucher
autant que vous voulez,
autant que vous voulez,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
un mouvement si petit
est quasiment invisible.
est quasiment invisible.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Mais en fait, un mouvement
invisible à l'oeil
invisible à l'oeil
04:53
and still be numerically significant,
78
281824
2809
peut avoir du sens numériquement parlant.
04:56
because with the right algorithms,
79
284633
2002
Parce qu'avec les bons algorithmes,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
on peut utiliser cette vidéo
silencieuse et apparemment immobile
silencieuse et apparemment immobile
05:02
and we can recover this sound.
81
290322
1527
pour en extraire le son.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Musique: «Mary had a little lamb.»
05:12
(Applause)
83
300074
5828
(Applaudissements)
05:22
So how is this possible?
84
310058
1939
Comment est-ce possible ?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Comment retirons-nous tant d'informations
à partir de mouvements si infimes ?
à partir de mouvements si infimes ?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Disons que ces feuilles bougent
d'un seul micromètre,
d'un seul micromètre,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
et que ça modifie notre image
d'un millième de pixel.
d'un millième de pixel.
05:39
That may not seem like much,
88
327269
2572
Ça peut paraître peu,
05:41
but a single frame of video
89
329841
1996
mais un seul plan dans une vidéo
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
contient des centaines
de milliers de pixels.
de milliers de pixels.
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
En combinant tous ces infimes mouvements
05:50
from across that entire image,
92
338548
2298
sur une image entière,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
un millième de pixel
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
finit par former
quelque chose d'important.
quelque chose d'important.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Sur le plan personnel, réaliser ça
nous a tous bouleversés !
nous a tous bouleversés !
06:02
(Laughter)
96
350505
2320
(Rires)
06:04
But even with the right algorithm,
97
352825
3253
Mais même avec le bon algorithme,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
il nous manquait
une pièce importante du puzzle.
une pièce importante du puzzle.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Vous voyez, il y a beaucoup de facteurs
qui influencent comment
qui influencent comment
et quand cette technique fonctionne.
06:15
this technique will work.
100
363299
1997
06:17
There's the object and how far away it is;
101
365296
3204
L'objet lui-même et la distance,
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
la caméra, et l'objectif
que vous utilisez,
que vous utilisez,
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
la lumière sur l'objet
et le volume du son.
et le volume du son.
06:27
And even with the right algorithm,
104
375945
3375
Même avec le bon algorithme,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
il nous a fallu être prudents
dans nos premières expériences
dans nos premières expériences
parce qu'il était impossible
de dire ce qui n'allait pas,
de dire ce qui n'allait pas,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
si un seul de ces facteurs était biaisé.
06:39
We would just get noise back.
108
387470
2647
Le résultat était du bruit.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Beaucoup de nos premières expériences
ressemblent à ceci.
ressemblent à ceci.
06:45
And so here I am,
110
393437
2206
Me voilà,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
et en bas à gauche, on devine
la caméra haute vitesse,
la caméra haute vitesse,
qui cadre un paquet de chips.
06:51
which is pointed at a bag of chips,
112
399683
2183
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
Deux spots illuminent toute la scène.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Nous devions donc être très prudents
durant ces premières expériences.
durant ces premières expériences.
07:01
so this is how it went down.
115
409180
2508
Voici leur déroulement :
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Vidéo) Abe Davis: un, deux, trois, go !
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary had a little lamb !
Little lamb ! Little lamb !
Little lamb ! Little lamb !
07:12
(Laughter)
118
420836
4500
(Rires)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD : Ça a l'air complètement ridicule !
07:20
(Laughter)
120
428150
1788
(Rires)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Après tout, je suis en train de crier
sur un paquet de chips.
sur un paquet de chips.
07:24
(Laughter) --
122
432283
1551
(Rires)
07:25
and we're blasting it with so much light,
123
433834
2117
Et il y a tant de spots
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
que les premiers sachets ont
littéralement fondu sous la chaleur.
littéralement fondu sous la chaleur.
Mais aussi ridicule
que ça puisse avoir l'air,
que ça puisse avoir l'air,
07:32
But ridiculous as this experiment looks,
125
440525
3274
07:35
it was actually really important,
126
443799
1788
c'était très important.
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
Parce que nous avons pu récupérer le son.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Audio) Mary had a little lamb !
Little lamb ! Little lamb !
Little lamb ! Little lamb !
07:45
(Applause)
129
453225
4088
(Applaudissements)
07:49
AD: And this was really significant,
130
457313
1881
AD : Ce fut une expérience-clef,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
parce que ce fut la première restitution
d'un discours intelligible,
d'un discours intelligible,
à partir d'une vidéo muette d'un objet.
07:55
from silent video of an object.
132
463424
2341
07:57
And so it gave us this point of reference,
133
465765
2391
Ça nous a permis de créer une référence.
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
On a pu progressivement
modifier les paramètres :
modifier les paramètres :
utiliser des objets différents,
les éloigner,
les éloigner,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
08:07
using less light or quieter sounds.
136
475911
2770
utiliser des éclairages moins puissants,
ou réduire le volume du son.
ou réduire le volume du son.
On a analysé toutes ces expériences,
08:11
And we analyzed all of these experiments
137
479887
2874
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
jusqu'à ce que nous ayons compris
les limites de notre technologie.
les limites de notre technologie.
08:18
because once we understood those limits,
139
486383
1950
Parce qu'une fois
ses limites déterminées,
ses limites déterminées,
08:20
we could figure out how to push them.
140
488333
2346
on a pu trouver des moyens
de les repousser.
de les repousser.
08:22
And that led to experiments like this one,
141
490679
3181
Par exemple, à travers cette expérience,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
où je vais encore parler
au paquet de chips.
au paquet de chips.
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
Mais cette fois, la caméra est à 5 mètres,
08:33
outside, behind a soundproof window,
144
501429
2833
à l'extérieur,
derrière une fenêtre insonorisée,
derrière une fenêtre insonorisée,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
avec la seule lumière naturelle.
Voilà la vidéo.
08:40
And so here's the video that we captured.
146
508529
2155
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Voilà la bande-son à l'intérieur,
à côté du paquet de chips.
à côté du paquet de chips.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Audio) Marie avait un petit agneau,
à la laine blanche comme de la neige,
à la laine blanche comme de la neige,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
partout où Marie se rendait,
l'agneau sûrement l'accompagnait.
l'agneau sûrement l'accompagnait.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD : Et voici ce que nous avons récupéré
de notre vidéo muette,
de notre vidéo muette,
09:03
captured outside behind that window.
151
531683
2345
prise à travers cette fenêtre.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Audio) Marie avait un petit agneau,
à la laine blanche comme de la neige,
à la laine blanche comme de la neige,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
partout où Marie se rendait,
l'agneau sûrement l'accompagnait.
l'agneau sûrement l'accompagnait.
09:15
(Applause)
154
543920
6501
(Applaudissements)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD : Nous pouvons repousser les frontières
d'autres manières.
d'autres manières.
09:25
So here's a quieter experiment
156
553963
1798
Voici une expérience plus calme.
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
On a filmé des écouteurs
connectés à un portable.
connectés à un portable.
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
Ici, notre objectif est de récupérer
la musique de l'ordinateur,
la musique de l'ordinateur,
09:35
from just silent video
159
563981
2299
à partir de la vidéo muette
09:38
of these two little plastic earphones,
160
566280
2507
de ces deux petits écouteurs en plastique.
09:40
and we were able to do this so well
161
568787
2183
Les résultats furent si concluants,
09:42
that I could even Shazam our results.
162
570970
2461
qu'on a même pu les vérifier sur Shazam.
09:45
(Laughter)
163
573431
2411
(Rires)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Musique: « Under Pressure », Queen)
10:01
(Applause)
165
589615
4969
(Rires) (Applaudissements)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
On peut aussi repousser les limites
en changeant de matériel.
en changeant de matériel.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Toutes ces expériences ont été réalisées
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
avec une caméra haute vitesse,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
qui enregistre 100 fois plus d'images
10:18
than most cell phones,
170
606797
1927
qu'un smartphone normal.
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
On a donc aussi développé une technique
10:23
with more regular cameras,
172
611533
2230
qui permet d'utiliser
des caméras normales.
des caméras normales.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
On y arrive en utilisant
l'obturateur automatique.
l'obturateur automatique.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
En fait, la plupart des caméras
enregistrent les images de haut en bas.
enregistrent les images de haut en bas.
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
Si l'objet bouge pendant l'enregistrement
d'une seule image,
d'une seule image,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
il y a un léger délai
entre chaque ligne d'enregistrement.
entre chaque ligne d'enregistrement.
10:43
and this causes slight artifacts
177
631061
3157
Ça provoque d'imperceptibles artéfacts
10:46
that get coded into each frame of a video.
178
634218
3483
qui sont encodés
dans chaque plan de la vidéo.
dans chaque plan de la vidéo.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
En analysant ces artéfacts,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
on peut récupérer le son en utilisant
une version modifiée de notre algorithme.
une version modifiée de notre algorithme.
10:58
So here's an experiment we did
181
646122
1912
Voici une autre expérience.
11:00
where we filmed a bag of candy
182
648034
1695
Nous avons filmé un sachet de bonbons,
11:01
while a nearby loudspeaker played
183
649729
1741
à côté d'un ampli
qui joue la même chanson :
qui joue la même chanson :
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
« Mary Had a Little Lamb »
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
Mais cette fois-ci, nous avons utilisé
une caméra ordinaire.
une caméra ordinaire.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Je vais vous laisser écouter le son
que nous avons récupéré.
que nous avons récupéré.
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
Le son sera un peu distordu,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
mais essayez quand même de voir
si vous pouvez reconnaître la musique.
si vous pouvez reconnaître la musique.
(Audio: « Mary Had a Little Lamb »)
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
11:37
And so, again, that sounds distorted,
190
685527
3465
Certes, le son est déformé.
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
Mais ce qui est extraordinaire,
c'est que nous avons pu réaliser cela
c'est que nous avons pu réaliser cela
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
avec un appareil disponible
en grande surface
en grande surface
11:48
and pick up at a Best Buy.
193
696004
1444
et utiliser facilement.
11:51
So at this point,
194
699122
1363
À ce stade,
11:52
a lot of people see this work,
195
700485
1974
les gens qui découvrent notre travail,
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
pensent souvent à la surveillance.
11:57
And to be fair,
197
705872
2415
En étant honnête,
ce n'est pas difficile d'imaginer
ce n'est pas difficile d'imaginer
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
comment utiliser cette technologie
pour espionner autrui.
pour espionner autrui.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Mais il y a déjà sur le marché
beaucoup de technologies matures
beaucoup de technologies matures
dans le domaine de la surveillance.
12:08
out there for surveillance.
200
716367
1579
12:09
In fact, people have been using lasers
201
717946
2090
On utilise des lasers
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
pour intercepter des conversations
via des objets, depuis des décennies.
via des objets, depuis des décennies.
Ce qui est fondamentalement nouveau ici,
12:15
But what's really new here,
203
723978
2025
12:18
what's really different,
204
726003
1440
et qui distingue notre technologie,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
c'est notre capacité à percevoir
les vibrations des objets.
les vibrations des objets.
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
Ça nous donne un nouvel objectif
pour observer le monde.
pour observer le monde.
12:27
and we can use that lens
207
735151
1510
Et on peut l'utiliser
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
pour étudier les forces comme le son
qui causent des vibrations sur un objet,
qui causent des vibrations sur un objet,
12:33
but also about the object itself.
209
741560
2288
mais on peut aussi
étudier l'objet lui-même.
étudier l'objet lui-même.
Je vais prendre un peu de recul
12:36
And so I want to take a step back
210
744975
1693
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
pour réfléchir en quoi ça peut modifier
les manières dont nous utilisons la vidéo.
les manières dont nous utilisons la vidéo.
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
En général, on utilise la vidéo
pour regarder des choses.
pour regarder des choses.
12:46
and I've just shown you how we can use it
213
754470
2322
Mais je viens de vous montrer
comment l'utiliser
comment l'utiliser
12:48
to listen to things.
214
756792
1857
pour écouter des choses.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Il y a une autre manière importante
d'étudier le monde :
d'étudier le monde :
12:54
that's by interacting with it.
216
762620
2275
en interagissant avec lui.
12:56
We push and pull and poke and prod things.
217
764895
3111
On appuie, on tire,
ou donne des petits coups sur les objets.
ou donne des petits coups sur les objets.
13:00
We shake things and see what happens.
218
768006
3181
On peut les secouer
et voir ce qui se passe.
et voir ce qui se passe.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
La vidéo ne nous permet pas encore
de faire tout ça.
de faire tout ça.
13:07
at least not traditionally.
220
775460
2136
En tout cas, de manière traditionnelle.
13:09
So I want to show you some new work,
221
777596
1950
Je vous montre mes nouveaux travaux.
Ils reposent sur une idée que j'ai eue
il y a quelques mois.
il y a quelques mois.
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
C'est la première fois
que je les dévoile en public.
que je les dévoile en public.
L'idée de base est d'utiliser
les vibrations dans la vidéo
les vibrations dans la vidéo
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
pour saisir des objets
de manière à interagir avec eux,
de manière à interagir avec eux,
13:27
and see how they react to us.
226
795358
1974
et voir comment ils réagissent.
13:31
So here's an object,
227
799120
1764
Voilà un objet.
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
C'est une statue en fil de fer,
qui a la forme d'un humain.
qui a la forme d'un humain.
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
On va la filmer avec une caméra normale.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
La caméra n'a rien de spécial.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
J'ai même essayé avec la caméra
de mon smartphone.
de mon smartphone.
13:44
But we do want to see the object vibrate,
232
812889
2252
Nous voulons observer
les vibrations de l'objet.
les vibrations de l'objet.
13:47
so to make that happen,
233
815141
1133
Et pour cela,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
on va donner des petits coups
sur la surface où elle est déposée,
sur la surface où elle est déposée,
13:51
while we record this video.
235
819620
2138
pendant l'enregistrement.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
C'est tout. 5 secondes de vidéo normale,
14:03
while we bang on this surface,
237
831069
2136
on donne des coups sur le plan,
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
et on va utiliser les vibrations
enregistrées par la vidéo
enregistrées par la vidéo
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
pour étudier les propriétés
structurelles et matérielles de l'objet.
structurelles et matérielles de l'objet.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
On va ensuite les utiliser pour créer
quelque chose de neuf et interactif.
quelque chose de neuf et interactif.
14:24
And so here's what we've created.
241
852866
2653
En voici le résultat.
14:27
And it looks like a regular image,
242
855519
2229
On dirait une image normale.
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
Mais ce n'est pas le cas.
Ce n'est pas non plus une vidéo,
Ce n'est pas non plus une vidéo,
14:32
because now I can take my mouse
244
860859
2368
parce que maintenant,
je peux prendre ma souris,
je peux prendre ma souris,
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
et interagir avec l'objet.
14:44
And so what you see here
246
872936
2357
Ce que vous voyez ici,
c'est une simulation
des réactions de cet objet
des réactions de cet objet
14:47
is a simulation of how this object
247
875389
2226
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
lorsqu'il subit des forces
qu'on n'a pas encore vues.
qu'on n'a pas encore vues.
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
Nous avons créé cela
à partir d'une vidéo de 5 secondes.
à partir d'une vidéo de 5 secondes.
(Applaudissements)
14:59
(Applause)
250
887249
4715
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
C'est un moyen puissant
d'observer le monde,
d'observer le monde,
parce qu'il nous permet de prédire
comment les objets vont réagir
comment les objets vont réagir
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
15:15
to new situations,
253
903620
1823
dans des situations nouvelles.
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
On pourrait imaginer, par exemple,
regarder un vieux pont,
regarder un vieux pont,
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
en se demandant ce qui va se passer,
quand je vais le traverser en voiture.
quand je vais le traverser en voiture.
15:24
if I were to drive my car across it.
256
912443
2833
Le pont va-t-il supporter ce poids ?
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Et vous vous poseriez cette question,
sans doute,
sans doute,
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
avant de devoir traverser
un tel vieux pont.
un tel vieux pont.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Bien entendu,
la technologie a ses limites,
la technologie a ses limites,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
tout comme celle
avec le microphone visuel.
avec le microphone visuel.
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
Mais nous avons constaté
que ça fonctionne dans beaucoup de cas,
que ça fonctionne dans beaucoup de cas,
15:42
that you might not expect,
262
930903
1875
même des cas inattendus,
15:44
especially if you give it longer videos.
263
932778
2768
surtout si on utilise
des vidéos plus longues.
des vidéos plus longues.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Par exemple,
voici une de mes vidéos.
voici une de mes vidéos.
15:50
of a bush outside of my apartment,
265
938054
2299
C'est un arbuste
à côté de mon appartement.
à côté de mon appartement.
15:52
and I didn't do anything to this bush,
266
940353
3088
Je n'ai pas touché à l'arbuste.
15:55
but by capturing a minute-long video,
267
943441
2705
J'ai pris une vidéo d'une minute.
15:58
a gentle breeze caused enough vibrations
268
946146
3378
Un vent léger a provoqué
suffisamment de vibrations
suffisamment de vibrations
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
pour nous permettre
de développer cette simulation.
de développer cette simulation.
16:07
(Applause)
270
955270
6142
(Applaudissements)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
On pourrait aussi imaginer
qu'un réalisateur
qu'un réalisateur
16:16
and letting him control, say,
272
964384
1719
utilise cette technique pour contrôler,
par exemple,
par exemple,
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
la force ou la direction du vent
après avoir tourné la scène.
après avoir tourné la scène.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Dans ce cas-ci,
on a filmé une tenture.
on a filmé une tenture.
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Il n'y a aucun mouvement perceptible
dans cette vidéo.
dans cette vidéo.
16:33
but by recording a two-minute-long video,
276
981474
2925
Mais un enregistrement de deux minutes,
16:36
natural air currents in this room
277
984399
2438
a permis d'analyser suffisamment
de mouvements imperceptibles
de mouvements imperceptibles
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
causés par des courants d'air
naturels dans la pièce
naturels dans la pièce
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
pour créer cette simulation.
16:48
And ironically,
280
996243
2366
Paradoxalement,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
on est habitué à ce genre d'interactions
16:53
when it comes to virtual objects,
282
1001697
2647
avec des objets virtuels,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
dans les jeux vidéo ou les modèles 3D.
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
Mais pouvoir capter des informations
sur des objets réels, dans le monde réel
sur des objets réels, dans le monde réel
17:04
using just simple, regular video,
285
1012045
2817
en utilisant une vidéo normale,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
est quelque chose de tout à fait innovant,
avec un grand potentiel.
avec un grand potentiel.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Voici les membres formidables
qui ont contribué à ces projets.
qui ont contribué à ces projets.
17:16
(Applause)
288
1024057
5596
(Applaudissements)
Ce que je vous ai montré aujourd'hui
n'est que le début.
n'est que le début.
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
17:27
We've just started to scratch the surface
290
1035876
2113
On vient juste de commencer
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
à découvrir ce qui est possible
de réaliser avec ce genre d'images.
de réaliser avec ce genre d'images.
17:32
because it gives us a new way
292
1040961
2286
Ça nous donne de nouvelles méthodes
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
pour filmer notre environnement
avec des technologies accessibles.
avec des technologies accessibles.
17:40
And so looking to the future,
294
1048066
1929
À l'avenir,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
ces technologies pourront nous enseigner
17:44
what this can tell us about the world.
296
1052032
1856
des choses fascinantes sur le monde.
17:46
Thank you.
297
1054381
1204
Merci.
17:47
(Applause)
298
1055610
6107
(Applaudissements)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com