ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Des nouvelles technologies vidéo qui dévoilent les propriétés cachées des objets

Filmed:
1,482,525 views

Des mouvements subtils ont lieu autour de nous continuellement, comme les vibrations infimes causées par le son. De nouvelles technologies prouvent que nous pouvons capter ces vibrations et recréer le son et les conversations à partir d'une vidéo d'objets apparemment immobiles. Abe Davis va un pas plus loin : regardez la démonstration de son logiciel qui permet à tout le monde d'interagir avec ces propriétés cachées, à partir d'une simple vidéo.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

La plupart d'entre nous associe
le mouvement au visuel.
00:13
MostPlupart of us think of motionmouvement
as a very visualvisuel thing.
0
1373
3349
00:17
If I walkmarche acrossà travers this stageétape
or gesturegeste with my handsmains while I speakparler,
1
5889
5088
Si je traverse cette scène
ou bouge mes mains alors que je parle,
00:22
that motionmouvement is something that you can see.
2
10977
2261
ce mouvement est quelque chose
que vous pouvez observer.
00:26
But there's a worldmonde of importantimportant motionmouvement
that's too subtlesubtil for the humanHumain eyeœil,
3
14255
5482
Mais il y a un monde de gestes importants
qui sont imperceptibles à l’œil humain,
00:31
and over the pastpassé fewpeu yearsannées,
4
19737
2041
et au cours de ces dernières années,
00:33
we'venous avons startedcommencé to find that camerasappareils photo
5
21778
1997
on s'est rendu compte que les cameras
00:35
can oftensouvent see this motionmouvement
even when humanshumains can't.
6
23775
3410
peuvent détecter ces mouvements
même quand l’être humain en est incapable.
Laissez-moi donc vous montrer.
00:40
So let me showmontrer you what I mean.
7
28305
1551
00:42
On the left here, you see videovidéo
of a person'spersonne wristpoignet,
8
30717
3622
Sur la gauche, vous voyez la vidéo
du poignet d'une personne,
00:46
and on the right, you see videovidéo
of a sleepingen train de dormir infantbébé,
9
34339
3147
et à droite, vous voyez la vidéo
d'un bébé endormi.
00:49
but if I didn't tell you
that these were videosvidéos,
10
37486
3146
Mais si je ne vous avais pas dit
qu'il s'agissait de vidéos,
00:52
you mightpourrait assumeassumer that you were looking
at two regularordinaire imagesimages,
11
40632
3761
vous auriez pu penser que vous regardiez
deux images tout à fait normales.
00:56
because in bothtous les deux casescas,
12
44393
1672
Car dans les deux cas,
00:58
these videosvidéos appearapparaître to be
almostpresque completelycomplètement still.
13
46065
3047
ces vidéos semblent
presque complètement immobiles.
01:02
But there's actuallyréellement a lot
of subtlesubtil motionmouvement going on here,
14
50175
3885
Mais il y a en fait beaucoup
de mouvement imperceptibles.
01:06
and if you were to touchtoucher
the wristpoignet on the left,
15
54060
2392
Et si vous touchiez
le poignet sur la gauche,
01:08
you would feel a pulseimpulsion,
16
56452
1996
vous sentiriez un pouls
01:10
and if you were to holdtenir
the infantbébé on the right,
17
58448
2485
et si vous teniez
le bébé sur l'image de droite,
vous sentiriez la montée
et la descente de sa poitrine
01:12
you would feel the riseaugmenter
and falltomber of her chestpoitrine
18
60933
2391
à chacune de ses respirations.
01:15
as she tooka pris eachchaque breathsouffle.
19
63324
1390
01:17
And these motionsrequêtes carryporter
a lot of significanceimportance,
20
65762
3576
Et ces mouvements sont lourds de sens
01:21
but they're usuallyd'habitude
too subtlesubtil for us to see,
21
69338
3343
mais ils sont souvent
trop subtils pour que nous les voyions.
01:24
so insteadau lieu, we have to observeobserver them
22
72681
2276
Donc à la place, nous devons les observer
01:26
throughpar directdirect contactcontact, throughpar touchtoucher.
23
74957
2900
au travers d'un contact direct,
au travers du toucher.
01:30
But a fewpeu yearsannées agodepuis,
24
78997
1265
Il y a quelques années,
01:32
my colleaguescollègues at MITMIT developeddéveloppé
what they call a motionmouvement microscopemicroscope,
25
80262
4405
mes collègues du MIT ont développé
un microscope amplificateur de mouvement.
01:36
whichlequel is softwareLogiciel that findstrouve
these subtlesubtil motionsrequêtes in videovidéo
26
84667
4384
C'est en fait un logiciel qui repère
ces mouvements imperceptibles en vidéo
01:41
and amplifiesamplifie them so that they
becomedevenir largegrand enoughassez for us to see.
27
89051
3562
et les amplifie de manière à les grossir
suffisamment pour qu'on puisse les voir.
01:45
And so, if we use theirleur softwareLogiciel
on the left videovidéo,
28
93416
3483
Si bien que, si l'on utilise ce logiciel
sur la vidéo de gauche,
01:48
it letspermet us see the pulseimpulsion in this wristpoignet,
29
96899
3250
ça nous permet de voir le pouls
à l’intérieur du poignet.
01:52
and if we were to countcompter that pulseimpulsion,
30
100149
1695
Si nous devions compter ce pouls,
01:53
we could even figurefigure out
this person'spersonne heartcœur ratetaux.
31
101844
2355
nous pourrions même obtenir
le rythme cardiaque de la personne.
01:57
And if we used the sameMême softwareLogiciel
on the right videovidéo,
32
105095
3065
Si nous utilisons le même logiciel
sur la vidéo de droite,
02:00
it letspermet us see eachchaque breathsouffle
that this infantbébé takes,
33
108160
3227
nous pouvons voir chacune
des respirations de ce bébé,
02:03
and we can use this as a contact-freesans contact way
to monitormoniteur her breathingrespiration.
34
111387
4137
et l'utiliser comme un moyen sans contact
pour surveiller sa respiration.
02:08
And so this technologyLa technologie is really powerfulpuissant
because it takes these phenomenaphénomènes
35
116884
5348
Et donc cette technologie
est réellement puissante
puisqu'elle repère ces phénomènes
que nous ne pouvons
sentir qu'avec le toucher,
02:14
that we normallynormalement have
to experienceexpérience throughpar touchtoucher
36
122232
2367
02:16
and it letspermet us captureCapturer them visuallyvisuellement
and non-invasivelynon invasive.
37
124599
2957
et elle les enregistre
visuellement de façon non invasive.
02:21
So a couplecouple yearsannées agodepuis, I startedcommencé workingtravail
with the folksgens that createdcréé that softwareLogiciel,
38
129104
4411
Il y a deux ans, j'ai rejoint l'équipe
qui a créé ce logiciel
02:25
and we decideddécidé to pursuepoursuivre a crazyfou ideaidée.
39
133515
3367
et nous avons décidé de poursuivre
une idée folle.
02:28
We thought, it's coolcool
that we can use softwareLogiciel
40
136882
2693
On s'est dit, c'est génial
d'utiliser un logiciel
02:31
to visualizevisualiser tinyminuscule motionsrequêtes like this,
41
139575
3135
pour visualiser ainsi
de tout petits mouvements
02:34
and you can almostpresque think of it
as a way to extendétendre our sensesens of touchtoucher.
42
142710
4458
et on peut presque le voir comme un
moyen d’améliorer notre sens du toucher.
02:39
But what if we could do the sameMême thing
with our abilitycapacité to hearentendre?
43
147168
4059
Mais qu'en serait-il si on pouvait en
faire de même avec notre audition?
02:44
What if we could use videovidéo
to captureCapturer the vibrationsvibrations of sounddu son,
44
152508
4665
Et si on pouvait utiliser la vidéo
pour capturer les vibrations sonores,
02:49
whichlequel are just anotherun autre kindgentil of motionmouvement,
45
157173
2827
un autre type de mouvements en fait,
02:52
and turntour everything that we see
into a microphonemicrophone?
46
160000
3346
et faire passer ce que l'on voit
dans un microphone?
02:56
Now, this is a bitbit of a strangeétrange ideaidée,
47
164236
1971
C'est une idée un peu étrange.
02:58
so let me try to put it
in perspectivela perspective for you.
48
166207
2586
Laissez-moi donc mettre cela
en perspective pour vous.
03:01
TraditionalTraditionnel microphonesmicrophones
work by convertingconvertir the motionmouvement
49
169523
3488
Un microphone traditionnel fonctionne
en convertissant le mouvement
03:05
of an internalinterne diaphragmdiaphragme
into an electricalélectrique signalsignal,
50
173011
3599
d'un diaphragme interne
en un signal électrique,
03:08
and that diaphragmdiaphragme is designedconçu
to movebouge toi readilyfacilement with sounddu son
51
176610
4318
et ce diaphragme est conçu
pour bouger facilement avec le son,
03:12
so that its motionmouvement can be recordedenregistré
and interpretedinterprété as audiol'audio.
52
180928
4807
pour que ce mouvement puisse être
enregistré et interprété comme de l'audio.
03:17
But sounddu son causescauses all objectsobjets to vibratevibrer.
53
185735
3668
Mais le son fait vibrer tous les objets !
03:21
Those vibrationsvibrations are just usuallyd'habitude
too subtlesubtil and too fastvite for us to see.
54
189403
5480
Ces vibrations sont trop subtiles,
trop rapides pour qu'on puisse les voir.
03:26
So what if we recordrecord them
with a high-speedhaute vitesse cameracaméra
55
194883
3738
Et si on les enregistrait
avec une caméra haute vitesse,
03:30
and then use softwareLogiciel
to extractextrait tinyminuscule motionsrequêtes
56
198621
3576
on pourrait utiliser un logiciel
pour extraire les tout petits mouvements
03:34
from our high-speedhaute vitesse videovidéo,
57
202197
2090
de notre vidéo en ralenti,
03:36
and analyzeanalyser those motionsrequêtes to figurefigure out
what soundsdes sons createdcréé them?
58
204287
4274
et analyser ces mouvements
pour comprendre quel son les a créés.
03:41
This would let us turntour visiblevisible objectsobjets
into visualvisuel microphonesmicrophones from a distancedistance.
59
209859
5449
On pourrait alors transformer
les objets visibles
en microphones visuels à distance.
03:49
And so we trieda essayé this out,
60
217080
2183
On a donc essayé,
03:51
and here'svoici one of our experimentsexpériences,
61
219263
1927
et voici une de nos expériences.
03:53
where we tooka pris this potteden pot plantplante
that you see on the right
62
221190
2949
Ici nous avons pris cette plante
que vous voyez sur la droite,
03:56
and we filmedfilmé it with a high-speedhaute vitesse cameracaméra
63
224139
2438
et l'avons filmée
avec une caméra haute vitesse,
03:58
while a nearbyproche loudspeakerhaut-parleur
playedjoué this sounddu son.
64
226577
3529
pendant qu'un caisson de basse
jouait ce son à côté.
(Musique: « Mary had a little lamb »)
04:02
(MusicMusique: "MaryMarie Had a Little LambAgneau")
65
230275
8190
04:11
And so here'svoici the videovidéo that we recordedenregistré,
66
239820
2824
Et voilà la vidéo
que nous avons enregistrée.
04:14
and we recordedenregistré it at thousandsmilliers
of framescadres perpar secondseconde,
67
242644
3924
Nous l'avons enregistrée
à des milliers d'images par seconde.
04:18
but even if you look very closelyétroitement,
68
246568
2322
Même si vous y regardez de très près,
04:20
all you'lltu vas see are some leavesfeuilles
69
248890
1951
vous ne pouvez voir que des feuilles
04:22
that are prettyjoli much
just sittingséance there doing nothing,
70
250841
3065
qui ne bougent presque pas.
04:25
because our sounddu son only moveddéplacé those leavesfeuilles
by about a micrometermicromètre.
71
253906
4806
Car en effet, notre son a fait bouger
ces feuilles d’à peine un micromètre.
04:31
That's one ten-thousandthdix-millième of a centimetercentimètre,
72
259103
4276
C'est un dix-millième de centimètre,
04:35
whichlequel spanstravées somewherequelque part betweenentre
a hundredthcentième and a thousandthmillième
73
263379
4156
ce qui place cela quelque part entre
un centième et un millième
04:39
of a pixelpixel in this imageimage.
74
267535
2299
de pixel dans cette image.
04:41
So you can squintstrabisme all you want,
75
269881
2887
Donc vous pouvez loucher
autant que vous voulez,
04:44
but motionmouvement that smallpetit is prettyjoli much
perceptuallyperceptuellement invisibleinvisible.
76
272768
3335
un mouvement si petit
est quasiment invisible.
04:49
But it turnsse tourne out that something
can be perceptuallyperceptuellement invisibleinvisible
77
277667
4157
Mais en fait, un mouvement
invisible à l'oeil
04:53
and still be numericallynumériquement significantimportant,
78
281824
2809
peut avoir du sens numériquement parlant.
04:56
because with the right algorithmsalgorithmes,
79
284633
2002
Parce qu'avec les bons algorithmes,
04:58
we can take this silentsilencieux,
seeminglyapparemment still videovidéo
80
286635
3687
on peut utiliser cette vidéo
silencieuse et apparemment immobile
05:02
and we can recoverrécupérer this sounddu son.
81
290322
1527
pour en extraire le son.
05:04
(MusicMusique: "MaryMarie Had a Little LambAgneau")
82
292690
7384
(Musique: «Mary had a little lamb.»
05:12
(ApplauseApplaudissements)
83
300074
5828
(Applaudissements)
05:22
So how is this possiblepossible?
84
310058
1939
Comment est-ce possible ?
05:23
How can we get so much informationinformation
out of so little motionmouvement?
85
311997
4344
Comment retirons-nous tant d'informations
à partir de mouvements si infimes ?
05:28
Well, let's say that those leavesfeuilles
movebouge toi by just a singleunique micrometermicromètre,
86
316341
5361
Disons que ces feuilles bougent
d'un seul micromètre,
05:33
and let's say that that shiftséquipes our imageimage
by just a thousandthmillième of a pixelpixel.
87
321702
4308
et que ça modifie notre image
d'un millième de pixel.
05:39
That maymai not seemsembler like much,
88
327269
2572
Ça peut paraître peu,
05:41
but a singleunique frameCadre of videovidéo
89
329841
1996
mais un seul plan dans une vidéo
05:43
maymai have hundredsdes centaines of thousandsmilliers
of pixelspixels in it,
90
331837
3257
contient des centaines
de milliers de pixels.
05:47
and so if we combinecombiner all
of the tinyminuscule motionsrequêtes that we see
91
335094
3454
En combinant tous ces infimes mouvements
05:50
from acrossà travers that entiretout imageimage,
92
338548
2298
sur une image entière,
05:52
then suddenlysoudainement a thousandthmillième of a pixelpixel
93
340846
2623
un millième de pixel
05:55
can startdébut to addajouter up
to something prettyjoli significantimportant.
94
343469
2775
finit par former
quelque chose d'important.
05:58
On a personalpersonnel noteRemarque, we were prettyjoli psychedpsyched
when we figuredfiguré this out.
95
346870
3635
Sur le plan personnel, réaliser ça
nous a tous bouleversés !
06:02
(LaughterRires)
96
350505
2320
(Rires)
06:04
But even with the right algorithmalgorithme de,
97
352825
3253
Mais même avec le bon algorithme,
06:08
we were still missingmanquant
a prettyjoli importantimportant piecepièce of the puzzlepuzzle.
98
356078
3617
il nous manquait
une pièce importante du puzzle.
06:11
You see, there are a lot of factorsfacteurs
that affectaffecter when and how well
99
359695
3604
Vous voyez, il y a beaucoup de facteurs
qui influencent comment
et quand cette technique fonctionne.
06:15
this techniquetechnique will work.
100
363299
1997
06:17
There's the objectobjet and how farloin away it is;
101
365296
3204
L'objet lui-même et la distance,
06:20
there's the cameracaméra
and the lenslentille that you use;
102
368500
2394
la caméra, et l'objectif
que vous utilisez,
06:22
how much lightlumière is shiningbrillant on the objectobjet
and how loudbruyant your sounddu son is.
103
370894
4091
la lumière sur l'objet
et le volume du son.
06:27
And even with the right algorithmalgorithme de,
104
375945
3375
Même avec le bon algorithme,
06:31
we had to be very carefulprudent
with our earlyde bonne heure experimentsexpériences,
105
379320
3390
il nous a fallu être prudents
dans nos premières expériences
parce qu'il était impossible
de dire ce qui n'allait pas,
06:34
because if we got
any of these factorsfacteurs wrongfaux,
106
382710
2392
06:37
there was no way to tell
what the problemproblème was.
107
385102
2368
si un seul de ces facteurs était biaisé.
06:39
We would just get noisebruit back.
108
387470
2647
Le résultat était du bruit.
06:42
And so a lot of our earlyde bonne heure
experimentsexpériences lookedregardé like this.
109
390117
3320
Beaucoup de nos premières expériences
ressemblent à ceci.
06:45
And so here I am,
110
393437
2206
Me voilà,
06:47
and on the bottombas left, you can kindgentil of
see our high-speedhaute vitesse cameracaméra,
111
395643
4040
et en bas à gauche, on devine
la caméra haute vitesse,
qui cadre un paquet de chips.
06:51
whichlequel is pointedpointu at a bagsac of chipschips,
112
399683
2183
06:53
and the wholeentier thing is litallumé
by these brightbrillant lampslampes.
113
401866
2949
Deux spots illuminent toute la scène.
06:56
And like I said, we had to be
very carefulprudent in these earlyde bonne heure experimentsexpériences,
114
404815
4365
Nous devions donc être très prudents
durant ces premières expériences.
07:01
so this is how it wentest allé down.
115
409180
2508
Voici leur déroulement :
07:03
(VideoVidéo) AbeAbe DavisDavis: ThreeTrois, two, one, go.
116
411688
3761
(Vidéo) Abe Davis: un, deux, trois, go !
07:07
MaryMarie had a little lambagneau!
Little lambagneau! Little lambagneau!
117
415449
5387
Mary had a little lamb !
Little lamb ! Little lamb !
07:12
(LaughterRires)
118
420836
4500
(Rires)
07:17
ADAD: So this experimentexpérience
looksregards completelycomplètement ridiculousridicule.
119
425336
2814
AD : Ça a l'air complètement ridicule !
07:20
(LaughterRires)
120
428150
1788
(Rires)
07:21
I mean, I'm screamingen hurlant at a bagsac of chipschips --
121
429938
2345
Après tout, je suis en train de crier
sur un paquet de chips.
07:24
(LaughterRires) --
122
432283
1551
(Rires)
07:25
and we're blastingdynamitage it with so much lightlumière,
123
433834
2117
Et il y a tant de spots
07:27
we literallyLittéralement meltedfondu the first bagsac
we trieda essayé this on. (LaughterRires)
124
435951
4479
que les premiers sachets ont
littéralement fondu sous la chaleur.
Mais aussi ridicule
que ça puisse avoir l'air,
07:32
But ridiculousridicule as this experimentexpérience looksregards,
125
440525
3274
07:35
it was actuallyréellement really importantimportant,
126
443799
1788
c'était très important.
07:37
because we were ablecapable
to recoverrécupérer this sounddu son.
127
445587
2926
Parce que nous avons pu récupérer le son.
07:40
(AudioAudio) MaryMarie had a little lambagneau!
Little lambagneau! Little lambagneau!
128
448513
4712
(Audio) Mary had a little lamb !
Little lamb ! Little lamb !
07:45
(ApplauseApplaudissements)
129
453225
4088
(Applaudissements)
07:49
ADAD: And this was really significantimportant,
130
457313
1881
AD : Ce fut une expérience-clef,
07:51
because it was the first time
we recoveredrécupérés intelligibleintelligible humanHumain speechdiscours
131
459194
4119
parce que ce fut la première restitution
d'un discours intelligible,
à partir d'une vidéo muette d'un objet.
07:55
from silentsilencieux videovidéo of an objectobjet.
132
463424
2341
07:57
And so it gavea donné us this pointpoint of referenceréférence,
133
465765
2391
Ça nous a permis de créer une référence.
08:00
and graduallyprogressivement we could startdébut
to modifymodifier the experimentexpérience,
134
468156
3871
On a pu progressivement
modifier les paramètres :
utiliser des objets différents,
les éloigner,
08:04
usingen utilisant differentdifférent objectsobjets
or movingen mouvement the objectobjet furtherplus loin away,
135
472106
3805
08:07
usingen utilisant lessMoins lightlumière or quieterplus silencieux soundsdes sons.
136
475911
2770
utiliser des éclairages moins puissants,
ou réduire le volume du son.
On a analysé toutes ces expériences,
08:11
And we analyzedanalysé all of these experimentsexpériences
137
479887
2874
08:14
untiljusqu'à we really understoodcompris
the limitslimites of our techniquetechnique,
138
482761
3622
jusqu'à ce que nous ayons compris
les limites de notre technologie.
08:18
because onceune fois que we understoodcompris those limitslimites,
139
486383
1950
Parce qu'une fois
ses limites déterminées,
08:20
we could figurefigure out how to pushpousser them.
140
488333
2346
on a pu trouver des moyens
de les repousser.
08:22
And that led to experimentsexpériences like this one,
141
490679
3181
Par exemple, à travers cette expérience,
08:25
where again, I'm going to speakparler
to a bagsac of chipschips,
142
493860
2739
où je vais encore parler
au paquet de chips.
08:28
but this time we'venous avons moveddéplacé our cameracaméra
about 15 feetpieds away,
143
496599
4830
Mais cette fois, la caméra est à 5 mètres,
08:33
outsideà l'extérieur, behindderrière a soundproofinsonorisé windowfenêtre,
144
501429
2833
à l'extérieur,
derrière une fenêtre insonorisée,
08:36
and the wholeentier thing is litallumé
by only naturalNaturel sunlightlumière du soleil.
145
504262
2803
avec la seule lumière naturelle.
Voilà la vidéo.
08:40
And so here'svoici the videovidéo that we capturedcapturé.
146
508529
2155
08:44
And this is what things soundedsonné like
from insideà l'intérieur, nextprochain to the bagsac of chipschips.
147
512450
4559
Voilà la bande-son à l'intérieur,
à côté du paquet de chips.
08:49
(AudioAudio) MaryMarie had a little lambagneau
whosedont fleecemolleton was whiteblanc as snowneige,
148
517009
5038
(Audio) Marie avait un petit agneau,
à la laine blanche comme de la neige,
08:54
and everywherepartout that MaryMarie wentest allé,
that lambagneau was sure to go.
149
522047
5619
partout où Marie se rendait,
l'agneau sûrement l'accompagnait.
08:59
ADAD: And here'svoici what we were ablecapable
to recoverrécupérer from our silentsilencieux videovidéo
150
527666
4017
AD : Et voici ce que nous avons récupéré
de notre vidéo muette,
09:03
capturedcapturé outsideà l'extérieur behindderrière that windowfenêtre.
151
531683
2345
prise à travers cette fenêtre.
09:06
(AudioAudio) MaryMarie had a little lambagneau
whosedont fleecemolleton was whiteblanc as snowneige,
152
534028
4435
(Audio) Marie avait un petit agneau,
à la laine blanche comme de la neige,
09:10
and everywherepartout that MaryMarie wentest allé,
that lambagneau was sure to go.
153
538463
5457
partout où Marie se rendait,
l'agneau sûrement l'accompagnait.
09:15
(ApplauseApplaudissements)
154
543920
6501
(Applaudissements)
09:22
ADAD: And there are other waysfaçons
that we can pushpousser these limitslimites as well.
155
550421
3542
AD : Nous pouvons repousser les frontières
d'autres manières.
09:25
So here'svoici a quieterplus silencieux experimentexpérience
156
553963
1798
Voici une expérience plus calme.
09:27
where we filmedfilmé some earphonesécouteurs
pluggedbranché into a laptopportable computerordinateur,
157
555761
4110
On a filmé des écouteurs
connectés à un portable.
09:31
and in this caseCas, our goalobjectif was to recoverrécupérer
the musicla musique that was playingen jouant on that laptopportable
158
559871
4110
Ici, notre objectif est de récupérer
la musique de l'ordinateur,
09:35
from just silentsilencieux videovidéo
159
563981
2299
à partir de la vidéo muette
09:38
of these two little plasticPlastique earphonesécouteurs,
160
566280
2507
de ces deux petits écouteurs en plastique.
09:40
and we were ablecapable to do this so well
161
568787
2183
Les résultats furent si concluants,
09:42
that I could even ShazamShazam our resultsrésultats.
162
570970
2461
qu'on a même pu les vérifier sur Shazam.
09:45
(LaughterRires)
163
573431
2411
(Rires)
09:49
(MusicMusique: "UnderEn vertu de PressurePression" by QueenReine)
164
577191
10034
(Musique: « Under Pressure », Queen)
10:01
(ApplauseApplaudissements)
165
589615
4969
(Rires) (Applaudissements)
10:06
And we can alsoaussi pushpousser things
by changingen changeant the hardwareMatériel that we use.
166
594584
4551
On peut aussi repousser les limites
en changeant de matériel.
10:11
Because the experimentsexpériences
I've shownmontré you so farloin
167
599135
2461
Toutes ces expériences ont été réalisées
10:13
were doneterminé with a cameracaméra,
a high-speedhaute vitesse cameracaméra,
168
601596
2322
avec une caméra haute vitesse,
10:15
that can recordrecord videovidéo
about a 100 timesfois fasterPlus vite
169
603918
2879
qui enregistre 100 fois plus d'images
10:18
than mostles plus cellcellule phonesTéléphones,
170
606797
1927
qu'un smartphone normal.
10:20
but we'venous avons alsoaussi founda trouvé a way
to use this techniquetechnique
171
608724
2809
On a donc aussi développé une technique
10:23
with more regularordinaire camerasappareils photo,
172
611533
2230
qui permet d'utiliser
des caméras normales.
10:25
and we do that by takingprise advantageavantage
of what's calledappelé a rollingroulant shutterobturateur.
173
613763
4069
On y arrive en utilisant
l'obturateur automatique.
10:29
You see, mostles plus camerasappareils photo
recordrecord imagesimages one rowrangée at a time,
174
617832
4798
En fait, la plupart des caméras
enregistrent les images de haut en bas.
10:34
and so if an objectobjet movesse déplace
duringpendant the recordingenregistrement of a singleunique imageimage,
175
622630
5702
Si l'objet bouge pendant l'enregistrement
d'une seule image,
10:40
there's a slightléger time delayretard
betweenentre eachchaque rowrangée,
176
628344
2717
il y a un léger délai
entre chaque ligne d'enregistrement.
10:43
and this causescauses slightléger artifactsartefacts
177
631061
3157
Ça provoque d'imperceptibles artéfacts
10:46
that get codedcodé into eachchaque frameCadre of a videovidéo.
178
634218
3483
qui sont encodés
dans chaque plan de la vidéo.
10:49
And so what we founda trouvé
is that by analyzinganalyse these artifactsartefacts,
179
637701
3806
En analysant ces artéfacts,
10:53
we can actuallyréellement recoverrécupérer sounddu son
usingen utilisant a modifiedmodifié versionversion of our algorithmalgorithme de.
180
641507
4615
on peut récupérer le son en utilisant
une version modifiée de notre algorithme.
10:58
So here'svoici an experimentexpérience we did
181
646122
1912
Voici une autre expérience.
11:00
where we filmedfilmé a bagsac of candybonbons
182
648034
1695
Nous avons filmé un sachet de bonbons,
11:01
while a nearbyproche loudspeakerhaut-parleur playedjoué
183
649729
1741
à côté d'un ampli
qui joue la même chanson :
11:03
the sameMême "MaryMarie Had a Little LambAgneau"
musicla musique from before,
184
651470
2972
« Mary Had a Little Lamb »
11:06
but this time, we used just a regularordinaire
store-boughtachetés en magasin cameracaméra,
185
654442
4203
Mais cette fois-ci, nous avons utilisé
une caméra ordinaire.
11:10
and so in a secondseconde, I'll playjouer for you
the sounddu son that we recoveredrécupérés,
186
658645
3174
Je vais vous laisser écouter le son
que nous avons récupéré.
11:13
and it's going to sounddu son
distorteddéformée this time,
187
661819
2050
Le son sera un peu distordu,
11:15
but listen and see if you can still
recognizereconnaître the musicla musique.
188
663869
2836
mais essayez quand même de voir
si vous pouvez reconnaître la musique.
(Audio: « Mary Had a Little Lamb »)
11:19
(AudioAudio: "MaryMarie Had a Little LambAgneau")
189
667723
6223
11:37
And so, again, that soundsdes sons distorteddéformée,
190
685527
3465
Certes, le son est déformé.
11:40
but what's really amazingincroyable here
is that we were ablecapable to do this
191
688992
4386
Mais ce qui est extraordinaire,
c'est que nous avons pu réaliser cela
11:45
with something
that you could literallyLittéralement runcourir out
192
693378
2626
avec un appareil disponible
en grande surface
11:48
and pickchoisir up at a BestMeilleur BuyAcheter.
193
696004
1444
et utiliser facilement.
11:51
So at this pointpoint,
194
699122
1363
À ce stade,
11:52
a lot of people see this work,
195
700485
1974
les gens qui découvrent notre travail,
11:54
and they immediatelyimmédiatement think
about surveillancesurveillance.
196
702459
3413
pensent souvent à la surveillance.
11:57
And to be fairjuste,
197
705872
2415
En étant honnête,
ce n'est pas difficile d'imaginer
12:00
it's not harddifficile to imagineimaginer how you mightpourrait use
this technologyLa technologie to spyespion on someoneQuelqu'un.
198
708287
4133
comment utiliser cette technologie
pour espionner autrui.
12:04
But keep in mindesprit that there's alreadydéjà
a lot of very maturemature technologyLa technologie
199
712420
3947
Mais il y a déjà sur le marché
beaucoup de technologies matures
dans le domaine de la surveillance.
12:08
out there for surveillancesurveillance.
200
716367
1579
12:09
In factfait, people have been usingen utilisant laserslasers
201
717946
2090
On utilise des lasers
12:12
to eavesdropécouter on objectsobjets
from a distancedistance for decadesdécennies.
202
720036
2799
pour intercepter des conversations
via des objets, depuis des décennies.
Ce qui est fondamentalement nouveau ici,
12:15
But what's really newNouveau here,
203
723978
2025
12:18
what's really differentdifférent,
204
726003
1440
et qui distingue notre technologie,
12:19
is that now we have a way
to picturephoto the vibrationsvibrations of an objectobjet,
205
727443
4295
c'est notre capacité à percevoir
les vibrations des objets.
12:23
whichlequel givesdonne us a newNouveau lenslentille
throughpar whichlequel to look at the worldmonde,
206
731738
3413
Ça nous donne un nouvel objectif
pour observer le monde.
12:27
and we can use that lenslentille
207
735151
1510
Et on peut l'utiliser
12:28
to learnapprendre not just about forcesles forces like sounddu son
that causecause an objectobjet to vibratevibrer,
208
736661
4899
pour étudier les forces comme le son
qui causent des vibrations sur un objet,
12:33
but alsoaussi about the objectobjet itselfse.
209
741560
2288
mais on peut aussi
étudier l'objet lui-même.
Je vais prendre un peu de recul
12:36
And so I want to take a stepétape back
210
744975
1693
12:38
and think about how that mightpourrait changechangement
the waysfaçons that we use videovidéo,
211
746668
4249
pour réfléchir en quoi ça peut modifier
les manières dont nous utilisons la vidéo.
12:42
because we usuallyd'habitude use videovidéo
to look at things,
212
750917
3553
En général, on utilise la vidéo
pour regarder des choses.
12:46
and I've just shownmontré you how we can use it
213
754470
2322
Mais je viens de vous montrer
comment l'utiliser
12:48
to listen to things.
214
756792
1857
pour écouter des choses.
12:50
But there's anotherun autre importantimportant way
that we learnapprendre about the worldmonde:
215
758649
3971
Il y a une autre manière importante
d'étudier le monde :
12:54
that's by interactinginteragir with it.
216
762620
2275
en interagissant avec lui.
12:56
We pushpousser and pulltirer and pokepoke and prodprod things.
217
764895
3111
On appuie, on tire,
ou donne des petits coups sur les objets.
13:00
We shakesecouer things and see what happensarrive.
218
768006
3181
On peut les secouer
et voir ce qui se passe.
13:03
And that's something that videovidéo
still won'thabitude let us do,
219
771187
4273
La vidéo ne nous permet pas encore
de faire tout ça.
13:07
at leastmoins not traditionallytraditionnellement.
220
775460
2136
En tout cas, de manière traditionnelle.
13:09
So I want to showmontrer you some newNouveau work,
221
777596
1950
Je vous montre mes nouveaux travaux.
Ils reposent sur une idée que j'ai eue
il y a quelques mois.
13:11
and this is basedbasé on an ideaidée I had
just a fewpeu monthsmois agodepuis,
222
779546
2667
13:14
so this is actuallyréellement the first time
I've shownmontré it to a publicpublic audiencepublic.
223
782213
3301
C'est la première fois
que je les dévoile en public.
L'idée de base est d'utiliser
les vibrations dans la vidéo
13:17
And the basicde base ideaidée is that we're going
to use the vibrationsvibrations in a videovidéo
224
785514
5363
13:22
to captureCapturer objectsobjets in a way
that will let us interactinteragir with them
225
790877
4481
pour saisir des objets
de manière à interagir avec eux,
13:27
and see how they reactréagir to us.
226
795358
1974
et voir comment ils réagissent.
13:31
So here'svoici an objectobjet,
227
799120
1764
Voilà un objet.
13:32
and in this caseCas, it's a wirecâble figurefigure
in the shapeforme of a humanHumain,
228
800884
3832
C'est une statue en fil de fer,
qui a la forme d'un humain.
13:36
and we're going to filmfilm that objectobjet
with just a regularordinaire cameracaméra.
229
804716
3088
On va la filmer avec une caméra normale.
13:39
So there's nothing specialspécial
about this cameracaméra.
230
807804
2124
La caméra n'a rien de spécial.
13:41
In factfait, I've actuallyréellement doneterminé this
with my cellcellule phonetéléphone before.
231
809928
2961
J'ai même essayé avec la caméra
de mon smartphone.
13:44
But we do want to see the objectobjet vibratevibrer,
232
812889
2252
Nous voulons observer
les vibrations de l'objet.
13:47
so to make that happense produire,
233
815141
1133
Et pour cela,
13:48
we're just going to bangcoup a little bitbit
on the surfacesurface where it's restingrepos
234
816274
3346
on va donner des petits coups
sur la surface où elle est déposée,
13:51
while we recordrecord this videovidéo.
235
819620
2138
pendant l'enregistrement.
13:59
So that's it: just fivecinq secondssecondes
of regularordinaire videovidéo,
236
827398
3671
C'est tout. 5 secondes de vidéo normale,
14:03
while we bangcoup on this surfacesurface,
237
831069
2136
on donne des coups sur le plan,
14:05
and we're going to use
the vibrationsvibrations in that videovidéo
238
833205
3513
et on va utiliser les vibrations
enregistrées par la vidéo
14:08
to learnapprendre about the structuralde construction
and materialMatériel propertiesPropriétés of our objectobjet,
239
836718
4544
pour étudier les propriétés
structurelles et matérielles de l'objet.
14:13
and we're going to use that informationinformation
to createcréer something newNouveau and interactiveinteractif.
240
841262
4834
On va ensuite les utiliser pour créer
quelque chose de neuf et interactif.
14:24
And so here'svoici what we'venous avons createdcréé.
241
852866
2653
En voici le résultat.
14:27
And it looksregards like a regularordinaire imageimage,
242
855519
2229
On dirait une image normale.
14:29
but this isn't an imageimage,
and it's not a videovidéo,
243
857748
3111
Mais ce n'est pas le cas.
Ce n'est pas non plus une vidéo,
14:32
because now I can take my mouseSouris
244
860859
2368
parce que maintenant,
je peux prendre ma souris,
14:35
and I can startdébut interactinginteragir
with the objectobjet.
245
863227
2859
et interagir avec l'objet.
14:44
And so what you see here
246
872936
2357
Ce que vous voyez ici,
c'est une simulation
des réactions de cet objet
14:47
is a simulationsimulation of how this objectobjet
247
875389
2226
14:49
would respondrépondre to newNouveau forcesles forces
that we'venous avons never seenvu before,
248
877615
4458
lorsqu'il subit des forces
qu'on n'a pas encore vues.
14:54
and we createdcréé it from just
fivecinq secondssecondes of regularordinaire videovidéo.
249
882073
3633
Nous avons créé cela
à partir d'une vidéo de 5 secondes.
(Applaudissements)
14:59
(ApplauseApplaudissements)
250
887249
4715
15:09
And so this is a really powerfulpuissant
way to look at the worldmonde,
251
897421
3227
C'est un moyen puissant
d'observer le monde,
parce qu'il nous permet de prédire
comment les objets vont réagir
15:12
because it letspermet us predictprédire
how objectsobjets will respondrépondre
252
900648
2972
15:15
to newNouveau situationssituations,
253
903620
1823
dans des situations nouvelles.
15:17
and you could imagineimaginer, for instanceexemple,
looking at an oldvieux bridgepont
254
905443
3473
On pourrait imaginer, par exemple,
regarder un vieux pont,
15:20
and wonderingme demandant what would happense produire,
how would that bridgepont holdtenir up
255
908916
3527
en se demandant ce qui va se passer,
quand je vais le traverser en voiture.
15:24
if I were to driveconduire my carvoiture acrossà travers it.
256
912443
2833
Le pont va-t-il supporter ce poids ?
15:27
And that's a questionquestion
that you probablyProbablement want to answerrépondre
257
915276
2774
Et vous vous poseriez cette question,
sans doute,
15:30
before you startdébut drivingau volant
acrossà travers that bridgepont.
258
918050
2560
avant de devoir traverser
un tel vieux pont.
15:33
And of coursecours, there are going to be
limitationslimites to this techniquetechnique,
259
921988
3272
Bien entendu,
la technologie a ses limites,
15:37
just like there were
with the visualvisuel microphonemicrophone,
260
925260
2462
tout comme celle
avec le microphone visuel.
15:39
but we founda trouvé that it workstravaux
in a lot of situationssituations
261
927722
3181
Mais nous avons constaté
que ça fonctionne dans beaucoup de cas,
15:42
that you mightpourrait not expectattendre,
262
930903
1875
même des cas inattendus,
15:44
especiallynotamment if you give it longerplus long videosvidéos.
263
932778
2768
surtout si on utilise
des vidéos plus longues.
15:47
So for exampleExemple,
here'svoici a videovidéo that I capturedcapturé
264
935546
2508
Par exemple,
voici une de mes vidéos.
15:50
of a bushbuisson outsideà l'extérieur of my apartmentappartement,
265
938054
2299
C'est un arbuste
à côté de mon appartement.
15:52
and I didn't do anything to this bushbuisson,
266
940353
3088
Je n'ai pas touché à l'arbuste.
15:55
but by capturingcapturer a minute-longdurée minutes videovidéo,
267
943441
2705
J'ai pris une vidéo d'une minute.
15:58
a gentledoux breezejeu d’enfant causedcausé enoughassez vibrationsvibrations
268
946146
3378
Un vent léger a provoqué
suffisamment de vibrations
16:01
that we could learnapprendre enoughassez about this bushbuisson
to createcréer this simulationsimulation.
269
949524
3587
pour nous permettre
de développer cette simulation.
16:07
(ApplauseApplaudissements)
270
955270
6142
(Applaudissements)
16:13
And so you could imagineimaginer givingdonnant this
to a filmfilm directorréalisateur,
271
961412
2972
On pourrait aussi imaginer
qu'un réalisateur
16:16
and lettinglocation him controlcontrôle, say,
272
964384
1719
utilise cette technique pour contrôler,
par exemple,
16:18
the strengthforce and directiondirection of windvent
in a shotcoup after it's been recordedenregistré.
273
966103
4922
la force ou la direction du vent
après avoir tourné la scène.
16:24
Or, in this caseCas, we pointedpointu our cameracaméra
at a hangingpendaison curtainrideau,
274
972810
4535
Dans ce cas-ci,
on a filmé une tenture.
16:29
and you can't even see
any motionmouvement in this videovidéo,
275
977345
4129
Il n'y a aucun mouvement perceptible
dans cette vidéo.
16:33
but by recordingenregistrement a two-minute-longdurée de deux minutes videovidéo,
276
981474
2925
Mais un enregistrement de deux minutes,
16:36
naturalNaturel airair currentscourants in this roomchambre
277
984399
2438
a permis d'analyser suffisamment
de mouvements imperceptibles
16:38
createdcréé enoughassez subtlesubtil,
imperceptibleimperceptible motionsrequêtes and vibrationsvibrations
278
986837
4412
causés par des courants d'air
naturels dans la pièce
16:43
that we could learnapprendre enoughassez
to createcréer this simulationsimulation.
279
991249
2565
pour créer cette simulation.
16:48
And ironicallyironiquement,
280
996243
2366
Paradoxalement,
16:50
we're kindgentil of used to havingayant
this kindgentil of interactivityinteractivité
281
998609
3088
on est habitué à ce genre d'interactions
16:53
when it comesvient to virtualvirtuel objectsobjets,
282
1001697
2647
avec des objets virtuels,
16:56
when it comesvient to videovidéo gamesJeux
and 3D modelsdes modèles,
283
1004344
3297
dans les jeux vidéo ou les modèles 3D.
16:59
but to be ablecapable to captureCapturer this informationinformation
from realréal objectsobjets in the realréal worldmonde
284
1007641
4404
Mais pouvoir capter des informations
sur des objets réels, dans le monde réel
17:04
usingen utilisant just simplesimple, regularordinaire videovidéo,
285
1012045
2817
en utilisant une vidéo normale,
17:06
is something newNouveau that has
a lot of potentialpotentiel.
286
1014862
2183
est quelque chose de tout à fait innovant,
avec un grand potentiel.
17:10
So here are the amazingincroyable people
who workedtravaillé with me on these projectsprojets.
287
1018410
4904
Voici les membres formidables
qui ont contribué à ces projets.
17:16
(ApplauseApplaudissements)
288
1024057
5596
(Applaudissements)
Ce que je vous ai montré aujourd'hui
n'est que le début.
17:24
And what I've shownmontré you todayaujourd'hui
is only the beginningdébut.
289
1032819
3057
17:27
We'veNous avons just startedcommencé to scratchrayure the surfacesurface
290
1035876
2113
On vient juste de commencer
17:29
of what you can do
with this kindgentil of imagingd’imagerie,
291
1037989
2972
à découvrir ce qui est possible
de réaliser avec ce genre d'images.
17:32
because it givesdonne us a newNouveau way
292
1040961
2286
Ça nous donne de nouvelles méthodes
17:35
to captureCapturer our surroundingsalentours
with commoncommun, accessibleaccessible technologyLa technologie.
293
1043342
4724
pour filmer notre environnement
avec des technologies accessibles.
17:40
And so looking to the futureavenir,
294
1048066
1929
À l'avenir,
17:41
it's going to be
really excitingpassionnant to exploreexplorer
295
1049995
2037
ces technologies pourront nous enseigner
17:44
what this can tell us about the worldmonde.
296
1052032
1856
des choses fascinantes sur le monde.
17:46
Thank you.
297
1054381
1204
Merci.
17:47
(ApplauseApplaudissements)
298
1055610
6107
(Applaudissements)
Translated by Claire Ghyselen
Reviewed by Lison Hasse

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com