TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Michael Rubinstein: Distinguer des mouvements invisibles, entendre des sons silencieux. Est-ce cool ou monstrueux ? Cela dépend de vous.
Filmed:
Readability: 4.1
2,075,056 views
Découvrez le « microscope du mouvement », un instrument de traitement de vidéos qui amplifie les petits changements de mouvement et couleur impossibles à voir à l'œil nu. Le chercheur vidéo Michael Rubinstein nous fait voir des clips incroyables, en nous montrant comment cette technologie peut reconstruire le pouls ou le rythme cardiaque d'un individu simplement à partir d'un extrait vidéo. Regardez comment il reconstruit une conversation en amplifiant les mouvements créés par des ondes sonores qui rebondissent sur un sachet de chips. Ces applications extraordinaires et sinistres de cette technologie, on doit les voir pour y croire.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
Ces derniers siècles, les microscopes
ont révolutionné notre monde.
ont révolutionné notre monde.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
Ils nous ont révélé un monde minuscule
d'objets, de vies et de structures
d'objets, de vies et de structures
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
qui sont trop petits
pour être vus à l'œil nu.
pour être vus à l'œil nu.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Ils contribuent incroyablement
à la science et la technologie.
à la science et la technologie.
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
Aujourd'hui, je veux vous présenter
un nouveau type de microscope :
un nouveau type de microscope :
un microscope pour les changements.
00:35
a microscope for changes.
5
23404
2578
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
Il n'utilise pas l'optique,
pour agrandir les petits objets,
pour agrandir les petits objets,
00:40
to make small objects bigger,
7
28884
1997
comme un microscope habituel.
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
Au lieu de ça, il utilise une caméra
et du traitement d'images
et du traitement d'images
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
pour nous révéler
les mouvements les plus infimes
les mouvements les plus infimes
et les changements de couleur
des objets et des gens.
des objets et des gens.
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
Des changements impossibles
à voir pour nous à l'œil nu.
à voir pour nous à l'œil nu.
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
Et ça nous permet de voir notre monde
d'une façon complètement nouvelle.
d'une façon complètement nouvelle.
Qu'est-ce qu'un changement de couleur ?
01:00
So what do I mean by color changes?
12
48475
1910
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
Notre peau, par exemple,
change légèrement de couleur
change légèrement de couleur
quand le sang
s'écoule sous sa surface.
s'écoule sous sa surface.
01:05
when the blood flows under it.
14
53217
1997
Ce changement est
incroyablement léger,
incroyablement léger,
01:07
That change is incredibly subtle,
15
55214
2397
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
c'est pourquoi quand
on regarde les autres,
on regarde les autres,
ou même celui qui est assis
à côté de nous,
à côté de nous,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
on ne voit pas leur peau ou leur visage
changer de couleur.
changer de couleur.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
Si on regarde cette vidéo de Steve,
il semble immobile.
il semble immobile.
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
Mais si on regarde cette vidéo
avec notre nouveau microscope spécial,
avec notre nouveau microscope spécial,
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
soudain on voit une image
complètement différente.
complètement différente.
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
Là, on voit des petits changements
dans la couleur de la peau de Steve,
dans la couleur de la peau de Steve,
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
agrandis par un facteur 100
pour les rendre visibles.
pour les rendre visibles.
01:36
We can actually see a human pulse.
24
84686
3267
On peut tout à fait voir
un pouls humain.
un pouls humain.
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
On peut voir la vitesse
des battements cardiaques de Steve.
des battements cardiaques de Steve.
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
On peut aussi voir la façon effective
dont le sang s'écoule dans son visage.
dont le sang s'écoule dans son visage.
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
On peut faire ça non seulement
pour visualiser le pouls,
pour visualiser le pouls,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
mais aussi pour récupérer
le rythme cardiaque, et le mesurer.
le rythme cardiaque, et le mesurer.
01:54
and measure our heart rates.
29
102646
1793
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
On le fait avec des caméras normales
et sans toucher les patients.
et sans toucher les patients.
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
Là, on voit le pouls et le rythme
cardiaque d'un nouveau-né mesuré
cardiaque d'un nouveau-né mesuré
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
à partir d'une vidéo réalisée
avec une caméra DSLR normale.
avec une caméra DSLR normale.
02:09
and the heart rate measurement we get
33
117390
1816
Le rythme cardiaque obtenu
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
est aussi précis que celui qu'on obtient
avec le moniteur standard d'un hôpital.
avec le moniteur standard d'un hôpital.
Ce n'est pas forcément
une vidéo enregistrée par nous.
une vidéo enregistrée par nous.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Fondamentalement, on peut le faire
avec d'autres vidéos aussi.
avec d'autres vidéos aussi.
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
Donc là, j'ai pris un petit extrait
du film « Batman : Le Commencement »,
du film « Batman : Le Commencement »,
02:25
just to show Christian Bale's pulse.
38
133555
1904
pour vous montrer le pouls
de Christian Bale.
de Christian Bale.
02:27
(Laughter)
39
135459
1822
(Rires)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
On sait tous qu'il est maquillé,
02:31
the lighting here is kind of challenging,
41
139404
1953
le réglage de la lumière
pose problème,
pose problème,
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
néanmoins, on peut extraire son pouls
à partir de cet extrait,
à partir de cet extrait,
02:36
and show it quite well.
43
144308
2018
et le montrer clairement.
02:38
So how do we do all that?
44
146326
1920
Comment fait-on tout ça ?
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
Fondamentalement, on analyse
les changements de lumière enregistrés
les changements de lumière enregistrés
02:44
at every pixel in the video over time,
46
152844
2271
à chaque pixel de la vidéo dans le temps,
02:47
and then we crank up those changes.
47
155115
1798
et puis on amplifie ces changements.
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
On les agrandit
pour pouvoir les observer.
pour pouvoir les observer.
02:51
The tricky part is that those signals,
49
159075
1902
La partie compliquée est que ces signaux,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
ces changements qu'on cherche
sont minuscules,
sont minuscules,
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
on doit donc faire très
attention quand on essaie
attention quand on essaie
02:58
from noise that always exists in videos.
52
166689
3831
de les séparer du bruit
présent dans toutes les vidéos.
présent dans toutes les vidéos.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
On utilise des techniques
de traitement d'images astucieuses
de traitement d'images astucieuses
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
pour obtenir une mesure très précise
de la couleur de chaque pixel de la vidéo,
de la couleur de chaque pixel de la vidéo,
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
et de la manière dont la couleur
change avec le temps,
change avec le temps,
03:12
and then we amplify those changes.
56
180179
2693
et puis on amplifie ces variations.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
On les agrandit pour créer
de telles vidéos accrues, ou amplifiées.
de telles vidéos accrues, ou amplifiées.
03:18
that actually show us those changes.
58
186852
2172
qui nous montrent clairement
ces changements.
ces changements.
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
En fait, on peut faire ça non seulement
pour les changements de couleur,
pour les changements de couleur,
03:25
but also tiny motions,
60
193262
2241
mais aussi pour les micro-mouvements,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
parce que la lumière
enregistrée dans nos caméras
enregistrée dans nos caméras
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
varie non seulement
quand la couleur de l'objet change,
quand la couleur de l'objet change,
03:33
but also if the object moves.
63
201889
2368
mais aussi quand l'objet bouge.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
Voici ma fille à deux mois.
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
C'est une vidéo que j'ai enregistrée
il y a environ trois ans.
il y a environ trois ans.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
Et, comme tout parent, on veut s'assurer
que nos enfants sont en bonne santé,
qu'ils respirent et qu'ils sont vivants.
qu'ils respirent et qu'ils sont vivants.
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
03:48
So I too got one of those baby monitors
68
216642
2142
Donc j'ai acheté un babyphone
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
pour observer ma fille
dans son sommeil.
dans son sommeil.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
Voici le résultat obtenu habituellement
avec un babyphone standard.
avec un babyphone standard.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
On peut voir le bébé qui dort,
mais sans plus.
mais sans plus.
04:00
There's not too much we can see.
72
228474
1604
Il n'y a pas grand chose à voir.
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
Ne serait-il pas mieux,
plus informatif, ou plus utile,
plus informatif, ou plus utile,
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
si, au lieu de ça, on pouvait
voir la scène comme ça.
voir la scène comme ça.
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
J'ai analysé les mouvements
et je les ai amplifiés d'un facteur 30,
et je les ai amplifiés d'un facteur 30,
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
et j'ai pu clairement voir que ma fille
respirait toujours.
respirait toujours.
04:18
(Laughter)
77
246074
2253
(Rires)
04:20
Here is a side-by-side comparison.
78
248327
1922
Voilà les vidéos côte à côte.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
Dans la vidéo originelle,
04:24
there's not too much we can see,
80
252732
1636
il n'y a pas grand chose à voir,
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
mais si on amplifie les mouvements,
la respiration devient plus visible.
la respiration devient plus visible.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
Il y a en fait beaucoup de phénomènes
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
qu'on peut révéler et agrandir avec
notre nouveau microscope du mouvement.
notre nouveau microscope du mouvement.
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
On peut voir comment nos veines et artères
pulsent dans notre corps.
pulsent dans notre corps.
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
On peut voir que nos yeux
sont constamment en mouvement,
sont constamment en mouvement,
04:42
in this wobbly motion.
86
270960
1887
un peu tremblants.
04:44
And that's actually my eye,
87
272847
1509
C'est mon œil sur cette vidéo.
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
J’ai enregistré cette vidéo
juste après la naissance de ma fille.
juste après la naissance de ma fille.
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
Vous pouvez donc remarquer
que je manquais de sommeil.
que je manquais de sommeil.
(Rires)
04:53
Even when a person is sitting still,
90
281623
2716
Même lorsque quelqu'un
est assis, immobile,
est assis, immobile,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
on peut extraire beaucoup d'informations
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
sur son rythme de respiration,
ses petites expressions faciales.
ses petites expressions faciales.
05:01
Maybe we could use those motions
93
289912
1625
Peut-être que ces mouvements
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
peuvent nous révéler quelque chose
sur nos pensées, nos émotions.
sur nos pensées, nos émotions.
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
On peut aussi amplifier
les petits mouvements mécaniques,
les petits mouvements mécaniques,
comme les vibrations d'un moteur.
05:09
like vibrations in engines,
96
297946
1555
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
Ça pourrait aider les ingénieurs
à identifier des problèmes mécaniques,
à identifier des problèmes mécaniques,
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
ou observer comment nos constructions
réagissent aux forces et au vent.
réagissent aux forces et au vent.
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Ce sont des choses que notre société
sait mesurer de plusieurs manières.
sait mesurer de plusieurs manières.
05:24
but measuring those motions is one thing,
100
312512
2453
Mais mesurer ces mouvements,
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
et les observer quand ils se produisent
05:29
is a whole different thing.
102
317241
2554
sont deux choses complètement différentes.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
Et depuis qu'on a découvert
cette nouvelle technologie,
cette nouvelle technologie,
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
on a mis notre code en ligne pour qu'il
puisse être utilisé et expérimenté.
puisse être utilisé et expérimenté.
05:38
It's very simple to use.
105
326789
1875
Il est très simple à utiliser.
05:40
It can work on your own videos.
106
328664
2044
Il peut être utilisé sur
vos propres vidéos.
vos propres vidéos.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
Nos collaborateurs de Quanta Research
ont même créé un beau site
ont même créé un beau site
où vous pouvez télécharger des vidéos
et les modifier.
et les modifier.
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
Donc même si on n'a pas d'expérience
en informatique ou en programmation,
en informatique ou en programmation,
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
on peut facilement expérimenter
avec ce nouveau microscope.
avec ce nouveau microscope.
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
Et je voudrais vous montrer
quelques exemples
quelques exemples
05:57
of what others have done with it.
112
345735
2735
de ce qui a été fait avec ça.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Ceci a été fait par un utilisateur
de YouTube qui s'appelle Tamez85.
de YouTube qui s'appelle Tamez85.
06:05
I don't know who that user is,
114
353787
1463
Je ne le connais pas,
06:07
but he, or she, used our code
115
355250
2345
mais il, ou elle, a utilisé notre code
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
pour agrandir les petits mouvements
du ventre durant une grossesse.
du ventre durant une grossesse.
06:13
It's kind of creepy.
117
361310
1602
C'est un peu effrayant.
06:14
(Laughter)
118
362912
1613
(Rires)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Certains l'ont utilisé pour agrandir
les pulsations des veines dans les mains.
les pulsations des veines dans les mains.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
Et vous savez que ce n'est pas de la
vraie science sans des cobayes.
vraie science sans des cobayes.
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
Apparemment ce cobaye
s'appelle Tiffany
s'appelle Tiffany
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
et cet utilisateur de YouTube dit que
c'est le premier rongeur
c'est le premier rongeur
06:31
that was motion-magnified.
123
379607
2688
dont les mouvements ont été
agrandis avec cette méthode.
agrandis avec cette méthode.
06:34
You can also do some art with it.
124
382295
2188
On peut même en faire de l'art.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
Ce vidéo m'a été envoyé par
une étudiante en graphisme à Yale.
une étudiante en graphisme à Yale.
Elle voulait voir
s'il y avait des différences
s'il y avait des différences
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
06:41
in the way her classmates move.
127
389638
1522
dans les mouvements de ses copains.
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
Elle leur a demandé de rester immobiles
et a agrandi leurs mouvements.
et a agrandi leurs mouvements.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
C'est comme voir
des photos immobiles prendre vie.
des photos immobiles prendre vie.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
Ce qui est remarquable
dans tous ces exemples,
dans tous ces exemples,
06:53
is that we had nothing to do with them.
131
401180
2296
c'est qu’ils sont entièrement autonomes.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
Nous avons mis la technologie, un nouveau
regard sur le monde, à disposition.
regard sur le monde, à disposition.
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
et puis les gens ont trouvé
d'autres utilisations
d'autres utilisations
intéressantes, nouvelles et créatives.
Mais on ne s'est pas arrêté là.
07:04
But we didn't stop there.
134
412462
1764
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
Cet instrument nous permet
non seulement de regarder le monde
non seulement de regarder le monde
d'une nouvelle façon,
mais il redéfinit ce qu'on peut faire,
mais il redéfinit ce qu'on peut faire,
07:09
it also redefines what we can do
136
417477
2368
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
il repousse les limites
du possible avec nos caméras.
du possible avec nos caméras.
07:15
So as scientists, we started wondering,
138
423026
2229
Alors, en tant que scientifiques,
on s'est demandé
on s'est demandé
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
quels autres phénomènes physiques
produisent des petits mouvements
produisent des petits mouvements
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
que nos caméras pourraient mesurer ?
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
Et l'un de ces phénomènes sur lequel
on s'est concentrés est le son.
on s'est concentrés est le son.
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
Le son, comme nous le savons tous,
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
est une variation de la pression de l'air.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
Ces ondes de pression frappent les objets
et créent de petites vibrations.
et créent de petites vibrations.
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
C'est ainsi qu'on entend
et enregistre le son.
et enregistre le son.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
Il s’avère que le son produit
des mouvements visuels.
des mouvements visuels.
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
Ces mouvements ne sont pas
visibles à l'œil nu,
visibles à l'œil nu,
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
mais pour une caméra munie
du traitement d'images adéquat.
du traitement d'images adéquat.
07:47
So here are two examples.
149
455887
1573
Voici deux exemples.
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
Je vous présente
mes grandes capacités en chant.
mes grandes capacités en chant.
(Vocalisation)
07:53
(Singing)
151
461064
1634
07:54
(Laughter)
152
462698
1436
(Rires)
En même temps, j'ai pris un vidéo
à haute vitesse de ma gorge.
à haute vitesse de ma gorge.
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
07:59
Again, if you stare at that video,
154
467120
1764
Si vous observez cette vidéo,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
il n'y a pas grand chose à voir,
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
mais en amplifiant les mouvements
d'un facteur 100,
d'un facteur 100,
on voit les ondulations dans la gorge
qui contribuent à la production du son.
qui contribuent à la production du son.
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
08:10
That signal is there in that video.
158
478566
2740
Ce signal est là, dans cette vidéo.
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
On sait aussi que les chanteurs
peuvent briser un verre
peuvent briser un verre
08:15
if they hit the correct note.
160
483976
1463
s'ils chantent la note juste.
08:17
So here, we're going to play a note
161
485439
1765
Ici, on va donc jouer une note
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
dans la fréquence de résonance
de ce verre.
de ce verre.
08:21
through a loudspeaker that's next to it.
163
489730
2048
avec un haut-parleur à côté.
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
Quand on joue cette note et
qu'on amplifie par un facteur 250,
qu'on amplifie par un facteur 250,
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
on peut voir nettement
comment le verre vibre
comment le verre vibre
08:30
and resonates in response to the sound.
166
498535
3570
et résonne en réaction au son.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Ce n'est pas une chose
qu'on voit tous les jours.
qu'on voit tous les jours.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
Mais ça nous a fait réfléchir,
et ça nous a donné une idée folle.
et ça nous a donné une idée folle.
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
Est-ce qu'on peut inverser le processus
et récupérer du son à partir des vidéos,
et récupérer du son à partir des vidéos,
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
en analysant les micro-vibrations créées
par les ondes sonores sur les objets,
par les ondes sonores sur les objets,
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
et en les convertissant en son ?
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
On pourrait transformer
des objets usuels en micros.
des objets usuels en micros.
08:58
So that's exactly what we did.
173
526931
2232
C'est exactement ce qu'on a fait.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
Là on voit un sachet de chips vide
sur une table,
sur une table,
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
et on va le transformer en micro,
09:06
by filming it with a video camera
176
534804
1591
en l'enregistrant avec une caméra
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
et en analysant les petits mouvements
que les ondes sonores y créent.
que les ondes sonores y créent.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
Voici le son
qu'on a joué dans la pièce.
qu'on a joué dans la pièce.
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
(Musique: « Marie avait un petit agneau »)
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
Et voilà une vidéo à haute vitesse
du paquet de chips.
du paquet de chips.
09:25
Again it's playing.
181
553032
1274
On rejoue notre morceau.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
Il n'y a aucune chance de remarquer
quoi que ce soit dans cette vidéo.
quoi que ce soit dans cette vidéo.
09:29
just by looking at it,
183
557648
1058
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
Voilà le son qu'on a pu récupérer
09:33
the tiny motions in that video.
185
561690
2183
en analysant les mouvements
dans la vidéo.
dans la vidéo.
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
(Musique: « Marie avait un petit agneau »)
09:52
I call it -- Thank you.
187
580985
1486
Moi, j'appelle ça - Merci.
09:54
(Applause)
188
582471
5225
(Applaudissements)
10:01
I call it the visual microphone.
189
589878
2345
J'appelle ça le micro visuel.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
On extrait des signaux
acoustiques à partir de signaux visuels.
acoustiques à partir de signaux visuels.
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
Et pour vous donner une idée
de l'échelle de ces mouvements,
de l'échelle de ces mouvements,
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
un son très bruyant fait bouger ce sachet
de moins d'un micromètre.
de moins d'un micromètre.
10:16
That's one thousandth of a millimeter.
193
604135
2739
C'est-à-dire
un millième d'un millimètre.
un millième d'un millimètre.
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
Voilà la taille microscopique
des mouvements extraits
des mouvements extraits
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
par la simple observation
de la lumière sur les objets,
de la lumière sur les objets,
10:25
and gets recorded by our cameras.
196
613678
2136
et est enregistrée par nos caméras.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
On peut reconstruire le son
à partir d'autres objets : les plantes.
à partir d'autres objets : les plantes.
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
(Musique: «Marie avait un petit agneau»)
10:39
And we can recover speech as well.
199
627214
1997
On peut même reconstruire
des paroles.
des paroles.
10:41
So here's a person speaking in a room.
200
629211
2577
Voilà une personne qui parle
dans une pièce.
dans une pièce.
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
Voix : Marie avait un petit agneau,
blanc comme neige, il était beau,
blanc comme neige, il était beau,
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
et partout où Marie allait,
l'agneau bien sûr suivait.
l'agneau bien sûr suivait.
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
MR : Et voilà ces mêmes paroles,
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
reconstruites à partir
de ce même paquet de chips.
de ce même paquet de chips.
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
Voix : Marie avait un petit agneau,
blanc comme neige, il était beau,
blanc comme neige, il était beau,
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
et partout où Marie allait,
l'agneau bien sûr suivait.
l'agneau bien sûr suivait.
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
MR : On a utilisé
« Marie avait un petit agneau »
« Marie avait un petit agneau »
11:10
because those are said to be
the first words
the first words
208
658290
2123
car ce serait les premiers mots
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
que Thomas Edison aurait prononcés
dans son phonographe en 1877.
dans son phonographe en 1877.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
C'était l'un des premiers
enregistreurs de l'histoire.
enregistreurs de l'histoire.
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
Fondamentalement il projetait
les sons sur un diaphragme
les sons sur un diaphragme
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
qui faisait vibrer une aiguille
qui gravait le son
qui gravait le son
sur une feuille d'aluminium enroulée
autour d'un cylindre.
autour d'un cylindre.
11:27
that was wrapped around the cylinder.
213
675208
2275
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
Voilà une démonstration du phonographe.
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
(Vidéo) Voix :
Test, test, un. deux, trois.
Test, test, un. deux, trois.
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
Marie avait un petit agneau,
blanc comme neige, il était beau,
blanc comme neige, il était beau,
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
et partout où Marie allait,
l'agneau bien sûr suivait.
l'agneau bien sûr suivait.
11:45
Testing, testing, one two three.
218
693528
2740
Test, test, un, deux, trois.
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
Marie avait un petit agneau,
blanc comme neige, il était beau,
blanc comme neige, il était beau,
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
et partout où Marie allait,
l'agneau bien sûr suivait.
l'agneau bien sûr suivait.
11:57
MR: And now, 137 years later,
221
705648
4017
MR : Et maintenant, 137 ans après,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
on peut reconstruire du son
de qualité très similaire
de qualité très similaire
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
en regardant avec des caméras
des objets qui vibrent avec le son.
des objets qui vibrent avec le son.
12:09
and we can even do that when the camera
224
717831
1934
On peut même faire ça
quand la caméra
quand la caméra
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
est à 4 mètres de distance de l'objet,
derrière du verre insonorisé.
derrière du verre insonorisé.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Voilà le son qu'on peut
reconstruire dans ce cas-là.
reconstruire dans ce cas-là.
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
Voix : Marie avait un petit agneau,
blanc comme neige, il était beau,
blanc comme neige, il était beau,
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
et partout où Marie allait,
l'agneau bien sûr suivait.
l'agneau bien sûr suivait.
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
MR : Bien sûr, surveillance est la
première utilisation qui vient à l'esprit.
première utilisation qui vient à l'esprit.
12:33
(Laughter)
230
741034
2995
(Rires)
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
Mais cela pourrait être utile
pour d'autres choses.
pour d'autres choses.
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
Peut-être que dans le futur
on pourra l'utiliser, par exemple,
on pourra l'utiliser, par exemple,
12:42
to recover sound across space,
233
750925
2252
pour reconstruire le son dans l'espace,
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
parce que le son ne voyage pas
dans l'espace, mais la lumière peut.
dans l'espace, mais la lumière peut.
12:48
We've only just begun exploring
235
756753
2404
On ne fait que commencer à explorer
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
d'autres applications possibles
de cette nouvelle technologie.
de cette nouvelle technologie.
Ça nous permet de voir
des processus que nous savons exister,
des processus que nous savons exister,
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
mais qu'on n'a jamais pu
voir à l’œil nu jusqu'à maintenant.
voir à l’œil nu jusqu'à maintenant.
13:00
This is our team.
239
768564
1204
Voilà notre équipe.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
Tout cela est
le résultat d'une collaboration
le résultat d'une collaboration
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
avec ce magnifique
groupe de personnes-là.
groupe de personnes-là.
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
Je vous encourage
à visiter notre site Web,
à visiter notre site Web,
à tester notre technologie,
13:10
try it out yourself,
243
778005
1446
à nous rejoindre pour explorer
ce monde des micro-mouvements.
ce monde des micro-mouvements.
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
13:14
Thank you.
245
782423
1625
Merci.
13:16
(Applause)
246
784048
1254
(Applaudissements)
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com