TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Michael Rubinstein: Veja movimentos invisíveis, escute sons silenciosos. Legal? Estranho? Não sabemos
Filmed:
Readability: 4.1
2,075,056 views
Conheça o "microscópio de movimento", uma ferramenta de processamento que aumenta mudanças minúsculas no movimento e cor que são impossíveis de ver a olho nu. O pesquisador de vídeo Michael Rubinstein mostra vídeos incríveis detalhando como essa tecnologia pode detectar o pulso e batida do coração de um indivíduo apenas com um pedaço de um vídeo. Veja-o recriar uma conversa pela amplificação dos movimentos de ondas sonoras se refletindo em um saco de batatas fritas. Só mesmo vendo para acreditar nas aplicações fantásticas e sinistras desta tecnologia.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
Ao longo dos últimos séculos,
microscópios revolucionaram nosso mundo.
microscópios revolucionaram nosso mundo.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
Eles nos revelaram um mundo minúsculo
de objetos, vida e estruturas
de objetos, vida e estruturas
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
que são pequenos demais
para vermos a olho nu.
para vermos a olho nu.
Eles são uma enorme contribuição
para a ciência e tecnologia.
para a ciência e tecnologia.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Hoje eu gostaria de apresentá-los
à um novo tipo de microscópio,
à um novo tipo de microscópio,
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
um microscópio que amplifica mudanças.
00:35
a microscope for changes.
5
23404
2578
Ele não usa ótica,
como um microscópio comum,
como um microscópio comum,
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
para aumentar pequenos objetos,
00:40
to make small objects bigger,
7
28884
1997
mas em vez disso, usa uma câmera de vídeo
e processamento de imagem
e processamento de imagem
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
para nos revelar os movimentos ínfimos
e mudanças de cor em objetos e pessoas,
e mudanças de cor em objetos e pessoas,
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
mudanças que são impossíveis
de serem vistas a olhos nus.
de serem vistas a olhos nus.
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
E isso permite-nos olhar o nosso mundo
de uma forma totalmente nova.
de uma forma totalmente nova.
Então, o que quero dizer
com alterações de cor?
com alterações de cor?
01:00
So what do I mean by color changes?
12
48475
1910
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
Nossa pele, por exemplo,
muda de cor muito ligeiramente
muda de cor muito ligeiramente
quando o sangue flui sob ela.
01:05
when the blood flows under it.
14
53217
1997
01:07
That change is incredibly subtle,
15
55214
2397
Essa mudança é incrivelmente sutil,
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
por isso quando você vê outras pessoas,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
quando olha para a pessoa
sentada ao seu lado,
sentada ao seu lado,
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
você não vê sua pele
ou seu rosto mudando de cor.
ou seu rosto mudando de cor.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
Quando vemos este vídeo do Steve aqui,
a aparência é de uma imagem estática,
a aparência é de uma imagem estática,
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
mas quando vemos o vídeo através
do nosso novo e especial microscópio,
do nosso novo e especial microscópio,
de repente, vemos uma imagem
completamente distinta.
completamente distinta.
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
O que veem aqui são pequenas mudanças
na cor da pele do Steve,
na cor da pele do Steve,
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
ampliadas 100 vezes,
de modo que se tornam visíveis.
de modo que se tornam visíveis.
Na verdade, podemos ver um pulso humano.
01:36
We can actually see a human pulse.
24
84686
3267
Podemos ver o quão rápido
o coração de Steve está batendo,
o coração de Steve está batendo,
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
mas também podemos ver a forma real
com que o sangue flui em seu rosto.
com que o sangue flui em seu rosto.
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
E podemos fazer isso não só
para visualizar o pulso,
para visualizar o pulso,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
mas também para efetivamente
extrair e medir a frequência cardíaca,
extrair e medir a frequência cardíaca,
01:54
and measure our heart rates.
29
102646
1793
E podemos fazer isso com câmeras comuns
e sem tocar nos pacientes.
e sem tocar nos pacientes.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
Aqui vemos o pulso e frequência cardíaca
que extraímos de um bebê recém-nascido
que extraímos de um bebê recém-nascido
a partir um vídeo feito
com uma câmera DSLR comum,
com uma câmera DSLR comum,
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
02:09
and the heart rate measurement we get
33
117390
1816
e a frequência cardíaca que obtemos
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
é tão precisa quanto aquela
de um monitor padrão de hospital.
de um monitor padrão de hospital.
E nem precisa ser um vídeo que gravamos.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
Podemos essencialmente fazê-lo
com outros vídeos também.
com outros vídeos também.
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Então, peguei um pequeno clipe
de "Batman Begins" aqui,
de "Batman Begins" aqui,
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
só para mostrar o pulso de Christian Bale.
02:25
just to show Christian Bale's pulse.
38
133555
1904
02:27
(Laughter)
39
135459
1822
(Risos)
E presumivelmente,
ele está usando maquiagem,
ele está usando maquiagem,
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
iluminação aqui
é um pouco desafiadora,
é um pouco desafiadora,
02:31
the lighting here is kind of challenging,
41
139404
1953
mesmo assim, a partir do vídeo,
podemos extrair seu pulso
podemos extrair seu pulso
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
e mostrá-lo muito bem.
02:36
and show it quite well.
43
144308
2018
Então, como fazemos isso?
02:38
So how do we do all that?
44
146326
1920
Basicamente analisamos
as mudanças na luz que é gravada
as mudanças na luz que é gravada
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
em cada pixel do vídeo, ao longo do tempo,
02:44
at every pixel in the video over time,
46
152844
2271
e depois aumentamos essas mudanças.
02:47
and then we crank up those changes.
47
155115
1798
Tornamos elas maiores
para que possamos vê-las.
para que possamos vê-las.
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
02:51
The tricky part is that those signals,
49
159075
1902
A parte complicada é que esses sinais,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
essas mudanças que queremos ver,
são extremamente sutis,
são extremamente sutis,
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
por isso temos que ter muito cuidado
ao separá-las do ruído
ao separá-las do ruído
02:58
from noise that always exists in videos.
52
166689
3831
que sempre existe em vídeos.
Então, usamos algumas técnicas
inteligentes de processamento de imagem
inteligentes de processamento de imagem
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
para obter uma medida muito precisa
da cor de cada pixel no vídeo,
da cor de cada pixel no vídeo,
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
e em seguida, a forma
como a cor muda ao longo do tempo,
como a cor muda ao longo do tempo,
03:12
and then we amplify those changes.
56
180179
2693
e então amplificamos essas mudanças.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
Tornamo-as maiores para criar esses tipos
de vídeos melhorados, ou ampliados,
de vídeos melhorados, ou ampliados,
03:18
that actually show us those changes.
58
186852
2172
que realmente nos mostram essas mudanças.
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
Acontece que podemos fazer isso não apenas
para mostrar pequenas mudanças de cor,
para mostrar pequenas mudanças de cor,
03:25
but also tiny motions,
60
193262
2241
mas também pequenos movimentos,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
e isso é porque a luz
que fica gravada em nossas câmeras
que fica gravada em nossas câmeras
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
muda não somente com a cor do objeto,
mas também quando o objeto se move.
03:33
but also if the object moves.
63
201889
2368
Então, esta é a minha filha
quando tinha cerca de dois meses de idade.
quando tinha cerca de dois meses de idade.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
É um vídeo que gravei
há cerca de três anos atrás.
há cerca de três anos atrás.
E como pais iniciantes, todos queremos
que nossos bebês estejam saudáveis,
que nossos bebês estejam saudáveis,
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
respirando, e que estejam vivos, é claro.
Então, eu também tinha
um desses monitores de bebê
um desses monitores de bebê
03:48
So I too got one of those baby monitors
68
216642
2142
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
para ver minha filha
enquanto estava dormindo.
enquanto estava dormindo.
E isso é o que você verá
com um monitor de bebê padrão.
com um monitor de bebê padrão.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
Vocês podem ver o bebê dormindo,
mas não há muita informação aí.
mas não há muita informação aí.
Não há muito que podemos ver.
04:00
There's not too much we can see.
72
228474
1604
Não seria melhor,
ou mais informativo, ou mais útil,
ou mais informativo, ou mais útil,
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
se em vez disso pudéssemos
observar a cena assim.
observar a cena assim.
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
Aqui eu ampliei os movimentos em 30 vezes,
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
então pude ver claramente que minha filha
estava realmente viva e respirando.
estava realmente viva e respirando.
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
04:18
(Laughter)
77
246074
2253
(Risos)
04:20
Here is a side-by-side comparison.
78
248327
1922
Aqui está uma comparação lado-a-lado.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
Novamente, no vídeo de origem,
no vídeo original,
no vídeo original,
04:24
there's not too much we can see,
80
252732
1636
Não há muito que podemos ver,
mas uma vez que aumentamos os movimentos,
a respiração torna-se muito mais visível.
a respiração torna-se muito mais visível.
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
E acontece que,
há muitos fenômenos
há muitos fenômenos
que podemos revelar e ampliar
com o nosso novo microscópio de movimento.
com o nosso novo microscópio de movimento.
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
Podemos ver como nossas veias e artérias
estão pulsando em nossos corpos.
estão pulsando em nossos corpos.
Podemos ver que nossos olhos
estão em constante movimento
estão em constante movimento
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
04:42
in this wobbly motion.
86
270960
1887
nesse padrão cambaleante.
04:44
And that's actually my eye,
87
272847
1509
Isso é na verdade o meu olho,
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
e esse vídeo foi feito
logo depois que minha filha nasceu,
logo depois que minha filha nasceu,
então vocês podem ver que eu não
estava dormindo muito. (Risos)
estava dormindo muito. (Risos)
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
04:53
Even when a person is sitting still,
90
281623
2716
Até mesmo quando uma pessoa está parada,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
há muita informação
que podemos extrair
que podemos extrair
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
dos seus padrões de respiração
e pequenas expressões faciais.
e pequenas expressões faciais.
Talvez pudéssemos usar esses movimentos
05:01
Maybe we could use those motions
93
289912
1625
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
para nos dizer algo sobre
nossos pensamentos ou emoções.
nossos pensamentos ou emoções.
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
Também podemos ampliar
pequenos movimentos mecânicos,
pequenos movimentos mecânicos,
como vibrações em motores,
05:09
like vibrations in engines,
96
297946
1555
que podem ajudar engenheiros a detectar
e diagnosticar problemas em máquinas,
e diagnosticar problemas em máquinas,
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
ou ver como nossos edifícios e estruturas
balançam ao vento e reagem às forças.
balançam ao vento e reagem às forças.
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Essas são coisas que a nossa sociedade
sabe como medir de várias maneiras,
sabe como medir de várias maneiras,
mas medir esses movimentos é uma coisa,
05:24
but measuring those motions is one thing,
100
312512
2453
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
e ver esses movimentos
enquanto eles acontecem
enquanto eles acontecem
05:29
is a whole different thing.
102
317241
2554
é algo totalmente diferente.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
E desde que descobrimos
essa nova tecnologia,
essa nova tecnologia,
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
divulgamos o nosso código online para que
outros pudessem usar e experimentar.
outros pudessem usar e experimentar.
05:38
It's very simple to use.
105
326789
1875
É muito simples de usar.
05:40
It can work on your own videos.
106
328664
2044
Pode funcionar em seus próprios vídeos.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
Nossos colaboradores na Quantum Research
criaram este belo site
criaram este belo site
onde vocês podem fazer o upload
de vídeos e processá-los online,
de vídeos e processá-los online,
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
e mesmo que não tenham experiência
em ciência da computação ou programação,
em ciência da computação ou programação,
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
ainda podem facilmente
experimentar esse novo microscópio.
experimentar esse novo microscópio.
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
E eu gostaria de mostrar-lhes
alguns exemplos
alguns exemplos
05:57
of what others have done with it.
112
345735
2735
do que as pessoas fizeram com ele.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Este vídeo foi feito por
um usuário do YouTube chamado Tamez85.
um usuário do YouTube chamado Tamez85.
Eu não sei quem é esse usuário,
06:05
I don't know who that user is,
114
353787
1463
06:07
but he, or she, used our code
115
355250
2345
mas ele, ou ela, usou o nosso código
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
para ampliar pequenos movimentos
da barriga durante a gravidez.
da barriga durante a gravidez.
É meio assustador.
06:13
It's kind of creepy.
117
361310
1602
(Risos)
06:14
(Laughter)
118
362912
1613
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Pessoas ampliaram as veias em suas mãos.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
E sabemos que não é ciência de verdade
a menos que se use cobaias,
a menos que se use cobaias,
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
e, aparentemente, esta cobaia
se chama Tiffany,
se chama Tiffany,
e esse usuário do YouTube
diz que ela é o primeiro roedor na Terra
diz que ela é o primeiro roedor na Terra
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
06:31
that was motion-magnified.
123
379607
2688
a ter os movimentos ampliados.
06:34
You can also do some art with it.
124
382295
2188
Você também pode fazer arte.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
Este vídeo me foi enviado por uma
estudante de design em Yale.
estudante de design em Yale.
Ela queria ver se há alguma diferença
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
na forma como seus
colegas de classe se movem.
colegas de classe se movem.
06:41
in the way her classmates move.
127
389638
1522
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
Ela fez com que todos ficassem parados,
então ampliou seus movimentos.
então ampliou seus movimentos.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
É como ver fotografias ganharem vida.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
E a coisa legal nesses exemplos
06:53
is that we had nothing to do with them.
131
401180
2296
é que não tivemos nada a ver com eles.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
Nós apenas provemos essa nova ferramenta,
uma nova maneira de olhar o mundo,
uma nova maneira de olhar o mundo,
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
e então as pessoas acham outras formas
interessantes e criativas de usá-la.
interessantes e criativas de usá-la.
07:04
But we didn't stop there.
134
412462
1764
Mas não paramos por aí.
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
Esta ferramenta não só nos permite
ver o mundo de uma nova maneira,
ver o mundo de uma nova maneira,
07:09
it also redefines what we can do
136
417477
2368
ela também redefine e expande
os limites do que podemos fazer
os limites do que podemos fazer
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
com nossas câmeras.
Então, como cientistas,
começamos a nos perguntar,
começamos a nos perguntar,
07:15
So as scientists, we started wondering,
138
423026
2229
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
quais outros tipos de fenômenos físicos
produzem pequenos movimentos
produzem pequenos movimentos
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
que podemos usar
nossas câmeras para medir?
nossas câmeras para medir?
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
Um desses fenômenos no qual recentemente
nos concentramos é o som.
nos concentramos é o som.
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
O som, como sabemos,
é basicamente mudanças
é basicamente mudanças
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
de pressão se propagam no ar.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
Essas ondas de pressão batem em objetos
e criam pequenas vibrações neles,
e criam pequenas vibrações neles,
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
é assim que ouvimos e gravamos o som.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
Mas acontece que o som
também produz movimentos visuais.
também produz movimentos visuais.
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
Esses movimentos
não são visíveis para nós,
não são visíveis para nós,
mas são visíveis para uma câmera
com o tratamento correto.
com o tratamento correto.
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
Então, aqui estão dois exemplos.
07:47
So here are two examples.
149
455887
1573
Esse sou eu demonstrando
minhas grandes habilidades de canto.
minhas grandes habilidades de canto.
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
07:53
(Singing)
151
461064
1634
(Cantando)
07:54
(Laughter)
152
462698
1436
(Risos)
Fiz um vídeo em câmera lenta da minha
garganta enquanto cantava.
garganta enquanto cantava.
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
07:59
Again, if you stare at that video,
154
467120
1764
Novamente, se vocês olharem para o vídeo,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
não há muito que conseguirão ver,
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
mas ao ampliarmos os movimentos 100 vezes,
vemos todos os movimentos e ondulações
vemos todos os movimentos e ondulações
do pescoço que estão envolvidos
na produção do som.
na produção do som.
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
08:10
That signal is there in that video.
158
478566
2740
Esse sinal está alí naquele vídeo.
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
Também sabemos que cantores
podem quebrar uma taça
podem quebrar uma taça
se atingirem a nota correta.
08:15
if they hit the correct note.
160
483976
1463
08:17
So here, we're going to play a note
161
485439
1765
Aqui, vamos tocar uma nota
que está em ressonância
com a frequência da taça
com a frequência da taça
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
08:21
through a loudspeaker that's next to it.
163
489730
2048
através de um alto-falante
que está ao lado dela.
que está ao lado dela.
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
Uma vez que tocamos essa nota
e ampliamos os movimentos 250 vezes,
e ampliamos os movimentos 250 vezes,
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
podemos ver muito claramente
como o vidro vibra
como o vidro vibra
08:30
and resonates in response to the sound.
166
498535
3570
e ressoa em resposta ao som.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Não é algo que vemos todos os dias.
Mas isso nos fez pensar.
Isso nos deu uma ideia maluca.
Isso nos deu uma ideia maluca.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
Será que podemos inverter este processo
e recuperar o som a partir do vídeo
e recuperar o som a partir do vídeo
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
através da análise de minúsculas vibrações
que as ondas sonoras criam em objetos,
que as ondas sonoras criam em objetos,
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
e, essencialmente, convertê-las
de volta para os sons que as produziram?
de volta para os sons que as produziram?
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
Desta forma, podemos transformar
objetos do cotidiano em microfones.
objetos do cotidiano em microfones.
08:58
So that's exactly what we did.
173
526931
2232
Então, isso é exatamente o que fizemos.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
Aqui está um saco de batatas vazio
que estava em uma mesa,
que estava em uma mesa,
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
e vamos transformar esse saco
de batatas em um microfone
de batatas em um microfone
filmando-o com uma câmera de vídeo
09:06
by filming it with a video camera
176
534804
1591
e analisando os mínimos movimentos
que as ondas sonoras criam nele.
que as ondas sonoras criam nele.
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
Aqui está o som que tocamos no quarto.
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
(Música: "Mary Had a Little Lamb")
E este é um vídeo em alta velocidade
desse saco de batatas fritas.
desse saco de batatas fritas.
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
09:25
Again it's playing.
181
553032
1274
A música está tocando.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
Não há como vocês verem
nada acontecendo nesse vídeo
nada acontecendo nesse vídeo
somente olhando para ele,
09:29
just by looking at it,
183
557648
1058
mas aqui está o som que conseguimos
recuperar apenas por meio da análise
recuperar apenas por meio da análise
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
09:33
the tiny motions in that video.
185
561690
2183
dos minúsculos movimentos no vídeo.
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
(Música: "Mary Had a Little Lamb")
Eu chamo isso de... Obrigado.
09:52
I call it -- Thank you.
187
580985
1486
09:54
(Applause)
188
582471
5225
(Aplausos)
Eu chamo isso de microfone visual.
10:01
I call it the visual microphone.
189
589878
2345
Nós realmente extraímos sinais de áudio
a partir de sinais de vídeo.
a partir de sinais de vídeo.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
E só para dar-lhes um sentido
da escala dos movimentos aqui,
da escala dos movimentos aqui,
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
um som bem alto fará com que o saco
de batatas se mova menos de um micrômetro.
de batatas se mova menos de um micrômetro.
Isso é um milésimo de um milímetro.
10:16
That's one thousandth of a millimeter.
193
604135
2739
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
Esses são os movimentos minúsculos
que agora somos capazes de obter
que agora somos capazes de obter
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
apenas observando como a luz
rebate em objetos
rebate em objetos
10:25
and gets recorded by our cameras.
196
613678
2136
e é gravada por nossas câmeras.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
Podemos recuperar sons a partir
de outros objetos, tais como plantas.
de outros objetos, tais como plantas.
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
(Música: "Mary Had a Little Lamb")
10:39
And we can recover speech as well.
199
627214
1997
E podemos recuperar falas também.
10:41
So here's a person speaking in a room.
200
629211
2577
Então aqui está uma pessoa
falando em um quarto.
falando em um quarto.
Voz (em inglês): Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
Michael Rubinstein: E aqui está
a fala recuperada
a fala recuperada
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
a partir desse mesmo vídeo
do batatas fritas.
do batatas fritas.
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
Voz (em inglês): Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
MR: Usamos "Mary Had a Little Lamb"
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
11:10
because those are said to be
the first words
the first words
208
658290
2123
porque acredita-se que foram
as primeiras palavras
as primeiras palavras
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
que Thomas Edison falou
em seu fonógrafo em 1877.
em seu fonógrafo em 1877.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
Ele foi um dos primeiros
gravadores de som na história.
gravadores de som na história.
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
Ele basicamente direcionava o som
para um diafragma
para um diafragma
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
que vibrava uma agulha que, basicamente,
gravava o som em papel alumínio
gravava o som em papel alumínio
enrolado em torno de um cilindro.
11:27
that was wrapped around the cylinder.
213
675208
2275
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
Aqui está uma demonstração de gravação e
reprodução de som no fonógrafo de Edison:
reprodução de som no fonógrafo de Edison:
(Video) Voz: Testando,
testando, um, dois, três.
testando, um, dois, três.
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
11:45
Testing, testing, one two three.
218
693528
2740
Testando, testando, um, dois, três.
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
11:57
MR: And now, 137 years later,
221
705648
4017
MR: E agora, 137 anos depois,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
somos capazes de obter som
praticamente com a mesma qualidade
praticamente com a mesma qualidade
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
apenas observando objetos
vibrando ao som com câmeras,
vibrando ao som com câmeras,
12:09
and we can even do that when the camera
224
717831
1934
e podemos fazer isso mesmo com a câmera
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
a 4,5 metros de distância do objeto,
e atrás de um vidro à prova de som.
e atrás de um vidro à prova de som.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Este é o som que conseguimos
recuperar nesse caso.
recuperar nesse caso.
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
Voz: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
MR: E, claro, vigilância é a primeira
aplicação que vem em mente.
aplicação que vem em mente.
12:33
(Laughter)
230
741034
2995
(Risos)
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
Mas isso pode ser realmente útil
para outras coisas também.
para outras coisas também.
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
Talvez no futuro, sejamos capazes
para usá-lo, por exemplo,
para usá-lo, por exemplo,
12:42
to recover sound across space,
233
750925
2252
para recuperar som através do espaço,
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
porque o som não pode viajar
no espaço, mas a luz pode.
no espaço, mas a luz pode.
12:48
We've only just begun exploring
235
756753
2404
Nós apenas começamos a explorar
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
outros usos possíveis
para esta nova tecnologia.
para esta nova tecnologia.
Ela nos permite ver processos físicos
que sabemos que estão lá
que sabemos que estão lá
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
mas que nunca pudemos ver
com nossos próprios olhos até agora.
com nossos próprios olhos até agora.
13:00
This is our team.
239
768564
1204
Esta é a nossa equipe.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
Tudo o que eu mostrei hoje
é o resultado de uma colaboração
é o resultado de uma colaboração
com este incrível grupo
de pessoas que vocês veem aqui,
de pessoas que vocês veem aqui,
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
e encorajo e convido vocês
a conhecerem nosso site,
a conhecerem nosso site,
13:10
try it out yourself,
243
778005
1446
experimentá-lo vocês mesmos,
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
e se juntarem a nós na exploração
desse mundo de pequenos movimentos.
desse mundo de pequenos movimentos.
13:14
Thank you.
245
782423
1625
Obrigado.
13:16
(Applause)
246
784048
1254
(Aplausos)
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com