TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Uma nova tecnologia de vídeo que revela as propriedades ocultas de um objeto.
Filmed:
Readability: 4.3
1,482,525 views
Movimentos subtis estão sempre a ocorrer à nossa volta, incluindo pequenas vibrações provocadas pelo som. Uma nova tecnologia mostra que podemos agarrar nessas vibrações e recrear o som e as conversas a partir dum vídeo dum objeto aparentemente imóvel. Abe Davis ainda dá mais um passo em frente: Observem-no a mostrar um "software" que permite interagir com essas propriedades ocultas, a partir de um simples vídeo.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Quase todos nós pensamos no movimento
como uma coisa muito visual.
como uma coisa muito visual.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Se eu passear por este palco,
ou gesticular enquanto falo,
ou gesticular enquanto falo,
00:22
that motion is something that you can see.
2
10977
2261
esses movimentos são uma coisa
que vocês veem.
que vocês veem.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Mas há um mundo de movimentos importantes
que são demasiado subtis
para os olhos humanos.
para os olhos humanos.
00:31
and over the past few years,
4
19737
2041
Nos últimos anos,
00:33
we've started to find that cameras
5
21778
1997
começámos a descobrir que as câmaras
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
veem esses movimentos
que os nossos olhos não conseguem ver.
que os nossos olhos não conseguem ver.
00:40
So let me show you what I mean.
7
28305
1551
Vou mostrar-vos o que quero dizer.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Aqui à esquerda, veem um vídeo
do pulso duma pessoa
do pulso duma pessoa
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
e à direita, veem um vídeo
de um bebé a dormir.
de um bebé a dormir.
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
Se eu não vos tivesse dito
que isto eram vídeos,
que isto eram vídeos,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
vocês podiam julgar que estavam a olhar
para duas fotos normais
para duas fotos normais
00:56
because in both cases,
12
44393
1672
porque, em ambos os casos,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
estes vídeos parecem estar
totalmente imóveis.
totalmente imóveis.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Na realidade, há aqui
muito movimento subtil.
muito movimento subtil.
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
Se tocassem neste pulso à esquerda,
01:08
you would feel a pulse,
16
56452
1996
sentiriam a pulsação,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
se agarrassem no bebé da direita,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
sentiriam o erguer e descer do peito dele
01:15
as she took each breath.
19
63324
1390
quando respira.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Esses movimentos têm muito significado
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
mas normalmente são demasiado subtis
para os podermos ver.
para os podermos ver.
01:24
so instead, we have to observe them
22
72681
2276
Em vez disso, temos que os observar
01:26
through direct contact, through touch.
23
74957
2900
através de contacto direto,
através do tato.
através do tato.
01:30
But a few years ago,
24
78997
1265
Mas há uns anos,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
os meus colegas no MIT
desenvolveram uma coisa
desenvolveram uma coisa
a que chamaram um microscópio do movimento
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
que é um "software" que encontra
esses movimentos subtis no vídeo
esses movimentos subtis no vídeo
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
e os amplifica até eles ficarem
suficientemente grandes para os vermos.
suficientemente grandes para os vermos.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Assim, se eu usar esse "software"
no vídeo da esquerda,
no vídeo da esquerda,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
passamos a ver a pulsação deste pulso,
01:52
and if we were to count that pulse,
30
100149
1695
e se contarmos a pulsação
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
podemos deduzir
o ritmo cardíaco desta pessoa.
o ritmo cardíaco desta pessoa.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Se eu usar o mesmo "software"
no vídeo da direita,
no vídeo da direita,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
passamos a ver cada inspiração
que o bebé faz
que o bebé faz
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
e podemos usar isso
como uma forma isenta de contacto
como uma forma isenta de contacto
para vigiar a sua respiração.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Esta tecnologia é muito poderosa
porque agarra nestes fenómenos
porque agarra nestes fenómenos
que normalmente só conseguimos
perceber através do tato
perceber através do tato
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
e faz com que passemos a visualizá-los
de forma não invasiva.
de forma não invasiva.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Há uns anos, comecei a trabalhar
com as pessoas que criaram este "software"
com as pessoas que criaram este "software"
02:25
and we decided to pursue a crazy idea.
39
133515
3367
e decidimos avançar com uma ideia maluca.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Pensámos que era fixe
poder usar um "software"
poder usar um "software"
02:31
to visualize tiny motions like this,
41
139575
3135
para visualizar pequenos movimentos
como estes,
como estes,
e até podíamos pensar nisso como uma forma
de expandir o nosso sentido do tato.
de expandir o nosso sentido do tato.
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
E se pudéssemos fazer o mesmo
com a nossa capacidade para ouvir?
com a nossa capacidade para ouvir?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
E se usássemos o vídeo para captar
as vibrações dos sons,
as vibrações dos sons,
02:49
which are just another kind of motion,
45
157173
2827
que afinal são um outro tipo de movimento,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
e transformar tudo o que vemos
num microfone?
num microfone?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Esta é uma ideia um pouco extravagante
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
por isso vou tentar pô-la em perspetiva.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Os microfones tradicionais funcionam
transformando o movimento
transformando o movimento
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
de um diafragma interior
num sinal elétrico,
num sinal elétrico,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
e esse diafragma está concebido
para se mover prontamente com os sons
para se mover prontamente com os sons
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
de forma a que os movimentos podem ser
gravados e interpretados como áudio.
gravados e interpretados como áudio.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Ma o som faz com que
todos os objetos vibrem.
todos os objetos vibrem.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Mas essas vibrações são normalmente
demasiado subtis e demasiado rápidas
demasiado subtis e demasiado rápidas
para nós as podermos ver.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
E se as gravássemos
com uma câmara de alta velocidade
com uma câmara de alta velocidade
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
e depois usássemos o "software"
para extrair pequenos movimentos
para extrair pequenos movimentos
03:34
from our high-speed video,
57
202197
2090
do nosso vídeo de alta velocidade,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
e analisássemos esses movimentos
para ver que sons os tinham criado?
para ver que sons os tinham criado?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Isso permitir-nos-ia
transformar objetos visíveis
transformar objetos visíveis
em microfones visuais à distância.
03:49
And so we tried this out,
60
217080
2183
Então, foi o que tentámos fazer.
03:51
and here's one of our experiments,
61
219263
1927
Esta é uma das nossas experiências,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
em que agarrámos neste vaso
com uma planta que estão a ver à direita
com uma planta que estão a ver à direita
03:56
and we filmed it with a high-speed camera
63
224139
2438
e filmámos com uma câmara
de alta velocidade
de alta velocidade
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
enquanto um altifalante ali ao pé
transmitia este som.
transmitia este som.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(Música: "Maria tinha um cordeirinho")
04:11
And so here's the video that we recorded,
66
239820
2824
E este é o vídeo que gravámos.
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
Gravámos a uma velocidade
de milhares de imagens por segundo.
de milhares de imagens por segundo.
04:18
but even if you look very closely,
68
246568
2322
Mas, mesmo que observemos muito de perto,
04:20
all you'll see are some leaves
69
248890
1951
só vemos algumas folhas
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
que estão ali paradas sem fazer nada,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
porque o nosso som limitou-se a fazer
mover estas folhas apenas um micrómetro,
mover estas folhas apenas um micrómetro,
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
ou seja uma décima milésima
de um centímetro,
de um centímetro,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
o que corresponde mais ou menos
entre um centésimo e um milésimo
entre um centésimo e um milésimo
04:39
of a pixel in this image.
74
267535
2299
de um pixel nesta imagem.
04:41
So you can squint all you want,
75
269881
2887
Por isso, podem piscar os olhos
quanto quiserem,
quanto quiserem,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
mas um movimento tão pequeno
é praticamente invisível.
é praticamente invisível.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Mas acontece que uma coisa
pode ser invisível à nossa perceção
pode ser invisível à nossa perceção
04:53
and still be numerically significant,
78
281824
2809
e mesmo assim ser
numericamente significativo,
numericamente significativo,
04:56
because with the right algorithms,
79
284633
2002
porque com os algoritmos adequados
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
podemos agarrar neste vídeo silencioso,
aparentemente parado,
aparentemente parado,
05:02
and we can recover this sound.
81
290322
1527
e podemos recuperar esse som.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Música: "Maria tinha um cordeirinho")
05:12
(Applause)
83
300074
5828
(Aplausos)
05:22
So how is this possible?
84
310058
1939
Como é que isto é possível?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Como é que podemos obter tantas informações
a partir de tão pouco movimento?
a partir de tão pouco movimento?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Digamos que estas folhas
se movem apenas um micrómetro,
se movem apenas um micrómetro,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
e digamos que movimenta a nossa imagem
apenas numa milésima de pixel
apenas numa milésima de pixel
05:39
That may not seem like much,
88
327269
2572
Pode não parecer muito,
05:41
but a single frame of video
89
329841
1996
mas uma única imagem do vídeo
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
pode conter centenas de milhares de pixéis.
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
Por isso, se combinarmos
todos os pequenos movimentos
todos os pequenos movimentos
que vemos em toda a imagem,
05:50
from across that entire image,
92
338548
2298
05:52
then suddenly a thousandth of a pixel
93
340846
2623
um milésimo de um pixel
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
pode, de repente, tornar-se
numa coisa significativa.
numa coisa significativa.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Aqui para nós, ficámos malucos
quando descobrimos isto.
quando descobrimos isto.
06:02
(Laughter)
96
350505
2320
(Risos)
06:04
But even with the right algorithm,
97
352825
3253
Mas, mesmo com o algoritmo adequado,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
ainda nos faltava uma peça
muito importante do "puzzle".
muito importante do "puzzle".
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Há muitos fatores que afetam
quando e como funciona esta técnica.
quando e como funciona esta técnica.
06:15
this technique will work.
100
363299
1997
06:17
There's the object and how far away it is;
101
365296
3204
Há o objeto e a distância a que ele está.
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
Há a câmara e as lentes que usamos.
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
A quantidade de luz que incide no objeto
e a intensidade do som.
e a intensidade do som.
06:27
And even with the right algorithm,
104
375945
3375
E, mesmo com o algoritmo adequado,
tivemos que ter muito cuidado
com as nossas primeiras experiências,
com as nossas primeiras experiências,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
porque, se considerássemos erradamente
qualquer destes fatores,
qualquer destes fatores,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
não tínhamos forma de saber
qual era o problema.
qual era o problema.
06:39
We would just get noise back.
108
387470
2647
Só obtínhamos ruído.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Portanto, muitas das nossas
primeiras experiências foram assim.
primeiras experiências foram assim.
06:45
And so here I am,
110
393437
2206
Aqui estou eu.
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
Em baixo à esquerda, podem ver
a nossa câmara de alta velocidade,
a nossa câmara de alta velocidade,
que está apontada
para um pacote de batatas fritas.
para um pacote de batatas fritas.
06:51
which is pointed at a bag of chips,
112
399683
2183
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
Está tudo iluminado
por aquelas lâmpadas brilhantes.
por aquelas lâmpadas brilhantes.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Como já disse, temos que ter muito cuidado
nestas primeiras experiências,
nestas primeiras experiências,
07:01
so this is how it went down.
115
409180
2508
por isso, foi assim
que as coisas se passaram.
que as coisas se passaram.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Vídeo): Três, dois, um... Começar.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
(Aos gritos): Mary tinha um carneirinho!
Carneirinho! Carneirinho!
07:12
(Laughter)
118
420836
4500
(Risos)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
Esta experiência parece mesmo ridícula.
07:20
(Laughter)
120
428150
1788
(Risos)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Estou para aqui a gritar
para um pacote de batatas...
para um pacote de batatas...
07:24
(Laughter) --
122
432283
1551
(Risos)
07:25
and we're blasting it with so much light,
123
433834
2117
... e está tudo iluminado com tanta luz
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
que literalmente derretemos o primeiro
pacote de batatas nesta experiência.
pacote de batatas nesta experiência.
(Risos)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Mas, por mais ridícula
que esta experiência pareça,
que esta experiência pareça,
07:35
it was actually really important,
126
443799
1788
foi de facto muito importante,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
porque pudemos recuperar este som.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Áudio) Mary tinha um cordeirinho!
Cordeirinho! Cordeirinho!
Cordeirinho! Cordeirinho!
07:45
(Applause)
129
453225
4088
(Aplausos)
07:49
AD: And this was really significant,
130
457313
1881
Isto foi muito significativo
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
porque foi a primeira vez
que recuperámos fala humana inteligível
que recuperámos fala humana inteligível
07:55
from silent video of an object.
132
463424
2341
a partir do vídeo silencioso de um objeto.
07:57
And so it gave us this point of reference,
133
465765
2391
Isso deu-nos este ponto de referência
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
e a pouco e pouco pudemos
começar a modificar a experiência,
começar a modificar a experiência,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
usando objetos diferentes,
ou afastando mais o objeto,
ou afastando mais o objeto,
08:07
using less light or quieter sounds.
136
475911
2770
usando menos luz ou sons mais abafados.
08:11
And we analyzed all of these experiments
137
479887
2874
Analisámos todas essas experiências
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
até percebermos bem
os limites da nossa técnica,
os limites da nossa técnica,
porque, depois de
percebermos esses limites,
percebermos esses limites,
08:18
because once we understood those limits,
139
486383
1950
08:20
we could figure out how to push them.
140
488333
2346
podíamos pensar em como alargá-los.
08:22
And that led to experiments like this one,
141
490679
3181
Isso levou-nos a experiências como esta,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
em que, de novo, eu vou falar
para um pacote de batatas
para um pacote de batatas
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
mas, desta vez, afastámos a câmara
cerca de 5 metros,
cerca de 5 metros,
08:33
outside, behind a soundproof window,
144
501429
2833
atrás duma vidraça à prova de som,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
e está tudo iluminado
apenas por luz natural.
apenas por luz natural.
08:40
And so here's the video that we captured.
146
508529
2155
Este é o vídeo do que captámos.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Isto é como as coisas soaram, no interior,
junto do pacote de batatas.
junto do pacote de batatas.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Áudio) Mary tinha um carneirinho!
Branco como a neve.
Branco como a neve.
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
Sempre que a Maria vai,
o carneirinho vai também.
o carneirinho vai também.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
Isto foi o que conseguimos recuperar
a partir do nosso vídeo silencioso
a partir do nosso vídeo silencioso
captado no exterior
por detrás daquele vidro.
por detrás daquele vidro.
09:03
captured outside behind that window.
151
531683
2345
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Áudio) Mary tinha um carneirinho!
Branco como a neve.
Branco como a neve.
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
Sempre que a Maria vai,
o carneirinho vai também.
o carneirinho vai também.
09:15
(Applause)
154
543920
6501
(Aplausos)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
Também há outras formas
de podermos alargar estes limites.
de podermos alargar estes limites.
Esta é uma experiência mais tranquila
09:25
So here's a quieter experiment
156
553963
1798
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
em que filmámos uns auscultadores
ligados a um computador portátil.
ligados a um computador portátil.
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
Neste caso, o nosso objetivo
era recuperar a música
era recuperar a música
que estava a tocar nesse computador
09:35
from just silent video
159
563981
2299
a partir de um vídeo silencioso
09:38
of these two little plastic earphones,
160
566280
2507
destes dois pequenos
auscultadores de plástico.
auscultadores de plástico.
09:40
and we were able to do this so well
161
568787
2183
Conseguimos fazer isto tão bem feito
09:42
that I could even Shazam our results.
162
570970
2461
que até pude dizer Shazam aos resultados.
09:45
(Laughter)
163
573431
2411
(Risos)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Áudio): (Música:
"Under Pressure" dos Queen)
"Under Pressure" dos Queen)
10:01
(Applause)
165
589615
4969
(Aplausos)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Também podemos ir mais longe,
mudando o "hardware" que usamos.
mudando o "hardware" que usamos.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
As experiências que vos mostrei até aqui
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
foram feitas com uma câmara
de alta velocidade,
de alta velocidade,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
que pode registar um vídeo
cerca de 100 vezes mais depressa
cerca de 100 vezes mais depressa
10:18
than most cell phones,
170
606797
1927
do que a maior parte dos telemóveis.
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
Mas também arranjámos forma
de usar esta técnica
de usar esta técnica
10:23
with more regular cameras,
172
611533
2230
com câmaras mais vulgares.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
Fazemos isso tirando partido
do que se chama "rolling shutter".
do que se chama "rolling shutter".
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
A maior parte das câmaras regista
imagens seguidas, uma a uma.
imagens seguidas, uma a uma.
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
Por isso, se um objeto se move
durante a gravação duma mesma imagem,
durante a gravação duma mesma imagem,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
há um pequeno compasso de atraso
entre cada imagem,
entre cada imagem,
10:43
and this causes slight artifacts
177
631061
3157
o que causa pequenas distorções
10:46
that get coded into each frame of a video.
178
634218
3483
que ficam registadas
em cada imagem do vídeo.
em cada imagem do vídeo.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Descobrimos que,
analisando essas distorções,
analisando essas distorções,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
podemos recuperar o som, usando
uma versão modificada do nosso algoritmo.
uma versão modificada do nosso algoritmo.
10:58
So here's an experiment we did
181
646122
1912
Esta foi uma experiência que fizemos
11:00
where we filmed a bag of candy
182
648034
1695
em que filmámos um pacote de rebuçados
11:01
while a nearby loudspeaker played
183
649729
1741
junto dum altifalante que tocava
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
a mesma "Maria tinha um carneirinho"
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
mas, desta vez, usámos uma câmara vulgar
comprada no supermercado.
comprada no supermercado.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Vou passar já o som que recuperámos.
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
Desta vez, vai soar distorcido,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
mas oiçam com atenção
e vejam se reconhecem a música.
e vejam se reconhecem a música.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Áudio): (Música:
Mary tinha um cordeirinho.)
Mary tinha um cordeirinho.)
11:37
And so, again, that sounds distorted,
190
685527
3465
De novo, esse som distorcido,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
mas o que é deveras espantoso nisto
é que conseguimos fazê-lo
é que conseguimos fazê-lo
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
com uma coisa que vocês podem usar
11:48
and pick up at a Best Buy.
193
696004
1444
e comprar numa Loja de Audiovisuais.
11:51
So at this point,
194
699122
1363
Nesta altura, há muitas pessoas
que olham para isto
que olham para isto
11:52
a lot of people see this work,
195
700485
1974
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
e pensam logo na vigilância.
(Risos)
11:57
And to be fair,
197
705872
2415
Realmente,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
não é difícil imaginar como é que podemos
usar esta tecnologia para espiar alguém.
usar esta tecnologia para espiar alguém.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Mas lembrem-se que já há
imensa tecnologia muito sofisticada
imensa tecnologia muito sofisticada
12:08
out there for surveillance.
200
716367
1579
para a vigilância.
12:09
In fact, people have been using lasers
201
717946
2090
Na verdade, há décadas
que se usam os raios "laser"
que se usam os raios "laser"
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
para escutar objetos à distância.
12:15
But what's really new here,
203
723978
2025
O que isto tem de novo
12:18
what's really different,
204
726003
1440
o que é mesmo diferente,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
é que agora temos uma forma de representar
as vibrações dum objeto,
as vibrações dum objeto,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
que nos dá novas lentes
através das quais vemos o mundo,
através das quais vemos o mundo,
12:27
and we can use that lens
207
735151
1510
e podemos usar essas lentes
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
para ver as forças, como o som,
que fazem vibrar um objeto,
que fazem vibrar um objeto,
12:33
but also about the object itself.
209
741560
2288
mas também o próprio objeto.
12:36
And so I want to take a step back
210
744975
1693
Vou recuar um pouco
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
e pensar como é que podíamos
alterar a forma de usar o vídeo,
alterar a forma de usar o vídeo,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
porque habitualmente usamos
o vídeo para observar as coisas
o vídeo para observar as coisas
12:46
and I've just shown you how we can use it
213
754470
2322
e eu acabei de mostrar como podemos usá-lo
12:48
to listen to things.
214
756792
1857
para escutar as coisas.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Mas há outra importante forma
de conhecermos o mundo:
de conhecermos o mundo:
12:54
that's by interacting with it.
216
762620
2275
é interagindo com ele.
12:56
We push and pull and poke and prod things.
217
764895
3111
Nós pressionamos, empurramos
e espicaçamos as coisas.
e espicaçamos as coisas.
13:00
We shake things and see what happens.
218
768006
3181
Abanamos as coisas e vemos o que acontece.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
É uma coisa que o vídeo
ainda não nos deixa fazer,
ainda não nos deixa fazer,
13:07
at least not traditionally.
220
775460
2136
pelo menos habitualmente.
13:09
So I want to show you some new work,
221
777596
1950
Vou mostrar-vos um trabalho novo
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
baseado numa ideia
que eu tive há uns meses.
que eu tive há uns meses.
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
É a primeira vez
que mostro isto em público.
que mostro isto em público.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
A ideia básica é que vamos usar
as vibrações num vídeo
as vibrações num vídeo
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
para captar objetos duma forma
que nos permite interagir com eles
que nos permite interagir com eles
13:27
and see how they react to us.
226
795358
1974
e ver como é que eles reagem.
13:31
So here's an object,
227
799120
1764
Isto é um objeto.
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
Neste caso, é um boneco de arame
com a forma dum ser humano.
com a forma dum ser humano.
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
Vamos filmar este objeto
com uma câmara normal.
com uma câmara normal.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Esta câmara não tem nada de especial.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Na verdade, já fiz isto
com o meu telemóvel.
com o meu telemóvel.
13:44
But we do want to see the object vibrate,
232
812889
2252
Mas queremos ver o objeto a vibrar,
portanto, para que isso aconteça,
13:47
so to make that happen,
233
815141
1133
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
vamos bater na superfície
onde ele está poisado
onde ele está poisado
13:51
while we record this video.
235
819620
2138
enquanto gravamos este vídeo.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Já está: são cinco segundos
de gravação normal,
de gravação normal,
14:03
while we bang on this surface,
237
831069
2136
enquanto batemos na superfície.
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
Vamos usar as vibrações deste vídeo
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
para conhecer as propriedades
estruturais e materiais do nosso objeto.
estruturais e materiais do nosso objeto.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
Vamos usar essas informações
para criar uma coisa nova e interativa.
para criar uma coisa nova e interativa.
14:24
And so here's what we've created.
241
852866
2653
Isto é o que criámos.
14:27
And it looks like a regular image,
242
855519
2229
Parece uma imagem normal,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
mas isto não é uma imagem, nem é um vídeo
14:32
because now I can take my mouse
244
860859
2368
porque agora eu posso agarrar no rato
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
e posso começar a interagir com o objeto.
14:44
And so what you see here
246
872936
2357
O que estão a ver aqui
14:47
is a simulation of how this object
247
875389
2226
é uma simulação de como
este objeto responde a novas forças
este objeto responde a novas forças
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
que nunca tínhamos visto.
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
Criámos isto a partir de apenas
cinco segundos dum vídeo normal.
cinco segundos dum vídeo normal.
14:59
(Applause)
250
887249
4715
(Aplausos)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Isto é de facto uma forma muito poderosa
de olhar para o mundo
de olhar para o mundo
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
porque nos permite prever
como o objetos reagem a novas situações.
15:15
to new situations,
253
903620
1823
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
Podemos imaginar, por exemplo,
olhar para uma ponte antiga
olhar para uma ponte antiga
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
e pensar o que pode acontecer,
se essa ponte aguentará
o peso do meu carro a atravessá-la.
o peso do meu carro a atravessá-la.
15:24
if I were to drive my car across it.
256
912443
2833
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Isso é uma pergunta que provavelmente
todos querem ver respondida
todos querem ver respondida
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
antes de começar a atravessar essa ponte.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Claro que há limitações para esta técnica,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
tal como havia para o microfone visual,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
mas verificámos que funciona
em muitas situações
em muitas situações
15:42
that you might not expect,
262
930903
1875
em que não estávamos à espera,
15:44
especially if you give it longer videos.
263
932778
2768
especialmente se obtivermos
vídeos mais longos.
vídeos mais longos.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Por exemplo, este é um vídeo que eu gravei
15:50
of a bush outside of my apartment,
265
938054
2299
de um arbusto à porta do meu apartamento.
15:52
and I didn't do anything to this bush,
266
940353
3088
Não fiz nada a este arbusto,
15:55
but by capturing a minute-long video,
267
943441
2705
mas gravei um vídeo
com a duração de um minuto.
com a duração de um minuto.
15:58
a gentle breeze caused enough vibrations
268
946146
3378
Uma leve brisa provocou
vibrações suficientes
vibrações suficientes
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
para eu poder criar esta simulação.
16:07
(Applause)
270
955270
6142
(Aplausos)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Podemos imaginar dar este vídeo
a um realizador de cinema
a um realizador de cinema
16:16
and letting him control, say,
272
964384
1719
e ele poder controlar, por exemplo,
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
a força e a direção do vento numa cena,
depois de ela ter sido gravada.
depois de ela ter sido gravada.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Ou, neste caso, apontámos
a câmara para uma cortina pendurada.
a câmara para uma cortina pendurada.
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Não conseguimos ver
qualquer movimento neste vídeo
qualquer movimento neste vídeo
16:33
but by recording a two-minute-long video,
276
981474
2925
mas, gravando o vídeo
com a duração de dois minutos,
com a duração de dois minutos,
16:36
natural air currents in this room
277
984399
2438
as correntes de ar naturais nesta sala
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
criaram movimentos
e vibrações subtis, impercetíveis,
e vibrações subtis, impercetíveis,
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
suficientes para sabermos
criar esta simulação.
criar esta simulação.
16:48
And ironically,
280
996243
2366
Ironicamente,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
estamos fartos de ter
este tipo de interatividade
este tipo de interatividade
16:53
when it comes to virtual objects,
282
1001697
2647
no que refere a objetos virtuais,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
no que respeita a videojogos
e modelos a 3D,
e modelos a 3D,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
mas ser capaz de captar estas informações
a partir de objetos reais do mundo real
a partir de objetos reais do mundo real
17:04
using just simple, regular video,
285
1012045
2817
usando apenas um vídeo simples, normal,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
é uma coisa totalmente nova
que tem imenso potencial.
que tem imenso potencial.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Estas são as pessoas espantosas
que trabalharam comigo nestes projetos.
que trabalharam comigo nestes projetos.
17:16
(Applause)
288
1024057
5596
(Aplausos)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
O que vos mostrei hoje é apenas o início.
17:27
We've just started to scratch the surface
290
1035876
2113
Só começámos a arranhar a superfície
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
do que podemos fazer
com este tipo de imagens
com este tipo de imagens
17:32
because it gives us a new way
292
1040961
2286
porque nos dão uma nova forma
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
de captar o nosso meio envolvente
com uma tecnologia comum, acessível.
com uma tecnologia comum, acessível.
17:40
And so looking to the future,
294
1048066
1929
Olhando para o futuro,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
vai ser uma coisa excitante para explorar
17:44
what this can tell us about the world.
296
1052032
1856
o que isto nos pode revelar sobre o mundo.
17:46
Thank you.
297
1054381
1204
Obrigado.
17:47
(Applause)
298
1055610
6107
(Aplausos)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com