17:58
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Uma nova tecnologia de vídeo que revela as propriedades ocultas de um objeto.

Filmed:

Movimentos subtis estão sempre a ocorrer à nossa volta, incluindo pequenas vibrações provocadas pelo som. Uma nova tecnologia mostra que podemos agarrar nessas vibrações e recrear o som e as conversas a partir dum vídeo dum objeto aparentemente imóvel. Abe Davis ainda dá mais um passo em frente: Observem-no a mostrar um "software" que permite interagir com essas propriedades ocultas, a partir de um simples vídeo.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Quase todos nós pensamos no movimento
como uma coisa muito visual.
00:13
Most of us think of motion
as a very visual thing.
00:17
If I walk across this stage
or gesture with my hands while I speak,
Se eu passear por este palco,
ou gesticular enquanto falo,
esses movimentos são uma coisa
que vocês veem.
00:22
that motion is something that you can see.
00:26
But there's a world of important motion
that's too subtle for the human eye,
Mas há um mundo de movimentos importantes
que são demasiado subtis
para os olhos humanos.
00:31
and over the past few years,
Nos últimos anos,
começámos a descobrir que as câmaras
00:33
we've started to find that cameras
00:35
can often see this motion
even when humans can't.
veem esses movimentos
que os nossos olhos não conseguem ver.
00:40
So let me show you what I mean.
Vou mostrar-vos o que quero dizer.
Aqui à esquerda, veem um vídeo
do pulso duma pessoa
00:42
On the left here, you see video
of a person's wrist,
e à direita, veem um vídeo
de um bebé a dormir.
00:46
and on the right, you see video
of a sleeping infant,
00:49
but if I didn't tell you
that these were videos,
Se eu não vos tivesse dito
que isto eram vídeos,
00:52
you might assume that you were looking
at two regular images,
vocês podiam julgar que estavam a olhar
para duas fotos normais
porque, em ambos os casos,
00:56
because in both cases,
estes vídeos parecem estar
totalmente imóveis.
00:58
these videos appear to be
almost completely still.
01:02
But there's actually a lot
of subtle motion going on here,
Na realidade, há aqui
muito movimento subtil.
Se tocassem neste pulso à esquerda,
01:06
and if you were to touch
the wrist on the left,
sentiriam a pulsação,
01:08
you would feel a pulse,
se agarrassem no bebé da direita,
01:10
and if you were to hold
the infant on the right,
sentiriam o erguer e descer do peito dele
01:12
you would feel the rise
and fall of her chest
quando respira.
01:15
as she took each breath.
Esses movimentos têm muito significado
01:17
And these motions carry
a lot of significance,
mas normalmente são demasiado subtis
para os podermos ver.
01:21
but they're usually
too subtle for us to see,
Em vez disso, temos que os observar
01:24
so instead, we have to observe them
através de contacto direto,
através do tato.
01:26
through direct contact, through touch.
Mas há uns anos,
01:30
But a few years ago,
01:32
my colleagues at MIT developed
what they call a motion microscope,
os meus colegas no MIT
desenvolveram uma coisa
a que chamaram um microscópio do movimento
01:36
which is software that finds
these subtle motions in video
que é um "software" que encontra
esses movimentos subtis no vídeo
e os amplifica até eles ficarem
suficientemente grandes para os vermos.
01:41
and amplifies them so that they
become large enough for us to see.
01:45
And so, if we use their software
on the left video,
Assim, se eu usar esse "software"
no vídeo da esquerda,
passamos a ver a pulsação deste pulso,
01:48
it lets us see the pulse in this wrist,
e se contarmos a pulsação
01:52
and if we were to count that pulse,
podemos deduzir
o ritmo cardíaco desta pessoa.
01:53
we could even figure out
this person's heart rate.
Se eu usar o mesmo "software"
no vídeo da direita,
01:57
And if we used the same software
on the right video,
passamos a ver cada inspiração
que o bebé faz
02:00
it lets us see each breath
that this infant takes,
e podemos usar isso
como uma forma isenta de contacto
02:03
and we can use this as a contact-free way
to monitor her breathing.
para vigiar a sua respiração.
Esta tecnologia é muito poderosa
porque agarra nestes fenómenos
02:08
And so this technology is really powerful
because it takes these phenomena
que normalmente só conseguimos
perceber através do tato
02:14
that we normally have
to experience through touch
e faz com que passemos a visualizá-los
de forma não invasiva.
02:16
and it lets us capture them visually
and non-invasively.
Há uns anos, comecei a trabalhar
com as pessoas que criaram este "software"
02:21
So a couple years ago, I started working
with the folks that created that software,
e decidimos avançar com uma ideia maluca.
02:25
and we decided to pursue a crazy idea.
Pensámos que era fixe
poder usar um "software"
02:28
We thought, it's cool
that we can use software
para visualizar pequenos movimentos
como estes,
02:31
to visualize tiny motions like this,
e até podíamos pensar nisso como uma forma
de expandir o nosso sentido do tato.
02:34
and you can almost think of it
as a way to extend our sense of touch.
02:39
But what if we could do the same thing
with our ability to hear?
E se pudéssemos fazer o mesmo
com a nossa capacidade para ouvir?
E se usássemos o vídeo para captar
as vibrações dos sons,
02:44
What if we could use video
to capture the vibrations of sound,
02:49
which are just another kind of motion,
que afinal são um outro tipo de movimento,
e transformar tudo o que vemos
num microfone?
02:52
and turn everything that we see
into a microphone?
02:56
Now, this is a bit of a strange idea,
Esta é uma ideia um pouco extravagante
02:58
so let me try to put it
in perspective for you.
por isso vou tentar pô-la em perspetiva.
03:01
Traditional microphones
work by converting the motion
Os microfones tradicionais funcionam
transformando o movimento
de um diafragma interior
num sinal elétrico,
03:05
of an internal diaphragm
into an electrical signal,
e esse diafragma está concebido
para se mover prontamente com os sons
03:08
and that diaphragm is designed
to move readily with sound
de forma a que os movimentos podem ser
gravados e interpretados como áudio.
03:12
so that its motion can be recorded
and interpreted as audio.
Ma o som faz com que
todos os objetos vibrem.
03:17
But sound causes all objects to vibrate.
Mas essas vibrações são normalmente
demasiado subtis e demasiado rápidas
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
para nós as podermos ver.
E se as gravássemos
com uma câmara de alta velocidade
03:26
So what if we record them
with a high-speed camera
e depois usássemos o "software"
para extrair pequenos movimentos
03:30
and then use software
to extract tiny motions
03:34
from our high-speed video,
do nosso vídeo de alta velocidade,
03:36
and analyze those motions to figure out
what sounds created them?
e analisássemos esses movimentos
para ver que sons os tinham criado?
Isso permitir-nos-ia
transformar objetos visíveis
03:41
This would let us turn visible objects
into visual microphones from a distance.
em microfones visuais à distância.
03:49
And so we tried this out,
Então, foi o que tentámos fazer.
03:51
and here's one of our experiments,
Esta é uma das nossas experiências,
em que agarrámos neste vaso
com uma planta que estão a ver à direita
03:53
where we took this potted plant
that you see on the right
03:56
and we filmed it with a high-speed camera
e filmámos com uma câmara
de alta velocidade
03:58
while a nearby loudspeaker
played this sound.
enquanto um altifalante ali ao pé
transmitia este som.
04:02
(Music: "Mary Had a Little Lamb")
(Música: "Maria tinha um cordeirinho")
E este é o vídeo que gravámos.
04:11
And so here's the video that we recorded,
Gravámos a uma velocidade
de milhares de imagens por segundo.
04:14
and we recorded it at thousands
of frames per second,
Mas, mesmo que observemos muito de perto,
04:18
but even if you look very closely,
só vemos algumas folhas
04:20
all you'll see are some leaves
que estão ali paradas sem fazer nada,
04:22
that are pretty much
just sitting there doing nothing,
04:25
because our sound only moved those leaves
by about a micrometer.
porque o nosso som limitou-se a fazer
mover estas folhas apenas um micrómetro,
ou seja uma décima milésima
de um centímetro,
04:31
That's one ten-thousandth of a centimeter,
o que corresponde mais ou menos
entre um centésimo e um milésimo
04:35
which spans somewhere between
a hundredth and a thousandth
de um pixel nesta imagem.
04:39
of a pixel in this image.
Por isso, podem piscar os olhos
quanto quiserem,
04:41
So you can squint all you want,
mas um movimento tão pequeno
é praticamente invisível.
04:44
but motion that small is pretty much
perceptually invisible.
Mas acontece que uma coisa
pode ser invisível à nossa perceção
04:49
But it turns out that something
can be perceptually invisible
04:53
and still be numerically significant,
e mesmo assim ser
numericamente significativo,
porque com os algoritmos adequados
04:56
because with the right algorithms,
podemos agarrar neste vídeo silencioso,
aparentemente parado,
04:58
we can take this silent,
seemingly still video
e podemos recuperar esse som.
05:02
and we can recover this sound.
(Música: "Maria tinha um cordeirinho")
05:04
(Music: "Mary Had a Little Lamb")
(Aplausos)
05:12
(Applause)
Como é que isto é possível?
05:22
So how is this possible?
Como é que podemos obter tantas informações
a partir de tão pouco movimento?
05:23
How can we get so much information
out of so little motion?
05:28
Well, let's say that those leaves
move by just a single micrometer,
Digamos que estas folhas
se movem apenas um micrómetro,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
e digamos que movimenta a nossa imagem
apenas numa milésima de pixel
Pode não parecer muito,
05:39
That may not seem like much,
mas uma única imagem do vídeo
05:41
but a single frame of video
pode conter centenas de milhares de pixéis.
05:43
may have hundreds of thousands
of pixels in it,
05:47
and so if we combine all
of the tiny motions that we see
Por isso, se combinarmos
todos os pequenos movimentos
que vemos em toda a imagem,
05:50
from across that entire image,
05:52
then suddenly a thousandth of a pixel
um milésimo de um pixel
05:55
can start to add up
to something pretty significant.
pode, de repente, tornar-se
numa coisa significativa.
05:58
On a personal note, we were pretty psyched
when we figured this out.
Aqui para nós, ficámos malucos
quando descobrimos isto.
06:02
(Laughter)
(Risos)
Mas, mesmo com o algoritmo adequado,
06:04
But even with the right algorithm,
ainda nos faltava uma peça
muito importante do "puzzle".
06:08
we were still missing
a pretty important piece of the puzzle.
06:11
You see, there are a lot of factors
that affect when and how well
Há muitos fatores que afetam
quando e como funciona esta técnica.
06:15
this technique will work.
Há o objeto e a distância a que ele está.
06:17
There's the object and how far away it is;
Há a câmara e as lentes que usamos.
06:20
there's the camera
and the lens that you use;
06:22
how much light is shining on the object
and how loud your sound is.
A quantidade de luz que incide no objeto
e a intensidade do som.
06:27
And even with the right algorithm,
E, mesmo com o algoritmo adequado,
tivemos que ter muito cuidado
com as nossas primeiras experiências,
06:31
we had to be very careful
with our early experiments,
porque, se considerássemos erradamente
qualquer destes fatores,
06:34
because if we got
any of these factors wrong,
06:37
there was no way to tell
what the problem was.
não tínhamos forma de saber
qual era o problema.
06:39
We would just get noise back.
Só obtínhamos ruído.
Portanto, muitas das nossas
primeiras experiências foram assim.
06:42
And so a lot of our early
experiments looked like this.
Aqui estou eu.
06:45
And so here I am,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
Em baixo à esquerda, podem ver
a nossa câmara de alta velocidade,
que está apontada
para um pacote de batatas fritas.
06:51
which is pointed at a bag of chips,
06:53
and the whole thing is lit
by these bright lamps.
Está tudo iluminado
por aquelas lâmpadas brilhantes.
Como já disse, temos que ter muito cuidado
nestas primeiras experiências,
06:56
And like I said, we had to be
very careful in these early experiments,
por isso, foi assim
que as coisas se passaram.
07:01
so this is how it went down.
07:03
(Video) Abe Davis: Three, two, one, go.
(Vídeo): Três, dois, um... Começar.
(Aos gritos): Mary tinha um carneirinho!
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Carneirinho! Carneirinho!
07:12
(Laughter)
(Risos)
Esta experiência parece mesmo ridícula.
07:17
AD: So this experiment
looks completely ridiculous.
(Risos)
07:20
(Laughter)
07:21
I mean, I'm screaming at a bag of chips --
Estou para aqui a gritar
para um pacote de batatas...
07:24
(Laughter) --
(Risos)
07:25
and we're blasting it with so much light,
... e está tudo iluminado com tanta luz
07:27
we literally melted the first bag
we tried this on. (Laughter)
que literalmente derretemos o primeiro
pacote de batatas nesta experiência.
(Risos)
07:32
But ridiculous as this experiment looks,
Mas, por mais ridícula
que esta experiência pareça,
foi de facto muito importante,
07:35
it was actually really important,
porque pudemos recuperar este som.
07:37
because we were able
to recover this sound.
(Áudio) Mary tinha um cordeirinho!
Cordeirinho! Cordeirinho!
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
07:45
(Applause)
(Aplausos)
Isto foi muito significativo
07:49
AD: And this was really significant,
porque foi a primeira vez
que recuperámos fala humana inteligível
07:51
because it was the first time
we recovered intelligible human speech
07:55
from silent video of an object.
a partir do vídeo silencioso de um objeto.
Isso deu-nos este ponto de referência
07:57
And so it gave us this point of reference,
08:00
and gradually we could start
to modify the experiment,
e a pouco e pouco pudemos
começar a modificar a experiência,
08:04
using different objects
or moving the object further away,
usando objetos diferentes,
ou afastando mais o objeto,
usando menos luz ou sons mais abafados.
08:07
using less light or quieter sounds.
Analisámos todas essas experiências
08:11
And we analyzed all of these experiments
08:14
until we really understood
the limits of our technique,
até percebermos bem
os limites da nossa técnica,
porque, depois de
percebermos esses limites,
08:18
because once we understood those limits,
08:20
we could figure out how to push them.
podíamos pensar em como alargá-los.
08:22
And that led to experiments like this one,
Isso levou-nos a experiências como esta,
em que, de novo, eu vou falar
para um pacote de batatas
08:25
where again, I'm going to speak
to a bag of chips,
08:28
but this time we've moved our camera
about 15 feet away,
mas, desta vez, afastámos a câmara
cerca de 5 metros,
08:33
outside, behind a soundproof window,
atrás duma vidraça à prova de som,
08:36
and the whole thing is lit
by only natural sunlight.
e está tudo iluminado
apenas por luz natural.
08:40
And so here's the video that we captured.
Este é o vídeo do que captámos.
Isto é como as coisas soaram, no interior,
junto do pacote de batatas.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
(Áudio) Mary tinha um carneirinho!
Branco como a neve.
Sempre que a Maria vai,
o carneirinho vai também.
08:54
and everywhere that Mary went,
that lamb was sure to go.
08:59
AD: And here's what we were able
to recover from our silent video
Isto foi o que conseguimos recuperar
a partir do nosso vídeo silencioso
captado no exterior
por detrás daquele vidro.
09:03
captured outside behind that window.
(Áudio) Mary tinha um carneirinho!
Branco como a neve.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
Sempre que a Maria vai,
o carneirinho vai também.
09:10
and everywhere that Mary went,
that lamb was sure to go.
09:15
(Applause)
(Aplausos)
Também há outras formas
de podermos alargar estes limites.
09:22
AD: And there are other ways
that we can push these limits as well.
Esta é uma experiência mais tranquila
09:25
So here's a quieter experiment
09:27
where we filmed some earphones
plugged into a laptop computer,
em que filmámos uns auscultadores
ligados a um computador portátil.
Neste caso, o nosso objetivo
era recuperar a música
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
que estava a tocar nesse computador
09:35
from just silent video
a partir de um vídeo silencioso
destes dois pequenos
auscultadores de plástico.
09:38
of these two little plastic earphones,
Conseguimos fazer isto tão bem feito
09:40
and we were able to do this so well
09:42
that I could even Shazam our results.
que até pude dizer Shazam aos resultados.
09:45
(Laughter)
(Risos)
09:49
(Music: "Under Pressure" by Queen)
(Áudio): (Música:
"Under Pressure" dos Queen)
(Aplausos)
10:01
(Applause)
Também podemos ir mais longe,
mudando o "hardware" que usamos.
10:06
And we can also push things
by changing the hardware that we use.
As experiências que vos mostrei até aqui
10:11
Because the experiments
I've shown you so far
foram feitas com uma câmara
de alta velocidade,
10:13
were done with a camera,
a high-speed camera,
10:15
that can record video
about a 100 times faster
que pode registar um vídeo
cerca de 100 vezes mais depressa
10:18
than most cell phones,
do que a maior parte dos telemóveis.
10:20
but we've also found a way
to use this technique
Mas também arranjámos forma
de usar esta técnica
com câmaras mais vulgares.
10:23
with more regular cameras,
Fazemos isso tirando partido
do que se chama "rolling shutter".
10:25
and we do that by taking advantage
of what's called a rolling shutter.
10:29
You see, most cameras
record images one row at a time,
A maior parte das câmaras regista
imagens seguidas, uma a uma.
Por isso, se um objeto se move
durante a gravação duma mesma imagem,
10:34
and so if an object moves
during the recording of a single image,
há um pequeno compasso de atraso
entre cada imagem,
10:40
there's a slight time delay
between each row,
10:43
and this causes slight artifacts
o que causa pequenas distorções
10:46
that get coded into each frame of a video.
que ficam registadas
em cada imagem do vídeo.
Descobrimos que,
analisando essas distorções,
10:49
And so what we found
is that by analyzing these artifacts,
10:53
we can actually recover sound
using a modified version of our algorithm.
podemos recuperar o som, usando
uma versão modificada do nosso algoritmo.
10:58
So here's an experiment we did
Esta foi uma experiência que fizemos
11:00
where we filmed a bag of candy
em que filmámos um pacote de rebuçados
11:01
while a nearby loudspeaker played
junto dum altifalante que tocava
11:03
the same "Mary Had a Little Lamb"
music from before,
a mesma "Maria tinha um carneirinho"
11:06
but this time, we used just a regular
store-bought camera,
mas, desta vez, usámos uma câmara vulgar
comprada no supermercado.
Vou passar já o som que recuperámos.
11:10
and so in a second, I'll play for you
the sound that we recovered,
Desta vez, vai soar distorcido,
11:13
and it's going to sound
distorted this time,
mas oiçam com atenção
e vejam se reconhecem a música.
11:15
but listen and see if you can still
recognize the music.
(Áudio): (Música:
Mary tinha um cordeirinho.)
11:19
(Audio: "Mary Had a Little Lamb")
De novo, esse som distorcido,
11:37
And so, again, that sounds distorted,
mas o que é deveras espantoso nisto
é que conseguimos fazê-lo
11:40
but what's really amazing here
is that we were able to do this
11:45
with something
that you could literally run out
com uma coisa que vocês podem usar
11:48
and pick up at a Best Buy.
e comprar numa Loja de Audiovisuais.
Nesta altura, há muitas pessoas
que olham para isto
11:51
So at this point,
11:52
a lot of people see this work,
11:54
and they immediately think
about surveillance.
e pensam logo na vigilância.
(Risos)
11:57
And to be fair,
Realmente,
não é difícil imaginar como é que podemos
usar esta tecnologia para espiar alguém.
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
12:04
But keep in mind that there's already
a lot of very mature technology
Mas lembrem-se que já há
imensa tecnologia muito sofisticada
para a vigilância.
12:08
out there for surveillance.
12:09
In fact, people have been using lasers
Na verdade, há décadas
que se usam os raios "laser"
12:12
to eavesdrop on objects
from a distance for decades.
para escutar objetos à distância.
O que isto tem de novo
12:15
But what's really new here,
o que é mesmo diferente,
12:18
what's really different,
12:19
is that now we have a way
to picture the vibrations of an object,
é que agora temos uma forma de representar
as vibrações dum objeto,
que nos dá novas lentes
através das quais vemos o mundo,
12:23
which gives us a new lens
through which to look at the world,
e podemos usar essas lentes
12:27
and we can use that lens
12:28
to learn not just about forces like sound
that cause an object to vibrate,
para ver as forças, como o som,
que fazem vibrar um objeto,
12:33
but also about the object itself.
mas também o próprio objeto.
12:36
And so I want to take a step back
Vou recuar um pouco
12:38
and think about how that might change
the ways that we use video,
e pensar como é que podíamos
alterar a forma de usar o vídeo,
porque habitualmente usamos
o vídeo para observar as coisas
12:42
because we usually use video
to look at things,
e eu acabei de mostrar como podemos usá-lo
12:46
and I've just shown you how we can use it
para escutar as coisas.
12:48
to listen to things.
Mas há outra importante forma
de conhecermos o mundo:
12:50
But there's another important way
that we learn about the world:
é interagindo com ele.
12:54
that's by interacting with it.
Nós pressionamos, empurramos
e espicaçamos as coisas.
12:56
We push and pull and poke and prod things.
Abanamos as coisas e vemos o que acontece.
13:00
We shake things and see what happens.
É uma coisa que o vídeo
ainda não nos deixa fazer,
13:03
And that's something that video
still won't let us do,
pelo menos habitualmente.
13:07
at least not traditionally.
13:09
So I want to show you some new work,
Vou mostrar-vos um trabalho novo
baseado numa ideia
que eu tive há uns meses.
13:11
and this is based on an idea I had
just a few months ago,
13:14
so this is actually the first time
I've shown it to a public audience.
É a primeira vez
que mostro isto em público.
A ideia básica é que vamos usar
as vibrações num vídeo
13:17
And the basic idea is that we're going
to use the vibrations in a video
13:22
to capture objects in a way
that will let us interact with them
para captar objetos duma forma
que nos permite interagir com eles
e ver como é que eles reagem.
13:27
and see how they react to us.
Isto é um objeto.
13:31
So here's an object,
13:32
and in this case, it's a wire figure
in the shape of a human,
Neste caso, é um boneco de arame
com a forma dum ser humano.
Vamos filmar este objeto
com uma câmara normal.
13:36
and we're going to film that object
with just a regular camera.
Esta câmara não tem nada de especial.
13:39
So there's nothing special
about this camera.
Na verdade, já fiz isto
com o meu telemóvel.
13:41
In fact, I've actually done this
with my cell phone before.
Mas queremos ver o objeto a vibrar,
13:44
But we do want to see the object vibrate,
portanto, para que isso aconteça,
13:47
so to make that happen,
13:48
we're just going to bang a little bit
on the surface where it's resting
vamos bater na superfície
onde ele está poisado
enquanto gravamos este vídeo.
13:51
while we record this video.
Já está: são cinco segundos
de gravação normal,
13:59
So that's it: just five seconds
of regular video,
enquanto batemos na superfície.
14:03
while we bang on this surface,
Vamos usar as vibrações deste vídeo
14:05
and we're going to use
the vibrations in that video
para conhecer as propriedades
estruturais e materiais do nosso objeto.
14:08
to learn about the structural
and material properties of our object,
Vamos usar essas informações
para criar uma coisa nova e interativa.
14:13
and we're going to use that information
to create something new and interactive.
14:24
And so here's what we've created.
Isto é o que criámos.
Parece uma imagem normal,
14:27
And it looks like a regular image,
14:29
but this isn't an image,
and it's not a video,
mas isto não é uma imagem, nem é um vídeo
14:32
because now I can take my mouse
porque agora eu posso agarrar no rato
14:35
and I can start interacting
with the object.
e posso começar a interagir com o objeto.
14:44
And so what you see here
O que estão a ver aqui
14:47
is a simulation of how this object
é uma simulação de como
este objeto responde a novas forças
14:49
would respond to new forces
that we've never seen before,
que nunca tínhamos visto.
14:54
and we created it from just
five seconds of regular video.
Criámos isto a partir de apenas
cinco segundos dum vídeo normal.
(Aplausos)
14:59
(Applause)
Isto é de facto uma forma muito poderosa
de olhar para o mundo
15:09
And so this is a really powerful
way to look at the world,
porque nos permite prever
15:12
because it lets us predict
how objects will respond
como o objetos reagem a novas situações.
15:15
to new situations,
15:17
and you could imagine, for instance,
looking at an old bridge
Podemos imaginar, por exemplo,
olhar para uma ponte antiga
15:20
and wondering what would happen,
how would that bridge hold up
e pensar o que pode acontecer,
se essa ponte aguentará
o peso do meu carro a atravessá-la.
15:24
if I were to drive my car across it.
Isso é uma pergunta que provavelmente
todos querem ver respondida
15:27
And that's a question
that you probably want to answer
15:30
before you start driving
across that bridge.
antes de começar a atravessar essa ponte.
15:33
And of course, there are going to be
limitations to this technique,
Claro que há limitações para esta técnica,
tal como havia para o microfone visual,
15:37
just like there were
with the visual microphone,
mas verificámos que funciona
em muitas situações
15:39
but we found that it works
in a lot of situations
em que não estávamos à espera,
15:42
that you might not expect,
especialmente se obtivermos
vídeos mais longos.
15:44
especially if you give it longer videos.
Por exemplo, este é um vídeo que eu gravei
15:47
So for example,
here's a video that I captured
15:50
of a bush outside of my apartment,
de um arbusto à porta do meu apartamento.
15:52
and I didn't do anything to this bush,
Não fiz nada a este arbusto,
mas gravei um vídeo
com a duração de um minuto.
15:55
but by capturing a minute-long video,
15:58
a gentle breeze caused enough vibrations
Uma leve brisa provocou
vibrações suficientes
16:01
that we could learn enough about this bush
to create this simulation.
para eu poder criar esta simulação.
(Aplausos)
16:07
(Applause)
Podemos imaginar dar este vídeo
a um realizador de cinema
16:13
And so you could imagine giving this
to a film director,
16:16
and letting him control, say,
e ele poder controlar, por exemplo,
16:18
the strength and direction of wind
in a shot after it's been recorded.
a força e a direção do vento numa cena,
depois de ela ter sido gravada.
Ou, neste caso, apontámos
a câmara para uma cortina pendurada.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
16:29
and you can't even see
any motion in this video,
Não conseguimos ver
qualquer movimento neste vídeo
mas, gravando o vídeo
com a duração de dois minutos,
16:33
but by recording a two-minute-long video,
as correntes de ar naturais nesta sala
16:36
natural air currents in this room
16:38
created enough subtle,
imperceptible motions and vibrations
criaram movimentos
e vibrações subtis, impercetíveis,
16:43
that we could learn enough
to create this simulation.
suficientes para sabermos
criar esta simulação.
Ironicamente,
16:48
And ironically,
16:50
we're kind of used to having
this kind of interactivity
estamos fartos de ter
este tipo de interatividade
no que refere a objetos virtuais,
16:53
when it comes to virtual objects,
no que respeita a videojogos
e modelos a 3D,
16:56
when it comes to video games
and 3D models,
mas ser capaz de captar estas informações
a partir de objetos reais do mundo real
16:59
but to be able to capture this information
from real objects in the real world
usando apenas um vídeo simples, normal,
17:04
using just simple, regular video,
é uma coisa totalmente nova
que tem imenso potencial.
17:06
is something new that has
a lot of potential.
17:10
So here are the amazing people
who worked with me on these projects.
Estas são as pessoas espantosas
que trabalharam comigo nestes projetos.
(Aplausos)
17:16
(Applause)
O que vos mostrei hoje é apenas o início.
17:24
And what I've shown you today
is only the beginning.
Só começámos a arranhar a superfície
17:27
We've just started to scratch the surface
do que podemos fazer
com este tipo de imagens
17:29
of what you can do
with this kind of imaging,
porque nos dão uma nova forma
17:32
because it gives us a new way
17:35
to capture our surroundings
with common, accessible technology.
de captar o nosso meio envolvente
com uma tecnologia comum, acessível.
Olhando para o futuro,
17:40
And so looking to the future,
vai ser uma coisa excitante para explorar
17:41
it's going to be
really exciting to explore
17:44
what this can tell us about the world.
o que isto nos pode revelar sobre o mundo.
17:46
Thank you.
Obrigado.
17:47
(Applause)
(Aplausos)

▲Back to top

About the Speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com