17:58
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Nieuwe videotechnologie die de verborgen eigenschappen van voorwerpen zichtbaar maakt.

Filmed:

Subtiele bewegingen gebeuren de hele tijd rondom ons, met inbegrip van de kleine trillingen veroorzaakt door geluid. Nieuwe technologie laat zien dat we via opnames van deze trillingen, geluid en gesprekken kunnen her-creëeren, enkel op basis van een schijnbaar onbeweeglijk voorwerp. Maar Abe Davis gaat nog een stap verder: zie hoe hij software demonstreert waardoor iedereen met deze verborgen eigenschappen kan interageren, op basis van een eenvoudige video.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

De meesten zien beweging
als iets zeer visueels.
00:13
Most of us think of motion
as a very visual thing.
Als ik over dit podium loop
of met mijn handen gebaar,
00:17
If I walk across this stage
or gesture with my hands while I speak,
dan kan je die beweging zien.
00:22
that motion is something that you can see.
Maar heel veel bewegingen
00:26
But there's a world of important motion
that's too subtle for the human eye,
zijn te subtiel voor het menselijk oog.
In de afgelopen jaren
00:31
and over the past few years,
merkten we dat camera's
00:33
we've started to find that cameras
deze beweging vaak waarnemen,
zelfs wanneer de mens dat niet kan.
00:35
can often see this motion
even when humans can't.
Dit is wat ik bedoel.
00:40
So let me show you what I mean.
Links zie je een video
van iemands pols,
00:42
On the left here, you see video
of a person's wrist,
rechts een video van een slapend kind,
00:46
and on the right, you see video
of a sleeping infant,
maar als ik je niet zou vertellen
dat dit video's waren,
00:49
but if I didn't tell you
that these were videos,
zou je kunnen denken
dat je gewone foto’s zag,
00:52
you might assume that you were looking
at two regular images,
omdat in beide gevallen
00:56
because in both cases,
er bijna geen beweging
te zien is in beide video's.
00:58
these videos appear to be
almost completely still.
Maar er is eigenlijk
een heleboel subtiele beweging gaande.
01:02
But there's actually a lot
of subtle motion going on here,
Als je de pols links zou aanraken,
01:06
and if you were to touch
the wrist on the left,
zou je hem voelen kloppen.
01:08
you would feel a pulse,
Bij het kind rechts
01:10
and if you were to hold
the infant on the right,
zou je de borst voelen stijgen en dalen
01:12
you would feel the rise
and fall of her chest
bij elke ademhaling.
01:15
as she took each breath.
Deze bewegingen zitten vol met informatie,
01:17
And these motions carry
a lot of significance,
die meestal zo subtiel is,
dat we ze niet kunnen zien.
01:21
but they're usually
too subtle for us to see,
Daarom nemen we ze waar
01:24
so instead, we have to observe them
door direct contact,
door middel van aanraking.
01:26
through direct contact, through touch.
Maar een paar jaar geleden,
01:30
But a few years ago,
hebben mijn collega's aan het MIT
een ‘bewegingsmicroscoop’ ontwikkeld.
01:32
my colleagues at MIT developed
what they call a motion microscope,
Dat is software die deze subtiele
bewegingen in video vindt
01:36
which is software that finds
these subtle motions in video
en versterkt zodat we ze kunnen zien.
01:41
and amplifies them so that they
become large enough for us to see.
Met hun software
01:45
And so, if we use their software
on the left video,
kunnen we het kloppen van de pols zien.
01:48
it lets us see the pulse in this wrist,
Als we het kloppen tellen,
01:52
and if we were to count that pulse,
kennen we zelfs de hartslag
van deze persoon.
01:53
we could even figure out
this person's heart rate.
Met dezelfde software
kunnen we op de video rechts
01:57
And if we used the same software
on the right video,
de ademhaling van dit kind zien
02:00
it lets us see each breath
that this infant takes,
en zonder fysisch contact
haar ademhaling controleren.
02:03
and we can use this as a contact-free way
to monitor her breathing.
Deze technologie is echt krachtig,
want ze kan deze fenomenen,
02:08
And so this technology is really powerful
because it takes these phenomena
die we normaal
ervaren door aanraking,
02:14
that we normally have
to experience through touch
visueel en ongestoord vastleggen.
02:16
and it lets us capture them visually
and non-invasively.
Een paar jaar geleden begon ik te werken
met de mensen die die software creëerden.
02:21
So a couple years ago, I started working
with the folks that created that software,
We besloten
een ​​gek idee uit te werken.
02:25
and we decided to pursue a crazy idea.
We vonden het cool
om software te gebruiken
02:28
We thought, it's cool
that we can use software
om kleine bewegingen
als deze te visualiseren
02:31
to visualize tiny motions like this,
als een manier
om onze tastzin uit te breiden.
02:34
and you can almost think of it
as a way to extend our sense of touch.
Maar wat als we datzelfde
konden doen met ons gehoor?
02:39
But what if we could do the same thing
with our ability to hear?
Wat als we video konden gebruiken
om geluidstrillingen op te nemen --
02:44
What if we could use video
to capture the vibrations of sound,
immers ook een soort beweging --
02:49
which are just another kind of motion,
zodat we van alles wat we zien
een 'microfoon' konden maken.
02:52
and turn everything that we see
into a microphone?
Dat is een beetje een raar idee,
02:56
Now, this is a bit of a strange idea,
dus laat me dat uitleggen.
02:58
so let me try to put it
in perspective for you.
Traditionele microfoons werken
door het omzetten van de beweging
03:01
Traditional microphones
work by converting the motion
van een intern membraan
in een elektrisch signaal.
03:05
of an internal diaphragm
into an electrical signal,
Dat membraan is ontworpen
om gemakkelijk te bewegen met geluid,
03:08
and that diaphragm is designed
to move readily with sound
zodat de beweging
kan worden geregistreerd
03:12
so that its motion can be recorded
and interpreted as audio.
en geïnterpreteerd als audio.
Maar geluid laat alle objecten trillen.
03:17
But sound causes all objects to vibrate.
Die trillingen zijn meestal te subtiel
en te snel voor ons om te zien.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
Wat als we ze opnemen
met een hogesnelheidscamera
03:26
So what if we record them
with a high-speed camera
en dan software gebruiken
om de kleine bewegingen
03:30
and then use software
to extract tiny motions
te halen uit onze hogesnelheidsvideo,
03:34
from our high-speed video,
en die bewegingen analyseren
om de geluiden te achterhalen
03:36
and analyze those motions to figure out
what sounds created them?
die ze veroorzaakten?
Dan kunnen we zichtbare objecten
03:41
This would let us turn visible objects
into visual microphones from a distance.
op afstand gebruiken
als visuele microfoons.
Dit hebben we uitgeprobeerd.
03:49
And so we tried this out,
Hier is een van onze experimenten:
03:51
and here's one of our experiments,
we filmden deze plant daar rechts
03:53
where we took this potted plant
that you see on the right
met een hogesnelheidscamera,
03:56
and we filmed it with a high-speed camera
terwijl een luidspreker in de buurt
dit geluid speelde.
03:58
while a nearby loudspeaker
played this sound.
(Muziek: 'Mary Had a Little Lamb')
04:02
(Music: "Mary Had a Little Lamb")
Hier is de video die we opnamen
04:11
And so here's the video that we recorded,
met duizenden frames per seconde.
04:14
and we recorded it at thousands
of frames per second,
Maar zelfs als je heel goed kijkt,
04:18
but even if you look very closely,
is alles wat je ziet enkele bladeren...
04:20
all you'll see are some leaves
04:22
that are pretty much
just sitting there doing nothing,
... zonder veel actie. (Gelach)
Ons geluid verplaatst die bladeren
slechts ongeveer één micrometer.
04:25
because our sound only moved those leaves
by about a micrometer.
Dat is één tienduizendste
van een centimeter,
04:31
That's one ten-thousandth of a centimeter,
ergens tussen een honderdste
en een duizendste
04:35
which spans somewhere between
a hundredth and a thousandth
van een pixel in dit beeld.
04:39
of a pixel in this image.
Je kunt dus nóg zo goed turen,
04:41
So you can squint all you want,
die beweging is te klein
om zichtbaar te zijn.
04:44
but motion that small is pretty much
perceptually invisible.
Maar het blijkt
dat iets niet te zien kan zijn
04:49
But it turns out that something
can be perceptually invisible
04:53
and still be numerically significant,
en toch numeriek significant.
Want met de juiste algoritmen
04:56
because with the right algorithms,
kunnen we uit deze stille,
schijnbaar stille video
04:58
we can take this silent,
seemingly still video
dit geluid herleiden.
05:02
and we can recover this sound.
(Muziek: 'Mary Had a Little Lamb')
05:04
(Music: "Mary Had a Little Lamb")
(Applaus)
05:12
(Applause)
Hoe is dat mogelijk?
05:22
So how is this possible?
Hoe halen we zo veel informatie
uit zo weinig beweging?
05:23
How can we get so much information
out of so little motion?
Stel dat die bladeren
slechts één enkele micrometer uitwijken,
05:28
Well, let's say that those leaves
move by just a single micrometer,
en het beeld slechts één duizendste
van een pixel verschuift.
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
Dat lijkt misschien niet veel,
05:39
That may not seem like much,
maar één enkel videoframe
05:41
but a single frame of video
kan honderdduizenden pixels bevatten.
05:43
may have hundreds of thousands
of pixels in it,
Als we al die kleine bewegingen combineren
05:47
and so if we combine all
of the tiny motions that we see
van dat complete beeld,
05:50
from across that entire image,
kan een duizendste
van een pixel ineens
05:52
then suddenly a thousandth of a pixel
iets heel significants opleveren.
05:55
can start to add up
to something pretty significant.
Even terzijde: we waren
behoorlijk in onze nopjes
05:58
On a personal note, we were pretty psyched
when we figured this out.
toen we dit hadden uitgeknobbeld.
06:02
(Laughter)
(Gelach)
Maar zelfs met het juiste algoritme
06:04
But even with the right algorithm,
misten we nog steeds
een vrij belangrijk stuk van de puzzel.
06:08
we were still missing
a pretty important piece of the puzzle.
Veel factoren zijn van invloed
op wanneer en hoe goed
06:11
You see, there are a lot of factors
that affect when and how well
deze techniek werkt:
06:15
this technique will work.
het object en hoe ver het is,
06:17
There's the object and how far away it is;
de camera en de lens,
06:20
there's the camera
and the lens that you use;
hoeveel licht op het object valt
en hoe hard het geluid is.
06:22
how much light is shining on the object
and how loud your sound is.
En zelfs met het juiste algoritme
06:27
And even with the right algorithm,
moesten we zeer zorgvuldig zijn
bij onze vroege experimenten,
06:31
we had to be very careful
with our early experiments,
want als een van deze factoren
verkeerd zat,
06:34
because if we got
any of these factors wrong,
was er geen manier om te zien
wat het probleem was.
06:37
there was no way to tell
what the problem was.
06:39
We would just get noise back.
We kregen dan alleen lawaai terug.
Veel van onze vroege experimenten
zagen er zo uit.
06:42
And so a lot of our early
experiments looked like this.
Hier ben ik
06:45
And so here I am,
en linksonder zie je
onze hogesnelheidscamera,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
gericht op een zak chips,
06:51
which is pointed at a bag of chips,
en de hele zaak wordt verlicht
door sterke lampen.
06:53
and the whole thing is lit
by these bright lamps.
We moesten zorgvuldig zijn
bij deze vroege experimenten,
06:56
And like I said, we had to be
very careful in these early experiments,
dus ging het zo.
07:01
so this is how it went down.
(Video) Abe Davis: Drie, twee, een, start!
07:03
(Video) Abe Davis: Three, two, one, go.
Mary had a little lamb!
Little lamb! Little lamb!
07:07
Mary had a little lamb!
Little lamb! Little lamb!
(Gelach)
07:12
(Laughter)
AD: Dit experiment
lijkt volstrekt belachelijk.
07:17
AD: So this experiment
looks completely ridiculous.
(Gelach)
07:20
(Laughter)
Ik bedoel, ik sta te schreeuwen
tegen een ​​zak chips -
07:21
I mean, I'm screaming at a bag of chips --
07:24
(Laughter) --
(Gelach) -
en we bestraalden hem met zoveel licht,
07:25
and we're blasting it with so much light,
dat de eerste zak letterlijk smolt.
(Gelach)
07:27
we literally melted the first bag
we tried this on. (Laughter)
Maar hoe belachelijk
dit experiment ook lijkt,
07:32
But ridiculous as this experiment looks,
het was eigenlijk heel belangrijk,
07:35
it was actually really important,
omdat we dit geluid
konden herstellen.
07:37
because we were able
to recover this sound.
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
(Applaus)
07:45
(Applause)
AD: En dit was echt belangrijk,
07:49
AD: And this was really significant,
want het was de eerste keer dat we
07:51
because it was the first time
we recovered intelligible human speech
begrijpelijke menselijke
spraak terugwonnen
van een video zonder geluid
van een object.
07:55
from silent video of an object.
Dit gaf ons een referentiepunt,
07:57
And so it gave us this point of reference,
en geleidelijk aan konden we
het experiment wijzigen,
08:00
and gradually we could start
to modify the experiment,
met verschillende voorwerpen
of van verder weg,
08:04
using different objects
or moving the object further away,
met minder licht of zachtere geluiden.
08:07
using less light or quieter sounds.
We analyseerden al deze proeven
08:11
And we analyzed all of these experiments
totdat we de grenzen
van onze techniek vonden.
08:14
until we really understood
the limits of our technique,
Want zodra we die grenzen vonden,
08:18
because once we understood those limits,
konden we achterhalen
hoe we ze konden oprekken.
08:20
we could figure out how to push them.
Dat leidde tot experimenten zoals dit.
08:22
And that led to experiments like this one,
Ik sprak nog eens
tegen een zak chips,
08:25
where again, I'm going to speak
to a bag of chips,
maar dit keer met onze camera
ongeveer 5 meter er vandaan,
08:28
but this time we've moved our camera
about 15 feet away,
buiten, achter een geluiddicht raam,
08:33
outside, behind a soundproof window,
en alles alleen belicht
met natuurlijk zonlicht.
08:36
and the whole thing is lit
by only natural sunlight.
Hier is de video daarvan.
08:40
And so here's the video that we captured.
Zo klonk het binnen, bij de zak chips.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
(Audio) Mary had a little lamb
whose fleece was white as snow,
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
08:54
and everywhere that Mary went,
that lamb was sure to go.
AD: Hier is wat we
uit onze stille video konden terugwinnen
08:59
AD: And here's what we were able
to recover from our silent video
van achter dat raam.
09:03
captured outside behind that window.
(Audio) Mary had a little lamb!
whose fleece was white as snow,
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
09:10
and everywhere that Mary went,
that lamb was sure to go.
(Applaus)
09:15
(Applause)
AD: Er zijn ook andere manieren
om deze grenzen te verleggen.
09:22
AD: And there are other ways
that we can push these limits as well.
Hier is een rustiger experiment:
09:25
So here's a quieter experiment
we filmden wat oordopjes
aangesloten op een laptop.
09:27
where we filmed some earphones
plugged into a laptop computer,
We wilden de muziek opnemen
die op die laptop speelde,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
uit de video zonder geluid
09:35
from just silent video
van die twee kleine plastic oordopjes.
09:38
of these two little plastic earphones,
We deden het zo goed
09:40
and we were able to do this so well
dat we onze resultaten
konden ‘shazammen’.
09:42
that I could even Shazam our results.
(Gelach)
09:45
(Laughter)
(Muziek: 'Under Pressure' van Queen)
09:49
(Music: "Under Pressure" by Queen)
(Applaus)
10:01
(Applause)
We kunnen het resultaat
ook verbeteren via de hardware.
10:06
And we can also push things
by changing the hardware that we use.
De experimenten die ik jullie
tot nu toe heb laten zien
10:11
Because the experiments
I've shown you so far
10:13
were done with a camera,
a high-speed camera,
deden we met een hogesnelheidscamera.
Die kan ongeveer 100 keer
sneller video opnemen
10:15
that can record video
about a 100 times faster
dan de meeste mobiele telefoons,
10:18
than most cell phones,
maar we hebben ook een manier gevonden
om deze techniek te gebruiken
10:20
but we've also found a way
to use this technique
10:23
with more regular cameras,
met gewonere camera’s.
We doen dat door gebruik te maken
van wat een ‘gordijnsluiter’ heet.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
De meeste camera's leggen
beelden rij voor rij vast.
10:29
You see, most cameras
record images one row at a time,
Als een object tijdens de opname
van één enkel beeld beweegt,
10:34
and so if an object moves
during the recording of a single image,
is er een kleine vertraging
tussen elke rij,
10:40
there's a slight time delay
between each row,
en dit veroorzaakt lichte artefacten
10:43
and this causes slight artifacts
in elk afzonderlijk videoframe.
10:46
that get coded into each frame of a video.
Door het analyseren van deze artefacten,
10:49
And so what we found
is that by analyzing these artifacts,
kunnen we zelfs geluid herstellen
10:53
we can actually recover sound
using a modified version of our algorithm.
met een aangepaste versie
van ons algoritme.
10:58
So here's an experiment we did
Hier weer een experiment.
We filmden een zak snoep
11:00
where we filmed a bag of candy
terwijl een luidspreker in de buurt
11:01
while a nearby loudspeaker played
'Mary Had a Little Lamb' speelde.
11:03
the same "Mary Had a Little Lamb"
music from before,
Maar dit keer gebruikten we
een normale camera uit de winkel.
11:06
but this time, we used just a regular
store-bought camera,
Ik laat het jullie dadelijk horen.
11:10
and so in a second, I'll play for you
the sound that we recovered,
Het zal wat vervormd zijn,
11:13
and it's going to sound
distorted this time,
maar luister om te zien of je de muziek
nog steeds kunt herkennen.
11:15
but listen and see if you can still
recognize the music.
(Audio: 'Mary Had a Little Lamb')
11:19
(Audio: "Mary Had a Little Lamb")
Het klinkt vervormd,
11:37
And so, again, that sounds distorted,
maar het geweldige eraan is
dat we het doen
11:40
but what's really amazing here
is that we were able to do this
met spullen uit de eerste de beste winkel.
11:45
with something
that you could literally run out
11:48
and pick up at a Best Buy.
Dit brengt de meeste mensen
11:51
So at this point,
11:52
a lot of people see this work,
op het idee van bewaking. (Gelach)
11:54
and they immediately think
about surveillance.
Om eerlijk te zijn,
je kan je best voorstellen
11:57
And to be fair,
hoe je deze technologie kan gebruiken
om iemand te bespioneren.
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
Maar bedenk dat er al heel veel
goed ontwikkelde technologie
12:04
But keep in mind that there's already
a lot of very mature technology
voor surveillance bestaat.
12:08
out there for surveillance.
In feite hebben mensen al decennia lang
12:09
In fact, people have been using lasers
lasers op objecten gericht
om op afstand af te luisteren.
12:12
to eavesdrop on objects
from a distance for decades.
Maar wat hier echt nieuw is,
12:15
But what's really new here,
echt anders,
12:18
what's really different,
is dat we nu een manier hebben
om trillingen van een object op te nemen.
12:19
is that now we have a way
to picture the vibrations of an object,
Dat geeft ons een nieuwe lens
om te kijken naar de wereld.
12:23
which gives us a new lens
through which to look at the world,
We kunnen die lens gebruiken
12:27
and we can use that lens
12:28
to learn not just about forces like sound
that cause an object to vibrate,
om niet alleen iets
te leren over krachten
als geluid die een object laten trillen,
maar ook over het object zelf.
12:33
but also about the object itself.
Ik wil een stap terug doen
12:36
And so I want to take a step back
en nadenken over nieuwe manieren
om video te gebruiken.
12:38
and think about how that might change
the ways that we use video,
Meestal gebruiken we video
om naar dingen te kijken,
12:42
because we usually use video
to look at things,
maar ik toonde hoe we het kunnen gebruiken
12:46
and I've just shown you how we can use it
om naar dingen te luisteren.
12:48
to listen to things.
Er is een andere belangrijke manier
waarop we leren over de wereld:
12:50
But there's another important way
that we learn about the world:
door interactie ermee.
12:54
that's by interacting with it.
We duwen en trekken en porren dingen.
12:56
We push and pull and poke and prod things.
We schudden dingen
en zien wat er gebeurt.
13:00
We shake things and see what happens.
Dat is iets dat video nog steeds niet kan,
13:03
And that's something that video
still won't let us do,
althans niet de traditionele video.
13:07
at least not traditionally.
Ik toon je wat nieuw werk,
13:09
So I want to show you some new work,
gebaseerd op een idee dat ik
net een paar maanden geleden had.
13:11
and this is based on an idea I had
just a few months ago,
13:14
so this is actually the first time
I've shown it to a public audience.
Het is de eerste keer
dat ik ermee voor een publiek kom.
13:17
And the basic idea is that we're going
to use the vibrations in a video
We gaan trillingen in een video gebruiken
om objecten zo vast te leggen,
dat we met ze kunnen interageren
13:22
to capture objects in a way
that will let us interact with them
en zie hoe ze op ons reageren.
13:27
and see how they react to us.
Hier zie je een voorwerp,
13:31
So here's an object,
in dit geval een draadfiguur
gevormd als mens.
13:32
and in this case, it's a wire figure
in the shape of a human,
We gaan dat object filmen
met een gewone camera.
13:36
and we're going to film that object
with just a regular camera.
Er is niets bijzonders aan deze camera.
13:39
So there's nothing special
about this camera.
Ik deed het al met mijn mobiele telefoon.
13:41
In fact, I've actually done this
with my cell phone before.
Maar we willen het object zien trillen.
13:44
But we do want to see the object vibrate,
13:47
so to make that happen,
Daarom kloppen we wat
op het oppervlak waarop het staat
13:48
we're just going to bang a little bit
on the surface where it's resting
terwijl we deze video opnemen.
13:51
while we record this video.
Dat is alles:
slechts vijf seconden gewone video,
13:59
So that's it: just five seconds
of regular video,
terwijl we op het oppervlak kloppen.
14:03
while we bang on this surface,
We gaan de trillingen
in die video gebruiken
14:05
and we're going to use
the vibrations in that video
om iets te leren over de structurele
en materiaaleigenschappen van ons object,
14:08
to learn about the structural
and material properties of our object,
en we gaan die informatie gebruiken
om iets nieuws en interactiefs te maken.
14:13
and we're going to use that information
to create something new and interactive.
Dit is het resultaat.
14:24
And so here's what we've created.
Het ziet eruit als een gewone afbeelding,
14:27
And it looks like a regular image,
maar dit is geen beeld, ook geen video,
14:29
but this isn't an image,
and it's not a video,
want nu kan ik met mijn muis
14:32
because now I can take my mouse
gaan interageren met het object.
14:35
and I can start interacting
with the object.
Wat je hier ziet
14:44
And so what you see here
is een simulatie van hoe dit object
14:47
is a simulation of how this object
zou reageren op nieuwe krachten
die we nog nooit eerder hebben gezien,
14:49
would respond to new forces
that we've never seen before,
en dat met slechts
vijf seconden gewone video.
14:54
and we created it from just
five seconds of regular video.
(Applaus)
14:59
(Applause)
Dit is een krachtige manier
om naar de wereld te kijken.
15:09
And so this is a really powerful
way to look at the world,
Het laat ons voorspellen
hoe objecten zullen reageren
15:12
because it lets us predict
how objects will respond
in nieuwe situaties:
15:15
to new situations,
bijvoorbeeld hoe een oude brug
15:17
and you could imagine, for instance,
looking at an old bridge
zich zal gaan gedragen
15:20
and wondering what would happen,
how would that bridge hold up
als ik er met mijn auto over zou rijden.
15:24
if I were to drive my car across it.
Dat wil je waarschijnlijk wel weten
15:27
And that's a question
that you probably want to answer
voordat je over die brug gaat rijden.
15:30
before you start driving
across that bridge.
Deze techniek heeft
natuurlijk zijn beperkingen
15:33
And of course, there are going to be
limitations to this technique,
net zoals de visuele microfoon,
15:37
just like there were
with the visual microphone,
maar we merkten
dat het in veel situaties werkt
15:39
but we found that it works
in a lot of situations
waar je dat niet zou verwachten,
15:42
that you might not expect,
15:44
especially if you give it longer videos.
vooral als je langere video's maakt.
Hier is een video die ik opnam
15:47
So for example,
here's a video that I captured
van een struik bij mijn appartement.
15:50
of a bush outside of my apartment,
Ik deed niets met de struik,
15:52
and I didn't do anything to this bush,
maar met een video van één minuut
15:55
but by capturing a minute-long video,
en een zacht briesje
dat genoeg trillingen veroorzaakte,
15:58
a gentle breeze caused enough vibrations
leerden we genoeg over deze struik
om deze simulatie te maken.
16:01
that we could learn enough about this bush
to create this simulation.
(Applaus)
16:07
(Applause)
Je kan je voorstellen
wat een filmregisseur
16:13
And so you could imagine giving this
to a film director,
hiermee kan doen,
16:16
and letting him control, say,
als hij de kracht en de richting
van de wind
16:18
the strength and direction of wind
in a shot after it's been recorded.
in een opname achteraf kan bepalen.
Hier richtten we de camera
op een hangend gordijn.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
Je ziet zelfs geen beweging in deze video,
16:29
and you can't even see
any motion in this video,
maar tijdens het opnemen
van twee minuten video,
16:33
but by recording a two-minute-long video,
veroorzaakten natuurlijke luchtstromen
in deze kamer
16:36
natural air currents in this room
16:38
created enough subtle,
imperceptible motions and vibrations
genoeg subtiele, onmerkbare
bewegingen en trillingen
dat we daarmee
deze simulatie konden creëren.
16:43
that we could learn enough
to create this simulation.
Ironisch genoeg
16:48
And ironically,
zijn we al gewend
aan dit soort interactiviteit
16:50
we're kind of used to having
this kind of interactivity
met virtuele objecten,
16:53
when it comes to virtual objects,
als het gaat om videogames en 3D-modellen.
16:56
when it comes to video games
and 3D models,
Maar deze informatie van echte objecten
in de echte wereld kunnen vastleggen
16:59
but to be able to capture this information
from real objects in the real world
met slechts eenvoudige, gewone video,
17:04
using just simple, regular video,
is iets nieuws
dat veel mogelijkheden biedt.
17:06
is something new that has
a lot of potential.
Hier zijn de fantastische mensen
die met mij
17:10
So here are the amazing people
who worked with me on these projects.
hebben samengewerkt aan deze projecten.
(Applaus)
17:16
(Applause)
Wat ik vandaag heb laten zien,
is slechts het begin,
17:24
And what I've shown you today
is only the beginning.
een peulenschil
17:27
We've just started to scratch the surface
vergeleken met wat je kunt doen
met dit soort beeldvorming.
17:29
of what you can do
with this kind of imaging,
Het geeft ons een nieuwe manier
17:32
because it gives us a new way
om onze omgeving met gewone,
toegankelijke technologie vast te leggen.
17:35
to capture our surroundings
with common, accessible technology.
Als we naar de toekomst kijken,
17:40
And so looking to the future,
is het interessant om te zien
17:41
it's going to be
really exciting to explore
wat dit ons kan vertellen
over onze wereld.
17:44
what this can tell us about the world.
17:46
Thank you.
Dankjewel.
(Applaus)
17:47
(Applause)
Translated by Rik Delaet
Reviewed by Robert de Ridder

▲Back to top

About the Speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com