17:58
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Új videotechnológia fedi fel a tárgyak rejtett tulajdonságait

Filmed:

Finom mozgások vesznek körbe minket folyamatosan, többek között a hang által okozott apró rezgések. Egy új technológia megmutatja, hogy felfigyelhetünk ezekre a rezgésekre, és újra előállíthatunk hangokat és beszélgetéseket, amihez mindössze egy videó kell, látszólag mozdulatlan tárgyakról. De Abe Davis most egy lépéssel továbbviszi mindezt: Nézd meg a bemutató szoftverét, ami mindenki számára lehetővé teszi, hogy interakcióba lépjen ezekkel a rejtett tulajdonságokkal, csupán egy egyszerű videó alapján.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Most of us think of motion
as a very visual thing.
Többségünk úgy gondol a mozgásra,
mint egy nagyon vizuális dologra.
00:13
If I walk across this stage
or gesture with my hands while I speak,
Ha keresztülsétálok ezen a színpadon,
vagy beszéd közben gesztikulálok,
00:17
that motion is something that you can see.
az egy olyan mozgás, amit látnak.
00:22
But there's a world of important motion
that's too subtle for the human eye,
De van egy világ, tele olyan mozgásokkal,
amelyek túl finomak az emberi szemnek,
00:26
and over the past few years,
és az elmúlt pár év során
00:31
we've started to find that cameras
kezdtünk rájönni, hogy a kamerák
00:33
can often see this motion
even when humans can't.
gyakran látják ezt a mozgást,
még ha az emberek nem is.
00:35
So let me show you what I mean.
Hadd mutassam be, mire gondolok!
00:40
On the left here, you see video
of a person's wrist,
Bal oldalt láthatnak egy videót
egy ember csuklójáról
00:42
and on the right, you see video
of a sleeping infant,
és jobb oldalt egy videót
egy alvó csecsemőről,
00:46
but if I didn't tell you
that these were videos,
de ha nem mondanám el önöknek,
hogy ezek videók,
00:49
you might assume that you were looking
at two regular images,
azt feltételezhetnék,
hogy két hagyományos képet látnak,
00:52
because in both cases,
mert mindkét esetben
00:56
these videos appear to be
almost completely still.
a videók teljes mértékben
mozdulatlannak tűnnek.
00:58
But there's actually a lot
of subtle motion going on here,
De valójában rengeteg finom mozgás
van folyamatban itt,
01:02
and if you were to touch
the wrist on the left,
és ha megérinthetnék
a csuklót bal oldalt,
01:06
you would feel a pulse,
éreznék a pulzust,
01:08
and if you were to hold
the infant on the right,
vagy ha karjukban tartanák
a jobb oldali csecsemőt,
01:10
you would feel the rise
and fall of her chest
éreznék, ahogy a mellkasa
emelkedik és süllyed
01:12
as she took each breath.
minden lélegzetvételénél.
01:15
And these motions carry
a lot of significance,
És ezek a mozgások
hatalmas jelentőséggel bírnak,
01:17
but they're usually
too subtle for us to see,
de általában túl finomak ahhoz,
hogy észrevegyük őket,
01:21
so instead, we have to observe them
ezért inkább közvetlen kapcsolattal,
01:24
through direct contact, through touch.
azaz érintéssel tudjuk megfigyelni őket.
01:26
But a few years ago,
De néhány éve
01:30
my colleagues at MIT developed
what they call a motion microscope,
MIT-s kollégáim kifejlesztettek
egy úgy nevezett mozgásmikroszkópot,
01:32
which is software that finds
these subtle motions in video
egy olyan szoftvert, ami képes megtalálni
ezeket a finom mozgásokat egy videóban
01:36
and amplifies them so that they
become large enough for us to see.
és felerősíteni őket annyira,
hogy mi is láthassuk.
01:41
And so, if we use their software
on the left video,
Így tehát ha használjuk a szoftvert
a bal oldali videón,
01:45
it lets us see the pulse in this wrist,
láthatóvá teszi számunkra a pulzust
01:48
and if we were to count that pulse,
és ha megszámolnánk a lüktetéseket,
01:52
we could even figure out
this person's heart rate.
még ki is számolhatnánk
az illető szívverését.
01:53
And if we used the same software
on the right video,
És ha ugyanezt a szoftvert alkalmazzuk
a jobb oldali videón,
01:57
it lets us see each breath
that this infant takes,
láthatóvá válik minden lélegzet,
amit a csecsemő vesz
02:00
and we can use this as a contact-free way
to monitor her breathing.
és ezt használhatjuk légzésének
kontaktusmentes monitorozásra.
02:03
And so this technology is really powerful
because it takes these phenomena
Tehát ez a technológia nagyon erőteljes,
mert lehetővé teszi,
02:08
that we normally have
to experience through touch
hogy ezeket az általában érintéssel
megtapasztalt jelenségeket
02:14
and it lets us capture them visually
and non-invasively.
vizuálisan, nem-invazív módon
ragadjuk meg.
02:16
So a couple years ago, I started working
with the folks that created that software,
Szóval, pár éve elkezdtem dolgozni
a szoftver készítőivel,
02:21
and we decided to pursue a crazy idea.
és egy őrült ötlet
megvalósítására adtuk a fejünket.
02:25
We thought, it's cool
that we can use software
Arra gondoltunk, menő,
hogy a szoftver használatával
02:28
to visualize tiny motions like this,
vizualizálhatunk ilyen apró mozgásokat,
02:31
and you can almost think of it
as a way to extend our sense of touch.
és szinte felfoghatjuk ezt
a tapintás érzékünk kiterjesztéseként.
02:34
But what if we could do the same thing
with our ability to hear?
De mi lenne, ha meg tudnánk tenni
ugyanezt a hallásunkkal is?
02:39
What if we could use video
to capture the vibrations of sound,
Mi lenne, ha a videó segítségével
megragadhatnánk a hang rezgéseit,
02:44
which are just another kind of motion,
ami csupán egy másik fajta mozgás,
02:49
and turn everything that we see
into a microphone?
és így mindent, amit látunk
mikrofonná változtathatnánk?
02:52
Now, this is a bit of a strange idea,
Nos, ez egy kicsit furcsa ötlet,
02:56
so let me try to put it
in perspective for you.
hadd próbáljam meg hát
perspektívába helyezni.
02:58
Traditional microphones
work by converting the motion
A hagyományos mikrofonok
azon az elven működnek,
03:01
of an internal diaphragm
into an electrical signal,
hogy egy belső membrán mozgását
elektromos jellé konvertálják,
03:05
and that diaphragm is designed
to move readily with sound
és ez a membrán úgy van tervezve,
hogy a hangra könnyen rezdüljön,
03:08
so that its motion can be recorded
and interpreted as audio.
így a mozgása felvehető
és hangként lefordítható lesz.
03:12
But sound causes all objects to vibrate.
De a hang minden tárgyat
rezgésbe hoz.
03:17
Those vibrations are just usually
too subtle and too fast for us to see.
Ezek a rezgések általában túl finomak
és túl gyorsak, hogy láthassuk őket.
03:21
So what if we record them
with a high-speed camera
Szóval, mi lenne, ha felvennénk őket
egy nagysebességű kamerával
03:26
and then use software
to extract tiny motions
és aztán a szoftvert használnánk,
hogy kivonjuk az apró mozgásokat
03:30
from our high-speed video,
a nagysebességű videónkból,
03:34
and analyze those motions to figure out
what sounds created them?
és elemezzük azokat a mozgásokat,
hogy kiderüljön, milyen hang okozta őket?
03:36
This would let us turn visible objects
into visual microphones from a distance.
Így a látható tárgyakat távoli
vizuális mikrofonokká változtathatnánk.
03:41
And so we tried this out,
Szóval kipróbáltuk ezt a dolgot,
03:49
and here's one of our experiments,
és íme az egyik kísérletünk,
03:51
where we took this potted plant
that you see on the right
ahol fogtuk ezt a cserepes növényt,
amit a jobb oldalon látnak
03:53
and we filmed it with a high-speed camera
és egy nagysebességű kamerával filmeztük,
03:56
while a nearby loudspeaker
played this sound.
miközben egy közeli hangszóró
ezt a hangot játszotta.
03:58
(Music: "Mary Had a Little Lamb")
[A szobában hangszórón játszott hang]
(Zene: "Mary Had a Little Lamb")
04:02
And so here's the video that we recorded,
És íme a videó, amit felvettünk,
04:11
and we recorded it at thousands
of frames per second,
és ugyan másodpercenként
több ezer képkockát rögzítettünk,
04:14
but even if you look very closely,
még ha nagyon közelről vizsgálják,
04:18
all you'll see are some leaves
akkor is csupán néhány levél látható,
04:20
that are pretty much
just sitting there doing nothing,
amik lényegében csak úgy vannak,
és nem csinálnak semmit,
04:22
because our sound only moved those leaves
by about a micrometer.
mert a hang ezeket a leveleket
alig pár mikrométernyit mozdította meg.
04:25
That's one ten-thousandth of a centimeter,
Ez egy centiméter egy-tízezrede,
04:31
which spans somewhere between
a hundredth and a thousandth
ami nagyjából akkora kiterjedésű,
mint egy pixel százada vagy ezrede
04:35
of a pixel in this image.
ezen a képen.
04:39
So you can squint all you want,
Szóval hunyoroghatnak, amennyit akarnak,
04:41
but motion that small is pretty much
perceptually invisible.
de egy ilyen kis mértékű mozgás
lényegében érzékszervileg láthatatlan.
04:44
But it turns out that something
can be perceptually invisible
De kiderült, hogy valami lehet
érzékszervileg láthatatlan
04:49
and still be numerically significant,
és mégis jelentős számtanilag,
04:53
because with the right algorithms,
mert a megfelelő algoritmusokat használva
04:56
we can take this silent,
seemingly still video
foghatjuk és ebből a néma,
mozdulatlannak tűnő videóból
04:58
and we can recover this sound.
visszanyerhetjük ezt a hangot.
05:02
(Music: "Mary Had a Little Lamb")
(Zene: "Mary Had a Little Lamb")
05:04
(Applause)
(Taps)
05:12
So how is this possible?
Szóval hogyan is lehetséges ez?
05:22
How can we get so much information
out of so little motion?
Hogyan szerezhetünk ilyen sok információt,
ilyen kicsi mozgásból?
05:23
Well, let's say that those leaves
move by just a single micrometer,
Nos, mondjuk, hogy azok a levelek
csupán egyetlen mikrométernyit mozdulnak,
05:28
and let's say that that shifts our image
by just a thousandth of a pixel.
és mondjuk, hogy ez a képünket
csak egy pixel ezredével mozdítja el.
05:33
That may not seem like much,
Ez talán nem tűnik soknak,
05:39
but a single frame of video
de egyetlen képkocka
05:41
may have hundreds of thousands
of pixels in it,
több százezer pixelt foglalhat magába
05:43
and so if we combine all
of the tiny motions that we see
és ha össze tudjuk rakni
az összes ilyen kis mozgást, amit látunk
05:47
from across that entire image,
az egész kép területéről,
05:50
then suddenly a thousandth of a pixel
akkor hirtelen egy pixel ezrede
05:52
can start to add up
to something pretty significant.
elkezdhet összeadódni
valami egészen jelentőssé.
05:55
On a personal note, we were pretty psyched
when we figured this out.
Hadd áruljam el, hogy eléggé bezsongtunk,
amikor rájöttünk minderre.
05:58
(Laughter)
(Nevetés)
06:02
But even with the right algorithm,
De még a megfelelő algoritmussal is
06:04
we were still missing
a pretty important piece of the puzzle.
hiányzott egy elég fontos darabja
a kirakósnak.
06:08
You see, there are a lot of factors
that affect when and how well
Ugyanis rengeteg tényező befolyásolja,
mikor és mennyire jól fog
06:11
this technique will work.
ez a technika működni.
06:15
There's the object and how far away it is;
Ott van a tárgy és hogy milyen messze van;
06:17
there's the camera
and the lens that you use;
ott a kamera és a lencsék,
amiket használunk;
06:20
how much light is shining on the object
and how loud your sound is.
mennyi fény éri a tárgyat
és milyen hangos a hang.
06:22
And even with the right algorithm,
És még a megfelelő algoritmussal is
06:27
we had to be very careful
with our early experiments,
nagyon óvatosnak kellett lennünk
a korai kísérleteinkben,
06:31
because if we got
any of these factors wrong,
mert ha ezen tényezők
akármelyikét elhibáztuk,
06:34
there was no way to tell
what the problem was.
esélytelen volt megmondani,
hogy mi is a probléma.
06:37
We would just get noise back.
Csak zajt nyertünk vissza.
06:39
And so a lot of our early
experiments looked like this.
Ezért aztán rengeteg korai kísérletünk
festett valahogy így.
06:42
And so here I am,
Íme, itt vagyok én,
06:45
and on the bottom left, you can kind of
see our high-speed camera,
és valamelyest látni a bal alsó sarokban
a nagysebességű kameránkat,
06:47
which is pointed at a bag of chips,
ami egy zacskó chipsre szegeződik,
06:51
and the whole thing is lit
by these bright lamps.
és mindez ezekkel a ragyogó lámpákkal
van bevilágítva.
06:53
And like I said, we had to be
very careful in these early experiments,
Mint mondtam, az ilyen korai kísérleteknél
nagyon óvatosnak kellett lennünk,
06:56
so this is how it went down.
ezért így festett a dolog.
07:01
(Video) Abe Davis: Three, two, one, go.
(Videó) Abe Davis: Három, kettő, egy, és!
07:03
Mary had a little lamb!
Little lamb! Little lamb!
Mary had a little lamb!
Little lamb! Little lamb!
07:07
(Laughter)
(Nevetés)
07:12
AD: So this experiment
looks completely ridiculous.
AD: Szóval ez a kísérlet
teljes mértékben röhejesen fest.
07:17
(Laughter)
(Nevetés)
07:20
I mean, I'm screaming at a bag of chips --
Úgy értem, egy zacskó chipsnek kiabálok...
07:21
(Laughter) --
(Nevetés)
07:24
and we're blasting it with so much light,
...amire annyi fényt nyomtunk,
07:25
we literally melted the first bag
we tried this on. (Laughter)
hogy az első zacskót, amin kipróbáltuk,
szó szerint megolvasztottuk. (Nevetés)
07:27
But ridiculous as this experiment looks,
De bármilyen röhejesnek
tűnik is ez a kísérlet,
07:32
it was actually really important,
valójában nagyon fontos volt,
07:35
because we were able
to recover this sound.
mert sikerült visszanyernünk
ezt a hangot.
07:37
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
(Hang) Mary had a little lamb!
Little lamb! Little lamb!
07:40
(Applause)
(Taps)
07:45
AD: And this was really significant,
AD: És ennek nagy jelentősége volt,
07:49
because it was the first time
we recovered intelligible human speech
mert ez volt az első, hogy
kivehető emberi hangot nyertünk vissza
07:51
from silent video of an object.
egy tárgyról készült néma videóból.
07:55
And so it gave us this point of reference,
Ez adott nekünk egy viszonyítási pontot,
07:57
and gradually we could start
to modify the experiment,
és fokozatosan elkezdhettük
módosítani a kísérletet
08:00
using different objects
or moving the object further away,
különböző tárgyakat használtunk,
vagy messzebbre helyeztük őket,
08:04
using less light or quieter sounds.
kevesebbet fényt vagy
halkabb hangot használtunk.
08:07
And we analyzed all of these experiments
És elemeztük az összes ilyen kísérletet,
08:11
until we really understood
the limits of our technique,
amíg valóban megértettük
a technikánk korlátait;
08:14
because once we understood those limits,
mert amint megismertük
ezeket a korlátokat,
08:18
we could figure out how to push them.
kitalálhattuk, hogyan lehetne
feszegetni őket.
08:20
And that led to experiments like this one,
És ez vezetett az olyan kísérletekhez,
mint ez is,
08:22
where again, I'm going to speak
to a bag of chips,
ahol ismét beszélni fogok
egy zacskó chipshez,
08:25
but this time we've moved our camera
about 15 feet away,
de ezúttal a kamerát úgy
öt méterrel távolabb helyeztük el,
08:28
outside, behind a soundproof window,
kívül, egy hangszigetelt üvegen túl,
08:33
and the whole thing is lit
by only natural sunlight.
és az egész csak természetes napfénnyel
volt megvilágítva.
08:36
And so here's the video that we captured.
Íme a videó, amit felvettünk.
08:40
And this is what things sounded like
from inside, next to the bag of chips.
És így hangzott a dolog belül,
a zacskó chips mellett.
08:44
(Audio) Mary had a little lamb
whose fleece was white as snow,
(Hang) Mary had a little lamb
whose fleece was white as snow,
08:49
and everywhere that Mary went,
that lamb was sure to go.
and everywhere that Mary went,
that lamb was sure to go.
08:54
AD: And here's what we were able
to recover from our silent video
AD: És ezt sikerült visszanyernünk
a néma videóból,
08:59
captured outside behind that window.
amit kintről,
az üvegen túlról vettünk fel.
09:03
(Audio) Mary had a little lamb
whose fleece was white as snow,
(Hang) Mary had a little lamb
whose fleece was white as snow,
09:06
and everywhere that Mary went,
that lamb was sure to go.
and everywhere that Mary went,
that lamb was sure to go.
09:10
(Applause)
(Taps)
09:15
AD: And there are other ways
that we can push these limits as well.
AD: Vannak más módjai is annak,
hogy ezeket a határokat feszegessük.
09:22
So here's a quieter experiment
Itt van ez a csendesebb kísérlet,
09:25
where we filmed some earphones
plugged into a laptop computer,
ahol egy laptophoz csatlakoztatott
füldugót filmeztünk le,
09:27
and in this case, our goal was to recover
the music that was playing on that laptop
és ebben az esetben, a laptopon játszott
zenét akartuk visszanyerni
09:31
from just silent video
csupán egy néma videóból
09:35
of these two little plastic earphones,
erről a két kis műanyag fülhallgatóról,
09:38
and we were able to do this so well
és ez annyira jól sikerült,
09:40
that I could even Shazam our results.
hogy az eredményre még
a Shazamon is rá tudtam keresni.
09:42
(Laughter)
(Nevetés)
09:45
(Music: "Under Pressure" by Queen)
[Videóból visszanyert hang]
(Zene: "Under Pressure" a Queentől)
09:49
(Applause)
(Taps)
10:01
And we can also push things
by changing the hardware that we use.
Próbálkozhatunk azzal is, hogy
más eszközöket használunk a felvételhez.
10:06
Because the experiments
I've shown you so far
Mert azok a kísérletek,
amiket eddig mutattam,
10:11
were done with a camera,
a high-speed camera,
mind nagy sebességű kamerával készültek
10:13
that can record video
about a 100 times faster
ami nagyjából százszor
gyorsabban tud felvenni,
10:15
than most cell phones,
mint a legtöbb mobiltelefon,
10:18
but we've also found a way
to use this technique
de arra is találtunk módot,
hogy ezt a technikát
10:20
with more regular cameras,
közönségesebb kamerákkal használjuk.
10:23
and we do that by taking advantage
of what's called a rolling shutter.
Tettük ezt úgy, hogy kihasználtuk
az úgy nevezett gördülő zárat.
10:25
You see, most cameras
record images one row at a time,
Ugyanis a legtöbb kamera
soronként rögzíti a képeket,
10:29
and so if an object moves
during the recording of a single image,
így, ha egy tárgy elmozdul
egyetlen kép rögzítése közben,
10:34
there's a slight time delay
between each row,
van egy kis időeltolódás
minden sor között,
10:40
and this causes slight artifacts
ez apró kis torzulásokat okoz,
10:43
that get coded into each frame of a video.
amik a videó minden képkockáján
kódolásra kerülnek.
10:46
And so what we found
is that by analyzing these artifacts,
Arra jöttünk rá, hogy ezeket
a torzulásokat elemezve
10:49
we can actually recover sound
using a modified version of our algorithm.
képesek vagyunk visszanyerni a hangot,
az algoritmusunk módosított verziójával.
10:53
So here's an experiment we did
Tehát, itt az egyik kísérletünk,
10:58
where we filmed a bag of candy
ahol egy zacskó cukrot filmeztünk,
11:00
while a nearby loudspeaker played
miközben egy közeli hangszóró
11:01
the same "Mary Had a Little Lamb"
music from before,
ugyanazt a "Mary Had a Little Lamb"
zenét játszotta korábbról,
11:03
but this time, we used just a regular
store-bought camera,
de ezúttal, csak egy általános,
boltban kapható kamerát használtunk,
11:06
and so in a second, I'll play for you
the sound that we recovered,
és máris lejátszom önöknek
a hangot, amit visszanyertünk,
11:10
and it's going to sound
distorted this time,
ezúttal egy kicsit
torzítottan fog hangzani,
11:13
but listen and see if you can still
recognize the music.
de hallgassák, hogy még
fel tudják-e ismerni a zenét.
11:15
(Audio: "Mary Had a Little Lamb")
(Hang: "Mary Had a Little Lamb")
[A zacskó cukorkából visszanyert hang]
11:19
And so, again, that sounds distorted,
És igen, ez a hang ugyan torzított,
11:37
but what's really amazing here
is that we were able to do this
de ami igazán lenyűgöző,
hogy képesek voltunk ezt elérni,
11:40
with something
that you could literally run out
egy olyan eszközzel,
amit könnyen beszerezhetnek,
11:45
and pick up at a Best Buy.
ha átugranak a Best Buy-ba.
11:48
So at this point,
Szóval ezen a ponton,
11:51
a lot of people see this work,
rengeteg ember, aki látja ezt a munkát
11:52
and they immediately think
about surveillance.
rögtön a megfigyelésre gondol.
11:54
And to be fair,
Hogy őszinte legyek,
11:57
it's not hard to imagine how you might use
this technology to spy on someone.
nem nehéz elképzelni, hogy lehetne
ezt a technológiát kémkedésre használni.
12:00
But keep in mind that there's already
a lot of very mature technology
De tartsuk észben, hogy rengeteg
kiforrott technológia létezik már
12:04
out there for surveillance.
a megfigyelésre.
12:08
In fact, people have been using lasers
Valójában az emberek évtizedek óta
12:09
to eavesdrop on objects
from a distance for decades.
lézerek használatával hallgatnak le
tárgyakat a távolban.
12:12
But what's really new here,
De ami igazán új itt,
12:15
what's really different,
ami igazán különböző,
12:18
is that now we have a way
to picture the vibrations of an object,
hogy most már van egy módszerünk,
hogy elképzeljük egy tárgy rezgéseit,
12:19
which gives us a new lens
through which to look at the world,
ami egy új szempontot kínál,
ahonnan a világot szemlélhetjük,
12:23
and we can use that lens
és ez nem csak arra jó,
12:27
to learn not just about forces like sound
that cause an object to vibrate,
hogy megismerjük a hanghoz hasonló erőket,
ami egy tárgy rezgését okozza,
12:28
but also about the object itself.
de magát a tárgyat is jobban megismerjük.
12:33
And so I want to take a step back
Ezért tennék most egy lépést hátra
12:36
and think about how that might change
the ways that we use video,
és szeretnék elgondolkozni,
hogy változtat ez a videózás használatán,
12:38
because we usually use video
to look at things,
mert a videót általában arra használjuk,
hogy nézzük a dolgokat,
12:42
and I've just shown you how we can use it
ám épp most mutattam meg,
hogy használható arra,
12:46
to listen to things.
hogy hallgassuk a dolgokat.
12:48
But there's another important way
that we learn about the world:
De van még egy fontos módszer,
ami által a világról tanulunk:
12:50
that's by interacting with it.
ha interakcióba lépünk vele.
12:54
We push and pull and poke and prod things.
Húzzuk és vonjuk a dolgokat,
böködjük és szurkáljuk.
12:56
We shake things and see what happens.
Megrázzuk őket és figyeljük,
hogy mi történik.
13:00
And that's something that video
still won't let us do,
És ez olyasmi, amit a videó
még nem enged nekünk megtenni,
13:03
at least not traditionally.
legalábbis hagyományosan nem.
13:07
So I want to show you some new work,
Ezért mutatnék egy új munkát önöknek,
13:09
and this is based on an idea I had
just a few months ago,
ami egy pár hónappal ezelőtti
ötletemen alapul,
13:11
so this is actually the first time
I've shown it to a public audience.
szóval igazából ez az első alkalom,
hogy megmutatom a nagyközönségnek.
13:14
And the basic idea is that we're going
to use the vibrations in a video
Az alapvető ötlet, hogy felhasználjuk
a videón rögzített rezgéseket arra,
13:17
to capture objects in a way
that will let us interact with them
hogy a tárgyakat oly módon örökítsük meg,
ami lehetővé teszi velük az interkaciót
13:22
and see how they react to us.
és megmutatja, hogyan reagálnak ránk.
13:27
So here's an object,
Szóval itt van egy tárgy,
13:31
and in this case, it's a wire figure
in the shape of a human,
ez éppen egy ember alakú drótfigura,
13:32
and we're going to film that object
with just a regular camera.
és fel fogjuk venni ezt a tárgyat
egy átlagos kamerával.
13:36
So there's nothing special
about this camera.
Tehát a kamerában
nincsen semmi különleges.
13:39
In fact, I've actually done this
with my cell phone before.
Sőt, én már csináltam ilyet
a mobilommal is korábban.
13:41
But we do want to see the object vibrate,
De szeretnénk látni,
ahogy a tárgy rezeg,
13:44
so to make that happen,
és hogy ezt elérjük,
13:47
we're just going to bang a little bit
on the surface where it's resting
egy kicsit megütögetjük a felületet,
amin helyet foglal,
13:48
while we record this video.
miközben felvesszük ezt a videót.
13:51
So that's it: just five seconds
of regular video,
Szóval ennyi: csak öt másodperc
átlagos videó,
13:59
while we bang on this surface,
miközben ütögetjük a felületet,
14:03
and we're going to use
the vibrations in that video
a videóban lévő rezgéseket
arra fogjuk használni,
14:05
to learn about the structural
and material properties of our object,
hogy többet tudjunk meg a tárgyunk
szerkezeti és anyagi tulajdonságairól,
14:08
and we're going to use that information
to create something new and interactive.
ennek az információnak a segítségével majd
valami újat és interaktívat hozunk létre.
14:13
And so here's what we've created.
Íme, amit létrehoztunk.
14:24
And it looks like a regular image,
Úgy néz ki, mint egy közönséges kép,
14:27
but this isn't an image,
and it's not a video,
de ez nem egy kép,
és nem is egy videó,
14:29
because now I can take my mouse
mert most foghatom az egeremet
14:32
and I can start interacting
with the object.
és elkezdhetek kapcsolatot teremteni
a tárggyal.
14:35
And so what you see here
És amit most itt látnak,
14:44
is a simulation of how this object
az egy szimulációja annak,
14:47
would respond to new forces
that we've never seen before,
ahogy a tárgy reagálna új erőkre,
amiket még sosem láttunk,
14:49
and we created it from just
five seconds of regular video.
és ezt csak egy öt másodperces
egyszerű videóból készítettük.
14:54
(Applause)
(Taps)
14:59
And so this is a really powerful
way to look at the world,
Ez egy nagyon hatásos módja annak,
ahogy a világot szemléljük,
15:09
because it lets us predict
how objects will respond
mert általa megjósolhatjuk,
hogyan fognak a tárgyak reagálni
15:12
to new situations,
egy új helyzetre,
15:15
and you could imagine, for instance,
looking at an old bridge
és elképzelhetjük például,
ahogy nézünk egy régi hídra,
15:17
and wondering what would happen,
how would that bridge hold up
és azon gondolkozunk, mi történne,
hogyan tartana ki a híd,
15:20
if I were to drive my car across it.
ha áthajtanánk rajta az autónkkal.
15:24
And that's a question
that you probably want to answer
Ez egy olyan kérdés,
amire jó lenne tudni a választ,
15:27
before you start driving
across that bridge.
mielőtt elkezdünk áthajtani
azon a hídon.
15:30
And of course, there are going to be
limitations to this technique,
És természetesen lesznek korlátai
ennek a technikának,
15:33
just like there were
with the visual microphone,
mint ahogy voltak
a vizuális mikrofonnak is,
15:37
but we found that it works
in a lot of situations
de azt vettük észre,
hogy sok helyzetben működik,
15:39
that you might not expect,
amiben talán nem is várnák,
15:42
especially if you give it longer videos.
különösen,
ha hosszabb videókkal dolgozunk.
15:44
So for example,
here's a video that I captured
Szóval például itt egy videó,
amit felvettem,
15:47
of a bush outside of my apartment,
egy bokorról a lakásom előtt.
15:50
and I didn't do anything to this bush,
Nem csináltam semmit a bokorral,
15:52
but by capturing a minute-long video,
de míg felvettem egy egyperces videót,
15:55
a gentle breeze caused enough vibrations
egy kis szellő elég rezgést okozott,
15:58
that we could learn enough about this bush
to create this simulation.
hogy eleget megtudjunk a bokorról,
és így létrehozhassuk ezt a szimulációt.
16:01
(Applause)
(Taps)
16:07
And so you could imagine giving this
to a film director,
El tudják képzelni,
ahogy egy fimrendező kezébe adjuk ezt,
16:13
and letting him control, say,
hogy így kontrollálhassa, mondjuk
16:16
the strength and direction of wind
in a shot after it's been recorded.
a szél erejét és irányát
egy jelenetben, miután felvették azt.
16:18
Or, in this case, we pointed our camera
at a hanging curtain,
Vagy, ebben az esetben, a kameránkat
egy felakasztott függönyre szegeztük.
16:24
and you can't even see
any motion in this video,
Nem látnak semmi mozgást
ezen a videón,
16:29
but by recording a two-minute-long video,
de egy kétperces videó felvételével,
16:33
natural air currents in this room
a szobában lévő
természetes légmozgások
16:36
created enough subtle,
imperceptible motions and vibrations
elegendő finom, alig érzékelhető
mozgást és rezgést okoztak,
16:38
that we could learn enough
to create this simulation.
hogy eleget tudjunk
a szimuláció elkészítéséhez.
16:43
And ironically,
Ironikus módon,
16:48
we're kind of used to having
this kind of interactivity
eléggé hozzá vagyunk szokva
az ilyen fajta interaktivitáshoz,
16:50
when it comes to virtual objects,
ha virtuális tárgyakról van szó,
16:53
when it comes to video games
and 3D models,
videó játékokról és 3D modellekről,
16:56
but to be able to capture this information
from real objects in the real world
de a képesség, hogy ezt az információt
a valóság valós tárgyairól is megszerezzük
16:59
using just simple, regular video,
csupán egyszerű,
hagyományos videót használva,
17:04
is something new that has
a lot of potential.
ez valami új,
ami nagyon sok lehetőséget rejt.
17:06
So here are the amazing people
who worked with me on these projects.
Szóval íme a lenyűgöző emberek,
akikkel ezeken a projekteken dolgoztam.
17:10
(Applause)
(Taps)
17:16
And what I've shown you today
is only the beginning.
És amit ma megmutattam önöknek,
az csak a kezdet.
17:24
We've just started to scratch the surface
Épp csak karcolgatjuk a felszínét annak,
17:27
of what you can do
with this kind of imaging,
amit ezzel a képalkotással
megtehetünk,
17:29
because it gives us a new way
mert egy új módszert biztosít arra,
17:32
to capture our surroundings
with common, accessible technology.
hogy megörökítsük a környezetünket,
mindennapi, hozzáférhető technológiával.
17:35
And so looking to the future,
Szóval a jövőbe nézve,
17:40
it's going to be
really exciting to explore
nagyon izgalmas lesz felfedezni,
17:41
what this can tell us about the world.
mit árulhat el ez nekünk a világról.
17:44
Thank you.
Köszönöm!
17:46
(Applause)
(Taps)
17:47
Translated by Lúcia Sánta
Reviewed by Csaba Lóki

▲Back to top

About the Speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com