17:58
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: O nouă tehnologie video ce dezvăluie proprietățile ascunse ale obiectelor

Filmed:

În jurul nostru se produc mereu mișcări subtile, inclusiv vibrații infime produse de sunet. Noua tehnologie permite captarea acestor vibrații și reconstituirea sunetelor și conversațiilor doar dintr-o filmare a unui obiect aparent nemișcat. Acum, Abe Davids trece la nivelul următor: urmăriți-l prezentând programul informatic ce permite oricui să interacționeze cu aceste proprietăți ascunse, pornind de la o simplă filmare.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Cei mai mulţi ne imaginăm mişcarea
ca pe un lucru foarte vizual.
00:13
Most of us think of motion
as a very visual thing.
Dacă merg pe scenă sau mişc mâinile
în timp ce vorbesc,
00:17
If I walk across this stage
or gesture with my hands while I speak,
puteţi vedea aceste mişcări.
00:22
that motion is something that you can see.
Dar există un univers de mişcări
care sunt prea subtile pentru ochiul uman,
00:26
But there's a world of important motion
that's too subtle for the human eye,
iar în ultimii ani,
00:31
and over the past few years,
începem să descoperim că videocamerele
00:33
we've started to find that cameras
„văd” deseori mişcări care sunt
imperceptibile pentru oameni.
00:35
can often see this motion
even when humans can't.
Să vă arăt despre ce e vorba.
00:40
So let me show you what I mean.
În partea stângă, vedeţi filmarea
încheieturii unei persoane,
00:42
On the left here, you see video
of a person's wrist,
iar în dreapta, înregistrarea
unui copil care doarme,
00:46
and on the right, you see video
of a sleeping infant,
dar dacă nu v-aş fi spus
că acestea sunt filmări,
00:49
but if I didn't tell you
that these were videos,
aţi fi putut crede că priviţi
două imagini obişnuite,
00:52
you might assume that you were looking
at two regular images,
pentru că în ambele cazuri,
00:56
because in both cases,
aceste filmări par să fie
complet nemişcate.
00:58
these videos appear to be
almost completely still.
Dar sunt multe mişcări subtile acolo.
01:02
But there's actually a lot
of subtle motion going on here,
Dacă ai atinge încheietura din stânga,
01:06
and if you were to touch
the wrist on the left,
ai simţi un puls,
01:08
you would feel a pulse,
iar dacă ai pune mâna
pe copilul din dreapta,
01:10
and if you were to hold
the infant on the right,
i-ai simţi ridicarea
şi coborârea pieptului,
01:12
you would feel the rise
and fall of her chest
în timp ce respiră.
01:15
as she took each breath.
Aceste mişcări sunt foarte importante,
01:17
And these motions carry
a lot of significance,
dar de obicei sunt prea subtile
ca să le putem vedea,
01:21
but they're usually
too subtle for us to see,
aşa că trebuie să le observăm
01:24
so instead, we have to observe them
prin contact direct, prin atingere.
01:26
through direct contact, through touch.
Cu câţiva ani în urmă,
01:30
But a few years ago,
colegii mei de la MIT au dezvoltat
un „microscop al mişcării”,
01:32
my colleagues at MIT developed
what they call a motion microscope,
un program informatic ce găseşte
aceste mişcări subtile din filmare
01:36
which is software that finds
these subtle motions in video
şi le amplifică suficient
pentru ca noi să le putem vedea.
01:41
and amplifies them so that they
become large enough for us to see.
Procesând filmarea din stânga
cu programul lor,
01:45
And so, if we use their software
on the left video,
vom putea vedea pulsul la încheietură,
01:48
it lets us see the pulse in this wrist,
iar dacă numărăm mişcările,
01:52
and if we were to count that pulse,
putem şti câte bătăi pe minut
are acea persoană.
01:53
we could even figure out
this person's heart rate.
Dacă procesăm filmarea din dreapta
cu acelaşi program,
01:57
And if we used the same software
on the right video,
vom putea vedea
orice inspiraţie a copilului,
02:00
it lets us see each breath
that this infant takes,
lucru util pentru monitorizarea
respiraţiei de la distanţă.
02:03
and we can use this as a contact-free way
to monitor her breathing.
Această tehnologie e foarte puternică
pentru că analizează fenomene
02:08
And so this technology is really powerful
because it takes these phenomena
pe care în mod normal
le studiem prin atingere
02:14
that we normally have
to experience through touch
şi ne permite să le analizăm
vizual şi neinvaziv.
02:16
and it lets us capture them visually
and non-invasively.
Cu doi ani în urmă am început colaborarea
cu cei care au creat programul
02:21
So a couple years ago, I started working
with the folks that created that software,
şi am hotărât să încercăm
un proiect extravagant.
02:25
and we decided to pursue a crazy idea.
Ne-am gândit că e tare
că putem folosi programul
02:28
We thought, it's cool
that we can use software
ca să vizualizăm
mişcări minuscule ca acestea
02:31
to visualize tiny motions like this,
şi că poţi vedea asta ca pe un mod
de a-ţi extinde simţul tactil.
02:34
and you can almost think of it
as a way to extend our sense of touch.
Dar dacă am putea face acelaşi lucru
cu simţul nostru auditiv?
02:39
But what if we could do the same thing
with our ability to hear?
Dacă am putea folosi filmarea
pentru a capta vibraţiile sunetului,
02:44
What if we could use video
to capture the vibrations of sound,
care sunt doar un alt tip de mişcare
02:49
which are just another kind of motion,
şi să transformăm tot ce vedem
într-un microfon?
02:52
and turn everything that we see
into a microphone?
E o idee neobişnuită,
02:56
Now, this is a bit of a strange idea,
daţi-mi voie să vă explic.
02:58
so let me try to put it
in perspective for you.
Microfoanele tradiţionale
funcţionează prin conversia mişcării
03:01
Traditional microphones
work by converting the motion
unei diafragme interne
în semnal electric.
03:05
of an internal diaphragm
into an electrical signal,
Acea diafragmă e proiectată
să se mişte sincronizat cu sunetul
03:08
and that diaphragm is designed
to move readily with sound
această mişcare putând fi înregistrată
şi interpretată ca sunet.
03:12
so that its motion can be recorded
and interpreted as audio.
Dar sunetul face să vibreze
toate obiectele.
03:17
But sound causes all objects to vibrate.
Aceste vibraţii sunt prea subtile
şi prea rapide ca să le putem vedea.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
Ce se-ntâmplă dacă le înregistrăm
cu o cameră de mare viteză
03:26
So what if we record them
with a high-speed camera
şi apoi folosim programul informatic
ca să extragem mişcările fine
03:30
and then use software
to extract tiny motions
din filmările cu viteză mare
03:34
from our high-speed video,
şi să analizăm aceste mişcări
ca să determinăm ce sunete le-au creat?
03:36
and analyze those motions to figure out
what sounds created them?
Aşa am putea transforma de la distanţă
obiecte vizibile în microfoane vizuale.
03:41
This would let us turn visible objects
into visual microphones from a distance.
Am încercat să facem asta.
03:49
And so we tried this out,
Iată unul din experimentele noastre,
03:51
and here's one of our experiments,
în care am luat planta
pe care o vedeţi în dreapta
03:53
where we took this potted plant
that you see on the right
şi am filmat-o cu o cameră de mare viteză
03:56
and we filmed it with a high-speed camera
în timp ce o boxă din apropiere
reda acest sunet.
03:58
while a nearby loudspeaker
played this sound.
Muzică:
♪ Mary Had a Little Lamb ♪
04:02
(Music: "Mary Had a Little Lamb")
Aceasta e înregistrarea video,
04:11
And so here's the video that we recorded,
efectuată cu 1000 de cadre/secundă,
04:14
and we recorded it at thousands
of frames per second,
dar chiar dacă priveşti foarte atent,
04:18
but even if you look very closely,
tot ce vezi sunt nişte frunze,
04:20
all you'll see are some leaves
care doar stau acolo fără să facă nimic,
04:22
that are pretty much
just sitting there doing nothing,
pentru că sunetul nostru a mişcat frunzele
doar cu vreun micrometru.
04:25
because our sound only moved those leaves
by about a micrometer.
Adică a zecea mia parte
dintr-un centimetru,
04:31
That's one ten-thousandth of a centimeter,
adică ceva între o sutime şi o miime
dintr-un pixel din această imagine.
04:35
which spans somewhere between
a hundredth and a thousandth
04:39
of a pixel in this image.
Te poţi holba cât vrei,
04:41
So you can squint all you want,
dar mişcări atât de fine
sunt imposibil de perceput vizual.
04:44
but motion that small is pretty much
perceptually invisible.
Dar iată că ceva
poate fi imperceptibil pentru ochi,
04:49
But it turns out that something
can be perceptually invisible
dar totuși semnificativ
pentru tehnologia digitală,
04:53
and still be numerically significant,
deoarece cu algoritmii potriviţi,
04:56
because with the right algorithms,
putem prelucra această filmare
care pare statică
04:58
we can take this silent,
seemingly still video
şi să recuperăm acest sunet.
05:02
and we can recover this sound.
(Muzică) ♪ Mary Had a Little Lamb ♪
05:04
(Music: "Mary Had a Little Lamb")
(Aplauze)
05:12
(Applause)
Cum e posibil?
05:22
So how is this possible?
Cum putem obţine atâtea informaţii
din atât de puţină mişcare?
05:23
How can we get so much information
out of so little motion?
Să zicem că acele frunze
se mişcă doar cu un micrometru
05:28
Well, let's say that those leaves
move by just a single micrometer,
şi că asta modifică imaginea
cu doar a mia parte dintr-un pixel.
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
Poate nu pare mare lucru,
05:39
That may not seem like much,
dar un singur cadru al filmului
05:41
but a single frame of video
poate conţine sute de mii de pixeli
05:43
may have hundreds of thousands
of pixels in it,
şi dacă am combina
toate mişcările alea minuscule
05:47
and so if we combine all
of the tiny motions that we see
din întreaga imagine,
05:50
from across that entire image,
miimile de pixel se pot aduna,
rezultând ceva destul de semnificativ.
05:52
then suddenly a thousandth of a pixel
05:55
can start to add up
to something pretty significant.
Între noi fie vorba, am ţopăit de fericire
când ne-am dat seama de asta.
05:58
On a personal note, we were pretty psyched
when we figured this out.
(Râsete)
06:02
(Laughter)
Dar chiar şi cu algoritmul potrivit,
06:04
But even with the right algorithm,
tabloul nu era complet încă.
06:08
we were still missing
a pretty important piece of the puzzle.
Sunt mulţi factori care influenţează
06:11
You see, there are a lot of factors
that affect when and how well
funcţionarea acestei tehnologii.
06:15
this technique will work.
Avem obiectul şi distanţa până la acesta;
06:17
There's the object and how far away it is;
avem camera video şi lentilele folosite;
06:20
there's the camera
and the lens that you use;
cât de luminat e obiectul
şi cât de puternic e sunetul.
06:22
how much light is shining on the object
and how loud your sound is.
Chiar dacă algoritmul era bun,
06:27
And even with the right algorithm,
a trebuit să fim foarte atenţi
la primele noastre experimente,
06:31
we had to be very careful
with our early experiments,
deoarece dacă greşeam
oricare din aceşti parametri,
06:34
because if we got
any of these factors wrong,
nu aveam cum să ne dăm seama
unde era problema.
06:37
there was no way to tell
what the problem was.
S-ar fi înregistrat doar interferenţe.
06:39
We would just get noise back.
Primele noastre teste arătau cam aşa.
06:42
And so a lot of our early
experiments looked like this.
Aici sunt eu,
06:45
And so here I am,
iar în stânga jos puteţi vedea
camera noastră de mare viteză,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
orientată către o pungă cu chipsuri.
06:51
which is pointed at a bag of chips,
Totul e luminat de nişte lămpi puternice.
06:53
and the whole thing is lit
by these bright lamps.
Cum spuneam, trebuia să fim foarte atenţi
la aceste experimente timpurii,
06:56
And like I said, we had to be
very careful in these early experiments,
Iată ce s-a întâmplat:
07:01
so this is how it went down.
(Video) Abe Davis: Trei, doi, unu, start.
07:03
(Video) Abe Davis: Three, two, one, go.
Mary had a little lamb!
Little lamb! Little lamb!
07:07
Mary had a little lamb!
Little lamb! Little lamb!
(Râsete)
07:12
(Laughter)
AD: Acest experiment pare complet ridicol.
07:17
AD: So this experiment
looks completely ridiculous.
(Râsete)
07:20
(Laughter)
Ţip la o pungă de chipsuri...
07:21
I mean, I'm screaming at a bag of chips --
(Râsete)
07:24
(Laughter) --
şi proiectam atâta lumină, încât am topit
prima pungă pe care am folosit-o.
07:25
and we're blasting it with so much light,
07:27
we literally melted the first bag
we tried this on. (Laughter)
(Râsete)
Dar oricât de ridicol pare experimentul,
07:32
But ridiculous as this experiment looks,
a fost chiar important,
07:35
it was actually really important,
pentru că am putut capta acest sunet:
07:37
because we were able
to recover this sound.
♪ Mary had a little lamb!
Little lamb! Little lamb! ♪
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
(Aplauze)
07:45
(Applause)
AD: A fost important
07:49
AD: And this was really significant,
deoarece era prima dată
când recuperam un mesaj inteligibil
07:51
because it was the first time
we recovered intelligible human speech
dintr-o filmare fără sunet a unui obiect.
07:55
from silent video of an object.
Acesta a fost momentul de referinţă
07:57
And so it gave us this point of reference,
şi am putut modifica experimentul gradual,
08:00
and gradually we could start
to modify the experiment,
folosind obiecte diferite
sau mutându-le mai departe,
08:04
using different objects
or moving the object further away,
folosind mai puţină lumină
sau sunete mai slabe.
08:07
using less light or quieter sounds.
Am analizat toate aceste experimente
08:11
And we analyzed all of these experiments
până am înţeles care sunt
limitele tehnicii folosite,
08:14
until we really understood
the limits of our technique,
pentru că odată ce le-am înţeles,
08:18
because once we understood those limits,
ne puteam da seama cum să le depăşim.
08:20
we could figure out how to push them.
Asta a dus la experimente ca acesta,
08:22
And that led to experiments like this one,
în care voi vorbi din nou
unei pungi de chipsuri,
08:25
where again, I'm going to speak
to a bag of chips,
dar acum mutasem camera
afară, cam la cinci metri,
08:28
but this time we've moved our camera
about 15 feet away,
separată de o fereastră izolată fonic,
08:33
outside, behind a soundproof window,
totul fiind iluminat
doar de razele solare.
08:36
and the whole thing is lit
by only natural sunlight.
Iată ce am filmat:
08:40
And so here's the video that we captured.
Asta se auzea înăuntru,
lângă punga de cipsuri.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
(Voce)Mary had a little lamb
whose fleece was white as snow,
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
08:54
and everywhere that Mary went,
that lamb was sure to go.
AD: Iată ce am putut recupera
din filmarea noastră fără sonor,
08:59
AD: And here's what we were able
to recover from our silent video
de dincolo de acea fereastră.
09:03
captured outside behind that window.
Mary had a little lamb
whose fleece was white as snow,
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
09:10
and everywhere that Mary went,
that lamb was sure to go.
(Aplauze)
09:15
(Applause)
AD: Sunt şi alte căi
prin care putem împinge aceste limite.
09:22
AD: And there are other ways
that we can push these limits as well.
Aici e un experiment mai silenţios
09:25
So here's a quieter experiment
în care am filmat nişte căşti
conectate la un laptop.
09:27
where we filmed some earphones
plugged into a laptop computer,
În acest caz, scopul era
să captăm melodiile care rulau pe laptop
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
folosind doar filmarea fără sunet
09:35
from just silent video
a acestor două mici căşti din plastic.
09:38
of these two little plastic earphones,
Rezultatul a fost atât de bun
09:40
and we were able to do this so well
încât l-am putut folosi
ca să caut cântecul pe Shazam.
09:42
that I could even Shazam our results.
09:45
(Laughter)
(Râsete)
(Muzică) Queen - ♪ Under Pressure ♪
09:49
(Music: "Under Pressure" by Queen)
(Aplauze)
10:01
(Applause)
Putem merge mai departe,
schimbând aparatura folosită.
10:06
And we can also push things
by changing the hardware that we use.
Experimentele pe care
vi le-am arătat până acum
10:11
Because the experiments
I've shown you so far
au fost făcute
cu o cameră de mare viteză,
10:13
were done with a camera,
a high-speed camera,
ce poate înregistra
de 100 de ori mai repede
10:15
that can record video
about a 100 times faster
decât majoritatea telefoanelor mobile.
10:18
than most cell phones,
Dar am găsit o cale
să folosim această tehnică
10:20
but we've also found a way
to use this technique
cu videocamere mai simple
10:23
with more regular cameras,
şi facem asta profitând
de ceea ce se numeşte rolling shutter.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
Majoritatea camerelor
captează imaginile rând cu rând,
10:29
You see, most cameras
record images one row at a time,
deci când obiectul se mişcă
în timpul captării unei singure imagini,
10:34
and so if an object moves
during the recording of a single image,
există un uşor decalaj între rânduri,
10:40
there's a slight time delay
between each row,
lucru ce produce mici artefacte
10:43
and this causes slight artifacts
care sunt codificate
în fiecare cadru al filmării.
10:46
that get coded into each frame of a video.
Am descoperit că analizând
aceste artefacte,
10:49
And so what we found
is that by analyzing these artifacts,
putem recupera sunetul, folosind
varianta modificată a algoritmului nostru.
10:53
we can actually recover sound
using a modified version of our algorithm.
Aici e un experiment
10:58
So here's an experiment we did
în care am filmat o pungă de bomboane
11:00
where we filmed a bag of candy
aflată lângă o boxă
11:01
while a nearby loudspeaker played
din care se auzea acelaşi
„Mary Had a Little Lamb”,
11:03
the same "Mary Had a Little Lamb"
music from before,
dar acum am folosit
o videocameră obişnuită.
11:06
but this time, we used just a regular
store-bought camera,
Imediat vă voi reda
sunetul pe care l-am înregistrat.
11:10
and so in a second, I'll play for you
the sound that we recovered,
Va suna distorsionat
de această dată,
11:13
and it's going to sound
distorted this time,
dar ascultaţi şi observaţi
dacă puteţi recunoaşte melodia.
11:15
but listen and see if you can still
recognize the music.
(Audio) ♪ Mary Had a Little Lamb ♪
11:19
(Audio: "Mary Had a Little Lamb")
Sună distorsionat,
11:37
And so, again, that sounds distorted,
dar e extraordinar
că am putut face asta
11:40
but what's really amazing here
is that we were able to do this
cu o cameră pe care o puteţi cumpăra
11:45
with something
that you could literally run out
de la un magazin de electronice.
11:48
and pick up at a Best Buy.
În acest moment,
11:51
So at this point,
mulţi privesc această tehnologie
11:52
a lot of people see this work,
şi se gândesc imediat la supraveghere.
11:54
and they immediately think
about surveillance.
Să fiu sincer,
11:57
And to be fair,
e uşor de folosit
pentru a spiona pe cineva.
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
Dar nu uitaţi că deja există
tehnologii avansate pentru supraveghere.
12:04
But keep in mind that there's already
a lot of very mature technology
12:08
out there for surveillance.
De fapt, oamenii folosesc lasere
12:09
In fact, people have been using lasers
ca să tragă cu urechea de la distanţă
de câteva decenii.
12:12
to eavesdrop on objects
from a distance for decades.
Ce e cu adevărat nou aici,
12:15
But what's really new here,
ce e cu adevărat diferit,
12:18
what's really different,
e că acum putem ilustra
vibraţiile unui obiect,
12:19
is that now we have a way
to picture the vibrations of an object,
lucru care ne dă posibilitatea
să privim lumea cu alți ochi.
12:23
which gives us a new lens
through which to look at the world,
Putem folosi această perspectivă
12:27
and we can use that lens
ca să studiem nu numai forţe ca sunetul
care face un obiect să vibreze,
12:28
to learn not just about forces like sound
that cause an object to vibrate,
dar și obiectul în sine.
12:33
but also about the object itself.
Vreau să mă opresc
12:36
And so I want to take a step back
şi să-mi imaginez cum ar putea asta
să schimbe modul în care folosim filmul,
12:38
and think about how that might change
the ways that we use video,
deoarece de obicei folosim filmarea
ca să ne uităm la lucruri
12:42
because we usually use video
to look at things,
şi tocmai v-am arătat cum o putem folosi
12:46
and I've just shown you how we can use it
ca să ascultăm lucrurile.
12:48
to listen to things.
Dar mai e o cale prin care putem afla
lucruri importante despre lume:
12:50
But there's another important way
that we learn about the world:
interacţionând cu ea.
12:54
that's by interacting with it.
Împingem şi tragem, testăm lucrurile.
12:56
We push and pull and poke and prod things.
Scuturăm obiectele
şi observăm ce se întâmplă.
13:00
We shake things and see what happens.
Ăsta e un lucru pe care
filmarea nu ni-l permite încă,
13:03
And that's something that video
still won't let us do,
cel puţin nu în mod tradiţional.
13:07
at least not traditionally.
Vreau să vă arăt o tehnologie nouă,
13:09
So I want to show you some new work,
bazată pe o idee
ce mi-a venit acum câteva luni.
13:11
and this is based on an idea I had
just a few months ago,
Asta e prima dată când o prezint public.
13:14
so this is actually the first time
I've shown it to a public audience.
Ideea de bază e că vom folosi
vibraţiile din filmare
13:17
And the basic idea is that we're going
to use the vibrations in a video
ca să captăm obiectele într-un mod
care ne permite să interacţionăm cu ele
13:22
to capture objects in a way
that will let us interact with them
şi să vedem cum reacţionează.
13:27
and see how they react to us.
Aici e un obiect,
13:31
So here's an object,
un filament în formă de om,
13:32
and in this case, it's a wire figure
in the shape of a human,
pe care îl vom filma cu o cameră banală.
13:36
and we're going to film that object
with just a regular camera.
Această cameră nu are nimic special.
13:39
So there's nothing special
about this camera.
De fapt, făcusem asta înainte,
cu camera telefonului meu mobil.
13:41
In fact, I've actually done this
with my cell phone before.
Pentru că vrem cu adevărat
să vedem cum vibrează obiectul
13:44
But we do want to see the object vibrate,
13:47
so to make that happen,
vom lovi suprafaţa pe care e aşezat
13:48
we're just going to bang a little bit
on the surface where it's resting
în timp ce filmăm.
13:51
while we record this video.
Asta e: o filmare obişnuită
de numai cinci secunde,
13:59
So that's it: just five seconds
of regular video,
în timp ce lovim această suprafaţă.
14:03
while we bang on this surface,
Vom folosi vibraţiile din filmare
14:05
and we're going to use
the vibrations in that video
ca să cunoaştem proprietăţile structurale
şi materiale ale obiectului nostru
14:08
to learn about the structural
and material properties of our object,
şi vom folosi această informaţie
ca să creăm ceva nou şi interactiv.
14:13
and we're going to use that information
to create something new and interactive.
Iată ce am realizat.
14:24
And so here's what we've created.
Arată ca o imagine obişnuită,
14:27
And it looks like a regular image,
dar nu e o imagine şi nu este o filmare,
14:29
but this isn't an image,
and it's not a video,
pentru că acum pot lua mausul
14:32
because now I can take my mouse
şi pot interacţiona cu obiectul.
14:35
and I can start interacting
with the object.
Aici vedeţi
14:44
And so what you see here
o simulare a modului
în care acest obiect
14:47
is a simulation of how this object
ar reacţiona la forţe noi
pe care nu le-am mai văzut
14:49
would respond to new forces
that we've never seen before,
şi am obţinut acest lucru
doar dintr-un film de cinci secunde.
14:54
and we created it from just
five seconds of regular video.
(Aplauze)
14:59
(Applause)
Asta e o metodă foarte puternică
de a analiza lumea,
15:09
And so this is a really powerful
way to look at the world,
pentru că ne permite să anticipăm
cum vor reacţiona obiectele
15:12
because it lets us predict
how objects will respond
la situaţii noi.
15:15
to new situations,
De exemplu, v-aţi putea imagina
că priviți un pod vechi
15:17
and you could imagine, for instance,
looking at an old bridge
şi vă întrebaţi ce s-ar întâmpla,
cum ar rezista
15:20
and wondering what would happen,
how would that bridge hold up
dacă ar trebui să-l traversați cu maşina.
15:24
if I were to drive my car across it.
Poate că asta e o întrebare
la care aţi vrea să răspundeţi
15:27
And that's a question
that you probably want to answer
înainte să începeţi traversarea.
15:30
before you start driving
across that bridge.
Desigur, sunt anumite limitări,
15:33
And of course, there are going to be
limitations to this technique,
la fel ca şi în cazul microfonului vizual,
15:37
just like there were
with the visual microphone,
dar am descoperit
că funcționează în multe cazuri
15:39
but we found that it works
in a lot of situations
în care nu ne-am fi aşteptat,
15:42
that you might not expect,
mai ales dacă foloseşti filmări mai lungi.
15:44
especially if you give it longer videos.
De exemplu, aici e o filmare
15:47
So for example,
here's a video that I captured
a unui tufiş din faţa casei mele.
15:50
of a bush outside of my apartment,
Nu i-am făcut nimic acestui tufiş,
15:52
and I didn't do anything to this bush,
dar filmându-l timp de un minut,
15:55
but by capturing a minute-long video,
o adiere uşoară a provocat
destule vibraţii
15:58
a gentle breeze caused enough vibrations
ca să aflăm suficient despre tufiș
pentru a crea această simulare:
16:01
that we could learn enough about this bush
to create this simulation.
(Aplauze)
16:07
(Applause)
Vă puteţi imagina
ce ar putea face un regizor cu asta,
16:13
And so you could imagine giving this
to a film director,
dacă, de exemplu, ar putea controla
16:16
and letting him control, say,
puterea şi direcţia vântului
într-o scenă deja filmată.
16:18
the strength and direction of wind
in a shot after it's been recorded.
Aici am îndreptat camera spre o draperie.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
Nu se vede nicio mişcare
în această filmare,
16:29
and you can't even see
any motion in this video,
dar filmând o secvenţă de două minute,
16:33
but by recording a two-minute-long video,
curenţii naturali de aer din încăpere
16:36
natural air currents in this room
au creat destule mişcări
şi vibraţii imperceptibile
16:38
created enough subtle,
imperceptible motions and vibrations
ca să ştim suficient
pentru a crea această simulare.
16:43
that we could learn enough
to create this simulation.
Ironia este
16:48
And ironically,
că suntem destul de obişnuiţi
cu astfel de interacţiuni
16:50
we're kind of used to having
this kind of interactivity
când e vorba de obiecte virtuale,
16:53
when it comes to virtual objects,
când e vorba de jocuri video
şi modele 3D,
16:56
when it comes to video games
and 3D models,
dar ca să putem aduna aceste informaţii
de la obiecte reale din lumea reală
16:59
but to be able to capture this information
from real objects in the real world
folosind numai filmări obişnuite,
17:04
using just simple, regular video,
e un lucru nou, cu mare potenţial.
17:06
is something new that has
a lot of potential.
Ei sunt oamenii extraordinari
cu care am colaborat la aceste proiecte.
17:10
So here are the amazing people
who worked with me on these projects.
(Aplauze)
17:16
(Applause)
Ce v-am arătat astăzi,
e doar începutul.
17:24
And what I've shown you today
is only the beginning.
Abia începem să ne imaginăm
17:27
We've just started to scratch the surface
ce putem face cu acest tip de filmări,
17:29
of what you can do
with this kind of imaging,
pentru că ne oferă un nou mod
17:32
because it gives us a new way
de a capta ce ne înconjoară
cu o tehnologie banală, accesibilă.
17:35
to capture our surroundings
with common, accessible technology.
Privind în perspectivă,
17:40
And so looking to the future,
va fi cu adevărat interesant să explorăm
17:41
it's going to be
really exciting to explore
ce ne poate spune asta despre lume.
17:44
what this can tell us about the world.
Mulţumesc.
17:46
Thank you.
(Aplauze)
17:47
(Applause)
Translated by Razvan Cristian Duia
Reviewed by Lorena Ciutacu

▲Back to top

About the Speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com