TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: O nouă tehnologie video ce dezvăluie proprietățile ascunse ale obiectelor
Filmed:
Readability: 4.3
1,482,525 views
În jurul nostru se produc mereu mișcări subtile, inclusiv vibrații infime produse de sunet. Noua tehnologie permite captarea acestor vibrații și reconstituirea sunetelor și conversațiilor doar dintr-o filmare a unui obiect aparent nemișcat. Acum, Abe Davids trece la nivelul următor: urmăriți-l prezentând programul informatic ce permite oricui să interacționeze cu aceste proprietăți ascunse, pornind de la o simplă filmare.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Cei mai mulţi ne imaginăm mişcarea
ca pe un lucru foarte vizual.
ca pe un lucru foarte vizual.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Dacă merg pe scenă sau mişc mâinile
în timp ce vorbesc,
în timp ce vorbesc,
00:22
that motion is something that you can see.
2
10977
2261
puteţi vedea aceste mişcări.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Dar există un univers de mişcări
care sunt prea subtile pentru ochiul uman,
care sunt prea subtile pentru ochiul uman,
00:31
and over the past few years,
4
19737
2041
iar în ultimii ani,
00:33
we've started to find that cameras
5
21778
1997
începem să descoperim că videocamerele
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
„văd” deseori mişcări care sunt
imperceptibile pentru oameni.
imperceptibile pentru oameni.
00:40
So let me show you what I mean.
7
28305
1551
Să vă arăt despre ce e vorba.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
În partea stângă, vedeţi filmarea
încheieturii unei persoane,
încheieturii unei persoane,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
iar în dreapta, înregistrarea
unui copil care doarme,
unui copil care doarme,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
dar dacă nu v-aş fi spus
că acestea sunt filmări,
că acestea sunt filmări,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
aţi fi putut crede că priviţi
două imagini obişnuite,
două imagini obişnuite,
00:56
because in both cases,
12
44393
1672
pentru că în ambele cazuri,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
aceste filmări par să fie
complet nemişcate.
complet nemişcate.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Dar sunt multe mişcări subtile acolo.
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
Dacă ai atinge încheietura din stânga,
01:08
you would feel a pulse,
16
56452
1996
ai simţi un puls,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
iar dacă ai pune mâna
pe copilul din dreapta,
pe copilul din dreapta,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
i-ai simţi ridicarea
şi coborârea pieptului,
şi coborârea pieptului,
01:15
as she took each breath.
19
63324
1390
în timp ce respiră.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Aceste mişcări sunt foarte importante,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
dar de obicei sunt prea subtile
ca să le putem vedea,
ca să le putem vedea,
01:24
so instead, we have to observe them
22
72681
2276
aşa că trebuie să le observăm
01:26
through direct contact, through touch.
23
74957
2900
prin contact direct, prin atingere.
01:30
But a few years ago,
24
78997
1265
Cu câţiva ani în urmă,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
colegii mei de la MIT au dezvoltat
un „microscop al mişcării”,
un „microscop al mişcării”,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
un program informatic ce găseşte
aceste mişcări subtile din filmare
aceste mişcări subtile din filmare
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
şi le amplifică suficient
pentru ca noi să le putem vedea.
pentru ca noi să le putem vedea.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Procesând filmarea din stânga
cu programul lor,
cu programul lor,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
vom putea vedea pulsul la încheietură,
01:52
and if we were to count that pulse,
30
100149
1695
iar dacă numărăm mişcările,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
putem şti câte bătăi pe minut
are acea persoană.
are acea persoană.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Dacă procesăm filmarea din dreapta
cu acelaşi program,
cu acelaşi program,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
vom putea vedea
orice inspiraţie a copilului,
orice inspiraţie a copilului,
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
lucru util pentru monitorizarea
respiraţiei de la distanţă.
respiraţiei de la distanţă.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Această tehnologie e foarte puternică
pentru că analizează fenomene
pentru că analizează fenomene
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
pe care în mod normal
le studiem prin atingere
le studiem prin atingere
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
şi ne permite să le analizăm
vizual şi neinvaziv.
vizual şi neinvaziv.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Cu doi ani în urmă am început colaborarea
cu cei care au creat programul
cu cei care au creat programul
02:25
and we decided to pursue a crazy idea.
39
133515
3367
şi am hotărât să încercăm
un proiect extravagant.
un proiect extravagant.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Ne-am gândit că e tare
că putem folosi programul
că putem folosi programul
02:31
to visualize tiny motions like this,
41
139575
3135
ca să vizualizăm
mişcări minuscule ca acestea
mişcări minuscule ca acestea
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
şi că poţi vedea asta ca pe un mod
de a-ţi extinde simţul tactil.
de a-ţi extinde simţul tactil.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Dar dacă am putea face acelaşi lucru
cu simţul nostru auditiv?
cu simţul nostru auditiv?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Dacă am putea folosi filmarea
pentru a capta vibraţiile sunetului,
pentru a capta vibraţiile sunetului,
02:49
which are just another kind of motion,
45
157173
2827
care sunt doar un alt tip de mişcare
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
şi să transformăm tot ce vedem
într-un microfon?
într-un microfon?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
E o idee neobişnuită,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
daţi-mi voie să vă explic.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Microfoanele tradiţionale
funcţionează prin conversia mişcării
funcţionează prin conversia mişcării
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
unei diafragme interne
în semnal electric.
în semnal electric.
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
Acea diafragmă e proiectată
să se mişte sincronizat cu sunetul
să se mişte sincronizat cu sunetul
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
această mişcare putând fi înregistrată
şi interpretată ca sunet.
şi interpretată ca sunet.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Dar sunetul face să vibreze
toate obiectele.
toate obiectele.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Aceste vibraţii sunt prea subtile
şi prea rapide ca să le putem vedea.
şi prea rapide ca să le putem vedea.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Ce se-ntâmplă dacă le înregistrăm
cu o cameră de mare viteză
cu o cameră de mare viteză
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
şi apoi folosim programul informatic
ca să extragem mişcările fine
ca să extragem mişcările fine
03:34
from our high-speed video,
57
202197
2090
din filmările cu viteză mare
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
şi să analizăm aceste mişcări
ca să determinăm ce sunete le-au creat?
ca să determinăm ce sunete le-au creat?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Aşa am putea transforma de la distanţă
obiecte vizibile în microfoane vizuale.
obiecte vizibile în microfoane vizuale.
03:49
And so we tried this out,
60
217080
2183
Am încercat să facem asta.
03:51
and here's one of our experiments,
61
219263
1927
Iată unul din experimentele noastre,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
în care am luat planta
pe care o vedeţi în dreapta
pe care o vedeţi în dreapta
03:56
and we filmed it with a high-speed camera
63
224139
2438
şi am filmat-o cu o cameră de mare viteză
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
în timp ce o boxă din apropiere
reda acest sunet.
reda acest sunet.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
Muzică:
♪ Mary Had a Little Lamb ♪
♪ Mary Had a Little Lamb ♪
04:11
And so here's the video that we recorded,
66
239820
2824
Aceasta e înregistrarea video,
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
efectuată cu 1000 de cadre/secundă,
04:18
but even if you look very closely,
68
246568
2322
dar chiar dacă priveşti foarte atent,
04:20
all you'll see are some leaves
69
248890
1951
tot ce vezi sunt nişte frunze,
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
care doar stau acolo fără să facă nimic,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
pentru că sunetul nostru a mişcat frunzele
doar cu vreun micrometru.
doar cu vreun micrometru.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Adică a zecea mia parte
dintr-un centimetru,
dintr-un centimetru,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
adică ceva între o sutime şi o miime
dintr-un pixel din această imagine.
dintr-un pixel din această imagine.
04:39
of a pixel in this image.
74
267535
2299
04:41
So you can squint all you want,
75
269881
2887
Te poţi holba cât vrei,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
dar mişcări atât de fine
sunt imposibil de perceput vizual.
sunt imposibil de perceput vizual.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Dar iată că ceva
poate fi imperceptibil pentru ochi,
poate fi imperceptibil pentru ochi,
04:53
and still be numerically significant,
78
281824
2809
dar totuși semnificativ
pentru tehnologia digitală,
pentru tehnologia digitală,
04:56
because with the right algorithms,
79
284633
2002
deoarece cu algoritmii potriviţi,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
putem prelucra această filmare
care pare statică
care pare statică
05:02
and we can recover this sound.
81
290322
1527
şi să recuperăm acest sunet.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Muzică) ♪ Mary Had a Little Lamb ♪
05:12
(Applause)
83
300074
5828
(Aplauze)
05:22
So how is this possible?
84
310058
1939
Cum e posibil?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Cum putem obţine atâtea informaţii
din atât de puţină mişcare?
din atât de puţină mişcare?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Să zicem că acele frunze
se mişcă doar cu un micrometru
se mişcă doar cu un micrometru
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
şi că asta modifică imaginea
cu doar a mia parte dintr-un pixel.
cu doar a mia parte dintr-un pixel.
05:39
That may not seem like much,
88
327269
2572
Poate nu pare mare lucru,
05:41
but a single frame of video
89
329841
1996
dar un singur cadru al filmului
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
poate conţine sute de mii de pixeli
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
şi dacă am combina
toate mişcările alea minuscule
toate mişcările alea minuscule
05:50
from across that entire image,
92
338548
2298
din întreaga imagine,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
miimile de pixel se pot aduna,
rezultând ceva destul de semnificativ.
rezultând ceva destul de semnificativ.
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Între noi fie vorba, am ţopăit de fericire
când ne-am dat seama de asta.
când ne-am dat seama de asta.
06:02
(Laughter)
96
350505
2320
(Râsete)
06:04
But even with the right algorithm,
97
352825
3253
Dar chiar şi cu algoritmul potrivit,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
tabloul nu era complet încă.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Sunt mulţi factori care influenţează
06:15
this technique will work.
100
363299
1997
funcţionarea acestei tehnologii.
06:17
There's the object and how far away it is;
101
365296
3204
Avem obiectul şi distanţa până la acesta;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
avem camera video şi lentilele folosite;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
cât de luminat e obiectul
şi cât de puternic e sunetul.
şi cât de puternic e sunetul.
06:27
And even with the right algorithm,
104
375945
3375
Chiar dacă algoritmul era bun,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
a trebuit să fim foarte atenţi
la primele noastre experimente,
la primele noastre experimente,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
deoarece dacă greşeam
oricare din aceşti parametri,
oricare din aceşti parametri,
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
nu aveam cum să ne dăm seama
unde era problema.
unde era problema.
06:39
We would just get noise back.
108
387470
2647
S-ar fi înregistrat doar interferenţe.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Primele noastre teste arătau cam aşa.
06:45
And so here I am,
110
393437
2206
Aici sunt eu,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
iar în stânga jos puteţi vedea
camera noastră de mare viteză,
camera noastră de mare viteză,
06:51
which is pointed at a bag of chips,
112
399683
2183
orientată către o pungă cu chipsuri.
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
Totul e luminat de nişte lămpi puternice.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Cum spuneam, trebuia să fim foarte atenţi
la aceste experimente timpurii,
la aceste experimente timpurii,
07:01
so this is how it went down.
115
409180
2508
Iată ce s-a întâmplat:
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Video) Abe Davis: Trei, doi, unu, start.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:12
(Laughter)
118
420836
4500
(Râsete)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: Acest experiment pare complet ridicol.
07:20
(Laughter)
120
428150
1788
(Râsete)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Ţip la o pungă de chipsuri...
07:24
(Laughter) --
122
432283
1551
(Râsete)
07:25
and we're blasting it with so much light,
123
433834
2117
şi proiectam atâta lumină, încât am topit
prima pungă pe care am folosit-o.
prima pungă pe care am folosit-o.
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
(Râsete)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Dar oricât de ridicol pare experimentul,
07:35
it was actually really important,
126
443799
1788
a fost chiar important,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
pentru că am putut capta acest sunet:
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
♪ Mary had a little lamb!
Little lamb! Little lamb! ♪
Little lamb! Little lamb! ♪
07:45
(Applause)
129
453225
4088
(Aplauze)
07:49
AD: And this was really significant,
130
457313
1881
AD: A fost important
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
deoarece era prima dată
când recuperam un mesaj inteligibil
când recuperam un mesaj inteligibil
07:55
from silent video of an object.
132
463424
2341
dintr-o filmare fără sunet a unui obiect.
07:57
And so it gave us this point of reference,
133
465765
2391
Acesta a fost momentul de referinţă
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
şi am putut modifica experimentul gradual,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
folosind obiecte diferite
sau mutându-le mai departe,
sau mutându-le mai departe,
08:07
using less light or quieter sounds.
136
475911
2770
folosind mai puţină lumină
sau sunete mai slabe.
sau sunete mai slabe.
08:11
And we analyzed all of these experiments
137
479887
2874
Am analizat toate aceste experimente
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
până am înţeles care sunt
limitele tehnicii folosite,
limitele tehnicii folosite,
08:18
because once we understood those limits,
139
486383
1950
pentru că odată ce le-am înţeles,
08:20
we could figure out how to push them.
140
488333
2346
ne puteam da seama cum să le depăşim.
08:22
And that led to experiments like this one,
141
490679
3181
Asta a dus la experimente ca acesta,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
în care voi vorbi din nou
unei pungi de chipsuri,
unei pungi de chipsuri,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
dar acum mutasem camera
afară, cam la cinci metri,
afară, cam la cinci metri,
08:33
outside, behind a soundproof window,
144
501429
2833
separată de o fereastră izolată fonic,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
totul fiind iluminat
doar de razele solare.
doar de razele solare.
08:40
And so here's the video that we captured.
146
508529
2155
Iată ce am filmat:
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Asta se auzea înăuntru,
lângă punga de cipsuri.
lângă punga de cipsuri.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Voce)Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: Iată ce am putut recupera
din filmarea noastră fără sonor,
din filmarea noastră fără sonor,
09:03
captured outside behind that window.
151
531683
2345
de dincolo de acea fereastră.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
09:15
(Applause)
154
543920
6501
(Aplauze)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Sunt şi alte căi
prin care putem împinge aceste limite.
prin care putem împinge aceste limite.
09:25
So here's a quieter experiment
156
553963
1798
Aici e un experiment mai silenţios
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
în care am filmat nişte căşti
conectate la un laptop.
conectate la un laptop.
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
În acest caz, scopul era
să captăm melodiile care rulau pe laptop
să captăm melodiile care rulau pe laptop
09:35
from just silent video
159
563981
2299
folosind doar filmarea fără sunet
09:38
of these two little plastic earphones,
160
566280
2507
a acestor două mici căşti din plastic.
09:40
and we were able to do this so well
161
568787
2183
Rezultatul a fost atât de bun
09:42
that I could even Shazam our results.
162
570970
2461
încât l-am putut folosi
ca să caut cântecul pe Shazam.
ca să caut cântecul pe Shazam.
09:45
(Laughter)
163
573431
2411
(Râsete)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Muzică) Queen - ♪ Under Pressure ♪
10:01
(Applause)
165
589615
4969
(Aplauze)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Putem merge mai departe,
schimbând aparatura folosită.
schimbând aparatura folosită.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Experimentele pe care
vi le-am arătat până acum
vi le-am arătat până acum
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
au fost făcute
cu o cameră de mare viteză,
cu o cameră de mare viteză,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
ce poate înregistra
de 100 de ori mai repede
de 100 de ori mai repede
10:18
than most cell phones,
170
606797
1927
decât majoritatea telefoanelor mobile.
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
Dar am găsit o cale
să folosim această tehnică
să folosim această tehnică
10:23
with more regular cameras,
172
611533
2230
cu videocamere mai simple
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
şi facem asta profitând
de ceea ce se numeşte rolling shutter.
de ceea ce se numeşte rolling shutter.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Majoritatea camerelor
captează imaginile rând cu rând,
captează imaginile rând cu rând,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
deci când obiectul se mişcă
în timpul captării unei singure imagini,
în timpul captării unei singure imagini,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
există un uşor decalaj între rânduri,
10:43
and this causes slight artifacts
177
631061
3157
lucru ce produce mici artefacte
10:46
that get coded into each frame of a video.
178
634218
3483
care sunt codificate
în fiecare cadru al filmării.
în fiecare cadru al filmării.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Am descoperit că analizând
aceste artefacte,
aceste artefacte,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
putem recupera sunetul, folosind
varianta modificată a algoritmului nostru.
varianta modificată a algoritmului nostru.
10:58
So here's an experiment we did
181
646122
1912
Aici e un experiment
în care am filmat o pungă de bomboane
11:00
where we filmed a bag of candy
182
648034
1695
11:01
while a nearby loudspeaker played
183
649729
1741
aflată lângă o boxă
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
din care se auzea acelaşi
„Mary Had a Little Lamb”,
„Mary Had a Little Lamb”,
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
dar acum am folosit
o videocameră obişnuită.
o videocameră obişnuită.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Imediat vă voi reda
sunetul pe care l-am înregistrat.
sunetul pe care l-am înregistrat.
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
Va suna distorsionat
de această dată,
de această dată,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
dar ascultaţi şi observaţi
dacă puteţi recunoaşte melodia.
dacă puteţi recunoaşte melodia.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Audio) ♪ Mary Had a Little Lamb ♪
11:37
And so, again, that sounds distorted,
190
685527
3465
Sună distorsionat,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
dar e extraordinar
că am putut face asta
că am putut face asta
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
cu o cameră pe care o puteţi cumpăra
11:48
and pick up at a Best Buy.
193
696004
1444
de la un magazin de electronice.
11:51
So at this point,
194
699122
1363
În acest moment,
11:52
a lot of people see this work,
195
700485
1974
mulţi privesc această tehnologie
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
şi se gândesc imediat la supraveghere.
11:57
And to be fair,
197
705872
2415
Să fiu sincer,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
e uşor de folosit
pentru a spiona pe cineva.
pentru a spiona pe cineva.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Dar nu uitaţi că deja există
tehnologii avansate pentru supraveghere.
tehnologii avansate pentru supraveghere.
12:08
out there for surveillance.
200
716367
1579
12:09
In fact, people have been using lasers
201
717946
2090
De fapt, oamenii folosesc lasere
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
ca să tragă cu urechea de la distanţă
de câteva decenii.
de câteva decenii.
12:15
But what's really new here,
203
723978
2025
Ce e cu adevărat nou aici,
12:18
what's really different,
204
726003
1440
ce e cu adevărat diferit,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
e că acum putem ilustra
vibraţiile unui obiect,
vibraţiile unui obiect,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
lucru care ne dă posibilitatea
să privim lumea cu alți ochi.
să privim lumea cu alți ochi.
Putem folosi această perspectivă
12:27
and we can use that lens
207
735151
1510
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
ca să studiem nu numai forţe ca sunetul
care face un obiect să vibreze,
care face un obiect să vibreze,
12:33
but also about the object itself.
209
741560
2288
dar și obiectul în sine.
12:36
And so I want to take a step back
210
744975
1693
Vreau să mă opresc
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
şi să-mi imaginez cum ar putea asta
să schimbe modul în care folosim filmul,
să schimbe modul în care folosim filmul,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
deoarece de obicei folosim filmarea
ca să ne uităm la lucruri
ca să ne uităm la lucruri
12:46
and I've just shown you how we can use it
213
754470
2322
şi tocmai v-am arătat cum o putem folosi
12:48
to listen to things.
214
756792
1857
ca să ascultăm lucrurile.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Dar mai e o cale prin care putem afla
lucruri importante despre lume:
lucruri importante despre lume:
12:54
that's by interacting with it.
216
762620
2275
interacţionând cu ea.
12:56
We push and pull and poke and prod things.
217
764895
3111
Împingem şi tragem, testăm lucrurile.
13:00
We shake things and see what happens.
218
768006
3181
Scuturăm obiectele
şi observăm ce se întâmplă.
şi observăm ce se întâmplă.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Ăsta e un lucru pe care
filmarea nu ni-l permite încă,
filmarea nu ni-l permite încă,
13:07
at least not traditionally.
220
775460
2136
cel puţin nu în mod tradiţional.
13:09
So I want to show you some new work,
221
777596
1950
Vreau să vă arăt o tehnologie nouă,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
bazată pe o idee
ce mi-a venit acum câteva luni.
ce mi-a venit acum câteva luni.
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
Asta e prima dată când o prezint public.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Ideea de bază e că vom folosi
vibraţiile din filmare
vibraţiile din filmare
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
ca să captăm obiectele într-un mod
care ne permite să interacţionăm cu ele
care ne permite să interacţionăm cu ele
13:27
and see how they react to us.
226
795358
1974
şi să vedem cum reacţionează.
13:31
So here's an object,
227
799120
1764
Aici e un obiect,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
un filament în formă de om,
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
pe care îl vom filma cu o cameră banală.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Această cameră nu are nimic special.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
De fapt, făcusem asta înainte,
cu camera telefonului meu mobil.
cu camera telefonului meu mobil.
13:44
But we do want to see the object vibrate,
232
812889
2252
Pentru că vrem cu adevărat
să vedem cum vibrează obiectul
să vedem cum vibrează obiectul
13:47
so to make that happen,
233
815141
1133
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
vom lovi suprafaţa pe care e aşezat
13:51
while we record this video.
235
819620
2138
în timp ce filmăm.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Asta e: o filmare obişnuită
de numai cinci secunde,
de numai cinci secunde,
14:03
while we bang on this surface,
237
831069
2136
în timp ce lovim această suprafaţă.
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
Vom folosi vibraţiile din filmare
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
ca să cunoaştem proprietăţile structurale
şi materiale ale obiectului nostru
şi materiale ale obiectului nostru
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
şi vom folosi această informaţie
ca să creăm ceva nou şi interactiv.
ca să creăm ceva nou şi interactiv.
14:24
And so here's what we've created.
241
852866
2653
Iată ce am realizat.
14:27
And it looks like a regular image,
242
855519
2229
Arată ca o imagine obişnuită,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
dar nu e o imagine şi nu este o filmare,
14:32
because now I can take my mouse
244
860859
2368
pentru că acum pot lua mausul
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
şi pot interacţiona cu obiectul.
14:44
And so what you see here
246
872936
2357
Aici vedeţi
14:47
is a simulation of how this object
247
875389
2226
o simulare a modului
în care acest obiect
în care acest obiect
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
ar reacţiona la forţe noi
pe care nu le-am mai văzut
pe care nu le-am mai văzut
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
şi am obţinut acest lucru
doar dintr-un film de cinci secunde.
doar dintr-un film de cinci secunde.
14:59
(Applause)
250
887249
4715
(Aplauze)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Asta e o metodă foarte puternică
de a analiza lumea,
de a analiza lumea,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
pentru că ne permite să anticipăm
cum vor reacţiona obiectele
cum vor reacţiona obiectele
15:15
to new situations,
253
903620
1823
la situaţii noi.
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
De exemplu, v-aţi putea imagina
că priviți un pod vechi
că priviți un pod vechi
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
şi vă întrebaţi ce s-ar întâmpla,
cum ar rezista
cum ar rezista
15:24
if I were to drive my car across it.
256
912443
2833
dacă ar trebui să-l traversați cu maşina.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Poate că asta e o întrebare
la care aţi vrea să răspundeţi
la care aţi vrea să răspundeţi
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
înainte să începeţi traversarea.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Desigur, sunt anumite limitări,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
la fel ca şi în cazul microfonului vizual,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
dar am descoperit
că funcționează în multe cazuri
că funcționează în multe cazuri
15:42
that you might not expect,
262
930903
1875
în care nu ne-am fi aşteptat,
15:44
especially if you give it longer videos.
263
932778
2768
mai ales dacă foloseşti filmări mai lungi.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
De exemplu, aici e o filmare
15:50
of a bush outside of my apartment,
265
938054
2299
a unui tufiş din faţa casei mele.
15:52
and I didn't do anything to this bush,
266
940353
3088
Nu i-am făcut nimic acestui tufiş,
15:55
but by capturing a minute-long video,
267
943441
2705
dar filmându-l timp de un minut,
15:58
a gentle breeze caused enough vibrations
268
946146
3378
o adiere uşoară a provocat
destule vibraţii
destule vibraţii
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
ca să aflăm suficient despre tufiș
pentru a crea această simulare:
pentru a crea această simulare:
16:07
(Applause)
270
955270
6142
(Aplauze)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Vă puteţi imagina
ce ar putea face un regizor cu asta,
ce ar putea face un regizor cu asta,
16:16
and letting him control, say,
272
964384
1719
dacă, de exemplu, ar putea controla
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
puterea şi direcţia vântului
într-o scenă deja filmată.
într-o scenă deja filmată.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Aici am îndreptat camera spre o draperie.
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Nu se vede nicio mişcare
în această filmare,
în această filmare,
16:33
but by recording a two-minute-long video,
276
981474
2925
dar filmând o secvenţă de două minute,
16:36
natural air currents in this room
277
984399
2438
curenţii naturali de aer din încăpere
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
au creat destule mişcări
şi vibraţii imperceptibile
şi vibraţii imperceptibile
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
ca să ştim suficient
pentru a crea această simulare.
pentru a crea această simulare.
16:48
And ironically,
280
996243
2366
Ironia este
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
că suntem destul de obişnuiţi
cu astfel de interacţiuni
cu astfel de interacţiuni
16:53
when it comes to virtual objects,
282
1001697
2647
când e vorba de obiecte virtuale,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
când e vorba de jocuri video
şi modele 3D,
şi modele 3D,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
dar ca să putem aduna aceste informaţii
de la obiecte reale din lumea reală
de la obiecte reale din lumea reală
17:04
using just simple, regular video,
285
1012045
2817
folosind numai filmări obişnuite,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
e un lucru nou, cu mare potenţial.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Ei sunt oamenii extraordinari
cu care am colaborat la aceste proiecte.
cu care am colaborat la aceste proiecte.
17:16
(Applause)
288
1024057
5596
(Aplauze)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Ce v-am arătat astăzi,
e doar începutul.
e doar începutul.
17:27
We've just started to scratch the surface
290
1035876
2113
Abia începem să ne imaginăm
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
ce putem face cu acest tip de filmări,
17:32
because it gives us a new way
292
1040961
2286
pentru că ne oferă un nou mod
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
de a capta ce ne înconjoară
cu o tehnologie banală, accesibilă.
cu o tehnologie banală, accesibilă.
17:40
And so looking to the future,
294
1048066
1929
Privind în perspectivă,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
va fi cu adevărat interesant să explorăm
17:44
what this can tell us about the world.
296
1052032
1856
ce ne poate spune asta despre lume.
17:46
Thank you.
297
1054381
1204
Mulţumesc.
17:47
(Applause)
298
1055610
6107
(Aplauze)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com