TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Michael Rubinstein: Privește mişcări invizibile, ascultă sunete silenţioase.
Filmed:
Readability: 4.1
2,075,056 views
Faceţi cunoştinţă cu „microscopul mişcărilor”, un instrument de video-procesare care redă mici schimbări ȋn mişcare şi culori, imposibil de văzut cu ochiul liber. Cercetătorul video Michael Rubinstein ne rulează secvenţe care ne lasă cu gura căscată arătându-ne cum această tehnologie poate reda pulsul sau ritmul cardiac al unei persoane doar printr-un video. Urmăriţi-l cum resintetizează o conversaţie amplificând mişcările generate de unde sonore care ricoşează ȋntr-o pungă de chipsuri. Trebuie să vezi utilizările inspiraţionale şi ciudate ale acestei tehnologii ca să crezi.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
În ultimele secole,
microscoapele ne-au revoluţionat lumea.
microscoapele ne-au revoluţionat lumea.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
Ne-au dezvăluit o lume minusculă
a obiectelor, vieţii şi structurilor,
a obiectelor, vieţii şi structurilor,
prea mici să le vedem cu ochiul liber.
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Au o contribuţie imensă
în ştiinţă şi tehnologie.
în ştiinţă şi tehnologie.
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
Azi vreau să vă prezint
un nou tip de microscop,
un nou tip de microscop,
00:35
a microscope for changes.
5
23404
2578
un microscop pentru schimbări.
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
Nu foloseşte optica,
precum un microscop obişnuit
precum un microscop obişnuit
00:40
to make small objects bigger,
7
28884
1997
pentru a mări obiecte mici,
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
ci foloseşte o cameră video
şi procesarea imaginilor
şi procesarea imaginilor
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
pentru a dezvălui mişcări imperceptibile,
schimbări de culori la obiecte şi oameni,
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
schimbări imposibil de perceput
cu ochiul liber.
cu ochiul liber.
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
Şi ne permite să privim lumea
ȋntr-un mod cu totul nou.
ȋntr-un mod cu totul nou.
01:00
So what do I mean by color changes?
12
48475
1910
Ce vreau să zic prin schimbări de culoare?
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
Pielea, de exemplu,
ȋşi schimbă culoarea foarte puţin
ȋşi schimbă culoarea foarte puţin
01:05
when the blood flows under it.
14
53217
1997
când sângele curge sub ea.
01:07
That change is incredibly subtle,
15
55214
2397
Schimbarea e insesizabilă,
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
de aceea, când te uiţi la alţi oameni,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
când te uiţi
la persoana care stă lângă tine
la persoana care stă lângă tine
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
nu le vezi pielea sau fața
schimbându-și culoarea.
schimbându-și culoarea.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
Când urmărim acest videoclip cu Steve,
ȋl vedem ca o imagine statică,
ȋl vedem ca o imagine statică,
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
dar când îl urmărim
prin noul nostru microscop special,
prin noul nostru microscop special,
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
observăm imediat
o imagine cu totul diferită.
o imagine cu totul diferită.
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
Vedeţi mici schimbări
ale culorii pielii lui Steve,
ale culorii pielii lui Steve,
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
amplificate de 100 de ori
pentru a deveni vizibile.
pentru a deveni vizibile.
01:36
We can actually see a human pulse.
24
84686
3267
Putem vedea şi pulsul uman.
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
Putem vedea
cât de repede bate inima lui Steve,
cât de repede bate inima lui Steve,
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
dar vedem efectiv modul ȋn care
curge sângele prin faţa lui.
curge sângele prin faţa lui.
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
Putem face asta
nu doar ca să vizualizăm pulsul,
nu doar ca să vizualizăm pulsul,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
ci şi pentru măsurarea ritmului cardiac.
01:54
and measure our heart rates.
29
102646
1793
Şi facem asta cu camere video obişnuite
şi fără să atingem pacienţii.
şi fără să atingem pacienţii.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
Aici vedeți pulsul şi ritmul cardiac
al unui copil aflat in perioada neonatală
al unui copil aflat in perioada neonatală
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
dintr-un video
realizat cu o cameră obişnuită DSLR,
realizat cu o cameră obişnuită DSLR,
02:09
and the heart rate measurement we get
33
117390
1816
iar măsurarea ritmului cardiac evaluată
este la fel de precisă
este la fel de precisă
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
ca cea a unui aparat standard
folosit ȋn spitale.
folosit ȋn spitale.
Nici nu trebuie să fie neapărat
înregistrarea noastră.
înregistrarea noastră.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Putem face la fel
şi cu alte video înregistrări.
şi cu alte video înregistrări.
Am luat o scurtă secvenţă
din filmul „Batman – Începuturi"
din filmul „Batman – Începuturi"
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
doar ca să arăt pulsul lui Christian Bale.
02:25
just to show Christian Bale's pulse.
38
133555
1904
02:27
(Laughter)
39
135459
1822
(Râsete)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
Şi probabil poartă machiaj,
02:31
the lighting here is kind of challenging,
41
139404
1953
luminozitatea e destul de problematică,
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
totuşi, plecând de la video
am reușit să extragem pulsul
am reușit să extragem pulsul
02:36
and show it quite well.
43
144308
2018
şi să-l arătăm destul de bine.
02:38
So how do we do all that?
44
146326
1920
Deci cum facem toate astea?
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
Analizăm schimbările de luminozitate
ȋnregistrate ȋn clip de fiecare pixel
în timp
în timp
02:44
at every pixel in the video over time,
46
152844
2271
02:47
and then we crank up those changes.
47
155115
1798
şi apoi amplificăm acele schimbări.
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
Le facem mai mari
ca să le putem observa.
ca să le putem observa.
02:51
The tricky part is that those signals,
49
159075
1902
Partea complicată sunt acele semnale,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
acele schimbări pe care le urmărim
sunt extrem de subtile
sunt extrem de subtile
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
deci trebuie să fim foarte atenţi
când ȋncercăm sa le separăm
când ȋncercăm sa le separăm
02:58
from noise that always exists in videos.
52
166689
3831
de zgomotul existent mereu în videouri.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
Folosim tehnici inteligente
de procesare a imaginilor
de procesare a imaginilor
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
pentru a obţine o măsurare precisă
a culorii fiecărui pixel din video
a culorii fiecărui pixel din video
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
şi apoi schimbarea în timp a culorii
03:12
and then we amplify those changes.
56
180179
2693
după care amplificăm schimbările.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
Le intensificăm pentru a crea
clipuri ȋmbunătăţite sau amplificate
clipuri ȋmbunătăţite sau amplificate
care ne revelează acele schimbări.
03:18
that actually show us those changes.
58
186852
2172
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
Dar putem face asta
nu doar pentru schimbări infime de culoare
nu doar pentru schimbări infime de culoare
03:25
but also tiny motions,
60
193262
2241
dar și micromişcări,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
şi asta pentru ca lumina ȋnregistrată
ȋn camerele noastre
ȋn camerele noastre
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
se schimbă nu numai când
culoarea obiectului se schimbă,
culoarea obiectului se schimbă,
ci şi dacă obiectul se mișcă.
03:33
but also if the object moves.
63
201889
2368
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
Aceasta e fiica mea când avea 2 luni.
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
E un filmuleţ ȋnregistrat acum 3 ani.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
Ca părinţi, toţi vrem să ne asigurăm
că ne sunt sănătoşi copiii,
că ne sunt sănătoşi copiii,
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
că respiră, că sunt vii, bineȋnţeles.
03:48
So I too got one of those baby monitors
68
216642
2142
Mi-am luat şi eu un monitor
pentru bebeluşi
pentru bebeluşi
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
ca să ȋmi pot vedea fiica dormind.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
Cam asta vedem
cu un monitor standard de bebeluşi.
cu un monitor standard de bebeluşi.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
Vezi copilul dormind,
dar nu ai prea multe informaţii.
dar nu ai prea multe informaţii.
Nu vezi prea multe.
04:00
There's not too much we can see.
72
228474
1604
N-ar fi mai bine, mai informativ
sau mai folositor,
sau mai folositor,
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
dacă am putea vedea lucrurile aşa?
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
Aici am luat mişcările
şi le-am amplificat de 30 de ori.
şi le-am amplificat de 30 de ori.
şi așa am văzut clar că fiica mea
era cu adevărat vie și respira.
era cu adevărat vie și respira.
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
(Râsete)
04:18
(Laughter)
77
246074
2253
04:20
Here is a side-by-side comparison.
78
248327
1922
Iată o comparaţie ȋntre cele două.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
În filmuleţul sursă, ȋn videoul original,
nu vedem prea multe,
nu vedem prea multe,
04:24
there's not too much we can see,
80
252732
1636
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
dar când amplificăm mişcările,
respiraţia devine mult mai vizibilă.
respiraţia devine mult mai vizibilă.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
Şi există multe fenomene
ce pot fi dezvăluite şi amplificate
cu noul nostru microscop de mişcare.
cu noul nostru microscop de mişcare.
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
Vedem cum venele şi arterele
pulsează ȋn organismele noastre.
pulsează ȋn organismele noastre.
Vedem că ochii se mişcă continuu
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
04:42
in this wobbly motion.
86
270960
1887
ȋntr-o mişcare oscilatorie.
04:44
And that's actually my eye,
87
272847
1509
Acesta este ochiul meu,
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
iar înregistrarea a fost făcută
la scurt timp după ce s-a născut fiica mea
la scurt timp după ce s-a născut fiica mea
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
aşa că vedeți
că nu prea reuşeam să dorm.
că nu prea reuşeam să dorm.
(Râsete)
04:53
Even when a person is sitting still,
90
281623
2716
Chiar şi când o persoană stă nemişcată,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
putem extrage multe informaţii
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
despre obiceiurile lor de respiraţie,
microexpresiile lor faciale.
microexpresiile lor faciale.
Poate am putea folosi aceste mişcări
05:01
Maybe we could use those motions
93
289912
1625
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
pentru a ne analiza gândurile şi emoţiile.
Putem amplifica şi mici mişcări mecanice,
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
05:09
like vibrations in engines,
96
297946
1555
precum vibraţii ȋn motoare,
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
care pot ajuta inginerii să
identifice problemele maşinilor,
identifice problemele maşinilor,
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
sau să observe clădiri şi structuri
oscilând ȋn bătaia vântului
şi reacţionând la forţe.
şi reacţionând la forţe.
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Astea sunt măsurători pe care societatea
ştie să le facă ȋn diferite moduri,
ştie să le facă ȋn diferite moduri,
dar să măsori mişcările
este una,
este una,
05:24
but measuring those motions is one thing,
100
312512
2453
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
iar să vezi în timp real,
05:29
is a whole different thing.
102
317241
2554
e cu totul altceva.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
De când am descoperit
această nouă tehnologie,
această nouă tehnologie,
am publicat codul online ca alții să-l
utilizeze şi să-l experimenteze.
utilizeze şi să-l experimenteze.
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
05:38
It's very simple to use.
105
326789
1875
Este uşor de utilizat.
05:40
It can work on your own videos.
106
328664
2044
Poate funcţiona şi pe clipurile voastre.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
Colaboratorii de la Quantum Research
au şi creat un website
au şi creat un website
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
unde poţi încărca
și procesa videourile online,
și procesa videourile online,
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
chiar dacă n-ai deloc experienţă
ȋn ştiinţa computerelor sau programare,
ȋn ştiinţa computerelor sau programare,
poţi experimenta totuşi
cu acest nou microscop.
cu acest nou microscop.
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
Aş dori să vă arăt doar câteva exemple
05:57
of what others have done with it.
112
345735
2735
de ce au făcut alţii cu microscopul.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Acest video a fost făcut
de un utilizator YouTube, Tamez85.
de un utilizator YouTube, Tamez85.
Nu ştiu cine este acest utilizator,
06:05
I don't know who that user is,
114
353787
1463
06:07
but he, or she, used our code
115
355250
2345
dar el sau ea a folosit codul nostru
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
să amplifice mici mişcări
ale pântecului ȋn timpul sarcinii.
ale pântecului ȋn timpul sarcinii.
06:13
It's kind of creepy.
117
361310
1602
E ciudat.
06:14
(Laughter)
118
362912
1613
(Râsete)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Alţi oameni l-au folosit pentru a-şi amplifica
pulsul venelor de pe mână.
pulsul venelor de pe mână.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
Şi nu-i ştiinţă adevarată
până nu-i testată pe cobai,
până nu-i testată pe cobai,
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
se pare că numele acestui
porcuşor de Guinea este Tiffany,
porcuşor de Guinea este Tiffany,
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
iar acest utilizator YouTube susține
că e prima rozătoare de pe pămant
că e prima rozătoare de pe pămant
06:31
that was motion-magnified.
123
379607
2688
ale cărei mişcări au fost amplificate.
06:34
You can also do some art with it.
124
382295
2188
Puteţi realiza şi artă cu el.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
O studentă la design de la Univ. Yale
mi-a trimis acest fimuleţ.
mi-a trimis acest fimuleţ.
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
Vroia să vadă dacă este vreo diferenţă
ȋntre modurile ȋn care se mişcă
colegii ei de clasă.
colegii ei de clasă.
06:41
in the way her classmates move.
127
389638
1522
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
I-a pus pe toţi să stea ȋn picioare
nemişcaţi şi le-a amplificat mişcările.
nemişcaţi şi le-a amplificat mişcările.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
E ca şi cum ai vedea
fotografii statice prinzând viaţă.
fotografii statice prinzând viaţă.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
Iar interesant la toate aceste exemple
06:53
is that we had nothing to do with them.
131
401180
2296
este că noi nu am ne-am implicat.
Noi doar am pus la dispoziţie
acest nou instrument,
acest nou instrument,
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
un nou mod de a privi lumea,
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
iar oamenii găsesc noi moduri
creative şi interesante de a-l folosi.
creative şi interesante de a-l folosi.
07:04
But we didn't stop there.
134
412462
1764
Dar nu ne-am oprit aici.
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
Acest instrument ne permite nu doar
să privim lumea cu alţi ochi,
să privim lumea cu alţi ochi,
07:09
it also redefines what we can do
136
417477
2368
ci şi redefineşte şi extinde limitele
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
şi extinde limitele a ceea
ce putem face cu camerele video.
ce putem face cu camerele video.
07:15
So as scientists, we started wondering,
138
423026
2229
Ca oameni de ştiinţă,
am ȋnceput să ne ȋntrebăm
am ȋnceput să ne ȋntrebăm
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
ce alte tipuri de fenomene fizice
produc micromişcări
produc micromişcări
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
pe care le-am putea vizualiza acum
cu camerele video?
cu camerele video?
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
Un astfel de fenomen pe care
ne-am concentrat recent este sunetul.
ne-am concentrat recent este sunetul.
Sunetul, ştim cu toţii,
e compus din schimbări
e compus din schimbări
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
ȋn presiunea aerului
care călătoresc prin aer.
care călătoresc prin aer.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
Undele de presiune lovesc obiecte,
generând mici vibraţii ȋn interiorul lor,
generând mici vibraţii ȋn interiorul lor,
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
care ne permit să auzim
şi să ȋnregistrăm sunete.
şi să ȋnregistrăm sunete.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
Dar sunetul produce şi mişcări vizuale.
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
Nouă ne sunt imperceptibile,
dar ele sunt vizibile pe o cameră video
cu procesarea potrivită.
cu procesarea potrivită.
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
Iată două exemple.
07:47
So here are two examples.
149
455887
1573
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
Aici sunt eu demonstrându-mi
grozavul talent muzical.
grozavul talent muzical.
07:53
(Singing)
151
461064
1634
(Muzică)
07:54
(Laughter)
152
462698
1436
(Râsete)
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
Mi-am făcut un video la viteză mare
al gâtului ȋn timp ce fredonam.
al gâtului ȋn timp ce fredonam.
07:59
Again, if you stare at that video,
154
467120
1764
Dacă te holbezi la video
nu vezi mare lucru,
nu vezi mare lucru,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
dar amplificand mişcările de 100 de ori,
vedem mişcările şi unduirile gatului
vedem mişcările şi unduirile gatului
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
implicate ȋn producerea sunetului.
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
Semnalul este acolo ȋn video.
08:10
That signal is there in that video.
158
478566
2740
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
Cântăreţii pot sparge un pahar de vin
dacă ating nota corectă.
dacă ating nota corectă.
08:15
if they hit the correct note.
160
483976
1463
08:17
So here, we're going to play a note
161
485439
1765
Vom cânta o notă ȋn frecvenţa
de rezonanţă a acelui pahar
de rezonanţă a acelui pahar
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
08:21
through a loudspeaker that's next to it.
163
489730
2048
printr-un difuzor care se află alături.
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
Când cântăm nota şi amplificăm
mişcările de 250 de ori,
mişcările de 250 de ori,
vedem clar cum vibrează paharul
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
08:30
and resonates in response to the sound.
166
498535
3570
şi rezonează ca răspuns la sunet.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Nu e ceva ce vedeţi ȋn fiecare zi.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
Dar ne-a dat de gândit.
Ne-a dat ideea asta nebună.
Ne-a dat ideea asta nebună.
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
Putem oare să inversăm procesul
şi să redăm sunetul din video
şi să redăm sunetul din video
analizând micile vibraţii
create de undele de sunet ȋn obiecte,
create de undele de sunet ȋn obiecte,
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
şi practic să le convertim din nou
în sunetele care le-au produs?
în sunetele care le-au produs?
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
Astfel am putea transforma
orice obiect ȋntr-un microfon.
orice obiect ȋntr-un microfon.
08:58
So that's exactly what we did.
173
526931
2232
Şi exact asta am făcut.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
Iată o pungă goală de chipsuri
care stă pe o masă.
care stă pe o masă.
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
Vom transforma punga de chipsuri
ȋntr-un microfon
ȋntr-un microfon
filmând-o cu o cameră video
şi analizând micromişcările
şi analizând micromişcările
09:06
by filming it with a video camera
176
534804
1591
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
pe care undele de sunet
le creează ȋn interiorul său.
le creează ȋn interiorul său.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
Iată sunetul care s-a auzit ȋn cameră.
(Muzică: "Mary avea un mieluşel")
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
Și iată inregistrarea de mare viteză
a pungii de chipsuri.
a pungii de chipsuri.
09:25
Again it's playing.
181
553032
1274
Şi cântă din nou.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
E imposibil să vedeţi ce se intâmplă
ȋn video, doar utându-vă la el,
ȋn video, doar utându-vă la el,
09:29
just by looking at it,
183
557648
1058
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
dar iată sunetul pe care l-am redat
când am analizat
când am analizat
micromişcările din video.
09:33
the tiny motions in that video.
185
561690
2183
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
(Muzică: "Mary avea un mieluşel")
Eu ȋl numesc... Mulţumesc.
09:52
I call it -- Thank you.
187
580985
1486
(Aplauze)
09:54
(Applause)
188
582471
5225
10:01
I call it the visual microphone.
189
589878
2345
Eu ȋl numesc microfonul vizual.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
Extragem semnale audio din semnale video.
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
Doar ca să vă dau o idee
despre magnitudinea mişcărilor,
despre magnitudinea mişcărilor,
un sunet destul de puternic va mişca
punga mai puţin de un micrometru.
punga mai puţin de un micrometru.
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
10:16
That's one thousandth of a millimeter.
193
604135
2739
Asta-i a mia parte dintr-un milimetru.
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
Atât de mici sunt mişcările
pe care le putem extrage acum
pe care le putem extrage acum
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
doar observând cum ricoşează lumina
de pe suprafața obiectelor
de pe suprafața obiectelor
10:25
and gets recorded by our cameras.
196
613678
2136
şi e ȋnregistrată de camerele video.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
Putem sintetiza sunete plecând
şi de la alte obiecte, ca plantele.
şi de la alte obiecte, ca plantele.
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
(Muzică: "Mary avea un mieluşel")
10:39
And we can recover speech as well.
199
627214
1997
Putem resintetiza şi sunete vorbite.
Iată o persoană
care vorbeşte ȋntr-o cameră.
care vorbeşte ȋntr-o cameră.
10:41
So here's a person speaking in a room.
200
629211
2577
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
Voce: „Mary avea un mieluşel,
cu lâna albă ca zăpada,
cu lâna albă ca zăpada,
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
și oriunde mergea Mary,
mieluşelul o urma."
mieluşelul o urma."
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
Michael Rubinstein: şi iată
sunetul vocii redat
sunetul vocii redat
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
din acelaşi video
cu aceeaşi pungă de chipsuri.
cu aceeaşi pungă de chipsuri.
Voce: "Mary avea un mieluşel,
cu lâna albă ca zăpada,"
cu lâna albă ca zăpada,"
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
și oriunde mergea Mary,
mieluşelul o urma."
mieluşelul o urma."
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
MR: Am folosit „Mary avea un mieluşel"
11:10
because those are said to be
the first words
the first words
208
658290
2123
pentru că se spune
că acestea au fost primele cuvinte
că acestea au fost primele cuvinte
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
pe care Thomas Edison le-a spus
ȋn fonograful lui din 1877.
ȋn fonograful lui din 1877.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
A fost printre primele instrumente
de ȋnregistrări sonore din istorie.
de ȋnregistrări sonore din istorie.
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
Practic, direcţiona sunetele
ȋntr-o diafragmă
ȋntr-o diafragmă
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
care făcea acele să vibreze,
gravând sunetul
gravând sunetul
pe o foiță de staniol
ce acoperea un cilindru.
ce acoperea un cilindru.
11:27
that was wrapped around the cylinder.
213
675208
2275
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
Iată o demonstraţie de ȋnregistrare
şi redare cu fonograful lui Edison.
şi redare cu fonograful lui Edison.
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
(Video) Voce: Test, test, unu, doi, trei."
„Mary avea un mieluşel,
cu lâna albă ca zăpada
cu lâna albă ca zăpada
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
oriunde mergea Mary,
mieluşelul o urma."
mieluşelul o urma."
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
Test, test, unu, doi, trei.
11:45
Testing, testing, one two three.
218
693528
2740
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
„Mary avea un mieluşel,
cu lâna albă ca zăpada
cu lâna albă ca zăpada
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
Oriunde mergea Mary,
mieluşelul o urma."
mieluşelul o urma."
11:57
MR: And now, 137 years later,
221
705648
4017
MR: Şi acum, după 137 de ani,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
reușim să redăm sunetul
cu o calitate aproape egală,
cu o calitate aproape egală,
doar înregistrând vibrațiile cu camera,
obiecte care vibrează la sunete
obiecte care vibrează la sunete
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
12:09
and we can even do that when the camera
224
717831
1934
şi putem face asta când camera
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
e la 4,5 m depărtare de obiect,
ȋn spatele unui geam izolat fonic
ȋn spatele unui geam izolat fonic
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Acesta e sunetul pe care am reușit
să-l redăm ȋn acest caz.
să-l redăm ȋn acest caz.
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
Voce: Mary avea un mieluşel
cu lâna albă ca zăpada,
cu lâna albă ca zăpada,
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
oriunde mergea Mary
mieluşelul o urma."
mieluşelul o urma."
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
MR: Bineȋnţeles, supravegherea
e prima utilizare la care ne gândim.
e prima utilizare la care ne gândim.
12:33
(Laughter)
230
741034
2995
(Râsete)
Dar poate fi folositor
şi pentru alte lucruri.
şi pentru alte lucruri.
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
Poate ȋn viitor ȋl vom putea folosi,
de exemplu,
de exemplu,
12:42
to recover sound across space,
233
750925
2252
pentru a reda sunetele ȋn spaţiu,
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
pentru că sunetul nu poate călători
ȋn spaţiu, doar lumina.
ȋn spaţiu, doar lumina.
12:48
We've only just begun exploring
235
756753
2404
Doar am ȋnceput să explorăm
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
toate utilizările posibile
pentru această nouă tehnologie.
pentru această nouă tehnologie.
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
Ne permite să vedem procese fizice
care ştim că există,
care ştim că există,
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
dar pe care nu le-am putut vedea
cu ochii până acum.
cu ochii până acum.
13:00
This is our team.
239
768564
1204
Aceasta este echipa noastră.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
Tot ce v-am arătat astăzi
este rezultatul colaborării
este rezultatul colaborării
acestui grup grozav de oameni
pe care ȋi vedeţi.
pe care ȋi vedeţi.
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
Vă ȋncurajez şi vă invit
să ne vizitaţi site-ul,
să ne vizitaţi site-ul,
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
13:10
try it out yourself,
243
778005
1446
să ȋncercaţi şi voi,
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
şi să vă alăturaţi nouă ȋn explorarea
acestei lumi de micromişcări.
acestei lumi de micromişcări.
13:14
Thank you.
245
782423
1625
Mulţumesc.
(Aplauze)
13:16
(Applause)
246
784048
1254
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com