TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Michael Rubinstein: Nematomi judesiai, negirdimas garsas. Įdomu? Baugina? Paliekame spręsti jums.
Filmed:
Readability: 4.1
2,075,056 views
Susipažinkite su „judesiniu mikroskopu“, vaizdo apdorojimo priemone, kuri seka mažus judesio, spalvos pakitimus, kurių žmogus nemato plika akimi. Tyrėjas Michael Rubinstein pateikia žadą atimančius video įrašus, kaip technologija gali išgauti žmogaus pulsą, širdies ritmą paprasčiausiai apdorojus keletą filmuotų kadrų. Stebėkite, kaip atkuriamas pokalbis išdidinant garso bangas, atsimušusias nuo traškučių pakelio. Nuostabą kelianti ir nusikalstamumui mažinti pritaikyta technologija, kuria patikėsite tik ją pamatę.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
Per pastaruosius šimtmečius mikroskopai
iš pagrindų pakeitė mūsų pasaulį.
iš pagrindų pakeitė mūsų pasaulį.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
Jie atskleidė mažų dalelyčių,
struktūrų pasaulį,
struktūrų pasaulį,
kurio mes negalime matyti plika akimi.
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
Jie yra didžiulis įnašas šiuolaikiniam
mokslui ir technologojoms.
mokslui ir technologojoms.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Šiandien aš jums pristatysiu
naujausio modelio mikroskopą.
naujausio modelio mikroskopą.
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
00:35
a microscope for changes.
5
23404
2578
Mikroskopą, reaguojantį į pokyčius.
Jame, priešingai nei įprastai,
nenaudojami optiniai lęšiai
nenaudojami optiniai lęšiai
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
00:40
to make small objects bigger,
7
28884
1997
dalelytėms išdidinti.
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
Aparatas pasitelkia video kamerą
ir vaizdo apdorojimą,
ir vaizdo apdorojimą,
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
kad atskleistų smulkiausius judesius,
spalvų pakitimus daiktuose bei žmonėse.
spalvų pakitimus daiktuose bei žmonėse.
Šių judesių neįmanoma įžiūrėti
plika akimi.
plika akimi.
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
Mikroskopas leidžia pažvelgti
į pasaulį kitu kampu.
į pasaulį kitu kampu.
Taigi ką turiu omenyje,
sakydamas spalvų pakitimai?
sakydamas spalvų pakitimai?
01:00
So what do I mean by color changes?
12
48475
1910
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
Pavyzdžiui, mūsų oda
nežymiai keičia atspalvį,
nežymiai keičia atspalvį,
01:05
when the blood flows under it.
14
53217
1997
kai kraujas į ją atiteka.
01:07
That change is incredibly subtle,
15
55214
2397
Šis pakitimas yra neįtikėtinai subtilus.
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
kai žiūri į kitą žmogų,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
sėdintį šalia tavęs,
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
nepaisai kaip keičiasi jo veido spalva.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
Žiūrint šią filmuotą medžiagą
galima pamanyti, kad vaizdas statiškas,
galima pamanyti, kad vaizdas statiškas,
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
bet pažiūrėjus per šį, naujovišką,
specialų, mikroskopą
specialų, mikroskopą
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
regime visai kitą vaizdą.
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
Tai, ką čia matote, yra maži
odos pigmento pakitimai.
odos pigmento pakitimai.
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
Juos išdidinome 100 kartų,
kad taptų matoma.
kad taptų matoma.
Matomas netgi žmogaus pulsas.
01:36
We can actually see a human pulse.
24
84686
3267
Mes matome kokiu greičiu plaka
Stevo širdis,
Stevo širdis,
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
taip pat matome, kaip
kraujas atiteka į jo veidą.
kraujas atiteka į jo veidą.
Šitai daroma ne vien tam, kad
pamatytume pulsą,
pamatytume pulsą,
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
bet tam, kad atstatytume širdies ritmą,
01:54
and measure our heart rates.
29
102646
1793
ar jį išmatuotume.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
Mes naudojame įprastas kameras,
ir neliečiame pacientų.
ir neliečiame pacientų.
Štai pulsas ir širdies ritmas, kuriuos
išgavome iš naujagimio,
išgavome iš naujagimio,
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
panaudojus video,
nufilmuoto su paprasta DSLR kamera.
nufilmuoto su paprasta DSLR kamera.
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
02:09
and the heart rate measurement we get
33
117390
1816
Mes išmatavome širdies ritmą
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
tiksliai taip, kaip ligoninės
kraujospūdžio aparatas.
kraujospūdžio aparatas.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
Ir visai nebūtina turėti video įrašą.
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Iš esmės rezultatą galima išgauti
ir su kitais video.
ir su kitais video.
Paėmiau ištrauką iš
filmo „Batman Begins"
filmo „Batman Begins"
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
tik tam, kad parodyčiau
Christiano Baleso pulsą
Christiano Baleso pulsą
02:25
just to show Christian Bale's pulse.
38
133555
1904
02:27
(Laughter)
39
135459
1822
(Juokiasi.)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
Galimas daiktas, kad jis su grimu,
02:31
the lighting here is kind of challenging,
41
139404
1953
apšvietimas apsunkina padėtį.
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
Vis tiek iš įrašo mes galime
išgauti jo tikslų pulsą
išgauti jo tikslų pulsą
02:36
and show it quite well.
43
144308
2018
ir gana aiškiai jį parodyti.
Tai kaip visa tai padarome?
02:38
So how do we do all that?
44
146326
1920
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
Analizuojame įrašytus
šviesos pokyčius
šviesos pokyčius
kiekviename pikselyje.
02:44
at every pixel in the video over time,
46
152844
2271
Po to juos pagreitiname.
02:47
and then we crank up those changes.
47
155115
1798
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
Kad taptų matoma, viską padidiname.
02:51
The tricky part is that those signals,
49
159075
1902
Gana keblu, nes šie signalai,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
pokyčiai, kurių mes ieškome,
yra nepaprastai subtilūs.
yra nepaprastai subtilūs.
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
Turime būti labai atsargūs
juos atskiriant
juos atskiriant
02:58
from noise that always exists in videos.
52
166689
3831
nuo triukšmo, kurio visada
būna įrašuose.
būna įrašuose.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
Mes naudojame išmanias
vaizdo apdorojimo technikas,
vaizdo apdorojimo technikas,
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
kad išgautume tikslius odos pigmento
duomenis kiekviename pikslelyje
duomenis kiekviename pikslelyje
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
ir kaip oda kinta laikui bėgant.
03:12
and then we amplify those changes.
56
180179
2693
Vėliau šiuos pokyčius pabrėžiame.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
Juos pagreitiname taip, kad susidarytų
sustiprintas vaizdas,
sustiprintas vaizdas,
kuris aiškiai rodytų pokyčius.
03:18
that actually show us those changes.
58
186852
2172
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
Pasirodo, kad galima parodyti ne tik
mažus spalvos pakitimus,
mažus spalvos pakitimus,
bet ir mažyčius judesius.
03:25
but also tiny motions,
60
193262
2241
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
Taip yra todėl, kad šviesa,
kurią įrašome,
kurią įrašome,
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
keičiasi ne tik pačiame objekte,
03:33
but also if the object moves.
63
201889
2368
bet taip pat jam judant.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
Čia mano dukra, kai jai buvo 2 mėnesiai.
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
Medžiaga filmuota prieš trejus metus.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
Juk visi nauji tėvai nori užtikrinti,
jog vaikas auga sveikas,
jog vaikas auga sveikas,
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
kad jis kvėpuoja ir, žinoma, yra gyvas.
03:48
So I too got one of those baby monitors
68
216642
2142
Taigi ir aš nusipirkau
kūdikio monitorių,
kūdikio monitorių,
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
kad galėčiau matyti kaip mano dukra miega.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
Štai ką galima pamatyti su standartiniu
kūdikio monitoriumi.
kūdikio monitoriumi.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
Akivaizdu, kad ji miega, bet
daugiau informacijos nėra.
daugiau informacijos nėra.
04:00
There's not too much we can see.
72
228474
1604
Nedaug ką galime pasakyti.
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
Argi nebūtų geriau,
informatyviau, naudingiau,
informatyviau, naudingiau,
jei galėtume šitaip žiūrėti į vaizdą.
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
Judesius padidinau 30 kartų
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
ir tik tada aš galėjau aiškiai matyti,
kad mano dukra tikrai gyva ir kvėpuoja.
kad mano dukra tikrai gyva ir kvėpuoja.
04:18
(Laughter)
77
246074
2253
(Juokiasi.)
04:20
Here is a side-by-side comparison.
78
248327
1922
Štai analogiškas palyginimas.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
Ir vėl pradiniame video įraše
04:24
there's not too much we can see,
80
252732
1636
nedaug ką matome.
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
Bet, kai padidiname judesius,
kvėpavimas tampa aiškiai matomu.
kvėpavimas tampa aiškiai matomu.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
Ir, pasirodo, yra daug reiškinių,
kuriuos galima atskleisti ir išdidinti
su naujuoju judesiniu mikroskopu.
su naujuoju judesiniu mikroskopu.
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
Galime matyti kaip venos ir arterijos
pulsuoja mūsų kūnuose,
pulsuoja mūsų kūnuose,
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
kad mūsų akys nuolat juda
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
nepastoviu virpėjimu.
04:42
in this wobbly motion.
86
270960
1887
04:44
And that's actually my eye,
87
272847
1509
Tai mano akis.
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
Ši medžiaga nufilmuota iškart po
mano dukros gimimo.
mano dukros gimimo.
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
Ne per daugiausiai miegojau.
04:53
Even when a person is sitting still,
90
281623
2716
Net ir tada, kai žmogus ramiai sėdi,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
galima išgauti daug informacijos
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
apie jo kvėpavimą, emocijas.
Gal galėtume panaudoti
šiuos judesius
šiuos judesius
05:01
Maybe we could use those motions
93
289912
1625
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
ir pasakyti daugiau apie mūsų
mintis ir jausmus.
mintis ir jausmus.
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
Taip pat galime išdidinti
mažus mechaninius judesius,
mažus mechaninius judesius,
pavyzdžiui, variklių virpesį.
05:09
like vibrations in engines,
96
297946
1555
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
Tai padėtų inžinieriams rasti gedimą,
nustatyti mechanizmo problemas
nustatyti mechanizmo problemas
arba pamatyti pastatų, konstrukcijų
svyravimą, reakciją į aplinkos jėgas.
svyravimą, reakciją į aplinkos jėgas.
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Yra įvairiausių būdų
kaip šiuos dalykus apskaičiuoti,
kaip šiuos dalykus apskaičiuoti,
bet apskaičiuoti yra viena,
05:24
but measuring those motions is one thing,
100
312512
2453
o realiai pamatyti
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
yra visai kas kita.
05:29
is a whole different thing.
102
317241
2554
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
Nuo tada, kai mes atradome
šią naują technologiją,
šią naują technologiją,
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
sistemą paleidome internete, kad
kiti galėtų išbandyti ir eksperimentuoti.
kiti galėtų išbandyti ir eksperimentuoti.
Naudotis labai paprasta.
05:38
It's very simple to use.
105
326789
1875
05:40
It can work on your own videos.
106
328664
2044
Viskas veikia naudojant jūsų pačių įrašus.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
„Quanta Research" organizacija
sukūrė internetinį puslapį,
sukūrė internetinį puslapį,
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
kuriame galima įkelti video
ir jį apdoroti internetu.
ir jį apdoroti internetu.
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
Tad net jei neturite patirties
informatikoje ir programavime
informatikoje ir programavime
vis tiek galite lengvai eksperimentuoti
su šiuo nauju mikroskopu.
su šiuo nauju mikroskopu.
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
Noriu parodyti keletą pavyzdžių
05:57
of what others have done with it.
112
345735
2735
kaip kiti juo naudojasi.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Šis video buvo sukurtas vieno „YouTube"
vartotojo, pasivadunusio Tamez85.
vartotojo, pasivadunusio Tamez85.
06:05
I don't know who that user is,
114
353787
1463
Aš nežinau, kas šis žmogus,
06:07
but he, or she, used our code
115
355250
2345
bet jis, ar ji, pasinaudojo mūsų sistema,
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
kad padidintų mažus pilvo judesius
nėštumo metu.
nėštumo metu.
Atrodo gana baisiai.
06:13
It's kind of creepy.
117
361310
1602
06:14
(Laughter)
118
362912
1613
(Juokiasi.)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Žmonės panaudojo sistemą, kad
padidintų pulsuojančias rankų venas.
padidintų pulsuojančias rankų venas.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
Kaip žinote, mokslas laikomas rimtu,
kai nadojamos jūrų kiaulytės.
kai nadojamos jūrų kiaulytės.
Pasirodo šios vardas yra Tifanė.
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
„YouTube" naudotojas teigia, kad
tai pirmasis planetos graužikas,
tai pirmasis planetos graužikas,
06:31
that was motion-magnified.
123
379607
2688
kurio judesiai buvo padidinti.
06:34
You can also do some art with it.
124
382295
2188
Iš to galima netgi sukurti meną.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
Šis video buvo atsiųstas
menų fakulteto studentės iš Jeilio
menų fakulteto studentės iš Jeilio
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
Ji norėjo pamatyti, ar yra skirtumas
06:41
in the way her classmates move.
127
389638
1522
tarp to, kaip juda
jos bendraklasiai.
jos bendraklasiai.
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
Ji liepė visiems stovėti tiesiai,
o vėliau išdidino jų judesius.
o vėliau išdidino jų judesius.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
Lyg atgaivintų vaizdą nuotraukose.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
Malonu yra tai, kad su šiais pavyzdžiais
06:53
is that we had nothing to do with them.
131
401180
2296
mes niekuo dėti.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
Mes tik suteikėme naują įrankį,
galimybę žiūrėti į pasaulį kitaip,
galimybę žiūrėti į pasaulį kitaip,
tada žmonės atranda įdomius, naujus,
kūrybiškus būdus, kaip juo pasinaudoti.
kūrybiškus būdus, kaip juo pasinaudoti.
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
Bet mūsų veikla nesibaigia.
07:04
But we didn't stop there.
134
412462
1764
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
Šis įrankis leidžia ne tik
pažvelgti į pasaulį kitu kampu,
pažvelgti į pasaulį kitu kampu,
bet ir atnaujina mūsų galimybes
07:09
it also redefines what we can do
136
417477
2368
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
ir praplečia ribas, kuriose
gali būti naudojamos kameros.
gali būti naudojamos kameros.
07:15
So as scientists, we started wondering,
138
423026
2229
Kaip mokslininkai,
mes pradėjome galvoti,
mes pradėjome galvoti,
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
kokie dar fiziniai reiškiniai
sukelia mažus judesius,
sukelia mažus judesius,
kuriuos dabar, pasitelkiant kameras,
galėtume išmatuoti?
galėtume išmatuoti?
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
Vienas iš reiškinių, prie kurio
neseniai susitelkėme, yra garsas.
neseniai susitelkėme, yra garsas.
Garsas, kaip žinome,
iš esmės ir yra pokyčiai.
iš esmės ir yra pokyčiai.
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
Oro slėgio, kuris keliauja erdve.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
Slėgio bangos atsimuša į daiktus ir
sukelia mažus virpėjimus juose,
sukelia mažus virpėjimus juose,
taip mes galime girdėti ir įrašyti garsą.
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
Pasirodo, kad garsas taip pat
sukelia vaizdinius judesius.
sukelia vaizdinius judesius.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
Šie judesiai nėra matomi plika akimi,
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
bet juos aptinka kamera, su tinkamu
vaizdo apdorojimu.
vaizdo apdorojimu.
07:47
So here are two examples.
149
455887
1573
Štai pora pavyzdžių:
aš, demonstruojantis savo puikius
dainavimo įgūdžius,
dainavimo įgūdžius,
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
(Dainuoja.)
07:53
(Singing)
151
461064
1634
(Juokiasi.)
07:54
(Laughter)
152
462698
1436
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
ir pagreitintas vaizdas, kuriame matosi
gerklė, man gaudžiant.
gerklė, man gaudžiant.
07:59
Again, if you stare at that video,
154
467120
1764
Vėlgi, žiūrint į šį įrašą
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
nedaug kas matosi.
Bet padidinus 100 kartų, matomi
visi judesiai ir raibuliavimai
visi judesiai ir raibuliavimai
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
tose kaklo srityse, kurios
išskiria garsą.
išskiria garsą.
Impulsai akivaizdūs.
08:10
That signal is there in that video.
158
478566
2740
Visi žinome, kad dainininkai
gali sudaužyti vyno taurę,
gali sudaužyti vyno taurę,
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
jei pasiekia reikiamą natą.
08:15
if they hit the correct note.
160
483976
1463
Taigi mes pagrosime natą,
08:17
So here, we're going to play a note
161
485439
1765
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
kurios dažnis rezonuoja
taurės svyravimo dažnį.
taurės svyravimo dažnį.
08:21
through a loudspeaker that's next to it.
163
489730
2048
Pasitelksime šalia esantį garsiakalbį.
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
Pagrojus šią natą ir
išdidinus judesius 250 kartų
išdidinus judesius 250 kartų
akivaizdžiai matome kaip
taurė vibruoja
taurė vibruoja
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
08:30
and resonates in response to the sound.
166
498535
3570
ir rezonuoja garsą.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Ne kiekvieną dieną tai pamatysi.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
Tai privertė mus susimąstyti ir
davė beprotišką idėją.
davė beprotišką idėją.
Ar mes galime apversti šį procesą ir
išgauti garsą iš vaizdo įrašo?
išgauti garsą iš vaizdo įrašo?
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
Analizuojant mažas vibracijas, kurias
daiktuose sukuria garso bangos,
daiktuose sukuria garso bangos,
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
ir atverčiant jas atgal į garsą.
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
Tokiu būdu mes galėtume kasdienius
daiktus paversti mikrofonais.
daiktus paversti mikrofonais.
08:58
So that's exactly what we did.
173
526931
2232
Būtent tai ir padarėme.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
Čia tuščias traškučių pakelis.
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
Mes ketiname jį paversti mikrofonu
filmuodami su video kamera
09:06
by filming it with a video camera
176
534804
1591
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
ir analizuodami mažus judesius,
kuriuos sukelia garso bangos.
kuriuos sukelia garso bangos.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
Štai garsas, kurį skleidėme kambaryje.
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
(Muzika.)
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
O čia pagreitintas video, kurį nurašėme
nuo traškučių pakelio.
nuo traškučių pakelio.
09:25
Again it's playing.
181
553032
1274
Ir jis groja.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
Nėra jokios galimybės,
ką nors pamatyti šiame video
ką nors pamatyti šiame video
tiesiog žiūrint į jį,
09:29
just by looking at it,
183
557648
1058
bet štai garsas, kurį atkurėme
analizuodami
analizuodami
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
mažyčius judesius jame.
09:33
the tiny motions in that video.
185
561690
2183
(Muzika.)
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
09:52
I call it -- Thank you.
187
580985
1486
Aš tai vadinu... – Ačiū
09:54
(Applause)
188
582471
5225
(Plojimai.)
10:01
I call it the visual microphone.
189
589878
2345
Aš tai vadinu vaizdiniu mikrofonu.
Mes netgi išgauname audio signalus
iš video signalų.
iš video signalų.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
Noriu leisti jums pajusti
judesių amplitudę.
judesių amplitudę.
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
Didelis garsas priverčia traškučių pakelį
suvirpėti mažiau nei 1 mikrometrą.
suvirpėti mažiau nei 1 mikrometrą.
t.y. 1 tūkstantoji milimetro dalis.
10:16
That's one thousandth of a millimeter.
193
604135
2739
Štai kokio mąsto judesius
dabar mes pajėgūs išgauti
dabar mes pajėgūs išgauti
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
vien stebėdami kaip šviesa
atsimuša nuo paviršiaus
atsimuša nuo paviršiaus
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
ir užfiksuodami viską mūsų kamerose.
10:25
and gets recorded by our cameras.
196
613678
2136
Mes atkuriame garsus ir iš kitų
objektų, pavyzdžiui, augalų.
objektų, pavyzdžiui, augalų.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
(Muzika.)
10:39
And we can recover speech as well.
199
627214
1997
Ir taip pat galime atgaminti kalbas.
10:41
So here's a person speaking in a room.
200
629211
2577
Štai žmogus, kalbantis kambaryje.
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
Balsas: „Merė turėjo mažą avinėlį, kurio
vilna buvo balta kaip sniegas
vilna buvo balta kaip sniegas
ir kur tik Merė ėjo,
avinėlis sekė paskui."
avinėlis sekė paskui."
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
Štai ta pati kalba, atgaminta vėl
iš video, su tuo pačiu traškučių pakeliu.
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
Balsas: „Merė turėjo mažą avinėlį, kurio
vilna buvo balta kaip sniegas
vilna buvo balta kaip sniegas
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
ir kur tik Merė ėjo,
avinėlis sekė paskui.“
avinėlis sekė paskui.“
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
Mes panaudojome šį tekstą,
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
11:10
because those are said to be
the first words
the first words
208
658290
2123
nes sakoma, kad tai pirmieji žodžiai,
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
kuriuos Tomas Edisonas
ištarė į fonografą 1877.
ištarė į fonografą 1877.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
Tai buvo vienas iš pirmųjų
garso įrašymo prietaisų istorijoje.
garso įrašymo prietaisų istorijoje.
Iš esmės jis nukreipė garsą į diafragmą,
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
kuri virpino adatą ir rėžė garsą
į alavo foliją,
į alavo foliją,
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
apvyniotą apie cilindrą.
11:27
that was wrapped around the cylinder.
213
675208
2275
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
Demontruojame, kaip buvo įrašomas ir
paleidžiamas garsas su Edisono fonografu.
paleidžiamas garsas su Edisono fonografu.
Balsas: „bandymas, bandymas,
vienas du trys".
vienas du trys".
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
„Merė turėjo mažą avinėlį, kurio
vilna buvo balta kaip sniegas
vilna buvo balta kaip sniegas
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
ir kur tik Merė ėjo,
avinėlis sekė paskui.“
avinėlis sekė paskui.“
11:45
Testing, testing, one two three.
218
693528
2740
„Bandymas, bandymas,
vienas du trys.“
vienas du trys.“
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
„Merė turėjo mažą avinėlį, kurio
vilna buvo balta kaip sniegas
vilna buvo balta kaip sniegas
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
ir kur tik Merė ėjo,
avinėlis sekė paskui.“
avinėlis sekė paskui.“
Dabar, praėjus 137 metams,
11:57
MR: And now, 137 years later,
221
705648
4017
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
mes galime išgauti panašios kokybės garsą,
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
tiesiog stebėdami su kameromis,
kaip daiktai virpa nuo garso bangų.
kaip daiktai virpa nuo garso bangų.
12:09
and we can even do that when the camera
224
717831
1934
Mes galime tai padaryti netgi jei kamera
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
yra už 15 pėdų
ir už garsą izoliuojančio stiklo.
ir už garsą izoliuojančio stiklo.
Štai garsas, kurį galime atkurti
net ir tokiu atveju.
net ir tokiu atveju.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Balsas: „Merė turėjo mažą avinėlį, kurio
vilna buvo balta kaip sniegas
vilna buvo balta kaip sniegas
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
ir kur tik Merė ėjo,
avinėlis sekė paskui.“
avinėlis sekė paskui.“
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
Žinoma, apsaugos kameros yra
pirmasis pritaikymas, kuris šauna į galvą.
pirmasis pritaikymas, kuris šauna į galvą.
12:33
(Laughter)
230
741034
2995
(Juokiasi.)
Bet pritaikyti būtų galima
ir kitose srityse.
ir kitose srityse.
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
Pavyzdžiui, gal ateityje
galėsime jį panaudoti
galėsime jį panaudoti
12:42
to recover sound across space,
233
750925
2252
atkuriant ūžesį kosmose.
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
Juk žinome, kad garsas negali sklisti
kosmose, o šviesa gali.
kosmose, o šviesa gali.
Mes dar tik pradėjome tyrinėti
12:48
We've only just begun exploring
235
756753
2404
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
kitus galimus šios naujos
technologijos pritaikymus.
technologijos pritaikymus.
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
Ji leidžia pamatyti tuos
fizinius reiškinius,
fizinius reiškinius,
kurių mes iki šiol nepajėgėme
įžiūrėti savo akimis.
įžiūrėti savo akimis.
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
13:00
This is our team.
239
768564
1204
Štai mūsų komanda.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
Viskas, ką jums šiandien parodžiau,
yra bendro darbo vaisius
yra bendro darbo vaisius
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
šios puikios žmonių grupės.
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
Aš jus skatinu apsilankyti
mūsų internetiniame puslapyje,
mūsų internetiniame puslapyje,
13:10
try it out yourself,
243
778005
1446
išbandyti jį
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
ir prisijungti prie mūsų tyrinėjant
mažų judesių pasaulį.
mažų judesių pasaulį.
13:14
Thank you.
245
782423
1625
Ačiū.
13:16
(Applause)
246
784048
1254
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com