TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Michael Rubinstein: Se osynliga rörelser, höra tysta ljud. Häftigt? Läskigt? Vi kan inte bestämma oss.
Filmed:
Readability: 4.1
2,075,056 views
Möt ”rörelsemikroskopet”, ett videobearbetningsverktyg som spelar upp små förändringar i rörelse och färg som är omöjliga att se med blotta ögat. Videoforskaren Michael Rubinstein spelar upp klipp efter häpnadsväckande klipp som visar hur den här tekniken kan mäta en människas puls och hjärtslag bara med hjälp av lite film. Se honom återskapa en konversation genom att förstärka rörelser från ljudvågor som studsar på en chipspåse. Den här teknikens wow-inspirerande och lömska användningsområden kan du tro på först när du ser dem.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
Under de senaste århundradena
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
har mikroskopen revolutionerat vår värld.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
De har avslöjat en liten värld
av objekt, liv och strukturer
av objekt, liv och strukturer
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
som är för små för att vi
ska kunna se dem med blotta ögat.
ska kunna se dem med blotta ögat.
De är ett enormt bidrag
till forskning och teknik.
till forskning och teknik.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Idag skulle jag vilja introducera
en ny sorts mikroskop,
en ny sorts mikroskop,
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
ett mikroskop för förändringar.
00:35
a microscope for changes.
5
23404
2578
Det använder inte optik
som ett vanligt mikroskop
som ett vanligt mikroskop
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
för att göra små objekt större.
00:40
to make small objects bigger,
7
28884
1997
Istället använder den en videokamera
och bildbehandling
och bildbehandling
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
för att avslöja de minsta rörelserna
och färgförändringarna
hos saker och människor
hos saker och människor
förändringar som är omöjliga för oss
att se med blotta ögat,
att se med blotta ögat,
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
Och det låter oss se på världen
på ett helt nytt sätt,
på ett helt nytt sätt,
01:00
So what do I mean by color changes?
12
48475
1910
Så vad menar jag med färgförändringar?
Vår hud, till exempel,
ändrar färg en liten aning
ändrar färg en liten aning
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
01:05
when the blood flows under it.
14
53217
1997
när blodet flödar under den.
Den förändringen är otroligt subtil,
01:07
That change is incredibly subtle,
15
55214
2397
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
så att när du tittar på andra,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
när du tittar på personen bredvid dig,
så ser du inte att deras hud
eller deras ansikte ändrar färg.
eller deras ansikte ändrar färg.
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
När vi tittar på filmen av Steve här,
så ser det ut som en statisk bild,
så ser det ut som en statisk bild,
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
men när vi tittar på den här filmen
genom vårt nya specialmikroskop,
genom vårt nya specialmikroskop,
så ser vi plötsligt en helt annan bild.
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
Vad ni ser här är små förändringar
i färgen på Steves hud,
i färgen på Steves hud,
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
förstorade 100 gånger
så att de blir synliga.
så att de blir synliga.
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
Vi kan faktiskt se en mänsklig puls.
01:36
We can actually see a human pulse.
24
84686
3267
Vi kan se hur fort Steves hjärta slår,
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
men vi kan också se på vilket sätt
blodet flödar i hans ansikte.
blodet flödar i hans ansikte.
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
Och vi kan göra det, inte bara för
att visualisera pulsen,
att visualisera pulsen,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
utan också för att hämta in
vår hjärtfrekvens,
vår hjärtfrekvens,
01:54
and measure our heart rates.
29
102646
1793
och mäta vår hjärtfrekvens.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
Vi kan göra det här med vanliga kameror
och utan att röra vid patienterna.
och utan att röra vid patienterna.
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
Så, här ser ni pulsen och hjärtfrekvensen
hos en nyfödd bebis, som vi har tagit ut
hos en nyfödd bebis, som vi har tagit ut
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
från en film som har spelats in
med en vanlig DSLR-kamera.
med en vanlig DSLR-kamera.
02:09
and the heart rate measurement we get
33
117390
1816
Och den hjärtfrekvens
vi kan mäta upp
vi kan mäta upp
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
är lika exakt som en som man kan mäta upp
med standardutrustning på ett sjukhus.
med standardutrustning på ett sjukhus.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
Och filmen behöver inte ens
ha spelats in av oss.
ha spelats in av oss.
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Vi kan i huvudsak göra det
även med andra filmer.
även med andra filmer.
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
Så jag tog bara ett kort klipp
från "Batman begins" här
från "Batman begins" här
02:25
just to show Christian Bale's pulse.
38
133555
1904
bara för att visa Christian Bales puls.
02:27
(Laughter)
39
135459
1822
(Skratt)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
Och som ni vet har han antagligen smink,
02:31
the lighting here is kind of challenging,
41
139404
1953
ljussättningen här är rätt utmanande,
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
men ändå kan vi ta ut hans puls
från den här filmen
från den här filmen
02:36
and show it quite well.
43
144308
2018
och visa upp den ganska tydligt.
02:38
So how do we do all that?
44
146326
1920
Så, hur gör vi allt det här?
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
I grund och botten analyserar vi
förändringar i det inspelade ljuset
förändringar i det inspelade ljuset
02:44
at every pixel in the video over time,
46
152844
2271
i varje pixel i filmen över tid.
Och sen skruvar vi upp förändringarna.
02:47
and then we crank up those changes.
47
155115
1798
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
Vi gör dem större så att vi kan se dem.
02:51
The tricky part is that those signals,
49
159075
1902
Det svåra är att de signalerna,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
de förändringar som vi är ute efter
är extremt subtila,
är extremt subtila,
så vi måste vara väldigt försiktiga
när vi försöker separera dem
när vi försöker separera dem
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
02:58
from noise that always exists in videos.
52
166689
3831
från störningar
som alltid finns på filmer.
som alltid finns på filmer.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
Så vi använder några smarta
bildbehandlingstekniker
bildbehandlingstekniker
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
för att få ett väldigt exakt mått
på färgen i varje pixel i filmen
på färgen i varje pixel i filmen
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
och sen på hur färgen förändras över tid.
03:12
and then we amplify those changes.
56
180179
2693
Därefter förstärker vi de förändringarna.
Vi förstorar dem för att skapa
den sortens förstärkta filmer
den sortens förstärkta filmer
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
som faktiskt kan visa upp
de förändringarna.
de förändringarna.
03:18
that actually show us those changes.
58
186852
2172
Men det visar sig att vi inte bara
kan göra det här för
kan göra det här för
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
att visa små färgförändringar,
03:25
but also tiny motions,
60
193262
2241
utan också små rörelser,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
och det beror på att det ljus
som spelas in på våra kameror
som spelas in på våra kameror
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
inte bara ändrar sig
om objektets färg ändrar sig
om objektets färg ändrar sig
utan också om objektet rör sig.
03:33
but also if the object moves.
63
201889
2368
Det här är min dotter när hon var
ungefär två månader gammal.
ungefär två månader gammal.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
Jag spelade in den här filmen
för ungefär tre år sen.
för ungefär tre år sen.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
Och som nyblivna föräldrar
vill vi alla säkerställa
vill vi alla säkerställa
att våra barn mår bra, att de andas,
att de lever - förstås.
att de lever - förstås.
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
Så även jag skaffade en sån där babyvakt
03:48
So I too got one of those baby monitors
68
216642
2142
så att jag kunde se min dotter
när hon låg och sov.
när hon låg och sov.
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
Och det här är ungefär vad man kan se
med en vanlig babyvakt.
med en vanlig babyvakt.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
Man kan se att barnet sover, men det finns
inte så mycket information att hämta.
inte så mycket information att hämta.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
04:00
There's not too much we can see.
72
228474
1604
Vi kan inte se särskilt mycket.
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
Skulle det inte vara bättre,
mer informativt, mer användbart
mer informativt, mer användbart
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
om vi istället kunde se bilden så här.
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
Så här tog jag rörelserna
och förstorade dem 30 gånger,
och förstorade dem 30 gånger,
och så kunde jag tydligt se
att min dotter fortfarande var vid liv
att min dotter fortfarande var vid liv
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
och andades.
(Skratt)
04:18
(Laughter)
77
246074
2253
04:20
Here is a side-by-side comparison.
78
248327
1922
Här är en jämförelse sida vid sida.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
Så, igen, i källfilmen, i ursprungsfilmen
04:24
there's not too much we can see,
80
252732
1636
så kan vi inte se så mycket,
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
men när vi förstorar rörelserna
blir andningen mycket mer synlig.
blir andningen mycket mer synlig.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
Det visar sig att det finns
en lång rad fenomen
en lång rad fenomen
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
som vi kan avslöja och förstora
med vårt nya rörelsemikroskop.
med vårt nya rörelsemikroskop.
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
Vi kan se hur våra vener och artärer
pulserar i våra kroppar.
pulserar i våra kroppar.
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
Vi kan se att våra ögon konstant rör sig
04:42
in this wobbly motion.
86
270960
1887
i en svajig rörelse.
04:44
And that's actually my eye,
87
272847
1509
Och det där är faktiskt mitt öga,
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
och igen, den här filmades
strax efter att min dotter föddes,
strax efter att min dotter föddes,
så det syns att jag inte fick
så mycket sömn.
så mycket sömn.
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
(Skratt)
Även när en person sitter still
04:53
Even when a person is sitting still,
90
281623
2716
så finns det massor med
information att hämta
information att hämta
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
om andningsmönster,
små ansiktsuttryck.
små ansiktsuttryck.
05:01
Maybe we could use those motions
93
289912
1625
Kanske kan vi använda rörelserna
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
till att berätta något om
våra tankar eller känslor.
våra tankar eller känslor.
Vi kan också förstora
små mekaniska rörelser,
små mekaniska rörelser,
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
05:09
like vibrations in engines,
96
297946
1555
som vibrationer i motorer,
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
som kan hjälpa maskinister att upptäcka
och diagnosticera maskinproblem,
och diagnosticera maskinproblem,
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
eller se hur byggnader och konstruktioner
rör sig i vind eller andra krafter.
rör sig i vind eller andra krafter.
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Det här är saker som vi redan kan mäta
på olika sätt i samhället,
på olika sätt i samhället,
05:24
but measuring those motions is one thing,
100
312512
2453
men att mäta rörelserna är en sak,
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
och att faktiskt se rörelserna
medan de pågår
medan de pågår
05:29
is a whole different thing.
102
317241
2554
är en helt annan sak.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
Och redan när vi upptäckte
den här nya tekniken
den här nya tekniken
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
gjorde vi koden tillgänglig online
så att andra kunde experimentera med den.
så att andra kunde experimentera med den.
05:38
It's very simple to use.
105
326789
1875
Den är väldigt enkel att använda.
05:40
It can work on your own videos.
106
328664
2044
Den kan fungera på dina egna filmer.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
Våra partners på Quantum Research
har skapat den här fina webbplatsen
har skapat den här fina webbplatsen
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
där man kan ladda upp filmer
och behandla dem online,
och behandla dem online,
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
så även om du inte har någon erfarenhet
av datorvetenskap eller programmering
av datorvetenskap eller programmering
så kan du ändå enkelt experimentera
med det nya mikroskopet.
med det nya mikroskopet.
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
Och jag skulle vilja visa
bara några exempel
bara några exempel
av vad andra har gjort med det.
05:57
of what others have done with it.
112
345735
2735
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Den här filmen är gjord
av en YouTube-användare
av en YouTube-användare
som kallar sig Tamez85.
Jag vet inte vem användaren är,
06:05
I don't know who that user is,
114
353787
1463
06:07
but he, or she, used our code
115
355250
2345
men han, eller hon, har använt vår kod
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
till att förstora små magrörelser
under en graviditet.
under en graviditet.
Det är ganska läskigt.
06:13
It's kind of creepy.
117
361310
1602
06:14
(Laughter)
118
362912
1613
(Skratt)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Folk har använt den till att förstora
pulserande vener på händerna.
pulserande vener på händerna.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
Och du vet att det inte är riktig
forskning om det inte innefattar marsvin,
forskning om det inte innefattar marsvin,
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
och tydligen heter det
här marsvinet Tiffany,
här marsvinet Tiffany,
och den här YouTube-användaren påstår
att det är den första gnagaren på jorden
att det är den första gnagaren på jorden
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
06:31
that was motion-magnified.
123
379607
2688
som har fått sina rörelser förstorade.
06:34
You can also do some art with it.
124
382295
2188
Man kan också skapa konst med den.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
Jag fick den här filmen
av en designstudent från Yale.
av en designstudent från Yale.
Hon ville se om det fanns några skillnader
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
i hur hennes klasskamrater rör sig.
06:41
in the way her classmates move.
127
389638
1522
Hon fick dem att stå still
och förstorade sen rörelserna.
och förstorade sen rörelserna.
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
Det är som att se stillbilder få liv.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
Och det fina med de här exemplen
06:53
is that we had nothing to do with them.
131
401180
2296
är att vi inte hade något
med dem att göra.
med dem att göra.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
Vi tillhandahöll bara ett nytt verktyg,
ett nytt sätt att se på världen,
ett nytt sätt att se på världen,
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
och sen hittar folk andra intressanta,
nya och kreativa sätt att använda det.
nya och kreativa sätt att använda det.
Men vi stannade inte vid det.
07:04
But we didn't stop there.
134
412462
1764
Det här verktyget låter oss inte bara
se på världen på ett nytt sätt,
se på världen på ett nytt sätt,
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
det omdefinierar vad vi kan göra
07:09
it also redefines what we can do
136
417477
2368
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
och flyttar gränserna
för vad vi kan göra med våra kameror.
för vad vi kan göra med våra kameror.
Så, som vetenskapsmän
började vi fundera på
började vi fundera på
07:15
So as scientists, we started wondering,
138
423026
2229
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
om det fanns andra fysiska fenomen
som skapar små rörelser
som skapar små rörelser
som vi kunde mäta med våra kameror?
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
Och ett sånt fenomen
som vi nyligen fokuserade på är ljud.
som vi nyligen fokuserade på är ljud.
Ljud är, som vi alla känner till,
i huvudsak förändringar
i huvudsak förändringar
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
i lufttryck som förflyttas genom luften.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
De tryckvågorna träffar objekt
och skapar små vibrationer i dem,
och skapar små vibrationer i dem,
det är så vi hör och så vi spelar in ljud.
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
Men det visar sig att ljud
också producerar synliga rörelser.
också producerar synliga rörelser.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
Det är rörelser
som inte är synliga för oss
som inte är synliga för oss
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
men som är synliga för kameran,
med rätt behandling.
med rätt behandling.
Här är två exempel.
07:47
So here are two examples.
149
455887
1573
Det här är jag som visar upp
min fantastiska sångförmåga.
min fantastiska sångförmåga.
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
07:53
(Singing)
151
461064
1634
(Sjunger)
07:54
(Laughter)
152
462698
1436
(Skratt)
Och jag gjorde en höghastighetsfilm
av min hals medan jag hummade.
av min hals medan jag hummade.
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
07:59
Again, if you stare at that video,
154
467120
1764
Igen, om du stirrar på filmen
så är det inte så mycket som syns,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
men när vi förstorar rörelserna 100 gånger
ser vi alla rörelser och krusningar
ser vi alla rörelser och krusningar
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
i halsen som är involverade
i att producera ljudet.
i att producera ljudet.
Den signalen syns där i filmen.
08:10
That signal is there in that video.
158
478566
2740
Vi vet också att sångare
kan spräcka ett vinglas
kan spräcka ett vinglas
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
om de träffar rätt ton.
08:15
if they hit the correct note.
160
483976
1463
Så här ska vi spela en ton
08:17
So here, we're going to play a note
161
485439
1765
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
som ligger inom glasets resonansfrekvens
08:21
through a loudspeaker that's next to it.
163
489730
2048
genom en högtalare precis bredvid.
När vi spelar tonen
och förstorar rörelserna 250 gånger,
och förstorar rörelserna 250 gånger,
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
så kan vi väldigt tydligt se
hur glaset vibrerar
hur glaset vibrerar
08:30
and resonates in response to the sound.
166
498535
3570
och resonerar som svar på ljudet.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Det här är ingenting
som man är van vid att se.
som man är van vid att se.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
Men det fick oss att tänka till.
Vi fick en galen idé.
Vi fick en galen idé.
Kan vi faktiskt invertera processen
och hämta in ljud från filmen
och hämta in ljud från filmen
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
genom att analysera de små vibrationerna
som ljudvågorna orsakar i objekten,
som ljudvågorna orsakar i objekten,
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
och egentligen konvertera dem
tillbaka till de ljud som producerade dem.
tillbaka till de ljud som producerade dem.
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
På det här sättet kan vi omvandla
vardagliga saker till mikrofoner.
vardagliga saker till mikrofoner.
08:58
So that's exactly what we did.
173
526931
2232
Så det var precis vad vi gjorde.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
Här är en tom chipspåse
som låg på bordet,
som låg på bordet,
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
och vi ska göra om chipspåsen
till en mikrofon
till en mikrofon
genom att filma den med en kamera
09:06
by filming it with a video camera
176
534804
1591
och analysera de små rörelserna
som ljudvågorna skapar i den.
som ljudvågorna skapar i den.
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
Här är ljudet som vi spelade i rummet.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
(Musik: "Mary har ett litet lamm")
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
Och här är en höghastighetsfilm
av chipspåsen som vi spelade in.
av chipspåsen som vi spelade in.
09:25
Again it's playing.
181
553032
1274
Den spelar igen.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
Det finns ingen möjlighet att se
vad vad som händer i filmen
vad vad som händer i filmen
bara genom att titta på den,
09:29
just by looking at it,
183
557648
1058
men här är ljudet som vi kunde återskapa
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
genom att analysera
de små rörelserna i filmen.
de små rörelserna i filmen.
09:33
the tiny motions in that video.
185
561690
2183
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
(Musik: "Mary har ett litet lamm")
09:52
I call it -- Thank you.
187
580985
1486
Jag kallar det för... Tack.
09:54
(Applause)
188
582471
5225
(Applåder)
10:01
I call it the visual microphone.
189
589878
2345
Jag kallar det för
den visuella mikrofonen.
den visuella mikrofonen.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
Vi extraherar faktiskt ljudsignaler
från videosignaler.
från videosignaler.
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
Och bara för att ge er en känsla
för rörelseskalan här:
för rörelseskalan här:
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
Ett ganska högt ljud skulle få chipspåsen
att röra sig mindre än en mikrometer.
att röra sig mindre än en mikrometer.
Det är en tusendels millimeter.
10:16
That's one thousandth of a millimeter.
193
604135
2739
Så små är de rörelser
som kan vi nu dra ut
som kan vi nu dra ut
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
bara genom att observera
hur ljuset studsar på objekt
hur ljuset studsar på objekt
10:25
and gets recorded by our cameras.
196
613678
2136
och spelas in av våra kameror.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
Vi kan hämta in ljud
från andra objekt, som växter.
från andra objekt, som växter.
(Musik: "Mary har ett litet lamm")
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
Och vi kan hämta in tal.
10:39
And we can recover speech as well.
199
627214
1997
10:41
So here's a person speaking in a room.
200
629211
2577
Här talar en person i ett rum.
Röst: Mary har ett litet lamm
med ull så len och vit
med ull så len och vit
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
och vart än lilla Mary går,
går lammet också dit.
går lammet också dit.
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
Michael Rubinstein:
Och här är samma tal igen,
Och här är samma tal igen,
inhämtat från den här filmen
med samma chipspåse.
med samma chipspåse.
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
Röst: Mary har ett litet lamm
med ull så len och vit
med ull så len och vit
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
och vart än lilla Mary går,
går lammet också dit.
går lammet också dit.
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
MR: Vi använde "Mary har ett litet lamm"
därför att det påstås
att de var de första orden
att de var de första orden
11:10
because those are said to be
the first words
the first words
208
658290
2123
som Thomas Edison talade in
i sin fonograf 1877.
i sin fonograf 1877.
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
Det var en av historiens
första ljudinspelningsmaskiner.
första ljudinspelningsmaskiner.
Den riktade helt enkelt in ljuden
på ett membran som vibrerade en nål
på ett membran som vibrerade en nål
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
som egentligen graverade in ljudet
på aluminiumfolie
på aluminiumfolie
11:27
that was wrapped around the cylinder.
213
675208
2275
som var lindad runt cylindern.
Här är en demonstration av in- och
uppspelning av ljud med Edisons fonograf.
uppspelning av ljud med Edisons fonograf.
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
(Video) Röst: Testar, testar, ett två tre.
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
Mary har ett litet lamm
med ull så len och vit,
med ull så len och vit,
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
och vart än lilla Mary går,
går lammet också dit.
går lammet också dit.
11:45
Testing, testing, one two three.
218
693528
2740
Testar, testar, ett två tre.
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
Mary har ett litet lamm
med ull så len och vit,
med ull så len och vit,
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
och vart än lilla Mary går,
går lammet också dit.
går lammet också dit.
11:57
MR: And now, 137 years later,
221
705648
4017
MR: Och nu, 137 år senare,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
kan vi få ut ljud
med i princip samma kvalitet,
med i princip samma kvalitet,
men genom att bara titta på objekt
som vibrerar till ljud via kameror,
som vibrerar till ljud via kameror,
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
12:09
and we can even do that when the camera
224
717831
1934
vi kan till och med göra det när kameran
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
är 4,5 m bort från objektet
bakom ljudisolerat glas.
bakom ljudisolerat glas.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Det här är det ljud
vi kunde hämta in i det fallet.
vi kunde hämta in i det fallet.
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
Röst: Mary har ett litet lamm
med ull så len och vit,
med ull så len och vit,
och vart än lilla Mary går,
går lammet också dit.
går lammet också dit.
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
MR: Och självklart är övervakning
det första som dyker upp på näthinnan.
det första som dyker upp på näthinnan.
12:33
(Laughter)
230
741034
2995
(Skratt)
Men det kan faktiskt komma till nytta
i andra sammanhang också.
i andra sammanhang också.
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
Kanske kommer vi i framtiden
till exempel kunna
till exempel kunna
12:42
to recover sound across space,
233
750925
2252
hämta in ljud genom rymden,
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
därför att ljud kan inte färdas
i rymden, men det kan ljus.
i rymden, men det kan ljus.
12:48
We've only just begun exploring
235
756753
2404
Vi har bara börjat att utforska
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
andra möjliga användningsområden
för den här nya teknologin.
för den här nya teknologin.
Det låter oss se fysiska processer
som vi vet finns där
som vi vet finns där
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
men som vi aldrig har kunnat observera
med blotta ögat förrän nu.
med blotta ögat förrän nu.
13:00
This is our team.
239
768564
1204
Det här är vårt team.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
Det som jag har visat här idag
är resultatet av samarbete
är resultatet av samarbete
med den här fantastiska gruppen,
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
och jag uppmuntrar och välkomnar er
att kolla in vår webbplats,
att kolla in vår webbplats,
13:10
try it out yourself,
243
778005
1446
testa själva,
och göra oss sällskap i utforskandet
av de små rörelsernas värld.
av de små rörelsernas värld.
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
13:14
Thank you.
245
782423
1625
Tack.
(Applåder)
13:16
(Applause)
246
784048
1254
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com