ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com
TEDxBeaconStreet

Michael Rubinstein: See invisible motion, hear silent sounds

Michael Rubinstein: Zie onzichtbare beweging, hoor stil geluid. Cool? Eng? Wij weten het nog niet

Filmed:
2,075,056 views

Zie hier de 'bewegingsmicroscoop', een videoverwerkingstool die kleine veranderingen in beweging en kleur, normaal onzichtbaar voor het blote oog, te voorschijn tovert. Video-onderzoeker Michael Rubinstein laat ons in het ene na het andere wonderlijke fragment zien hoe zijn technologie een polsslag en een hartritme van een persoon kan meten aan de hand van slechts filmmateriaal. Zie hoe hij een gesprek nabootst aan de hand van de bewegingen van geluidsgolven die tegen een zak chips weerkaatst zijn. De inspirerende en onheilspellende toepassingen van deze technologie moet je zien om ze te geloven.
- Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio

Double-click the English transcript below to play the video.

00:13
So over the pastverleden fewweinig centurieseeuwen,
microscopesmicroscopen have revolutionizedrevolutie our worldwereld-.
0
1114
7492
Tijdens de laatste paar eeuwen hebben
microscopen onze wereld gerevolutioneerd.
Ze onthullen een piepkleine wereld van
objecten, leven en structuren aan ons
00:21
They revealedonthuld to us a tinyklein worldwereld-
of objectsvoorwerpen, life and structuresstructuren
1
9036
5216
00:26
that are too smallklein for us
to see with our nakednaakt eyesogen.
2
14252
2906
die te klein zijn om met onze
blote ogen gezien te worden.
00:29
They are a tremendousenorme contributionbijdrage
to sciencewetenschap and technologytechnologie.
3
17158
3019
Ze dragen in enorme mate bij aan
wetenschap en technologie.
00:32
TodayVandaag I'd like to introducevoorstellen you
to a newnieuwe typetype of microscopeMicroscoop,
4
20177
3227
Vandaag wil ik jullie voorstellen
aan een nieuw soort microscoop,
00:35
a microscopeMicroscoop for changesveranderingen.
5
23404
2578
een microscoop voor veranderingen.
00:37
It doesn't use opticsoptiek
like a regularregelmatig microscopeMicroscoop
6
25982
2902
Hij gebruikt geen optica zoals
een normale microscoop
00:40
to make smallklein objectsvoorwerpen biggergroter,
7
28884
1997
om kleine objecten mee te vergroten,
00:42
but insteadin plaats daarvan it usestoepassingen a videovideo- cameracamera
and imagebeeld processingverwerken
8
30881
4376
maar in plaats daarvan wordt een
videocamera en beeldverwerking gebruikt
00:47
to revealonthullen to us the tiniestkleinste motionsontwerp-resoluties
and colorkleur changesveranderingen in objectsvoorwerpen and people,
9
35257
5256
om ons de kleinste bewegingen en kleur-
mutaties in objecten en mensen te tonen,
00:52
changesveranderingen that are impossibleonmogelijk
for us to see with our nakednaakt eyesogen.
10
40513
3842
veranderingen die onmogelijk
te zien zijn met ons blote oog.
00:56
And it letslaten we us look at our worldwereld-
in a completelyhelemaal newnieuwe way.
11
44355
4120
Het laat ons de wereld op een
compleet nieuwe manier bekijken.
01:00
So what do I mean by colorkleur changesveranderingen?
12
48475
1910
Wat bedoel ik nou met kleurmutaties?
01:02
Our skinhuid, for examplevoorbeeld,
changesveranderingen its colorkleur very slightlylicht
13
50385
2832
Onze huid verandert bijvoorbeeld
heel lichtjes van kleur
01:05
when the bloodbloed flowsstroomt underonder it.
14
53217
1997
als er bloed onderdoor stroomt.
01:07
That changeverandering is incrediblyongelooflijk subtlesubtiel,
15
55214
2397
Die verandering is ongelooflijk subtiel
01:09
whichwelke is why, when you
look at other people,
16
57611
2063
en daarom, wanneer je naar anderen kijkt,
01:11
when you look at the personpersoon
sittingzittend nextvolgende to you,
17
59674
2251
als je naar degene die naast je zit kijkt,
01:13
you don't see theirhun skinhuid
or theirhun facegezicht changingveranderen colorkleur.
18
61925
3575
zie je niet dat hun huid of hun
gezicht van kleur verandert.
01:17
When we look at this videovideo- of SteveSteve here,
it appearskomt naar voren to us like a staticstatische pictureafbeelding,
19
65500
4360
Als we naar deze video van Steve
kijken lijkt het een onbeweeglijk beeld,
01:21
but onceeen keer we look at this videovideo-
throughdoor our newnieuwe, specialspeciaal microscopeMicroscoop,
20
69860
3860
maar wanneer we door onze nieuwe,
speciale microscoop een kijkje nemen
01:25
suddenlyplotseling we see
a completelyhelemaal differentverschillend imagebeeld.
21
73720
2600
zien we opeens een totaal ander beeld.
01:28
What you see here are smallklein changesveranderingen
in the colorkleur of Steve'sSteve's skinhuid,
22
76320
3930
Wat je ziet zijn kleine veranderingen
in de huidskleur van Steve,
01:32
magnifiedvergrote 100 timestijden
so that they becomeworden visiblezichtbaar.
23
80250
4436
100x vergroot om zichtbaar
te kunnen worden.
01:36
We can actuallywerkelijk see a humanmenselijk pulsepols.
24
84686
3267
We kunnen zelfs een hartslag zien.
01:39
We can see how fastsnel
Steve'sSteve's hearthart- is beatingpak slaag,
25
87953
3227
We kunnen zien hoe snel zijn hartslag is,
01:43
but we can alsoook see the actualwerkelijk way
that the bloodbloed flowsstroomt in his facegezicht.
26
91180
5355
maar ook de manier waarop
het bloed in zijn gezicht stroomt.
01:48
And we can do that not just
to visualizevisualiseren the pulsepols,
27
96544
2631
Behalve dat we hiermee
de hartslag visualiseren
01:51
but alsoook to actuallywerkelijk
recoverherstellen our hearthart- ratesprijzen,
28
99175
3471
kunnen we er ook onze
hartslag mee herstellen
01:54
and measuremaatregel our hearthart- ratesprijzen.
29
102646
1793
en onze hartslag meten.
Dat kunnen we zonder reguliere camera's
en zonder de patiënten aan te raken.
01:56
And we can do it with regularregelmatig camerascamera's
and withoutzonder touchingaandoenlijk the patientspatiënten.
30
104439
4453
02:00
So here you see the pulsepols and hearthart- ratetarief
we extracteduitgepakt from a neonatalneonatale babybaby
31
108892
5617
Hier zie je de polsslag en het
hartritme van een neonatale baby
02:06
from a videovideo- we tooknam
with a regularregelmatig DSLRDSLR cameracamera,
32
114509
2881
in een video die gemaakt is
met een normale DSLR camera
02:09
and the hearthart- ratetarief measurementmeting we get
33
117390
1816
en de hartslagmeting die we verkrijgen
02:11
is as accurateaccuraat as the one you'dje zou get
with a standardstandaard- monitormonitor in a hospitalziekenhuis.
34
119206
4811
is net zo secuur als degene die
met een standaardmonitor in 't ziekenhuis.
02:16
And it doesn't even have to be
a videovideo- we recordedopgenomen.
35
124017
2642
Het hoeft geen door ons
opgenomen video te zijn.
02:18
We can do it essentiallyin wezen
with other videosvideos as well.
36
126659
2995
We kunnen het in principe ook
bij andere video's toepassen.
02:21
So I just tooknam a shortkort clipklem
from "BatmanBatman BeginsBegint" here
37
129654
3901
Ik heb hier even een kort fragment
van "Batman Begins" genomen om
02:25
just to showtonen ChristianChristelijke Bale'sVan baal pulsepols.
38
133555
1904
de hartslag van Christian Bale te tonen.
02:27
(LaughterGelach)
39
135459
1822
(Gelach)
02:29
And you know, presumablyvermoedelijk
he's wearingvervelend makeupbedenken,
40
137281
2123
En weet je, hij draagt
vermoedelijk make-up,
02:31
the lightingverlichting here is kindsoort of challenginguitdagend,
41
139404
1953
de belichting hier is nogal lastig
02:33
but still, just from the videovideo-,
we're ablein staat to extractextract his pulsepols
42
141357
2951
en nog steeds kunnen we zijn
hartslag uit de video halen
02:36
and showtonen it quiteheel well.
43
144308
2018
en best aardig laten zien.
02:38
So how do we do all that?
44
146326
1920
Dus hoe doen we dat nou allemaal?
02:40
We basicallyeigenlijk analyzeanalyseren the changesveranderingen
in the lightlicht that are recordedopgenomen
45
148246
4598
In principe analyseren we
de veranderingen in het licht
02:44
at everyelk pixelpixel in the videovideo- over time,
46
152844
2271
die per pixel worden gefilmd
02:47
and then we crankzwengel up those changesveranderingen.
47
155115
1798
en dan vergroten we de veranderingen.
02:48
We make them biggergroter
so that we can see them.
48
156913
2162
We vergroten ze opdat we
ze kunnen waarnemen.
02:51
The trickytricky partdeel is that those signalssignalen,
49
159075
1902
Het lastige is dat die signalen,
02:52
those changesveranderingen that we're after,
are extremelyuiterst subtlesubtiel,
50
160977
2933
die mutaties waar we naar
zoeken, extreem subtiel zijn,
02:55
so we have to be very carefulvoorzichtig
when you try to separatescheiden them
51
163910
2779
zodat we erg precies moeten zijn
als we ze loskoppelen
02:58
from noiselawaai that always existsbestaat in videosvideos.
52
166689
3831
van de ruis die altijd in
dit soort video's voorkomt.
03:02
So we use some cleverknap
imagebeeld processingverwerken techniquestechnieken
53
170520
2995
We gebruiken dus enkele slimme
beeldverwerkingstechnieken
03:05
to get a very accurateaccuraat measurementmeting
of the colorkleur at eachelk pixelpixel in the videovideo-,
54
173515
3994
om in elke pixel van de video een
precieze meting van de kleur te krijgen
03:09
and then the way the colorkleur
changesveranderingen over time,
55
177509
2670
en de manier waarop die kleur verandert
03:12
and then we amplifyAmplify those changesveranderingen.
56
180179
2693
waarna we die veranderingen versterken.
03:14
We make them biggergroter to createcreëren those typestypes
of enhancedversterkte videosvideos, or magnifiedvergrote videosvideos,
57
182872
3980
We maken ze groter zodat dit soort
versterkte, of vergrootte video's
03:18
that actuallywerkelijk showtonen us those changesveranderingen.
58
186852
2172
ons echt die veranderingen
kunnen laten zien.
03:21
But it turnsbochten out we can do that
not just to showtonen tinyklein changesveranderingen in colorkleur,
59
189024
4238
Het blijkt echter dat we niet alleen
veranderingen in kleur kunnen tonen,
03:25
but alsoook tinyklein motionsontwerp-resoluties,
60
193262
2241
maar ook piepkleine bewegingen,
03:27
and that's because the lightlicht
that getskrijgt recordedopgenomen in our camerascamera's
61
195503
3576
omdat het licht dat in onze
camera's opgeslagen wordt
03:31
will changeverandering not only if the colorkleur
of the objectvoorwerp changesveranderingen,
62
199079
2810
niet alleen verandert als de
kleur van het object wijzigt,
03:33
but alsoook if the objectvoorwerp movesmoves.
63
201889
2368
maar ook wanneer het object beweegt.
03:36
So this is my daughterdochter
when she was about two monthsmaanden oldoud.
64
204257
3636
Dit is mijn dochter, toen
ze twee maanden oud was
03:39
It's a videovideo- I recordedopgenomen
about threedrie yearsjaar agogeleden.
65
207893
2999
Deze video heb ik drie
jaar geleden opgenomen.
03:42
And as newnieuwe parentsouders, we all want
to make sure our babiesbabies are healthygezond,
66
210892
3208
Als nieuwe ouders willen we allemaal
dat onze kinderen gezond zijn,
03:46
that they're breathingademen,
that they're alivelevend, of courseCursus.
67
214100
2542
dat ze ademen, dat ze leven, natuurlijk.
03:48
So I too got one of those babybaby monitorsmonitoren
68
216642
2142
Dus ik kocht ook zo'n baby-monitor
03:50
so that I could see my daughterdochter
when she was asleepin slaap.
69
218784
2469
om naar mijn dochter te
kunnen kijken als ze sliep.
03:53
And this is prettymooi much what you'llje zult see
with a standardstandaard- babybaby monitormonitor.
70
221253
3527
Dit is wat je zo ongeveer ziet
op een normale baby-monitor.
03:56
You can see the baby'sbaby's sleepingslapen, but
there's not too much informationinformatie there.
71
224780
3682
Je ziet dat de baby slaapt,
maar verder is er
niet veel informatie zichtbaar.
04:00
There's not too much we can see.
72
228474
1604
Zou het niet fijner zijn, of meer
informatief en bruikbaar
04:02
Wouldn'tZou niet it be better,
or more informativeinformatief, or more usefulnuttig,
73
230078
2824
04:04
if insteadin plaats daarvan we could look
at the viewuitzicht like this.
74
232902
2990
als we in plaats daarvan
dit perspectief zouden hebben.
04:07
So here I tooknam the motionsontwerp-resoluties
and I magnifiedvergrote them 30 timestijden,
75
235892
6356
Hier heb ik de bewegingen
30 keer uitvergroot
04:14
and then I could clearlyduidelijk see that my
daughterdochter was indeedinderdaad alivelevend and breathingademen.
76
242248
3826
en daardoor kon ik duidelijk zien dat
mijn dochter inderdaad in leven was.
04:18
(LaughterGelach)
77
246074
2253
(Gelach)
04:20
Here is a side-by-sidezij aan zij comparisonvergelijking.
78
248327
1922
Hier kun je het naast elkaar zien.
04:22
So again, in the sourcebron videovideo-,
in the originalorigineel videovideo-,
79
250249
2483
Nogmaals, in de bronvideo,
de oorspronkelijke video,
04:24
there's not too much we can see,
80
252732
1636
kunnen we niet erg veel zien,
04:26
but onceeen keer we magnifyvergroten the motionsontwerp-resoluties,
the breathingademen becomeswordt much more visiblezichtbaar.
81
254368
3707
maar wanneer we de bewegingen versterken,
wordt de ademhaling beter zichtbaar.
04:30
And it turnsbochten out, there's
a lot of phenomenafenomenen
82
258075
2070
Het blijkt dat we veel verschijnselen
04:32
we can revealonthullen and magnifyvergroten
with our newnieuwe motionbeweging microscopeMicroscoop.
83
260145
3623
kunnen ontdekken en versterken
met onze nieuwe bewegingsmicroscoop.
04:35
We can see how our veinsaderen and arteriesslagaders
are pulsingpulserende in our bodieslichamen.
84
263768
4564
We kunnen zien hoe onze aders en
slagaders kloppen in ons lichaam.
04:40
We can see that our eyesogen
are constantlyvoortdurend movingin beweging
85
268332
2628
We kunnen zien dat onze ogen
voortdurend wiebelen.
04:42
in this wobblywiebelig motionbeweging.
86
270960
1887
04:44
And that's actuallywerkelijk my eyeoog,
87
272847
1509
Dit is mijn oog,
04:46
and again this videovideo- was takeningenomen
right after my daughterdochter was borngeboren,
88
274356
3065
opgenomen vlak nadat
mijn dochter was geboren,
04:49
so you can see I wasn'twas niet gettingkrijgen
too much sleepslaap. (LaughterGelach)
89
277421
4202
dus je kunt zien dat ik slaap tekort kwam.
(Gelach)
04:53
Even when a personpersoon is sittingzittend still,
90
281623
2716
Zelfs wanneer iemand stil zit,
04:56
there's a lot of informationinformatie
we can extractextract
91
284339
2044
is er veel zichtbare informatie
04:58
about theirhun breathingademen patternspatronen,
smallklein facialFacial expressionsuitdrukkingen.
92
286383
3529
over hun ademhalingspatroon en
kleine gezichtsuitdrukkingen.
05:01
Maybe we could use those motionsontwerp-resoluties
93
289912
1625
Mogelijk kunnen we deze bewegingen
05:03
to tell us something about
our thoughtsgedachten or our emotionsemoties.
94
291537
3154
gebruiken om ons iets te vertellen
over onze gedachten en emoties.
05:06
We can alsoook magnifyvergroten smallklein
mechanicalmechanisch movementsbewegingen,
95
294691
3255
We kunnen ook kleine mechanische
bewegingen versterken,
05:09
like vibrationstrillingen in enginesmotoren,
96
297946
1555
zoals trillingen in motoren,
05:11
that can help engineersingenieurs detectopsporen
and diagnosediagnostiseren machinerymachinerie problemsproblemen,
97
299501
3692
die ingenieurs helpen met het opsporen
en analyseren van machinale problemen,
05:15
or see how our buildingsgebouwen and structuresstructuren
swayzwaaien in the windwind and reactReageer to forceskrachten.
98
303193
4738
of om te zien hoe onze bouwwerken door
wind gaan wiegen en op krachten reageren.
05:19
Those are all things that our societymaatschappij
knowsweet how to measuremaatregel in variousdivers waysmanieren,
99
307931
4581
Onze maatschappij weet hoe we dit alles op
verschillende manieren dit kunnen meten,
05:24
but measuringmeten those motionsontwerp-resoluties is one thing,
100
312512
2453
maar deze bewegingen meten is één ding,
05:26
and actuallywerkelijk seeingziend those
motionsontwerp-resoluties as they happengebeuren
101
314965
2276
om ze daadwerkelijk waar te nemen
05:29
is a wholegeheel differentverschillend thing.
102
317241
2554
is iets heel anders.
05:31
And ever sincesinds we discoveredontdekt
this newnieuwe technologytechnologie,
103
319795
3041
Sinds dat we deze nieuwe
technologie ontdekt hebben
05:34
we madegemaakt our codecode availablebeschikbaar onlineonline so that
othersanderen could use and experimentexperiment with it.
104
322836
3953
is onze code online gepubliceerd zodat
anderen ermee kunnen experimenteren.
05:38
It's very simpleeenvoudig to use.
105
326789
1875
Het is erg eenvoudig te gebruiken.
05:40
It can work on your owneigen videosvideos.
106
328664
2044
Het werkt ook bij je eigen video's.
05:42
Our collaboratorsmedewerkers at QuantaQuanta ResearchOnderzoek
even createdaangemaakt this niceleuk websitewebsite
107
330708
3193
Onze collega's van Quanta Research
hebben deze mooie site gemaakt
05:45
where you can uploaduploaden your videosvideos
and processwerkwijze them onlineonline,
108
333901
2678
waar je je video's online kan verwerken,
05:48
so even if you don't have any experienceervaring
in computercomputer sciencewetenschap or programmingprogrammering,
109
336579
3816
zodat je zonder enige ervaring met
computers of programmeren
05:52
you can still very easilygemakkelijk experimentexperiment
with this newnieuwe microscopeMicroscoop.
110
340395
2936
heel makkelijk kan
experimenteren met deze microscoop.
05:55
And I'd like to showtonen you
just a couplepaar of examplesvoorbeelden
111
343331
2404
Ik wil jullie graag een
aantal voorbeelden tonen
05:57
of what othersanderen have donegedaan with it.
112
345735
2735
van wat anderen er al mee gedaan hebben.
06:00
So this videovideo- was madegemaakt by
a YouTubeYouTube usergebruiker calledriep TamezTamez85.
113
348470
5317
Deze video is gemaakt door de
YouTube-gebruiker Tamez85.
06:05
I don't know who that usergebruiker is,
114
353787
1463
Ik heb geen idee wie 't is,
06:07
but he, or she, used our codecode
115
355250
2345
maar hij, of zij, heeft onze code gebruikt
06:09
to magnifyvergroten smallklein bellybuik
movementsbewegingen duringgedurende pregnancyzwangerschap.
116
357595
3715
om kleine bewegingen in de buik
tijdens een zwangerschap te vergroten.
06:13
It's kindsoort of creepygriezelig.
117
361310
1602
Het is een beetje eng.
06:14
(LaughterGelach)
118
362912
1613
(Gelach)
06:16
People have used it to magnifyvergroten
pulsingpulserende veinsaderen in theirhun handshanden.
119
364525
4961
Men heeft het gebruikt om kloppende
aderen in hun handen te vergroten.
06:21
And you know it's not realecht sciencewetenschap
unlesstenzij you use guineaGuinea pigsvarkens,
120
369486
3782
Je weet dat het niet echt wetenschap is
tenzij er cavia's gebruikt worden
06:25
and apparentlyblijkbaar this guineaGuinea pigvarken
is calledriep TiffanyTiffany,
121
373268
3390
en blijkbaar heet deze cavia Tiffany,
06:28
and this YouTubeYouTube usergebruiker claimsvorderingen
it is the first rodentknaagdier on EarthAarde
122
376658
2949
die volgens deze YouTuber het
eerste knaagdier ter wereld is
06:31
that was motion-magnifiedbeweging vergroot.
123
379607
2688
waarvan de bewegingen vergoot zijn.
06:34
You can alsoook do some artkunst with it.
124
382295
2188
Je kan er ook kunst mee maken.
06:36
So this videovideo- was sentverzonden to me
by a designontwerp studentstudent at YaleYale.
125
384483
3018
Deze video werd door een
designstudent van Yale ingestuurd.
06:39
She wanted to see
if there's any differenceverschil
126
387501
2137
Ze wilde weten of er
een verschil te zien was
06:41
in the way her classmatesklasgenoten moveverhuizing.
127
389638
1522
in hoe haar klasgenoten bewegen.
06:43
She madegemaakt them all standstand still,
and then magnifiedvergrote theirhun motionsontwerp-resoluties.
128
391160
4209
Ze liet ze allemaal stilstaan en
vergrootte toen hun bewegingen.
06:47
It's like seeingziend
still picturesafbeeldingen come to life.
129
395369
3378
Het is alsof roerloze
beelden tot leven komen.
06:50
And the niceleuk thing with
all those examplesvoorbeelden
130
398747
2433
Het mooie van al deze voorbeelden
06:53
is that we had nothing to do with them.
131
401180
2296
is dat wij er niks mee te
maken hebben gehad.
06:55
We just providedvoorzien this newnieuwe toolgereedschap,
a newnieuwe way to look at the worldwereld-,
132
403476
3854
We hebben slechts deze nieuwe manier
aangeleverd, een nieuwe blik op de wereld,
06:59
and then people find other interestinginteressant,
newnieuwe and creativecreatief waysmanieren of usinggebruik makend van it.
133
407330
5132
waarna anderen weer interessante, nieuwe
en creatieve gebruiksvormen bedachten.
07:04
But we didn't stop there.
134
412462
1764
Maar daar eindigt het niet.
07:06
This toolgereedschap not only allowstoestaat us
to look at the worldwereld- in a newnieuwe way,
135
414226
3251
Dit instrument zorgt niet alleen
voor een andere blik op de wereld.
07:09
it alsoook redefinesherdefinieert what we can do
136
417477
2368
Het geeft een nieuwe definitie
van wat we kunnen
07:11
and pushesduwt the limitslimieten of what
we can do with our camerascamera's.
137
419845
3181
en verlegt de grenzen van wat
er mogelijk is met onze camera's.
07:15
So as scientistswetenschappers, we startedbegonnen wonderingafvragen,
138
423026
2229
Als wetenschappers
begonnen we na te denken
07:17
what other typestypes of physicalfysiek phenomenafenomenen
produceproduceren tinyklein motionsontwerp-resoluties
139
425255
3785
over welke andere soorten fysieke
verschijnselen kleine bewegingen opleveren
07:21
that we could now use
our camerascamera's to measuremaatregel?
140
429040
2903
die nu met onze camera's
gemeten kunnen worden.
07:23
And one suchzodanig phenomenonfenomeen
that we focusedgefocust on recentlykort geleden is soundgeluid.
141
431943
4001
Een van de verschijnselen waarop we ons
recentelijk richtten, is geluid.
07:27
SoundGeluid, as we all know,
is basicallyeigenlijk changesveranderingen
142
435944
2105
Geluid, zoals je weet, is de verandering
07:30
in airlucht pressuredruk that
travelreizen throughdoor the airlucht.
143
438049
2183
van luchtdruk die door de lucht beweegt.
07:32
Those pressuredruk wavesgolven hitraken objectsvoorwerpen
and they createcreëren smallklein vibrationstrillingen in them,
144
440232
3621
Deze drukgolven raken objecten en
creëren er kleine trillingen in,
07:35
whichwelke is how we hearhoren
and how we recordrecord soundgeluid.
145
443853
2532
waardoor wij geluid kunnen
horen en opnemen.
07:38
But it turnsbochten out that soundgeluid
alsoook producesproduceert visualzichtbaar motionsontwerp-resoluties.
146
446385
3668
Het blijkt echter dat geluid ook
visuele bewegingen creëert.
07:42
Those are motionsontwerp-resoluties
that are not visiblezichtbaar to us
147
450053
2833
De bewegingen zijn niet
waarneembaar voor ons,
07:44
but are visiblezichtbaar to a cameracamera
with the right processingverwerken.
148
452886
3001
maar wel voor een camera
met de juiste bewerkingen.
07:47
So here are two examplesvoorbeelden.
149
455887
1573
Hier zijn twee voorbeelden.
07:49
This is me demonstratingdemonstrating
my great singinghet zingen skillsvaardigheden.
150
457460
2614
Dit ben ik met mijn enorme zangtalent.
07:53
(SingingZingen)
151
461064
1634
(Zingend)
07:54
(LaughterGelach)
152
462698
1436
(Gelach)
07:56
And I tooknam a high-speedhoge snelheid videovideo-
of my throatkeel while I was hummingneuriën.
153
464134
2986
Dit is een hogesnelheidsvideo
van mijn keel toen ik neuriede.
07:59
Again, if you starestaren at that videovideo-,
154
467120
1764
Nogmaals, als je naar de video kijkt
08:00
there's not too much
you'llje zult be ablein staat to see,
155
468884
2076
is er niet veel dat je kunt zien,
08:02
but onceeen keer we magnifyvergroten the motionsontwerp-resoluties 100 timestijden,
we can see all the motionsontwerp-resoluties and ripplesrimpelingen
156
470960
4332
maar als we de bewegingen 100 keer groter
maken, zien we alle bewegingen en golfjes
08:07
in the necknek that are involvedbetrokken
in producingproducerende the soundgeluid.
157
475292
3274
die in de nek plaatsvinden
om het geluid te produceren.
08:10
That signalsignaal is there in that videovideo-.
158
478566
2740
Dat signaal is zichtbaar in die video.
08:13
We alsoook know that singerszangers
can breakbreken a winewijn glassglas
159
481306
2670
We weten ook dat zangers
een wijnglas kunnen breken
08:15
if they hitraken the correctcorrect noteNotitie.
160
483976
1463
als ze de juist noot bereiken.
08:17
So here, we're going to playspelen a noteNotitie
161
485439
1765
Hier gaan we een noot spelen,
08:19
that's in the resonanceresonantie
frequencyfrequentie of that glassglas
162
487204
2526
die in de resonantiefrequentie
van dat glas ligt,
08:21
throughdoor a loudspeakerluidspreker that's nextvolgende to it.
163
489730
2048
door middel van de luidspreker ernaast.
08:23
OnceEenmaal we playspelen that noteNotitie
and magnifyvergroten the motionsontwerp-resoluties 250 timestijden,
164
491778
4419
Wanneer we die nooit spelen en
de bewegingen 250 maal vergroten
08:28
we can very clearlyduidelijk see
how the glassglas vibratestrilt
165
496197
2338
kunnen we duidelijk
zien dat het glas trilt
08:30
and resonatesresoneert in responseantwoord to the soundgeluid.
166
498535
3570
en weerklinkt als gevolg van het geluid.
08:34
It's not something you're used
to seeingziend everyelk day.
167
502105
2420
Dat is niet iets dat je
iedere dag te zien krijgt.
08:36
But this madegemaakt us think.
It gavegaf us this crazygek ideaidee.
168
504525
3529
Dit zorgde ervoor dat we gingen nadenken.
Het gaf ons dit gekke idee.
08:40
Can we actuallywerkelijk invertomkeren this processwerkwijze
and recoverherstellen soundgeluid from videovideo-
169
508054
5608
Kunnen we dit proces omdraaien
en geluid uit een video herkrijgen
door de kleine trillingen te analyseren
die geluidsgolven in objecten creëren
08:45
by analyzinganalyseren the tinyklein vibrationstrillingen
that soundgeluid wavesgolven createcreëren in objectsvoorwerpen,
170
513662
4035
08:49
and essentiallyin wezen convertconverteren those
back into the soundsklanken that producedgeproduceerd them.
171
517697
4777
en eigenlijk deze golven weer omzetten in
de geluiden waardoor ze geproduceerd zijn?
08:54
In this way, we can turnbeurt
everydayelke dag objectsvoorwerpen into microphonesmicrofoons.
172
522474
4457
Op de manier kunnen we alledaagse
objecten omtoveren tot microfoons.
08:58
So that's exactlyprecies what we did.
173
526931
2232
Dus dat is precies wat we gedaan hebben.
09:01
So here'shier is an emptyleeg bagzak of chipschips
that was lyingaan het liegen on a tabletafel,
174
529163
2816
Hier zie je een lege zak
chips die op tafel ligt
09:03
and we're going to turnbeurt that
bagzak of chipschips into a microphonemicrofoon
175
531979
2825
en wij gaan die zak chips
veranderen in een microfoon
09:06
by filmingfilmen it with a videovideo- cameracamera
176
534804
1591
door te filmen met een camera en
09:08
and analyzinganalyseren the tinyklein motionsontwerp-resoluties
that soundgeluid wavesgolven createcreëren in it.
177
536395
3228
de kleine bewegingen die geluidsgolven
erin creëren te analyseren.
09:11
So here'shier is the soundgeluid
that we playedgespeeld in the roomkamer.
178
539623
2796
Hier is het geluid dat we
in de kamer afspeelden.
09:14
(MusicMuziek: "MaryMary Had a Little LambLam")
179
542419
4434
(Muziek: "Mary Had a Little Lamb")
09:22
And this is a high-speedhoge snelheid videovideo-
we recordedopgenomen of that bagzak of chipschips.
180
550007
3025
Dit is een hogesnelheidsvideo
waarin de zak chips gefilmd is.
09:25
Again it's playingspelen.
181
553032
1274
Het speelt opnieuw.
09:26
There's no chancekans you'llje zult be ablein staat
to see anything going on in that videovideo-
182
554306
3342
Je kan met geen enkele mogelijkheid
zien wat er in de video gebeurt
09:29
just by looking at it,
183
557648
1058
door gewoon te kijken,
09:30
but here'shier is the soundgeluid we were ablein staat
to recoverherstellen just by analyzinganalyseren
184
558706
2984
maar hier is het geluid dat we
hebben gevonden aan de hand van
09:33
the tinyklein motionsontwerp-resoluties in that videovideo-.
185
561690
2183
een video-analyse van
die kleine bewegingen.
09:35
(MusicMuziek: "MaryMary Had a Little LambLam")
186
563873
2809
(Muziek: "Mary Had a Little Lamb")
09:52
I call it -- Thank you.
187
580985
1486
Ik noem het -- Dank u.
09:54
(ApplauseApplaus)
188
582471
5225
(Applaus)
10:01
I call it the visualzichtbaar microphonemicrofoon.
189
589878
2345
Ik noem het de visuele microfoon.
10:04
We actuallywerkelijk extractextract audioaudio signalssignalen
from videovideo- signalssignalen.
190
592223
3390
We extraheren in feite
audiosignalen uit videosignalen.
10:07
And just to give you a sensezin
of the scaleschaal of the motionsontwerp-resoluties here,
191
595613
3181
Om een idee te geven van
de schaal van deze bewegingen;
10:10
a prettymooi loudluid soundgeluid will causeoorzaak that bagzak
of chipschips to moveverhuizing lessminder than a micrometermicrometer.
192
598799
5336
een vrij hard geluid zorgt ervoor dat de
chips minder dan een micrometer bewegen.
10:16
That's one thousandthduizendste of a millimetermillimeter.
193
604135
2739
Dat is een duizendste van een millimeter.
10:18
That's how tinyklein the motionsontwerp-resoluties are
that we are now ablein staat to pullTrekken out
194
606874
3561
Zo klein zijn de bewegingen
die wij nu kunnen ontdekken
10:22
just by observingobserveren how lightlicht
bouncesbounces off objectsvoorwerpen
195
610435
3243
door gewoon te bekijken hoe
licht weerkaatst van objecten
10:25
and getskrijgt recordedopgenomen by our camerascamera's.
196
613678
2136
en hoe onze camera's dat vastleggen.
10:27
We can recoverherstellen soundsklanken
from other objectsvoorwerpen, like plantsplanten.
197
615814
3250
We kunnen geluid herstellen vanuit
andere objecten zoals planten.
10:31
(MusicMuziek: "MaryMary Had a Little LambLam")
198
619064
6316
(Muziek: "Mary Had a Little Lamb")
10:39
And we can recoverherstellen speechtoespraak as well.
199
627214
1997
En we kunnen ook spraak herleiden.
10:41
So here'shier is a personpersoon speakingsprekend in a roomkamer.
200
629211
2577
Hier is een persoon die
in een kamer spreekt.
10:43
VoiceStem: MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
201
631788
4203
Stem: Mary had a little lamb
whose fleece was white as snow,
10:47
and everywhereoveral that MaryMary wentgegaan,
that lamblam was sure to go.
202
635991
4230
and everywhere that Mary went,
that lamb was sure to go.
10:52
MichaelMichael RubinsteinRubinstein: And here'shier is
that speechtoespraak again recoveredhersteld
203
640221
2759
Michael Rubinstein: Hier is
de spraak dan weer herleid
10:54
just from this videovideo-
of that samedezelfde bagzak of chipschips.
204
642980
3274
van de video van diezelfde zak chips.
10:58
VoiceStem: MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
205
646254
4831
Stem: Mary had a little lamb
whose fleece was white as snow,
11:03
and everywhereoveral that MaryMary wentgegaan,
that lamblam was sure to go.
206
651085
4859
and everywhere that Mary went,
that lamb was sure to go.
11:07
MRMIJNHEER: We used "MaryMary Had a Little LambLam"
207
655944
2346
MR: We namen "Mary Had a Little Lamb"
11:10
because those are said to be
the first wordstekst
208
658290
2123
omdat dat de eerste woorden waren
11:12
that ThomasThomas EdisonEdison spokespaak
into his phonographfonograaf in 1877.
209
660413
4161
die Thomas Edison in 1877
in zijn grammofoon sprak.
11:16
It was one of the first soundgeluid
recordingopname devicesapparaten in historygeschiedenis.
210
664574
3228
Het was een van de eerste
geluidsopnameapparaten in de geschiedenis.
11:19
It basicallyeigenlijk directedgerichte the soundsklanken
ontonaar a diaphragmmiddenrif
211
667802
3327
Het stuurde de woorden
eigenlijk naar een trilplaat
11:23
that vibratedtrilde a needlenaald- that essentiallyin wezen
engravedgegraveerde the soundgeluid on tinfoilzilverpapier
212
671129
4079
die een naald deed vibreren waardoor
het geluid werd gegraveerd op bladtin
11:27
that was wrappedverpakt around the cylindercilinder.
213
675208
2275
dat om een cilinder heen was verpakt.
11:29
Here'sHier is a demonstrationdemonstratie of recordingopname and
replayingherhalen soundgeluid with Edison'sEdison's phonographfonograaf.
214
677483
5943
Nu een voorbeeld van het opnemen en af-
spelen van geluid met Edison's grammofoon.
11:35
(VideoVideo) VoiceStem: TestingTesten,
testingtesting, one two threedrie.
215
683426
3020
(Video) Stem: Test, test, een twee drie
11:38
MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
216
686446
3413
Mary had a little lamb
whose fleece was white as snow,
11:41
and everywhereoveral that MaryMary wentgegaan,
the lamblam was sure to go.
217
689859
3669
and everywhere that Mary went,
the lamb was sure to go.
11:45
TestingTesten, testingtesting, one two threedrie.
218
693528
2740
Test, test, een twee drie.
11:48
MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
219
696268
4156
Mary had a little lamb
whose fleece was white as snow,
11:52
and everywhereoveral that MaryMary wentgegaan,
the lamblam was sure to go.
220
700424
5224
and everywhere that Mary went,
the lamb was sure to go.
11:57
MRMIJNHEER: And now, 137 yearsjaar laterlater,
221
705648
4017
MR: En nu, 137 jaar later,
12:01
we're ablein staat to get soundgeluid
in prettymooi much similarsoortgelijk qualitykwaliteit
222
709665
4087
kunnen we geluid opwekken
in ongeveer dezelfde kwaliteit
12:05
but by just watchingkijken objectsvoorwerpen
vibratetrillen to soundgeluid with camerascamera's,
223
713752
4079
door via camera's te kijken naar
objecten die slechts trillen
12:09
and we can even do that when the cameracamera
224
717831
1934
en dat kan zelfs als de camera
12:11
is 15 feetvoeten away from the objectvoorwerp,
behindachter soundproofGeluiddichte glassglas.
225
719765
4234
5 meter van het object afstaat,
achter geluiddicht glas.
12:15
So this is the soundgeluid that we were
ablein staat to recoverherstellen in that casegeval.
226
723999
3220
Dit is het geluid dat we in zo'n
geval wisten te reconstrueren/
12:19
VoiceStem: MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
227
727219
5294
Stem: Mary had a little lamb
whose fleece was white as snow,
12:24
and everywhereoveral that MaryMary wentgegaan,
the lamblam was sure to go.
228
732513
4759
and everywhere that Mary went,
the lamb was sure to go.
MR: Natuurlijk is surveillance de eerste
toepassing die je te binnen schiet.
12:29
MRMIJNHEER: And of courseCursus, surveillancetoezicht is
the first applicationtoepassing that comeskomt to mindgeest.
229
737404
3630
12:33
(LaughterGelach)
230
741034
2995
(Gelach)
12:36
But it mightmacht actuallywerkelijk be usefulnuttig
for other things as well.
231
744029
4056
Maar het zou voor andere zaken
ook erg nuttig kunnen blijken.
12:40
Maybe in the futuretoekomst, we'llgoed be ablein staat
to use it, for examplevoorbeeld,
232
748085
2840
Misschien kunnen we 't in
de toekomst bijvoorbeeld gebruiken
12:42
to recoverherstellen soundgeluid acrossaan de overkant spaceruimte,
233
750925
2252
om geluid in de ruimte te reconstrueren,
12:45
because soundgeluid can't travelreizen
in spaceruimte, but lightlicht can.
234
753177
3576
want geluid kan niet door de ruimte
heen, maar licht kan dat wel.
12:48
We'veWe hebben only just begunbegonnen exploringverkennen
235
756753
2404
We zijn pas net begonnen
met het ontdekken van
12:51
other possiblemogelijk usestoepassingen
for this newnieuwe technologytechnologie.
236
759157
3019
andere mogelijke gebruiksvormen
voor deze nieuwe technologie.
12:54
It letslaten we us see physicalfysiek processesprocessen
that we know are there
237
762176
2832
Het toont fysieke processen
waarvan we weten dat ze er zijn,
12:57
but that we'vewij hebben never been ablein staat
to see with our owneigen eyesogen untiltot now.
238
765008
3556
maar die we nog niet met onze
blote ogen konden waarnemen.
13:00
This is our teamteam.
239
768564
1204
Dit is ons team.
13:01
Everything I showedtoonden you todayvandaag
is a resultresultaat of a collaborationsamenwerking
240
769768
2879
Alles wat jullie vandaag zagen
is het gevolg van
13:04
with this great groupgroep
of people you see here,
241
772647
2191
de samenwerking van deze groep mensen.
13:06
and I encourageaanmoedigen you and welcomeWelkom you
to checkcontroleren out our websitewebsite,
242
774838
3167
Ik wil jullie aansporen
om onze website te bekijken,
het zelf te proberen
13:10
try it out yourselfjezelf,
243
778005
1446
en met ons de wereld van
kleine bewegingen te verkennen.
13:11
and jointoetreden us in exploringverkennen
this worldwereld- of tinyklein motionsontwerp-resoluties.
244
779451
2972
13:14
Thank you.
245
782423
1625
Dankjewel.
(Applaus)
13:16
(ApplauseApplaus)
246
784048
1254
Translated by Huub Ramakers
Reviewed by Axel Saffran

▲Back to top

ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com