TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Nieuwe videotechnologie die de verborgen eigenschappen van voorwerpen zichtbaar maakt.
Filmed:
Readability: 4.3
1,482,525 views
Subtiele bewegingen gebeuren de hele tijd rondom ons, met inbegrip van de kleine trillingen veroorzaakt door geluid. Nieuwe technologie laat zien dat we via opnames van deze trillingen, geluid en gesprekken kunnen her-creëeren, enkel op basis van een schijnbaar onbeweeglijk voorwerp. Maar Abe Davis gaat nog een stap verder: zie hoe hij software demonstreert waardoor iedereen met deze verborgen eigenschappen kan interageren, op basis van een eenvoudige video.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
De meesten zien beweging
als iets zeer visueels.
als iets zeer visueels.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Als ik over dit podium loop
of met mijn handen gebaar,
of met mijn handen gebaar,
00:22
that motion is something that you can see.
2
10977
2261
dan kan je die beweging zien.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Maar heel veel bewegingen
zijn te subtiel voor het menselijk oog.
00:31
and over the past few years,
4
19737
2041
In de afgelopen jaren
00:33
we've started to find that cameras
5
21778
1997
merkten we dat camera's
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
deze beweging vaak waarnemen,
zelfs wanneer de mens dat niet kan.
zelfs wanneer de mens dat niet kan.
00:40
So let me show you what I mean.
7
28305
1551
Dit is wat ik bedoel.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Links zie je een video
van iemands pols,
van iemands pols,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
rechts een video van een slapend kind,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
maar als ik je niet zou vertellen
dat dit video's waren,
dat dit video's waren,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
zou je kunnen denken
dat je gewone foto’s zag,
dat je gewone foto’s zag,
00:56
because in both cases,
12
44393
1672
omdat in beide gevallen
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
er bijna geen beweging
te zien is in beide video's.
te zien is in beide video's.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Maar er is eigenlijk
een heleboel subtiele beweging gaande.
een heleboel subtiele beweging gaande.
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
Als je de pols links zou aanraken,
01:08
you would feel a pulse,
16
56452
1996
zou je hem voelen kloppen.
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
Bij het kind rechts
zou je de borst voelen stijgen en dalen
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
01:15
as she took each breath.
19
63324
1390
bij elke ademhaling.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Deze bewegingen zitten vol met informatie,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
die meestal zo subtiel is,
dat we ze niet kunnen zien.
dat we ze niet kunnen zien.
01:24
so instead, we have to observe them
22
72681
2276
Daarom nemen we ze waar
01:26
through direct contact, through touch.
23
74957
2900
door direct contact,
door middel van aanraking.
door middel van aanraking.
Maar een paar jaar geleden,
01:30
But a few years ago,
24
78997
1265
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
hebben mijn collega's aan het MIT
een ‘bewegingsmicroscoop’ ontwikkeld.
een ‘bewegingsmicroscoop’ ontwikkeld.
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
Dat is software die deze subtiele
bewegingen in video vindt
bewegingen in video vindt
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
en versterkt zodat we ze kunnen zien.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Met hun software
kunnen we het kloppen van de pols zien.
01:48
it lets us see the pulse in this wrist,
29
96899
3250
01:52
and if we were to count that pulse,
30
100149
1695
Als we het kloppen tellen,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
kennen we zelfs de hartslag
van deze persoon.
van deze persoon.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Met dezelfde software
kunnen we op de video rechts
kunnen we op de video rechts
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
de ademhaling van dit kind zien
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
en zonder fysisch contact
haar ademhaling controleren.
haar ademhaling controleren.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Deze technologie is echt krachtig,
want ze kan deze fenomenen,
want ze kan deze fenomenen,
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
die we normaal
ervaren door aanraking,
ervaren door aanraking,
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
visueel en ongestoord vastleggen.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Een paar jaar geleden begon ik te werken
met de mensen die die software creëerden.
met de mensen die die software creëerden.
02:25
and we decided to pursue a crazy idea.
39
133515
3367
We besloten
een gek idee uit te werken.
een gek idee uit te werken.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
We vonden het cool
om software te gebruiken
om software te gebruiken
02:31
to visualize tiny motions like this,
41
139575
3135
om kleine bewegingen
als deze te visualiseren
als deze te visualiseren
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
als een manier
om onze tastzin uit te breiden.
om onze tastzin uit te breiden.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Maar wat als we datzelfde
konden doen met ons gehoor?
konden doen met ons gehoor?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Wat als we video konden gebruiken
om geluidstrillingen op te nemen --
om geluidstrillingen op te nemen --
02:49
which are just another kind of motion,
45
157173
2827
immers ook een soort beweging --
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
zodat we van alles wat we zien
een 'microfoon' konden maken.
een 'microfoon' konden maken.
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Dat is een beetje een raar idee,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
dus laat me dat uitleggen.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Traditionele microfoons werken
door het omzetten van de beweging
door het omzetten van de beweging
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
van een intern membraan
in een elektrisch signaal.
in een elektrisch signaal.
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
Dat membraan is ontworpen
om gemakkelijk te bewegen met geluid,
om gemakkelijk te bewegen met geluid,
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
zodat de beweging
kan worden geregistreerd
kan worden geregistreerd
en geïnterpreteerd als audio.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Maar geluid laat alle objecten trillen.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Die trillingen zijn meestal te subtiel
en te snel voor ons om te zien.
en te snel voor ons om te zien.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Wat als we ze opnemen
met een hogesnelheidscamera
met een hogesnelheidscamera
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
en dan software gebruiken
om de kleine bewegingen
om de kleine bewegingen
te halen uit onze hogesnelheidsvideo,
03:34
from our high-speed video,
57
202197
2090
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
en die bewegingen analyseren
om de geluiden te achterhalen
om de geluiden te achterhalen
die ze veroorzaakten?
Dan kunnen we zichtbare objecten
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
op afstand gebruiken
als visuele microfoons.
als visuele microfoons.
03:49
And so we tried this out,
60
217080
2183
Dit hebben we uitgeprobeerd.
03:51
and here's one of our experiments,
61
219263
1927
Hier is een van onze experimenten:
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
we filmden deze plant daar rechts
03:56
and we filmed it with a high-speed camera
63
224139
2438
met een hogesnelheidscamera,
terwijl een luidspreker in de buurt
dit geluid speelde.
dit geluid speelde.
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(Muziek: 'Mary Had a Little Lamb')
04:11
And so here's the video that we recorded,
66
239820
2824
Hier is de video die we opnamen
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
met duizenden frames per seconde.
Maar zelfs als je heel goed kijkt,
04:18
but even if you look very closely,
68
246568
2322
is alles wat je ziet enkele bladeren...
04:20
all you'll see are some leaves
69
248890
1951
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
... zonder veel actie. (Gelach)
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
Ons geluid verplaatst die bladeren
slechts ongeveer één micrometer.
slechts ongeveer één micrometer.
Dat is één tienduizendste
van een centimeter,
van een centimeter,
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
ergens tussen een honderdste
en een duizendste
en een duizendste
04:39
of a pixel in this image.
74
267535
2299
van een pixel in dit beeld.
Je kunt dus nóg zo goed turen,
04:41
So you can squint all you want,
75
269881
2887
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
die beweging is te klein
om zichtbaar te zijn.
om zichtbaar te zijn.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Maar het blijkt
dat iets niet te zien kan zijn
dat iets niet te zien kan zijn
04:53
and still be numerically significant,
78
281824
2809
en toch numeriek significant.
04:56
because with the right algorithms,
79
284633
2002
Want met de juiste algoritmen
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
kunnen we uit deze stille,
schijnbaar stille video
schijnbaar stille video
05:02
and we can recover this sound.
81
290322
1527
dit geluid herleiden.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Muziek: 'Mary Had a Little Lamb')
05:12
(Applause)
83
300074
5828
(Applaus)
05:22
So how is this possible?
84
310058
1939
Hoe is dat mogelijk?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Hoe halen we zo veel informatie
uit zo weinig beweging?
uit zo weinig beweging?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Stel dat die bladeren
slechts één enkele micrometer uitwijken,
slechts één enkele micrometer uitwijken,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
en het beeld slechts één duizendste
van een pixel verschuift.
van een pixel verschuift.
Dat lijkt misschien niet veel,
05:39
That may not seem like much,
88
327269
2572
05:41
but a single frame of video
89
329841
1996
maar één enkel videoframe
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
kan honderdduizenden pixels bevatten.
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
Als we al die kleine bewegingen combineren
05:50
from across that entire image,
92
338548
2298
van dat complete beeld,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
kan een duizendste
van een pixel ineens
van een pixel ineens
iets heel significants opleveren.
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
Even terzijde: we waren
behoorlijk in onze nopjes
behoorlijk in onze nopjes
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
toen we dit hadden uitgeknobbeld.
06:02
(Laughter)
96
350505
2320
(Gelach)
06:04
But even with the right algorithm,
97
352825
3253
Maar zelfs met het juiste algoritme
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
misten we nog steeds
een vrij belangrijk stuk van de puzzel.
een vrij belangrijk stuk van de puzzel.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Veel factoren zijn van invloed
op wanneer en hoe goed
op wanneer en hoe goed
06:15
this technique will work.
100
363299
1997
deze techniek werkt:
06:17
There's the object and how far away it is;
101
365296
3204
het object en hoe ver het is,
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
de camera en de lens,
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
hoeveel licht op het object valt
en hoe hard het geluid is.
en hoe hard het geluid is.
06:27
And even with the right algorithm,
104
375945
3375
En zelfs met het juiste algoritme
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
moesten we zeer zorgvuldig zijn
bij onze vroege experimenten,
bij onze vroege experimenten,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
want als een van deze factoren
verkeerd zat,
verkeerd zat,
was er geen manier om te zien
wat het probleem was.
wat het probleem was.
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
06:39
We would just get noise back.
108
387470
2647
We kregen dan alleen lawaai terug.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Veel van onze vroege experimenten
zagen er zo uit.
zagen er zo uit.
06:45
And so here I am,
110
393437
2206
Hier ben ik
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
en linksonder zie je
onze hogesnelheidscamera,
onze hogesnelheidscamera,
06:51
which is pointed at a bag of chips,
112
399683
2183
gericht op een zak chips,
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
en de hele zaak wordt verlicht
door sterke lampen.
door sterke lampen.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
We moesten zorgvuldig zijn
bij deze vroege experimenten,
bij deze vroege experimenten,
07:01
so this is how it went down.
115
409180
2508
dus ging het zo.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Video) Abe Davis: Drie, twee, een, start!
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:12
(Laughter)
118
420836
4500
(Gelach)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: Dit experiment
lijkt volstrekt belachelijk.
lijkt volstrekt belachelijk.
07:20
(Laughter)
120
428150
1788
(Gelach)
Ik bedoel, ik sta te schreeuwen
tegen een zak chips -
tegen een zak chips -
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
07:24
(Laughter) --
122
432283
1551
(Gelach) -
07:25
and we're blasting it with so much light,
123
433834
2117
en we bestraalden hem met zoveel licht,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
dat de eerste zak letterlijk smolt.
(Gelach)
(Gelach)
Maar hoe belachelijk
dit experiment ook lijkt,
dit experiment ook lijkt,
07:32
But ridiculous as this experiment looks,
125
440525
3274
07:35
it was actually really important,
126
443799
1788
het was eigenlijk heel belangrijk,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
omdat we dit geluid
konden herstellen.
konden herstellen.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:45
(Applause)
129
453225
4088
(Applaus)
07:49
AD: And this was really significant,
130
457313
1881
AD: En dit was echt belangrijk,
want het was de eerste keer dat we
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
begrijpelijke menselijke
spraak terugwonnen
spraak terugwonnen
07:55
from silent video of an object.
132
463424
2341
van een video zonder geluid
van een object.
van een object.
07:57
And so it gave us this point of reference,
133
465765
2391
Dit gaf ons een referentiepunt,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
en geleidelijk aan konden we
het experiment wijzigen,
het experiment wijzigen,
met verschillende voorwerpen
of van verder weg,
of van verder weg,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
08:07
using less light or quieter sounds.
136
475911
2770
met minder licht of zachtere geluiden.
08:11
And we analyzed all of these experiments
137
479887
2874
We analyseerden al deze proeven
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
totdat we de grenzen
van onze techniek vonden.
van onze techniek vonden.
08:18
because once we understood those limits,
139
486383
1950
Want zodra we die grenzen vonden,
08:20
we could figure out how to push them.
140
488333
2346
konden we achterhalen
hoe we ze konden oprekken.
hoe we ze konden oprekken.
08:22
And that led to experiments like this one,
141
490679
3181
Dat leidde tot experimenten zoals dit.
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
Ik sprak nog eens
tegen een zak chips,
tegen een zak chips,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
maar dit keer met onze camera
ongeveer 5 meter er vandaan,
ongeveer 5 meter er vandaan,
08:33
outside, behind a soundproof window,
144
501429
2833
buiten, achter een geluiddicht raam,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
en alles alleen belicht
met natuurlijk zonlicht.
met natuurlijk zonlicht.
08:40
And so here's the video that we captured.
146
508529
2155
Hier is de video daarvan.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Zo klonk het binnen, bij de zak chips.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: Hier is wat we
uit onze stille video konden terugwinnen
uit onze stille video konden terugwinnen
09:03
captured outside behind that window.
151
531683
2345
van achter dat raam.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Audio) Mary had a little lamb!
whose fleece was white as snow,
whose fleece was white as snow,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
09:15
(Applause)
154
543920
6501
(Applaus)
AD: Er zijn ook andere manieren
om deze grenzen te verleggen.
om deze grenzen te verleggen.
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
09:25
So here's a quieter experiment
156
553963
1798
Hier is een rustiger experiment:
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
we filmden wat oordopjes
aangesloten op een laptop.
aangesloten op een laptop.
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
We wilden de muziek opnemen
die op die laptop speelde,
die op die laptop speelde,
09:35
from just silent video
159
563981
2299
uit de video zonder geluid
09:38
of these two little plastic earphones,
160
566280
2507
van die twee kleine plastic oordopjes.
09:40
and we were able to do this so well
161
568787
2183
We deden het zo goed
09:42
that I could even Shazam our results.
162
570970
2461
dat we onze resultaten
konden ‘shazammen’.
konden ‘shazammen’.
09:45
(Laughter)
163
573431
2411
(Gelach)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Muziek: 'Under Pressure' van Queen)
10:01
(Applause)
165
589615
4969
(Applaus)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
We kunnen het resultaat
ook verbeteren via de hardware.
ook verbeteren via de hardware.
De experimenten die ik jullie
tot nu toe heb laten zien
tot nu toe heb laten zien
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
deden we met een hogesnelheidscamera.
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
Die kan ongeveer 100 keer
sneller video opnemen
sneller video opnemen
10:18
than most cell phones,
170
606797
1927
dan de meeste mobiele telefoons,
maar we hebben ook een manier gevonden
om deze techniek te gebruiken
om deze techniek te gebruiken
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
10:23
with more regular cameras,
172
611533
2230
met gewonere camera’s.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
We doen dat door gebruik te maken
van wat een ‘gordijnsluiter’ heet.
van wat een ‘gordijnsluiter’ heet.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
De meeste camera's leggen
beelden rij voor rij vast.
beelden rij voor rij vast.
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
Als een object tijdens de opname
van één enkel beeld beweegt,
van één enkel beeld beweegt,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
is er een kleine vertraging
tussen elke rij,
tussen elke rij,
10:43
and this causes slight artifacts
177
631061
3157
en dit veroorzaakt lichte artefacten
10:46
that get coded into each frame of a video.
178
634218
3483
in elk afzonderlijk videoframe.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Door het analyseren van deze artefacten,
kunnen we zelfs geluid herstellen
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
met een aangepaste versie
van ons algoritme.
van ons algoritme.
10:58
So here's an experiment we did
181
646122
1912
Hier weer een experiment.
11:00
where we filmed a bag of candy
182
648034
1695
We filmden een zak snoep
11:01
while a nearby loudspeaker played
183
649729
1741
terwijl een luidspreker in de buurt
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
'Mary Had a Little Lamb' speelde.
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
Maar dit keer gebruikten we
een normale camera uit de winkel.
een normale camera uit de winkel.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Ik laat het jullie dadelijk horen.
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
Het zal wat vervormd zijn,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
maar luister om te zien of je de muziek
nog steeds kunt herkennen.
nog steeds kunt herkennen.
(Audio: 'Mary Had a Little Lamb')
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
11:37
And so, again, that sounds distorted,
190
685527
3465
Het klinkt vervormd,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
maar het geweldige eraan is
dat we het doen
dat we het doen
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
met spullen uit de eerste de beste winkel.
11:48
and pick up at a Best Buy.
193
696004
1444
Dit brengt de meeste mensen
11:51
So at this point,
194
699122
1363
11:52
a lot of people see this work,
195
700485
1974
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
op het idee van bewaking. (Gelach)
11:57
And to be fair,
197
705872
2415
Om eerlijk te zijn,
je kan je best voorstellen
je kan je best voorstellen
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
hoe je deze technologie kan gebruiken
om iemand te bespioneren.
om iemand te bespioneren.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Maar bedenk dat er al heel veel
goed ontwikkelde technologie
goed ontwikkelde technologie
12:08
out there for surveillance.
200
716367
1579
voor surveillance bestaat.
12:09
In fact, people have been using lasers
201
717946
2090
In feite hebben mensen al decennia lang
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
lasers op objecten gericht
om op afstand af te luisteren.
om op afstand af te luisteren.
12:15
But what's really new here,
203
723978
2025
Maar wat hier echt nieuw is,
12:18
what's really different,
204
726003
1440
echt anders,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
is dat we nu een manier hebben
om trillingen van een object op te nemen.
om trillingen van een object op te nemen.
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
Dat geeft ons een nieuwe lens
om te kijken naar de wereld.
om te kijken naar de wereld.
12:27
and we can use that lens
207
735151
1510
We kunnen die lens gebruiken
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
om niet alleen iets
te leren over krachten
te leren over krachten
als geluid die een object laten trillen,
12:33
but also about the object itself.
209
741560
2288
maar ook over het object zelf.
12:36
And so I want to take a step back
210
744975
1693
Ik wil een stap terug doen
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
en nadenken over nieuwe manieren
om video te gebruiken.
om video te gebruiken.
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
Meestal gebruiken we video
om naar dingen te kijken,
om naar dingen te kijken,
12:46
and I've just shown you how we can use it
213
754470
2322
maar ik toonde hoe we het kunnen gebruiken
12:48
to listen to things.
214
756792
1857
om naar dingen te luisteren.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Er is een andere belangrijke manier
waarop we leren over de wereld:
waarop we leren over de wereld:
12:54
that's by interacting with it.
216
762620
2275
door interactie ermee.
12:56
We push and pull and poke and prod things.
217
764895
3111
We duwen en trekken en porren dingen.
13:00
We shake things and see what happens.
218
768006
3181
We schudden dingen
en zien wat er gebeurt.
en zien wat er gebeurt.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Dat is iets dat video nog steeds niet kan,
13:07
at least not traditionally.
220
775460
2136
althans niet de traditionele video.
13:09
So I want to show you some new work,
221
777596
1950
Ik toon je wat nieuw werk,
gebaseerd op een idee dat ik
net een paar maanden geleden had.
net een paar maanden geleden had.
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
Het is de eerste keer
dat ik ermee voor een publiek kom.
dat ik ermee voor een publiek kom.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
We gaan trillingen in een video gebruiken
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
om objecten zo vast te leggen,
dat we met ze kunnen interageren
dat we met ze kunnen interageren
13:27
and see how they react to us.
226
795358
1974
en zie hoe ze op ons reageren.
13:31
So here's an object,
227
799120
1764
Hier zie je een voorwerp,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
in dit geval een draadfiguur
gevormd als mens.
gevormd als mens.
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
We gaan dat object filmen
met een gewone camera.
met een gewone camera.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Er is niets bijzonders aan deze camera.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Ik deed het al met mijn mobiele telefoon.
13:44
But we do want to see the object vibrate,
232
812889
2252
Maar we willen het object zien trillen.
13:47
so to make that happen,
233
815141
1133
Daarom kloppen we wat
op het oppervlak waarop het staat
op het oppervlak waarop het staat
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
13:51
while we record this video.
235
819620
2138
terwijl we deze video opnemen.
Dat is alles:
slechts vijf seconden gewone video,
slechts vijf seconden gewone video,
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
14:03
while we bang on this surface,
237
831069
2136
terwijl we op het oppervlak kloppen.
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
We gaan de trillingen
in die video gebruiken
in die video gebruiken
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
om iets te leren over de structurele
en materiaaleigenschappen van ons object,
en materiaaleigenschappen van ons object,
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
en we gaan die informatie gebruiken
om iets nieuws en interactiefs te maken.
om iets nieuws en interactiefs te maken.
14:24
And so here's what we've created.
241
852866
2653
Dit is het resultaat.
14:27
And it looks like a regular image,
242
855519
2229
Het ziet eruit als een gewone afbeelding,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
maar dit is geen beeld, ook geen video,
14:32
because now I can take my mouse
244
860859
2368
want nu kan ik met mijn muis
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
gaan interageren met het object.
14:44
And so what you see here
246
872936
2357
Wat je hier ziet
is een simulatie van hoe dit object
14:47
is a simulation of how this object
247
875389
2226
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
zou reageren op nieuwe krachten
die we nog nooit eerder hebben gezien,
die we nog nooit eerder hebben gezien,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
en dat met slechts
vijf seconden gewone video.
vijf seconden gewone video.
14:59
(Applause)
250
887249
4715
(Applaus)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Dit is een krachtige manier
om naar de wereld te kijken.
om naar de wereld te kijken.
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
Het laat ons voorspellen
hoe objecten zullen reageren
hoe objecten zullen reageren
15:15
to new situations,
253
903620
1823
in nieuwe situaties:
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
bijvoorbeeld hoe een oude brug
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
zich zal gaan gedragen
15:24
if I were to drive my car across it.
256
912443
2833
als ik er met mijn auto over zou rijden.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Dat wil je waarschijnlijk wel weten
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
voordat je over die brug gaat rijden.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Deze techniek heeft
natuurlijk zijn beperkingen
natuurlijk zijn beperkingen
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
net zoals de visuele microfoon,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
maar we merkten
dat het in veel situaties werkt
dat het in veel situaties werkt
15:42
that you might not expect,
262
930903
1875
waar je dat niet zou verwachten,
15:44
especially if you give it longer videos.
263
932778
2768
vooral als je langere video's maakt.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Hier is een video die ik opnam
15:50
of a bush outside of my apartment,
265
938054
2299
van een struik bij mijn appartement.
15:52
and I didn't do anything to this bush,
266
940353
3088
Ik deed niets met de struik,
15:55
but by capturing a minute-long video,
267
943441
2705
maar met een video van één minuut
15:58
a gentle breeze caused enough vibrations
268
946146
3378
en een zacht briesje
dat genoeg trillingen veroorzaakte,
dat genoeg trillingen veroorzaakte,
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
leerden we genoeg over deze struik
om deze simulatie te maken.
om deze simulatie te maken.
16:07
(Applause)
270
955270
6142
(Applaus)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Je kan je voorstellen
wat een filmregisseur
wat een filmregisseur
16:16
and letting him control, say,
272
964384
1719
hiermee kan doen,
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
als hij de kracht en de richting
van de wind
van de wind
in een opname achteraf kan bepalen.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Hier richtten we de camera
op een hangend gordijn.
op een hangend gordijn.
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Je ziet zelfs geen beweging in deze video,
16:33
but by recording a two-minute-long video,
276
981474
2925
maar tijdens het opnemen
van twee minuten video,
van twee minuten video,
veroorzaakten natuurlijke luchtstromen
in deze kamer
in deze kamer
16:36
natural air currents in this room
277
984399
2438
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
genoeg subtiele, onmerkbare
bewegingen en trillingen
bewegingen en trillingen
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
dat we daarmee
deze simulatie konden creëren.
deze simulatie konden creëren.
16:48
And ironically,
280
996243
2366
Ironisch genoeg
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
zijn we al gewend
aan dit soort interactiviteit
aan dit soort interactiviteit
16:53
when it comes to virtual objects,
282
1001697
2647
met virtuele objecten,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
als het gaat om videogames en 3D-modellen.
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
Maar deze informatie van echte objecten
in de echte wereld kunnen vastleggen
in de echte wereld kunnen vastleggen
17:04
using just simple, regular video,
285
1012045
2817
met slechts eenvoudige, gewone video,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
is iets nieuws
dat veel mogelijkheden biedt.
dat veel mogelijkheden biedt.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Hier zijn de fantastische mensen
die met mij
die met mij
hebben samengewerkt aan deze projecten.
17:16
(Applause)
288
1024057
5596
(Applaus)
Wat ik vandaag heb laten zien,
is slechts het begin,
is slechts het begin,
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
17:27
We've just started to scratch the surface
290
1035876
2113
een peulenschil
vergeleken met wat je kunt doen
met dit soort beeldvorming.
met dit soort beeldvorming.
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
Het geeft ons een nieuwe manier
17:32
because it gives us a new way
292
1040961
2286
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
om onze omgeving met gewone,
toegankelijke technologie vast te leggen.
toegankelijke technologie vast te leggen.
17:40
And so looking to the future,
294
1048066
1929
Als we naar de toekomst kijken,
is het interessant om te zien
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
17:44
what this can tell us about the world.
296
1052032
1856
wat dit ons kan vertellen
over onze wereld.
over onze wereld.
17:46
Thank you.
297
1054381
1204
Dankjewel.
17:47
(Applause)
298
1055610
6107
(Applaus)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com