TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Ny videoteknik som avslöjar dolda egenskaper hos föremål
Filmed:
Readability: 4.3
1,482,525 views
Pyttesmå rörelser sker ständigt omkring oss, exempelvis vibrationer som orsakas av ljud. Med ny teknik kan vi avläsa dessa rörelser och rentav återskapa ljud och samtal enbart från en film av ett till synes orörligt föremål. Men Abe Davis tar tekniken ännu längre: Se hur han demonstrerar mjukvara som låter vem som helst interagera med föremålets dolda egenskaper utifrån en enkel filmupptagning.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
De flesta tänker på rörelse
som en visuell sak.
som en visuell sak.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Om jag går över scenen
eller gestikulerar medan jag talar,
eller gestikulerar medan jag talar,
är det rörelser som du kan se.
00:22
that motion is something that you can see.
2
10977
2261
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Men det finns en hel värld av rörelser
som är för små för det mänskliga ögat,
som är för små för det mänskliga ögat,
00:31
and over the past few years,
4
19737
2041
och de senaste åren har vi
upptäckt att kameror
upptäckt att kameror
00:33
we've started to find that cameras
5
21778
1997
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
ofta kan se sådana rörelser
som människor inte kan.
som människor inte kan.
00:40
So let me show you what I mean.
7
28305
1551
Låt mig visa vad jag menar.
Till vänster ser du en film på en handled,
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
och till höger ser du
en film på en sovande bebis,
en film på en sovande bebis,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
men om jag inte hade sagt
att det var filmer,
att det var filmer,
hade du kunnat tro att
det var stillbilder du såg,
det var stillbilder du såg,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
för i båda fallen
verkar filmerna nästan helt stilla.
verkar filmerna nästan helt stilla.
00:56
because in both cases,
12
44393
1672
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Men det pågår en hel del små rörelser,
och hade du känt på
handleden till vänster,
handleden till vänster,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
hade du känt en puls,
01:08
you would feel a pulse,
16
56452
1996
och hade du hållit i bebisen till höger,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
hade du känt hennes bröstkorg
röra sig när hon andades.
röra sig när hon andades.
01:15
as she took each breath.
19
63324
1390
Dessa rörelser har stor betydelse,
men är oftast för små för att synas.
men är oftast för små för att synas.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
så vi måste uppfatta dem genom beröring.
01:24
so instead, we have to observe them
22
72681
2276
01:26
through direct contact, through touch.
23
74957
2900
Men för några år sedan utvecklade MIT
ett så kallat rörelsemikroskop.
ett så kallat rörelsemikroskop.
01:30
But a few years ago,
24
78997
1265
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
Det är en mjukvara som hittar
dessa små rörelser på film
dessa små rörelser på film
och förstorar dem så att vi kan se dem.
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Så om vi använder mjukvaran
på den vänstra filmen,
på den vänstra filmen,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
kan vi se pulsen i handleden,
och om vi skulle räkna pulsslagen,
skulle vi veta hjärtfrekvensen.
skulle vi veta hjärtfrekvensen.
01:52
and if we were to count that pulse,
30
100149
1695
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
Och om mjukvaran används
på den högra filmen,
på den högra filmen,
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
låter den oss se varje andetag
som bebisen tar.
som bebisen tar.
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
Det kan användas för att beröringsfritt
övervaka andningen.
övervaka andningen.
Denna teknik är mycket kraftfull
för den tar dessa fenomen
för den tar dessa fenomen
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
som vi brukar behöva
uppleva genom beröring
uppleva genom beröring
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
och fångar dem visuellt utan att inkräkta.
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
För ett par år sedan började jag arbeta
med dem som gjorde mjukvaran,
med dem som gjorde mjukvaran,
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
och vi beslöt att prova en galen idé.
02:25
and we decided to pursue a crazy idea.
39
133515
3367
Det var fantastiskt att använda mjukvaran
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
för att synliggöra pyttesmå rörelser,
02:31
to visualize tiny motions like this,
41
139575
3135
och man kan nästan se det som
ett sätt att förlänga känseln.
ett sätt att förlänga känseln.
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
Men tänk om man kunde göra
på samma sätt med hörseln!
på samma sätt med hörseln!
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Tänk om vi kunde använda video
för att fånga ljudets vibrationer,
för att fånga ljudets vibrationer,
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
02:49
which are just another kind of motion,
45
157173
2827
som också är en sorts rörelser,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
och använda allt vi kan se
som mikrofon.
som mikrofon.
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Det här är en märklig idé,
låt mig sätta den i perspektiv.
låt mig sätta den i perspektiv.
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Vanliga mikrofoner överför rörelsen
hos ett inbyggt membran
till en elektrisk signal,
till en elektrisk signal,
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
och det membranet är konstruerat
för att enkelt röra sig med ljudet
för att enkelt röra sig med ljudet
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
så att dess rörelse kan tolkas som ljud.
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
Men ljud får alla saker att röra sig.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Det är bara det att vibrationerna är
för små och snabba för oss att se.
för små och snabba för oss att se.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Men tänk om vi filmar dem med
en höghastighetskamera
en höghastighetskamera
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
och använder mjukvara för att ta fram
pyttesmå rörelser från filmen,
pyttesmå rörelser från filmen,
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
03:34
from our high-speed video,
57
202197
2090
och analyserar rörelserna för att räkna ut
vilka ljud som åstadkom dem.
vilka ljud som åstadkom dem.
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
Då skulle synliga föremål bli
visuella mikrofoner på avstånd.
visuella mikrofoner på avstånd.
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
03:49
And so we tried this out,
60
217080
2183
Så vi provade detta,
och här är ett av våra experiment.
och här är ett av våra experiment.
03:51
and here's one of our experiments,
61
219263
1927
Vi tog en krukväxt, till höger,
och filmade med höghastighetskamera,
och filmade med höghastighetskamera,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
03:56
and we filmed it with a high-speed camera
63
224139
2438
medan en högtalare i närheten
spelade detta ljud.
spelade detta ljud.
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(Musik: Mary had a little lamb)
Här är filmen som vi spelade in, med
tusentals bilder per sekund,
tusentals bilder per sekund,
04:11
And so here's the video that we recorded,
66
239820
2824
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
men även om du tittar riktigt nära,
ser du bara några blad
ser du bara några blad
04:18
but even if you look very closely,
68
246568
2322
04:20
all you'll see are some leaves
69
248890
1951
som inte verkar göra något särskilt.
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
För ljudet får bladen att röra sig
bara ungefär en mikrometer.
bara ungefär en mikrometer.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
En tiotusendels centimeter.
Mellan en hundradels och
en tusendels pixel i bilden.
en tusendels pixel i bilden.
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
04:39
of a pixel in this image.
74
267535
2299
04:41
So you can squint all you want,
75
269881
2887
Hur mycket du än kisar,
så kan du inte uppfatta så små rörelser.
så kan du inte uppfatta så små rörelser.
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
Men det visar sig att det som är
omöjligt att uppfatta
omöjligt att uppfatta
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
04:53
and still be numerically significant,
78
281824
2809
ändå kan vara numeriskt signifikant.
Med de rätta algoritmerna kan vi ta
denna tysta, till synes stilla film-
denna tysta, till synes stilla film-
04:56
because with the right algorithms,
79
284633
2002
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
-och återskapa detta ljud.
05:02
and we can recover this sound.
81
290322
1527
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Musik: Mary had a little lamb)
(Applåder)
05:12
(Applause)
83
300074
5828
Hur är det möjligt?
05:22
So how is this possible?
84
310058
1939
Hur kan vi få så mycket information
från så lite rörelse?
från så lite rörelse?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Jo, låt oss säga att bladen rör sig
en enda mikrometer,
en enda mikrometer,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
och att det förskjuter bilden
en tusendels pixel.
en tusendels pixel.
05:39
That may not seem like much,
88
327269
2572
Det låter inte mycket, men en enda
bildruta består av hundratusentals pixlar,
bildruta består av hundratusentals pixlar,
05:41
but a single frame of video
89
329841
1996
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
och om vi kombinerar alla
pyttesmå rörelser från hela bilden,
pyttesmå rörelser från hela bilden,
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
05:50
from across that entire image,
92
338548
2298
05:52
then suddenly a thousandth of a pixel
93
340846
2623
kan en tusendels pixel läggas ihop
till något ganska märkbart.
till något ganska märkbart.
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Jag måste tillstå att vi blev
rätt häpna när vi upptäckte det.
rätt häpna när vi upptäckte det.
06:02
(Laughter)
96
350505
2320
(Skratt)
06:04
But even with the right algorithm,
97
352825
3253
Men även med rätt algoritm
saknades en viktig bit av pusslet.
saknades en viktig bit av pusslet.
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Många faktorer påverkar när och hur bra
den här metoden fungerar.
den här metoden fungerar.
06:15
this technique will work.
100
363299
1997
06:17
There's the object and how far away it is;
101
365296
3204
Dels föremålet och hur långt bort det är.
Dels kameran och objektivet.
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
Dels ljuset på föremålet
och hur starkt ljudet är.
och hur starkt ljudet är.
06:27
And even with the right algorithm,
104
375945
3375
Och även med rätt algoritm var det noga
vid våra första experiment,
vid våra första experiment,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
för om en av dessa faktorer var fel
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
gick det inte att säga
vad som var problemet.
vad som var problemet.
06:39
We would just get noise back.
108
387470
2647
Vi fick bara brus.
Därför såg många av våra
tidiga experiment ut så här.
tidiga experiment ut så här.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
06:45
And so here I am,
110
393437
2206
Här är jag,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
och nere till vänster skymtar
höghastighetskameran
höghastighetskameran
som är riktad mot en chipspåse
06:51
which is pointed at a bag of chips,
112
399683
2183
som belyses med starka lampor.
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Som sagt måste vi vara mycket noggranna
vid dessa tidiga experiment.
vid dessa tidiga experiment.
07:01
so this is how it went down.
115
409180
2508
Så här gick det till.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Film) Tre, två, ett...
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:12
(Laughter)
118
420836
4500
(Skratt)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
Det här experimentet verkar störtlöjligt.
07:20
(Laughter)
120
428150
1788
(Skratt)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Jag skriker åt en chipspåse...
07:24
(Laughter) --
122
432283
1551
(Skratt)
07:25
and we're blasting it with so much light,
123
433834
2117
... och vi brassar på med så mycket ljus-
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
att den första chipspåsen
bokstavligen smälte. (Skratt)
bokstavligen smälte. (Skratt)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Men, löjligt eller inte,
det var ett viktigt experiment.
det var ett viktigt experiment.
07:35
it was actually really important,
126
443799
1788
För vi kunde återskapa detta ljud.
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Ljud) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:45
(Applause)
129
453225
4088
(Applåder)
Och detta var betydelsefullt,
07:49
AD: And this was really significant,
130
457313
1881
för det var den första gången
som vi återskapade mänskligt tal
som vi återskapade mänskligt tal
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
07:55
from silent video of an object.
132
463424
2341
från ljudlös film av ett föremål.
07:57
And so it gave us this point of reference,
133
465765
2391
Så vi fick en referenspunkt,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
och successivt kunde vi
förändra experimentet,
förändra experimentet,
med olika föremål, olika långt borta,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
mindre ljus, tystare ljud.
08:07
using less light or quieter sounds.
136
475911
2770
Vi analyserade alla experiment
08:11
And we analyzed all of these experiments
137
479887
2874
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
tills vi kände till
metodens begränsningar,
metodens begränsningar,
för när vi kände gränserna,
kunde vi räkna ut hur vi skulle tänja dem.
kunde vi räkna ut hur vi skulle tänja dem.
08:18
because once we understood those limits,
139
486383
1950
08:20
we could figure out how to push them.
140
488333
2346
Det ledde till sådana här experiment.
08:22
And that led to experiments like this one,
141
490679
3181
Återigen pratar jag med en chipspåse,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
men nu har vi flyttat kameran fem meter,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
utomhus, bakom ett ljudisolerat fönster,
08:33
outside, behind a soundproof window,
144
501429
2833
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
och ljuset är naturligt solljus.
Här är filmen som vi spelade in.
08:40
And so here's the video that we captured.
146
508529
2155
Så här lät det inomhus, intill chipspåsen.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Ljud) Mary had a little lamb
whose fleece was white as snow
whose fleece was white as snow
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
Och detta lyckades vi återskapa
från den ljudlösa filmen
från den ljudlösa filmen
tagen utomhus bakom fönstret.
09:03
captured outside behind that window.
151
531683
2345
(Ljud) Mary had a little lamb
whose fleece was white as snow
whose fleece was white as snow
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
09:15
(Applause)
154
543920
6501
(Applåder)
Och det finns andra sätt som vi kan
tänja gränserna på.
tänja gränserna på.
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
Här är ett tystare experiment
där vi filmade ett par hörlurar,
där vi filmade ett par hörlurar,
09:25
So here's a quieter experiment
156
553963
1798
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
inkopplade i en dator.
Här var målet att återskapa musiken
som spelades på datorn
som spelades på datorn
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
09:35
from just silent video
159
563981
2299
utifrån ljudlös film
på dessa små hörlurar.
på dessa små hörlurar.
09:38
of these two little plastic earphones,
160
566280
2507
Vi lyckades så bra
09:40
and we were able to do this so well
161
568787
2183
09:42
that I could even Shazam our results.
162
570970
2461
att Shazam kände igen resultatet.
09:45
(Laughter)
163
573431
2411
(Skratt)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Musik: "Under Pressure" av Queen)
10:01
(Applause)
165
589615
4969
(Applåder)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Och vi kan tänja gränser
genom att ändra utrustningen.
genom att ändra utrustningen.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
För alla experiment
som jag har visat hittills
som jag har visat hittills
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
gjordes med höghastighetskamera,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
som kan spela in runt 100 gånger snabbare
än de flesta mobiler.
än de flesta mobiler.
10:18
than most cell phones,
170
606797
1927
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
Men vi hittade ett sätt att
använda metoden med vanliga kameror,
använda metoden med vanliga kameror,
10:23
with more regular cameras,
172
611533
2230
genom att utnyttja så kallade
rullande slutare.
rullande slutare.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
De flesta kameror spelar in
filmens bilder en pixelrad åt gången,
filmens bilder en pixelrad åt gången,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
och om ett föremål rör sig
medan en enda bild spelas in
medan en enda bild spelas in
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
gör den lilla fördröjningen
mellan varje rad
mellan varje rad
10:43
and this causes slight artifacts
177
631061
3157
att det blir små artefakter
som syns i varje bild i filmen.
som syns i varje bild i filmen.
10:46
that get coded into each frame of a video.
178
634218
3483
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Vi upptäckte att genom att
analysera dessa artefakter,
analysera dessa artefakter,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
kan vi återskapa ljud med en
ändrad version av vår algoritm.
ändrad version av vår algoritm.
10:58
So here's an experiment we did
181
646122
1912
Här är ett experiment där vi filmade
en godispåse medan en högtalare spelade
en godispåse medan en högtalare spelade
11:00
where we filmed a bag of candy
182
648034
1695
11:01
while a nearby loudspeaker played
183
649729
1741
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
samma "Mary had a little lamb" som innan
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
men nu med en helt vanlig kamera.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Nu ska jag spela upp
ljudet vi återskapade,
ljudet vi återskapade,
och det kommer att låta förvrängt nu,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
men lyssna och hör om ni kan
känna igen musiken.
känna igen musiken.
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Ljud: "Mary had a little lamb")
11:37
And so, again, that sounds distorted,
190
685527
3465
Som sagt, ljudet är förvrängt,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
men det fantastiska är att
vi fick detta resultat
vi fick detta resultat
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
med utrustning som man kan
köpa på Elgiganten.
köpa på Elgiganten.
11:48
and pick up at a Best Buy.
193
696004
1444
11:51
So at this point,
194
699122
1363
Många som ser det här
tänker genast på övervakning.
tänker genast på övervakning.
11:52
a lot of people see this work,
195
700485
1974
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
Och i ärlighetens namn
är det lätt att föreställa sig
är det lätt att föreställa sig
11:57
And to be fair,
197
705872
2415
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
hur tekniken kan användas
till att spionera.
till att spionera.
Men kom ihåg att det redan finns
gott om mogen teknik för att spionera.
gott om mogen teknik för att spionera.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
12:08
out there for surveillance.
200
716367
1579
12:09
In fact, people have been using lasers
201
717946
2090
Man har använt laser för att tjuvlyssna
via föremål på avstånd i decennier.
via föremål på avstånd i decennier.
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
12:15
But what's really new here,
203
723978
2025
Det nya nu är att vi kan
avbilda vibrationer hos ett föremål,
avbilda vibrationer hos ett föremål,
12:18
what's really different,
204
726003
1440
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
vilket ger oss en ny lins som
vi kan betrakta världen genom.
vi kan betrakta världen genom.
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
Och vi kan använda denna lins
12:27
and we can use that lens
207
735151
1510
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
för att lära oss inte bara om krafter,
som ljud, som orsakar vibrationer,
som ljud, som orsakar vibrationer,
12:33
but also about the object itself.
209
741560
2288
utan även om föremålet självt.
Låt oss backa ett steg och fundera hur
det kan ändra sättet vi använder film på.
det kan ändra sättet vi använder film på.
12:36
And so I want to take a step back
210
744975
1693
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
Vi brukar använda film för att
betrakta föremål,
betrakta föremål,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
och jag har nyss visat hur det
kan användas för att lyssna på saker.
kan användas för att lyssna på saker.
12:46
and I've just shown you how we can use it
213
754470
2322
12:48
to listen to things.
214
756792
1857
Men det finns ett annat viktigt sätt
att undersöka omvärlden:
att undersöka omvärlden:
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Genom att interagera med den.
12:54
that's by interacting with it.
216
762620
2275
Vi trycker och drar och petar på saker.
12:56
We push and pull and poke and prod things.
217
764895
3111
Vi skakar dem och ser vad som händer.
13:00
We shake things and see what happens.
218
768006
3181
Det är något som vi inte
kan göra med en film.
kan göra med en film.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Åtminstone inte hittills.
13:07
at least not traditionally.
220
775460
2136
13:09
So I want to show you some new work,
221
777596
1950
Jag vill visa vårt senaste arbete, en idé
som jag fick för bara några månader sedan.
som jag fick för bara några månader sedan.
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
Det här är första gången jag
visar det för allmänheten.
visar det för allmänheten.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Idén är att vi ska använda
vibrationerna i en film
vibrationerna i en film
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
för att spela in föremål på ett sätt
så att vi kan interagera med dem,
så att vi kan interagera med dem,
13:27
and see how they react to us.
226
795358
1974
och se hur de reagerar på oss.
13:31
So here's an object,
227
799120
1764
Här är ett föremål,
i detta fall en trådskulptur
av en människa,
av en människa,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
och vi filmar den med en vanlig kamera.
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
Det är inget särskilt med kameran,
vi har faktiskt använt min mobil förut.
vi har faktiskt använt min mobil förut.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Men vi vill att föremålet ska vibrera.
13:44
But we do want to see the object vibrate,
232
812889
2252
13:47
so to make that happen,
233
815141
1133
Så vi slår lätt på ytan det står på,
medan vi spelar in denna film.
medan vi spelar in denna film.
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
13:51
while we record this video.
235
819620
2138
Det är allt: Fem sekunder vanlig film,
medan vi slår på ytan,
medan vi slår på ytan,
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
14:03
while we bang on this surface,
237
831069
2136
och vi använder vibrationerna från filmen
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
för att lära oss konstruktionen
och materialens egenskaper i föremålet,
och materialens egenskaper i föremålet,
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
och vi använder den informationen
för att skapa något nytt, interaktivt.
för att skapa något nytt, interaktivt.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
14:24
And so here's what we've created.
241
852866
2653
Här är resultatet.
Det ser ut som en vanlig stillbild.
Det ser ut som en vanlig stillbild.
14:27
And it looks like a regular image,
242
855519
2229
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
Men det är ingen stillbild,
och det är ingen film.
och det är ingen film.
14:32
because now I can take my mouse
244
860859
2368
För nu kan jag ta musen
och börja interagera med föremålet.
och börja interagera med föremålet.
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
14:44
And so what you see here
246
872936
2357
Vad ni ser är en simulering av
hur föremålet
hur föremålet
14:47
is a simulation of how this object
247
875389
2226
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
skulle reagera på krafter
som vi aldrig sett förut.
som vi aldrig sett förut.
Och vi skapade den utifrån
bara fem sekunder vanlig film.
bara fem sekunder vanlig film.
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
14:59
(Applause)
250
887249
4715
(Applåder)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Så detta är ett kraftfullt sätt
att se på omvärlden,
att se på omvärlden,
för det låter oss förutse hur föremål
kommer reagera på nya situationer,
kommer reagera på nya situationer,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
15:15
to new situations,
253
903620
1823
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
och man kan tänka sig, exempelvis,
att man tittar på en gammal bro
att man tittar på en gammal bro
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
och undrar om den kommer hålla
om jag skulle köra bil över den.
om jag skulle köra bil över den.
15:24
if I were to drive my car across it.
256
912443
2833
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Det är en fråga som du förmodligen
vill besvara innan du kör över bron.
vill besvara innan du kör över bron.
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
Självklart finns det
begränsningar i tekniken,
begränsningar i tekniken,
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
precis som med den visuella mikrofonen,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
men vi upptäckte att det fungerar
i många oväntade situationer,
i många oväntade situationer,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
15:42
that you might not expect,
262
930903
1875
i synnerhet om du använder längre filmer.
15:44
especially if you give it longer videos.
263
932778
2768
Exempelvis denna film
på en buske utanför mitt hus,
på en buske utanför mitt hus,
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
15:50
of a bush outside of my apartment,
265
938054
2299
och jag gjorde inget med busken,
förutom att filma den i en minut.
förutom att filma den i en minut.
15:52
and I didn't do anything to this bush,
266
940353
3088
15:55
but by capturing a minute-long video,
267
943441
2705
15:58
a gentle breeze caused enough vibrations
268
946146
3378
En lätt vind gav nog med vibrationer
för att ge oss information
till den här simuleringen.
till den här simuleringen.
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
16:07
(Applause)
270
955270
6142
(Applåder)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Tänk dig detta i händerna
på en filmregissör,
på en filmregissör,
som kan kontrollera, till exempel,
16:16
and letting him control, say,
272
964384
1719
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
styrkan och riktningen på en vind
i en tagning efter att den blivit filmad.
i en tagning efter att den blivit filmad.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Eller, som här, när vi riktade kameran
mot ett hängande skynke,
mot ett hängande skynke,
man kan inte se några rörelser i filmen,
men genom att filma i två minuter,
men genom att filma i två minuter,
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
16:33
but by recording a two-minute-long video,
276
981474
2925
gav naturliga luftströmmar upphov till
nog med omärkliga rörelser och vibrationer
nog med omärkliga rörelser och vibrationer
16:36
natural air currents in this room
277
984399
2438
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
för att möjliggöra denna simulering.
16:48
And ironically,
280
996243
2366
Ironiskt nog är vi vana vid interaktivitet
när det gäller virtuella föremål.
när det gäller virtuella föremål.
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
16:53
when it comes to virtual objects,
282
1001697
2647
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
Videospel och 3D-modeller.
Men att kunna fånga den här informationen
från verkliga föremål i omvärlden,
från verkliga föremål i omvärlden,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
17:04
using just simple, regular video,
285
1012045
2817
med bara vanlig videoupptagning,
är nytt och har stor potential.
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Här är de fantastiska människor
som arbetat med mig.
som arbetat med mig.
17:16
(Applause)
288
1024057
5596
(Applåder)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Vad jag visat idag är bara början.
Vi har bara skrapat på ytan av vad man kan
göra med denna typ av avbildning,
göra med denna typ av avbildning,
17:27
We've just started to scratch the surface
290
1035876
2113
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
för den ger nya sätt att fånga vår
omgivning med vanlig, tillgänglig teknik.
omgivning med vanlig, tillgänglig teknik.
17:32
because it gives us a new way
292
1040961
2286
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
17:40
And so looking to the future,
294
1048066
1929
Framtiden är spännande,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
när vi utforskar vad detta
kan lära oss om världen.
kan lära oss om världen.
17:44
what this can tell us about the world.
296
1052032
1856
17:46
Thank you.
297
1054381
1204
Tack!
17:47
(Applause)
298
1055610
6107
(Applåder)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com