ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Ny videoteknik som avslöjar dolda egenskaper hos föremål

Filmed:
1,482,525 views

Pyttesmå rörelser sker ständigt omkring oss, exempelvis vibrationer som orsakas av ljud. Med ny teknik kan vi avläsa dessa rörelser och rentav återskapa ljud och samtal enbart från en film av ett till synes orörligt föremål. Men Abe Davis tar tekniken ännu längre: Se hur han demonstrerar mjukvara som låter vem som helst interagera med föremålets dolda egenskaper utifrån en enkel filmupptagning.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

00:13
MostDe flesta of us think of motionrörelse
as a very visualvisuell thing.
0
1373
3349
De flesta tänker på rörelse
som en visuell sak.
00:17
If I walk acrosstvärs över this stageskede
or gesturegest with my handshänder while I speaktala,
1
5889
5088
Om jag går över scenen
eller gestikulerar medan jag talar,
är det rörelser som du kan se.
00:22
that motionrörelse is something that you can see.
2
10977
2261
00:26
But there's a worldvärld of importantViktig motionrörelse
that's too subtlesubtil for the humanmänsklig eyeöga,
3
14255
5482
Men det finns en hel värld av rörelser
som är för små för det mänskliga ögat,
00:31
and over the pastdåtid few yearsår,
4
19737
2041
och de senaste åren har vi
upptäckt att kameror
00:33
we'vevi har startedsatte igång to find that cameraskameror
5
21778
1997
00:35
can oftenofta see this motionrörelse
even when humansmänniskor can't.
6
23775
3410
ofta kan se sådana rörelser
som människor inte kan.
00:40
So let me showshow you what I mean.
7
28305
1551
Låt mig visa vad jag menar.
Till vänster ser du en film på en handled,
00:42
On the left here, you see videovideo-
of a person'spersons wristhandled,
8
30717
3622
och till höger ser du
en film på en sovande bebis,
00:46
and on the right, you see videovideo-
of a sleepingsovande infantspädbarn,
9
34339
3147
00:49
but if I didn't tell you
that these were videosvideoklipp,
10
37486
3146
men om jag inte hade sagt
att det var filmer,
hade du kunnat tro att
det var stillbilder du såg,
00:52
you mightmakt assumeantar that you were looking
at two regularregelbunden imagesbilder,
11
40632
3761
för i båda fallen
verkar filmerna nästan helt stilla.
00:56
because in bothbåde casesfall,
12
44393
1672
00:58
these videosvideoklipp appeardyka upp to be
almostnästan completelyfullständigt still.
13
46065
3047
01:02
But there's actuallyfaktiskt a lot
of subtlesubtil motionrörelse going on here,
14
50175
3885
Men det pågår en hel del små rörelser,
och hade du känt på
handleden till vänster,
01:06
and if you were to touchRör
the wristhandled on the left,
15
54060
2392
hade du känt en puls,
01:08
you would feel a pulsepuls,
16
56452
1996
och hade du hållit i bebisen till höger,
01:10
and if you were to holdhåll
the infantspädbarn on the right,
17
58448
2485
01:12
you would feel the risestiga
and fallfalla of her chestbröst
18
60933
2391
hade du känt hennes bröstkorg
röra sig när hon andades.
01:15
as she tooktog eachvarje breathandetag.
19
63324
1390
Dessa rörelser har stor betydelse,
men är oftast för små för att synas.
01:17
And these motionsmotioner carrybära
a lot of significancebetydelse,
20
65762
3576
01:21
but they're usuallyvanligtvis
too subtlesubtil for us to see,
21
69338
3343
så vi måste uppfatta dem genom beröring.
01:24
so insteadistället, we have to observeiaktta them
22
72681
2276
01:26
throughgenom directdirekt contactkontakta, throughgenom touchRör.
23
74957
2900
Men för några år sedan utvecklade MIT
ett så kallat rörelsemikroskop.
01:30
But a few yearsår agosedan,
24
78997
1265
01:32
my colleagueskollegor at MITMIT developedtagit fram
what they call a motionrörelse microscopemikroskopet,
25
80262
4405
01:36
whichsom is softwareprogramvara that findsfynd
these subtlesubtil motionsmotioner in videovideo-
26
84667
4384
Det är en mjukvara som hittar
dessa små rörelser på film
och förstorar dem så att vi kan se dem.
01:41
and amplifiesförstärker them so that they
becomebli largestor enoughtillräckligt for us to see.
27
89051
3562
01:45
And so, if we use theirderas softwareprogramvara
on the left videovideo-,
28
93416
3483
Så om vi använder mjukvaran
på den vänstra filmen,
01:48
it letslåter us see the pulsepuls in this wristhandled,
29
96899
3250
kan vi se pulsen i handleden,
och om vi skulle räkna pulsslagen,
skulle vi veta hjärtfrekvensen.
01:52
and if we were to counträkna that pulsepuls,
30
100149
1695
01:53
we could even figurefigur out
this person'spersons hearthjärta rateBetygsätta.
31
101844
2355
Och om mjukvaran används
på den högra filmen,
01:57
And if we used the samesamma softwareprogramvara
on the right videovideo-,
32
105095
3065
låter den oss se varje andetag
som bebisen tar.
02:00
it letslåter us see eachvarje breathandetag
that this infantspädbarn takes,
33
108160
3227
02:03
and we can use this as a contact-freekontakt-fri way
to monitorövervaka her breathingandas.
34
111387
4137
Det kan användas för att beröringsfritt
övervaka andningen.
Denna teknik är mycket kraftfull
för den tar dessa fenomen
02:08
And so this technologyteknologi is really powerfulkraftfull
because it takes these phenomenafenomen
35
116884
5348
som vi brukar behöva
uppleva genom beröring
02:14
that we normallyi vanliga fall have
to experienceerfarenhet throughgenom touchRör
36
122232
2367
och fångar dem visuellt utan att inkräkta.
02:16
and it letslåter us capturefånga them visuallyvisuellt
and non-invasivelyicke-invasivt.
37
124599
2957
För ett par år sedan började jag arbeta
med dem som gjorde mjukvaran,
02:21
So a couplepar yearsår agosedan, I startedsatte igång workingarbetssätt
with the folksfolk that createdskapad that softwareprogramvara,
38
129104
4411
och vi beslöt att prova en galen idé.
02:25
and we decidedbestämt to pursuebedriva a crazygalen ideaaning.
39
133515
3367
Det var fantastiskt att använda mjukvaran
02:28
We thought, it's coolHäftigt
that we can use softwareprogramvara
40
136882
2693
för att synliggöra pyttesmå rörelser,
02:31
to visualizevisualisera tinymycket liten motionsmotioner like this,
41
139575
3135
och man kan nästan se det som
ett sätt att förlänga känseln.
02:34
and you can almostnästan think of it
as a way to extendförlänga our sensekänsla of touchRör.
42
142710
4458
Men tänk om man kunde göra
på samma sätt med hörseln!
02:39
But what if we could do the samesamma thing
with our abilityförmåga to hearhöra?
43
147168
4059
Tänk om vi kunde använda video
för att fånga ljudets vibrationer,
02:44
What if we could use videovideo-
to capturefånga the vibrationsvibrationer of soundljud,
44
152508
4665
02:49
whichsom are just anotherannan kindsnäll of motionrörelse,
45
157173
2827
som också är en sorts rörelser,
02:52
and turnsväng everything that we see
into a microphonemikrofon?
46
160000
3346
och använda allt vi kan se
som mikrofon.
02:56
Now, this is a bitbit of a strangekonstig ideaaning,
47
164236
1971
Det här är en märklig idé,
låt mig sätta den i perspektiv.
02:58
so let me try to put it
in perspectiveperspektiv for you.
48
166207
2586
03:01
TraditionalTraditionella microphonesmikrofoner
work by convertingomvandling the motionrörelse
49
169523
3488
Vanliga mikrofoner överför rörelsen
hos ett inbyggt membran
till en elektrisk signal,
03:05
of an internalinre diaphragmmembran
into an electricalelektrisk signalsignal,
50
173011
3599
och det membranet är konstruerat
för att enkelt röra sig med ljudet
03:08
and that diaphragmmembran is designeddesignat
to moveflytta readilylätt with soundljud
51
176610
4318
så att dess rörelse kan tolkas som ljud.
03:12
so that its motionrörelse can be recordedspelade in
and interpretedtolkat as audioaudio.
52
180928
4807
Men ljud får alla saker att röra sig.
03:17
But soundljud causesorsaker all objectsföremål to vibratevibrera.
53
185735
3668
Det är bara det att vibrationerna är
för små och snabba för oss att se.
03:21
Those vibrationsvibrationer are just usuallyvanligtvis
too subtlesubtil and too fastsnabb for us to see.
54
189403
5480
Men tänk om vi filmar dem med
en höghastighetskamera
03:26
So what if we recordspela in them
with a high-speedhög hastighet camerakamera
55
194883
3738
och använder mjukvara för att ta fram
pyttesmå rörelser från filmen,
03:30
and then use softwareprogramvara
to extractextrahera tinymycket liten motionsmotioner
56
198621
3576
03:34
from our high-speedhög hastighet videovideo-,
57
202197
2090
och analyserar rörelserna för att räkna ut
vilka ljud som åstadkom dem.
03:36
and analyzeanalysera those motionsmotioner to figurefigur out
what soundsljud createdskapad them?
58
204287
4274
Då skulle synliga föremål bli
visuella mikrofoner på avstånd.
03:41
This would let us turnsväng visiblesynlig objectsföremål
into visualvisuell microphonesmikrofoner from a distancedistans.
59
209859
5449
03:49
And so we triedförsökte this out,
60
217080
2183
Så vi provade detta,
och här är ett av våra experiment.
03:51
and here'shär är one of our experimentsexperiment,
61
219263
1927
Vi tog en krukväxt, till höger,
och filmade med höghastighetskamera,
03:53
where we tooktog this pottedkrukväxt plantväxt
that you see on the right
62
221190
2949
03:56
and we filmedfilmat it with a high-speedhög hastighet camerakamera
63
224139
2438
medan en högtalare i närheten
spelade detta ljud.
03:58
while a nearbynärliggande loudspeakerhögtalare
playedspelade this soundljud.
64
226577
3529
04:02
(MusicMusik: "MaryMary Had a Little LambLamm")
65
230275
8190
(Musik: Mary had a little lamb)
Här är filmen som vi spelade in, med
tusentals bilder per sekund,
04:11
And so here'shär är the videovideo- that we recordedspelade in,
66
239820
2824
04:14
and we recordedspelade in it at thousandstusentals
of framesramar perper secondandra,
67
242644
3924
men även om du tittar riktigt nära,
ser du bara några blad
04:18
but even if you look very closelynära,
68
246568
2322
04:20
all you'lldu kommer see are some leaveslöv
69
248890
1951
som inte verkar göra något särskilt.
04:22
that are prettySöt much
just sittingSammanträde there doing nothing,
70
250841
3065
04:25
because our soundljud only movedrörd those leaveslöv
by about a micrometermikrometer.
71
253906
4806
För ljudet får bladen att röra sig
bara ungefär en mikrometer.
04:31
That's one ten-thousandthtio-tusendel of a centimetercentimeter,
72
259103
4276
En tiotusendels centimeter.
Mellan en hundradels och
en tusendels pixel i bilden.
04:35
whichsom spansspann somewherenågonstans betweenmellan
a hundredthhundradel and a thousandthtusendel
73
263379
4156
04:39
of a pixelpixel in this imagebild.
74
267535
2299
04:41
So you can squintskelning all you want,
75
269881
2887
Hur mycket du än kisar,
så kan du inte uppfatta så små rörelser.
04:44
but motionrörelse that smallsmå is prettySöt much
perceptuallyperceptuellt invisibleosynlig.
76
272768
3335
Men det visar sig att det som är
omöjligt att uppfatta
04:49
But it turnsvarv out that something
can be perceptuallyperceptuellt invisibleosynlig
77
277667
4157
04:53
and still be numericallynumeriskt significantsignifikant,
78
281824
2809
ändå kan vara numeriskt signifikant.
Med de rätta algoritmerna kan vi ta
denna tysta, till synes stilla film-
04:56
because with the right algorithmsalgoritmer,
79
284633
2002
04:58
we can take this silenttyst,
seeminglytill synes still videovideo-
80
286635
3687
-och återskapa detta ljud.
05:02
and we can recoverta igen sig this soundljud.
81
290322
1527
05:04
(MusicMusik: "MaryMary Had a Little LambLamm")
82
292690
7384
(Musik: Mary had a little lamb)
(Applåder)
05:12
(ApplauseApplåder)
83
300074
5828
Hur är det möjligt?
05:22
So how is this possiblemöjlig?
84
310058
1939
Hur kan vi få så mycket information
från så lite rörelse?
05:23
How can we get so much informationinformation
out of so little motionrörelse?
85
311997
4344
05:28
Well, let's say that those leaveslöv
moveflytta by just a singleenda micrometermikrometer,
86
316341
5361
Jo, låt oss säga att bladen rör sig
en enda mikrometer,
05:33
and let's say that that shiftsskift our imagebild
by just a thousandthtusendel of a pixelpixel.
87
321702
4308
och att det förskjuter bilden
en tusendels pixel.
05:39
That mayMaj not seemverka like much,
88
327269
2572
Det låter inte mycket, men en enda
bildruta består av hundratusentals pixlar,
05:41
but a singleenda frameram of videovideo-
89
329841
1996
05:43
mayMaj have hundredshundratals of thousandstusentals
of pixelspixlar in it,
90
331837
3257
och om vi kombinerar alla
pyttesmå rörelser från hela bilden,
05:47
and so if we combinekombinera all
of the tinymycket liten motionsmotioner that we see
91
335094
3454
05:50
from acrosstvärs över that entirehel imagebild,
92
338548
2298
05:52
then suddenlyplötsligt a thousandthtusendel of a pixelpixel
93
340846
2623
kan en tusendels pixel läggas ihop
till något ganska märkbart.
05:55
can startStart to addLägg till up
to something prettySöt significantsignifikant.
94
343469
2775
05:58
On a personalpersonlig notenotera, we were prettySöt psychedpeppad
when we figuredfigured this out.
95
346870
3635
Jag måste tillstå att vi blev
rätt häpna när vi upptäckte det.
06:02
(LaughterSkratt)
96
350505
2320
(Skratt)
06:04
But even with the right algorithmalgoritm,
97
352825
3253
Men även med rätt algoritm
saknades en viktig bit av pusslet.
06:08
we were still missingsaknas
a prettySöt importantViktig piecebit of the puzzlepussel.
98
356078
3617
06:11
You see, there are a lot of factorsfaktorer
that affectpåverka when and how well
99
359695
3604
Många faktorer påverkar när och hur bra
den här metoden fungerar.
06:15
this techniqueteknik will work.
100
363299
1997
06:17
There's the objectobjekt and how farlångt away it is;
101
365296
3204
Dels föremålet och hur långt bort det är.
Dels kameran och objektivet.
06:20
there's the camerakamera
and the lenslins that you use;
102
368500
2394
06:22
how much lightljus is shininglysande on the objectobjekt
and how loudhögt your soundljud is.
103
370894
4091
Dels ljuset på föremålet
och hur starkt ljudet är.
06:27
And even with the right algorithmalgoritm,
104
375945
3375
Och även med rätt algoritm var det noga
vid våra första experiment,
06:31
we had to be very carefulförsiktig
with our earlytidigt experimentsexperiment,
105
379320
3390
för om en av dessa faktorer var fel
06:34
because if we got
any of these factorsfaktorer wrongfel,
106
382710
2392
06:37
there was no way to tell
what the problemproblem was.
107
385102
2368
gick det inte att säga
vad som var problemet.
06:39
We would just get noiseljud back.
108
387470
2647
Vi fick bara brus.
Därför såg många av våra
tidiga experiment ut så här.
06:42
And so a lot of our earlytidigt
experimentsexperiment lookedtittade like this.
109
390117
3320
06:45
And so here I am,
110
393437
2206
Här är jag,
06:47
and on the bottombotten left, you can kindsnäll of
see our high-speedhög hastighet camerakamera,
111
395643
4040
och nere till vänster skymtar
höghastighetskameran
som är riktad mot en chipspåse
06:51
whichsom is pointedspetsig at a bagväska of chipspommes frites,
112
399683
2183
som belyses med starka lampor.
06:53
and the wholehela thing is litbelyst
by these brightljus lampslampor.
113
401866
2949
06:56
And like I said, we had to be
very carefulförsiktig in these earlytidigt experimentsexperiment,
114
404815
4365
Som sagt måste vi vara mycket noggranna
vid dessa tidiga experiment.
07:01
so this is how it wentåkte down.
115
409180
2508
Så här gick det till.
07:03
(VideoVideo) AbeAbe DavisDavis: ThreeTre, two, one, go.
116
411688
3761
(Film) Tre, två, ett...
07:07
MaryMary had a little lamblamm!
Little lamblamm! Little lamblamm!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
07:12
(LaughterSkratt)
118
420836
4500
(Skratt)
07:17
ADAD: So this experimentexperimentera
looksutseende completelyfullständigt ridiculouslöjlig.
119
425336
2814
Det här experimentet verkar störtlöjligt.
07:20
(LaughterSkratt)
120
428150
1788
(Skratt)
07:21
I mean, I'm screamingskrikande at a bagväska of chipspommes frites --
121
429938
2345
Jag skriker åt en chipspåse...
07:24
(LaughterSkratt) --
122
432283
1551
(Skratt)
07:25
and we're blastingblästring it with so much lightljus,
123
433834
2117
... och vi brassar på med så mycket ljus-
07:27
we literallybokstavligen meltedsmält the first bagväska
we triedförsökte this on. (LaughterSkratt)
124
435951
4479
att den första chipspåsen
bokstavligen smälte. (Skratt)
07:32
But ridiculouslöjlig as this experimentexperimentera looksutseende,
125
440525
3274
Men, löjligt eller inte,
det var ett viktigt experiment.
07:35
it was actuallyfaktiskt really importantViktig,
126
443799
1788
För vi kunde återskapa detta ljud.
07:37
because we were ablestånd
to recoverta igen sig this soundljud.
127
445587
2926
07:40
(AudioLjud) MaryMary had a little lamblamm!
Little lamblamm! Little lamblamm!
128
448513
4712
(Ljud) Mary had a little lamb!
Little lamb! Little lamb!
07:45
(ApplauseApplåder)
129
453225
4088
(Applåder)
Och detta var betydelsefullt,
07:49
ADAD: And this was really significantsignifikant,
130
457313
1881
för det var den första gången
som vi återskapade mänskligt tal
07:51
because it was the first time
we recoveredåterhämtat sig intelligiblebegriplig humanmänsklig speechTal
131
459194
4119
07:55
from silenttyst videovideo- of an objectobjekt.
132
463424
2341
från ljudlös film av ett föremål.
07:57
And so it gavegav us this pointpunkt of referencereferens,
133
465765
2391
Så vi fick en referenspunkt,
08:00
and graduallygradvis we could startStart
to modifyändra the experimentexperimentera,
134
468156
3871
och successivt kunde vi
förändra experimentet,
med olika föremål, olika långt borta,
08:04
usinganvänder sig av differentannorlunda objectsföremål
or movingrör på sig the objectobjekt furtherytterligare away,
135
472106
3805
mindre ljus, tystare ljud.
08:07
usinganvänder sig av lessmindre lightljus or quietertystare soundsljud.
136
475911
2770
Vi analyserade alla experiment
08:11
And we analyzedanalyseras all of these experimentsexperiment
137
479887
2874
08:14
untilfram tills we really understoodförstått
the limitsgränser of our techniqueteknik,
138
482761
3622
tills vi kände till
metodens begränsningar,
för när vi kände gränserna,
kunde vi räkna ut hur vi skulle tänja dem.
08:18
because onceen gång we understoodförstått those limitsgränser,
139
486383
1950
08:20
we could figurefigur out how to pushskjuta på them.
140
488333
2346
Det ledde till sådana här experiment.
08:22
And that led to experimentsexperiment like this one,
141
490679
3181
Återigen pratar jag med en chipspåse,
08:25
where again, I'm going to speaktala
to a bagväska of chipspommes frites,
142
493860
2739
men nu har vi flyttat kameran fem meter,
08:28
but this time we'vevi har movedrörd our camerakamera
about 15 feetfötter away,
143
496599
4830
utomhus, bakom ett ljudisolerat fönster,
08:33
outsideutanför, behindBakom a soundproofljudisolerade windowfönster,
144
501429
2833
08:36
and the wholehela thing is litbelyst
by only naturalnaturlig sunlightsolljus.
145
504262
2803
och ljuset är naturligt solljus.
Här är filmen som vi spelade in.
08:40
And so here'shär är the videovideo- that we capturedfångad.
146
508529
2155
Så här lät det inomhus, intill chipspåsen.
08:44
And this is what things soundedlät like
from insideinuti, nextNästa to the bagväska of chipspommes frites.
147
512450
4559
08:49
(AudioLjud) MaryMary had a little lamblamm
whosevars fleecefleece was whitevit as snowsnö,
148
517009
5038
(Ljud) Mary had a little lamb
whose fleece was white as snow
and everywhere that Mary went,
that lamb was sure to go.
08:54
and everywhereöverallt that MaryMary wentåkte,
that lamblamm was sure to go.
149
522047
5619
08:59
ADAD: And here'shär är what we were ablestånd
to recoverta igen sig from our silenttyst videovideo-
150
527666
4017
Och detta lyckades vi återskapa
från den ljudlösa filmen
tagen utomhus bakom fönstret.
09:03
capturedfångad outsideutanför behindBakom that windowfönster.
151
531683
2345
(Ljud) Mary had a little lamb
whose fleece was white as snow
09:06
(AudioLjud) MaryMary had a little lamblamm
whosevars fleecefleece was whitevit as snowsnö,
152
534028
4435
and everywhere that Mary went,
that lamb was sure to go.
09:10
and everywhereöverallt that MaryMary wentåkte,
that lamblamm was sure to go.
153
538463
5457
09:15
(ApplauseApplåder)
154
543920
6501
(Applåder)
Och det finns andra sätt som vi kan
tänja gränserna på.
09:22
ADAD: And there are other wayssätt
that we can pushskjuta på these limitsgränser as well.
155
550421
3542
Här är ett tystare experiment
där vi filmade ett par hörlurar,
09:25
So here'shär är a quietertystare experimentexperimentera
156
553963
1798
09:27
where we filmedfilmat some earphoneshörlurar
pluggedinkopplad into a laptopbärbar dator computerdator,
157
555761
4110
inkopplade i en dator.
Här var målet att återskapa musiken
som spelades på datorn
09:31
and in this casefall, our goalmål was to recoverta igen sig
the musicmusik that was playingspelar on that laptopbärbar dator
158
559871
4110
09:35
from just silenttyst videovideo-
159
563981
2299
utifrån ljudlös film
på dessa små hörlurar.
09:38
of these two little plasticplast earphoneshörlurar,
160
566280
2507
Vi lyckades så bra
09:40
and we were ablestånd to do this so well
161
568787
2183
09:42
that I could even ShazamShazam our resultsresultat.
162
570970
2461
att Shazam kände igen resultatet.
09:45
(LaughterSkratt)
163
573431
2411
(Skratt)
09:49
(MusicMusik: "UnderUnder PressureTryck" by QueenDrottning)
164
577191
10034
(Musik: "Under Pressure" av Queen)
10:01
(ApplauseApplåder)
165
589615
4969
(Applåder)
10:06
And we can alsoockså pushskjuta på things
by changingskiftande the hardwarehårdvara that we use.
166
594584
4551
Och vi kan tänja gränser
genom att ändra utrustningen.
10:11
Because the experimentsexperiment
I've shownvisad you so farlångt
167
599135
2461
För alla experiment
som jag har visat hittills
10:13
were doneGjort with a camerakamera,
a high-speedhög hastighet camerakamera,
168
601596
2322
gjordes med höghastighetskamera,
10:15
that can recordspela in videovideo-
about a 100 timesgånger fastersnabbare
169
603918
2879
som kan spela in runt 100 gånger snabbare
än de flesta mobiler.
10:18
than mostmest cellcell phonestelefoner,
170
606797
1927
10:20
but we'vevi har alsoockså foundhittades a way
to use this techniqueteknik
171
608724
2809
Men vi hittade ett sätt att
använda metoden med vanliga kameror,
10:23
with more regularregelbunden cameraskameror,
172
611533
2230
genom att utnyttja så kallade
rullande slutare.
10:25
and we do that by takingtar advantageFördelen
of what's calledkallad a rollingrullande shutterslutare.
173
613763
4069
10:29
You see, mostmest cameraskameror
recordspela in imagesbilder one rowrad at a time,
174
617832
4798
De flesta kameror spelar in
filmens bilder en pixelrad åt gången,
10:34
and so if an objectobjekt movesrör sig
duringunder the recordinginspelning of a singleenda imagebild,
175
622630
5702
och om ett föremål rör sig
medan en enda bild spelas in
10:40
there's a slightlätt time delaydröjsmål
betweenmellan eachvarje rowrad,
176
628344
2717
gör den lilla fördröjningen
mellan varje rad
10:43
and this causesorsaker slightlätt artifactsartefakter
177
631061
3157
att det blir små artefakter
som syns i varje bild i filmen.
10:46
that get codedkodade into eachvarje frameram of a videovideo-.
178
634218
3483
10:49
And so what we foundhittades
is that by analyzinganalysera these artifactsartefakter,
179
637701
3806
Vi upptäckte att genom att
analysera dessa artefakter,
10:53
we can actuallyfaktiskt recoverta igen sig soundljud
usinganvänder sig av a modifiedModified versionversion of our algorithmalgoritm.
180
641507
4615
kan vi återskapa ljud med en
ändrad version av vår algoritm.
10:58
So here'shär är an experimentexperimentera we did
181
646122
1912
Här är ett experiment där vi filmade
en godispåse medan en högtalare spelade
11:00
where we filmedfilmat a bagväska of candygodis
182
648034
1695
11:01
while a nearbynärliggande loudspeakerhögtalare playedspelade
183
649729
1741
11:03
the samesamma "MaryMary Had a Little LambLamm"
musicmusik from before,
184
651470
2972
samma "Mary had a little lamb" som innan
11:06
but this time, we used just a regularregelbunden
store-boughtfärdigköpta camerakamera,
185
654442
4203
men nu med en helt vanlig kamera.
11:10
and so in a secondandra, I'll playspela for you
the soundljud that we recoveredåterhämtat sig,
186
658645
3174
Nu ska jag spela upp
ljudet vi återskapade,
och det kommer att låta förvrängt nu,
11:13
and it's going to soundljud
distortedförvrängd this time,
187
661819
2050
men lyssna och hör om ni kan
känna igen musiken.
11:15
but listen and see if you can still
recognizeerkänna the musicmusik.
188
663869
2836
11:19
(AudioLjud: "MaryMary Had a Little LambLamm")
189
667723
6223
(Ljud: "Mary had a little lamb")
11:37
And so, again, that soundsljud distortedförvrängd,
190
685527
3465
Som sagt, ljudet är förvrängt,
11:40
but what's really amazingfantastiskt here
is that we were ablestånd to do this
191
688992
4386
men det fantastiska är att
vi fick detta resultat
11:45
with something
that you could literallybokstavligen runspringa out
192
693378
2626
med utrustning som man kan
köpa på Elgiganten.
11:48
and pickplocka up at a BestBästa BuyKöp.
193
696004
1444
11:51
So at this pointpunkt,
194
699122
1363
Många som ser det här
tänker genast på övervakning.
11:52
a lot of people see this work,
195
700485
1974
11:54
and they immediatelyomedelbart think
about surveillanceövervakning.
196
702459
3413
Och i ärlighetens namn
är det lätt att föreställa sig
11:57
And to be fairrättvis,
197
705872
2415
12:00
it's not hardhård to imaginetänka how you mightmakt use
this technologyteknologi to spySpy on someonenågon.
198
708287
4133
hur tekniken kan användas
till att spionera.
Men kom ihåg att det redan finns
gott om mogen teknik för att spionera.
12:04
But keep in mindsinne that there's alreadyredan
a lot of very matureMogen technologyteknologi
199
712420
3947
12:08
out there for surveillanceövervakning.
200
716367
1579
12:09
In factfaktum, people have been usinganvänder sig av laserslasrar
201
717946
2090
Man har använt laser för att tjuvlyssna
via föremål på avstånd i decennier.
12:12
to eavesdropavlyssna on objectsföremål
from a distancedistans for decadesårtionden.
202
720036
2799
12:15
But what's really newny here,
203
723978
2025
Det nya nu är att vi kan
avbilda vibrationer hos ett föremål,
12:18
what's really differentannorlunda,
204
726003
1440
12:19
is that now we have a way
to picturebild the vibrationsvibrationer of an objectobjekt,
205
727443
4295
vilket ger oss en ny lins som
vi kan betrakta världen genom.
12:23
whichsom givesger us a newny lenslins
throughgenom whichsom to look at the worldvärld,
206
731738
3413
Och vi kan använda denna lins
12:27
and we can use that lenslins
207
735151
1510
12:28
to learnlära sig not just about forceskrafter like soundljud
that causeorsak an objectobjekt to vibratevibrera,
208
736661
4899
för att lära oss inte bara om krafter,
som ljud, som orsakar vibrationer,
12:33
but alsoockså about the objectobjekt itselfsig.
209
741560
2288
utan även om föremålet självt.
Låt oss backa ett steg och fundera hur
det kan ändra sättet vi använder film på.
12:36
And so I want to take a stepsteg back
210
744975
1693
12:38
and think about how that mightmakt changeByta
the wayssätt that we use videovideo-,
211
746668
4249
Vi brukar använda film för att
betrakta föremål,
12:42
because we usuallyvanligtvis use videovideo-
to look at things,
212
750917
3553
och jag har nyss visat hur det
kan användas för att lyssna på saker.
12:46
and I've just shownvisad you how we can use it
213
754470
2322
12:48
to listen to things.
214
756792
1857
Men det finns ett annat viktigt sätt
att undersöka omvärlden:
12:50
But there's anotherannan importantViktig way
that we learnlära sig about the worldvärld:
215
758649
3971
Genom att interagera med den.
12:54
that's by interactinginteragera with it.
216
762620
2275
Vi trycker och drar och petar på saker.
12:56
We pushskjuta på and pulldra and pokePoke and prodProd things.
217
764895
3111
Vi skakar dem och ser vad som händer.
13:00
We shakeskaka things and see what happenshänder.
218
768006
3181
Det är något som vi inte
kan göra med en film.
13:03
And that's something that videovideo-
still won'tvana let us do,
219
771187
4273
Åtminstone inte hittills.
13:07
at leastminst not traditionallytraditionellt.
220
775460
2136
13:09
So I want to showshow you some newny work,
221
777596
1950
Jag vill visa vårt senaste arbete, en idé
som jag fick för bara några månader sedan.
13:11
and this is basedbaserad on an ideaaning I had
just a few monthsmånader agosedan,
222
779546
2667
13:14
so this is actuallyfaktiskt the first time
I've shownvisad it to a publicoffentlig audiencepublik.
223
782213
3301
Det här är första gången jag
visar det för allmänheten.
13:17
And the basicgrundläggande ideaaning is that we're going
to use the vibrationsvibrationer in a videovideo-
224
785514
5363
Idén är att vi ska använda
vibrationerna i en film
13:22
to capturefånga objectsföremål in a way
that will let us interactpåverka varandra with them
225
790877
4481
för att spela in föremål på ett sätt
så att vi kan interagera med dem,
13:27
and see how they reactreagera to us.
226
795358
1974
och se hur de reagerar på oss.
13:31
So here'shär är an objectobjekt,
227
799120
1764
Här är ett föremål,
i detta fall en trådskulptur
av en människa,
13:32
and in this casefall, it's a wiretråd figurefigur
in the shapeform of a humanmänsklig,
228
800884
3832
och vi filmar den med en vanlig kamera.
13:36
and we're going to filmfilma that objectobjekt
with just a regularregelbunden camerakamera.
229
804716
3088
Det är inget särskilt med kameran,
vi har faktiskt använt min mobil förut.
13:39
So there's nothing specialsärskild
about this camerakamera.
230
807804
2124
13:41
In factfaktum, I've actuallyfaktiskt doneGjort this
with my cellcell phonetelefon before.
231
809928
2961
Men vi vill att föremålet ska vibrera.
13:44
But we do want to see the objectobjekt vibratevibrera,
232
812889
2252
13:47
so to make that happenhända,
233
815141
1133
Så vi slår lätt på ytan det står på,
medan vi spelar in denna film.
13:48
we're just going to bangsmäll a little bitbit
on the surfaceyta where it's restingvilar
234
816274
3346
13:51
while we recordspela in this videovideo-.
235
819620
2138
Det är allt: Fem sekunder vanlig film,
medan vi slår på ytan,
13:59
So that's it: just fivefem secondssekunder
of regularregelbunden videovideo-,
236
827398
3671
14:03
while we bangsmäll on this surfaceyta,
237
831069
2136
och vi använder vibrationerna från filmen
14:05
and we're going to use
the vibrationsvibrationer in that videovideo-
238
833205
3513
för att lära oss konstruktionen
och materialens egenskaper i föremålet,
14:08
to learnlära sig about the structuralstrukturell
and materialmaterial propertiesegenskaper of our objectobjekt,
239
836718
4544
och vi använder den informationen
för att skapa något nytt, interaktivt.
14:13
and we're going to use that informationinformation
to createskapa something newny and interactiveinteraktiv.
240
841262
4834
14:24
And so here'shär är what we'vevi har createdskapad.
241
852866
2653
Här är resultatet.
Det ser ut som en vanlig stillbild.
14:27
And it looksutseende like a regularregelbunden imagebild,
242
855519
2229
14:29
but this isn't an imagebild,
and it's not a videovideo-,
243
857748
3111
Men det är ingen stillbild,
och det är ingen film.
14:32
because now I can take my mousemus
244
860859
2368
För nu kan jag ta musen
och börja interagera med föremålet.
14:35
and I can startStart interactinginteragera
with the objectobjekt.
245
863227
2859
14:44
And so what you see here
246
872936
2357
Vad ni ser är en simulering av
hur föremålet
14:47
is a simulationsimulering of how this objectobjekt
247
875389
2226
14:49
would respondsvara to newny forceskrafter
that we'vevi har never seensett before,
248
877615
4458
skulle reagera på krafter
som vi aldrig sett förut.
Och vi skapade den utifrån
bara fem sekunder vanlig film.
14:54
and we createdskapad it from just
fivefem secondssekunder of regularregelbunden videovideo-.
249
882073
3633
14:59
(ApplauseApplåder)
250
887249
4715
(Applåder)
15:09
And so this is a really powerfulkraftfull
way to look at the worldvärld,
251
897421
3227
Så detta är ett kraftfullt sätt
att se på omvärlden,
för det låter oss förutse hur föremål
kommer reagera på nya situationer,
15:12
because it letslåter us predictförutspå
how objectsföremål will respondsvara
252
900648
2972
15:15
to newny situationssituationer,
253
903620
1823
15:17
and you could imaginetänka, for instanceexempel,
looking at an oldgammal bridgebro
254
905443
3473
och man kan tänka sig, exempelvis,
att man tittar på en gammal bro
15:20
and wonderingundrar what would happenhända,
how would that bridgebro holdhåll up
255
908916
3527
och undrar om den kommer hålla
om jag skulle köra bil över den.
15:24
if I were to drivekör my carbil acrosstvärs över it.
256
912443
2833
15:27
And that's a questionfråga
that you probablyförmodligen want to answersvar
257
915276
2774
Det är en fråga som du förmodligen
vill besvara innan du kör över bron.
15:30
before you startStart drivingkörning
acrosstvärs över that bridgebro.
258
918050
2560
Självklart finns det
begränsningar i tekniken,
15:33
And of coursekurs, there are going to be
limitationsbegränsningar to this techniqueteknik,
259
921988
3272
precis som med den visuella mikrofonen,
15:37
just like there were
with the visualvisuell microphonemikrofon,
260
925260
2462
men vi upptäckte att det fungerar
i många oväntade situationer,
15:39
but we foundhittades that it worksArbetar
in a lot of situationssituationer
261
927722
3181
15:42
that you mightmakt not expectförvänta,
262
930903
1875
i synnerhet om du använder längre filmer.
15:44
especiallyspeciellt if you give it longerlängre videosvideoklipp.
263
932778
2768
Exempelvis denna film
på en buske utanför mitt hus,
15:47
So for exampleexempel,
here'shär är a videovideo- that I capturedfångad
264
935546
2508
15:50
of a bushbuske outsideutanför of my apartmentlägenhet,
265
938054
2299
och jag gjorde inget med busken,
förutom att filma den i en minut.
15:52
and I didn't do anything to this bushbuske,
266
940353
3088
15:55
but by capturingfångande a minute-longminuter lång videovideo-,
267
943441
2705
15:58
a gentlemild breezeBreeze causedorsakad enoughtillräckligt vibrationsvibrationer
268
946146
3378
En lätt vind gav nog med vibrationer
för att ge oss information
till den här simuleringen.
16:01
that we could learnlära sig enoughtillräckligt about this bushbuske
to createskapa this simulationsimulering.
269
949524
3587
16:07
(ApplauseApplåder)
270
955270
6142
(Applåder)
16:13
And so you could imaginetänka givingger this
to a filmfilma directordirektör,
271
961412
2972
Tänk dig detta i händerna
på en filmregissör,
som kan kontrollera, till exempel,
16:16
and lettinguthyrning him controlkontrollera, say,
272
964384
1719
16:18
the strengthstyrka and directionriktning of windvind
in a shotskott after it's been recordedspelade in.
273
966103
4922
styrkan och riktningen på en vind
i en tagning efter att den blivit filmad.
16:24
Or, in this casefall, we pointedspetsig our camerakamera
at a hanginghängande curtaingardin,
274
972810
4535
Eller, som här, när vi riktade kameran
mot ett hängande skynke,
man kan inte se några rörelser i filmen,
men genom att filma i två minuter,
16:29
and you can't even see
any motionrörelse in this videovideo-,
275
977345
4129
16:33
but by recordinginspelning a two-minute-longtvå minuter lång videovideo-,
276
981474
2925
gav naturliga luftströmmar upphov till
nog med omärkliga rörelser och vibrationer
16:36
naturalnaturlig airluft currentsströmmar in this roomrum
277
984399
2438
16:38
createdskapad enoughtillräckligt subtlesubtil,
imperceptibleomärklig motionsmotioner and vibrationsvibrationer
278
986837
4412
16:43
that we could learnlära sig enoughtillräckligt
to createskapa this simulationsimulering.
279
991249
2565
för att möjliggöra denna simulering.
16:48
And ironicallyironiskt,
280
996243
2366
Ironiskt nog är vi vana vid interaktivitet
när det gäller virtuella föremål.
16:50
we're kindsnäll of used to havinghar
this kindsnäll of interactivityinteraktivitet
281
998609
3088
16:53
when it comeskommer to virtualvirtuell objectsföremål,
282
1001697
2647
16:56
when it comeskommer to videovideo- gamesspel
and 3D modelsmodeller,
283
1004344
3297
Videospel och 3D-modeller.
Men att kunna fånga den här informationen
från verkliga föremål i omvärlden,
16:59
but to be ablestånd to capturefånga this informationinformation
from realverklig objectsföremål in the realverklig worldvärld
284
1007641
4404
17:04
usinganvänder sig av just simpleenkel, regularregelbunden videovideo-,
285
1012045
2817
med bara vanlig videoupptagning,
är nytt och har stor potential.
17:06
is something newny that has
a lot of potentialpotential.
286
1014862
2183
17:10
So here are the amazingfantastiskt people
who workedarbetade with me on these projectsprojekt.
287
1018410
4904
Här är de fantastiska människor
som arbetat med mig.
17:16
(ApplauseApplåder)
288
1024057
5596
(Applåder)
17:24
And what I've shownvisad you todayi dag
is only the beginningbörjan.
289
1032819
3057
Vad jag visat idag är bara början.
Vi har bara skrapat på ytan av vad man kan
göra med denna typ av avbildning,
17:27
We'veVi har just startedsatte igång to scratchrepa the surfaceyta
290
1035876
2113
17:29
of what you can do
with this kindsnäll of imagingImaging,
291
1037989
2972
för den ger nya sätt att fånga vår
omgivning med vanlig, tillgänglig teknik.
17:32
because it givesger us a newny way
292
1040961
2286
17:35
to capturefånga our surroundingsmiljö
with commonallmänning, accessibletillgänglig technologyteknologi.
293
1043342
4724
17:40
And so looking to the futureframtida,
294
1048066
1929
Framtiden är spännande,
17:41
it's going to be
really excitingspännande to exploreutforska
295
1049995
2037
när vi utforskar vad detta
kan lära oss om världen.
17:44
what this can tell us about the worldvärld.
296
1052032
1856
17:46
Thank you.
297
1054381
1204
Tack!
17:47
(ApplauseApplåder)
298
1055610
6107
(Applåder)
Translated by Filip Wahlberg
Reviewed by Lisbeth Pekkari

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com