ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Teknologi video baru yang mengungkapkan sifat benda yang tersembunyi

Filmed:
1,482,525 views

Gerakan halus terjadi di sekitar kita setiap waktu, termasuk getaran halus yang disebabkan oleh suara. Teknologi baru menunjukkan bahwa kita bisa menangkap getaran ini dan menangkap kembali suara dan percakapan dari rekaman video objek yang tampaknya diam tak bergerak. Tapi Abe Davis membawanya satu langkah lebih jauh: Lihat demo piranti lunaknya yang memungkinkan kita berinteraksi dengan sifat benda yang tersembunyi, hanya dengan menggunakan video sederhana.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

00:13
MostSebagian of us think of motiongerakan
as a very visualvisual thing.
0
1373
3349
Kebanyakan kita menganggap
gerakan adalah hal yang bisa terlihat.
Jika saya berjalan di atas panggung atau
menggerakkan tangan sambil berbicara,
00:17
If I walkberjalan acrossmenyeberang this stagetahap
or gesturesikap with my handstangan while I speakberbicara,
1
5889
5088
00:22
that motiongerakan is something that you can see.
2
10977
2261
gerakan ini tentu bisa Anda lihat.
00:26
But there's a worlddunia of importantpenting motiongerakan
that's too subtlehalus for the humanmanusia eyemata,
3
14255
5482
Akan tetapi banyak sekali gerakan yang
terlalu halus untuk dilihat mata manusia,
00:31
and over the pastlalu fewbeberapa yearstahun,
4
19737
2041
dan selama beberapa tahun terakhir,
00:33
we'vekita sudah starteddimulai to find that cameraskamera
5
21778
1997
kami menemukan bahwa kamera
00:35
can oftensering see this motiongerakan
even when humansmanusia can't.
6
23775
3410
seringkali dapat melihat gerakan, bahkan
yang tidak bisa dilihat mata manusia.
00:40
So let me showmenunjukkan you what I mean.
7
28305
1551
Mari saya tunjukkan.
00:42
On the left here, you see videovideo
of a person'sorang wristpergelangan tangan,
8
30717
3622
Di kiri, Anda melihat video rekaman
pergelangan tangan seseorang,
00:46
and on the right, you see videovideo
of a sleepingtidur infantbayi,
9
34339
3147
dan di kanan, Anda melihat video
seorang bayi yang sedang tidur,
00:49
but if I didn't tell you
that these were videosvideo,
10
37486
3146
tapi kalau saya tidak menyampaikan
bahwa keduanya adalah video,
00:52
you mightmungkin assumemenganggap that you were looking
at two regularreguler imagesgambar,
11
40632
3761
Anda mungkin berpikir bahwa
yang Anda lihat hanyalah gambar,
00:56
because in bothkedua caseskasus,
12
44393
1672
karena gambar pada kedua video ini
00:58
these videosvideo appearmuncul to be
almosthampir completelysama sekali still.
13
46065
3047
terlihat hampir tak bergerak.
01:02
But there's actuallysebenarnya a lot
of subtlehalus motiongerakan going on here,
14
50175
3885
Tapi sebenarnya ada banyak gerakan halus
yang sedang terjadi,
dan jika Anda menyentuh pergelangan tangan
yang ada di kiri,
01:06
and if you were to touchmenyentuh
the wristpergelangan tangan on the left,
15
54060
2392
01:08
you would feel a pulsenadi,
16
56452
1996
Anda akan merasakan denyut nadi,
01:10
and if you were to holdmemegang
the infantbayi on the right,
17
58448
2485
dan jika Anda menyentuh bayi
di video sebelah kanan,
01:12
you would feel the risenaik
and falljatuh of her chestdada
18
60933
2391
Anda akan merasakan
gerakan naik turun dadanya
01:15
as she tookmengambil eachsetiap breathnafas.
19
63324
1390
ketika bayi ini bernafas.
01:17
And these motionsgerakan carrymembawa
a lot of significancemakna,
20
65762
3576
Dan gerakan ini memiliki makna
yang sangat banyak,
01:21
but they're usuallybiasanya
too subtlehalus for us to see,
21
69338
3343
tapi biasanya terlalu halus
untuk bisa kita lihat,
01:24
so insteadsebagai gantinya, we have to observemengamati them
22
72681
2276
sehingga kita bisa mengetahui
perbedaannya
01:26
throughmelalui directlangsung contactkontak, throughmelalui touchmenyentuh.
23
74957
2900
hanya melalui kontak langsung,
melalui sentuhan.
01:30
But a fewbeberapa yearstahun agolalu,
24
78997
1265
Tapi beberapa tahun lalu,
01:32
my colleaguesrekan kerja at MITMIT developeddikembangkan
what they call a motiongerakan microscopemikroskop,
25
80262
4405
rekan-rekan saya di MIT mengembangkan
alat yang mereka sebut mikroskop gerakan,
01:36
whichyang is softwareperangkat lunak that findsmenemukan
these subtlehalus motionsgerakan in videovideo
26
84667
4384
yaitu sebuah piranti lunak untuk menemukan
gerakan halus seperti ini pada video
01:41
and amplifiesmenguatkan them so that they
becomemenjadi largebesar enoughcukup for us to see.
27
89051
3562
dan memperbesarnya
sehingga dapat kita lihat.
01:45
And so, if we use theirmereka softwareperangkat lunak
on the left videovideo,
28
93416
3483
Jika piranti lunak ini kita gunakan
pada video yang kiri,
01:48
it letsmari kita us see the pulsenadi in this wristpergelangan tangan,
29
96899
3250
kita akan bisa melihat gerakan nadi
di pergelangan tangan,
01:52
and if we were to countmenghitung that pulsenadi,
30
100149
1695
dan jika kita menghitungnya,
01:53
we could even figureangka out
this person'sorang heartjantung ratemenilai.
31
101844
2355
kita bisa menentukan detak jantungnya.
01:57
And if we used the samesama softwareperangkat lunak
on the right videovideo,
32
105095
3065
Dan jika kita gunakan
pada video di sebelah kiri,
02:00
it letsmari kita us see eachsetiap breathnafas
that this infantbayi takes,
33
108160
3227
kita bisa melihat
tiap tarikan nafas bayi ini,
02:03
and we can use this as a contact-freegratis kontak way
to monitormonitor her breathingpernafasan.
34
111387
4137
dan kita bisa menggunakannya untuk
memonitor nafas bayi dari jarak jauh.
02:08
And so this technologyteknologi is really powerfulkuat
because it takes these phenomenafenomena
35
116884
5348
Jadi, teknologi ini sangat bermanfaat
karena bisa menangkap kejadian
yang biasanya hanya dapat kita amati
lewat sentuhan
02:14
that we normallybiasanya have
to experiencepengalaman throughmelalui touchmenyentuh
36
122232
2367
02:16
and it letsmari kita us capturemenangkap them visuallysecara visual
and non-invasivelyBebas-invasively.
37
124599
2957
tapi kini bisa kita pantau secara visual
dan tanpa sentuhan.
02:21
So a couplepasangan yearstahun agolalu, I starteddimulai workingkerja
with the folksorang-orang that createddiciptakan that softwareperangkat lunak,
38
129104
4411
Beberapa tahun lalu,
saya mulai bekerja sama
dengan pencipta piranti lunak ini,
02:25
and we decidedmemutuskan to pursuemengejar a crazygila ideaide.
39
133515
3367
dan kami memutuskan untuk mencapai
sesuatu yang lebih gila lagi.
02:28
We thought, it's coolkeren
that we can use softwareperangkat lunak
40
136882
2693
Kami pikir, keren juga kalau
kita bisa menggunakan piranti ini
02:31
to visualizemembayangkan tinymungil motionsgerakan like this,
41
139575
3135
untuk memperlihatkan gerakan halus
seperti ini,
02:34
and you can almosthampir think of it
as a way to extendmemperpanjang our sensemerasakan of touchmenyentuh.
42
142710
4458
alat ini seakan menjadi
perpanjangan indra peraba kita.
02:39
But what if we could do the samesama thing
with our abilitykemampuan to hearmendengar?
43
147168
4059
Tapi bagaimana jika kita bisa melakukan
hal yang sama
untuk memperpanjang
indra pendengaran kita?
02:44
What if we could use videovideo
to capturemenangkap the vibrationsgetaran of soundsuara,
44
152508
4665
Bagaimana jika kita menggunakan video
untuk menangkap getaran suara,
02:49
whichyang are just anotherlain kindjenis of motiongerakan,
45
157173
2827
yang mana juga merupakan
satu bentuk gerakan,
02:52
and turnbelok everything that we see
into a microphonemikropon?
46
160000
3346
dan mengubah apa pun yang bisa kita lihat
menjadi mikrofon?
02:56
Now, this is a bitsedikit of a strangeaneh ideaide,
47
164236
1971
Ini ide yang agak aneh,
02:58
so let me try to put it
in perspectiveperspektif for you.
48
166207
2586
izinkan saya menjelaskannya untuk Anda.
03:01
TraditionalTradisional microphonesmikrofon
work by convertingmengubah the motiongerakan
49
169523
3488
Mikrofon tradisional bekerja dengan
mengubah gerakan
03:05
of an internalintern diaphragmdiafragma
into an electricallistrik signalsinyal,
50
173011
3599
dari diafragma yang ada di dalamnya
menjadi sinyal listrik,
03:08
and that diaphragmdiafragma is designeddirancang
to movepindah readilysegera with soundsuara
51
176610
4318
yang mana diafragma itu dirancang untuk
bergerak jika ada suara masuk
03:12
so that its motiongerakan can be recordedtercatat
and interpretedditafsirkan as audioaudio.
52
180928
4807
sehingga gerakan tersebut dapat direkam
dan diterjemahkan menjadi suara.
03:17
But soundsuara causespenyebab all objectsbenda to vibratebergetar.
53
185735
3668
Tapi, gelombang suara membuat
semua benda bergetar.
03:21
Those vibrationsgetaran are just usuallybiasanya
too subtlehalus and too fastcepat for us to see.
54
189403
5480
Getaran tersebut biasanya terlalu halus
dan terlalu cepat untuk bisa kita lihat.
03:26
So what if we recordmerekam them
with a high-speedkecepatan tinggi camerakamera
55
194883
3738
Bagaimana jika kita merekamnya dengan
kamera berkecepatan tinggi,
03:30
and then use softwareperangkat lunak
to extractekstrak tinymungil motionsgerakan
56
198621
3576
lalu menggunakan piranti lunak ini
untuk memperbesar getaran halus
03:34
from our high-speedkecepatan tinggi videovideo,
57
202197
2090
dari video berkecepatan tinggi itu,
03:36
and analyzemenganalisa those motionsgerakan to figureangka out
what soundsterdengar createddiciptakan them?
58
204287
4274
kemudian menganalisanya untuk mencari tahu
suara apa yang menimbulkan getaran itu?
03:41
This would let us turnbelok visibleterlihat objectsbenda
into visualvisual microphonesmikrofon from a distancejarak.
59
209859
5449
Ini bisa mengubah semua objek yang
bisa dilihat menjadi mikrofon jarak jauh.
03:49
And so we triedmencoba this out,
60
217080
2183
Jadi kami mencobanya,
dan ini adalah salah satu percobaan kami,
03:51
and here'sini one of our experimentspercobaan,
61
219263
1927
03:53
where we tookmengambil this pottedpot plantmenanam
that you see on the right
62
221190
2949
Kami menggunakan tanaman
yang Anda lihat di sebelah kanan
03:56
and we filmeddifilmkan it with a high-speedkecepatan tinggi camerakamera
63
224139
2438
yang kami rekam dengan
kamera kecepatan tinggi
03:58
while a nearbydekat loudspeakerpengeras suara
playeddimainkan this soundsuara.
64
226577
3529
ketika sebuah speaker didekatnya
memainkan nada ini.
04:02
(MusicMusik: "MaryMaria Had a Little LambDomba")
65
230275
8190
[Video berkecepatan tinggi]
(Musik yang diputar dalam ruangan:
"Mary Had a Little Lamb")
04:11
And so here'sini the videovideo that we recordedtercatat,
66
239820
2824
Dan inilah video yang kami rekam
04:14
and we recordedtercatat it at thousandsribuan
of framesbingkai perper secondkedua,
67
242644
3924
dengan kecepatan ribuan frame per detik,
04:18
but even if you look very closelyrapat,
68
246568
2322
tapi seberapa pun dekatnya Anda
melihatnya,
04:20
all you'llAnda akan see are some leavesDaun-daun
69
248890
1951
yang Anda lihat hanyalah dedaunan
04:22
that are prettycantik much
just sittingduduk there doing nothing,
70
250841
3065
yang cuma diam saja,
04:25
because our soundsuara only movedterharu those leavesDaun-daun
by about a micrometermikrometer.
71
253906
4806
karena suara tadi hanya menggerakkan daun
sekitar satu mikrometer.
04:31
That's one ten-thousandthsepuluh ribu of a centimetersentimeter,
72
259103
4276
Itu artinya satu per sepuluh ribu dari
satu sentimeter,
04:35
whichyang spansbentang somewhereentah di mana betweenantara
a hundredthkeseratus and a thousandthseperseribu
73
263379
4156
atau hanya berkisar antara seperseratus
sampai seperseribu
04:39
of a pixelpixel in this imagegambar.
74
267535
2299
dari satu pixel dalam gambar ini.
04:41
So you can squintjuling all you want,
75
269881
2887
Anda boleh memicingkan mata semau anda,
04:44
but motiongerakan that smallkecil is prettycantik much
perceptuallyperseptual invisibletak terlihat.
76
272768
3335
tapi gerakan sekecil itu memang
relatif tidak terlihat.
04:49
But it turnsberubah out that something
can be perceptuallyperseptual invisibletak terlihat
77
277667
4157
Ternyata sesuatu yang
relatif tidak terlihat
04:53
and still be numericallynumerik significantpenting,
78
281824
2809
tetap signifikan secara matematis,
04:56
because with the right algorithmsalgoritma,
79
284633
2002
karena dengan algoritma yang tepat,
04:58
we can take this silentdiam,
seeminglytampaknya still videovideo
80
286635
3687
kita bisa menggunakan video
yang kelihatannya diam ini
05:02
and we can recovermemulihkan this soundsuara.
81
290322
1527
untuk mendapatkan suaranya lagi.
05:04
(MusicMusik: "MaryMaria Had a Little LambDomba")
82
292690
7384
(Musik yang didapat dari video:
"Mary Had a Little Lamb")
05:12
(ApplauseTepuk tangan)
83
300074
5828
(Tepuk tangan)
05:22
So how is this possiblemungkin?
84
310058
1939
Bagaimana mungkin?
05:23
How can we get so much informationinformasi
out of so little motiongerakan?
85
311997
4344
Bagaimana kita bisa mendapat begitu banyak
informasi dari gerakan yang begitu halus?
05:28
Well, let's say that those leavesDaun-daun
movepindah by just a singletunggal micrometermikrometer,
86
316341
5361
Katakanlah bahwa daun itu bergerak
sejauh satu mikrometer,
05:33
and let's say that that shiftsbergeser our imagegambar
by just a thousandthseperseribu of a pixelpixel.
87
321702
4308
yang berarti gambar kita bergeser
seperseribu pixel.
05:39
That maymungkin not seemterlihat like much,
88
327269
2572
Kelihatannya memang tidak besar,
05:41
but a singletunggal framebingkai of videovideo
89
329841
1996
tapi satu gambar dalam video
05:43
maymungkin have hundredsratusan of thousandsribuan
of pixelspiksel in it,
90
331837
3257
bisa memiliki ratusan ribu pixel
di dalamnya,
05:47
and so if we combinemenggabungkan all
of the tinymungil motionsgerakan that we see
91
335094
3454
dan jika kita menggabungkan seluruh
gerakan kecil yang kita lihat
05:50
from acrossmenyeberang that entireseluruh imagegambar,
92
338548
2298
dari seluruh gambar,
05:52
then suddenlymendadak a thousandthseperseribu of a pixelpixel
93
340846
2623
maka seperseribu dari satu pixel
05:55
can startmulai to addmenambahkan up
to something prettycantik significantpenting.
94
343469
2775
bisa jadi cukup penting
ketika semuanya dikumpulkan.
05:58
On a personalpribadi notecatatan, we were prettycantik psychedpsyched
when we figuredberpola this out.
95
346870
3635
Bagi saya pribadi, kami cukup tercengang
ketika kami berhasil melakukannya.
06:02
(LaughterTawa)
96
350505
2320
(Tertawa)
06:04
But even with the right algorithmalgoritma,
97
352825
3253
Tapi bahkan dengan
algoritma yang tepat pun,
06:08
we were still missinghilang
a prettycantik importantpenting piecebagian of the puzzlemembingungkan.
98
356078
3617
ada bagian penting dari teka-teki ini
yang masih hilang.
06:11
You see, there are a lot of factorsfaktor
that affectmempengaruhi when and how well
99
359695
3604
Begini, ada banyak sekali faktor yang
mempengaruhi kapan dan bagaimana
06:15
this techniqueteknik will work.
100
363299
1997
teknik ini bisa berhasil.
06:17
There's the objectobyek and how farjauh away it is;
101
365296
3204
Seperti objek itu sendiri serta jaraknya;
06:20
there's the camerakamera
and the lenslensa that you use;
102
368500
2394
jenis kamera dan lensa yang digunakan;
06:22
how much lightcahaya is shiningbersinar on the objectobyek
and how loudkeras your soundsuara is.
103
370894
4091
tingkat pencahayaan dan
besar volume suaranya.
06:27
And even with the right algorithmalgoritma,
104
375945
3375
Dan bahkan dengan algoritma
yang tepat pun,
06:31
we had to be very carefulcermat
with our earlyawal experimentspercobaan,
105
379320
3390
kami masih harus sangat berhati-hati
di awal percobaan kami,
06:34
because if we got
any of these factorsfaktor wrongsalah,
106
382710
2392
karena jika ada satu faktor saja
yang salah,
06:37
there was no way to tell
what the problemmasalah was.
107
385102
2368
akan sulit menentukan
letak permasalahannya.
06:39
We would just get noisekebisingan back.
108
387470
2647
Kami hanya akan mendapatkan suara bising.
06:42
And so a lot of our earlyawal
experimentspercobaan lookedtampak like this.
109
390117
3320
Jadi banyak percobaan awal kami berjalan
seperti ini.
06:45
And so here I am,
110
393437
2206
Ini saya,
06:47
and on the bottombawah left, you can kindjenis of
see our high-speedkecepatan tinggi camerakamera,
111
395643
4040
dan di kiri bawah, bisa Anda lihat
kamera kecepatan tinggi kami,
06:51
whichyang is pointedruncing at a bagtas of chipskeripik,
112
399683
2183
yang mengarah ke sekantung keripik,
06:53
and the wholeseluruh thing is litmenyala
by these brightterang lampslampu.
113
401866
2949
dan semuanya diterangi oleh
lampu-lampu terang ini.
06:56
And like I said, we had to be
very carefulcermat in these earlyawal experimentspercobaan,
114
404815
4365
Dan seperti yang saya sampaikan, kami
harus berhati-hati sekali dalam percobaan,
07:01
so this is how it wentpergi down.
115
409180
2508
jadi inilah yang terjadi.
07:03
(VideoVideo) AbeAbe DavisDavis: ThreeTiga, two, one, go.
116
411688
3761
(Video) Abe Davis: Tiga, dua, satu, mulai.
07:07
MaryMaria had a little lambdomba!
Little lambdomba! Little lambdomba!
117
415449
5387
Mary punya kambing kecil!
Kambing kecil! Kambing kecil!
07:12
(LaughterTawa)
118
420836
4500
(Tertawa)
07:17
ADIKLAN: So this experimentpercobaan
looksterlihat completelysama sekali ridiculouskonyol.
119
425336
2814
AD: Jadi percobaan ini betul betul
terlihat konyol.
07:20
(LaughterTawa)
120
428150
1788
(Tertawa)
07:21
I mean, I'm screamingteriakan at a bagtas of chipskeripik --
121
429938
2345
Saya berteriak pada sekantung keripik --
07:24
(LaughterTawa) --
122
432283
1551
(Tertawa)
07:25
and we're blastingpeledakan it with so much lightcahaya,
123
433834
2117
dan cahaya yang kami gunakan begitu kuat,
07:27
we literallysecara harfiah meltedmeleleh the first bagtas
we triedmencoba this on. (LaughterTawa)
124
435951
4479
hingga kantung keripik pertama kami
meleleh. (Tertawa)
07:32
But ridiculouskonyol as this experimentpercobaan looksterlihat,
125
440525
3274
Tapi walaupun percobaan ini
terlihat konyol,
07:35
it was actuallysebenarnya really importantpenting,
126
443799
1788
tapi sebenarnya sangat penting,
07:37
because we were ablesanggup
to recovermemulihkan this soundsuara.
127
445587
2926
karena kami berhasil mendapatkan
kembali suaranya.
07:40
(AudioAudio) MaryMaria had a little lambdomba!
Little lambdomba! Little lambdomba!
128
448513
4712
(Audio) Mary punya kambing kecil!
Kambing kecil! Kambing kecil!
07:45
(ApplauseTepuk tangan)
129
453225
4088
(Tepuk tangan)
07:49
ADIKLAN: And this was really significantpenting,
130
457313
1881
AD: Dan ini sangat penting,
karena inilah pertama kali
kami berhasil mendapatkan
07:51
because it was the first time
we recoveredpulih intelligibledimengerti humanmanusia speechpidato
131
459194
4119
suara manusia yang dapat dipahami
07:55
from silentdiam videovideo of an objectobyek.
132
463424
2341
dari sebuah video diam.
07:57
And so it gavememberi us this pointtitik of referencereferensi,
133
465765
2391
Percobaan ini memberi kami
titik referensi,
08:00
and graduallybertahap we could startmulai
to modifymemodifikasi the experimentpercobaan,
134
468156
3871
dan secara bertahap kami dapat
mengembangkan percobaan berikutnya,
08:04
usingmenggunakan differentberbeda objectsbenda
or movingbergerak the objectobyek furtherlebih lanjut away,
135
472106
3805
dengan menggunakan objek berbeda
atau dengan menambah jarak kamera,
08:07
usingmenggunakan lesskurang lightcahaya or quietertenang soundsterdengar.
136
475911
2770
dengan cahaya yang lebih redup atau
suara yang lebih halus.
08:11
And we analyzeddianalisis all of these experimentspercobaan
137
479887
2874
Dan kami menganalisa semua percobaan
yang kami lakukan
08:14
untilsampai we really understooddipahami
the limitsbatas of our techniqueteknik,
138
482761
3622
sampai kami mendapatkan batasan
yang dapat dicapai teknik ini,
08:18
because oncesekali we understooddipahami those limitsbatas,
139
486383
1950
karena jika kita tahu batasannya,
kita bisa tahu bagaimana mendorong
batasan itu lebih jauh lagi.
08:20
we could figureangka out how to pushDorong them.
140
488333
2346
08:22
And that led to experimentspercobaan like this one,
141
490679
3181
Sehingga sampai pada percobaan
seperti ini,
08:25
where again, I'm going to speakberbicara
to a bagtas of chipskeripik,
142
493860
2739
dimana sekali lagi,
saya berteriak pada sekantung keripik,
08:28
but this time we'vekita sudah movedterharu our camerakamera
about 15 feetkaki away,
143
496599
4830
tapi kali ini kami memposisikan kamera
4,5 meter dari keripik,
08:33
outsidedi luar, behinddibelakang a soundproofKedap Suara windowjendela,
144
501429
2833
di luar ruangan,
di balik jendela kedap suara
08:36
and the wholeseluruh thing is litmenyala
by only naturalalam sunlightsinar matahari.
145
504262
2803
dan kami hanya menggunakan cahaya alami
dari sinar matahari.
08:40
And so here'sini the videovideo that we capturedditangkap.
146
508529
2155
Dan inilah video yang kami dapatkan.
08:44
And this is what things soundedterdengar like
from insidedalam, nextberikutnya to the bagtas of chipskeripik.
147
512450
4559
Dan inilah yang terdengar di dalam
ruangan, dekat kantung keripik.
08:49
(AudioAudio) MaryMaria had a little lambdomba
whoseyang fleecebulu was whiteputih as snowsalju,
148
517009
5038
(Audio) Mary punya domba kecil,
bulunya seputih salju,
08:54
and everywheredimana mana that MaryMaria wentpergi,
that lambdomba was sure to go.
149
522047
5619
dan kemanapun Mary pergi,
sang domba pasti mengikuti.
08:59
ADIKLAN: And here'sini what we were ablesanggup
to recovermemulihkan from our silentdiam videovideo
150
527666
4017
AD: Dan inilah yang kami dapatkan
dari video bisu tersebut
09:03
capturedditangkap outsidedi luar behinddibelakang that windowjendela.
151
531683
2345
yang diambil dari balik jendela.
09:06
(AudioAudio) MaryMaria had a little lambdomba
whoseyang fleecebulu was whiteputih as snowsalju,
152
534028
4435
(Audio) Mary punya domba kecil,
bulunya seputih salju,
09:10
and everywheredimana mana that MaryMaria wentpergi,
that lambdomba was sure to go.
153
538463
5457
dan kemanapun Mary pergi,
sang domba pasti mengikuti.
09:15
(ApplauseTepuk tangan)
154
543920
6501
(Tepuk tangan)
09:22
ADIKLAN: And there are other wayscara
that we can pushDorong these limitsbatas as well.
155
550421
3542
AD: Dan ada cara lain untuk meningkatkan
batasan teknik ini.
09:25
So here'sini a quietertenang experimentpercobaan
156
553963
1798
Ini percobaan dengan
suara yang lebih halus
09:27
where we filmeddifilmkan some earphonesearphone
pluggedterpasang into a laptoplaptop computerkomputer,
157
555761
4110
dimana kami merekam beberapa earphone
yang terpasang pada laptop,
09:31
and in this casekasus, our goaltujuan was to recovermemulihkan
the musicmusik that was playingbermain on that laptoplaptop
158
559871
4110
tujuannya adalah mendapatkan musik
yang sedang diputar di laptop
09:35
from just silentdiam videovideo
159
563981
2299
melalui rekaman video diam
dua earphone plastik ini,
09:38
of these two little plasticplastik earphonesearphone,
160
566280
2507
09:40
and we were ablesanggup to do this so well
161
568787
2183
dan kami berhasil melakukannya
dengan sangat baik
09:42
that I could even ShazamShazam our resultshasil.
162
570970
2461
bahkan aplikasi Shazam pun bisa
mengenali musiknya.
09:45
(LaughterTawa)
163
573431
2411
(Tertawa)
09:49
(MusicMusik: "UnderDi bawah PressureTekanan" by QueenRatu)
164
577191
10034
(Musik yang didapat dari video:
"Under Pressure" oleh Queen)
10:01
(ApplauseTepuk tangan)
165
589615
4969
(Tepuk tangan)
10:06
And we can alsojuga pushDorong things
by changingberubah the hardwareperangkat keras that we use.
166
594584
4551
Kita juga bisa meningkatkan batasannya
dengan mengganti piranti keras
yang digunakan.
10:11
Because the experimentspercobaan
I've shownditunjukkan you so farjauh
167
599135
2461
Karena percobaan yang
sudah saya tunjukkan sejauh ini
10:13
were doneselesai with a camerakamera,
a high-speedkecepatan tinggi camerakamera,
168
601596
2322
direkam dengan kamera kecepatan tinggi,
10:15
that can recordmerekam videovideo
about a 100 timeswaktu fasterlebih cepat
169
603918
2879
yang bisa merekam video
100 kali lebih cepat
10:18
than mostpaling cellsel phonestelepon,
170
606797
1927
dari kamera ponsel biasa,
10:20
but we'vekita sudah alsojuga foundditemukan a way
to use this techniqueteknik
171
608724
2809
tapi kami menemukan cara untuk
menerapkan teknik ini
10:23
with more regularreguler cameraskamera,
172
611533
2230
menggunakan kamera biasa,
10:25
and we do that by takingpengambilan advantagekeuntungan
of what's calledbernama a rollingbergulir shutterrana.
173
613763
4069
dengan memanfaatkan fitur
yang disebut rana putar.
10:29
You see, mostpaling cameraskamera
recordmerekam imagesgambar one rowbaris at a time,
174
617832
4798
Kebanyakan kamera merekam gambar
per baris,
10:34
and so if an objectobyek movesbergerak
duringselama the recordingrekaman of a singletunggal imagegambar,
175
622630
5702
jadi jika objeknya bergerak
saat gambar diambil,
10:40
there's a slightsedikit time delaymenunda
betweenantara eachsetiap rowbaris,
176
628344
2717
ada penundaan waktu rekam
antara setiap baris rekaman,
10:43
and this causespenyebab slightsedikit artifactsartefak
177
631061
3157
yang akan menimbulkan
sedikit kesalahan gambar
10:46
that get codedKode into eachsetiap framebingkai of a videovideo.
178
634218
3483
yang akan terekam pada setiap frame video.
10:49
And so what we foundditemukan
is that by analyzingmenganalisis these artifactsartefak,
179
637701
3806
Kami menemukan bahwa,
dengan menganalisa kesalahan gambar ini,
10:53
we can actuallysebenarnya recovermemulihkan soundsuara
usingmenggunakan a modifieddiubah versionversi of our algorithmalgoritma.
180
641507
4615
kami bisa mendapatkan kembali suaranya,
dengan memodifikasi algoritmanya.
10:58
So here'sini an experimentpercobaan we did
181
646122
1912
Dan inilah percobaan yang kami lakukan.
11:00
where we filmeddifilmkan a bagtas of candyPermen
182
648034
1695
Kami merekam sekantung permen
11:01
while a nearbydekat loudspeakerpengeras suara playeddimainkan
183
649729
1741
di samping sebuah speaker
11:03
the samesama "MaryMaria Had a Little LambDomba"
musicmusik from before,
184
651470
2972
yang memainkan musik yang sama,
"Mary had a Little Lamb."
11:06
but this time, we used just a regularreguler
store-boughtdibeli di toko camerakamera,
185
654442
4203
Tapi kali ini, kami memakai kamera biasa
yang bisa dibeli di toko.
11:10
and so in a secondkedua, I'll playbermain for you
the soundsuara that we recoveredpulih,
186
658645
3174
Sebentar lagi saya akan memutar
suara yang kami dapatkan,
11:13
and it's going to soundsuara
distortedterdistorsi this time,
187
661819
2050
suaranya agak jelek kali ini,
11:15
but listen and see if you can still
recognizemengakui the musicmusik.
188
663869
2836
tapi coba dengar,
apa Anda masih mengenali musiknya.
11:19
(AudioAudio: "MaryMaria Had a Little LambDomba")
189
667723
6223
(Audio yang didapat dari video:
"Mary had a Little Lamb")
[Kiri: Video diam dari kamera SLR biasa]
[Kanan: Suara yang terekam
dari kantung permen]
11:37
And so, again, that soundsterdengar distortedterdistorsi,
190
685527
3465
Jadi, memang suaranya agak jelek,
11:40
but what's really amazingmenakjubkan here
is that we were ablesanggup to do this
191
688992
4386
tapi hebatnya adalah,
kita bisa menerapkan aplikasi ini
11:45
with something
that you could literallysecara harfiah runmenjalankan out
192
693378
2626
dengan alat yang bisa dengan mudah
Anda dapatkan
11:48
and pickmemilih up at a BestTerbaik BuyBeli.
193
696004
1444
di toko elektronik.
11:51
So at this pointtitik,
194
699122
1363
Jadi sampai disini,
11:52
a lot of people see this work,
195
700485
1974
banyak orang melihat percobaan ini
11:54
and they immediatelysegera think
about surveillancepengawasan.
196
702459
3413
dan langsung berpikir tentang pengintaian.
11:57
And to be fairadil,
197
705872
2415
Dan jujur saja,
12:00
it's not hardkeras to imaginemembayangkan how you mightmungkin use
this technologyteknologi to spymata-mata on someonesome one.
198
708287
4133
tidak sulit membayangkan alat ini
bisa digunakan untuk memata matai.
12:04
But keep in mindpikiran that there's alreadysudah
a lot of very matureberumur technologyteknologi
199
712420
3947
Tapi ingatlah, sudah banyak
teknologi siap pakai saat ini
12:08
out there for surveillancepengawasan.
200
716367
1579
untuk pengintaian.
12:09
In factfakta, people have been usingmenggunakan laserslaser
201
717946
2090
Bahkan, masyarakat sudah lazim
memakai sinar laser
12:12
to eavesdropmenguping on objectsbenda
from a distancejarak for decadesdekade.
202
720036
2799
untuk menguping dari jarak jauh.
12:15
But what's really newbaru here,
203
723978
2025
Tapi hal yang baru disini,
12:18
what's really differentberbeda,
204
726003
1440
yang benar-benar berbeda,
12:19
is that now we have a way
to picturegambar the vibrationsgetaran of an objectobyek,
205
727443
4295
adalah kita sekarang mampu menggambarkan
getaran dari sebuah objek,
12:23
whichyang givesmemberi us a newbaru lenslensa
throughmelalui whichyang to look at the worlddunia,
206
731738
3413
yang memberi kita lensa baru
untuk memandang dunia,
dan kita bisa menggunakannya
untuk mempelajari
12:27
and we can use that lenslensa
207
735151
1510
12:28
to learnbelajar not just about forceskekuatan like soundsuara
that causesebab an objectobyek to vibratebergetar,
208
736661
4899
tidak saja berbagai gaya seperti suara
yang dapat membuat benda bergetar,
12:33
but alsojuga about the objectobyek itselfdiri.
209
741560
2288
tapi juga tentang objek itu sendiri.
12:36
And so I want to take a steplangkah back
210
744975
1693
Saya sedikit mundur ke belakang
12:38
and think about how that mightmungkin changeperubahan
the wayscara that we use videovideo,
211
746668
4249
dan memikirkan bagaimana ini bisa
mengubah cara kita menggunakan video.
12:42
because we usuallybiasanya use videovideo
to look at things,
212
750917
3553
Kalau sebelumnya kita menggunakan
video untuk melihat objek,
12:46
and I've just shownditunjukkan you how we can use it
213
754470
2322
kini kita bisa menggunakannya
untuk mendengarkan sesuatu.
12:48
to listen to things.
214
756792
1857
12:50
But there's anotherlain importantpenting way
that we learnbelajar about the worlddunia:
215
758649
3971
Tapi satu cara lain untuk belajar
tentang dunia:
12:54
that's by interactingberinteraksi with it.
216
762620
2275
yaitu dengan berinteraksi dengannya.
12:56
We pushDorong and pullTarik and pokePoke and prodprod things.
217
764895
3111
Kita bisa menarik, menekan, mencolek
dan mendorong benda.
13:00
We shakemenggoyang things and see what happensterjadi.
218
768006
3181
Kita menggoyang benda dan
melihat apa yang terjadi.
13:03
And that's something that videovideo
still won'tbiasa let us do,
219
771187
4273
Tapi kita masih belum bisa melakukannya
melalui video,
13:07
at leastpaling sedikit not traditionallysecara tradisional.
220
775460
2136
setidaknya secara tradisional.
13:09
So I want to showmenunjukkan you some newbaru work,
221
777596
1950
Saya ingin menunjukkan percobaan
baru kami,
13:11
and this is basedberbasis on an ideaide I had
just a fewbeberapa monthsbulan agolalu,
222
779546
2667
yang idenya saya dapat
beberapa bulan yang lalu,
13:14
so this is actuallysebenarnya the first time
I've shownditunjukkan it to a publicpublik audiencehadirin.
223
782213
3301
dan ini adalah pertama kalinya
saya menunjukkannya pada umum.
13:17
And the basicdasar ideaide is that we're going
to use the vibrationsgetaran in a videovideo
224
785514
5363
Ide dasarnya adalah untuk menggunakan
getaran dalam satu video
13:22
to capturemenangkap objectsbenda in a way
that will let us interactberinteraksi with them
225
790877
4481
untuk menangkap objek sedemikian rupa
sehingga kita bisa berinteraksi dengannya
13:27
and see how they reactreaksi to us.
226
795358
1974
dan melihat reaksinya.
13:31
So here'sini an objectobyek,
227
799120
1764
Ini adalah sebuah objek,
13:32
and in this casekasus, it's a wirekawat figureangka
in the shapebentuk of a humanmanusia,
228
800884
3832
sebuah patung kawat berbentuk manusia,
13:36
and we're going to filmfilm that objectobyek
with just a regularreguler camerakamera.
229
804716
3088
yang kami rekam dengan kamera biasa.
13:39
So there's nothing specialkhusus
about this camerakamera.
230
807804
2124
Kamera ini tidak istimewa.
13:41
In factfakta, I've actuallysebenarnya doneselesai this
with my cellsel phonetelepon before.
231
809928
2961
Bahkan, saya pernah melakukannya
dengan kamera HP saya.
13:44
But we do want to see the objectobyek vibratebergetar,
232
812889
2252
Tapi kita butuh objek ini bergetar.
13:47
so to make that happenterjadi,
233
815141
1133
Untuk itu,
13:48
we're just going to bangbang a little bitsedikit
on the surfacepermukaan where it's restingberistirahat
234
816274
3346
kita pukul sedikit permukaan meja
dimana ia terletak,
13:51
while we recordmerekam this videovideo.
235
819620
2138
sambil kita merekam videonya.
13:59
So that's it: just fivelima secondsdetik
of regularreguler videovideo,
236
827398
3671
Itu saja.
Lima detik rekaman video biasa,
14:03
while we bangbang on this surfacepermukaan,
237
831069
2136
sambil kita mengetuk meja,
14:05
and we're going to use
the vibrationsgetaran in that videovideo
238
833205
3513
dan kita akan menggunakan
getaran dari video tersebut
14:08
to learnbelajar about the structuralstruktural
and materialbahan propertiesproperti of our objectobyek,
239
836718
4544
untuk mempelajari
sifat struktural dan material objek ini.
14:13
and we're going to use that informationinformasi
to createmembuat something newbaru and interactiveinteraktif.
240
841262
4834
Lalu informasi tersebut akan digunakan
untuk membuat sesuatu
yang baru dan interaktif.
14:24
And so here'sini what we'vekita sudah createddiciptakan.
241
852866
2653
Inilah yang kami buat.
14:27
And it looksterlihat like a regularreguler imagegambar,
242
855519
2229
Terlihat seperti gambar biasa,
14:29
but this isn't an imagegambar,
and it's not a videovideo,
243
857748
3111
tapi ini bukan gambar,
juga bukan video,
14:32
because now I can take my mousemouse
244
860859
2368
karena jika saya gerakkan mouse saya,
14:35
and I can startmulai interactingberinteraksi
with the objectobyek.
245
863227
2859
dan berinteraksi dengan objek ini.
14:44
And so what you see here
246
872936
2357
Yang Anda lihat disini
14:47
is a simulationsimulasi of how this objectobyek
247
875389
2226
adalah simulasi bagaimana objek ini
14:49
would respondmenanggapi to newbaru forceskekuatan
that we'vekita sudah never seenterlihat before,
248
877615
4458
akan bereaksi terhadap daya baru,
yang belum pernah kita lihat sebelumnya,
14:54
and we createddiciptakan it from just
fivelima secondsdetik of regularreguler videovideo.
249
882073
3633
dan kami membuatnya hanya dari
video biasa berdurasi 5 detik.
14:59
(ApplauseTepuk tangan)
250
887249
4715
(Tepuk tangan)
15:09
And so this is a really powerfulkuat
way to look at the worlddunia,
251
897421
3227
Ini cara hebat untuk melihat dunia,
15:12
because it letsmari kita us predictmeramalkan
how objectsbenda will respondmenanggapi
252
900648
2972
karena kita bisa memprediksi reaksi objek
15:15
to newbaru situationssituasi,
253
903620
1823
dalam situasi baru,
15:17
and you could imaginemembayangkan, for instancecontoh,
looking at an oldtua bridgejembatan
254
905443
3473
dan bisa Anda bayangkan, contohnya,
jika kita melihat jembatan tua
15:20
and wonderingbertanya-tanya what would happenterjadi,
how would that bridgejembatan holdmemegang up
255
908916
3527
lalu kita bayangkan apa yang akan terjadi,
mampukah jembatan ini bertahan
jika mobil saya melintas di atasnya.
15:24
if I were to drivemendorong my carmobil acrossmenyeberang it.
256
912443
2833
15:27
And that's a questionpertanyaan
that you probablymungkin want to answermenjawab
257
915276
2774
Dan Anda mungkin akan ingin
mendapat jawabannya
15:30
before you startmulai drivingmenyetir
acrossmenyeberang that bridgejembatan.
258
918050
2560
sebelum Anda melintasinya juga.
15:33
And of courseTentu saja, there are going to be
limitationsketerbatasan to this techniqueteknik,
259
921988
3272
Tentu saja, teknik ini memiliki batasan,
15:37
just like there were
with the visualvisual microphonemikropon,
260
925260
2462
sama seperti pada mikrofon visual,
15:39
but we foundditemukan that it worksbekerja
in a lot of situationssituasi
261
927722
3181
tapi kami menemukan bahwa
teknik ini bekerja baik
dalam banyak situasi yang tidak disangka,
15:42
that you mightmungkin not expectmengharapkan,
262
930903
1875
15:44
especiallyterutama if you give it longerlebih lama videosvideo.
263
932778
2768
apalagi jika videonya berdurasi
lebih panjang.
15:47
So for examplecontoh,
here'sini a videovideo that I capturedditangkap
264
935546
2508
Ini contohnya, ini adalah video rekaman
15:50
of a bushsemak outsidedi luar of my apartmentApartemen,
265
938054
2299
semak-semak di luar apartemen saya,
15:52
and I didn't do anything to this bushsemak,
266
940353
3088
saya tidak melakukan apa-apa
terhadap semak-semak ini,
15:55
but by capturingmenangkap a minute-longmenit-lama videovideo,
267
943441
2705
tapi dengan merekamnya selama satu menit,
15:58
a gentlelemah lembut breezeAngin causeddisebabkan enoughcukup vibrationsgetaran
268
946146
3378
hebusan angin sepoi-sepoi
menggetarkan semak-semak
16:01
that we could learnbelajar enoughcukup about this bushsemak
to createmembuat this simulationsimulasi.
269
949524
3587
sehingga kami bisa membuat
simulasi berikut.
16:07
(ApplauseTepuk tangan)
270
955270
6142
(Tepuk tangan)
16:13
And so you could imaginemembayangkan givingmemberi this
to a filmfilm directorDirektur,
271
961412
2972
Bisa Anda bayangkan jika kita
memberikannya ke sutradara,
16:16
and lettingmembiarkan him controlkontrol, say,
272
964384
1719
dia bisa mengendalikan
16:18
the strengthkekuatan and directionarah of windangin
in a shottembakan after it's been recordedtercatat.
273
966103
4922
kekuatan dan arah angin dalam suatu adegan
setelah adegannya selesai direkam.
16:24
Or, in this casekasus, we pointedruncing our camerakamera
at a hanginggantung curtaintirai,
274
972810
4535
Atau, dalam hal ini, kami arahkan kamera
ke sebuah tirai yang tergantung,
16:29
and you can't even see
any motiongerakan in this videovideo,
275
977345
4129
Anda bahkan tidak melihat gerakan apa pun
dalam video ini,
16:33
but by recordingrekaman a two-minute-longdua-menit-lama videovideo,
276
981474
2925
tapi dengan merekamnya selama dua menit,
16:36
naturalalam airudara currentsarus in this roomkamar
277
984399
2438
aliran udara alami dalam ruangan ini
16:38
createddiciptakan enoughcukup subtlehalus,
imperceptibletak terlihat motionsgerakan and vibrationsgetaran
278
986837
4412
menimbulkan getaran yang
halus dan tak terlihat
16:43
that we could learnbelajar enoughcukup
to createmembuat this simulationsimulasi.
279
991249
2565
yang memungkinkan kami
untuk membuat simulasi ini.
16:48
And ironicallyironisnya,
280
996243
2366
Tapi ironisnya,
16:50
we're kindjenis of used to havingmemiliki
this kindjenis of interactivityinteraktivitas
281
998609
3088
kita sudah terbiasa dengan
interaksi semacam ini
16:53
when it comesdatang to virtualvirtual objectsbenda,
282
1001697
2647
dalam dunia virtual,
16:56
when it comesdatang to videovideo gamespertandingan
and 3D modelsmodel,
283
1004344
3297
terutama dalam video game ataupun
model 3D lainnya,
16:59
but to be ablesanggup to capturemenangkap this informationinformasi
from realnyata objectsbenda in the realnyata worlddunia
284
1007641
4404
tapi dengan memperoleh informasi ini
dari objek nyata
17:04
usingmenggunakan just simplesederhana, regularreguler videovideo,
285
1012045
2817
dengan menggunakan
video biasa dan sederhana,
17:06
is something newbaru that has
a lot of potentialpotensi.
286
1014862
2183
adalah satu hal baru
yang punya banyak potensi.
17:10
So here are the amazingmenakjubkan people
who workedbekerja with me on these projectsproyek.
287
1018410
4904
Ini adalah para rekan yang bekerja dengan
saya dalam proyek ini.
17:16
(ApplauseTepuk tangan)
288
1024057
5596
(Tepuk tangan)
17:24
And what I've shownditunjukkan you todayhari ini
is only the beginningawal.
289
1032819
3057
Yang saya tunjukkan hari ini
hanyalah permulaan.
17:27
We'veKami telah just starteddimulai to scratchmenggaruk the surfacepermukaan
290
1035876
2113
Kami baru mengetahui kulitnya saja
17:29
of what you can do
with this kindjenis of imagingpencitraan,
291
1037989
2972
dari apa yang bisa kita lakukan
dengan pencitraan seperti ini,
17:32
because it givesmemberi us a newbaru way
292
1040961
2286
karena teknik ini memberi kita cara baru
17:35
to capturemenangkap our surroundingslingkungan
with commonumum, accessibledapat diakses technologyteknologi.
293
1043342
4724
untuk mengamati lingkungan kita dengan
perangkat yang lazim dan terjangkau.
17:40
And so looking to the futuremasa depan,
294
1048066
1929
Jadi ke depan, akan sangat menarik
untuk menggali
17:41
it's going to be
really excitingseru to explorejelajahi
295
1049995
2037
apa yang bisa diajarkan teknik ini
tentang dunia.
17:44
what this can tell us about the worlddunia.
296
1052032
1856
17:46
Thank you.
297
1054381
1204
Terima kasih.
17:47
(ApplauseTepuk tangan)
298
1055610
6107
(Tepuk tangan)
Translated by asri suharjono
Reviewed by Dewi Barnas

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com