TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Teknologi video baru yang mengungkapkan sifat benda yang tersembunyi
Filmed:
Readability: 4.3
1,482,525 views
Gerakan halus terjadi di sekitar kita setiap waktu, termasuk getaran halus yang disebabkan oleh suara. Teknologi baru menunjukkan bahwa kita bisa menangkap getaran ini dan menangkap kembali suara dan percakapan dari rekaman video objek yang tampaknya diam tak bergerak. Tapi Abe Davis membawanya satu langkah lebih jauh: Lihat demo piranti lunaknya yang memungkinkan kita berinteraksi dengan sifat benda yang tersembunyi, hanya dengan menggunakan video sederhana.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Kebanyakan kita menganggap
gerakan adalah hal yang bisa terlihat.
gerakan adalah hal yang bisa terlihat.
Jika saya berjalan di atas panggung atau
menggerakkan tangan sambil berbicara,
menggerakkan tangan sambil berbicara,
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
00:22
that motion is something that you can see.
2
10977
2261
gerakan ini tentu bisa Anda lihat.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Akan tetapi banyak sekali gerakan yang
terlalu halus untuk dilihat mata manusia,
terlalu halus untuk dilihat mata manusia,
00:31
and over the past few years,
4
19737
2041
dan selama beberapa tahun terakhir,
00:33
we've started to find that cameras
5
21778
1997
kami menemukan bahwa kamera
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
seringkali dapat melihat gerakan, bahkan
yang tidak bisa dilihat mata manusia.
yang tidak bisa dilihat mata manusia.
00:40
So let me show you what I mean.
7
28305
1551
Mari saya tunjukkan.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Di kiri, Anda melihat video rekaman
pergelangan tangan seseorang,
pergelangan tangan seseorang,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
dan di kanan, Anda melihat video
seorang bayi yang sedang tidur,
seorang bayi yang sedang tidur,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
tapi kalau saya tidak menyampaikan
bahwa keduanya adalah video,
bahwa keduanya adalah video,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
Anda mungkin berpikir bahwa
yang Anda lihat hanyalah gambar,
yang Anda lihat hanyalah gambar,
00:56
because in both cases,
12
44393
1672
karena gambar pada kedua video ini
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
terlihat hampir tak bergerak.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Tapi sebenarnya ada banyak gerakan halus
yang sedang terjadi,
yang sedang terjadi,
dan jika Anda menyentuh pergelangan tangan
yang ada di kiri,
yang ada di kiri,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
01:08
you would feel a pulse,
16
56452
1996
Anda akan merasakan denyut nadi,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
dan jika Anda menyentuh bayi
di video sebelah kanan,
di video sebelah kanan,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
Anda akan merasakan
gerakan naik turun dadanya
gerakan naik turun dadanya
01:15
as she took each breath.
19
63324
1390
ketika bayi ini bernafas.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Dan gerakan ini memiliki makna
yang sangat banyak,
yang sangat banyak,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
tapi biasanya terlalu halus
untuk bisa kita lihat,
untuk bisa kita lihat,
01:24
so instead, we have to observe them
22
72681
2276
sehingga kita bisa mengetahui
perbedaannya
perbedaannya
01:26
through direct contact, through touch.
23
74957
2900
hanya melalui kontak langsung,
melalui sentuhan.
melalui sentuhan.
01:30
But a few years ago,
24
78997
1265
Tapi beberapa tahun lalu,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
rekan-rekan saya di MIT mengembangkan
alat yang mereka sebut mikroskop gerakan,
alat yang mereka sebut mikroskop gerakan,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
yaitu sebuah piranti lunak untuk menemukan
gerakan halus seperti ini pada video
gerakan halus seperti ini pada video
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
dan memperbesarnya
sehingga dapat kita lihat.
sehingga dapat kita lihat.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Jika piranti lunak ini kita gunakan
pada video yang kiri,
pada video yang kiri,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
kita akan bisa melihat gerakan nadi
di pergelangan tangan,
di pergelangan tangan,
01:52
and if we were to count that pulse,
30
100149
1695
dan jika kita menghitungnya,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
kita bisa menentukan detak jantungnya.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Dan jika kita gunakan
pada video di sebelah kiri,
pada video di sebelah kiri,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
kita bisa melihat
tiap tarikan nafas bayi ini,
tiap tarikan nafas bayi ini,
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
dan kita bisa menggunakannya untuk
memonitor nafas bayi dari jarak jauh.
memonitor nafas bayi dari jarak jauh.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Jadi, teknologi ini sangat bermanfaat
karena bisa menangkap kejadian
karena bisa menangkap kejadian
yang biasanya hanya dapat kita amati
lewat sentuhan
lewat sentuhan
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
tapi kini bisa kita pantau secara visual
dan tanpa sentuhan.
dan tanpa sentuhan.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Beberapa tahun lalu,
saya mulai bekerja sama
saya mulai bekerja sama
dengan pencipta piranti lunak ini,
02:25
and we decided to pursue a crazy idea.
39
133515
3367
dan kami memutuskan untuk mencapai
sesuatu yang lebih gila lagi.
sesuatu yang lebih gila lagi.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Kami pikir, keren juga kalau
kita bisa menggunakan piranti ini
kita bisa menggunakan piranti ini
02:31
to visualize tiny motions like this,
41
139575
3135
untuk memperlihatkan gerakan halus
seperti ini,
seperti ini,
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
alat ini seakan menjadi
perpanjangan indra peraba kita.
perpanjangan indra peraba kita.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Tapi bagaimana jika kita bisa melakukan
hal yang sama
hal yang sama
untuk memperpanjang
indra pendengaran kita?
indra pendengaran kita?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Bagaimana jika kita menggunakan video
untuk menangkap getaran suara,
untuk menangkap getaran suara,
02:49
which are just another kind of motion,
45
157173
2827
yang mana juga merupakan
satu bentuk gerakan,
satu bentuk gerakan,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
dan mengubah apa pun yang bisa kita lihat
menjadi mikrofon?
menjadi mikrofon?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Ini ide yang agak aneh,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
izinkan saya menjelaskannya untuk Anda.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Mikrofon tradisional bekerja dengan
mengubah gerakan
mengubah gerakan
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
dari diafragma yang ada di dalamnya
menjadi sinyal listrik,
menjadi sinyal listrik,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
yang mana diafragma itu dirancang untuk
bergerak jika ada suara masuk
bergerak jika ada suara masuk
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
sehingga gerakan tersebut dapat direkam
dan diterjemahkan menjadi suara.
dan diterjemahkan menjadi suara.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Tapi, gelombang suara membuat
semua benda bergetar.
semua benda bergetar.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Getaran tersebut biasanya terlalu halus
dan terlalu cepat untuk bisa kita lihat.
dan terlalu cepat untuk bisa kita lihat.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Bagaimana jika kita merekamnya dengan
kamera berkecepatan tinggi,
kamera berkecepatan tinggi,
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
lalu menggunakan piranti lunak ini
untuk memperbesar getaran halus
untuk memperbesar getaran halus
03:34
from our high-speed video,
57
202197
2090
dari video berkecepatan tinggi itu,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
kemudian menganalisanya untuk mencari tahu
suara apa yang menimbulkan getaran itu?
suara apa yang menimbulkan getaran itu?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Ini bisa mengubah semua objek yang
bisa dilihat menjadi mikrofon jarak jauh.
bisa dilihat menjadi mikrofon jarak jauh.
03:49
And so we tried this out,
60
217080
2183
Jadi kami mencobanya,
dan ini adalah salah satu percobaan kami,
03:51
and here's one of our experiments,
61
219263
1927
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
Kami menggunakan tanaman
yang Anda lihat di sebelah kanan
yang Anda lihat di sebelah kanan
03:56
and we filmed it with a high-speed camera
63
224139
2438
yang kami rekam dengan
kamera kecepatan tinggi
kamera kecepatan tinggi
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
ketika sebuah speaker didekatnya
memainkan nada ini.
memainkan nada ini.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
[Video berkecepatan tinggi]
(Musik yang diputar dalam ruangan:
"Mary Had a Little Lamb")
"Mary Had a Little Lamb")
04:11
And so here's the video that we recorded,
66
239820
2824
Dan inilah video yang kami rekam
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
dengan kecepatan ribuan frame per detik,
04:18
but even if you look very closely,
68
246568
2322
tapi seberapa pun dekatnya Anda
melihatnya,
melihatnya,
04:20
all you'll see are some leaves
69
248890
1951
yang Anda lihat hanyalah dedaunan
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
yang cuma diam saja,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
karena suara tadi hanya menggerakkan daun
sekitar satu mikrometer.
sekitar satu mikrometer.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Itu artinya satu per sepuluh ribu dari
satu sentimeter,
satu sentimeter,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
atau hanya berkisar antara seperseratus
sampai seperseribu
sampai seperseribu
04:39
of a pixel in this image.
74
267535
2299
dari satu pixel dalam gambar ini.
04:41
So you can squint all you want,
75
269881
2887
Anda boleh memicingkan mata semau anda,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
tapi gerakan sekecil itu memang
relatif tidak terlihat.
relatif tidak terlihat.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Ternyata sesuatu yang
relatif tidak terlihat
relatif tidak terlihat
04:53
and still be numerically significant,
78
281824
2809
tetap signifikan secara matematis,
04:56
because with the right algorithms,
79
284633
2002
karena dengan algoritma yang tepat,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
kita bisa menggunakan video
yang kelihatannya diam ini
yang kelihatannya diam ini
05:02
and we can recover this sound.
81
290322
1527
untuk mendapatkan suaranya lagi.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Musik yang didapat dari video:
"Mary Had a Little Lamb")
"Mary Had a Little Lamb")
05:12
(Applause)
83
300074
5828
(Tepuk tangan)
05:22
So how is this possible?
84
310058
1939
Bagaimana mungkin?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Bagaimana kita bisa mendapat begitu banyak
informasi dari gerakan yang begitu halus?
informasi dari gerakan yang begitu halus?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Katakanlah bahwa daun itu bergerak
sejauh satu mikrometer,
sejauh satu mikrometer,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
yang berarti gambar kita bergeser
seperseribu pixel.
seperseribu pixel.
05:39
That may not seem like much,
88
327269
2572
Kelihatannya memang tidak besar,
05:41
but a single frame of video
89
329841
1996
tapi satu gambar dalam video
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
bisa memiliki ratusan ribu pixel
di dalamnya,
di dalamnya,
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
dan jika kita menggabungkan seluruh
gerakan kecil yang kita lihat
gerakan kecil yang kita lihat
05:50
from across that entire image,
92
338548
2298
dari seluruh gambar,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
maka seperseribu dari satu pixel
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
bisa jadi cukup penting
ketika semuanya dikumpulkan.
ketika semuanya dikumpulkan.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Bagi saya pribadi, kami cukup tercengang
ketika kami berhasil melakukannya.
ketika kami berhasil melakukannya.
06:02
(Laughter)
96
350505
2320
(Tertawa)
06:04
But even with the right algorithm,
97
352825
3253
Tapi bahkan dengan
algoritma yang tepat pun,
algoritma yang tepat pun,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
ada bagian penting dari teka-teki ini
yang masih hilang.
yang masih hilang.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Begini, ada banyak sekali faktor yang
mempengaruhi kapan dan bagaimana
mempengaruhi kapan dan bagaimana
06:15
this technique will work.
100
363299
1997
teknik ini bisa berhasil.
06:17
There's the object and how far away it is;
101
365296
3204
Seperti objek itu sendiri serta jaraknya;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
jenis kamera dan lensa yang digunakan;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
tingkat pencahayaan dan
besar volume suaranya.
besar volume suaranya.
06:27
And even with the right algorithm,
104
375945
3375
Dan bahkan dengan algoritma
yang tepat pun,
yang tepat pun,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
kami masih harus sangat berhati-hati
di awal percobaan kami,
di awal percobaan kami,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
karena jika ada satu faktor saja
yang salah,
yang salah,
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
akan sulit menentukan
letak permasalahannya.
letak permasalahannya.
06:39
We would just get noise back.
108
387470
2647
Kami hanya akan mendapatkan suara bising.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Jadi banyak percobaan awal kami berjalan
seperti ini.
seperti ini.
06:45
And so here I am,
110
393437
2206
Ini saya,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
dan di kiri bawah, bisa Anda lihat
kamera kecepatan tinggi kami,
kamera kecepatan tinggi kami,
06:51
which is pointed at a bag of chips,
112
399683
2183
yang mengarah ke sekantung keripik,
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
dan semuanya diterangi oleh
lampu-lampu terang ini.
lampu-lampu terang ini.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Dan seperti yang saya sampaikan, kami
harus berhati-hati sekali dalam percobaan,
harus berhati-hati sekali dalam percobaan,
07:01
so this is how it went down.
115
409180
2508
jadi inilah yang terjadi.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Video) Abe Davis: Tiga, dua, satu, mulai.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary punya kambing kecil!
Kambing kecil! Kambing kecil!
Kambing kecil! Kambing kecil!
07:12
(Laughter)
118
420836
4500
(Tertawa)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: Jadi percobaan ini betul betul
terlihat konyol.
terlihat konyol.
07:20
(Laughter)
120
428150
1788
(Tertawa)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Saya berteriak pada sekantung keripik --
07:24
(Laughter) --
122
432283
1551
(Tertawa)
07:25
and we're blasting it with so much light,
123
433834
2117
dan cahaya yang kami gunakan begitu kuat,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
hingga kantung keripik pertama kami
meleleh. (Tertawa)
meleleh. (Tertawa)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Tapi walaupun percobaan ini
terlihat konyol,
terlihat konyol,
07:35
it was actually really important,
126
443799
1788
tapi sebenarnya sangat penting,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
karena kami berhasil mendapatkan
kembali suaranya.
kembali suaranya.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Audio) Mary punya kambing kecil!
Kambing kecil! Kambing kecil!
Kambing kecil! Kambing kecil!
07:45
(Applause)
129
453225
4088
(Tepuk tangan)
07:49
AD: And this was really significant,
130
457313
1881
AD: Dan ini sangat penting,
karena inilah pertama kali
kami berhasil mendapatkan
kami berhasil mendapatkan
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
suara manusia yang dapat dipahami
07:55
from silent video of an object.
132
463424
2341
dari sebuah video diam.
07:57
And so it gave us this point of reference,
133
465765
2391
Percobaan ini memberi kami
titik referensi,
titik referensi,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
dan secara bertahap kami dapat
mengembangkan percobaan berikutnya,
mengembangkan percobaan berikutnya,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
dengan menggunakan objek berbeda
atau dengan menambah jarak kamera,
atau dengan menambah jarak kamera,
08:07
using less light or quieter sounds.
136
475911
2770
dengan cahaya yang lebih redup atau
suara yang lebih halus.
suara yang lebih halus.
08:11
And we analyzed all of these experiments
137
479887
2874
Dan kami menganalisa semua percobaan
yang kami lakukan
yang kami lakukan
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
sampai kami mendapatkan batasan
yang dapat dicapai teknik ini,
yang dapat dicapai teknik ini,
08:18
because once we understood those limits,
139
486383
1950
karena jika kita tahu batasannya,
kita bisa tahu bagaimana mendorong
batasan itu lebih jauh lagi.
batasan itu lebih jauh lagi.
08:20
we could figure out how to push them.
140
488333
2346
08:22
And that led to experiments like this one,
141
490679
3181
Sehingga sampai pada percobaan
seperti ini,
seperti ini,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
dimana sekali lagi,
saya berteriak pada sekantung keripik,
saya berteriak pada sekantung keripik,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
tapi kali ini kami memposisikan kamera
4,5 meter dari keripik,
4,5 meter dari keripik,
08:33
outside, behind a soundproof window,
144
501429
2833
di luar ruangan,
di balik jendela kedap suara
di balik jendela kedap suara
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
dan kami hanya menggunakan cahaya alami
dari sinar matahari.
dari sinar matahari.
08:40
And so here's the video that we captured.
146
508529
2155
Dan inilah video yang kami dapatkan.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Dan inilah yang terdengar di dalam
ruangan, dekat kantung keripik.
ruangan, dekat kantung keripik.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Audio) Mary punya domba kecil,
bulunya seputih salju,
bulunya seputih salju,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
dan kemanapun Mary pergi,
sang domba pasti mengikuti.
sang domba pasti mengikuti.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: Dan inilah yang kami dapatkan
dari video bisu tersebut
dari video bisu tersebut
09:03
captured outside behind that window.
151
531683
2345
yang diambil dari balik jendela.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Audio) Mary punya domba kecil,
bulunya seputih salju,
bulunya seputih salju,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
dan kemanapun Mary pergi,
sang domba pasti mengikuti.
sang domba pasti mengikuti.
09:15
(Applause)
154
543920
6501
(Tepuk tangan)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Dan ada cara lain untuk meningkatkan
batasan teknik ini.
batasan teknik ini.
09:25
So here's a quieter experiment
156
553963
1798
Ini percobaan dengan
suara yang lebih halus
suara yang lebih halus
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
dimana kami merekam beberapa earphone
yang terpasang pada laptop,
yang terpasang pada laptop,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
tujuannya adalah mendapatkan musik
yang sedang diputar di laptop
yang sedang diputar di laptop
09:35
from just silent video
159
563981
2299
melalui rekaman video diam
dua earphone plastik ini,
dua earphone plastik ini,
09:38
of these two little plastic earphones,
160
566280
2507
09:40
and we were able to do this so well
161
568787
2183
dan kami berhasil melakukannya
dengan sangat baik
dengan sangat baik
09:42
that I could even Shazam our results.
162
570970
2461
bahkan aplikasi Shazam pun bisa
mengenali musiknya.
mengenali musiknya.
09:45
(Laughter)
163
573431
2411
(Tertawa)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Musik yang didapat dari video:
"Under Pressure" oleh Queen)
"Under Pressure" oleh Queen)
10:01
(Applause)
165
589615
4969
(Tepuk tangan)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Kita juga bisa meningkatkan batasannya
dengan mengganti piranti keras
yang digunakan.
yang digunakan.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Karena percobaan yang
sudah saya tunjukkan sejauh ini
sudah saya tunjukkan sejauh ini
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
direkam dengan kamera kecepatan tinggi,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
yang bisa merekam video
100 kali lebih cepat
100 kali lebih cepat
10:18
than most cell phones,
170
606797
1927
dari kamera ponsel biasa,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
tapi kami menemukan cara untuk
menerapkan teknik ini
menerapkan teknik ini
10:23
with more regular cameras,
172
611533
2230
menggunakan kamera biasa,
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
dengan memanfaatkan fitur
yang disebut rana putar.
yang disebut rana putar.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Kebanyakan kamera merekam gambar
per baris,
per baris,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
jadi jika objeknya bergerak
saat gambar diambil,
saat gambar diambil,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
ada penundaan waktu rekam
antara setiap baris rekaman,
antara setiap baris rekaman,
10:43
and this causes slight artifacts
177
631061
3157
yang akan menimbulkan
sedikit kesalahan gambar
sedikit kesalahan gambar
10:46
that get coded into each frame of a video.
178
634218
3483
yang akan terekam pada setiap frame video.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Kami menemukan bahwa,
dengan menganalisa kesalahan gambar ini,
dengan menganalisa kesalahan gambar ini,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
kami bisa mendapatkan kembali suaranya,
dengan memodifikasi algoritmanya.
dengan memodifikasi algoritmanya.
10:58
So here's an experiment we did
181
646122
1912
Dan inilah percobaan yang kami lakukan.
11:00
where we filmed a bag of candy
182
648034
1695
Kami merekam sekantung permen
11:01
while a nearby loudspeaker played
183
649729
1741
di samping sebuah speaker
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
yang memainkan musik yang sama,
"Mary had a Little Lamb."
"Mary had a Little Lamb."
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
Tapi kali ini, kami memakai kamera biasa
yang bisa dibeli di toko.
yang bisa dibeli di toko.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Sebentar lagi saya akan memutar
suara yang kami dapatkan,
suara yang kami dapatkan,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
suaranya agak jelek kali ini,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
tapi coba dengar,
apa Anda masih mengenali musiknya.
apa Anda masih mengenali musiknya.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Audio yang didapat dari video:
"Mary had a Little Lamb")
"Mary had a Little Lamb")
[Kiri: Video diam dari kamera SLR biasa]
[Kanan: Suara yang terekam
dari kantung permen]
dari kantung permen]
11:37
And so, again, that sounds distorted,
190
685527
3465
Jadi, memang suaranya agak jelek,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
tapi hebatnya adalah,
kita bisa menerapkan aplikasi ini
kita bisa menerapkan aplikasi ini
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
dengan alat yang bisa dengan mudah
Anda dapatkan
Anda dapatkan
11:48
and pick up at a Best Buy.
193
696004
1444
di toko elektronik.
11:51
So at this point,
194
699122
1363
Jadi sampai disini,
11:52
a lot of people see this work,
195
700485
1974
banyak orang melihat percobaan ini
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
dan langsung berpikir tentang pengintaian.
11:57
And to be fair,
197
705872
2415
Dan jujur saja,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
tidak sulit membayangkan alat ini
bisa digunakan untuk memata matai.
bisa digunakan untuk memata matai.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Tapi ingatlah, sudah banyak
teknologi siap pakai saat ini
teknologi siap pakai saat ini
12:08
out there for surveillance.
200
716367
1579
untuk pengintaian.
12:09
In fact, people have been using lasers
201
717946
2090
Bahkan, masyarakat sudah lazim
memakai sinar laser
memakai sinar laser
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
untuk menguping dari jarak jauh.
12:15
But what's really new here,
203
723978
2025
Tapi hal yang baru disini,
12:18
what's really different,
204
726003
1440
yang benar-benar berbeda,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
adalah kita sekarang mampu menggambarkan
getaran dari sebuah objek,
getaran dari sebuah objek,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
yang memberi kita lensa baru
untuk memandang dunia,
untuk memandang dunia,
dan kita bisa menggunakannya
untuk mempelajari
untuk mempelajari
12:27
and we can use that lens
207
735151
1510
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
tidak saja berbagai gaya seperti suara
yang dapat membuat benda bergetar,
yang dapat membuat benda bergetar,
12:33
but also about the object itself.
209
741560
2288
tapi juga tentang objek itu sendiri.
12:36
And so I want to take a step back
210
744975
1693
Saya sedikit mundur ke belakang
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
dan memikirkan bagaimana ini bisa
mengubah cara kita menggunakan video.
mengubah cara kita menggunakan video.
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
Kalau sebelumnya kita menggunakan
video untuk melihat objek,
video untuk melihat objek,
12:46
and I've just shown you how we can use it
213
754470
2322
kini kita bisa menggunakannya
untuk mendengarkan sesuatu.
untuk mendengarkan sesuatu.
12:48
to listen to things.
214
756792
1857
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Tapi satu cara lain untuk belajar
tentang dunia:
tentang dunia:
12:54
that's by interacting with it.
216
762620
2275
yaitu dengan berinteraksi dengannya.
12:56
We push and pull and poke and prod things.
217
764895
3111
Kita bisa menarik, menekan, mencolek
dan mendorong benda.
dan mendorong benda.
13:00
We shake things and see what happens.
218
768006
3181
Kita menggoyang benda dan
melihat apa yang terjadi.
melihat apa yang terjadi.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Tapi kita masih belum bisa melakukannya
melalui video,
melalui video,
13:07
at least not traditionally.
220
775460
2136
setidaknya secara tradisional.
13:09
So I want to show you some new work,
221
777596
1950
Saya ingin menunjukkan percobaan
baru kami,
baru kami,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
yang idenya saya dapat
beberapa bulan yang lalu,
beberapa bulan yang lalu,
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
dan ini adalah pertama kalinya
saya menunjukkannya pada umum.
saya menunjukkannya pada umum.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Ide dasarnya adalah untuk menggunakan
getaran dalam satu video
getaran dalam satu video
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
untuk menangkap objek sedemikian rupa
sehingga kita bisa berinteraksi dengannya
sehingga kita bisa berinteraksi dengannya
13:27
and see how they react to us.
226
795358
1974
dan melihat reaksinya.
13:31
So here's an object,
227
799120
1764
Ini adalah sebuah objek,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
sebuah patung kawat berbentuk manusia,
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
yang kami rekam dengan kamera biasa.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Kamera ini tidak istimewa.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Bahkan, saya pernah melakukannya
dengan kamera HP saya.
dengan kamera HP saya.
13:44
But we do want to see the object vibrate,
232
812889
2252
Tapi kita butuh objek ini bergetar.
13:47
so to make that happen,
233
815141
1133
Untuk itu,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
kita pukul sedikit permukaan meja
dimana ia terletak,
dimana ia terletak,
13:51
while we record this video.
235
819620
2138
sambil kita merekam videonya.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Itu saja.
Lima detik rekaman video biasa,
Lima detik rekaman video biasa,
14:03
while we bang on this surface,
237
831069
2136
sambil kita mengetuk meja,
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
dan kita akan menggunakan
getaran dari video tersebut
getaran dari video tersebut
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
untuk mempelajari
sifat struktural dan material objek ini.
sifat struktural dan material objek ini.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
Lalu informasi tersebut akan digunakan
untuk membuat sesuatu
yang baru dan interaktif.
yang baru dan interaktif.
14:24
And so here's what we've created.
241
852866
2653
Inilah yang kami buat.
14:27
And it looks like a regular image,
242
855519
2229
Terlihat seperti gambar biasa,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
tapi ini bukan gambar,
juga bukan video,
juga bukan video,
14:32
because now I can take my mouse
244
860859
2368
karena jika saya gerakkan mouse saya,
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
dan berinteraksi dengan objek ini.
14:44
And so what you see here
246
872936
2357
Yang Anda lihat disini
14:47
is a simulation of how this object
247
875389
2226
adalah simulasi bagaimana objek ini
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
akan bereaksi terhadap daya baru,
yang belum pernah kita lihat sebelumnya,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
dan kami membuatnya hanya dari
video biasa berdurasi 5 detik.
video biasa berdurasi 5 detik.
14:59
(Applause)
250
887249
4715
(Tepuk tangan)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Ini cara hebat untuk melihat dunia,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
karena kita bisa memprediksi reaksi objek
15:15
to new situations,
253
903620
1823
dalam situasi baru,
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
dan bisa Anda bayangkan, contohnya,
jika kita melihat jembatan tua
jika kita melihat jembatan tua
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
lalu kita bayangkan apa yang akan terjadi,
mampukah jembatan ini bertahan
jika mobil saya melintas di atasnya.
jika mobil saya melintas di atasnya.
15:24
if I were to drive my car across it.
256
912443
2833
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Dan Anda mungkin akan ingin
mendapat jawabannya
mendapat jawabannya
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
sebelum Anda melintasinya juga.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Tentu saja, teknik ini memiliki batasan,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
sama seperti pada mikrofon visual,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
tapi kami menemukan bahwa
teknik ini bekerja baik
teknik ini bekerja baik
dalam banyak situasi yang tidak disangka,
15:42
that you might not expect,
262
930903
1875
15:44
especially if you give it longer videos.
263
932778
2768
apalagi jika videonya berdurasi
lebih panjang.
lebih panjang.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Ini contohnya, ini adalah video rekaman
15:50
of a bush outside of my apartment,
265
938054
2299
semak-semak di luar apartemen saya,
15:52
and I didn't do anything to this bush,
266
940353
3088
saya tidak melakukan apa-apa
terhadap semak-semak ini,
terhadap semak-semak ini,
15:55
but by capturing a minute-long video,
267
943441
2705
tapi dengan merekamnya selama satu menit,
15:58
a gentle breeze caused enough vibrations
268
946146
3378
hebusan angin sepoi-sepoi
menggetarkan semak-semak
menggetarkan semak-semak
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
sehingga kami bisa membuat
simulasi berikut.
simulasi berikut.
16:07
(Applause)
270
955270
6142
(Tepuk tangan)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Bisa Anda bayangkan jika kita
memberikannya ke sutradara,
memberikannya ke sutradara,
16:16
and letting him control, say,
272
964384
1719
dia bisa mengendalikan
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
kekuatan dan arah angin dalam suatu adegan
setelah adegannya selesai direkam.
setelah adegannya selesai direkam.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Atau, dalam hal ini, kami arahkan kamera
ke sebuah tirai yang tergantung,
ke sebuah tirai yang tergantung,
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Anda bahkan tidak melihat gerakan apa pun
dalam video ini,
dalam video ini,
16:33
but by recording a two-minute-long video,
276
981474
2925
tapi dengan merekamnya selama dua menit,
16:36
natural air currents in this room
277
984399
2438
aliran udara alami dalam ruangan ini
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
menimbulkan getaran yang
halus dan tak terlihat
halus dan tak terlihat
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
yang memungkinkan kami
untuk membuat simulasi ini.
untuk membuat simulasi ini.
16:48
And ironically,
280
996243
2366
Tapi ironisnya,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
kita sudah terbiasa dengan
interaksi semacam ini
interaksi semacam ini
16:53
when it comes to virtual objects,
282
1001697
2647
dalam dunia virtual,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
terutama dalam video game ataupun
model 3D lainnya,
model 3D lainnya,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
tapi dengan memperoleh informasi ini
dari objek nyata
dari objek nyata
17:04
using just simple, regular video,
285
1012045
2817
dengan menggunakan
video biasa dan sederhana,
video biasa dan sederhana,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
adalah satu hal baru
yang punya banyak potensi.
yang punya banyak potensi.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Ini adalah para rekan yang bekerja dengan
saya dalam proyek ini.
saya dalam proyek ini.
17:16
(Applause)
288
1024057
5596
(Tepuk tangan)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Yang saya tunjukkan hari ini
hanyalah permulaan.
hanyalah permulaan.
17:27
We've just started to scratch the surface
290
1035876
2113
Kami baru mengetahui kulitnya saja
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
dari apa yang bisa kita lakukan
dengan pencitraan seperti ini,
dengan pencitraan seperti ini,
17:32
because it gives us a new way
292
1040961
2286
karena teknik ini memberi kita cara baru
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
untuk mengamati lingkungan kita dengan
perangkat yang lazim dan terjangkau.
perangkat yang lazim dan terjangkau.
17:40
And so looking to the future,
294
1048066
1929
Jadi ke depan, akan sangat menarik
untuk menggali
untuk menggali
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
apa yang bisa diajarkan teknik ini
tentang dunia.
tentang dunia.
17:44
what this can tell us about the world.
296
1052032
1856
17:46
Thank you.
297
1054381
1204
Terima kasih.
17:47
(Applause)
298
1055610
6107
(Tepuk tangan)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com