ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

エイブ・デイヴィス: 物の隠れた性質を解き明かす新しい映像技術

Filmed:
1,482,525 views

音が物に引き起こす小さな振動をはじめ、私たちの周りでは微細な動きが絶えず起きています。最近の技術は、見たところ動きのない物の映像からそのような振動を拾い出し音や会話を復元することを可能にしていますが、エイブ・デイヴィスはそれをさらに１歩進めています。何の変哲もないビデオから物の隠れた性質を対話的に探れるソフトウェアのデモを是非ご覧ください。
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

私たちはみんな動きというのは
見えるものだと思っています
00:13
Most最も of us think of motionモーション
as a very visualビジュアル thing.
0
1373
3349
00:17
If I walk歩く across横断する this stageステージ
or gestureジェスチャー with my hands手 while I speak話す,
1
5889
5088
私がステージの上を歩き
話しながら身振り手振りをする
00:22
that motionモーション is something that you can see.
2
10977
2261
そのような動きは
目に見えるものです
00:26
But there's a world世界 of important重要 motionモーション
that's too subtle微妙 for the human人間 eye眼,
3
14255
5482
しかしあまりに小さくて人の目には留まらない
重要な動きの世界があります
00:31
and over the past過去 few少数 years年,
4
19737
2041
この何年か私たちは
00:33
we've私たちは started開始した to find that camerasカメラ
5
21778
1997
そういった動きが
人の目には見えなくとも
00:35
can oftenしばしば see this motionモーション
even when humans人間 can't.
6
23775
3410
カメラなら捉えられることに
注意を払うようになりました
00:40
So let me showショー you what I mean.
7
28305
1551
どういうことか
説明しましょう
00:42
On the left here, you see videoビデオ
of a person's人 wrist手首,
8
30717
3622
左側は人の手の映像で
00:46
and on the right, you see videoビデオ
of a sleeping睡眠 infant幼児,
9
34339
3147
右側は眠っている
赤ちゃんの映像です
00:49
but if I didn't tell you
that these were videosビデオ,
10
37486
3146
しかし もし私が
ビデオだと言わなければ
皆さん写真を見ているのだと
思ったことでしょう
00:52
you mightかもしれない assume想定する that you were looking
at two regular定期的 imagesイメージ,
11
40632
3761
どちらの映像にも
00:56
because in bothどちらも cases症例,
12
44393
1672
ほとんど動きがないからです
00:58
these videosビデオ appear現れる to be
almostほぼ completely完全に still.
13
46065
3047
01:02
But there's actually実際に a lot
of subtle微妙 motionモーション going on here,
14
50175
3885
それでもここには
沢山の微細な動きがあります
左側の人の
手首に触れてみたなら
01:06
and if you were to touchタッチ
the wrist手首 on the left,
15
54060
2392
01:08
you would feel a pulseパルス,
16
56452
1996
脈を感じるだろうし
01:10
and if you were to holdホールド
the infant幼児 on the right,
17
58448
2485
右側の赤ちゃんを
抱きかかえたなら
01:12
you would feel the rise上昇
and fall秋 of her chest胸
18
60933
2391
呼吸に応じて赤ちゃんの胸が
上下するのを
01:15
as she took取った each各 breath呼吸.
19
63324
1390
感じられることでしょう
01:17
And these motions動き carryキャリー
a lot of significance意義,
20
65762
3576
これらの動きは
大切なものですが
01:21
but they're usually通常
too subtle微妙 for us to see,
21
69338
3343
あまりに小さくて
見ただけでは分からないため
01:24
so instead代わりに, we have to observe観察する them
22
72681
2276
手で直に触って
01:26
throughを通して direct直接 contact接触, throughを通して touchタッチ.
23
74957
2900
感じ取る必要があるのです
01:30
But a few少数 years年 ago前,
24
78997
1265
しかし数年前に
01:32
my colleagues同僚 at MITMIT developed発展した
what they call a motionモーション microscope顕微鏡,
25
80262
4405
MITの同僚が「モーション・マイクロスコープ」
というのを作りました
01:36
whichどの is softwareソフトウェア that finds見つけた
these subtle微妙 motions動き in videoビデオ
26
84667
4384
映像の中の このような小さな動きを
検出して拡大し
01:41
and amplifies増幅する them so that they
become〜になる large大 enough十分な for us to see.
27
89051
3562
目で見て分かるようにする
ソフトウェアです
01:45
And so, if we use their彼らの softwareソフトウェア
on the left videoビデオ,
28
93416
3483
そのソフトウェアを
左の映像に使うと
01:48
it lets〜する us see the pulseパルス in this wrist手首,
29
96899
3250
手首の脈動が
目に見えるようになり
01:52
and if we were to countカウント that pulseパルス,
30
100149
1695
脈を数えて
心拍数を測定する
ことだってできます
01:53
we could even figure数字 out
this person's人 heartハート rateレート.
31
101844
2355
01:57
And if we used the same同じ softwareソフトウェア
on the right videoビデオ,
32
105095
3065
そのソフトウェアを
右の映像に使ったなら
02:00
it lets〜する us see each各 breath呼吸
that this infant幼児 takes,
33
108160
3227
赤ちゃんのする呼吸が
目に見えるようになり
02:03
and we can use this as a contact-free無接触 way
to monitorモニター her breathing呼吸.
34
111387
4137
触れることなく赤ちゃんの呼吸の状況を
モニタできるようになります
02:08
And so this technology技術 is really powerful強力な
because it takes these phenomena現象
35
116884
5348
これはとても
強力な技術です
通常は触れなければ
分からない現象を
02:14
that we normally通常は have
to experience経験 throughを通して touchタッチ
36
122232
2367
接触せずに視覚だけで
捉えられるからです
02:16
and it lets〜する us captureキャプチャー them visually視覚的に
and non-invasively非侵襲的.
37
124599
2957
02:21
So a coupleカップル years年 ago前, I started開始した workingワーキング
with the folks人々 that created作成した that softwareソフトウェア,
38
129104
4411
２年ほど前から私は このソフトウェアを
考案した人たちと共同で研究するようになり
02:25
and we decided決定しました to pursue追求する a crazy狂った ideaアイディア.
39
133515
3367
奇想天外なアイデアに
挑戦することにしました
02:28
We thought, it's coolクール
that we can use softwareソフトウェア
40
136882
2693
このソフトウェアで
02:31
to visualize視覚化する tiny小さな motions動き like this,
41
139575
3135
小さな動きを可視化して
02:34
and you can almostほぼ think of it
as a way to extend拡張する our senseセンス of touchタッチ.
42
142710
4458
あたかも触覚が拡張されたかのように
できるのはすごいけど
02:39
But what if we could do the same同じ thing
with our ability能力 to hear聞く?
43
147168
4059
これを聴覚にも適用できないだろうか
と思ったのです
02:44
What if we could use videoビデオ
to captureキャプチャー the vibrations振動 of sound音,
44
152508
4665
音による振動というのもまた
一種の動きなのだから
02:49
whichどの are just another別の kind種類 of motionモーション,
45
157173
2827
それを捉えて目に付くものすべてを
マイクに変えてしまうことはできないか？
02:52
and turn順番 everything that we see
into a microphoneマイクロフォン?
46
160000
3346
02:56
Now, this is a bitビット of a strange奇妙な ideaアイディア,
47
164236
1971
これはちょっと奇妙な
アイデアなので
02:58
so let me try to put it
in perspective視点 for you.
48
166207
2586
分かるように
説明しましょう
03:01
Traditional伝統的な microphonesマイク
work by converting変換する the motionモーション
49
169523
3488
普通のマイクというのは
中にある振動板の動きを
03:05
of an internal内部 diaphragm横隔膜
into an electrical電気 signal信号,
50
173011
3599
電気信号に変換する
仕組みになっています
03:08
and that diaphragm横隔膜 is designed設計
to move動く readily容易に with sound音
51
176610
4318
振動板は音に敏感に反応して
動くようにデザインされていて
03:12
so that its motionモーション can be recorded記録された
and interpreted解釈された as audioオーディオ.
52
180928
4807
その動きを音として解釈し
記録できるようになっています
しかし音はどんな物でも
振動させます
03:17
But sound音 causes原因 all objectsオブジェクト to vibrate振動する.
53
185735
3668
03:21
Those vibrations振動 are just usually通常
too subtle微妙 and too fast速い for us to see.
54
189403
5480
ただそういった振動はあまりに小さく速いため
目に見えないだけです
03:26
So what if we record記録 them
with a high-speed高速 cameraカメラ
55
194883
3738
この振動を
高速度カメラで撮影して
03:30
and then use softwareソフトウェア
to extractエキス tiny小さな motions動き
56
198621
3576
ソフトウェアで
その小さな動きを取り出し
03:34
from our high-speed高速 videoビデオ,
57
202197
2090
分析することで
03:36
and analyze分析する those motions動き to figure数字 out
what sounds音 created作成した them?
58
204287
4274
その振動を作り出したのがどんな音か
知ることはできないだろうか？
03:41
This would let us turn順番 visible目に見える objectsオブジェクト
into visualビジュアル microphonesマイク from a distance距離.
59
209859
5449
それができれば 離れたところにあるものを
視覚的なマイクへと変えることができます
03:49
And so we tried試した this out,
60
217080
2183
それで試してみました
ご覧頂くのは
行った実験の１つで
03:51
and here'sここにいる one of our experiments実験,
61
219263
1927
03:53
where we took取った this potted鉢植えの plant工場
that you see on the right
62
221190
2949
右の鉢植えの植物を
03:56
and we filmed撮影された it with a high-speed高速 cameraカメラ
63
224139
2438
高速度カメラで
撮影しながら
03:58
while a nearby近所の loudspeakerラウドスピーカー
playedプレーした this sound音.
64
226577
3529
近くに置いたスピーカーで
こんな音を流しました
04:02
(Music音楽: "Maryメアリー Had a Little Lamb子羊")
65
230275
8190
(曲 『メリーさんのひつじ』)
04:11
And so here'sここにいる the videoビデオ that we recorded記録された,
66
239820
2824
これが撮影したビデオで
04:14
and we recorded記録された it at thousands千
of framesフレーム per〜ごと second二番,
67
242644
3924
毎秒数千フレームで
撮っていますが
04:18
but even if you look very closely密接に,
68
246568
2322
目をこらしてみても
04:20
all you'llあなたは see are some leaves葉
69
248890
1951
ただ葉っぱが
じっとしているようにしか
04:22
that are prettyかなり much
just sitting座っている there doing nothing,
70
250841
3065
見えないでしょう
04:25
because our sound音 only moved移動した those leaves葉
by about a micrometerマイクロメータ.
71
253906
4806
音による葉っぱの動きは
１ミクロン程度だからです
04:31
That's one ten-thousandth10分の1 of a centimeterセンチメートル,
72
259103
4276
１センチの１万分の１です
04:35
whichどの spansスパン somewhereどこかで betweenの間に
a hundredth百分の一 and a thousandth千分の一
73
263379
4156
この映像で１ピクセルの
百分の１から千分の１の間
04:39
of a pixelピクセル in this image画像.
74
267535
2299
というところです
04:41
So you can squint斜視 all you want,
75
269881
2887
だからいくら
目をこらしたところで
04:44
but motionモーション that small小さい is prettyかなり much
perceptually知覚的に invisible目に見えない.
76
272768
3335
そのような小さな動きは
目では捉えられないのです
04:49
But it turnsターン out that something
can be perceptually知覚的に invisible目に見えない
77
277667
4157
しかし知覚的には
感知できなくとも
04:53
and still be numerically数値的に significant重要な,
78
281824
2809
数値的には
有意な変化があり
04:56
because with the right algorithmsアルゴリズム,
79
284633
2002
適切なアルゴリズムを使えば
04:58
we can take this silentサイレント,
seemingly一見 still videoビデオ
80
286635
3687
この静止しているようにしか
見えない映像から
このような音を
取り出すことができます
05:02
and we can recover回復します this sound音.
81
290322
1527
05:04
(Music音楽: "Maryメアリー Had a Little Lamb子羊")
82
292690
7384
(曲 『メリーさんのひつじ』)
05:12
(Applause拍手)
83
300074
5828
(拍手)
05:22
So how is this possible可能?
84
310058
1939
どうしてそんなことが
可能なのか？
05:23
How can we get so much information情報
out of so little motionモーション?
85
311997
4344
そんな小さな動きからどうやって
これほど多くの情報を取り出せるのか？
05:28
Well, let's say that those leaves葉
move動く by just a singleシングル micrometerマイクロメータ,
86
316341
5361
葉っぱの動きが
ちょうど１ミクロンで
05:33
and let's say that that shiftsシフト our image画像
by just a thousandth千分の一 of a pixelピクセル.
87
321702
4308
映像の中の動きは
千分の１ピクセルだったとしましょう
05:39
That mayかもしれない not seem思われる like much,
88
327269
2572
これは わずかなものに
見えますが
05:41
but a singleシングル frameフレーム of videoビデオ
89
329841
1996
ビデオの１フレームの中には
05:43
mayかもしれない have hundreds数百 of thousands千
of pixelsピクセル in it,
90
331837
3257
何十万というピクセルがあり
05:47
and so if we combine結合する all
of the tiny小さな motions動き that we see
91
335094
3454
そういった小さな動きを
05:50
from across横断する that entire全体 image画像,
92
338548
2298
映像全体から集めれば
05:52
then suddenly突然 a thousandth千分の一 of a pixelピクセル
93
340846
2623
千分の１ピクセルが
積み重なって
05:55
can start開始 to add追加する up
to something prettyかなり significant重要な.
94
343469
2775
十分大きなものになるのです
05:58
On a personal個人的 note注意, we were prettyかなり psyched感動した
when we figured思った this out.
95
346870
3635
個人的なことですが このことを発見した時には
すごく興奮しましたね
06:02
(Laughter笑い)
96
350505
2320
(笑)
06:04
But even with the right algorithmアルゴリズム,
97
352825
3253
優れたアルゴリズムはありましたが
06:08
we were still missing行方不明
a prettyかなり important重要 pieceピース of the puzzleパズル.
98
356078
3617
パズルの重要なピースが
まだ欠けていました
06:11
You see, there are a lot of factors要因
that affect影響を与える when and how well
99
359695
3604
この手法がうまくいくかに
影響する要因は
06:15
this technique技術 will work.
100
363299
1997
たくさんあります
06:17
There's the objectオブジェクト and how far遠い away it is;
101
365296
3204
対象がどんな物で
どれくらい離れているか
06:20
there's the cameraカメラ
and the lensレンズ that you use;
102
368500
2394
どんなカメラや
レンズを使うか
06:22
how much light光 is shiningシャイニング on the objectオブジェクト
and how loud大声で your sound音 is.
103
370894
4091
物に当てる光の強さや
音の大きさはどれくらいか
06:27
And even with the right algorithmアルゴリズム,
104
375945
3375
そしてアルゴリズムは
優れているにしても
06:31
we had to be very careful慎重に
with our early早い experiments実験,
105
379320
3390
初期の実験はすごく
慎重にやる必要がありました
06:34
because if we got
any of these factors要因 wrong違う,
106
382710
2392
そういった要因の
何か１つでもまずいと
06:37
there was no way to tell
what the problem問題 was.
107
385102
2368
何が悪かったのかも分からず
06:39
We would just get noiseノイズ back.
108
387470
2647
ただノイズが
出てくるだけだからです
06:42
And so a lot of our early早い
experiments実験 looked見た like this.
109
390117
3320
ですから初期の実験は
このような設定で行ったのです
06:45
And so here I am,
110
393437
2206
私が写っています
06:47
and on the bottom下 left, you can kind種類 of
see our high-speed高速 cameraカメラ,
111
395643
4040
左下に高速度カメラが
設置されていて
06:51
whichどの is pointed尖った at a bagバッグ of chipsチップ,
112
399683
2183
ポテトチップの袋に
向けられています
06:53
and the whole全体 thing is lit点灯
by these bright明るい lampsランプ.
113
401866
2949
そして全体が明るい照明で
照らされています
06:56
And like I said, we had to be
very careful慎重に in these early早い experiments実験,
114
404815
4365
申し上げたように初期の実験は
非常に慎重を期して進めました
07:01
so this is how it went行った down.
115
409180
2508
これがその様子です
07:03
(Videoビデオ) Abe阿部 Davisデイビス: Three三, two, one, go.
116
411688
3761
(男性の声) ３ ２ １ ハイ
(デイヴィスが大声で) メリーさんの
ヒツジ ヒツジ ヒツジ
07:07
Maryメアリー had a little lamb子羊!
Little lamb子羊! Little lamb子羊!
117
415449
5387
07:12
(Laughter笑い)
118
420836
4500
(笑)
07:17
AD広告: So this experiment実験
looks外見 completely完全に ridiculousばかげた.
119
425336
2814
ご覧のように
馬鹿みたいに見える実験でした
07:20
(Laughter笑い)
120
428150
1788
(笑)
07:21
I mean, I'm screaming悲鳴を上げる at a bagバッグ of chipsチップ --
121
429938
2345
私がポテトチップの袋に向かって
大声を張り上げています
07:24
(Laughter笑い) --
122
432283
1551
(笑)
07:25
and we're blasting発破 it with so much light光,
123
433834
2117
おまけにすごく強い照明を
当てていたので
07:27
we literally文字通り melted溶けた the first bagバッグ
we tried試した this on. (Laughter笑い)
124
435951
4479
最初のポテトチップの袋は
熱で文字通り溶けてしまいました (笑)
しかし いかに馬鹿みたいに
見えようとも
07:32
But ridiculousばかげた as this experiment実験 looks外見,
125
440525
3274
この実験はとても
重要なものでした
07:35
it was actually実際に really important重要,
126
443799
1788
07:37
because we were ableできる
to recover回復します this sound音.
127
445587
2926
このような音を取り出すことに
成功したからです
07:40
(Audioオーディオ) Maryメアリー had a little lamb子羊!
Little lamb子羊! Little lamb子羊!
128
448513
4712
Mary had a little lamb!
Little lamb! Little lamb!
07:45
(Applause拍手)
129
453225
4088
(拍手)
07:49
AD広告: And this was really significant重要な,
130
457313
1881
とても重要な瞬間でした
07:51
because it was the first time
we recovered回復した intelligible理解可能な human人間 speechスピーチ
131
459194
4119
物を撮した
音声のない映像から
聞き取れる人の声を
初めて復元できたからです
07:55
from silentサイレント videoビデオ of an objectオブジェクト.
132
463424
2341
07:57
And so it gave与えた us this pointポイント of reference参照,
133
465765
2391
この実験を基準点として
08:00
and gradually徐々に we could start開始
to modify変更する the experiment実験,
134
468156
3871
私たちはいろいろ変化をつけた
実験を始めました
異なる物を使う
物をもっと離れたところに置く
08:04
usingを使用して different異なる objectsオブジェクト
or moving動く the objectオブジェクト furtherさらに away,
135
472106
3805
08:07
usingを使用して lessもっと少なく light光 or quieter静かな sounds音.
136
475911
2770
光を弱くする
音を小さくする
08:11
And we analyzed分析された all of these experiments実験
137
479887
2874
そういった実験の結果を
分析して
08:14
until〜まで we really understood理解された
the limits限界 of our technique技術,
138
482761
3622
この手法の限界を
見極めました
08:18
because once一度 we understood理解された those limits限界,
139
486383
1950
ひとたび限界が分かれば
08:20
we could figure数字 out how to push押す them.
140
488333
2346
どう押し広げられるかも
分かるからです
08:22
And that led to experiments実験 like this one,
141
490679
3181
そうやってこんな実験に
たどり着きました
08:25
where again, I'm going to speak話す
to a bagバッグ of chipsチップ,
142
493860
2739
ここでもポテトチップの袋に向けて
音を流しますが
08:28
but this time we've私たちは moved移動した our cameraカメラ
about 15 feetフィート away,
143
496599
4830
今回はカメラが
５メートル離れていて
08:33
outside外側, behind後ろに a soundproof防音 window窓,
144
501429
2833
防音ガラスの
背後にあります
08:36
and the whole全体 thing is lit点灯
by only naturalナチュラル sunlight太陽光.
145
504262
2803
照らしている光も
自然の太陽光です
08:40
And so here'sここにいる the videoビデオ that we captured捕獲.
146
508529
2155
ご覧いただいているのが
撮影した映像です
08:44
And this is what things sounded聞こえた like
from inside内部, next次 to the bagバッグ of chipsチップ.
147
512450
4559
そしてこれが部屋の中で
ポテトチップの袋の横で流していた音です
08:49
(Audioオーディオ) Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
148
517009
5038
Mary had a little lamb whose fleece was white as snow,
(メリーさんは小さな羊を飼っていた 雪のように白い毛をして)
08:54
and everywhereどこにでも that Maryメアリー went行った,
that lamb子羊 was sure to go.
149
522047
5619
and everywhere that Mary went, that lamb was sure to go.
(メリーさんの行くところは どこにでも付いてきた)
08:59
AD広告: And here'sここにいる what we were ableできる
to recover回復します from our silentサイレント videoビデオ
150
527666
4017
そしてこれが
窓の背後から撮した
無音の映像から
取り出した音声です
09:03
captured捕獲 outside外側 behind後ろに that window窓.
151
531683
2345
Mary had a little lamb
whose fleece was white as snow,
09:06
(Audioオーディオ) Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
152
534028
4435
09:10
and everywhereどこにでも that Maryメアリー went行った,
that lamb子羊 was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
09:15
(Applause拍手)
154
543920
6501
(拍手)
09:22
AD広告: And there are other ways方法
that we can push押す these limits限界 as well.
155
550421
3542
限界を押し広げる方法は
他にもあります
09:25
So here'sここにいる a quieter静かな experiment実験
156
553963
1798
こちらはもっと静かな実験で
09:27
where we filmed撮影された some earphonesイヤホン
plugged詰まった into a laptopラップトップ computerコンピューター,
157
555761
4110
ノートPCに繋いだ
イヤホンを撮しています
09:31
and in this case場合, our goalゴール was to recover回復します
the music音楽 that was playing遊ぶ on that laptopラップトップ
158
559871
4110
この時の目標は
２つの小さなプラスチック製イヤホンを撮した
無音の映像から
09:35
from just silentサイレント videoビデオ
159
563981
2299
かけている曲を復元する
ということでした
09:38
of these two little plasticプラスチック earphonesイヤホン,
160
566280
2507
09:40
and we were ableできる to do this so well
161
568787
2183
これはすごく
うまくいって
結果から曲名を
Shazamで当てることさえできました
09:42
that I could even Shazamシャザム our results結果.
162
570970
2461
09:45
(Laughter笑い)
163
573431
2411
(笑)
09:49
(Music音楽: "Under下 Pressure圧力" by Queenクイーン)
164
577191
10034
(曲 クイーン 『アンダー・プレッシャー』)
(拍手)
10:01
(Applause拍手)
165
589615
4969
10:06
And we can alsoまた、 push押す things
by changing変化 the hardwareハードウェア that we use.
166
594584
4551
使用するハードウェアという点でも
限界を押し広げることができます
10:11
Because the experiments実験
I've shown示された you so far遠い
167
599135
2461
ここまで ご覧頂いた実験は
10:13
were done完了 with a cameraカメラ,
a high-speed高速 cameraカメラ,
168
601596
2322
どれも高速度カメラを使っていて
10:15
that can record記録 videoビデオ
about a 100 times回 fasterもっと早く
169
603918
2879
これは通常携帯についている
カメラよりも
10:18
than most最も cell細胞 phones電話機,
170
606797
1927
100倍高速に
撮影することができます
10:20
but we've私たちは alsoまた、 found見つけた a way
to use this technique技術
171
608724
2809
しかし私たちは
普通のカメラで
10:23
with more regular定期的 camerasカメラ,
172
611533
2230
この手法を使う方法も
見つけました
10:25
and we do that by taking取る advantage利点
of what's calledと呼ばれる a rolling圧延 shutterシャッター.
173
613763
4069
ローリングシャッターと呼ばれる技術を
利用しています
10:29
You see, most最も camerasカメラ
record記録 imagesイメージ one row行 at a time,
174
617832
4798
多くのカメラは
画像を１行ずつ記録しています
10:34
and so if an objectオブジェクト moves動き
during中 the recording録音 of a singleシングル image画像,
175
622630
5702
１枚の画像の記録中に
撮影対象が動くと
10:40
there's a slightわずかな time delayディレイ
betweenの間に each各 row行,
176
628344
2717
各行に時間的な
ズレがあるため
10:43
and this causes原因 slightわずかな artifacts成果物
177
631061
3157
ビデオの各フレームに
小さなゆがみが
記録されることになります
10:46
that get codedコードされた into each各 frameフレーム of a videoビデオ.
178
634218
3483
10:49
And so what we found見つけた
is that by analyzing分析する these artifacts成果物,
179
637701
3806
このゆがみを分析したところ
10:53
we can actually実際に recover回復します sound音
usingを使用して a modified変更された versionバージョン of our algorithmアルゴリズム.
180
641507
4615
アルゴリズムを改良すれば
そこから音を復元できることが分かりました
10:58
So here'sここにいる an experiment実験 we did
181
646122
1912
これが行った実験で
11:00
where we filmed撮影された a bagバッグ of candyキャンディー
182
648034
1695
キャンディの袋を撮し
11:01
while a nearby近所の loudspeakerラウドスピーカー playedプレーした
183
649729
1741
横では同じ『メリーさんのひつじ』を
11:03
the same同じ "Maryメアリー Had a Little Lamb子羊"
music音楽 from before,
184
651470
2972
スピーカーで流していますが
11:06
but this time, we used just a regular定期的
store-bought店頭購入 cameraカメラ,
185
654442
4203
今回は お店で買える
普通のカメラを使っています
11:10
and so in a second二番, I'll play遊びます for you
the sound音 that we recovered回復した,
186
658645
3174
これから取り出した音を
お聞かせします
11:13
and it's going to sound音
distorted歪 this time,
187
661819
2050
音にひずみがありますが
11:15
but listen and see if you can still
recognize認識する the music音楽.
188
663869
2836
それでも何の曲か
おわかりになると思います
11:19
(Audioオーディオ: "Maryメアリー Had a Little Lamb子羊")
189
667723
6223
(曲 『メリーさんのひつじ』)
11:37
And so, again, that sounds音 distorted歪,
190
685527
3465
音にひずみがあるにしても
11:40
but what's really amazing素晴らしい here
is that we were ableできる to do this
191
688992
4386
これが意味深いのは
家電量販店で買える
普通のカメラで
11:45
with something
that you could literally文字通り run走る out
192
693378
2626
このようなことが
できたということです
11:48
and pickピック up at a Bestベスト Buy購入.
193
696004
1444
11:51
So at this pointポイント,
194
699122
1363
ここまで ご覧頂いたことから
11:52
a lot of people see this work,
195
700485
1974
多くの人が思い浮かべるのは
11:54
and they immediatelyすぐに think
about surveillance監視.
196
702459
3413
スパイ活動でしょう
11:57
And to be fairフェア,
197
705872
2415
確かに誰かをスパイするために
この技術を使うというのは
12:00
it's not hardハード to imagine想像する how you mightかもしれない use
this technology技術 to spyスパイ on someone誰か.
198
708287
4133
容易に想像できることですが
12:04
But keep in mindマインド that there's already既に
a lot of very mature成熟した technology技術
199
712420
3947
考えてほしいのは
スパイ活動に関しては多くの成熟した技術が
すでに存在する
ということです
12:08
out there for surveillance監視.
200
716367
1579
12:09
In fact事実, people have been usingを使用して lasersレーザー
201
717946
2090
実際 盗聴のために 遠くから物に
レーザーを照射するというのは
12:12
to eavesdrop盗む on objectsオブジェクト
from a distance距離 for decades数十年.
202
720036
2799
何十年も前から
行われています
12:15
But what's really new新しい here,
203
723978
2025
私たちの技術が
本当に新しく
12:18
what's really different異なる,
204
726003
1440
違っている点は
12:19
is that now we have a way
to picture画像 the vibrations振動 of an objectオブジェクト,
205
727443
4295
物の振動を見る方法を
手に入れたということで
12:23
whichどの gives与える us a new新しい lensレンズ
throughを通して whichどの to look at the world世界,
206
731738
3413
これは世界を見る
新しいレンズになります
12:27
and we can use that lensレンズ
207
735151
1510
このレンズを使うと
12:28
to learn学ぶ not just about forces力 like sound音
that cause原因 an objectオブジェクト to vibrate振動する,
208
736661
4899
物を振動させる音のような力について
学べるだけでなく
12:33
but alsoまた、 about the objectオブジェクト itself自体.
209
741560
2288
物自体についても
学ぶことができます
12:36
And so I want to take a stepステップ back
210
744975
1693
ここで視野を広げて
12:38
and think about how that mightかもしれない change変化する
the ways方法 that we use videoビデオ,
211
746668
4249
これが私たちのビデオの使い方を
いかに変えうるかを考えてみましょう
12:42
because we usually通常 use videoビデオ
to look at things,
212
750917
3553
通常私たちは物を見るために
ビデオを使います
12:46
and I've just shown示された you how we can use it
213
754470
2322
それから音を聞くためにも
使えることを
12:48
to listen to things.
214
756792
1857
お見せしました
12:50
But there's another別の important重要 way
that we learn学ぶ about the world世界:
215
758649
3971
しかし私たちが世界について学ぶ重要な方法が
もう１つあります
12:54
that's by interacting相互作用する with it.
216
762620
2275
働きかけることによってです
12:56
We push押す and pull引く and pokeポーク and prod食べる things.
217
764895
3111
押したり 引いたり
つついたり 揺すったりして
13:00
We shake振る things and see what happens起こる.
218
768006
3181
何が起きるか見るのです
13:03
And that's something that videoビデオ
still won't〜されません let us do,
219
771187
4273
これはビデオでは
できないことです
13:07
at least少なくとも not traditionally伝統的に.
220
775460
2136
少なくとも
普通のビデオでは
13:09
So I want to showショー you some new新しい work,
221
777596
1950
これからお見せするのは
最新の研究で
13:11
and this is basedベース on an ideaアイディア I had
just a few少数 months数ヶ月 ago前,
222
779546
2667
ほんの２、３ヶ月前に思いついた
アイデアを元にしています
13:14
so this is actually実際に the first time
I've shown示された it to a publicパブリック audience聴衆.
223
782213
3301
公の場で見せるのは
これが初めてです
13:17
And the basic基本的な ideaアイディア is that we're going
to use the vibrations振動 in a videoビデオ
224
785514
5363
基本的なアイデアは
映像の中の振動をヒントに
13:22
to captureキャプチャー objectsオブジェクト in a way
that will let us interact相互作用する with them
225
790877
4481
物の性質を取り出して
働きかけて反応を見られるような
形にするということです
13:27
and see how they react反応する to us.
226
795358
1974
13:31
So here'sここにいる an objectオブジェクト,
227
799120
1764
これが対象とする物で
13:32
and in this case場合, it's a wire線 figure数字
in the shape形状 of a human人間,
228
800884
3832
人の形をした
針金人形です
13:36
and we're going to film膜 that objectオブジェクト
with just a regular定期的 cameraカメラ.
229
804716
3088
これを普通のカメラで
ビデオ撮影します
13:39
So there's nothing special特別
about this cameraカメラ.
230
807804
2124
カメラに特別なものは
使いません
13:41
In fact事実, I've actually実際に done完了 this
with my cell細胞 phone電話 before.
231
809928
2961
実際 以前は私の携帯電話を
使っていました
13:44
But we do want to see the objectオブジェクト vibrate振動する,
232
812889
2252
振動する様子を
見たいので
13:47
so to make that happen起こる,
233
815141
1133
撮影中に
13:48
we're just going to bang強打 a little bitビット
on the surface表面 where it's resting休む
234
816274
3346
人形が置かれている
台の上を
13:51
while we record記録 this videoビデオ.
235
819620
2138
ちょっと叩いてやります
これだけです
５秒間の普通のビデオで
13:59
So that's it: just five五 seconds秒
of regular定期的 videoビデオ,
236
827398
3671
14:03
while we bang強打 on this surface表面,
237
831069
2136
台を叩いています
14:05
and we're going to use
the vibrations振動 in that videoビデオ
238
833205
3513
この映像の中の
振動を使って
14:08
to learn学ぶ about the structural構造的
and material材料 propertiesプロパティ of our objectオブジェクト,
239
836718
4544
物の構造的・物質的な性質について
学ぼうというのです
14:13
and we're going to use that information情報
to create作成する something new新しい and interactiveインタラクティブ.
240
841262
4834
そしてその情報を使って
新たなインタラクティブな物を作ります
14:24
And so here'sここにいる what we've私たちは created作成した.
241
852866
2653
そうしてできたものが
これです
14:27
And it looks外見 like a regular定期的 image画像,
242
855519
2229
何の変哲もない
画像に見えますが
14:29
but this isn't an image画像,
and it's not a videoビデオ,
243
857748
3111
これは画像ではなく
ビデオでもありません
14:32
because now I can take my mouseマウス
244
860859
2368
この人形はマウスを使って
14:35
and I can start開始 interacting相互作用する
with the objectオブジェクト.
245
863227
2859
いじってやることが
できるんです
14:44
And so what you see here
246
872936
2357
ご覧頂いているのは
目にしたことのない
新しい働きかけに対して
14:47
is a simulationシミュレーション of how this objectオブジェクト
247
875389
2226
14:49
would respond応答する to new新しい forces力
that we've私たちは never seen見た before,
248
877615
4458
物がどう反応するかいう
シミュレーションです
14:54
and we created作成した it from just
five五 seconds秒 of regular定期的 videoビデオ.
249
882073
3633
これをたった５秒間の
普通のビデオから作ったんです
14:59
(Applause拍手)
250
887249
4715
(拍手)
15:09
And so this is a really powerful強力な
way to look at the world世界,
251
897421
3227
これは世界を見る
新しい強力な方法です
15:12
because it lets〜する us predict予測する
how objectsオブジェクト will respond応答する
252
900648
2972
新たな状況に対して
物がどう反応するかを
15:15
to new新しい situations状況,
253
903620
1823
予測することが
できるからです
15:17
and you could imagine想像する, for instanceインスタンス,
looking at an old古い bridgeブリッジ
254
905443
3473
たとえば古い橋を前にして
15:20
and wondering不思議 what would happen起こる,
how would that bridgeブリッジ holdホールド up
255
908916
3527
車で渡っても大丈夫か
分かりかねているという状況を
15:24
if I were to driveドライブ my car車 across横断する it.
256
912443
2833
想像できるでしょう
15:27
And that's a question質問
that you probably多分 want to answer回答
257
915276
2774
この質問の答えは
15:30
before you start開始 driving運転
across横断する that bridgeブリッジ.
258
918050
2560
橋を渡り始める前に
知りたいはずです
15:33
And of courseコース, there are going to be
limitations限界 to this technique技術,
259
921988
3272
もちろんこの手法にも
限界はあり
その点は視覚的マイクロフォンと
同じです
15:37
just like there were
with the visualビジュアル microphoneマイクロフォン,
260
925260
2462
15:39
but we found見つけた that it works作品
in a lot of situations状況
261
927722
3181
しかしこの方法は
予想以上に
多くの状況で使え
15:42
that you mightかもしれない not expect期待する,
262
930903
1875
15:44
especially特に if you give it longerより長いです videosビデオ.
263
932778
2768
長いビデオがある場合には
特にそうです
15:47
So for example例,
here'sここにいる a videoビデオ that I captured捕獲
264
935546
2508
たとえばこれは
私のアパートの前の
藪を撮したビデオで
15:50
of a bushブッシュ outside外側 of my apartmentアパート,
265
938054
2299
15:52
and I didn't do anything to this bushブッシュ,
266
940353
3088
私は藪に対して
何もしていません
15:55
but by capturing捕獲 a minute-long分の長さ videoビデオ,
267
943441
2705
しかし１分間
撮している間に
15:58
a gentle優しい breeze風 caused原因 enough十分な vibrations振動
268
946146
3378
やさしいそよ風が この藪について学ぶのに
十分な振動を生み出してくれ
16:01
that we could learn学ぶ enough十分な about this bushブッシュ
to create作成する this simulationシミュレーション.
269
949524
3587
このようなシミュレーションを
作れました
16:07
(Applause拍手)
270
955270
6142
(拍手)
16:13
And so you could imagine想像する giving与える this
to a film膜 directorディレクター,
271
961412
2972
この技術を手にした
映画監督は
16:16
and letting〜する him controlコントロール, say,
272
964384
1719
映像が撮影された後に
16:18
the strength力 and direction方向 of wind風
in a shotショット after it's been recorded記録された.
273
966103
4922
風の強さや向きを変えるのに
使うかもしれません
16:24
Or, in this case場合, we pointed尖った our cameraカメラ
at a hanging吊るす curtainカーテン,
274
972810
4535
こちらでは吊された
カーテンを撮していて
16:29
and you can't even see
any motionモーション in this videoビデオ,
275
977345
4129
動きは見られませんが
２分のビデオがあれば
16:33
but by recording録音 a two-minute-long2分長 videoビデオ,
276
981474
2925
16:36
naturalナチュラル air空気 currents電流 in this roomルーム
277
984399
2438
室内の自然な空気の
対流で生じた
16:38
created作成した enough十分な subtle微妙,
imperceptible知覚できない motions動き and vibrations振動
278
986837
4412
気付かないような
微かな動きや振動から
16:43
that we could learn学ぶ enough十分な
to create作成する this simulationシミュレーション.
279
991249
2565
シミュレーションを作るのに
十分な情報が得られます
16:48
And ironically皮肉なことに,
280
996243
2366
このようなインタラクティブなものは
16:50
we're kind種類 of used to having持つ
this kind種類 of interactivityインタラクティブ性
281
998609
3088
ビデオゲームや3Dモデルの中の
16:53
when it comes来る to virtualバーチャル objectsオブジェクト,
282
1001697
2647
架空の物として
16:56
when it comes来る to videoビデオ gamesゲーム
and 3D modelsモデル,
283
1004344
3297
見慣れていると思いますが
16:59
but to be ableできる to captureキャプチャー this information情報
from realリアル objectsオブジェクト in the realリアル world世界
284
1007641
4404
現実の世界の実際の物から
普通のビデオ映像を使って
17:04
usingを使用して just simple単純, regular定期的 videoビデオ,
285
1012045
2817
このような情報を
引き出すというのは
17:06
is something new新しい that has
a lot of potential潜在的な.
286
1014862
2183
新しいことであり
大きな可能性があります
17:10
So here are the amazing素晴らしい people
who worked働いた with me on these projectsプロジェクト.
287
1018410
4904
このプロジェクトに一緒に取り組んでいる
素晴らしい仲間たちです
17:16
(Applause拍手)
288
1024057
5596
(拍手)
17:24
And what I've shown示された you today今日
is only the beginning始まり.
289
1032819
3057
今日お見せしたものは
始まりにすぎません
17:27
We've私たちは just started開始した to scratchスクラッチ the surface表面
290
1035876
2113
私たちはこのような映像技術で
可能になることの
17:29
of what you can do
with this kind種類 of imagingイメージング,
291
1037989
2972
ほんの表面に
触れたに過ぎません
17:32
because it gives与える us a new新しい way
292
1040961
2286
この技術は 誰でも
手に入れられる道具だけで
17:35
to captureキャプチャー our surroundings周囲
with common一般, accessibleアクセス可能な technology技術.
293
1043342
4724
周りの世界の違った見方を
可能にしてくれるからです
17:40
And so looking to the future未来,
294
1048066
1929
この先 この技術が
17:41
it's going to be
really excitingエキサイティング to explore探検する
295
1049995
2037
世界について教えてくれることを
探求していくのは
17:44
what this can tell us about the world世界.
296
1052032
1856
本当に心躍ることだと
思います
17:46
Thank you.
297
1054381
1204
ありがとうございました
17:47
(Applause拍手)
298
1055610
6107
(拍手)
Translated by Yasushi Aoki
Reviewed by Claire Ghyselen

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM