TED2015
Abe Davis: New video technology that reveals an object's hidden properties
エイブ・デイヴィス: 物の隠れた性質を解き明かす新しい映像技術
Filmed:
Readability: 4.3
1,482,525 views
音が物に引き起こす小さな振動をはじめ、私たちの周りでは微細な動きが絶えず起きています。最近の技術は、見たところ動きのない物の映像からそのような振動を拾い出し音や会話を復元することを可能にしていますが、エイブ・デイヴィスはそれをさらに１歩進めています。何の変哲もないビデオから物の隠れた性質を対話的に探れるソフトウェアのデモを是非ご覧ください。
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
私たちはみんな動きというのは
見えるものだと思っています
見えるものだと思っています
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
私がステージの上を歩き
話しながら身振り手振りをする
話しながら身振り手振りをする
00:22
that motion is something that you can see.
2
10977
2261
そのような動きは
目に見えるものです
目に見えるものです
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
しかしあまりに小さくて人の目には留まらない
重要な動きの世界があります
重要な動きの世界があります
00:31
and over the past few years,
4
19737
2041
この何年か私たちは
00:33
we've started to find that cameras
5
21778
1997
そういった動きが
人の目には見えなくとも
人の目には見えなくとも
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
カメラなら捉えられることに
注意を払うようになりました
注意を払うようになりました
00:40
So let me show you what I mean.
7
28305
1551
どういうことか
説明しましょう
説明しましょう
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
左側は人の手の映像で
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
右側は眠っている
赤ちゃんの映像です
赤ちゃんの映像です
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
しかし もし私が
ビデオだと言わなければ
ビデオだと言わなければ
皆さん写真を見ているのだと
思ったことでしょう
思ったことでしょう
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
どちらの映像にも
00:56
because in both cases,
12
44393
1672
ほとんど動きがないからです
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
それでもここには
沢山の微細な動きがあります
沢山の微細な動きがあります
左側の人の
手首に触れてみたなら
手首に触れてみたなら
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
01:08
you would feel a pulse,
16
56452
1996
脈を感じるだろうし
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
右側の赤ちゃんを
抱きかかえたなら
抱きかかえたなら
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
呼吸に応じて赤ちゃんの胸が
上下するのを
上下するのを
01:15
as she took each breath.
19
63324
1390
感じられることでしょう
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
これらの動きは
大切なものですが
大切なものですが
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
あまりに小さくて
見ただけでは分からないため
見ただけでは分からないため
01:24
so instead, we have to observe them
22
72681
2276
手で直に触って
01:26
through direct contact, through touch.
23
74957
2900
感じ取る必要があるのです
01:30
But a few years ago,
24
78997
1265
しかし数年前に
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
MITの同僚が「モーション・マイクロスコープ」
というのを作りました
というのを作りました
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
映像の中の このような小さな動きを
検出して拡大し
検出して拡大し
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
目で見て分かるようにする
ソフトウェアです
ソフトウェアです
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
そのソフトウェアを
左の映像に使うと
左の映像に使うと
01:48
it lets us see the pulse in this wrist,
29
96899
3250
手首の脈動が
目に見えるようになり
目に見えるようになり
01:52
and if we were to count that pulse,
30
100149
1695
脈を数えて
心拍数を測定する
ことだってできます
ことだってできます
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
そのソフトウェアを
右の映像に使ったなら
右の映像に使ったなら
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
赤ちゃんのする呼吸が
目に見えるようになり
目に見えるようになり
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
触れることなく赤ちゃんの呼吸の状況を
モニタできるようになります
モニタできるようになります
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
これはとても
強力な技術です
強力な技術です
通常は触れなければ
分からない現象を
分からない現象を
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
接触せずに視覚だけで
捉えられるからです
捉えられるからです
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
２年ほど前から私は このソフトウェアを
考案した人たちと共同で研究するようになり
考案した人たちと共同で研究するようになり
02:25
and we decided to pursue a crazy idea.
39
133515
3367
奇想天外なアイデアに
挑戦することにしました
挑戦することにしました
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
このソフトウェアで
02:31
to visualize tiny motions like this,
41
139575
3135
小さな動きを可視化して
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
あたかも触覚が拡張されたかのように
できるのはすごいけど
できるのはすごいけど
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
これを聴覚にも適用できないだろうか
と思ったのです
と思ったのです
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
音による振動というのもまた
一種の動きなのだから
02:49
which are just another kind of motion,
45
157173
2827
それを捉えて目に付くものすべてを
マイクに変えてしまうことはできないか？
マイクに変えてしまうことはできないか？
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
02:56
Now, this is a bit of a strange idea,
47
164236
1971
これはちょっと奇妙な
アイデアなので
アイデアなので
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
分かるように
説明しましょう
説明しましょう
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
普通のマイクというのは
中にある振動板の動きを
中にある振動板の動きを
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
電気信号に変換する
仕組みになっています
仕組みになっています
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
振動板は音に敏感に反応して
動くようにデザインされていて
動くようにデザインされていて
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
その動きを音として解釈し
記録できるようになっています
記録できるようになっています
しかし音はどんな物でも
振動させます
振動させます
03:17
But sound causes all objects to vibrate.
53
185735
3668
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
ただそういった振動はあまりに小さく速いため
目に見えないだけです
目に見えないだけです
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
この振動を
高速度カメラで撮影して
高速度カメラで撮影して
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
ソフトウェアで
その小さな動きを取り出し
その小さな動きを取り出し
03:34
from our high-speed video,
57
202197
2090
分析することで
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
その振動を作り出したのがどんな音か
知ることはできないだろうか？
知ることはできないだろうか？
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
それができれば 離れたところにあるものを
視覚的なマイクへと変えることができます
視覚的なマイクへと変えることができます
03:49
And so we tried this out,
60
217080
2183
それで試してみました
ご覧頂くのは
行った実験の１つで
行った実験の１つで
03:51
and here's one of our experiments,
61
219263
1927
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
右の鉢植えの植物を
03:56
and we filmed it with a high-speed camera
63
224139
2438
高速度カメラで
撮影しながら
撮影しながら
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
近くに置いたスピーカーで
こんな音を流しました
こんな音を流しました
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(曲 『メリーさんのひつじ』)
04:11
And so here's the video that we recorded,
66
239820
2824
これが撮影したビデオで
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
毎秒数千フレームで
撮っていますが
撮っていますが
04:18
but even if you look very closely,
68
246568
2322
目をこらしてみても
04:20
all you'll see are some leaves
69
248890
1951
ただ葉っぱが
じっとしているようにしか
じっとしているようにしか
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
見えないでしょう
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
音による葉っぱの動きは
１ミクロン程度だからです
１ミクロン程度だからです
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
１センチの１万分の１です
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
この映像で１ピクセルの
百分の１から千分の１の間
百分の１から千分の１の間
04:39
of a pixel in this image.
74
267535
2299
というところです
04:41
So you can squint all you want,
75
269881
2887
だからいくら
目をこらしたところで
目をこらしたところで
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
そのような小さな動きは
目では捉えられないのです
目では捉えられないのです
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
しかし知覚的には
感知できなくとも
感知できなくとも
04:53
and still be numerically significant,
78
281824
2809
数値的には
有意な変化があり
有意な変化があり
04:56
because with the right algorithms,
79
284633
2002
適切なアルゴリズムを使えば
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
この静止しているようにしか
見えない映像から
見えない映像から
このような音を
取り出すことができます
取り出すことができます
05:02
and we can recover this sound.
81
290322
1527
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(曲 『メリーさんのひつじ』)
05:12
(Applause)
83
300074
5828
(拍手)
05:22
So how is this possible?
84
310058
1939
どうしてそんなことが
可能なのか？
可能なのか？
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
そんな小さな動きからどうやって
これほど多くの情報を取り出せるのか？
これほど多くの情報を取り出せるのか？
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
葉っぱの動きが
ちょうど１ミクロンで
ちょうど１ミクロンで
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
映像の中の動きは
千分の１ピクセルだったとしましょう
千分の１ピクセルだったとしましょう
05:39
That may not seem like much,
88
327269
2572
これは わずかなものに
見えますが
見えますが
05:41
but a single frame of video
89
329841
1996
ビデオの１フレームの中には
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
何十万というピクセルがあり
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
そういった小さな動きを
05:50
from across that entire image,
92
338548
2298
映像全体から集めれば
05:52
then suddenly a thousandth of a pixel
93
340846
2623
千分の１ピクセルが
積み重なって
積み重なって
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
十分大きなものになるのです
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
個人的なことですが このことを発見した時には
すごく興奮しましたね
すごく興奮しましたね
06:02
(Laughter)
96
350505
2320
(笑)
06:04
But even with the right algorithm,
97
352825
3253
優れたアルゴリズムはありましたが
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
パズルの重要なピースが
まだ欠けていました
まだ欠けていました
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
この手法がうまくいくかに
影響する要因は
影響する要因は
06:15
this technique will work.
100
363299
1997
たくさんあります
06:17
There's the object and how far away it is;
101
365296
3204
対象がどんな物で
どれくらい離れているか
どれくらい離れているか
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
どんなカメラや
レンズを使うか
レンズを使うか
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
物に当てる光の強さや
音の大きさはどれくらいか
音の大きさはどれくらいか
06:27
And even with the right algorithm,
104
375945
3375
そしてアルゴリズムは
優れているにしても
優れているにしても
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
初期の実験はすごく
慎重にやる必要がありました
慎重にやる必要がありました
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
そういった要因の
何か１つでもまずいと
何か１つでもまずいと
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
何が悪かったのかも分からず
06:39
We would just get noise back.
108
387470
2647
ただノイズが
出てくるだけだからです
出てくるだけだからです
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
ですから初期の実験は
このような設定で行ったのです
このような設定で行ったのです
06:45
And so here I am,
110
393437
2206
私が写っています
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
左下に高速度カメラが
設置されていて
設置されていて
06:51
which is pointed at a bag of chips,
112
399683
2183
ポテトチップの袋に
向けられています
向けられています
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
そして全体が明るい照明で
照らされています
照らされています
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
申し上げたように初期の実験は
非常に慎重を期して進めました
非常に慎重を期して進めました
07:01
so this is how it went down.
115
409180
2508
これがその様子です
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(男性の声) ３ ２ １ ハイ
(デイヴィスが大声で) メリーさんの
ヒツジ ヒツジ ヒツジ
ヒツジ ヒツジ ヒツジ
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
07:12
(Laughter)
118
420836
4500
(笑)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
ご覧のように
馬鹿みたいに見える実験でした
馬鹿みたいに見える実験でした
07:20
(Laughter)
120
428150
1788
(笑)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
私がポテトチップの袋に向かって
大声を張り上げています
大声を張り上げています
07:24
(Laughter) --
122
432283
1551
(笑)
07:25
and we're blasting it with so much light,
123
433834
2117
おまけにすごく強い照明を
当てていたので
当てていたので
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
最初のポテトチップの袋は
熱で文字通り溶けてしまいました (笑)
熱で文字通り溶けてしまいました (笑)
しかし いかに馬鹿みたいに
見えようとも
見えようとも
07:32
But ridiculous as this experiment looks,
125
440525
3274
この実験はとても
重要なものでした
重要なものでした
07:35
it was actually really important,
126
443799
1788
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
このような音を取り出すことに
成功したからです
成功したからです
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:45
(Applause)
129
453225
4088
(拍手)
07:49
AD: And this was really significant,
130
457313
1881
とても重要な瞬間でした
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
物を撮した
音声のない映像から
音声のない映像から
聞き取れる人の声を
初めて復元できたからです
初めて復元できたからです
07:55
from silent video of an object.
132
463424
2341
07:57
And so it gave us this point of reference,
133
465765
2391
この実験を基準点として
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
私たちはいろいろ変化をつけた
実験を始めました
実験を始めました
異なる物を使う
物をもっと離れたところに置く
物をもっと離れたところに置く
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
08:07
using less light or quieter sounds.
136
475911
2770
光を弱くする
音を小さくする
音を小さくする
08:11
And we analyzed all of these experiments
137
479887
2874
そういった実験の結果を
分析して
分析して
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
この手法の限界を
見極めました
見極めました
08:18
because once we understood those limits,
139
486383
1950
ひとたび限界が分かれば
08:20
we could figure out how to push them.
140
488333
2346
どう押し広げられるかも
分かるからです
分かるからです
08:22
And that led to experiments like this one,
141
490679
3181
そうやってこんな実験に
たどり着きました
たどり着きました
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
ここでもポテトチップの袋に向けて
音を流しますが
音を流しますが
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
今回はカメラが
５メートル離れていて
５メートル離れていて
08:33
outside, behind a soundproof window,
144
501429
2833
防音ガラスの
背後にあります
背後にあります
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
照らしている光も
自然の太陽光です
自然の太陽光です
08:40
And so here's the video that we captured.
146
508529
2155
ご覧いただいているのが
撮影した映像です
撮影した映像です
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
そしてこれが部屋の中で
ポテトチップの袋の横で流していた音です
ポテトチップの袋の横で流していた音です
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
Mary had a little lamb whose fleece was white as snow,
(メリーさんは小さな羊を飼っていた 雪のように白い毛をして)
(メリーさんは小さな羊を飼っていた 雪のように白い毛をして)
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
and everywhere that Mary went, that lamb was sure to go.
(メリーさんの行くところは どこにでも付いてきた)
(メリーさんの行くところは どこにでも付いてきた)
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
そしてこれが
窓の背後から撮した
窓の背後から撮した
無音の映像から
取り出した音声です
取り出した音声です
09:03
captured outside behind that window.
151
531683
2345
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
09:15
(Applause)
154
543920
6501
(拍手)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
限界を押し広げる方法は
他にもあります
他にもあります
09:25
So here's a quieter experiment
156
553963
1798
こちらはもっと静かな実験で
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
ノートPCに繋いだ
イヤホンを撮しています
イヤホンを撮しています
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
この時の目標は
２つの小さなプラスチック製イヤホンを撮した
無音の映像から
無音の映像から
09:35
from just silent video
159
563981
2299
かけている曲を復元する
ということでした
ということでした
09:38
of these two little plastic earphones,
160
566280
2507
09:40
and we were able to do this so well
161
568787
2183
これはすごく
うまくいって
うまくいって
結果から曲名を
Shazamで当てることさえできました
Shazamで当てることさえできました
09:42
that I could even Shazam our results.
162
570970
2461
09:45
(Laughter)
163
573431
2411
(笑)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(曲 クイーン 『アンダー・プレッシャー』)
(拍手)
10:01
(Applause)
165
589615
4969
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
使用するハードウェアという点でも
限界を押し広げることができます
限界を押し広げることができます
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
ここまで ご覧頂いた実験は
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
どれも高速度カメラを使っていて
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
これは通常携帯についている
カメラよりも
カメラよりも
10:18
than most cell phones,
170
606797
1927
100倍高速に
撮影することができます
撮影することができます
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
しかし私たちは
普通のカメラで
普通のカメラで
10:23
with more regular cameras,
172
611533
2230
この手法を使う方法も
見つけました
見つけました
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
ローリングシャッターと呼ばれる技術を
利用しています
利用しています
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
多くのカメラは
画像を１行ずつ記録しています
画像を１行ずつ記録しています
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
１枚の画像の記録中に
撮影対象が動くと
撮影対象が動くと
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
各行に時間的な
ズレがあるため
ズレがあるため
10:43
and this causes slight artifacts
177
631061
3157
ビデオの各フレームに
小さなゆがみが
記録されることになります
記録されることになります
10:46
that get coded into each frame of a video.
178
634218
3483
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
このゆがみを分析したところ
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
アルゴリズムを改良すれば
そこから音を復元できることが分かりました
そこから音を復元できることが分かりました
10:58
So here's an experiment we did
181
646122
1912
これが行った実験で
11:00
where we filmed a bag of candy
182
648034
1695
キャンディの袋を撮し
11:01
while a nearby loudspeaker played
183
649729
1741
横では同じ『メリーさんのひつじ』を
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
スピーカーで流していますが
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
今回は お店で買える
普通のカメラを使っています
普通のカメラを使っています
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
これから取り出した音を
お聞かせします
お聞かせします
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
音にひずみがありますが
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
それでも何の曲か
おわかりになると思います
おわかりになると思います
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(曲 『メリーさんのひつじ』)
11:37
And so, again, that sounds distorted,
190
685527
3465
音にひずみがあるにしても
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
これが意味深いのは
家電量販店で買える
普通のカメラで
普通のカメラで
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
このようなことが
できたということです
できたということです
11:48
and pick up at a Best Buy.
193
696004
1444
11:51
So at this point,
194
699122
1363
ここまで ご覧頂いたことから
11:52
a lot of people see this work,
195
700485
1974
多くの人が思い浮かべるのは
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
スパイ活動でしょう
11:57
And to be fair,
197
705872
2415
確かに誰かをスパイするために
この技術を使うというのは
この技術を使うというのは
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
容易に想像できることですが
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
考えてほしいのは
スパイ活動に関しては多くの成熟した技術が
スパイ活動に関しては多くの成熟した技術が
すでに存在する
ということです
ということです
12:08
out there for surveillance.
200
716367
1579
12:09
In fact, people have been using lasers
201
717946
2090
実際 盗聴のために 遠くから物に
レーザーを照射するというのは
レーザーを照射するというのは
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
何十年も前から
行われています
行われています
12:15
But what's really new here,
203
723978
2025
私たちの技術が
本当に新しく
本当に新しく
12:18
what's really different,
204
726003
1440
違っている点は
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
物の振動を見る方法を
手に入れたということで
手に入れたということで
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
これは世界を見る
新しいレンズになります
新しいレンズになります
12:27
and we can use that lens
207
735151
1510
このレンズを使うと
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
物を振動させる音のような力について
学べるだけでなく
学べるだけでなく
12:33
but also about the object itself.
209
741560
2288
物自体についても
学ぶことができます
学ぶことができます
12:36
And so I want to take a step back
210
744975
1693
ここで視野を広げて
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
これが私たちのビデオの使い方を
いかに変えうるかを考えてみましょう
いかに変えうるかを考えてみましょう
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
通常私たちは物を見るために
ビデオを使います
ビデオを使います
12:46
and I've just shown you how we can use it
213
754470
2322
それから音を聞くためにも
使えることを
使えることを
12:48
to listen to things.
214
756792
1857
お見せしました
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
しかし私たちが世界について学ぶ重要な方法が
もう１つあります
もう１つあります
12:54
that's by interacting with it.
216
762620
2275
働きかけることによってです
12:56
We push and pull and poke and prod things.
217
764895
3111
押したり 引いたり
つついたり 揺すったりして
つついたり 揺すったりして
13:00
We shake things and see what happens.
218
768006
3181
何が起きるか見るのです
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
これはビデオでは
できないことです
できないことです
13:07
at least not traditionally.
220
775460
2136
少なくとも
普通のビデオでは
普通のビデオでは
13:09
So I want to show you some new work,
221
777596
1950
これからお見せするのは
最新の研究で
最新の研究で
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
ほんの２、３ヶ月前に思いついた
アイデアを元にしています
アイデアを元にしています
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
公の場で見せるのは
これが初めてです
これが初めてです
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
基本的なアイデアは
映像の中の振動をヒントに
映像の中の振動をヒントに
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
物の性質を取り出して
働きかけて反応を見られるような
形にするということです
形にするということです
13:27
and see how they react to us.
226
795358
1974
13:31
So here's an object,
227
799120
1764
これが対象とする物で
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
人の形をした
針金人形です
針金人形です
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
これを普通のカメラで
ビデオ撮影します
ビデオ撮影します
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
カメラに特別なものは
使いません
使いません
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
実際 以前は私の携帯電話を
使っていました
使っていました
13:44
But we do want to see the object vibrate,
232
812889
2252
振動する様子を
見たいので
見たいので
13:47
so to make that happen,
233
815141
1133
撮影中に
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
人形が置かれている
台の上を
台の上を
13:51
while we record this video.
235
819620
2138
ちょっと叩いてやります
これだけです
５秒間の普通のビデオで
５秒間の普通のビデオで
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
14:03
while we bang on this surface,
237
831069
2136
台を叩いています
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
この映像の中の
振動を使って
振動を使って
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
物の構造的・物質的な性質について
学ぼうというのです
学ぼうというのです
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
そしてその情報を使って
新たなインタラクティブな物を作ります
新たなインタラクティブな物を作ります
14:24
And so here's what we've created.
241
852866
2653
そうしてできたものが
これです
これです
14:27
And it looks like a regular image,
242
855519
2229
何の変哲もない
画像に見えますが
画像に見えますが
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
これは画像ではなく
ビデオでもありません
ビデオでもありません
14:32
because now I can take my mouse
244
860859
2368
この人形はマウスを使って
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
いじってやることが
できるんです
できるんです
14:44
And so what you see here
246
872936
2357
ご覧頂いているのは
目にしたことのない
新しい働きかけに対して
新しい働きかけに対して
14:47
is a simulation of how this object
247
875389
2226
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
物がどう反応するかいう
シミュレーションです
シミュレーションです
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
これをたった５秒間の
普通のビデオから作ったんです
普通のビデオから作ったんです
14:59
(Applause)
250
887249
4715
(拍手)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
これは世界を見る
新しい強力な方法です
新しい強力な方法です
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
新たな状況に対して
物がどう反応するかを
物がどう反応するかを
15:15
to new situations,
253
903620
1823
予測することが
できるからです
できるからです
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
たとえば古い橋を前にして
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
車で渡っても大丈夫か
分かりかねているという状況を
分かりかねているという状況を
15:24
if I were to drive my car across it.
256
912443
2833
想像できるでしょう
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
この質問の答えは
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
橋を渡り始める前に
知りたいはずです
知りたいはずです
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
もちろんこの手法にも
限界はあり
限界はあり
その点は視覚的マイクロフォンと
同じです
同じです
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
しかしこの方法は
予想以上に
多くの状況で使え
多くの状況で使え
15:42
that you might not expect,
262
930903
1875
15:44
especially if you give it longer videos.
263
932778
2768
長いビデオがある場合には
特にそうです
特にそうです
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
たとえばこれは
私のアパートの前の
藪を撮したビデオで
藪を撮したビデオで
15:50
of a bush outside of my apartment,
265
938054
2299
15:52
and I didn't do anything to this bush,
266
940353
3088
私は藪に対して
何もしていません
何もしていません
15:55
but by capturing a minute-long video,
267
943441
2705
しかし１分間
撮している間に
撮している間に
15:58
a gentle breeze caused enough vibrations
268
946146
3378
やさしいそよ風が この藪について学ぶのに
十分な振動を生み出してくれ
十分な振動を生み出してくれ
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
このようなシミュレーションを
作れました
作れました
16:07
(Applause)
270
955270
6142
(拍手)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
この技術を手にした
映画監督は
映画監督は
16:16
and letting him control, say,
272
964384
1719
映像が撮影された後に
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
風の強さや向きを変えるのに
使うかもしれません
使うかもしれません
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
こちらでは吊された
カーテンを撮していて
カーテンを撮していて
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
動きは見られませんが
２分のビデオがあれば
16:33
but by recording a two-minute-long video,
276
981474
2925
16:36
natural air currents in this room
277
984399
2438
室内の自然な空気の
対流で生じた
対流で生じた
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
気付かないような
微かな動きや振動から
微かな動きや振動から
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
シミュレーションを作るのに
十分な情報が得られます
十分な情報が得られます
16:48
And ironically,
280
996243
2366
このようなインタラクティブなものは
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
ビデオゲームや3Dモデルの中の
16:53
when it comes to virtual objects,
282
1001697
2647
架空の物として
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
見慣れていると思いますが
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
現実の世界の実際の物から
普通のビデオ映像を使って
普通のビデオ映像を使って
17:04
using just simple, regular video,
285
1012045
2817
このような情報を
引き出すというのは
引き出すというのは
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
新しいことであり
大きな可能性があります
大きな可能性があります
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
このプロジェクトに一緒に取り組んでいる
素晴らしい仲間たちです
素晴らしい仲間たちです
17:16
(Applause)
288
1024057
5596
(拍手)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
今日お見せしたものは
始まりにすぎません
始まりにすぎません
17:27
We've just started to scratch the surface
290
1035876
2113
私たちはこのような映像技術で
可能になることの
可能になることの
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
ほんの表面に
触れたに過ぎません
触れたに過ぎません
17:32
because it gives us a new way
292
1040961
2286
この技術は 誰でも
手に入れられる道具だけで
手に入れられる道具だけで
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
周りの世界の違った見方を
可能にしてくれるからです
可能にしてくれるからです
17:40
And so looking to the future,
294
1048066
1929
この先 この技術が
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
世界について教えてくれることを
探求していくのは
探求していくのは
17:44
what this can tell us about the world.
296
1052032
1856
本当に心躍ることだと
思います
思います
17:46
Thank you.
297
1054381
1204
ありがとうございました
17:47
(Applause)
298
1055610
6107
(拍手)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com