English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2015

Abe Davis: New video technology that reveals an object's hidden properties

エイブ・デイヴィス: 物の隠れた性質を解き明かす新しい映像技術

Filmed
Views 1,393,750

音が物に引き起こす小さな振動をはじめ、私たちの周りでは微細な動きが絶えず起きています。最近の技術は、見たところ動きのない物の映像からそのような振動を拾い出し音や会話を復元することを可能にしていますが、エイブ・デイヴィスはそれをさらに1歩進めています。何の変哲もないビデオから物の隠れた性質を対話的に探れるソフトウェアのデモを是非ご覧ください。

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Most of us think of motion
as a very visual thing.
私たちはみんな動きというのは
見えるものだと思っています
00:13
If I walk across this stage
or gesture with my hands while I speak,
私がステージの上を歩き
話しながら身振り手振りをする
00:17
that motion is something that you can see.
そのような動きは
目に見えるものです
00:22
But there's a world of important motion
that's too subtle for the human eye,
しかしあまりに小さくて人の目には留まらない
重要な動きの世界があります
00:26
and over the past few years,
この何年か私たちは
00:31
we've started to find that cameras
そういった動きが
人の目には見えなくとも
00:33
can often see this motion
even when humans can't.
カメラなら捉えられることに
注意を払うようになりました
00:35
So let me show you what I mean.
どういうことか
説明しましょう
00:40
On the left here, you see video
of a person's wrist,
左側は人の手の映像で
00:42
and on the right, you see video
of a sleeping infant,
右側は眠っている
赤ちゃんの映像です
00:46
but if I didn't tell you
that these were videos,
しかし もし私が
ビデオだと言わなければ
00:49
you might assume that you were looking
at two regular images,
皆さん写真を見ているのだと
思ったことでしょう
00:52
because in both cases,
どちらの映像にも
00:56
these videos appear to be
almost completely still.
ほとんど動きがないからです
00:58
But there's actually a lot
of subtle motion going on here,
それでもここには
沢山の微細な動きがあります
01:02
and if you were to touch
the wrist on the left,
左側の人の
手首に触れてみたなら
01:06
you would feel a pulse,
脈を感じるだろうし
01:08
and if you were to hold
the infant on the right,
右側の赤ちゃんを
抱きかかえたなら
01:10
you would feel the rise
and fall of her chest
呼吸に応じて赤ちゃんの胸が
上下するのを
01:12
as she took each breath.
感じられることでしょう
01:15
And these motions carry
a lot of significance,
これらの動きは
大切なものですが
01:17
but they're usually
too subtle for us to see,
あまりに小さくて
見ただけでは分からないため
01:21
so instead, we have to observe them
手で直に触って
01:24
through direct contact, through touch.
感じ取る必要があるのです
01:26
But a few years ago,
しかし数年前に
01:30
my colleagues at MIT developed
what they call a motion microscope,
MITの同僚が「モーション・マイクロスコープ」
というのを作りました
01:32
which is software that finds
these subtle motions in video
映像の中の このような小さな動きを
検出して拡大し
01:36
and amplifies them so that they
become large enough for us to see.
目で見て分かるようにする
ソフトウェアです
01:41
And so, if we use their software
on the left video,
そのソフトウェアを
左の映像に使うと
01:45
it lets us see the pulse in this wrist,
手首の脈動が
目に見えるようになり
01:48
and if we were to count that pulse,
脈を数えて
01:52
we could even figure out
this person's heart rate.
心拍数を測定する
ことだってできます
01:53
And if we used the same software
on the right video,
そのソフトウェアを
右の映像に使ったなら
01:57
it lets us see each breath
that this infant takes,
赤ちゃんのする呼吸が
目に見えるようになり
02:00
and we can use this as a contact-free way
to monitor her breathing.
触れることなく赤ちゃんの呼吸の状況を
モニタできるようになります
02:03
And so this technology is really powerful
because it takes these phenomena
これはとても
強力な技術です
02:08
that we normally have
to experience through touch
通常は触れなければ
分からない現象を
02:14
and it lets us capture them visually
and non-invasively.
接触せずに視覚だけで
捉えられるからです
02:16
So a couple years ago, I started working
with the folks that created that software,
2年ほど前から私は このソフトウェアを
考案した人たちと共同で研究するようになり
02:21
and we decided to pursue a crazy idea.
奇想天外なアイデアに
挑戦することにしました
02:25
We thought, it's cool
that we can use software
このソフトウェアで
02:28
to visualize tiny motions like this,
小さな動きを可視化して
02:31
and you can almost think of it
as a way to extend our sense of touch.
あたかも触覚が拡張されたかのように
できるのはすごいけど
02:34
But what if we could do the same thing
with our ability to hear?
これを聴覚にも適用できないだろうか
と思ったのです
02:39
What if we could use video
to capture the vibrations of sound,
音による振動というのもまた
02:44
which are just another kind of motion,
一種の動きなのだから
02:49
and turn everything that we see
into a microphone?
それを捉えて目に付くものすべてを
マイクに変えてしまうことはできないか?
02:52
Now, this is a bit of a strange idea,
これはちょっと奇妙な
アイデアなので
02:56
so let me try to put it
in perspective for you.
分かるように
説明しましょう
02:58
Traditional microphones
work by converting the motion
普通のマイクというのは
中にある振動板の動きを
03:01
of an internal diaphragm
into an electrical signal,
電気信号に変換する
仕組みになっています
03:05
and that diaphragm is designed
to move readily with sound
振動板は音に敏感に反応して
動くようにデザインされていて
03:08
so that its motion can be recorded
and interpreted as audio.
その動きを音として解釈し
記録できるようになっています
03:12
But sound causes all objects to vibrate.
しかし音はどんな物でも
振動させます
03:17
Those vibrations are just usually
too subtle and too fast for us to see.
ただそういった振動はあまりに小さく速いため
目に見えないだけです
03:21
So what if we record them
with a high-speed camera
この振動を
高速度カメラで撮影して
03:26
and then use software
to extract tiny motions
ソフトウェアで
その小さな動きを取り出し
03:30
from our high-speed video,
分析することで
03:34
and analyze those motions to figure out
what sounds created them?
その振動を作り出したのがどんな音か
知ることはできないだろうか?
03:36
This would let us turn visible objects
into visual microphones from a distance.
それができれば 離れたところにあるものを
視覚的なマイクへと変えることができます
03:41
And so we tried this out,
それで試してみました
03:49
and here's one of our experiments,
ご覧頂くのは
行った実験の1つで
03:51
where we took this potted plant
that you see on the right
右の鉢植えの植物を
03:53
and we filmed it with a high-speed camera
高速度カメラで
撮影しながら
03:56
while a nearby loudspeaker
played this sound.
近くに置いたスピーカーで
こんな音を流しました
03:58
(Music: "Mary Had a Little Lamb")
(曲 『メリーさんのひつじ』)
04:02
And so here's the video that we recorded,
これが撮影したビデオで
04:11
and we recorded it at thousands
of frames per second,
毎秒数千フレームで
撮っていますが
04:14
but even if you look very closely,
目をこらしてみても
04:18
all you'll see are some leaves
ただ葉っぱが
じっとしているようにしか
04:20
that are pretty much
just sitting there doing nothing,
見えないでしょう
04:22
because our sound only moved those leaves
by about a micrometer.
音による葉っぱの動きは
1ミクロン程度だからです
04:25
That's one ten-thousandth of a centimeter,
1センチの1万分の1です
04:31
which spans somewhere between
a hundredth and a thousandth
この映像で1ピクセルの
百分の1から千分の1の間
04:35
of a pixel in this image.
というところです
04:39
So you can squint all you want,
だからいくら
目をこらしたところで
04:41
but motion that small is pretty much
perceptually invisible.
そのような小さな動きは
目では捉えられないのです
04:44
But it turns out that something
can be perceptually invisible
しかし知覚的には
感知できなくとも
04:49
and still be numerically significant,
数値的には
有意な変化があり
04:53
because with the right algorithms,
適切なアルゴリズムを使えば
04:56
we can take this silent,
seemingly still video
この静止しているようにしか
見えない映像から
04:58
and we can recover this sound.
このような音を
取り出すことができます
05:02
(Music: "Mary Had a Little Lamb")
(曲 『メリーさんのひつじ』)
05:04
(Applause)
(拍手)
05:12
So how is this possible?
どうしてそんなことが
可能なのか?
05:22
How can we get so much information
out of so little motion?
そんな小さな動きからどうやって
これほど多くの情報を取り出せるのか?
05:23
Well, let's say that those leaves
move by just a single micrometer,
葉っぱの動きが
ちょうど1ミクロンで
05:28
and let's say that that shifts our image
by just a thousandth of a pixel.
映像の中の動きは
千分の1ピクセルだったとしましょう
05:33
That may not seem like much,
これは わずかなものに
見えますが
05:39
but a single frame of video
ビデオの1フレームの中には
05:41
may have hundreds of thousands
of pixels in it,
何十万というピクセルがあり
05:43
and so if we combine all
of the tiny motions that we see
そういった小さな動きを
05:47
from across that entire image,
映像全体から集めれば
05:50
then suddenly a thousandth of a pixel
千分の1ピクセルが
積み重なって
05:52
can start to add up
to something pretty significant.
十分大きなものになるのです
05:55
On a personal note, we were pretty psyched
when we figured this out.
個人的なことですが このことを発見した時には
すごく興奮しましたね
05:58
(Laughter)
(笑)
06:02
But even with the right algorithm,
優れたアルゴリズムはありましたが
06:04
we were still missing
a pretty important piece of the puzzle.
パズルの重要なピースが
まだ欠けていました
06:08
You see, there are a lot of factors
that affect when and how well
この手法がうまくいくかに
影響する要因は
06:11
this technique will work.
たくさんあります
06:15
There's the object and how far away it is;
対象がどんな物で
どれくらい離れているか
06:17
there's the camera
and the lens that you use;
どんなカメラや
レンズを使うか
06:20
how much light is shining on the object
and how loud your sound is.
物に当てる光の強さや
音の大きさはどれくらいか
06:22
And even with the right algorithm,
そしてアルゴリズムは
優れているにしても
06:27
we had to be very careful
with our early experiments,
初期の実験はすごく
慎重にやる必要がありました
06:31
because if we got
any of these factors wrong,
そういった要因の
何か1つでもまずいと
06:34
there was no way to tell
what the problem was.
何が悪かったのかも分からず
06:37
We would just get noise back.
ただノイズが
出てくるだけだからです
06:39
And so a lot of our early
experiments looked like this.
ですから初期の実験は
このような設定で行ったのです
06:42
And so here I am,
私が写っています
06:45
and on the bottom left, you can kind of
see our high-speed camera,
左下に高速度カメラが
設置されていて
06:47
which is pointed at a bag of chips,
ポテトチップの袋に
向けられています
06:51
and the whole thing is lit
by these bright lamps.
そして全体が明るい照明で
照らされています
06:53
And like I said, we had to be
very careful in these early experiments,
申し上げたように初期の実験は
非常に慎重を期して進めました
06:56
so this is how it went down.
これがその様子です
07:01
(Video) Abe Davis: Three, two, one, go.
(男性の声) 3 2 1 ハイ
07:03
Mary had a little lamb!
Little lamb! Little lamb!
(デイヴィスが大声で) メリーさんの
ヒツジ ヒツジ ヒツジ
07:07
(Laughter)
(笑)
07:12
AD: So this experiment
looks completely ridiculous.
ご覧のように
馬鹿みたいに見える実験でした
07:17
(Laughter)
(笑)
07:20
I mean, I'm screaming at a bag of chips --
私がポテトチップの袋に向かって
大声を張り上げています
07:21
(Laughter) --
(笑)
07:24
and we're blasting it with so much light,
おまけにすごく強い照明を
当てていたので
07:25
we literally melted the first bag
we tried this on. (Laughter)
最初のポテトチップの袋は
熱で文字通り溶けてしまいました (笑)
07:27
But ridiculous as this experiment looks,
しかし いかに馬鹿みたいに
見えようとも
07:32
it was actually really important,
この実験はとても
重要なものでした
07:35
because we were able
to recover this sound.
このような音を取り出すことに
成功したからです
07:37
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Mary had a little lamb!
Little lamb! Little lamb!
07:40
(Applause)
(拍手)
07:45
AD: And this was really significant,
とても重要な瞬間でした
07:49
because it was the first time
we recovered intelligible human speech
物を撮した
音声のない映像から
07:51
from silent video of an object.
聞き取れる人の声を
初めて復元できたからです
07:55
And so it gave us this point of reference,
この実験を基準点として
07:57
and gradually we could start
to modify the experiment,
私たちはいろいろ変化をつけた
実験を始めました
08:00
using different objects
or moving the object further away,
異なる物を使う
物をもっと離れたところに置く
08:04
using less light or quieter sounds.
光を弱くする
音を小さくする
08:07
And we analyzed all of these experiments
そういった実験の結果を
分析して
08:11
until we really understood
the limits of our technique,
この手法の限界を
見極めました
08:14
because once we understood those limits,
ひとたび限界が分かれば
08:18
we could figure out how to push them.
どう押し広げられるかも
分かるからです
08:20
And that led to experiments like this one,
そうやってこんな実験に
たどり着きました
08:22
where again, I'm going to speak
to a bag of chips,
ここでもポテトチップの袋に向けて
音を流しますが
08:25
but this time we've moved our camera
about 15 feet away,
今回はカメラが
5メートル離れていて
08:28
outside, behind a soundproof window,
防音ガラスの
背後にあります
08:33
and the whole thing is lit
by only natural sunlight.
照らしている光も
自然の太陽光です
08:36
And so here's the video that we captured.
ご覧いただいているのが
撮影した映像です
08:40
And this is what things sounded like
from inside, next to the bag of chips.
そしてこれが部屋の中で
ポテトチップの袋の横で流していた音です
08:44
(Audio) Mary had a little lamb
whose fleece was white as snow,
Mary had a little lamb whose fleece was white as snow,
(メリーさんは小さな羊を飼っていた 雪のように白い毛をして)
08:49
and everywhere that Mary went,
that lamb was sure to go.
and everywhere that Mary went, that lamb was sure to go.
(メリーさんの行くところは どこにでも付いてきた)
08:54
AD: And here's what we were able
to recover from our silent video
そしてこれが
窓の背後から撮した
08:59
captured outside behind that window.
無音の映像から
取り出した音声です
09:03
(Audio) Mary had a little lamb
whose fleece was white as snow,
Mary had a little lamb
whose fleece was white as snow,
09:06
and everywhere that Mary went,
that lamb was sure to go.
and everywhere that Mary went,
that lamb was sure to go.
09:10
(Applause)
(拍手)
09:15
AD: And there are other ways
that we can push these limits as well.
限界を押し広げる方法は
他にもあります
09:22
So here's a quieter experiment
こちらはもっと静かな実験で
09:25
where we filmed some earphones
plugged into a laptop computer,
ノートPCに繋いだ
イヤホンを撮しています
09:27
and in this case, our goal was to recover
the music that was playing on that laptop
この時の目標は
09:31
from just silent video
2つの小さなプラスチック製イヤホンを撮した
無音の映像から
09:35
of these two little plastic earphones,
かけている曲を復元する
ということでした
09:38
and we were able to do this so well
これはすごく
うまくいって
09:40
that I could even Shazam our results.
結果から曲名を
Shazamで当てることさえできました
09:42
(Laughter)
(笑)
09:45
(Music: "Under Pressure" by Queen)
(曲 クイーン 『アンダー・プレッシャー』)
09:49
(Applause)
(拍手)
10:01
And we can also push things
by changing the hardware that we use.
使用するハードウェアという点でも
限界を押し広げることができます
10:06
Because the experiments
I've shown you so far
ここまで ご覧頂いた実験は
10:11
were done with a camera,
a high-speed camera,
どれも高速度カメラを使っていて
10:13
that can record video
about a 100 times faster
これは通常携帯についている
カメラよりも
10:15
than most cell phones,
100倍高速に
撮影することができます
10:18
but we've also found a way
to use this technique
しかし私たちは
普通のカメラで
10:20
with more regular cameras,
この手法を使う方法も
見つけました
10:23
and we do that by taking advantage
of what's called a rolling shutter.
ローリングシャッターと呼ばれる技術を
利用しています
10:25
You see, most cameras
record images one row at a time,
多くのカメラは
画像を1行ずつ記録しています
10:29
and so if an object moves
during the recording of a single image,
1枚の画像の記録中に
撮影対象が動くと
10:34
there's a slight time delay
between each row,
各行に時間的な
ズレがあるため
10:40
and this causes slight artifacts
ビデオの各フレームに
10:43
that get coded into each frame of a video.
小さなゆがみが
記録されることになります
10:46
And so what we found
is that by analyzing these artifacts,
このゆがみを分析したところ
10:49
we can actually recover sound
using a modified version of our algorithm.
アルゴリズムを改良すれば
そこから音を復元できることが分かりました
10:53
So here's an experiment we did
これが行った実験で
10:58
where we filmed a bag of candy
キャンディの袋を撮し
11:00
while a nearby loudspeaker played
横では同じ『メリーさんのひつじ』を
11:01
the same "Mary Had a Little Lamb"
music from before,
スピーカーで流していますが
11:03
but this time, we used just a regular
store-bought camera,
今回は お店で買える
普通のカメラを使っています
11:06
and so in a second, I'll play for you
the sound that we recovered,
これから取り出した音を
お聞かせします
11:10
and it's going to sound
distorted this time,
音にひずみがありますが
11:13
but listen and see if you can still
recognize the music.
それでも何の曲か
おわかりになると思います
11:15
(Audio: "Mary Had a Little Lamb")
(曲 『メリーさんのひつじ』)
11:19
And so, again, that sounds distorted,
音にひずみがあるにしても
11:37
but what's really amazing here
is that we were able to do this
これが意味深いのは
11:40
with something
that you could literally run out
家電量販店で買える
普通のカメラで
11:45
and pick up at a Best Buy.
このようなことが
できたということです
11:48
So at this point,
ここまで ご覧頂いたことから
11:51
a lot of people see this work,
多くの人が思い浮かべるのは
11:52
and they immediately think
about surveillance.
スパイ活動でしょう
11:54
And to be fair,
確かに誰かをスパイするために
この技術を使うというのは
11:57
it's not hard to imagine how you might use
this technology to spy on someone.
容易に想像できることですが
12:00
But keep in mind that there's already
a lot of very mature technology
考えてほしいのは
スパイ活動に関しては多くの成熟した技術が
12:04
out there for surveillance.
すでに存在する
ということです
12:08
In fact, people have been using lasers
実際 盗聴のために 遠くから物に
レーザーを照射するというのは
12:09
to eavesdrop on objects
from a distance for decades.
何十年も前から
行われています
12:12
But what's really new here,
私たちの技術が
本当に新しく
12:15
what's really different,
違っている点は
12:18
is that now we have a way
to picture the vibrations of an object,
物の振動を見る方法を
手に入れたということで
12:19
which gives us a new lens
through which to look at the world,
これは世界を見る
新しいレンズになります
12:23
and we can use that lens
このレンズを使うと
12:27
to learn not just about forces like sound
that cause an object to vibrate,
物を振動させる音のような力について
学べるだけでなく
12:28
but also about the object itself.
物自体についても
学ぶことができます
12:33
And so I want to take a step back
ここで視野を広げて
12:36
and think about how that might change
the ways that we use video,
これが私たちのビデオの使い方を
いかに変えうるかを考えてみましょう
12:38
because we usually use video
to look at things,
通常私たちは物を見るために
ビデオを使います
12:42
and I've just shown you how we can use it
それから音を聞くためにも
使えることを
12:46
to listen to things.
お見せしました
12:48
But there's another important way
that we learn about the world:
しかし私たちが世界について学ぶ重要な方法が
もう1つあります
12:50
that's by interacting with it.
働きかけることによってです
12:54
We push and pull and poke and prod things.
押したり 引いたり
つついたり 揺すったりして
12:56
We shake things and see what happens.
何が起きるか見るのです
13:00
And that's something that video
still won't let us do,
これはビデオでは
できないことです
13:03
at least not traditionally.
少なくとも
普通のビデオでは
13:07
So I want to show you some new work,
これからお見せするのは
最新の研究で
13:09
and this is based on an idea I had
just a few months ago,
ほんの2、3ヶ月前に思いついた
アイデアを元にしています
13:11
so this is actually the first time
I've shown it to a public audience.
公の場で見せるのは
これが初めてです
13:14
And the basic idea is that we're going
to use the vibrations in a video
基本的なアイデアは
映像の中の振動をヒントに
13:17
to capture objects in a way
that will let us interact with them
物の性質を取り出して
13:22
and see how they react to us.
働きかけて反応を見られるような
形にするということです
13:27
So here's an object,
これが対象とする物で
13:31
and in this case, it's a wire figure
in the shape of a human,
人の形をした
針金人形です
13:32
and we're going to film that object
with just a regular camera.
これを普通のカメラで
ビデオ撮影します
13:36
So there's nothing special
about this camera.
カメラに特別なものは
使いません
13:39
In fact, I've actually done this
with my cell phone before.
実際 以前は私の携帯電話を
使っていました
13:41
But we do want to see the object vibrate,
振動する様子を
見たいので
13:44
so to make that happen,
撮影中に
13:47
we're just going to bang a little bit
on the surface where it's resting
人形が置かれている
台の上を
13:48
while we record this video.
ちょっと叩いてやります
13:51
So that's it: just five seconds
of regular video,
これだけです
5秒間の普通のビデオで
13:59
while we bang on this surface,
台を叩いています
14:03
and we're going to use
the vibrations in that video
この映像の中の
振動を使って
14:05
to learn about the structural
and material properties of our object,
物の構造的・物質的な性質について
学ぼうというのです
14:08
and we're going to use that information
to create something new and interactive.
そしてその情報を使って
新たなインタラクティブな物を作ります
14:13
And so here's what we've created.
そうしてできたものが
これです
14:24
And it looks like a regular image,
何の変哲もない
画像に見えますが
14:27
but this isn't an image,
and it's not a video,
これは画像ではなく
ビデオでもありません
14:29
because now I can take my mouse
この人形はマウスを使って
14:32
and I can start interacting
with the object.
いじってやることが
できるんです
14:35
And so what you see here
ご覧頂いているのは
14:44
is a simulation of how this object
目にしたことのない
新しい働きかけに対して
14:47
would respond to new forces
that we've never seen before,
物がどう反応するかいう
シミュレーションです
14:49
and we created it from just
five seconds of regular video.
これをたった5秒間の
普通のビデオから作ったんです
14:54
(Applause)
(拍手)
14:59
And so this is a really powerful
way to look at the world,
これは世界を見る
新しい強力な方法です
15:09
because it lets us predict
how objects will respond
新たな状況に対して
物がどう反応するかを
15:12
to new situations,
予測することが
できるからです
15:15
and you could imagine, for instance,
looking at an old bridge
たとえば古い橋を前にして
15:17
and wondering what would happen,
how would that bridge hold up
車で渡っても大丈夫か
分かりかねているという状況を
15:20
if I were to drive my car across it.
想像できるでしょう
15:24
And that's a question
that you probably want to answer
この質問の答えは
15:27
before you start driving
across that bridge.
橋を渡り始める前に
知りたいはずです
15:30
And of course, there are going to be
limitations to this technique,
もちろんこの手法にも
限界はあり
15:33
just like there were
with the visual microphone,
その点は視覚的マイクロフォンと
同じです
15:37
but we found that it works
in a lot of situations
しかしこの方法は
15:39
that you might not expect,
予想以上に
多くの状況で使え
15:42
especially if you give it longer videos.
長いビデオがある場合には
特にそうです
15:44
So for example,
here's a video that I captured
たとえばこれは
15:47
of a bush outside of my apartment,
私のアパートの前の
藪を撮したビデオで
15:50
and I didn't do anything to this bush,
私は藪に対して
何もしていません
15:52
but by capturing a minute-long video,
しかし1分間
撮している間に
15:55
a gentle breeze caused enough vibrations
やさしいそよ風が この藪について学ぶのに
十分な振動を生み出してくれ
15:58
that we could learn enough about this bush
to create this simulation.
このようなシミュレーションを
作れました
16:01
(Applause)
(拍手)
16:07
And so you could imagine giving this
to a film director,
この技術を手にした
映画監督は
16:13
and letting him control, say,
映像が撮影された後に
16:16
the strength and direction of wind
in a shot after it's been recorded.
風の強さや向きを変えるのに
使うかもしれません
16:18
Or, in this case, we pointed our camera
at a hanging curtain,
こちらでは吊された
カーテンを撮していて
16:24
and you can't even see
any motion in this video,
動きは見られませんが
16:29
but by recording a two-minute-long video,
2分のビデオがあれば
16:33
natural air currents in this room
室内の自然な空気の
対流で生じた
16:36
created enough subtle,
imperceptible motions and vibrations
気付かないような
微かな動きや振動から
16:38
that we could learn enough
to create this simulation.
シミュレーションを作るのに
十分な情報が得られます
16:43
And ironically,
このようなインタラクティブなものは
16:48
we're kind of used to having
this kind of interactivity
ビデオゲームや3Dモデルの中の
16:50
when it comes to virtual objects,
架空の物として
16:53
when it comes to video games
and 3D models,
見慣れていると思いますが
16:56
but to be able to capture this information
from real objects in the real world
現実の世界の実際の物から
普通のビデオ映像を使って
16:59
using just simple, regular video,
このような情報を
引き出すというのは
17:04
is something new that has
a lot of potential.
新しいことであり
大きな可能性があります
17:06
So here are the amazing people
who worked with me on these projects.
このプロジェクトに一緒に取り組んでいる
素晴らしい仲間たちです
17:10
(Applause)
(拍手)
17:16
And what I've shown you today
is only the beginning.
今日お見せしたものは
始まりにすぎません
17:24
We've just started to scratch the surface
私たちはこのような映像技術で
可能になることの
17:27
of what you can do
with this kind of imaging,
ほんの表面に
触れたに過ぎません
17:29
because it gives us a new way
この技術は 誰でも
手に入れられる道具だけで
17:32
to capture our surroundings
with common, accessible technology.
周りの世界の違った見方を
可能にしてくれるからです
17:35
And so looking to the future,
この先 この技術が
17:40
it's going to be
really exciting to explore
世界について教えてくれることを
探求していくのは
17:41
what this can tell us about the world.
本当に心躍ることだと
思います
17:44
Thank you.
ありがとうございました
17:46
(Applause)
(拍手)
17:47
Translated by Yasushi Aoki
Reviewed by Claire Ghyselen

▲Back to top

About the speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com