ABOUT THE SPEAKER

Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com

TEDxBeaconStreet

Michael Rubinstein: See invisible motion, hear silent sounds

マイケル・ルービンスタイン: 見えない動きを見、聞こえない音を聞く。すごい？それとも気味が悪い？

Filmed: 2014-11-13

Readability: 4.1

2,075,056 views

肉眼では見られない微細な動きや色の変化を拡大する「顕微鏡」をご紹介します。画像技術者マイケル・ルービンスタインは、驚くばかりの映像を次から次へと見せ、この技術によって普通の映像から人の心拍を読み取ったり、音波により生じるポテトチップ袋の振動を拡大して会話を再現できることを示します。恐ろしい応用の可能性も秘めたこの驚きの技術は、実際に目にするまで信じられないかもしれません。

Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio

Double-click the English transcript below to play the video.

00:13

So over the past過去 few少数 centuries世紀,
microscopes顕微鏡 have revolutionized革命を起こした our world世界.

0

1114

7492

過去数世紀に渡って
顕微鏡は世界を変えてきました

00:21

They revealed明らかに to us a tiny小さな world世界
of objectsオブジェクト, life and structures構造

1

9036

5216

小さすぎて肉眼では見えない
物や生物や構造の世界を

00:26

that are too small小さい for us
to see with our naked裸 eyes目.

2

14252

2906

顕微鏡が明らかにし

00:29

They are a tremendousすばらしい contribution貢献
to science科学 and technology技術.

3

17158

3019

科学や技術に対して
大いなる貢献をしました

00:32

Today今日 I'd like to introduce紹介する you
to a new新しい typeタイプ of microscope顕微鏡,

4

20177

3227

今日ご紹介したいのは
新しいタイプの顕微鏡

00:35

a microscope顕微鏡 for changes変更.

5

23404

2578

「変化を見る顕微鏡」です

00:37

It doesn't use optics光学
like a regular定期的 microscope顕微鏡

6

25982

2902

普通の顕微鏡のように
光学的に小さなものを大きく

00:40

to make small小さい objectsオブジェクト biggerより大きい,

7

28884

1997

見せるのではなく

00:42

but instead代わりに it uses用途 a videoビデオ cameraカメラ
and image画像 processing処理

8

30881

4376

ビデオと画像処理を使って

00:47

to reveal明らかにする to us the tiniest最も小さい motions動き
and color色 changes変更 in objectsオブジェクト and people,

9

35257

5256

肉眼では見えないような
人や物の微細な動きや

00:52

changes変更 that are impossible不可能
for us to see with our naked裸 eyes目.

10

40513

3842

色の変化を
見えるようにします

00:56

And it lets〜する us look at our world世界
in a completely完全に new新しい way.

11

44355

4120

これは世界に対する
まったく別の見方を与えてくれます

01:00

So what do I mean by color色 changes変更?

12

48475

1910

色の変化とは
どんなものかですが

01:02

Our skin肌, for example例,
changes変更 its color色 very slightly少し

13

50385

2832

例えば人の肌というのは
血の流れに応じて

01:05

when the blood血液 flows流れ under下 it.

14

53217

1997

色がかすかに変化します

01:07

That change変化する is incredibly信じられないほど subtle微妙,

15

55214

2397

これはとても
微妙な変化であるため

01:09

whichどの is why, when you
look at other people,

16

57611

2063

隣に座っている人を
見たところで

01:11

when you look at the person人
sitting座っている next次 to you,

17

59674

2251

肌や顔の色が

01:13

you don't see their彼らの skin肌
or their彼らの face面 changing変化 color色.

18

61925

3575

変わっているようには
見えません

01:17

When we look at this videoビデオ of Steveスティーブ here,
it appears登場する to us like a static静的 picture画像,

19

65500

4360

このスティーブの映像を見ても
静止画のように見えます

01:21

but once一度 we look at this videoビデオ
throughを通して our new新しい, special特別 microscope顕微鏡,

20

69860

3860

しかし私達の新しい顕微鏡を
通して見ると

01:25

suddenly突然 we see
a completely完全に different異なる image画像.

21

73720

2600

まったく異なる
イメージが現れます

01:28

What you see here are small小さい changes変更
in the color色 of Steve'sスティーブ skin肌,

22

76320

3930

肌の色の小さな変化を
100倍増幅することで

01:32

magnified拡大された 100 times回
so that they become〜になる visible目に見える.

23

80250

4436

目で見て分かる
ようにしています

01:36

We can actually実際に see a human人間 pulseパルス.

24

84686

3267

脈拍を見て取る
こともできます

01:39

We can see how fast速い
Steve'sスティーブ heartハート is beating打つ,

25

87953

3227

心拍の早さだけでなく

01:43

but we can alsoまた、 see the actual実際の way
that the blood血液 flows流れ in his face面.

26

91180

5355

顔を血がどう流れているかも
分かります

01:48

And we can do that not just
to visualize視覚化する the pulseパルス,

27

96544

2631

脈拍を可視化
できるだけでなく

01:51

but alsoまた、 to actually実際に
recover回復します our heartハート rates料金,

28

99175

3471

心拍数を正確に

01:54

and measure測定 our heartハート rates料金.

29

102646

1793

計測することもできます

01:56

And we can do it with regular定期的 camerasカメラ
and withoutなし touching触れる the patients患者.

30

104439

4453

普通のカメラでできて
患者に触れる必要もありません

02:00

So here you see the pulseパルス and heartハート rateレート
we extracted抽出された from a neonatal新生児 baby赤ちゃん

31

108892

5617

ここでは普通のDSLRカメラで撮った
新生児の映像から

02:06

from a videoビデオ we took取った
with a regular定期的 DSLRDSLR cameraカメラ,

32

114509

2881

脈拍と心拍数を
取り出しています

02:09

and the heartハート rateレート measurement測定 we get

33

117390

1816

これで計測した心拍数は

02:11

is as accurate正確 as the one you'dあなたは get
with a standard標準 monitorモニター in a hospital病院.

34

119206

4811

病院にある通常の計器によるのと
同様の正確さがあります

02:16

And it doesn't even have to be
a videoビデオ we recorded記録された.

35

124017

2642

映像も自分で撮ったもの
である必要はなく

02:18

We can do it essentially基本的に
with other videosビデオ as well.

36

126659

2995

既存のビデオを使うこともできます

02:21

So I just took取った a shortショート clipクリップ
from "Batmanバットマン Begins始まる" here

37

129654

3901

これは『バットマンビギンズ』の一場面から

02:25

just to showショー Christianキリスト教の Bale'sベールズ pulseパルス.

38

133555

1904

クリスチャン・ベールの心拍が
見えるようにしたものです（笑）

02:27

(Laughter笑い)

39

135459

1822

クリスチャン・ベールの心拍が
見えるようにしたものです（笑）

02:29

And you know, presumablyおそらく
he's wearing着る makeup化粧,

40

137281

2123

映画なのでメークも
しているだろうし

02:31

the lighting点灯 here is kind種類 of challenging挑戦,

41

139404

1953

光の条件にも
難しい面がありますが

02:33

but still, just from the videoビデオ,
we're ableできる to extractエキス his pulseパルス

42

141357

2951

それでも映像から
彼の心拍を

02:36

and showショー it quiteかなり well.

43

144308

2018

非常にうまく
取り出せています

02:38

So how do we do all that?

44

146326

1920

どうやっているのかですが

02:40

We basically基本的に analyze分析する the changes変更
in the light光 that are recorded記録された

45

148246

4598

ビデオのそれぞれの
ピクセルに記録された

02:44

at everyすべて pixelピクセル in the videoビデオ over time,

46

152844

2271

光の時間的変化を分析し

02:47

and then we crankクランク up those changes変更.

47

155115

1798

その変化を拡大しています

02:48

We make them biggerより大きい
so that we can see them.

48

156913

2162

変化が見て分かるくらいに
大きくするわけです

02:51

The trickyトリッキー part部 is that those signalsシグナル,

49

159075

1902

難しいのは
捉えたい変化が

02:52

those changes変更 that we're after,
are extremely極端な subtle微妙,

50

160977

2933

非常に小さなものだ
ということで

02:55

so we have to be very careful慎重に
when you try to separate別々の them

51

163910

2779

その変化を
録画につきもののノイズから

02:58

from noiseノイズ that always exists存在する in videosビデオ.

52

166689

3831

注意深く分離する
必要があります

03:02

So we use some clever賢い
image画像 processing処理 techniques技術

53

170520

2995

それぞれのピクセルの
ごく正確な色を得るために

03:05

to get a very accurate正確 measurement測定
of the color色 at each各 pixelピクセル in the videoビデオ,

54

173515

3994

巧妙な画像処理を
行っています

03:09

and then the way the color色
changes変更 over time,

55

177509

2670

それから色の
時間変化の仕方を捉え

03:12

and then we amplify増幅する those changes変更.

56

180179

2693

それを拡大して

03:14

We make them biggerより大きい to create作成する those typesタイプ
of enhanced強化された videosビデオ, or magnified拡大された videosビデオ,

57

182872

3980

変化が目で見て分かるよう
変化の強調された

03:18

that actually実際に showショー us those changes変更.

58

186852

2172

映像を作ります

03:21

But it turnsターン out we can do that
not just to showショー tiny小さな changes変更 in color色,

59

189024

4238

このようにして見えるようにできるものには
微細な色の変化だけでなく

03:25

but alsoまた、 tiny小さな motions動き,

60

193262

2241

微細な動きもあります

03:27

and that's because the light光
that gets取得 recorded記録された in our camerasカメラ

61

195503

3576

カメラに記録される光は
色の変化によってだけでなく

03:31

will change変化する not only if the color色
of the objectオブジェクト changes変更,

62

199079

2810

物の動きによっても

03:33

but alsoまた、 if the objectオブジェクト moves動き.

63

201889

2368

変化するからです

03:36

So this is my daughter娘
when she was about two months数ヶ月 old古い.

64

204257

3636

これは生後２ヶ月の頃の
私の娘です

03:39

It's a videoビデオ I recorded記録された
about three三 years年 ago前.

65

207893

2999

３年ほど前に
録画したものです

03:42

And as new新しい parents親, we all want
to make sure our babies赤ちゃん are healthy健康,

66

210892

3208

親になったばかりの人は
赤ちゃんが健康か息をしているか

03:46

that they're breathing呼吸,
that they're alive生きている, of courseコース.

67

214100

2542

生きているか
いつも気にかけています

03:48

So I too got one of those baby赤ちゃん monitorsモニター

68

216642

2142

私も娘の眠っている姿を
見られるよう

03:50

so that I could see my daughter娘
when she was asleep眠っている.

69

218784

2469

ベビーモニターを
買いました

03:53

And this is prettyかなり much what you'llあなたは see
with a standard標準 baby赤ちゃん monitorモニター.

70

221253

3527

普通のベビーモニターで見られるのは
このような映像です

03:56

You can see the baby's赤ちゃんの sleeping睡眠, but
there's not too much information情報 there.

71

224780

3682

眠っている様子は分かりますが
情報は大して得られません

04:00

There's not too much we can see.

72

228474

1604

見て分かる事は
殆どありません

04:02

Wouldn'tしないだろう it be better,
or more informative有益な, or more useful有用,

73

230078

2824

もしこんな風に
見えたとしたら

04:04

if instead代わりに we could look
at the view見る like this.

74

232902

2990

もっと情報が得られて
有用ではないでしょうか？

04:07

So here I took取った the motions動き
and I magnified拡大された them 30 times回,

75

235892

6356

動きを30倍拡大することで
娘の動きがはっきり見て取れるようになりました

04:14

and then I could clearlyはっきりと see that my
daughter娘 was indeed確かに alive生きている and breathing呼吸.

76

242248

3826

これで娘が確かに生きて
呼吸しているのが分かります

04:18

(Laughter笑い)

77

246074

2253

（笑）

04:20

Here is a side-by-side並んで comparison比較.

78

248327

1922

並べて比較したところですが

04:22

So again, in the sourceソース videoビデオ,
in the original元の videoビデオ,

79

250249

2483

元々のビデオでは

04:24

there's not too much we can see,

80

252732

1636

動きが分かりません

04:26

but once一度 we magnify拡大する the motions動き,
the breathing呼吸 becomes〜になる much more visible目に見える.

81

254368

3707

しかし動きを拡大した映像では
呼吸の様子がよく分かります

04:30

And it turnsターン out, there's
a lot of phenomena現象

82

258075

2070

この「変化を見る顕微鏡」によって

明らかにできる身の回りの現象は
たくさんあります

04:32

we can reveal明らかにする and magnify拡大する
with our new新しい motionモーション microscope顕微鏡.

83

260145

3623

04:35

We can see how our veins静脈 and arteries動脈
are pulsing脈打つ in our bodies体.

84

263768

4564

体の中で静脈や動脈が
どう脈打っているか分かります

04:40

We can see that our eyes目
are constantly常に moving動く

85

268332

2628

目が絶えずユラユラ
動いていることも

04:42

in this wobbly揺れる motionモーション.

86

270960

1887

よく分かります

04:44

And that's actually実際に my eye眼,

87

272847

1509

これは私の目で

04:46

and again this videoビデオ was taken撮影
right after my daughter娘 was bornうまれた,

88

274356

3065

娘が生まれた頃に
撮ったので

04:49

so you can see I wasn'tなかった getting取得
too much sleep睡眠. (Laughter笑い)

89

277421

4202

あまり寝ていないのが
分かるかと思います（笑）

04:53

Even when a person人 is sitting座っている still,

90

281623

2716

じっと座っている人からでさえ

04:56

there's a lot of information情報
we can extractエキス

91

284339

2044

多くの情報が得られます

04:58

about their彼らの breathing呼吸 patternsパターン,
small小さい facialフェイシャル expressions表現.

92

286383

3529

呼吸のパターンとか
小さな顔の表情とか

05:01

Maybe we could use those motions動き

93

289912

1625

このような動きから

05:03

to tell us something about
our thoughts思考 or our emotions感情.

94

291537

3154

その人の思っていることや
感情も分かるかもしれません

05:06

We can alsoまた、 magnify拡大する small小さい
mechanical機械的 movements動き,

95

294691

3255

エンジンの振動のような
小さな機械の動きも

05:09

like vibrations振動 in enginesエンジン,

96

297946

1555

拡大して見えるようにできます

05:11

that can help engineersエンジニア detect検出する
and diagnose診断する machinery機械 problems問題,

97

299501

3692

機械の問題の検出や診断を技術者がするのに
役立つかもしれません

05:15

or see how our buildings建物 and structures構造
sway揺れる in the wind風 and react反応する to forces力.

98

303193

4738

建物や構造物が風に揺れたり
反発したりする様子も見て取れます

05:19

Those are all things that our society社会
knows知っている how to measure測定 in various様々な ways方法,

99

307931

4581

こういった動きを計測する方法なら
以前からありましたが

05:24

but measuring測定する those motions動き is one thing,

100

312512

2453

その動いている様子を

05:26

and actually実際に seeing見る those
motions動き as they happen起こる

101

314965

2276

実際に目で見えるようにする
というのは

05:29

is a whole全体 different異なる thing.

102

317241

2554

また別の話になります

05:31

And ever since以来 we discovered発見された
this new新しい technology技術,

103

319795

3041

私達はこの技術を開発して以来

05:34

we made製 our codeコード available利用可能な onlineオンライン so that
othersその他 could use and experiment実験 with it.

104

322836

3953

ネット上でプログラムを公開して
誰でも実験できるようにしています

05:38

It's very simple単純 to use.

105

326789

1875

とても簡単に使え

05:40

It can work on your own自分の videosビデオ.

106

328664

2044

自分のビデオで
試すことができます

05:42

Our collaborators協力者 at QuantaQuanta Research研究
even created作成した this niceいい websiteウェブサイト

107

330708

3193

私達の協力者のQuanta Researchは
ご覧のようなサイトも用意していて

05:45

where you can uploadアップロード your videosビデオ
and processプロセス them onlineオンライン,

108

333901

2678

ビデオをアップするだけで
結果を見られます

05:48

so even if you don't have any experience経験
in computerコンピューター science科学 or programmingプログラミング,

109

336579

3816

だからコンピュータサイエンスや
プログラミングの知識がまったくなくても

05:52

you can still very easily簡単に experiment実験
with this new新しい microscope顕微鏡.

110

340395

2936

簡単にこの顕微鏡で
実験ができます

05:55

And I'd like to showショー you
just a coupleカップル of examples例

111

343331

2404

これを使ってみんなが
どんなことをしているのか

05:57

of what othersその他 have done完了 with it.

112

345735

2735

いくつかご覧に入れましょう

06:00

So this videoビデオ was made製 by
a YouTubeYouTube userユーザー calledと呼ばれる Tamezタメズ85.

113

348470

5317

このビデオはTomez85という
YouTubeユーザーが作ったもので

06:05

I don't know who that userユーザー is,

114

353787

1463

どういう人なのか知りませんが

06:07

but he, or she, used our codeコード

115

355250

2345

私達のプログラムを使って

06:09

to magnify拡大する small小さい belly腹
movements動き during中 pregnancy妊娠.

116

357595

3715

妊婦のお腹の動きを
拡大しています

06:13

It's kind種類 of creepy気味悪い.

117

361310

1602

ちょっと不気味ですね

06:14

(Laughter笑い)

118

362912

1613

（笑）

06:16

People have used it to magnify拡大する
pulsing脈打つ veins静脈 in their彼らの hands手.

119

364525

4961

ここでは手の静脈の拍動を
拡大しています

06:21

And you know it's not realリアル science科学
unless限り you use guineaモルモット pigs豚,

120

369486

3782

しかしモルモットを使わなくちゃ
科学っぽくなりませんよね

06:25

and apparently明らかに this guineaモルモット pig豚
is calledと呼ばれる Tiffanyティファニー,

121

373268

3390

このモルモットは
ティファニーという名前で

06:28

and this YouTubeYouTube userユーザー claims請求
it is the first rodent齧歯類 on Earth地球

122

376658

2949

作者はこれが
微細な動きを拡大された

06:31

that was motion-magnified動きを拡大した.

123

379607

2688

最初の齧歯類だと
主張しています

06:34

You can alsoまた、 do some artアート with it.

124

382295

2188

美術作品を作ることもできます

06:36

So this videoビデオ was sent送られた to me
by a design設計 student学生 at Yaleイェール.

125

384483

3018

イェール大のデザイン科の学生が
送ってきたもので

06:39

She wanted to see
if there's any difference差

126

387501

2137

友人の身動きの仕方に
違いがあるか

06:41

in the way her classmates同級生 move動く.

127

389638

1522

知りたかったのだそうです

06:43

She made製 them all standスタンド still,
and then magnified拡大された their彼らの motions動き.

128

391160

4209

じっとしているように頼んで
それから動きを拡大したものです

06:47

It's like seeing見る
still picturesピクチャー come to life.

129

395369

3378

写真が動き始めたみたいな
感じがします

06:50

And the niceいい thing with
all those examples例

130

398747

2433

これらの例の良いところは

06:53

is that we had nothing to do with them.

131

401180

2296

我々自身何もする必要が
なかったことです

06:55

We just provided提供された this new新しい toolツール,
a new新しい way to look at the world世界,

132

403476

3854

ただ新しい道具と
世界を見る新しい方法を提供するだけで

06:59

and then people find other interesting面白い,
new新しい and creative創造的な ways方法 of usingを使用して it.

133

407330

5132

いろんな人が新しくて面白い
創造的な使い方を見つけてくれます

07:04

But we didn't stop there.

134

412462

1764

しかしそれで終わりではありません

07:06

This toolツール not only allows許す us
to look at the world世界 in a new新しい way,

135

414226

3251

このツールは世界に対し
新しい見方ができるようにするだけでなく

07:09

it alsoまた、 redefines再定義する what we can do

136

417477

2368

カメラで出来ることを再定義し

07:11

and pushesプッシュ the limits限界 of what
we can do with our camerasカメラ.

137

419845

3181

可能性の限界を
押し広げもします

07:15

So as scientists科学者, we started開始した wondering不思議,

138

423026

2229

科学者として
私達は考え始めました

07:17

what other typesタイプ of physical物理的 phenomena現象
produce作物 tiny小さな motions動き

139

425255

3785

カメラで計測できる
微細な動きを生み出す物理現象として

07:21

that we could now use
our camerasカメラ to measure測定?

140

429040

2903

他にどんなものがあるだろう？

07:23

And one suchそのような phenomenon現象
that we focused集中した on recently最近 is sound音.

141

431943

4001

そのような現象の１つとして
我々が最近取り組んでいるのが「音」です

07:27

Sound音, as we all know,
is basically基本的に changes変更

142

435944

2105

音というのは基本的に

07:30

in air空気 pressure圧力 that
travel旅行 throughを通して the air空気.

143

438049

2183

空気中を伝わる空気圧の変化です

07:32

Those pressure圧力 waves波 hitヒット objectsオブジェクト
and they create作成する small小さい vibrations振動 in them,

144

440232

3621

圧力の波が物にぶつかる時
小さな振動を生じ

07:35

whichどの is how we hear聞く
and how we record記録 sound音.

145

443853

2532

それを使って私達は音を聞いたり
録音したりしています

07:38

But it turnsターン out that sound音
alsoまた、 produces生産する visualビジュアル motions動き.

146

446385

3668

しかし音は視覚的な
動きも作り出します

07:42

Those are motions動き
that are not visible目に見える to us

147

450053

2833

肉眼では見えなくとも

07:44

but are visible目に見える to a cameraカメラ
with the right processing処理.

148

452886

3001

カメラを使って適切に処理すれば
見えるようになります

07:47

So here are two examples例.

149

455887

1573

例を２つお見せします

07:49

This is me demonstratingデモ
my great singing歌う skillsスキル.

150

457460

2614

これは私が素晴らしい歌唱力を
披露しているところです

07:53

(Singing歌う)

151

461064

1634

アー

07:54

(Laughter笑い)

152

462698

1436

（笑）

07:56

And I took取った a high-speed高速 videoビデオ
of my throat喉 while I was hummingハミング.

153

464134

2986

声を出している時の喉を
高速度カメラで撮影しました

07:59

Again, if you stare見詰める at that videoビデオ,

154

467120

1764

元の映像を見ても

08:00

there's not too much
you'llあなたは be ableできる to see,

155

468884

2076

ほとんど動きは見られませんが

08:02

but once一度 we magnify拡大する the motions動き 100 times回,
we can see all the motions動き and ripples波紋

156

470960

4332

動きを100倍拡大してやると
発声に関わる首の部分に

08:07

in the neckネック that are involved関係する
in producing生産する the sound音.

157

475292

3274

波のような動きが広がっているのが
分かります

08:10

That signal信号 is there in that videoビデオ.

158

478566

2740

音の痕跡が映像に
残されているわけです

08:13

We alsoまた、 know that singers歌手
can breakブレーク a wineワイン glassガラス

159

481306

2670

歌手は特定の音程の声を出して
グラスを割れる

08:15

if they hitヒット the correct正しい note注意.

160

483976

1463

という話は
良く知られています

08:17

So here, we're going to play遊びます a note注意

161

485439

1765

ここではグラスの

08:19

that's in the resonance共振
frequency周波数 of that glassガラス

162

487204

2526

共鳴周波数の音を

08:21

throughを通して a loudspeakerラウドスピーカー that's next次 to it.

163

489730

2048

横のスピーカーから
出しています

08:23

Once一度 we play遊びます that note注意
and magnify拡大する the motions動き 250 times回,

164

491778

4419

その時の動きを
250倍拡大すると

08:28

we can very clearlyはっきりと see
how the glassガラス vibrates振動する

165

496197

2338

グラスが音に共鳴して
振動しているのが

08:30

and resonates共鳴する in response応答 to the sound音.

166

498535

3570

はっきり分かります

08:34

It's not something you're used
to seeing見る everyすべて day.

167

502105

2420

あまり日常で目にする光景では
ありませんね

08:36

But this made製 us think.
It gave与えた us this crazy狂った ideaアイディア.

168

504525

3529

しかしここから
突飛なアイデアを思いつきました

08:40

Can we actually実際に invert反転 this processプロセス
and recover回復します sound音 from videoビデオ

169

508054

5608

この過程を逆にして映像から音を
復元できないでしょうか？

08:45

by analyzing分析する the tiny小さな vibrations振動
that sound音 waves波 create作成する in objectsオブジェクト,

170

513662

4035

音波が物の表面に作り出す
微細な振動を解析して

08:49

and essentially基本的に convert変換する those
back into the sounds音 that produced生産された them.

171

517697

4777

元になった音を
生成するのです

08:54

In this way, we can turn順番
everyday毎日 objectsオブジェクト into microphonesマイク.

172

522474

4457

そのようにすれば身の回りにある物を
マイクに変えることができます

08:58

So that's exactly正確に what we did.

173

526931

2232

私達はまさにそれを
やってみました

09:01

So here'sここにいる an empty空の bagバッグ of chipsチップ
that was lying嘘つき on a table表,

174

529163

2816

テーブルの上にポテトチップの
空き袋があります

09:03

and we're going to turn順番 that
bagバッグ of chipsチップ into a microphoneマイクロフォン

175

531979

2825

これをビデオ撮影して
音により生じた —

09:06

by filming撮影 it with a videoビデオ cameraカメラ

176

534804

1591

微細な動きを
解析することで

09:08

and analyzing分析する the tiny小さな motions動き
that sound音 waves波 create作成する in it.

177

536395

3228

ポテトチップの袋をマイクロフォンに
変えようというわけです

09:11

So here'sここにいる the sound音
that we playedプレーした in the roomルーム.

178

539623

2796

この部屋では
こんな音楽を流しています

09:14

(Music音楽: "Maryメアリー Had a Little Lamb子羊")

179

542419

4434

(曲『メリーさんのひつじ』)

09:22

And this is a high-speed高速 videoビデオ
we recorded記録された of that bagバッグ of chipsチップ.

180

550007

3025

そしてポテトチップの袋を
高速度カメラで撮影しました

09:25

Again it's playing遊ぶ.

181

553032

1274

これを見ても

09:26

There's no chanceチャンス you'llあなたは be ableできる
to see anything going on in that videoビデオ

182

554306

3342

何かが起きているようには

09:29

just by looking at it,

183

557648

1058

見えませんが

09:30

but here'sここにいる the sound音 we were ableできる
to recover回復します just by analyzing分析する

184

558706

2984

映像の中の微細な動きを
解析することで

09:33

the tiny小さな motions動き in that videoビデオ.

185

561690

2183

このような音を
再現できました

09:35

(Music音楽: "Maryメアリー Had a Little Lamb子羊")

186

563873

2809

(曲『メリーさんのひつじ』)

09:52

I call it -- Thank you.

187

580985

1486

私はこれを—

09:54

(Applause拍手)

188

582471

5225

（拍手）

10:01

I call it the visualビジュアル microphoneマイクロフォン.

189

589878

2345

「ビジュアル・マイクロフォン」
と呼んでいます

10:04

We actually実際に extractエキス audioオーディオ signalsシグナル
from videoビデオ signalsシグナル.

190

592223

3390

ビデオ信号からオーディオ信号を
取り出しているのです

10:07

And just to give you a senseセンス
of the scale規模 of the motions動き here,

191

595613

3181

動きの大きさが
どれくらいかというと

10:10

a prettyかなり loud大声で sound音 will cause原因 that bagバッグ
of chipsチップ to move動く lessもっと少なく than a micrometerマイクロメータ.

192

598799

5336

かなり大きな音でも
ポテトチップの袋の動きは１ミクロン未満です

10:16

That's one thousandth千分の一 of a millimeterミリメートル.

193

604135

2739

１ミリの千分の１です

10:18

That's how tiny小さな the motions動き are
that we are now ableできる to pull引く out

194

606874

3561

そのような小さな動きでも

10:22

just by observing観察する how light光
bouncesバウンス off objectsオブジェクト

195

610435

3243

映像の中で物に反射する光を
観察することによって

10:25

and gets取得 recorded記録された by our camerasカメラ.

196

613678

2136

検出できるのです

10:27

We can recover回復します sounds音
from other objectsオブジェクト, like plants植物.

197

615814

3250

他の物を使うこともできます
たとえば植物とか

10:31

(Music音楽: "Maryメアリー Had a Little Lamb子羊")

198

619064

6316

(曲『メリーさんのひつじ』)

10:39

And we can recover回復します speechスピーチ as well.

199

627214

1997

声を復元することもできます

10:41

So here'sここにいる a person人 speaking話し中 in a roomルーム.

200

629211

2577

こちらでは部屋の中で
人が話しています

10:43

Voice音声: Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,

201

631788

4203

Mary had a little lamb whose fleece was white as snow,
(メリーさんは小さな羊を飼っていた雪のように白い毛をして)

10:47

and everywhereどこにでも that Maryメアリー went行った,
that lamb子羊 was sure to go.

202

635991

4230

and everywhere that Mary went, that lamb was sure to go.
(メリーさんの行くところはどこにでも付いてきた)

10:52

Michaelマイケル Rubinsteinルビンスタイン: And here'sここにいる
that speechスピーチ again recovered回復した

203

640221

2759

前と同じ
ポテトチップの袋の映像から

10:54

just from this videoビデオ
of that same同じ bagバッグ of chipsチップ.

204

642980

3274

復元した声です

10:58

Voice音声: Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,

205

646254

4831

Mary had a little lamb
whose fleece was white as snow,

11:03

and everywhereどこにでも that Maryメアリー went行った,
that lamb子羊 was sure to go.

206

651085

4859

and everywhere that Mary went,
that lamb was sure to go.

11:07

MR氏: We used "Maryメアリー Had a Little Lamb子羊"

207

655944

2346

『メリーさんのひつじ』を使ったのは

11:10

because those are said to be
the first words言葉

208

658290

2123

エジソンが1877年に
蓄音機で

11:12

that Thomasトーマス Edisonエジソン spokeスポーク
into his phonograph蓄音機 in 1877.

209

660413

4161

最初に録音したのが
この歌だったからです

11:16

It was one of the first sound音
recording録音 devicesデバイス in history歴史.

210

664574

3228

それは音を記録する
最初の装置の１つでした

11:19

It basically基本的に directed指示された the sounds音
onto〜に a diaphragm横隔膜

211

667802

3327

音を振動板で受け

11:23

that vibrated振動した a needle針 that essentially基本的に
engraved刻まれた the sound音 on tinfoil錫箔

212

671129

4079

その振動を針に伝え
それが筒に巻いたアルミ箔に

11:27

that was wrapped包まれた around the cylinderシリンダー.

213

675208

2275

記録される仕掛けでした

11:29

Here'sここにいる a demonstrationデモンストレーション of recording録音 and
replayingリプレイ sound音 with Edison'sエジソン phonograph蓄音機.

214

677483

5943

これはエジソンの蓄音機で
録音し再生するデモです

11:35

(Videoビデオ) Voice音声: Testingテスト,
testingテスト, one two three三.

215

683426

3020

（録音）Testing, testing, one two three.

11:38

Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,

216

686446

3413

Mary had a little lamb
whose fleece was white as snow,

11:41

and everywhereどこにでも that Maryメアリー went行った,
the lamb子羊 was sure to go.

217

689859

3669

and everywhere that Mary went,
the lamb was sure to go.

11:45

Testingテスト, testingテスト, one two three三.

218

693528

2740

（再生）Testing, testing, one two three.

11:48

Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,

219

696268

4156

Mary had a little lamb
whose fleece was white as snow,

11:52

and everywhereどこにでも that Maryメアリー went行った,
the lamb子羊 was sure to go.

220

700424

5224

and everywhere that Mary went,
the lamb was sure to go.

11:57

MR氏: And now, 137 years年 later後で,

221

705648

4017

137年後の今日

12:01

we're ableできる to get sound音
in prettyかなり much similar類似 quality品質

222

709665

4087

音に振動する物の映像だけから
同程度のクオリティの音を

12:05

but by just watching見ている objectsオブジェクト
vibrate振動する to sound音 with camerasカメラ,

223

713752

4079

再現できるようになりました

12:09

and we can even do that when the cameraカメラ

224

717831

1934

しかも防音ガラスの
向こう側にある

12:11

is 15 feetフィート away from the objectオブジェクト,
behind後ろに soundproof防音 glassガラス.

225

719765

4234

５メートル離れた物を使って
それができるのです

12:15

So this is the sound音 that we were
ableできる to recover回復します in that case場合.

226

723999

3220

そうやって復元した音がこれです

12:19

Voice音声: Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,

227

727219

5294

Mary had a little lamb
whose fleece was white as snow,

12:24

and everywhereどこにでも that Maryメアリー went行った,
the lamb子羊 was sure to go.

228

732513

4759

and everywhere that Mary went,
the lamb was sure to go.

12:29

MR氏: And of courseコース, surveillance監視 is
the first application応用 that comes来る to mindマインド.

229

737404

3630

すぐ思いつく応用は
スパイ活動でしょう

12:33

(Laughter笑い)

230

741034

2995

（笑）

12:36

But it mightかもしれない actually実際に be useful有用
for other things as well.

231

744029

4056

しかし他のことにも使えます

12:40

Maybe in the future未来, we'll私たちは be ableできる
to use it, for example例,

232

748085

2840

もしかしたら
将来宇宙の向こうの音を

12:42

to recover回復します sound音 across横断する spaceスペース,

233

750925

2252

再現できるように
なるかもしれません

12:45

because sound音 can't travel旅行
in spaceスペース, but light光 can.

234

753177

3576

音は宇宙を伝わりませんが
光なら伝わるからです

12:48

We've私たちは only just begun始まった exploring探検する

235

756753

2404

私達は
この新しい技術の可能性を

12:51

other possible可能 uses用途
for this new新しい technology技術.

236

759157

3019

探り始めたばかりです

12:54

It lets〜する us see physical物理的 processesプロセス
that we know are there

237

762176

2832

これまで存在するのは
知っていたけれど

12:57

but that we've私たちは never been ableできる
to see with our own自分の eyes目 until〜まで now.

238

765008

3556

自分の目で見られなかった物理現象を
見えるようにしてくれるのです

13:00

This is our teamチーム.

239

768564

1204

これが私の仲間です

13:01

Everything I showed示した you today今日
is a result結果 of a collaborationコラボレーション

240

769768

2879

今日お見せしたものは
みんなここに出ている人達の

13:04

with this great groupグループ
of people you see here,

241

772647

2191

協力の結果
得られたものです

13:06

and I encourage奨励します you and welcomeようこそ you
to checkチェック out our websiteウェブサイト,

242

774838

3167

みなさんにもぜひ
私達のウェブサイトを訪れ

13:10

try it out yourselfあなた自身,

243

778005

1446

自分で試してみて

13:11

and join参加する us in exploring探検する
this world世界 of tiny小さな motions動き.

244

779451

2972

一緒に微細な動きの世界を
探索していただきたいと思います

13:14

Thank you.

245

782423

1625

ありがとうございました

13:16

(Applause拍手)

246

784048

1254

（拍手）

Translated by Yasushi Aoki
Reviewed by Eriko T.

ABOUT THE SPEAKER

Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com

THE ORIGINAL VIDEO ON TED.COM

マイケル・ルービンスタイン: 見えない動きを見、聞こえない音を聞く。すごい？それとも気味が悪い？ | TED Talk | TED.com