ABOUT THE SPEAKER

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com

TED2015

Abe Davis: New video technology that reveals an object's hidden properties

에이브 데이비스: 사물의 숨겨진 성질을 보여주는 새로운 비디오 테크놀로지

Filmed: 2015-03-17

Readability: 4.3

1,482,525 views

소리가 만들어 내는 작은 진동과 같은 아주 미세한 움직임은 우리 주변 어디에나 존재합니다. 소개해드리는 신기술은 정지해 있는 것처럼 보이는 영상으로부터 발췌한 미세한 움직임을 다시 소리로 복원 할 수 있게 해줍니다. 에이브 데이비스는 이를 한 단계 더 발전시킨 아주 간단한 영상으로부터 사물의 성질을 읽어내어 사람이 직접 작동해 볼 수 있는 시뮬레이션을 보여드립니다.

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

00:13

Most가장 of us think of motion운동
as a very visual시각적 인 thing.

0

1373

3349

사람들은 보통 움직임을
시각적인 것으로 생각합니다.

00:17

If I walk산책 across건너서 this stage단계
or gesture몸짓 with my hands소유 while I speak말하다,

1

5889

5088

만약 제가 지금 말하는 도중 무대를
가로질러 걷거나 손동작을 취하면

00:22

that motion운동 is something that you can see.

2

10977

2261

여러분은 그 움직임을
볼 수 있습니다.

00:26

But there's a world세계 of important중대한 motion운동
that's too subtle세밀한 for the human인간의 eye눈,

3

14255

5482

하지만 중요한 의미를 갖는 움직임들 중

그 크기가 매우 미세해서 우리
눈에 분별하기 어려운 것들도 있습니다.

00:31

and over the past과거 few조금 years연령,

4

19737

2041

우리는 지난 몇 년에 걸쳐
인간이 보지 못하는 이 움직임을

00:33

we've우리는 started시작한 to find that cameras카메라

5

21778

1997

00:35

can often자주 see this motion운동
even when humans인간 can't.

6

23775

3410

카메라로는 식별 할 수 있다는
사실을 알아냈습니다.

00:40

So let me show보여 주다 you what I mean.

7

28305

1551

어떤 것인지 직접 보여드리죠.

00:42

On the left here, you see video비디오
of a person's명 wrist손목,

8

30717

3622

왼쪽 화면은 사람 손목의 동영상입니다.

00:46

and on the right, you see video비디오
of a sleeping자고있는 infant유아,

9

34339

3147

오른편에는 잠자는
아기 동영상이 있어요.

00:49

but if I didn't tell you
that these were videos비디오,

10

37486

3146

하지만 이것들이 동영상이라고
말씀드리지 않았다면

00:52

you might힘 assume취하다 that you were looking
at two regular정규병 images이미지들,

11

40632

3761

여러분들은 두 개의 보통 사진을
보고 있다고 생각하실 수 있습니다.

00:56

because in both양자 모두 cases사례,

12

44393

1672

왜냐하면 두 영상 모두

00:58

these videos비디오 appear나타나다 to be
almost거의 completely완전히 still.

13

46065

3047

정지해 있는 것처럼 보이거든요.

01:02

But there's actually사실은 a lot
of subtle세밀한 motion운동 going on here,

14

50175

3885

하지만 여기에는 아주 미세한
움직임이 일어나고 있습니다.

01:06

and if you were to touch접촉
the wrist손목 on the left,

15

54060

2392

만약 여러분이 왼쪽 사진의
손목을 만질 수 있다면

01:08

you would feel a pulse펄스,

16

56452

1996

맥박을 느낄 수 있을 것입니다.

01:10

and if you were to hold보류
the infant유아 on the right,

17

58448

2485

또 만약 오른쪽의 아이를 안아 본다면

01:12

you would feel the rise오르기
and fall가을 of her chest가슴

18

60933

2391

아이가 숨을 쉴 때마다
가슴이 오르락 내리락

01:15

as she took~했다 each마다 breath숨.

19

63324

1390

하는 것을 느낄 수 있을 것입니다.

01:17

And these motions변 carry나르다
a lot of significance의미,

20

65762

3576

보시는 것과 같은 움직임들은
우리에게 중요한 정보를 제공합니다.

01:21

but they're usually보통
too subtle세밀한 for us to see,

21

69338

3343

하지만 대부분은 육안으로
식별하기에 매우 미세합니다.

01:24

so instead대신에, we have to observe관찰하다 them

22

72681

2276

그래서 육안으로 관찰하는 대신

01:26

through...을 통하여 direct곧장 contact접촉, through...을 통하여 touch접촉.

23

74957

2900

촉각을 통해 직접 만져보고 느낍니다.

01:30

But a few조금 years연령 ago...전에,

24

78997

1265

하지만 몇 년 전

01:32

my colleagues동료들 at MITMIT developed개발 된
what they call a motion운동 microscope현미경,

25

80262

4405

MIT의 제 동료들이 "모션 마이크로
스콥" 이라는 걸 개발했습니다.

01:36

which어느 is software소프트웨어 that finds발견하다
these subtle세밀한 motions변 in video비디오

26

84667

4384

이 소프트웨어는 영상의
미세한 움직임을 찾아내

01:41

and amplifies증폭하다 them so that they
become지다 large큰 enough충분히 for us to see.

27

89051

3562

우리가 볼 수 있을 만큼의 크기로
그 움직임을 증폭시켜줍니다.

01:45

And so, if we use their그들의 software소프트웨어
on the left video비디오,

28

93416

3483

왼쪽 영상에 이 소프트웨어를
적용해 보면

01:48

it lets~시키다 us see the pulse펄스 in this wrist손목,

29

96899

3250

손목의 맥박을 눈으로 볼 수 있습니다.

01:52

and if we were to count카운트 that pulse펄스,

30

100149

1695

우리가 만약 이 맥박을 센다면

01:53

we could even figure그림 out
this person's명 heart심장 rate율.

31

101844

2355

이 사람의 심박수를 알아낼 수 있습니다.

01:57

And if we used the same같은 software소프트웨어
on the right video비디오,

32

105095

3065

같은 소프트웨어를
오른쪽 영상에 사용해 보았습니다.

02:00

it lets~시키다 us see each마다 breath숨
that this infant유아 takes,

33

108160

3227

아이가 숨쉬는 것을
눈으로 볼 수 있게 해주고,

02:03

and we can use this as a contact-free비접촉식 way
to monitor감시 장치 her breathing호흡.

34

111387

4137

직접 만지지 않고도 아기의 호흡을
관찰할 수 있습니다.

02:08

And so this technology과학 기술 is really powerful강한
because it takes these phenomena현상

35

116884

5348

이러한 기술은 그 영향력이
매우 엄청납니다.

보통 우리가 촉각을
통해 느끼는 현상들을

02:14

that we normally정상적으로 have
to experience경험 through...을 통하여 touch접촉

36

122232

2367

우회적인 방법인 시각적으로
경험하게 해주기 때문입니다.

02:16

and it lets~시키다 us capture포착 them visually시각적으로
and non-invasively비 침습적.

37

124599

2957

몇 년전 저는 이 소프트웨어
개발자들과 함께 일하기 시작했습니다.

02:21

So a couple두 years연령 ago...전에, I started시작한 working일
with the folks사람들 that created만들어진 that software소프트웨어,

38

129104

4411

그리고 미친 것처럼 들리는
일을 시도해 보기로 했습니다.

02:25

and we decided결정적인 to pursue추구하다 a crazy미친 idea생각.

39

133515

3367

"우리가 생각하기에,

02:28

We thought, it's cool시원한
that we can use software소프트웨어

40

136882

2693

이 소프트웨어를 통해 미동을
시각화하는 것은 매우 멋진 일이며

02:31

to visualize시각화하다 tiny작은 motions변 like this,

41

139575

3135

02:34

and you can almost거의 think of it
as a way to extend넓히다 our sense감각 of touch접촉.

42

142710

4458

이는 다시말해 촉각의 역할을 연장한
것이라 할 수 있지 않은가.

02:39

But what if we could do the same같은 thing
with our ability능력 to hear듣다?

43

147168

4059

그렇다면 이와 같은 기술을 통해
듣는 능력을 확장해보면 어떨까?"

만약 이 영상 증폭 기술을 이용해
소리의 진동을 촬영 할 수 있다면요?

02:44

What if we could use video비디오
to capture포착 the vibrations진동 of sound소리,

44

152508

4665

02:49

which어느 are just another다른 kind종류 of motion운동,

45

157173

2827

소리의 진동 역시 아주 미세한
움직임이라고 할 수 있잖아요.

02:52

and turn회전 everything that we see
into a microphone마이크로폰?

46

160000

3346

그리고 우리가 눈으로 볼 수 있는 것을
소리로 변환해 본다면요?

다소 이상한 생각처럼 보이겠네요.

02:56

Now, this is a bit비트 of a strange이상한 idea생각,

47

164236

1971

02:58

so let me try to put it
in perspective원근법 for you.

48

166207

2586

여러분을 위해 다른 관점으로
설명해 드리겠습니다.

03:01

Traditional전통적인 microphones마이크
work by converting개조하다 the motion운동

49

169523

3488

일반적인 마이크의 원리는

내부의 진동판의 움직임을
전기신호로 변환하도록 되어있는데

03:05

of an internal내부의 diaphragm횡격막
into an electrical전기 같은 signal신호,

50

173011

3599

진동판은 소리에 반응하여
움직이도록 설계되었습니다.

03:08

and that diaphragm횡격막 is designed디자인 된
to move움직임 readily손쉽게 with sound소리

51

176610

4318

이 움직임은 기록할 수도 있고
소리로 변환되어 읽히기도 합니다.

03:12

so that its motion운동 can be recorded기록 된
and interpreted해석 된 as audio오디오.

52

180928

4807

소리는 사물을 진동시킬 수 있지만,

03:17

But sound소리 causes원인 all objects사물 to vibrate떨리다.

53

185735

3668

03:21

Those vibrations진동 are just usually보통
too subtle세밀한 and too fast빠른 for us to see.

54

189403

5480

우리 눈으로는 이 진동이 매우
미묘하고 빨라서 확인하기 어렵죠.

03:26

So what if we record기록 them
with a high-speed고속 camera카메라

55

194883

3738

그렇다면 우리가 고속 카메라로
영상을 기록하고

이 소프트웨어를 이용해 카메라로 찍은
아주 작은 미동을 추출해 낸뒤

03:30

and then use software소프트웨어
to extract추출물 tiny작은 motions변

56

198621

3576

03:34

from our high-speed고속 video비디오,

57

202197

2090

어떤 소리가 그 진동을 만들었는지
분석하면 어떨까요?

03:36

and analyze분석하다 those motions변 to figure그림 out
what sounds소리 created만들어진 them?

58

204287

4274

먼거리의 사물을 보는 것 만으로도
소리를 알아낼 수 있도록 해주지 않을까.

03:41

This would let us turn회전 visible명백한 objects사물
into visual시각적 인 microphones마이크 from a distance거리.

59

209859

5449

03:49

And so we tried시도한 this out,

60

217080

2183

그래서 저희가 시도해 보았습니다.

03:51

and here's여기에 one of our experiments실험,

61

219263

1927

이것이 저희가 한 실험 중 하나인데요,

03:53

where we took~했다 this potted화분에 심은 plant식물
that you see on the right

62

221190

2949

화면 오른쪽에 화분을 갖다 놓고

03:56

and we filmed촬영 한 it with a high-speed고속 camera카메라

63

224139

2438

근처의 스피커에 음악을 크게 틀어논 뒤

03:58

while a nearby인근의 loudspeaker확성기
played연주 한 this sound소리.

64

226577

3529

고속카메라로 촬영해 보았습니다.

04:02

(Music음악: "Mary메리 Had a Little Lamb양고기")

65

230275

8190

(음악 : 떴다떴다 비행기)
-스피커를 통해 음악이 나옴-

04:11

And so here's여기에 the video비디오 that we recorded기록 된,

66

239820

2824

이것이 저희가 촬영한 영상입니다.

04:14

and we recorded기록 된 it at thousands수천
of frames프레임 per당 second둘째,

67

242644

3924

이 영상은 초당 수천 프레임의
속도로 기록되었지만,

04:18

but even if you look very closely면밀히,

68

246568

2322

여러분이 아주 가까이서 본다 해도

04:20

all you'll너 see are some leaves이파리

69

248890

1951

그냥 가만히 있는

04:22

that are pretty예쁜 much
just sitting좌석 there doing nothing,

70

250841

3065

나뭇잎들만 보이실 겁니다.

04:25

because our sound소리 only moved움직이는 those leaves이파리
by about a micrometer마이크로 미터.

71

253906

4806

왜냐하면 이 나뭇잎들의 움직인 거리는
마이크로미터 정도로

04:31

That's one ten-thousandth십분의 일 of a centimeter센티미터,

72

259103

4276

1 센티미터의 천분의 일 입니다.

04:35

which어느 spans범위 somewhere어딘가에 between중에서
a hundredth백 and a thousandth천 번째

73

263379

4156

화면의 1 화소를 백분의 일에서
천분의 일로 나눈 정도입니다.

04:39

of a pixel화소 in this image영상.

74

267535

2299

그러니 여러분 마음껏 째려보세요.

04:41

So you can squint곁눈질 all you want,

75

269881

2887

04:44

but motion운동 that small작은 is pretty예쁜 much
perceptually지각 적으로 invisible보이지 않는.

76

272768

3335

그런다해도 이렇게 미세한 움직임은
눈으로 분별하기 어렵습니다.

04:49

But it turns회전 out that something
can be perceptually지각 적으로 invisible보이지 않는

77

277667

4157

하지만 이 작은 움직임은
육안으로는 자각하기 어려운 것이지만

04:53

and still be numerically수치 적으로 significant중요한,

78

281824

2809

숫자적으로는 그 의미가
충분히 있는 것으로 드러났어요.

04:56

because with the right algorithms알고리즘,

79

284633

2002

왜냐하면 제대로 된 알고리듬을 통해

04:58

we can take this silent조용한,
seemingly겉으로는 still video비디오

80

286635

3687

무음의 정지해 있는 듯한
동영상을 찍은 뒤

그 영상으로부터 들으시는 소리를
복원해 낼 수 있었기 때문입니다.

05:02

and we can recover다시 덮다 this sound소리.

81

290322

1527

05:04

(Music음악: "Mary메리 Had a Little Lamb양고기")

82

292690

7384

(음악: 떴다떴다 비행기)

05:12

(Applause박수 갈채)

83

300074

5828

(박수)

05:22

So how is this possible가능한?

84

310058

1939

이것이 어떻게 가능하냐고요?

05:23

How can we get so much information정보
out of so little motion운동?

85

311997

4344

이 미세한 움직임을 통해 이렇게나
방대한 정보를 얻을 수 있냐고요?

05:28

Well, let's say that those leaves이파리
move움직임 by just a single단일 micrometer마이크로 미터,

86

316341

5361

이 나뭇잎이 1 마이크로미터만큼
움직인다고 합시다.

05:33

and let's say that that shifts교대 our image영상
by just a thousandth천 번째 of a pixel화소.

87

321702

4308

그리고 그것이 천만분의 1 화소만큼의
이미지가 이동했다고 합시다.

05:39

That may할 수있다 not seem보다 like much,

88

327269

2572

그리 큰 숫자 같지는 않아보입니다.

05:41

but a single단일 frame틀 of video비디오

89

329841

1996

하지만 단일 프레임의 비디오는

05:43

may할 수있다 have hundreds수백 of thousands수천
of pixels픽셀 in it,

90

331837

3257

백만개에 가까운 화소로 이루어져있고

05:47

and so if we combine콤바인 all
of the tiny작은 motions변 that we see

91

335094

3454

전체 영상에 걸쳐 이를 모두 합치면
우리가 볼 수 있는

05:50

from across건너서 that entire완전한 image영상,

92

338548

2298

아주 작은 움직임이 됩니다.

05:52

then suddenly갑자기 a thousandth천 번째 of a pixel화소

93

340846

2623

그런후엔 이 천분의 1 화소가

05:55

can start스타트 to add더하다 up
to something pretty예쁜 significant중요한.

94

343469

2775

점층적으로 더해져 어떤
의미있는 움직임으로 바뀝니다.

05:58

On a personal개인적인 note노트, we were pretty예쁜 psyched감동적인
when we figured문채 있는 this out.

95

346870

3635

개인적으로는, 우리가 밝혀낸
이 사실에 대해 몹시 흥분했습니다.

06:02

(Laughter웃음)

96

350505

2320

(웃음)

06:04

But even with the right algorithm연산,

97

352825

3253

하지만 제대로 된 알고리듬을 적용했어도

06:08

we were still missing있어야 할 곳에 없는
a pretty예쁜 important중대한 piece조각 of the puzzle퍼즐.

98

356078

3617

아직까지 이 퍼즐의 매우 중요한 조각이
없었습니다.

06:11

You see, there are a lot of factors요인들
that affect감정 when and how well

99

359695

3604

보시다 시피 많은 요소들이
언제, 어떻게 이 기술이

06:15

this technique기술 will work.

100

363299

1997

잘 작동할 것인가에 대해
영향을 끼칩니다.

06:17

There's the object목적 and how far멀리 away it is;

101

365296

3204

측정하려는 사물과 그 거리,

06:20

there's the camera카메라
and the lens렌즈 that you use;

102

368500

2394

어떤 카메라와 렌즈를 사용 할 지,

06:22

how much light빛 is shining빛나는 on the object목적
and how loud화려한 your sound소리 is.

103

370894

4091

얼만큼의 빛을 사물에 노출해야 할 지
음향은 얼마나 커야 하는지 말이죠

06:27

And even with the right algorithm연산,

104

375945

3375

그리고 제대로 된 알고리즘을
이용할지라도

06:31

we had to be very careful꼼꼼한
with our early이른 experiments실험,

105

379320

3390

초기에 실행된 실험에서는
깊은 주의를 기울여야 했습니다.

06:34

because if we got
any of these factors요인들 wrong잘못된,

106

382710

2392

만약 이 중 하나라도
잘못된 가정이 있었다면

06:37

there was no way to tell
what the problem문제 was.

107

385102

2368

무엇이 문제인지 알아낼 방법이
없었기 때문입니다.

06:39

We would just get noise소음 back.

108

387470

2647

아마도 그냥 시끄러운 소음만
결과물로 얻었겠죠.

06:42

And so a lot of our early이른
experiments실험 looked보았다 like this.

109

390117

3320

그래서 많은 초기의 실험들은
다음과 같습니다.

06:45

And so here I am,

110

393437

2206

여기 제가 있습니다.

06:47

and on the bottom바닥 left, you can kind종류 of
see our high-speed고속 camera카메라,

111

395643

4040

화면아래 왼쪽에
초고속 카메라가 언뜻 보이시죠

06:51

which어느 is pointed뾰족한 at a bag가방 of chips작은 조각,

112

399683

2183

감자칩 과자봉지를 비추고 있습니다.

06:53

and the whole완전한 thing is lit문학
by these bright선명한 lamps램프.

113

401866

2949

이 모든 것을 비추는 것이
밝은 이 램프 빛입니다.

06:56

And like I said, we had to be
very careful꼼꼼한 in these early이른 experiments실험,

114

404815

4365

제가 말씀드렸듯이 초기 실험에서는
모든 것에 대해 매우 조심스러웠습니다.

07:01

so this is how it went갔다 down.

115

409180

2508

어떻게 진행되었는지 보여드릴게요.

07:03

(Video비디오) Abe아베 Davis데이비스: Three세, two, one, go.

116

411688

3761

셋, 둘, 하나, 시작

07:07

Mary메리 had a little lamb양고기!
Little lamb양고기! Little lamb양고기!

117

415449

5387

"떴다 떴다 비행기!
날아라, 날아라! "

07:12

(Laughter웃음)

118

420836

4500

(웃음)

07:17

AD광고: So this experiment실험
looks외모 completely완전히 ridiculous어리석은.

119

425336

2814

맞아요 이 실험은 정말이지
우스꽝스러워 보입니다.

07:20

(Laughter웃음)

120

428150

1788

(웃음)

07:21

I mean, I'm screaming외침 at a bag가방 of chips작은 조각 --

121

429938

2345

그러니까 저는 과자봉지에다
대고 소리를 지르고

07:24

(Laughter웃음) --

122

432283

1551

(웃음)

07:25

and we're blasting폭파 it with so much light빛,

123

433834

2117

엄청나게 밝은 조명을 쏘아대서

07:27

we literally말 그대로 melted녹은 것 the first bag가방
we tried시도한 this on. (Laughter웃음)

124

435951

4479

말 그대로 첫번째 실험한 과자봉지를
녹여버릴 정도였습니다. (웃음)

07:32

But ridiculous어리석은 as this experiment실험 looks외모,

125

440525

3274

하지만 우스꽝스럽게 보이는 만큼

07:35

it was actually사실은 really important중대한,

126

443799

1788

그것은 매우 중요한 실험이었어요.

07:37

because we were able할 수 있는
to recover다시 덮다 this sound소리.

127

445587

2926

왜냐하면 저희는 음향복원에
성공했기 때문입니다.

07:40

(Audio오디오) Mary메리 had a little lamb양고기!
Little lamb양고기! Little lamb양고기!

128

448513

4712

(오디오) 떳다떳다 비행기!
날아라 날아라!

07:45

(Applause박수 갈채)

129

453225

4088

(박수)

그리고 이는 정말이지 막대한
중요성을 띕니다.

07:49

AD광고: And this was really significant중요한,

130

457313

1881

07:51

because it was the first time
we recovered회복 된 intelligible이해할 수 있는 human인간의 speech연설

131

459194

4119

왜냐하면 이 실험이 최초로
무음의 동영상에서

인간이 말하는 소리를 복원해
낸 사례이기 때문입니다.

07:55

from silent조용한 video비디오 of an object목적.

132

463424

2341

07:57

And so it gave준 us this point포인트 of reference참고,

133

465765

2391

이 실험을 기반으로

08:00

and gradually차례로 we could start스타트
to modify수정하다 the experiment실험,

134

468156

3871

우리는 점차 실험에 변형을
시도했습니다.

08:04

using~을 사용하여 different다른 objects사물
or moving움직이는 the object목적 further더욱이 away,

135

472106

3805

다양한 사물을 이용하거나
촬영 거리를 더 멀리 조정하고

08:07

using~을 사용하여 less적게 light빛 or quieter더 조용한 sounds소리.

136

475911

2770

더 적은 양의 빛과
더 작은 소리를 이용하기도 했습니다.

08:11

And we analyzed분석 된 all of these experiments실험

137

479887

2874

이 다양한 실험결과들을 분석하며

08:14

until...까지 we really understood이해 된
the limits제한 of our technique기술,

138

482761

3622

이 기법의 허용 한도를
이해하게 되었습니다.

왜냐하면 우리가 이 한도를
이해한 뒤에는

08:18

because once일단 we understood이해 된 those limits제한,

139

486383

1950

08:20

we could figure그림 out how to push푸시 them.

140

488333

2346

그 허용 한도를 초월해
볼 수 있기 때문입니다.

08:22

And that led to experiments실험 like this one,

141

490679

3181

그래서 다음과 같은
실험을 하게 되었습니다.

또 다시 저는 과자봉지에다 대고
이야기를 합니다.

08:25

where again, I'm going to speak말하다
to a bag가방 of chips작은 조각,

142

493860

2739

08:28

but this time we've우리는 moved움직이는 our camera카메라
about 15 feet피트 away,

143

496599

4830

하지만 이번에는 카메라를
4.5 미터 정도의 거리로 옮기고

08:33

outside외부, behind뒤에 a soundproof방음의 window창문,

144

501429

2833

방음이 되는 유리창 뒤에
설치하였습니다.

08:36

and the whole완전한 thing is lit문학
by only natural자연스러운 sunlight햇빛.

145

504262

2803

빛이라고는 자연광이 전부입니다.

08:40

And so here's여기에 the video비디오 that we captured포착 된.

146

508529

2155

자 이것이 저희가 찍은 동영상 입니다.

08:44

And this is what things sounded소리를 냈다 like
from inside내부, next다음 것 to the bag가방 of chips작은 조각.

147

512450

4559

방음창 안에 있는 과자봉지 옆에서
들리는 소리는 다음과 같습니다.

08:49

(Audio오디오) Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow눈,

148

517009

5038

(오디오) 떳다 떳다 비행기
날아라 날아라

08:54

and everywhere어디에나 that Mary메리 went갔다,
that lamb양고기 was sure to go.

149

522047

5619

높이높이 날아라 우리비행기

08:59

AD광고: And here's여기에 what we were able할 수 있는
to recover다시 덮다 from our silent조용한 video비디오

150

527666

4017

그리고 이것이 우리가
방음창 밖에서 찍은

09:03

captured포착 된 outside외부 behind뒤에 that window창문.

151

531683

2345

동영상에서 복원해 낸 음향입니다.

09:06

(Audio오디오) Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow눈,

152

534028

4435

(음성) 떴다 떴다 비행기
날아라 날아라

09:10

and everywhere어디에나 that Mary메리 went갔다,
that lamb양고기 was sure to go.

153

538463

5457

높이높이 날아라 우리비행기

09:15

(Applause박수 갈채)

154

543920

6501

(박수)

09:22

AD광고: And there are other ways길
that we can push푸시 these limits제한 as well.

155

550421

3542

이 허용 한도를 추월해보고자
여러가지 다른 방법들도 시도했습니다.

09:25

So here's여기에 a quieter더 조용한 experiment실험

156

553963

1798

다음은 좀 더 작은 소리를
이용한 실험입니다.

09:27

where we filmed촬영 한 some earphones이어폰
plugged막힌 into a laptop휴대용 퍼스널 컴퓨터 computer컴퓨터,

157

555761

4110

노트북 컴퓨터에 연결한 이어폰을
촬영한 것으로

09:31

and in this case케이스, our goal골 was to recover다시 덮다
the music음악 that was playing연주하다 on that laptop휴대용 퍼스널 컴퓨터

158

559871

4110

저희의 목표는 이어폰에서 흘러나오는
음악을 복원해 내는 것이었습니다.

09:35

from just silent조용한 video비디오

159

563981

2299

물론 플라스틱 이어폰이 찍힌

09:38

of these two little plastic플라스틱 earphones이어폰,

160

566280

2507

이 동영상은 무음입니다.

09:40

and we were able할 수 있는 to do this so well

161

568787

2183

이 실험의 결과는 정확도가 매우 높아

09:42

that I could even ShazamShazam our results결과들.

162

570970

2461

샤잼(Shazam)어플을 통해 음악찾기를
할 수 있을 정도였어요.

09:45

(Laughter웃음)

163

573431

2411

(웃음)

09:49

(Music음악: "Under아래에 Pressure압력" by Queen퀸)

164

577191

10034

(음악: "언더 프레셔" - 퀸)

10:01

(Applause박수 갈채)

165

589615

4969

(박수)

10:06

And we can also또한 push푸시 things
by changing작고 보기 흉한 사람 the hardware하드웨어 that we use.

166

594584

4551

다음은 다른 종류의 장비를 사용해서
허용 한도를 시험해 보기도 했습니다.

10:11

Because the experiments실험
I've shown표시된 you so far멀리

167

599135

2461

지금까지 제가 보여드린 실험결과들은

10:13

were done끝난 with a camera카메라,
a high-speed고속 camera카메라,

168

601596

2322

초고속 카메라를 사용한 것인데

10:15

that can record기록 video비디오
about a 100 times타임스 faster더 빠른

169

603918

2879

이 카메라는 우리가 가진
핸드폰 카메라보다

10:18

than most가장 cell세포 phones전화,

170

606797

1927

100 배나 빠른 녹화가 가능합니다.

10:20

but we've우리는 also또한 found녹이다 a way
to use this technique기술

171

608724

2809

하지만 저희는 보통의 카메라를 가지고도

10:23

with more regular정규병 cameras카메라,

172

611533

2230

이를 구현할 수 있는 테크닉을
알아냈습니다.

10:25

and we do that by taking취득 advantage이점
of what's called전화 한 a rolling구르는 shutter셔터.

173

613763

4069

이른바 "롤링셔터"라 불리우는
효과를 이용한 것인데요

10:29

You see, most가장 cameras카메라
record기록 images이미지들 one row열 at a time,

174

617832

4798

많은 카메라들이 영상을 한 번에
한 줄씩 기록합니다.

10:34

and so if an object목적 moves움직임
during...동안 the recording녹음 of a single단일 image영상,

175

622630

5702

만약 한 장면 촬영시 사물이 움직이면

10:40

there's a slight근소한 time delay지연
between중에서 each마다 row열,

176

628344

2717

각 줄 사이 시간차가 생기게 됩니다.

10:43

and this causes원인 slight근소한 artifacts유물

177

631061

3157

이 때문에 약간의 인위적 변형이
일어나게 되고

10:46

that get coded코드화 된 into each마다 frame틀 of a video비디오.

178

634218

3483

이것이 동영상 각 프레임에 남아
기록됩니다.

10:49

And so what we found녹이다
is that by analyzing분석하는 these artifacts유물,

179

637701

3806

우리는 알고리듬을 변형하여
이 인위적 변형을 분석한 결과

10:53

we can actually사실은 recover다시 덮다 sound소리
using~을 사용하여 a modified수정 된 version번역 of our algorithm연산.

180

641507

4615

이 동영상으로부터 음향을
복원해낼 수 있었습니다.

10:58

So here's여기에 an experiment실험 we did

181

646122

1912

이것이 저희가 한 실험입니다.

11:00

where we filmed촬영 한 a bag가방 of candy사탕

182

648034

1695

보시는 것은 사탕봉지이고요

11:01

while a nearby인근의 loudspeaker확성기 played연주 한

183

649729

1741

주변에 있는 스피커에서 큰 소리로

11:03

the same같은 "Mary메리 Had a Little Lamb양고기"
music음악 from before,

184

651470

2972

종전과 같은 "떳다 떳다 비행기"
음악이 흘러나옵니다.

11:06

but this time, we used just a regular정규병
store-bought가게에서 산다 camera카메라,

185

654442

4203

하지만 이번에는 시중에서
구입한 일반 카메라를 사용했습니다.

11:10

and so in a second둘째, I'll play놀이 for you
the sound소리 that we recovered회복 된,

186

658645

3174

잠시 후 저희가 복원한 소리를
들려드릴텐데요

11:13

and it's going to sound소리
distorted비뚤어진 this time,

187

661819

2050

이번에는 약간 뒤틀린 듯한
소리를 들으실 것입니다.

11:15

but listen and see if you can still
recognize인정하다 the music음악.

188

663869

2836

하지만 한 번 들어보시고
무슨 음악인지 알 수 있는 지 보세요.

11:19

(Audio오디오: "Mary메리 Had a Little Lamb양고기")

189

667723

6223

(오디오: "떳다떳다 비행기")

11:37

And so, again, that sounds소리 distorted비뚤어진,

190

685527

3465

소리는 뒤틀린 듯하지만
주목하실 점은

11:40

but what's really amazing놀랄 만한 here
is that we were able할 수 있는 to do this

191

688992

4386

우리가 밖에 나가 하이마트 같은 데서

11:45

with something
that you could literally말 그대로 run운영 out

192

693378

2626

손쉽게 구할 수 있는 것들로

11:48

and pick선택 up at a Best베스트 Buy사다.

193

696004

1444

이러한 기술의 구현이 가능하다는
것입니다.

11:51

So at this point포인트,

194

699122

1363

그럼 이제

11:52

a lot of people see this work,

195

700485

1974

많은 사람들이 이 실험결과를 보고는

11:54

and they immediately바로 think
about surveillance감시.

196

702459

3413

즉각적으로 "감시카메라"를 떠올립니다.

11:57

And to be fair공정한,

197

705872

2415

네 맞아요.
누군가를 감시하기 위해

12:00

it's not hard단단한 to imagine상상하다 how you might힘 use
this technology과학 기술 to spy스파이 on someone어떤 사람.

198

708287

4133

이 기술을 사용한 다는 것을
상상하기란 그리 어렵지 않습니다.

12:04

But keep in mind마음 that there's already이미
a lot of very mature성숙한 technology과학 기술

199

712420

3947

하지만 현재에도 꽤 수준높은
감시카메라와 장비들이

12:08

out there for surveillance감시.

200

716367

1579

많이 있다는 것을 염두에 두십시요.

12:09

In fact것, people have been using~을 사용하여 lasers레이저

201

717946

2090

사실, 많은 사람들이 레이저를 이용한

12:12

to eavesdrop엿듣다 on objects사물
from a distance거리 for decades수십 년.

202

720036

2799

원거리 도청을
수십년간이나 해왔습니다.

12:15

But what's really new새로운 here,

203

723978

2025

하지만 여기서 새로운 점

12:18

what's really different다른,

204

726003

1440

정말로 다른 점은

12:19

is that now we have a way
to picture그림 the vibrations진동 of an object목적,

205

727443

4295

우리는 이제 사물의 진동을
시각화 할 수 있는 방법이 생겼고

그 기술이 세상을 다른 눈으로 볼 수
있게 해준다는 겁니다.

12:23

which어느 gives주는 us a new새로운 lens렌즈
through...을 통하여 which어느 to look at the world세계,

206

731738

3413

또한 소리를 제어하여 진동을
일으키는 요소가 무엇인지 뿐 아니라

12:27

and we can use that lens렌즈

207

735151

1510

12:28

to learn배우다 not just about forces힘 like sound소리
that cause원인 an object목적 to vibrate떨리다,

208

736661

4899

사물 그 자체의 성질에
대해서도 알 수 있게 해줍니다.

12:33

but also또한 about the object목적 itself그 자체.

209

741560

2288

그래서 저는 한발짝 물러나

12:36

And so I want to take a step단계 back

210

744975

1693

우리가 동영상을 이용하는 용도가

12:38

and think about how that might힘 change변화
the ways길 that we use video비디오,

211

746668

4249

어떻게 달라질 수 있는지에 대해
생각해 보고 싶어요.

12:42

because we usually보통 use video비디오
to look at things,

212

750917

3553

왜냐하면 우리는 주로 어떤 것들을
보기 위해 동영상을 이용하는데

12:46

and I've just shown표시된 you how we can use it

213

754470

2322

제가 보여드린 것 처럼 영상을 통해

12:48

to listen to things.

214

756792

1857

그것이 내는 소리를
들을 수도 있기 때문입니다.

12:50

But there's another다른 important중대한 way
that we learn배우다 about the world세계:

215

758649

3971

하지만 사물의 성질에 대해
알 수 있는 다른 방법이 있습니다.

12:54

that's by interacting상호 작용하는 with it.

216

762620

2275

바로 직접 작동해 보는 것입니다.

12:56

We push푸시 and pull손잡이 and poke찌름 and prod찌르다 things.

217

764895

3111

우리는 사물을 밀기도 붙잡기고 하고
찌르거나 당겨보기도 합니다.

13:00

We shake떨림 things and see what happens일이.

218

768006

3181

흔들어보고 어떻게 반응하는지
살피기도 합니다.

13:03

And that's something that video비디오
still won't습관 let us do,

219

771187

4273

이것은 아직까지도 우리가
동영상으로 할 수 없는 것입니다.

13:07

at least가장 작은 not traditionally전통적으로.

220

775460

2136

적어도 지금까지 알 던 바로는 말이죠.

13:09

So I want to show보여 주다 you some new새로운 work,

221

777596

1950

자 그럼 새로운 프로젝트를
보여드리겠습니다.

13:11

and this is based기반 on an idea생각 I had
just a few조금 months개월 ago...전에,

222

779546

2667

이는 몇달전에 나온 아이디어를
기반으로 한 것인데,

13:14

so this is actually사실은 the first time
I've shown표시된 it to a public공공의 audience청중.

223

782213

3301

실제로 오늘 처음으로 대중에게
공개하는 것입니다.

13:17

And the basic기본 idea생각 is that we're going
to use the vibrations진동 in a video비디오

224

785514

5363

동영상의 미동을 이용한
기본이론을 전제로

13:22

to capture포착 objects사물 in a way
that will let us interact상호 작용하다 with them

225

790877

4481

사물이 우리와 상호 작용 하는
방식을 포착한 것인데요,

13:27

and see how they react반응하다 to us.

226

795358

1974

이들이 우리에게 어떻게
반응 하는지 알 수 있습니다.

13:31

So here's여기에 an object목적,

227

799120

1764

이것이 사물입니다.

13:32

and in this case케이스, it's a wire철사 figure그림
in the shape모양 of a human인간의,

228

800884

3832

이 실험의 경우 사람모양의
철사로 만든 인형입니다.

13:36

and we're going to film필름 that object목적
with just a regular정규병 camera카메라.

229

804716

3088

일반 카메라로 이 사물을
촬영합니다.

13:39

So there's nothing special특별한
about this camera카메라.

230

807804

2124

카메라 자체는 별로
특이할 것이 없습니다.

13:41

In fact것, I've actually사실은 done끝난 this
with my cell세포 phone전화 before.

231

809928

2961

사실 이전에 제 핸드폰 카메라로
실험하기도 했습니다.

13:44

But we do want to see the object목적 vibrate떨리다,

232

812889

2252

우리는 사물의 진동을
관찰해 보고자 하는데

13:47

so to make that happen우연히 있다,

233

815141

1133

그러기 위해서

13:48

we're just going to bang쾅 a little bit비트
on the surface표면 where it's resting쉬고있는

234

816274

3346

사물이 놓여진 표면을
세게 두들겨 봅니다.

13:51

while we record기록 this video비디오.

235

819620

2138

촬영하는 동안 말입니다.

13:59

So that's it: just five다섯 seconds초
of regular정규병 video비디오,

236

827398

3671

그렇습니다.
우리가 표면을 두들기는 동안 찍은

5초 길이의 일반적인 동영상 입니다.

14:03

while we bang쾅 on this surface표면,

237

831069

2136

14:05

and we're going to use
the vibrations진동 in that video비디오

238

833205

3513

진동이 포착된 이 영상을 이용해

14:08

to learn배우다 about the structural구조의
and material자료 properties속성들 of our object목적,

239

836718

4544

이 사물의 구조와 물질적 특징이
어떤 것인지

14:13

and we're going to use that information정보
to create몹시 떠들어 대다 something new새로운 and interactive상호 작용하는.

240

841262

4834

그 정보를 이용하여 직접 사물을
조작해 볼 수 있습니다.

14:24

And so here's여기에 what we've우리는 created만들어진.

241

852866

2653

자 이것이 우리가 만든 것입니다.

14:27

And it looks외모 like a regular정규병 image영상,

242

855519

2229

보시기에는 평범한 사진 같습니다.

14:29

but this isn't an image영상,
and it's not a video비디오,

243

857748

3111

하지만 이것은 사진도 동영상도
아닙니다.

14:32

because now I can take my mouse쥐

244

860859

2368

왜냐하면 지금 제가
마우스를 갖다대서

14:35

and I can start스타트 interacting상호 작용하는
with the object목적.

245

863227

2859

이 사물을 움직여 볼 수
있기 때문입니다.

14:44

And so what you see here

246

872936

2357

보시는 것은

이전에는 보지 못했던
힘을 가할때 이 사물이

14:47

is a simulation시뮬레이션 of how this object목적

247

875389

2226

14:49

would respond응창 성가 to new새로운 forces힘
that we've우리는 never seen본 before,

248

877615

4458

어떻게 반응하는 지를 보여주는
시뮬레이션입니다.

14:54

and we created만들어진 it from just
five다섯 seconds초 of regular정규병 video비디오.

249

882073

3633

오직 5초짜리 일반 동영상을 가지고
만들어낸 것 입니다.

14:59

(Applause박수 갈채)

250

887249

4715

(박수)

15:09

And so this is a really powerful강한
way to look at the world세계,

251

897421

3227

이것은 엄청난 영향력을 지닌
세상을 보는 방법입니다.

15:12

because it lets~시키다 us predict예측하다
how objects사물 will respond응창 성가

252

900648

2972

왜냐하면 이로써 사물이
새로운 상황에 대해

어떻게 반응할지 예측할 수 있게 해주기
때문입니다.

15:15

to new새로운 situations상황,

253

903620

1823

15:17

and you could imagine상상하다, for instance예,
looking at an old늙은 bridge다리

254

905443

3473

예를들어 보죠.
여러분이 낡은 다리를 보고

15:20

and wondering궁금해하는 what would happen우연히 있다,
how would that bridge다리 hold보류 up

255

908916

3527

자동차로 그 다리를 건널 때에

15:24

if I were to drive드라이브 my car차 across건너서 it.

256

912443

2833

그 다리가 잘 버틸지를
궁금해 할 수 있습니다.

15:27

And that's a question문제
that you probably아마 want to answer대답

257

915276

2774

이러한 질문은 누구라도
그 답을 알고 싶어 하는 것입니다.

15:30

before you start스타트 driving운전
across건너서 that bridge다리.

258

918050

2560

실제로 운전해서 다리를
건너기 전에 말입니다.

15:33

And of course코스, there are going to be
limitations한계 to this technique기술,

259

921988

3272

물론 앞서 소개해드린
음원복원 기술처럼

15:37

just like there were
with the visual시각적 인 microphone마이크로폰,

260

925260

2462

이 기술에도 한계점이 있겠지만

15:39

but we found녹이다 that it works공장
in a lot of situations상황

261

927722

3181

우리가 예상치 못한 많은 상황에서도

15:42

that you might힘 not expect배고 있다,

262

930903

1875

이 기술이 작동한다는 것을
확인하였습니다.

15:44

especially특히 if you give it longer더 길게 videos비디오.

263

932778

2768

특히 더 긴 길이의 동영상을
이용하면 말입니다.

15:47

So for example예,
here's여기에 a video비디오 that I captured포착 된

264

935546

2508

보시는 동영상은 제 아파트 앞

15:50

of a bush부시 outside외부 of my apartment아파트,

265

938054

2299

화단을 촬영한 것입니다.

15:52

and I didn't do anything to this bush부시,

266

940353

3088

이 나뭇가지에 그 어떤 것도
하지 않았습니다.

15:55

but by capturing캡처 a minute-long1 분 길이 video비디오,

267

943441

2705

1 분정도 길이의 촬영만으로도

15:58

a gentle부드러운 breeze미풍 caused일으킨 enough충분히 vibrations진동

268

946146

3378

약한 바람에 의한 진동이 포착되었고

16:01

that we could learn배우다 enough충분히 about this bush부시
to create몹시 떠들어 대다 this simulation시뮬레이션.

269

949524

3587

이 화단에 대해 충분한 정보를 얻어
시뮬레이션을 만들어 볼 수 있었습니다.

16:07

(Applause박수 갈채)

270

955270

6142

(박수)

16:13

And so you could imagine상상하다 giving주는 this
to a film필름 director감독,

271

961412

2972

영화감독에게 이 이미지를
준다고 상상해 보세요.

16:16

and letting시키는 him control제어, say,

272

964384

1719

이 장면이 찍히고 난 후에

16:18

the strength힘 and direction방향 of wind바람
in a shot샷 after it's been recorded기록 된.

273

966103

4922

바람의 강도와 방향을
조정할 수 있겠죠.

16:24

Or, in this case케이스, we pointed뾰족한 our camera카메라
at a hanging교수형 curtain커튼,

274

972810

4535

보시는 것은 걸려 있는
커튼을 촬영한 것 입니다.

16:29

and you can't even see
any motion운동 in this video비디오,

275

977345

4129

동영상에는 눈으로 볼 수 있는
큰 움직임이 없습니다.

16:33

but by recording녹음 a two-minute-long2 분 길이 video비디오,

276

981474

2925

하지만 2분짜리 영상을 촬영함으로써

16:36

natural자연스러운 air공기 currents전류 in this room방

277

984399

2438

방안의 자연풍이 만들어내는

16:38

created만들어진 enough충분히 subtle세밀한,
imperceptible지각 할 수없는 motions변 and vibrations진동

278

986837

4412

아주 미세한 움직임과 진동을 통해

16:43

that we could learn배우다 enough충분히
to create몹시 떠들어 대다 this simulation시뮬레이션.

279

991249

2565

다음과 같은 시뮬레이션을
만들 수 있습니다.

16:48

And ironically역설적으로,

280

996243

2366

아이러니하게도

16:50

we're kind종류 of used to having데
this kind종류 of interactivity상호 작용

281

998609

3088

우리는 이미 가상현실
그래픽을 통해 이런식으로

16:53

when it comes온다 to virtual가상의 objects사물,

282

1001697

2647

직접 조작해 보는 것에 대해
익숙해져있습니다.

16:56

when it comes온다 to video비디오 games계략
and 3D models모델,

283

1004344

3297

비디오 게임이나 3D 모델
같은것이요.

16:59

but to be able할 수 있는 to capture포착 this information정보
from real레알 objects사물 in the real레알 world세계

284

1007641

4404

하지만 현실세계의 실제 사물을

17:04

using~을 사용하여 just simple단순한, regular정규병 video비디오,

285

1012045

2817

단순한 동영상을 통해
이러한 정보를 얻어내느 것은

17:06

is something new새로운 that has
a lot of potential가능성.

286

1014862

2183

이전에는 없었던 것으로
매우 큰 잠재력을 지니고 있습니다.

17:10

So here are the amazing놀랄 만한 people
who worked일한 with me on these projects프로젝트들.

287

1018410

4904

자, 여기 이분들은 이 프로젝트에
애써주신 훌륭한 분들입니다.

17:16

(Applause박수 갈채)

288

1024057

5596

(박수)

17:24

And what I've shown표시된 you today오늘
is only the beginning처음.

289

1032819

3057

제가 오늘 보여드린 것은
단지 시작에 불과합니다.

17:27

We've우리는 just started시작한 to scratch할퀴다 the surface표면

290

1035876

2113

이러한 영상으로 할 수 있는 일 중

17:29

of what you can do
with this kind종류 of imaging이미징,

291

1037989

2972

극히 일부분에 근접했을 뿐입니다.

17:32

because it gives주는 us a new새로운 way

292

1040961

2286

이 기술을 통해 우리 주변의 것들을

17:35

to capture포착 our surroundings주위
with common공유지, accessible얻기 쉬운 technology과학 기술.

293

1043342

4724

새롭게 모색할 수 있는 좀 더
보편적인 방법을 개발할 것입니다.

17:40

And so looking to the future미래,

294

1048066

1929

미래에는

17:41

it's going to be
really exciting흥미 진진한 to explore탐험하다

295

1049995

2037

이 기술이 가능케 할

17:44

what this can tell us about the world세계.

296

1052032

1856

신나는 모험이 기다리고 있습니다.

17:46

Thank you.

297

1054381

1204

감사합니다.

17:47

(Applause박수 갈채)

298

1055610

6107

(박수)

Translated by Min Gyo Lee
Reviewed by Sungho Yoo

ABOUT THE SPEAKER

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com

THE ORIGINAL VIDEO ON TED.COM

에이브 데이비스: 사물의 숨겨진 성질을 보여주는 새로운 비디오 테크놀로지 | TED Talk | TED.com