TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Эйб Девис: Новая видеотехнология открывает незаметные свойства объектов
Filmed:
Readability: 4.3
1,482,525 views
Вокруг нас полно неуловимых движений, мельчайших колебаний, вызванных звуком. Новая технология позволяет использовать такие колебания, чтобы восстановить вызвавший их звук, используя лишь видео неподвижного объекта. Однако Эйб Девис не останавливается на этом. Смотрите презентацию программы, которая позволяет взаимодействовать со скрытыми свойствами объекта, снятого на обычное видео.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
Большинство из нас думают,
что движение можно только видеть.
что движение можно только видеть.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Когда я хожу по сцене
или жестикулирую, пока говорю, —
или жестикулирую, пока говорю, —
00:22
that motion is something that you can see.
2
10977
2261
это движение, которое вы видите.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Но есть и целый мир движений,
еле заметных человеческому глазу,
еле заметных человеческому глазу,
00:31
and over the past few years,
4
19737
2041
и в течение последних лет
00:33
we've started to find that cameras
5
21778
1997
мы узнали, что видеокамеры
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
могут заметить такие движения,
даже если их не видит человек.
даже если их не видит человек.
Сейчас я покажу, что я имею ввиду.
00:40
So let me show you what I mean.
7
28305
1551
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Слева — видео запястья человека,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
а справа — видео спящего ребёнка.
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
Но если бы я не сказал вам,
что это видео,
что это видео,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
вы могли бы подумать, что
смотрите на два изображения.
смотрите на два изображения.
00:56
because in both cases,
12
44393
1672
Потому что в обоих случаях
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
изображения на видео
кажутся застывшими.
кажутся застывшими.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
На самом деле, там происходит
много неуловимых движений,
много неуловимых движений,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
и если вы могли бы коснуться
запястья на видео слева,
запястья на видео слева,
01:08
you would feel a pulse,
16
56452
1996
то ощутили бы пульс,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
а если бы смогли подержать
ребёнка на видео справа,
ребёнка на видео справа,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
то ощутили бы, как поднимается
и опускается грудная клетка
и опускается грудная клетка
01:15
as she took each breath.
19
63324
1390
с каждым вздохом.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
И эти движения имеют
большое значение,
большое значение,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
но они обычно настолько
слабы, что едва видимы.
слабы, что едва видимы.
01:24
so instead, we have to observe them
22
72681
2276
Так что мы можем ощутить их,
01:26
through direct contact, through touch.
23
74957
2900
непосредственно взаимодействуя
с объектом, касаясь его.
с объектом, касаясь его.
01:30
But a few years ago,
24
78997
1265
Но несколько лет назад,
мои коллеги из МИТа
мои коллеги из МИТа
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
создали так называемый
микроскоп движения —
микроскоп движения —
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
это компьютерная программа, которая
находит малозаметные движения на видео
находит малозаметные движения на видео
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
и усиливает их так, что они
становятся заметными для нас.
становятся заметными для нас.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Если мы применим программу
для видео слева,
для видео слева,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
то сможем увидеть пульс,
01:52
and if we were to count that pulse,
30
100149
1695
и если мы посчитаем удары,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
то сможем узнать частоту
сердечных сокращений.
сердечных сокращений.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Если мы используем программу
на видео справа,
на видео справа,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
то увидим каждый вдох,
который делает ребёнок,
который делает ребёнок,
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
мы можем видеть это без прямого
контакта для проверки дыхания.
контакта для проверки дыхания.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Эта технология действительно мощная,
потому что использует процесс,
потому что использует процесс,
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
который мы привыкли ощущать
через прикосновения,
через прикосновения,
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
и позволяет воспринимать его
зрительно, без вмешательства.
зрительно, без вмешательства.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Несколько лет назад я начал работу
вместе с группой, создавшей эту программу,
вместе с группой, создавшей эту программу,
02:25
and we decided to pursue a crazy idea.
39
133515
3367
и мы задумали проверить сумасшедшую идею.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Мы подумали: здорово, что можно
использовать эту программу
использовать эту программу
02:31
to visualize tiny motions like this,
41
139575
3135
для визуализации незаметных движений
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
и воспринимать их так, будто
это способ расширить наши способности.
это способ расширить наши способности.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
А что, если мы могли бы сделать то же
с нашей способностью слышать?
с нашей способностью слышать?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Что, если мы могли бы использовать
видео, чтобы записать вибрации звука,
видео, чтобы записать вибрации звука,
02:49
which are just another kind of motion,
45
157173
2827
что тоже является
лишь одной из форм движения,
лишь одной из форм движения,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
и превратить любые
видимые объекты в микрофон?
видимые объекты в микрофон?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Это немного странная идея,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
но давайте я поясню её
более развёрнуто.
более развёрнуто.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Обычный микрофон устроен так,
чтобы преобразовывать движение
чтобы преобразовывать движение
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
внутренней мембраны
в электрический сигнал,
в электрический сигнал,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
и мембрана сделана так,
чтобы двигаться под воздействием звука.
чтобы двигаться под воздействием звука.
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
Дальше эти вибрации записываются
и воспроизводятся как звук.
и воспроизводятся как звук.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Но звук заставляет все объекты колебаться.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Эти вибрации малы и слишком быстры,
чтобы их заметить.
чтобы их заметить.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
А что, если мы запишем их
с помощью высокоскоростной камеры,
с помощью высокоскоростной камеры,
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
и используем программу для
извлечения незаметных движений
извлечения незаметных движений
03:34
from our high-speed video,
57
202197
2090
из полученного видео,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
и обработаем движения, чтобы
понять, какие звуки их вызывают?
понять, какие звуки их вызывают?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Это позволило бы нам превратить
удалённые видимые объекты в микрофоны.
удалённые видимые объекты в микрофоны.
03:49
And so we tried this out,
60
217080
2183
Так что мы начали испытания.
03:51
and here's one of our experiments,
61
219263
1927
Вот один из наших экспериментов,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
где мы использовали растение
в горшке, его вы видите справа.
в горшке, его вы видите справа.
03:56
and we filmed it with a high-speed camera
63
224139
2438
Мы снимали его на высокоскоростную камеру,
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
в то время как в динамике рядом
проигрывался звук.
проигрывался звук.
(Музыка: «У Мэри был маленький барашек»)
[Эдисон тоже использовал её на фонографе]
[Эдисон тоже использовал её на фонографе]
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
04:11
And so here's the video that we recorded,
66
239820
2824
Вот получившаяся видеозапись,
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
и мы записали её на скорости
тысяча кадров в секунду.
тысяча кадров в секунду.
04:18
but even if you look very closely,
68
246568
2322
Но даже так, если вы всмотритесь,
04:20
all you'll see are some leaves
69
248890
1951
то увидите только листья,
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
которые, вероятней всего,
совершенно не двигаются.
совершенно не двигаются.
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
Всё потому, что звук отклоняет
листья на микрометр —
листья на микрометр —
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
это одна десятитысячная
сантиметра,
сантиметра,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
что равняется примерно
одной сотой или тысячной
одной сотой или тысячной
04:39
of a pixel in this image.
74
267535
2299
от пикселя на этом изображении.
04:41
So you can squint all you want,
75
269881
2887
Так что вы можете вглядываться,
сколько хотите,
сколько хотите,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
но движение настолько мало,
что незаметно для глаза.
что незаметно для глаза.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
В то же время то,
что настолько неуловимо,
что настолько неуловимо,
04:53
and still be numerically significant,
78
281824
2809
может быть численно оценено.
04:56
because with the right algorithms,
79
284633
2002
И используя подходящий алгоритм,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
мы можем из этого видео без звука
05:02
and we can recover this sound.
81
290322
1527
восстановить музыку.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Музыка: «У Мэри был маленький барашек»)
05:12
(Applause)
83
300074
5828
(Аплодисменты)
05:22
So how is this possible?
84
310058
1939
Как же это возможно?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Как нам удалось восстановить столько
информации из столь малого движения?
информации из столь малого движения?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Допустим, эти листья двигаются
лишь на один микрометр,
лишь на один микрометр,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
и скажем, что это сдвигает наше
изображение на тысячную пикселя.
изображение на тысячную пикселя.
05:39
That may not seem like much,
88
327269
2572
Кажется, что этого мало,
05:41
but a single frame of video
89
329841
1996
но на одном кадре такого видео
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
могут быть сотни тысяч пикселей.
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
Если мы соберём все микродвижения,
05:50
from across that entire image,
92
338548
2298
найденные на изображении,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
то получим тысячи пикселей
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
и можем начать составлять
из них что-то более заметное.
из них что-то более заметное.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Честно говоря, мы чуть было
не сошли с ума, когда нашли это.
не сошли с ума, когда нашли это.
06:02
(Laughter)
96
350505
2320
(Смех)
06:04
But even with the right algorithm,
97
352825
3253
Но даже с хорошим алгоритмом
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
мы по-прежнему упускали
важную деталь мозаики.
важную деталь мозаики.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Есть много факторов, влияющих
на то, когда и как хорошо
на то, когда и как хорошо
06:15
this technique will work.
100
363299
1997
сработает эта методика.
06:17
There's the object and how far away it is;
101
365296
3204
Есть объект и расстояние до него;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
камера и используемые объективы;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
свет, попадающий на объект,
и громкость звука.
и громкость звука.
06:27
And even with the right algorithm,
104
375945
3375
Даже применяя правильный алгоритм,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
нужно быть очень внимательным
с ранними экспериментами.
с ранними экспериментами.
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
Потому что если какой-то
из факторов был упущен,
из факторов был упущен,
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
то нет способа сказать, какой именно.
06:39
We would just get noise back.
108
387470
2647
Всё, что мы получим, — лишь шум.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Поэтому наши первые эксперименты
выглядели так.
выглядели так.
06:45
And so here I am,
110
393437
2206
Вот я,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
и слева внизу одна из наших
высокоскоростных камер,
высокоскоростных камер,
06:51
which is pointed at a bag of chips,
112
399683
2183
которая направлена на пачку чипсов,
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
место съёмки освещено яркими лампами.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
И как я сказал, нужно было быть
внимательными на первых этапах,
внимательными на первых этапах,
07:01
so this is how it went down.
115
409180
2508
и вот как это происходило.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Видео) Эйб Дейвис:
«Три, два, раз, запись».
«Три, два, раз, запись».
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
«У Мэри был маленький барашек!
Маленький барашек! Маленький барашек!»
Маленький барашек! Маленький барашек!»
07:12
(Laughter)
118
420836
4500
(Смех)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
ЭД: Да, эксперимент выглядит нелепым.
07:20
(Laughter)
120
428150
1788
(Смех)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
То есть я кричу на пачку чипсов,
07:24
(Laughter) --
122
432283
1551
(Смех)
07:25
and we're blasting it with so much light,
123
433834
2117
и свет настолько яркий,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
что мы почти расплавили упаковку
чипсов, пока записывали. (Смех)
чипсов, пока записывали. (Смех)
Но, несмотря на нелепость эксперимента,
07:32
But ridiculous as this experiment looks,
125
440525
3274
07:35
it was actually really important,
126
443799
1788
всё это было очень важно,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
потому что мы смогли
восстановить звук.
восстановить звук.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Аудио) «У Мэри был маленький барашек!
Маленький барашек! Маленький барашек!»
Маленький барашек! Маленький барашек!»
07:45
(Applause)
129
453225
4088
(Аплодисменты)
07:49
AD: And this was really significant,
130
457313
1881
ЭД: И это было действительно значимым,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
потому что впервые мы чётко
восстановили речь человека
восстановили речь человека
из беззвучной съёмки объекта.
07:55
from silent video of an object.
132
463424
2341
07:57
And so it gave us this point of reference,
133
465765
2391
Это дало нам точку отсчёта,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
и мы могли начать изменять
наш эксперимент,
наш эксперимент,
используя разные объекты
и отодвигая их дальше от камеры,
и отодвигая их дальше от камеры,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
08:07
using less light or quieter sounds.
136
475911
2770
уменьшая освещённость
или используя более тихий звук.
или используя более тихий звук.
Мы анализировали все
эти эксперименты до тех пор,
эти эксперименты до тех пор,
08:11
And we analyzed all of these experiments
137
479887
2874
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
пока не поняли границы
применения нашей методики,
применения нашей методики,
08:18
because once we understood those limits,
139
486383
1950
а когда мы осознали эти границы,
08:20
we could figure out how to push them.
140
488333
2346
то смогли расширить их.
08:22
And that led to experiments like this one,
141
490679
3181
И мы провели следующий эксперимент:
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
я снова разговаривал
с упаковкой чипсов,
с упаковкой чипсов,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
но на этот раз мы отодвинули
камеру на 4,5 метра,
камеру на 4,5 метра,
08:33
outside, behind a soundproof window,
144
501429
2833
установив за звуконепроницаемым стеклом,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
используя лишь естественное освещение.
И вот снятое нами видео.
08:40
And so here's the video that we captured.
146
508529
2155
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Вот звук, записанный
рядом с упаковкой чипсов.
рядом с упаковкой чипсов.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Аудио) «У Мэри был маленький барашек,
Его шерсть была белой как снег,
Его шерсть была белой как снег,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
И всюду, куда Мэри шла,
Барашек всегда следовал за ней».
Барашек всегда следовал за ней».
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
ЭД: А вот звук, который мы
смогли восстановить из видео,
смогли восстановить из видео,
09:03
captured outside behind that window.
151
531683
2345
снятого за звуконепроницаемым стеклом.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Аудио) «У Мэри был маленький барашек,
Его шерсть была белой как снег,
Его шерсть была белой как снег,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
И всюду, куда Мэри шла,
Барашек всегда следовал за ней».
Барашек всегда следовал за ней».
09:15
(Applause)
154
543920
6501
(Аплодисменты)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
ЭД: Есть другие пути расширения границ.
09:25
So here's a quieter experiment
156
553963
1798
Вот эксперимент с более тихим звуком,
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
в котором мы снимали наушники,
подсоединённые к ноутбуку.
подсоединённые к ноутбуку.
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
Наша цель была восстановить музыку,
играющую в этом ноутбуке,
играющую в этом ноутбуке,
09:35
from just silent video
159
563981
2299
используя беззвучную съёмку
09:38
of these two little plastic earphones,
160
566280
2507
двух пластиковых наушников.
09:40
and we were able to do this so well
161
568787
2183
Нам удалось это настолько хорошо,
09:42
that I could even Shazam our results.
162
570970
2461
что даже Shazam может распознать музыку.
09:45
(Laughter)
163
573431
2411
(Смех)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Музыка: «Under Pressure» группы «Queen»)
10:01
(Applause)
165
589615
4969
(Аплодисменты)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Мы смогли ещё дальше сдвинуть границы,
меняя аппаратуру для записи.
меняя аппаратуру для записи.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Все предыдущие эксперименты,
которые я показывал,
которые я показывал,
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
мы проводили, используя
высокоскоростную камеру,
высокоскоростную камеру,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
которая может записывать видео
со скоростью в 100 раз больше,
со скоростью в 100 раз больше,
10:18
than most cell phones,
170
606797
1927
чем камеры большинства
сотовых телефонов.
сотовых телефонов.
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
Однако мы нашли способ
применить наш метод
применить наш метод
10:23
with more regular cameras,
172
611533
2230
с помощью обычных камер,
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
используя эффект сдвига изображения.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Большинство камер записывают
изображение объекта построчно,
изображение объекта построчно,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
и если объект движется
во время записи,
во время записи,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
происходит запаздывание
при записи строк,
при записи строк,
10:43
and this causes slight artifacts
177
631061
3157
и это приводит к появлению искажений,
10:46
that get coded into each frame of a video.
178
634218
3483
находящихся в каждом кадре видео.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Мы обнаружили,
что анализируя эти искажения,
что анализируя эти искажения,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
мы можем восстановить звук,
используя модификацию нашего алгоритма.
используя модификацию нашего алгоритма.
10:58
So here's an experiment we did
181
646122
1912
Мы провели следующий эксперимент,
11:00
where we filmed a bag of candy
182
648034
1695
в котором снимали упаковку конфет,
11:01
while a nearby loudspeaker played
183
649729
1741
а в динамиках рядом проигрывалась
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
всё та же музыка «У Мэри
был маленький барашек».
был маленький барашек».
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
Однако в этот раз мы использовали
обычную камеру, купленную в магазине.
обычную камеру, купленную в магазине.
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
Сейчас я проиграю
восстановленный звук,
восстановленный звук,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
и он будет немного
искажённым в этот раз,
искажённым в этот раз,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
но послушайте и проверьте,
сможете ли вы узнать музыку.
сможете ли вы узнать музыку.
(Аудио: «У Мэри был маленький барашек»)
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
11:37
And so, again, that sounds distorted,
190
685527
3465
И хотя звук искажён,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
но по-настоящему удивительное
в этом то, что вы можете
в этом то, что вы можете
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
проделать подобное
буквально с камерой,
буквально с камерой,
11:48
and pick up at a Best Buy.
193
696004
1444
купленной в обычном магазине.
11:51
So at this point,
194
699122
1363
В этот момент
11:52
a lot of people see this work,
195
700485
1974
многие из слушателей
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
начинают думать про слежку, прослушку.
11:57
And to be fair,
197
705872
2415
По правде говоря,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
нетрудно представить, как использовать
эту технологию для слежки.
эту технологию для слежки.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Но помните, что уже есть
технологии гораздо совершеннее
технологии гораздо совершеннее
12:08
out there for surveillance.
200
716367
1579
для подобной прослушки.
12:09
In fact, people have been using lasers
201
717946
2090
Давно используются лазеры,
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
наведённые на отдалённый объект,
для подслушивания.
для подслушивания.
Но новое в этом,
12:15
But what's really new here,
203
723978
2025
12:18
what's really different,
204
726003
1440
принципиально отличное
заключается в том,
заключается в том,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
что этот способ, при помощи которого
мы снимаем вибрацию с объекта,
мы снимаем вибрацию с объекта,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
даёт нам новый ракурс,
с которого мы можем взглянуть на мир.
с которого мы можем взглянуть на мир.
12:27
and we can use that lens
207
735151
1510
Мы можем использовать его,
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
чтобы узнать не только о звуке,
заставляющем объект вибрировать,
заставляющем объект вибрировать,
12:33
but also about the object itself.
209
741560
2288
но и о самом объекте.
Вернёмся теперь немного назад
12:36
And so I want to take a step back
210
744975
1693
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
и подумаем, как это может изменить
привычное использование видео.
привычное использование видео.
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
Мы привыкли использовать видео,
чтобы смотреть на вещи,
чтобы смотреть на вещи,
12:46
and I've just shown you how we can use it
213
754470
2322
а недавно я показал,
как использовать видео,
как использовать видео,
12:48
to listen to things.
214
756792
1857
чтобы услышать звук.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Но есть и другой важный аспект того,
как мы познаём мир:
как мы познаём мир:
12:54
that's by interacting with it.
216
762620
2275
напрямую взаимодействуя с ним.
12:56
We push and pull and poke and prod things.
217
764895
3111
Мы толкаем, тянем, тычем в предметы.
13:00
We shake things and see what happens.
218
768006
3181
Мы трясём предметы,
чтобы понять, что произойдёт.
чтобы понять, что произойдёт.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
И это именно то, что видео пока
не даёт нам испытать,
не даёт нам испытать,
13:07
at least not traditionally.
220
775460
2136
по крайне мере, в привычном виде.
13:09
So I want to show you some new work,
221
777596
1950
И я хочу показать вам новый проект,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
основанный на идее, возникшей
у меня пару месяцев назад,
у меня пару месяцев назад,
так что это первый раз, когда я делюсь
этой идей с широкой аудиторией.
этой идей с широкой аудиторией.
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
Основная идея состоит в том,
чтобы использовать вибрации в видео
чтобы использовать вибрации в видео
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
таким образом, который бы позволил
нам взаимодействовать с ним
нам взаимодействовать с ним
13:27
and see how they react to us.
226
795358
1974
и видеть то, как предмет реагирует на нас.
13:31
So here's an object,
227
799120
1764
Перед вами объект.
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
На этот раз это проволочная
фигурка человека,
фигурка человека,
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
и мы снимаем этот объект
обычной камерой.
обычной камерой.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Так что нет ничего особенного
в этой камере.
в этой камере.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
В действительности, я проделывал
это же с камерой в телефоне.
это же с камерой в телефоне.
13:44
But we do want to see the object vibrate,
232
812889
2252
Нам необходимо увидеть,
как объект вибрирует,
как объект вибрирует,
13:47
so to make that happen,
233
815141
1133
и чтобы это сделать,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
мы просто постучим по той поверхности,
на которой он стоит,
на которой он стоит,
13:51
while we record this video.
235
819620
2138
и запишем это на видео.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Вот и всё — пять секунд
обычного видео,
обычного видео,
14:03
while we bang on this surface,
237
831069
2136
пока стучат по поверхности.
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
Далее мы используем
вибрации объекта с видео,
вибрации объекта с видео,
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
чтобы понять конструктивные
свойства и материал этого объекта
свойства и материал этого объекта
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
и использовать эту информацию,
чтобы создать новый способ взаимодействия.
чтобы создать новый способ взаимодействия.
14:24
And so here's what we've created.
241
852866
2653
И вот что мы создали.
14:27
And it looks like a regular image,
242
855519
2229
Это выглядит как обычное изображение,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
но это не изображение, и не видео,
14:32
because now I can take my mouse
244
860859
2368
потому что как только я беру мышь,
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
я могу воздействовать с объектом.
14:44
And so what you see here
246
872936
2357
То, что вы видите здесь, —
это симуляция того, как объект
14:47
is a simulation of how this object
247
875389
2226
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
будет реагировать на новые воздействия,
которые мы ранее не оказывали.
которые мы ранее не оказывали.
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
И мы создали это, используя
лишь 5 секунд обычного видео.
лишь 5 секунд обычного видео.
(Аплодисменты)
14:59
(Applause)
250
887249
4715
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
И это достаточно мощный
способ познания мира,
способ познания мира,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
потому что он может предсказывать,
как объект будет реагировать
как объект будет реагировать
15:15
to new situations,
253
903620
1823
на новые события.
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
Вы можете представить ситуацию,
к примеру, смотря на старый мост
к примеру, смотря на старый мост
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
и задаваясь вопросом: что произойдёт,
выдержит ли этот мост,
выдержит ли этот мост,
15:24
if I were to drive my car across it.
256
912443
2833
если я проеду по нему на машине.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
И это — вопрос, на который вы
захотели бы получить ответ до того,
захотели бы получить ответ до того,
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
как проедете по мосту.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Конечно же, будут ограничения
в применении такого способа,
в применении такого способа,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
так же как это было в экспериментах
с визуальным микрофоном.
с визуальным микрофоном.
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
В то же время, мы поняли, что метод
работает во многих ситуациях,
работает во многих ситуациях,
15:42
that you might not expect,
262
930903
1875
где мы не ожидали успеха,
15:44
especially if you give it longer videos.
263
932778
2768
особенно, если использовать
более длинную по времени запись.
более длинную по времени запись.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Вот, для примера, видео,
на котором я заснял куст,
на котором я заснял куст,
15:50
of a bush outside of my apartment,
265
938054
2299
растущий во дворе дома.
15:52
and I didn't do anything to this bush,
266
940353
3088
Я не делал ничего особенного с ним,
15:55
but by capturing a minute-long video,
267
943441
2705
а просто снимал 1 минуту.
15:58
a gentle breeze caused enough vibrations
268
946146
3378
Лёгкий ветерок создал вибрации,
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
которых было достаточно для
создания этой симуляции.
создания этой симуляции.
16:07
(Applause)
270
955270
6142
(Аплодисменты)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Можете представить, что даёте такой
инструмент кинорежиссёру,
инструмент кинорежиссёру,
16:16
and letting him control, say,
272
964384
1719
и он сможет контролировать
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
силу и направление ветра
в сцене, которую уже сняли.
в сцене, которую уже сняли.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
А вот в этом случае мы снимали занавеску.
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Здесь вы не видите даже
каких-либо движений,
каких-либо движений,
16:33
but by recording a two-minute-long video,
276
981474
2925
но за две минуты съёмок
16:36
natural air currents in this room
277
984399
2438
циркуляция воздуха в комнате,
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
создала лёгкие, едва заметные
движения и вибрации,
движения и вибрации,
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
достаточные, чтобы мы смогли
создать симуляцию.
создать симуляцию.
16:48
And ironically,
280
996243
2366
Как ни парадоксально,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
но мы привыкли к такому
способу взаимодействия,
способу взаимодействия,
16:53
when it comes to virtual objects,
282
1001697
2647
когда речь идёт о виртуальных объектах
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
в видеоиграх и трёхмерных моделях.
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
Но возможность получить такую же
информацию от объектов реального мира,
информацию от объектов реального мира,
17:04
using just simple, regular video,
285
1012045
2817
используя простое, обычное видео, —
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
это действительно что-то новое
и с большим потенциалом.
и с большим потенциалом.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Вот замечательные люди,
с которыми я работал над этими проектами.
с которыми я работал над этими проектами.
17:16
(Applause)
288
1024057
5596
(Аплодисменты)
И то, что я вам показал сегодня, —
это только начало.
это только начало.
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
17:27
We've just started to scratch the surface
290
1035876
2113
Мы только начали по-настоящему узнавать,
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
чего можно достигнуть,
применяя такой подход.
применяя такой подход.
17:32
because it gives us a new way
292
1040961
2286
Это даёт нам новый способ
запечатлеть окружающее с помощью
простых и доступных технологий.
простых и доступных технологий.
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
17:40
And so looking to the future,
294
1048066
1929
И заглядывая в будущее,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
будет по-настоящему
интересно узнать,
интересно узнать,
17:44
what this can tell us about the world.
296
1052032
1856
что эта технология сможет
рассказать нам об окружающем мире.
рассказать нам об окружающем мире.
17:46
Thank you.
297
1054381
1204
Спасибо.
17:47
(Applause)
298
1055610
6107
(Аплодисменты)
Translated by Lirit Fuksman
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com