TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Абе Давіс: Нова технологія, яка виявляє приховані властивості об'єкта
Filmed:
Readability: 4.3
1,482,525 views
Навколо нас постійно відбувається безліч непомітних рухів, наприклад, дрібні коливання від звуку. Нові технології розкривають можливість вихопити ці коливання та фактично відтворити звук і розмову з відеозапису, з вигляду, з нерухомого об’єкта. Абе Давіс пішов ще на крок вперед: подивіться на демоверсію його програми, яка дає змогу будь-кому взаємодіяти з прихованими властивостями на основі простого відеозапису.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Більшість з нас сприймає рух
як візуальну категорію.
як візуальну категорію.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Якщо я рухаюсь цією сценою
або жестикулюю під час промови,
або жестикулюю під час промови,
00:22
that motion is something that you can see.
2
10977
2261
то рух є тим, що ви можете побачити.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Але одночасно безліч важливих рухів
є непомітними для людського ока.
є непомітними для людського ока.
00:31
and over the past few years,
4
19737
2041
За кілька останніх років
00:33
we've started to find that cameras
5
21778
1997
ми почали переконуватися,
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
що камери фіксують такі рухи,
навіть коли люди їх не помічають.
навіть коли люди їх не помічають.
Продемонструю, про що мова.
00:40
So let me show you what I mean.
7
28305
1551
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Ліворуч ви бачите відеозапис людського
зап'ястка,
зап'ястка,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
а праворуч ви бачите відеозапис
дитини, яка спить,
дитини, яка спить,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
але, якби я не сказав, що це відеозаписи,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
ви б гадали, що це звичайні
зображення,
зображення,
00:56
because in both cases,
12
44393
1672
тому що в обох випадках
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
рух на відеозаписах виявляється майже
зовсім відсутнім.
зовсім відсутнім.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Насправді, на відео відбувається
безліч ледь помітних рухів,
безліч ледь помітних рухів,
і якби вам довелося торкнутися зап'ястка
з відео ліворуч,
з відео ліворуч,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
01:08
you would feel a pulse,
16
56452
1996
ви б відчули пульс,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
а якби ви тримали дитину з
відео праворуч,
відео праворуч,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
ви б відчули, як рухається
її грудна клітка
її грудна клітка
01:15
as she took each breath.
19
63324
1390
від кожного подиху.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Такі рухи мають велике значення,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
але вони надто непомітні для нашого зору,
01:24
so instead, we have to observe them
22
72681
2276
отже натомість нам треба стежити за ними
01:26
through direct contact, through touch.
23
74957
2900
через прямий контакт, через дотик.
01:30
But a few years ago,
24
78997
1265
Кілька років тому мої колеги з
Массачусетського технологічного інституту
Массачусетського технологічного інституту
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
розробили так званий мікроскоп руху -
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
це програмне забезпечення, яке
знаходить ці непомітні рухи на відео
знаходить ці непомітні рухи на відео
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
і посилює їх настільки,
щоб ми змогли їх побачити.
щоб ми змогли їх побачити.
І якщо ми застосуємо це програмне
забезпечення до відео ліворуч,
забезпечення до відео ліворуч,
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
то побачимо пульсацію на зап'ястку,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
і якби нам довелось рахувати пульс,
01:52
and if we were to count that pulse,
30
100149
1695
ми б змогли навіть визначити швидкість
серцебиття тієї людини.
серцебиття тієї людини.
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
Якщо ми застосуємо це ПЗ
до відео праворуч,
до відео праворуч,
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
воно дасть нам змогу побачити кожен подих
цієї дитини,
цієї дитини,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
і ми можемо використати це як
безконтактний спосіб контролю її дихання.
безконтактний спосіб контролю її дихання.
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
Ця технологія надзвичайно потужна,
адже вона дає змогу такі феномени,
адже вона дає змогу такі феномени,
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
які ми зазвичай відчуваємо через дотик,
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
зафіксувати візуально і без втручання.
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
Так, кілька років тому я почав співпрацю
з винахідниками цього ПЗ,
з винахідниками цього ПЗ,
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
і ми вирішили реалізувати
чудернацьку ідею.
чудернацьку ідею.
02:25
and we decided to pursue a crazy idea.
39
133515
3367
Ми бачили, як це класно
використовувати ПО
використовувати ПО
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
для візуалізації дрібних рухів
як ось ці,
як ось ці,
02:31
to visualize tiny motions like this,
41
139575
3135
і можна сприймати це як спосіб
посилити наше чуття дотику.
посилити наше чуття дотику.
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
А як щодо того, що ми повторили це з нашою
здатністю чути?
здатністю чути?
Що як ми використаємо відео
для захоплювання звукових вібрацій,
для захоплювання звукових вібрацій,
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
02:49
which are just another kind of motion,
45
157173
2827
які є іншим видом коливань,
таким чином перетворивши все
що ми бачимо на мікрофон?
що ми бачимо на мікрофон?
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
Так, це трохи дивна ідея,
02:56
Now, this is a bit of a strange idea,
47
164236
1971
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
тож дозвольте мені
продемонструвати її для вас.
продемонструвати її для вас.
Класичні мікрофони працюють через
конвертацію коливань
конвертацію коливань
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
вбудованої діафрагми
в електричний сигнал,
в електричний сигнал,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
ця діафрагма спроектована
рухатись під впливом звуку
рухатись під впливом звуку
так, щоб її коливання можна було записати
і декодувати в аудіо формат.
і декодувати в аудіо формат.
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
Але всі об'єкти вібрують від звука.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Такі вібрації зазвичай надто непомітні і
зашвидкі для нашого ока.
зашвидкі для нашого ока.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Що як ми запишемо їх за допомогою
високошвидкісної камери,
високошвидкісної камери,
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
і потім використаємо ПЗ для
відокремлення дрібних коливань
відокремлення дрібних коливань
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
з нашого високошвидкісного відеозапису,
03:34
from our high-speed video,
57
202197
2090
і проаналізуємо, які звуки спричинили
ці коливання?
ці коливання?
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
Таким чином ми перетворимо об'єкти
у візуальні мікрофони на відстані.
у візуальні мікрофони на відстані.
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Ми таки спробували це зробити,
03:49
And so we tried this out,
60
217080
2183
ось один з наших експериментів,
03:51
and here's one of our experiments,
61
219263
1927
в якому ми використали цю рослину
в горщику, ви її бачите тут праворуч,
в горщику, ви її бачите тут праворуч,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
03:56
and we filmed it with a high-speed camera
63
224139
2438
і записали на великій швидкості
як поруч з нею з динаміків лунав цей звук.
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
(Музика: "Було у Мері маленьке ягня")
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
А ось і відео, яке ми записали,
04:11
And so here's the video that we recorded,
66
239820
2824
і ми записали його на швидкості
тисячі фреймів на секунду,
тисячі фреймів на секунду,
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
але, навіть уважно поглянувши,
04:18
but even if you look very closely,
68
246568
2322
ви тільки побачите листя,
04:20
all you'll see are some leaves
69
248890
1951
з яким нічого не відбувається.
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
Тому що наш звук зрушив листя
приблизно на мікрометр.
приблизно на мікрометр.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Це одна десятитисячна сантиметра,
що еквівалентно проміжку десь
між сотою і тисячною пікселя
між сотою і тисячною пікселя
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
04:39
of a pixel in this image.
74
267535
2299
на цьому зображенні.
Ви можете напружено придивлятись,
04:41
So you can squint all you want,
75
269881
2887
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
але таке дрібне коливання доволі
непомітне для сприйняття.
непомітне для сприйняття.
Виявляється, що дещо
може бути невидимим для сприйняття
може бути невидимим для сприйняття
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
і все ж значущим за числовим
значенням.
значенням.
04:53
and still be numerically significant,
78
281824
2809
Тому що за допомогою
відповідного алгоритму
відповідного алгоритму
04:56
because with the right algorithms,
79
284633
2002
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
ми можемо відтворити звук
цього, здається, німого відео.
05:02
and we can recover this sound.
81
290322
1527
(Музика: "Було у Мері маленьке ягня")
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Оплески)
05:12
(Applause)
83
300074
5828
Як це зробити?
05:22
So how is this possible?
84
310058
1939
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Як дістати так багато інформації
з дрібних коливань?
з дрібних коливань?
Скажімо, що листя
зрушилося лише на мікрометр,
зрушилося лише на мікрометр,
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
а на зображенні ця зміна
відбулась на тисячну пікселя.
відбулась на тисячну пікселя.
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
05:39
That may not seem like much,
88
327269
2572
Це може здатися незначним,
але єдиний фрейм відеозапису
05:41
but a single frame of video
89
329841
1996
може охоплювати сотні тисяч
пікселів,
пікселів,
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
і так, якщо ми об'єднаємо всі ці
видимі дрібні коливання
видимі дрібні коливання
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
з усього зображення,
05:50
from across that entire image,
92
338548
2298
несподівано тисячна пікселя
05:52
then suddenly a thousandth of a pixel
93
340846
2623
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
стане у підсумку доволі значущою.
Від себе зауважу, що ми ледь не здуріли,
коли зрозуміли це.
коли зрозуміли це.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
(Сміх)
06:02
(Laughter)
96
350505
2320
06:04
But even with the right algorithm,
97
352825
3253
Але навіть з відповідним алгоритмом,
нам все ще не вистачало
доволі важливого елемента пазлу.
доволі важливого елемента пазлу.
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
Бачите, існує багато факторів,
які впливають на те, коли і як добре
які впливають на те, коли і як добре
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
цей метод спрацює.
06:15
this technique will work.
100
363299
1997
Ось об'єкт і на якій він відстані;
06:17
There's the object and how far away it is;
101
365296
3204
ось камера і лінза, яку ви
використовуєте;
використовуєте;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
наскільки освітлений об'єкт
і наскільки гучний звук.
і наскільки гучний звук.
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
06:27
And even with the right algorithm,
104
375945
3375
І навіть з відповідним алгоритмом,
ми мусили бути обережними у
перших наших спробах,
перших наших спробах,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
адже з хибними факторами
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
неможливо було визначити,
в чому полягала проблема.
в чому полягала проблема.
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
Ми просто отримували запис шуму.
06:39
We would just get noise back.
108
387470
2647
А тому багато з перших експериментів
були такими.
були такими.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Ось я, а в нижньому лівому кутку
06:45
And so here I am,
110
393437
2206
ви побачите нашу
високошвидкісну камеру,
високошвидкісну камеру,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
націлену на пакет чіпсів,
06:51
which is pointed at a bag of chips,
112
399683
2183
і вся ця інсталяція освітлена
потужними лампами.
потужними лампами.
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
Як я вже казав, ми мусили бути
обережними в перших спробах,
обережними в перших спробах,
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
і ось так це виглядало.
07:01
so this is how it went down.
115
409180
2508
(Відео) Абе Давіс:
Три, два, один, почали.
Три, два, один, почали.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
Було у Мері маленьке ягня!
Маленьке ягня! Маленьке ягня!
Маленьке ягня! Маленьке ягня!
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
(Сміх)
07:12
(Laughter)
118
420836
4500
Цей експеримент виглядає
дуже кумедно.
дуже кумедно.
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
(Сміх)
07:20
(Laughter)
120
428150
1788
Я кричу на пакет чіпсів.
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
(Сміх)
07:24
(Laughter) --
122
432283
1551
І ми зіпсували стільки світла на нього,
07:25
and we're blasting it with so much light,
123
433834
2117
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
що буквально розплавили наш перший
експериментальний пакет. (Сміх)
експериментальний пакет. (Сміх)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Попри те, що цей експеримент
такий кумедний,
такий кумедний,
07:35
it was actually really important,
126
443799
1788
важливо,
що ми змогли відновити звук.
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
(Аудіо) Було у Мері маленьке ягня!
Маленьке ягня! Маленьке ягня!
Маленьке ягня! Маленьке ягня!
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Оплески)
07:45
(Applause)
129
453225
4088
АД: Показовим було те,
07:49
AD: And this was really significant,
130
457313
1881
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
що ми вперше відтворили
зрозуміле людське мовлення
зрозуміле людське мовлення
07:55
from silent video of an object.
132
463424
2341
з німого відеозапису об'єкта.
07:57
And so it gave us this point of reference,
133
465765
2391
Це була наша точка відліку,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
і поступово ми почали
вносити зміни в експеримент,
вносити зміни в експеримент,
використовуючи різні об'єкти
або збільшуючи відстань до об'єктів,
або збільшуючи відстань до об'єктів,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
зменшуючи освітлення або звук.
08:07
using less light or quieter sounds.
136
475911
2770
І ми аналізували всі ці експерименти,
08:11
And we analyzed all of these experiments
137
479887
2874
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
допоки не зрозуміли обмеження
нашого методу,
нашого методу,
адже, зрозумівши, в чому ці обмеження
полягають, ми могли визначити,
полягають, ми могли визначити,
08:18
because once we understood those limits,
139
486383
1950
08:20
we could figure out how to push them.
140
488333
2346
як їх подолати.
І це привело нас до експериментів
на кшталт ось цого.
на кшталт ось цого.
08:22
And that led to experiments like this one,
141
490679
3181
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
В ньому я знову говоритиму до
пакета чіпсів,
пакета чіпсів,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
але цього разу ми переставили камеру
на 4,5 метри далі,
на 4,5 метри далі,
за звукоізоляційне вікно,
08:33
outside, behind a soundproof window,
144
501429
2833
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
а вся інсталяція була освітлена лише
природнім сонячним світлом.
природнім сонячним світлом.
А ось і відео, яке ми відзняли.
08:40
And so here's the video that we captured.
146
508529
2155
Такий текст звучав
поруч з пакетом чіпсів.
поруч з пакетом чіпсів.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
(Аудіо) Було у Мері маленьке ягня,
з білим мов сніг кожушком,
з білим мов сніг кожушком,
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
і куди б Мері собі не пішла,
ягня бігло за нею хвостом.
ягня бігло за нею хвостом.
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
АД: А це те, що нам вдалось відтворити
з німого відеозапису,
з німого відеозапису,
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
знятого з іншого боку вікна.
09:03
captured outside behind that window.
151
531683
2345
(Аудіо) Було у Мері маленьке ягня
з білим мов сніг кожушком,
з білим мов сніг кожушком,
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
і куди б Мері собі не пішла,
ягня бігло за нею хвостом.
ягня бігло за нею хвостом.
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
(Оплески)
09:15
(Applause)
154
543920
6501
Існують інші способи розширити
обмеження.
обмеження.
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
Ось тихіший експеримент.
09:25
So here's a quieter experiment
156
553963
1798
Ми зробили відеозапис навушників,
ввімкнених у портативний комп'ютер.
ввімкнених у портативний комп'ютер.
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
В цьому випадку нашою метою було
записати музику, яка грала на комп'ютері,
записати музику, яка грала на комп'ютері,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
з німого відеозапису
09:35
from just silent video
159
563981
2299
цих двох пластикових навушників,
09:38
of these two little plastic earphones,
160
566280
2507
09:40
and we were able to do this so well
161
568787
2183
і нам це так добре вдалось,
що я навіть зміг розпізнати
результат в Shazam.
результат в Shazam.
09:42
that I could even Shazam our results.
162
570970
2461
(Сміх)
09:45
(Laughter)
163
573431
2411
(Музика: "Under Pressure" група Queen)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Оплески)
10:01
(Applause)
165
589615
4969
Ми також можемо розширювати обмеження,
змінюючи обладнання, яке використовуємо.
змінюючи обладнання, яке використовуємо.
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Продемонстровані експерименти
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
було зроблено за допомогою
високошвидкісної камери,
високошвидкісної камери,
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
яка записує відео в 100 разів
швидше,
швидше,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
ніж більшість мобільних телефонів.
10:18
than most cell phones,
170
606797
1927
Але ми також знайшли спосіб
використовувати цей метод
використовувати цей метод
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
зі звичайними камерами,
10:23
with more regular cameras,
172
611533
2230
при цьому ми використовуємо
ефект зсуву зображення.
ефект зсуву зображення.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
Бачите, більшість камер записують
зображення по одному рядку в час,
зображення по одному рядку в час,
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
а під час запису зображення
об'єкта, який рухається,
об'єкта, який рухається,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
відбувається деяка затримка в часі
між рядами,
між рядами,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
10:43
and this causes slight artifacts
177
631061
3157
що викликає деяке розмивання,
10:46
that get coded into each frame of a video.
178
634218
3483
яке кодується в кожний фрейм відео.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Проаналізувавши ці розмивання,
ми з'ясували те, що
ми з'ясували те, що
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
можемо відтворити звук за допомогою
модифікованої версії нашого алгоритму.
модифікованої версії нашого алгоритму.
Ось експеримент, який ми провели
10:58
So here's an experiment we did
181
646122
1912
з пакетиком цукерок, під час якого
11:00
where we filmed a bag of candy
182
648034
1695
гучномовець грав ту саму музику:
11:01
while a nearby loudspeaker played
183
649729
1741
"Було у Мері маленьке ягня",
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
але цього разу ми використовували звичайну
камеру, яку можна купити в магазині,
камеру, яку можна купити в магазині,
а через секунду я програю для вас
звук, який ми записали,
звук, який ми записали,
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
він буде спотворений цього разу,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
але послухайте, чи ви зможете розпізнати
музику.
музику.
(Аудіо: "Було у Мері маленьке ягня")
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
11:37
And so, again, that sounds distorted,
190
685527
3465
Знову скажу, що звук спотворений,
але найдивовижніше в цьому те,
що ми зробили це
що ми зробили це
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
за допомогою пристрою,
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
який є загальнодоступним.
11:48
and pick up at a Best Buy.
193
696004
1444
На цьому етапі
11:51
So at this point,
194
699122
1363
багато людей бачать цю роботу
11:52
a lot of people see this work,
195
700485
1974
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
і миттєво уявляють
спостереження.
спостереження.
Чесно кажучи, не важко уявити,
як можна використати цю технологію
як можна використати цю технологію
11:57
And to be fair,
197
705872
2415
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
для шпигування за кимось.
Але пам'ятайте, що вже
існує багато готових технологій
існує багато готових технологій
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
для спостереження.
12:08
out there for surveillance.
200
716367
1579
12:09
In fact, people have been using lasers
201
717946
2090
Насправді, десятиліттями
люди використовують лазер
люди використовують лазер
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
для прослуховування об'єктів
на відстані.
на відстані.
Натомість інновація,
12:15
But what's really new here,
203
723978
2025
справжня відмінність полягає в тому,
12:18
what's really different,
204
726003
1440
що тепер ми маємо спосіб
фотографувати вібрації об'єкта,
фотографувати вібрації об'єкта,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
що є новою лінзою бачення світу,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
і через цю лінзу ми можемо
12:27
and we can use that lens
207
735151
1510
вивчати не тільки такі сили, як звук,
що змушують об'єкт вібрувати,
що змушують об'єкт вібрувати,
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
а й сам об'єкт.
12:33
but also about the object itself.
209
741560
2288
Я хочу повернутися назад
12:36
And so I want to take a step back
210
744975
1693
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
і звернути увагу на те, як може змінитись
використання відео.
використання відео.
Адже ми використовуємо відео
для перегляду об'єктів,
для перегляду об'єктів,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
а щойно я продемонстрував вам,
як ми можемо його використати
як ми можемо його використати
12:46
and I've just shown you how we can use it
213
754470
2322
12:48
to listen to things.
214
756792
1857
для прослуховування об'єктів.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Існує ще один важливий спосіб
сприйняття світу:
сприйняття світу:
взаємодія з ним.
12:54
that's by interacting with it.
216
762620
2275
Ми штовхаємо і тягнемо,
встромляємо і проштрикуємо речі.
встромляємо і проштрикуємо речі.
12:56
We push and pull and poke and prod things.
217
764895
3111
Ми трусимо речі і дивимось на результат.
13:00
We shake things and see what happens.
218
768006
3181
Відео не дає нам змоги
робити це
робити це
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
в традиційному сенсі.
13:07
at least not traditionally.
220
775460
2136
Я хочу показати вам нову розробку,
13:09
So I want to show you some new work,
221
777596
1950
вона базується на ідеї, що
виникла в мене лише кілька місяців тому.
виникла в мене лише кілька місяців тому.
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
Я вперше демонструю її публічно.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Основна ідея в тому, що ми використаємо
вібрації на відео,
вібрації на відео,
щоб захопити об'єкти таким чином,
щоб взаємодіяти з ними,
щоб взаємодіяти з ними,
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
і побачити, як вони на нас реагують.
13:27
and see how they react to us.
226
795358
1974
Отже це об'єкт,
13:31
So here's an object,
227
799120
1764
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
в даному випадку це - фігурка з дроту
в формі чоловічка.
в формі чоловічка.
Ми зафільмуємо цей об'єкт
за допомогою звичайної камери.
за допомогою звичайної камери.
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
В цій камері нічого особливого немає.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Взагалі, раніше я робив це за
допомогою свого мобільного телефону.
допомогою свого мобільного телефону.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
13:44
But we do want to see the object vibrate,
232
812889
2252
Але нам потрібно побачити,
як коливається об'єкт.
як коливається об'єкт.
13:47
so to make that happen,
233
815141
1133
Тому задля цього
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
ми просто трохи постукаємо
по поверхні, на якій він стоїть
по поверхні, на якій він стоїть
під час запису відео.
13:51
while we record this video.
235
819620
2138
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Отак просто: п'ять секунд
звичайного відео,
звичайного відео,
поки ми стукаємо по поверхні.
14:03
while we bang on this surface,
237
831069
2136
Використаємо коливання в цьому відео
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
для вивчення структурних
і фізичних характеристик нашого об'єкта.
і фізичних характеристик нашого об'єкта.
А потім використаємо цю інформацію, щоб
створити щось нове й інтерактивне.
створити щось нове й інтерактивне.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
14:24
And so here's what we've created.
241
852866
2653
І ось що ми створили.
14:27
And it looks like a regular image,
242
855519
2229
Виглядає як звичайне зображення,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
але це ані зображення, ані відео.
14:32
because now I can take my mouse
244
860859
2368
Тому що зараз я візьму мишку
і почну взаємодіяти з об'єктом.
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
14:44
And so what you see here
246
872936
2357
Те, що ви тут бачите,
14:47
is a simulation of how this object
247
875389
2226
є симулюванням того,
як цей об'єкт реагуватиме на нові сили,
яких ми ніколи не бачили досі,
яких ми ніколи не бачили досі,
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
і це ми створили на основі 5 секунд
звичайного відеозапису.
звичайного відеозапису.
(Оплески)
14:59
(Applause)
250
887249
4715
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Це справді потужний спосіб
сприйняття світу,
сприйняття світу,
тому що він дає нам змогу
спрогнозувати, як об'єкти реагуватимуть
спрогнозувати, як об'єкти реагуватимуть
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
15:15
to new situations,
253
903620
1823
на нові ситуації.
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
Ви можете уявити, наприклад,
дивлячись на старий міст
дивлячись на старий міст
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
і уявляючи, що трапиться,
як він буде триматись,
як він буде триматись,
15:24
if I were to drive my car across it.
256
912443
2833
якби вам довелось його переїхати.
І це, напевно, те питання, на яке
ви хочете мати відповідь,
ви хочете мати відповідь,
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
перш ніж почнете рух через
той міст.
той міст.
Звичайно, у цього методу будуть
обмеження,
обмеження,
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
так само як були обмеження
у візуального мікрофону.
у візуального мікрофону.
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
Але ми відстежили, що він працює
в багатьох ситуаціях,
в багатьох ситуаціях,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
коли ви, можливо, цього не очікуєте.
15:42
that you might not expect,
262
930903
1875
Особливо, коли ви працюєте з довшими
відеозаписами.
відеозаписами.
15:44
especially if you give it longer videos.
263
932778
2768
Наприклад, ось відео куща,
яке я зробив
яке я зробив
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
біля моєї квартири.
15:50
of a bush outside of my apartment,
265
938054
2299
15:52
and I didn't do anything to this bush,
266
940353
3088
Я нічого не робив з цим кущем,
але під час хвилинної зйомки
цього відео
цього відео
15:55
but by capturing a minute-long video,
267
943441
2705
15:58
a gentle breeze caused enough vibrations
268
946146
3378
легкий вітерець спричинив достатньо
вібрацій,
вібрацій,
щоб ми могли достатньо вивчити цей кущ
і створити цю симуляцію.
і створити цю симуляцію.
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
(Оплески)
16:07
(Applause)
270
955270
6142
Уявіть, що ви віддаєте це режисеру
фільму
фільму
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
і даєте йому змогу, наприклад,
16:16
and letting him control, say,
272
964384
1719
контролювати силу і напрям вітру
в кадрі, який вже було відзнято.
в кадрі, який вже було відзнято.
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
Або, в іншому випадку, ми встановили
камеру перед шторою, яка висить,
камеру перед шторою, яка висить,
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
і ви навіть не побачите будь-яких
коливань на цьому відео,
коливань на цьому відео,
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
але під час двохвилинної зйомки відео
16:33
but by recording a two-minute-long video,
276
981474
2925
природні потоки повітря в кімнаті
16:36
natural air currents in this room
277
984399
2438
створили достатньо дрібних
непомітних рухів і коливань,
непомітних рухів і коливань,
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
які ми достатньо вивчили,
аби створити цю симуляцію.
аби створити цю симуляцію.
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
16:48
And ironically,
280
996243
2366
Як не дивно,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
ми наче застосовували
таку інтерактивність
таку інтерактивність
16:53
when it comes to virtual objects,
282
1001697
2647
до віртуальних об'єктів,
коли це стосується відеоігор
і 3D-моделей,
і 3D-моделей,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
але отримувати цю інформацію від
справжніх об'єктів в реальному світі
справжніх об'єктів в реальному світі
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
за допомогою простого звичайного відео
17:04
using just simple, regular video,
285
1012045
2817
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
є явищем новим і має значний потенціал.
Ось дивовижні люди, які співпрацювали
зі мною в цих проектах.
зі мною в цих проектах.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
17:16
(Applause)
288
1024057
5596
(Оплески)
Те, що я вам сьогодні показав,
це тільки початок.
це тільки початок.
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Ми тільки поверхово торкнулись
17:27
We've just started to scratch the surface
290
1035876
2113
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
можливостей такого
відтворення зображень.
відтворення зображень.
Тому що воно відкриває нам
новий спосіб
новий спосіб
17:32
because it gives us a new way
292
1040961
2286
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
охоплювати середовище за
допомогою простої, доступної технології.
допомогою простої, доступної технології.
Так, зазираючи в майбутнє,
17:40
And so looking to the future,
294
1048066
1929
буде цікаво дослідити,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
17:44
what this can tell us about the world.
296
1052032
1856
що ми дізнаємось про наш світ.
17:46
Thank you.
297
1054381
1204
Дякую.
17:47
(Applause)
298
1055610
6107
(Оплески)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com