TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Майкл Рубинштейн: Увидеть неуловимое движение, услышать бесшумный звук. Здорово? Или вызывает мурашки? Решать вам
Filmed:
Readability: 4.1
2,075,056 views
Встречайте «микроскоп движений» — инструмент для обработки видео, способный воспроизвести крошечные движения и изменения цвета, скрытые от невооружённого глаза. Исследователь Майкл Рубинштейн показывает один за другим удивительные ролики, демонстрирующие, как новые технологии могут определить человеческий пульс и сердцебиение всего лишь по короткой видеозаписи. Посмотрите, как ему удаётся распознать разговор, усилив движения звуковых волн от упаковки чипсов. Не увидев своими глазами возможности применения этих технологий, вызывающих гамму чувств от восторга до опасений, в это просто невозможно поверить.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
За последние несколько столетий
микроскопы произвели революцию в мире.
микроскопы произвели революцию в мире.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
Они открыли нам крошечный мир
предметов, живых организмов и структур,
предметов, живых организмов и структур,
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
которые слишком малы,
чтобы увидеть их невооружённым глазом.
чтобы увидеть их невооружённым глазом.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Это огромный вклад в науку и технику.
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
Сегодня я хочу представить вам
новый тип микроскопа —
новый тип микроскопа —
00:35
a microscope for changes.
5
23404
2578
микроскоп для изменений.
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
Он не использует оптику,
как обычный микроскоп,
как обычный микроскоп,
00:40
to make small objects bigger,
7
28884
1997
для увеличения мелких объектов.
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
Вместо этого он использует видеокамеру
и процессор обработки изображения,
и процессор обработки изображения,
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
чтобы показать нам мельчайшие движения
и изменения цвета в предметах и людях,
и изменения цвета в предметах и людях,
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
изменения, которые невозможно
увидеть невооружённым глазом.
увидеть невооружённым глазом.
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
Это позволяет нам
по-новому взглянуть на мир.
по-новому взглянуть на мир.
01:00
So what do I mean by color changes?
12
48475
1910
Что я подразумеваю
под изменениями цвета?
под изменениями цвета?
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
Наша кожа, к примеру,
изменяет свой цвет едва заметно,
изменяет свой цвет едва заметно,
01:05
when the blood flows under it.
14
53217
1997
когда под ней циркулирует кровь.
01:07
That change is incredibly subtle,
15
55214
2397
Это едва уловимое изменение,
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
поэтому, когда вы смотрите
на других людей,
на других людей,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
когда вы смотрите на человека,
сидящего рядом,
сидящего рядом,
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
вы не видите изменения
цвета их кожи и лица.
цвета их кожи и лица.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
Когда мы смотрим на это видео Стива,
оно кажется нам статичным изображением,
оно кажется нам статичным изображением,
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
но как только мы посмотрим на него
через наш новый особый микроскоп,
через наш новый особый микроскоп,
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
неожиданно мы видим
совершенно другую картину.
совершенно другую картину.
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
То, что мы видим здесь, —
это небольшие изменения цвета кожи Стива,
это небольшие изменения цвета кожи Стива,
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
увеличенные в 100 раз,
и теперь их можно увидеть.
и теперь их можно увидеть.
01:36
We can actually see a human pulse.
24
84686
3267
Мы можем фактически разглядеть
человеческий пульс.
человеческий пульс.
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
Мы можем увидеть,
как быстро бьётся сердце Стива
как быстро бьётся сердце Стива
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
и как именно
кровь приливает к его лицу.
кровь приливает к его лицу.
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
Подобная технология применима
не только для визуализации пульса,
не только для визуализации пульса,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
но и для того,
чтобы воспроизвести наш пульс
чтобы воспроизвести наш пульс
01:54
and measure our heart rates.
29
102646
1793
и измерить его.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
Мы можем сделать это обычной камерой,
не касаясь пациентов.
не касаясь пациентов.
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
Здесь вы можете увидеть пульс и частоту
сердечных сокращений новорождённого
сердечных сокращений новорождённого
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
из видео, снятого на обычную
цифровую зеркальную камеру,
цифровую зеркальную камеру,
02:09
and the heart rate measurement we get
33
117390
1816
и полученные нами показания,
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
настолько же точные,
как и показания медицинских приборов.
как и показания медицинских приборов.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
И видео не обязательно
должно быть записано нами.
должно быть записано нами.
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Мы с таким же успехом можем
проделывать это с другими видео.
проделывать это с другими видео.
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
Я взял короткий отрывок
из фильма «Бэтмэн: Начало»,
из фильма «Бэтмэн: Начало»,
02:25
just to show Christian Bale's pulse.
38
133555
1904
чтобы показать пульс
Кристиана Бейла.
Кристиана Бейла.
02:27
(Laughter)
39
135459
1822
(Смех)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
И вы знаете, вероятно, на нём грим,
02:31
the lighting here is kind of challenging,
41
139404
1953
и освещение не самое лучшее,
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
тем не менее, из простого ролика
мы можем получить его пульс
мы можем получить его пульс
02:36
and show it quite well.
43
144308
2018
и достаточно наглядно его показать.
02:38
So how do we do all that?
44
146326
1920
Как же нам это удаётся?
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
В сущности, мы анализируем
изменения света, зафиксированные
изменения света, зафиксированные
02:44
at every pixel in the video over time,
46
152844
2271
в каждом пикселе видео
в течение записи,
в течение записи,
02:47
and then we crank up those changes.
47
155115
1798
а затем максимально раскручиваем их.
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
Мы увеличиваем изменения,
чтобы увидеть их.
чтобы увидеть их.
02:51
The tricky part is that those signals,
49
159075
1902
Вся сложность в том, что эти сигналы,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
эти изменения, которые мы отслеживаем,
едва уловимы,
едва уловимы,
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
и нужно быть очень внимательным,
пытаясь отделить их
пытаясь отделить их
02:58
from noise that always exists in videos.
52
166689
3831
от шума, который всегда
присутствует на видео.
присутствует на видео.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
Мы используем умные технологии
обработки изображения,
обработки изображения,
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
чтобы получить очень точные данные
о цвете в каждом пикселе видео
о цвете в каждом пикселе видео
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
и о том, как меняется цвет
с течением времени,
с течением времени,
03:12
and then we amplify those changes.
56
180179
2693
после чего мы усиливаем эти изменения.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
Мы увеличиваем их, чтобы получились
те самые продвинутые, улучшенные видео,
те самые продвинутые, улучшенные видео,
03:18
that actually show us those changes.
58
186852
2172
которые показывают нам эти изменения.
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
Но мы можем не только показывать
мельчайшие изменения цвета,
мельчайшие изменения цвета,
03:25
but also tiny motions,
60
193262
2241
но и незаметные движения,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
потому что свет, записанный на камеру,
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
меняется не только
от изменения цвета объекта,
от изменения цвета объекта,
03:33
but also if the object moves.
63
201889
2368
но и от его движения.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
Это моя дочка в возрасте
около 2 месяцев.
около 2 месяцев.
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
Я записал это видео
примерно 3 года назад.
примерно 3 года назад.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
Как все молодые родители,
мы хотим быть уверенными,
мы хотим быть уверенными,
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
что наши дети здоровы,
что они дышат, что они живы.
что они дышат, что они живы.
03:48
So I too got one of those baby monitors
68
216642
2142
Я тоже приобрёл видеоняню,
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
чтобы видеть свою дочь, пока она спит.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
Вот что вы увидите
с помощью обычной видеоняни.
с помощью обычной видеоняни.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
Видно, что ребёнок спит,
и это вся информация.
и это вся информация.
04:00
There's not too much we can see.
72
228474
1604
Чего-то большего не увидеть.
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
Не было бы лучше,
более информативно или полезно,
более информативно или полезно,
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
если бы мы могли видеть
изображение таким?
изображение таким?
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
Все движения я усилил в 30 раз,
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
чтобы я мог отчётливо увидеть,
что моя дочь действительно жива и дышит.
что моя дочь действительно жива и дышит.
04:18
(Laughter)
77
246074
2253
(Смех)
04:20
Here is a side-by-side comparison.
78
248327
1922
Вот наглядное сравнение.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
Повторюсь, в оригинале,
в полученной записи,
в полученной записи,
04:24
there's not too much we can see,
80
252732
1636
мало что можно увидеть,
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
но если усилить движения,
дыхание видно гораздо лучше.
дыхание видно гораздо лучше.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
Оказывается, есть множество явлений,
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
которые можно обнаружить и усилить
с помощью микроскопа отслеживания движений.
с помощью микроскопа отслеживания движений.
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
Можно увидеть, как вены и артерии
пульсируют в нашем теле.
пульсируют в нашем теле.
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
Можно увидеть, как наши глаза
непрерывно перемещаются
непрерывно перемещаются
04:42
in this wobbly motion.
86
270960
1887
колебательными движениями.
04:44
And that's actually my eye,
87
272847
1509
А это, собственно, мой глаз,
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
и это видео было снято сразу
после рождения дочери,
после рождения дочери,
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
и вы видите, что спал я
не слишком много. (Смех)
не слишком много. (Смех)
04:53
Even when a person is sitting still,
90
281623
2716
Даже когда человек сидит неподвижно,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
мы можем почерпнуть
много информации
много информации
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
про манеру его дыхания,
мелкие выражения лица.
мелкие выражения лица.
05:01
Maybe we could use those motions
93
289912
1625
Вероятно, мы можем
использовать эти движения
использовать эти движения
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
чтобы определять мысли и эмоции.
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
Мы также можем усилить
небольшие механические движения,
небольшие механические движения,
05:09
like vibrations in engines,
96
297946
1555
такие как вибрации двигателя,
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
что может помочь механикам находить
и определять проблемы в механизме,
и определять проблемы в механизме,
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
или увидеть колебания зданий и конструкций
под воздействием ветра и внешних сил.
под воздействием ветра и внешних сил.
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Все подобные вещи в нашем обществе
умеют рассчитывать множеством способов,
умеют рассчитывать множеством способов,
05:24
but measuring those motions is one thing,
100
312512
2453
но рассчитать движения — это одно,
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
а увидеть их в действии —
05:29
is a whole different thing.
102
317241
2554
это совершенно другое.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
С тех пор как мы открыли
эту новую технологию,
эту новую технологию,
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
мы сделали нашу программу доступной онлайн
для тестирования другими людьми.
для тестирования другими людьми.
05:38
It's very simple to use.
105
326789
1875
Она очень проста в использовании.
05:40
It can work on your own videos.
106
328664
2044
Она может работать с вашими
собственными видео.
собственными видео.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
Наши коллеги из Quanta Research
даже создали замечательный сайт,
даже создали замечательный сайт,
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
где вы можете загрузить своё видео
и обработать его онлайн,
и обработать его онлайн,
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
поэтому, даже если у вас нет опыта
в информатике и программировании,
в информатике и программировании,
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
вы всё равно можете легко
испробовать этот новый микроскоп.
испробовать этот новый микроскоп.
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
Я покажу вам несколько примеров того,
05:57
of what others have done with it.
112
345735
2735
как его использовали другие.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Это видео снято пользователем
YouTube под ником Tamez85.
YouTube под ником Tamez85.
06:05
I don't know who that user is,
114
353787
1463
Я не знаю этого пользователя,
06:07
but he, or she, used our code
115
355250
2345
но он, или она,
использовал нашу программу,
использовал нашу программу,
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
чтобы усилить маленькие движения
живота во время беременности.
живота во время беременности.
06:13
It's kind of creepy.
117
361310
1602
Выглядит жутковато.
06:14
(Laughter)
118
362912
1613
(Смех)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Люди использовали её для усиления
пульсации вен в руках.
пульсации вен в руках.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
И какая настоящая наука
может обойтись без морских свинок?
может обойтись без морских свинок?
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
По-видимому, эту зовут Тиффани,
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
и этот пользователь YouTube заявляет,
что это первый грызун на Земле,
что это первый грызун на Земле,
06:31
that was motion-magnified.
123
379607
2688
чьи движения подвергались усилению.
06:34
You can also do some art with it.
124
382295
2188
Всё это применимо и в искусстве.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
Это видео мне прислала студентка-дизайнер
из Йельского университета.
из Йельского университета.
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
Она хотела увидеть, есть ли разница
06:41
in the way her classmates move.
127
389638
1522
в движениях её одногруппников.
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
Она попросила их не двигаться,
а потом усилила скрытые движения.
а потом усилила скрытые движения.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
Мы как будто наблюдаем оживление
неподвижной картины.
неподвижной картины.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
Приятный момент
относительно всех этих примеров —
относительно всех этих примеров —
06:53
is that we had nothing to do with them.
131
401180
2296
нам не нужно с ними ничего делать.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
Мы просто дали новый инструмент,
новый способ взглянуть на мир,
новый способ взглянуть на мир,
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
а люди находят ему другие интересные,
новые и нестандартные применения.
новые и нестандартные применения.
07:04
But we didn't stop there.
134
412462
1764
Но мы не остановились на этом.
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
Эта технология позволяет не только
по-новому увидеть мир,
по-новому увидеть мир,
07:09
it also redefines what we can do
136
417477
2368
но и переосмыслить наши возможности,
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
расширить рамки
использования наших камер.
использования наших камер.
07:15
So as scientists, we started wondering,
138
423026
2229
Как учёные, мы задумались,
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
какие ещё типы физических явлений
вызывают едва заметные движения,
вызывают едва заметные движения,
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
которые мы теперь можем измерить
с помощью нашей новой камеры?
с помощью нашей новой камеры?
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
Одно из таких явлений, на котором мы
недавно сфокусировались, — это звук.
недавно сфокусировались, — это звук.
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
Звук, как известно, состоит
из колебаний давления,
из колебаний давления,
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
которые перемещаются
в воздушной среде.
в воздушной среде.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
Звуковые волны, достигая предметов,
создают в них мелкие вибрации,
создают в них мелкие вибрации,
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
благодаря которым мы слышим
и записываем звук.
и записываем звук.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
Но оказалось, что звук создаёт
также визуальные движения.
также визуальные движения.
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
Они незаметны для нас,
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
но заметны для камеры
с подходящей технологией.
с подходящей технологией.
07:47
So here are two examples.
149
455887
1573
Приведу два примера.
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
Здесь я демонстрирую
свои вокальные способности.
свои вокальные способности.
07:53
(Singing)
151
461064
1634
(Поёт)
07:54
(Laughter)
152
462698
1436
(Смех)
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
Я снял высокоскоростное видео
своего горла, пока я пел.
своего горла, пока я пел.
07:59
Again, if you stare at that video,
154
467120
1764
Если присмотреться к этому видео,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
ничего особенного не видно,
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
но усилив движения в 100 раз,
мы увидим все движения и пульсации на шее,
мы увидим все движения и пульсации на шее,
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
которые участвуют в формировании звука.
08:10
That signal is there in that video.
158
478566
2740
Источник пения теперь заметен на видео.
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
Мы также знаем, что вокалисты
способны разбить бокал,
способны разбить бокал,
08:15
if they hit the correct note.
160
483976
1463
если возьмут нужную ноту.
08:17
So here, we're going to play a note
161
485439
1765
На этом видео мы проиграем ноту
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
на частоте резонанса бокала
08:21
through a loudspeaker that's next to it.
163
489730
2048
через громкоговоритель рядом с ним.
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
Когда мы проигрываем эту ноту
и усиливаем движение в 250 раз,
и усиливаем движение в 250 раз,
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
мы можем отчётливо видеть,
как стакан вибрирует
как стакан вибрирует
08:30
and resonates in response to the sound.
166
498535
3570
и резонирует в ответ на звук.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Такое не каждый день увидишь.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
Но это заставило нас задуматься.
Это натолкнуло нас на сумасшедшую идею.
Это натолкнуло нас на сумасшедшую идею.
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
Можем ли мы обратить процесс
и извлечь звук из видео,
и извлечь звук из видео,
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
анализируя предметы на мельчайшие
вибрации, которые создают звуковые волны,
вибрации, которые создают звуковые волны,
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
и главное, обратить их снова в звук,
который их вызвал.
который их вызвал.
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
Таким образом, мы можем превратить
повседневные предметы в микрофоны.
повседневные предметы в микрофоны.
08:58
So that's exactly what we did.
173
526931
2232
Именно это мы и сделали.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
Возьмём пустую упаковку от чипсов,
лежащую на столе,
лежащую на столе,
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
теперь мы собираемся превратить
эту упаковку в микрофон,
эту упаковку в микрофон,
09:06
by filming it with a video camera
176
534804
1591
записав её на камеру
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
и проанализировав её мельчайшие
движения от звуковых волн.
движения от звуковых волн.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
Мы проиграли в комнате следующий звук.
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
(Музыка: «У Мэри был барашек»)
[американский фольклор]
[американский фольклор]
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
Мы записали высокоскоростное видео
с этой упаковки чипсов.
с этой упаковки чипсов.
09:25
Again it's playing.
181
553032
1274
Вы смотрите его.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
Вы никогда не сможете увидеть
хоть что-то происходящее на этом видео,
хоть что-то происходящее на этом видео,
09:29
just by looking at it,
183
557648
1058
просто глядя на него,
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
но послушайте звук, полученный
путем простого анализа
путем простого анализа
09:33
the tiny motions in that video.
185
561690
2183
незаметных движений на видео.
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
(Музыка: «У Мэри был барашек»)
09:52
I call it -- Thank you.
187
580985
1486
Я называю это... Спасибо.
09:54
(Applause)
188
582471
5225
(Аплодисменты)
10:01
I call it the visual microphone.
189
589878
2345
Я называю это визуальным микрофоном.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
Мы извлекаем звуковые сигналы
из видеосигналов.
из видеосигналов.
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
И чтобы вы хорошо понимали
масштабы записанных движений,
масштабы записанных движений,
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
довольно громкий звук заставит упаковку
пошевелиться не более, чем на микрометр.
пошевелиться не более, чем на микрометр.
10:16
That's one thousandth of a millimeter.
193
604135
2739
Это одна тысячная миллиметра.
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
Вот насколько крошечные движения
мы теперь можем выявить,
мы теперь можем выявить,
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
просто наблюдая за тем,
как свет отражается от предметов
как свет отражается от предметов
10:25
and gets recorded by our cameras.
196
613678
2136
и записывается нашими камерами.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
Мы можем воспроизвести звук
из других предметов, например растений.
из других предметов, например растений.
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
(Музыка: «У Мэри был барашек»)
10:39
And we can recover speech as well.
199
627214
1997
Кроме того, мы можем воспроизвести речь.
10:41
So here's a person speaking in a room.
200
629211
2577
На примере голоса человека в комнате.
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
Голос: «У Мэри был барашек,
он снега был белей,
он снега был белей,
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
идёт куда-то Мэри,
и он идёт за ней».
и он идёт за ней».
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
И вот эта же речь, восстановленная
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
по этому видео
всё из той же упаковки чипсов.
всё из той же упаковки чипсов.
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
Голос: «У Мэри был барашек,
он снега был белей,
он снега был белей,
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
идёт куда-то Мэри,
и он идёт за ней».
и он идёт за ней».
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
Мы взяли песню «У Мэри был барашек»,
11:10
because those are said to be
the first words
the first words
208
658290
2123
потому что считается,
что это были первые слова,
что это были первые слова,
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
произнесённые Томасом Эдисоном
в его фонограф в 1877.
в его фонограф в 1877.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
Это было одно из первых
звукозаписывающих устройств в истории.
звукозаписывающих устройств в истории.
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
Оно направляло звук на диафрагму,
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
которая раскачивала иглу,
и та оставляла след на оловянной оболочке,
и та оставляла след на оловянной оболочке,
11:27
that was wrapped around the cylinder.
213
675208
2275
обмотанной вокруг цилиндра.
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
Послушайте, как записывается
и воспроизводится звук фонографом Эдисона.
и воспроизводится звук фонографом Эдисона.
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
(Видео) Голос: «Проверка, проверка.
Раз, два, три.
Раз, два, три.
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
У Мэри был барашек,
он снега был белей,
он снега был белей,
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
идёт куда-то Мэри,
и он идёт за ней.
и он идёт за ней.
11:45
Testing, testing, one two three.
218
693528
2740
Проверка, проверка.
Раз, два, три.
Раз, два, три.
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
У Мэри был барашек,
он снега был белей,
он снега был белей,
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
идёт куда-то Мэри,
и он идёт за ней».
и он идёт за ней».
11:57
MR: And now, 137 years later,
221
705648
4017
И теперь, 137 лет спустя,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
мы способны получить звук
практически такого же качества,
практически такого же качества,
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
всего лишь наблюдая через камеру,
как предметы резонируют от звука.
как предметы резонируют от звука.
12:09
and we can even do that when the camera
224
717831
1934
Мы можем сделать это,
даже когда камера
даже когда камера
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
удалена от объекта почти на 5 метров
и находится за звукоизолирующим стеклом.
и находится за звукоизолирующим стеклом.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Послушайте звук,
полученный нами в этом случае.
полученный нами в этом случае.
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
Голос: «У Мэри был барашек,
он снега был белей,
он снега был белей,
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
Идёт куда-то Мэри,
и он идёт за ней».
и он идёт за ней».
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
Конечно, слежка — это первое применение,
которое приходит на ум.
которое приходит на ум.
12:33
(Laughter)
230
741034
2995
(Смех)
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
Но это может оказаться полезным
и для других вещей.
и для других вещей.
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
Может быть, в будущем мы сможем
использовать это, например,
использовать это, например,
12:42
to recover sound across space,
233
750925
2252
чтобы получать звуки из космоса,
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
потому что звук не распространяется
в космосе, в отличие от света.
в космосе, в отличие от света.
12:48
We've only just begun exploring
235
756753
2404
Мы только начали исследовать
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
другие возможные способы
применения этой новой технологии.
применения этой новой технологии.
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
Она позволяет нам увидеть
физические процессы, о которых мы знаем,
физические процессы, о которых мы знаем,
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
но которые были не в состоянии
увидеть собственными глазами до сих пор.
увидеть собственными глазами до сих пор.
13:00
This is our team.
239
768564
1204
Это наша команда.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
Всё, что я показал вам сегодня, —
результат сотрудничества
результат сотрудничества
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
с этой замечательной группой людей.
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
Я призываю и приглашаю вас
ознакомиться с нашим сайтом.
ознакомиться с нашим сайтом.
13:10
try it out yourself,
243
778005
1446
Заходите на него
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
и присоединяйтесь к нам в исследовании
этого мира крошечных движений.
этого мира крошечных движений.
13:14
Thank you.
245
782423
1625
Спасибо.
13:16
(Applause)
246
784048
1254
(Аплодисменты)
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com