TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
Майкл Рубінштейн: Бачити невидимі рухи, чути безшумні звуки. Класно? Моторошно? Ми й самі не знаємо
Filmed:
Readability: 4.1
2,075,056 views
Зустрічайте "мікроскоп руху" - інструмент для обробки відео, здатний відтворити крихітні зміни в русі та кольорі, які неможливо побачити неозброєним оком. Дослідник Майкл Рубінштейн демонструє нам один за одним приголомшливі кліпи, показуючи, як нові технології відстежують пульс і серцебиття всього лиш із короткого відеозапису. Подивіться, як йому вдається відтворити розмову, підсилюючи рухи звукових хвиль, що відбиваються від пакетика чіпсів. Щоб повірити в це, ви мусите побачити неймовірно-натхненні й зловісні способи застосування цієї технології.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
За останні декілька століть
мікроскопи змінили наш світ.
мікроскопи змінили наш світ.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
Вони відкрили нам крихітний світ
предметів, життів та структур,
предметів, життів та структур,
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
яких ми досі не могли побачити неозброєним
оком через їхній малий розмір.
оком через їхній малий розмір.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
Вони зробили величезний внесок
у науку й технологію.
у науку й технологію.
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
Сьогодні я б хотів представити
новий вид мікроскопа.
новий вид мікроскопа.
00:35
a microscope for changes.
5
23404
2578
Мікроскоп для спостереження
за змінами.
за змінами.
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
В ньому немає лінз,
як у звичайному мікроскопі,
як у звичайному мікроскопі,
00:40
to make small objects bigger,
7
28884
1997
які б збільшували предмети,
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
але в нього є відеокамера та
система для обробки зображень,
система для обробки зображень,
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
які виявляють найменші рухи та
зміни кольору предметів та людей,
зміни кольору предметів та людей,
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
зміни, що неможливо побачити
неозброєним оком.
неозброєним оком.
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
Він дає нам змогу поглянути на світ
у зовсім інший спосіб.
у зовсім інший спосіб.
01:00
So what do I mean by color changes?
12
48475
1910
Що ж я маю на увазі під
змінами кольору?
змінами кольору?
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
Наприклад, наша шкіра
поступово змінює колір,
поступово змінює колір,
01:05
when the blood flows under it.
14
53217
1997
коли кров тече під нею.
01:07
That change is incredibly subtle,
15
55214
2397
Ці зміни ледь помітні,
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
і ось чому, коли ви
дивитесь на людину,
дивитесь на людину,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
що сидить поряд з вами,
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
ви не помічаєте, як
її шкіра змінює колір.
її шкіра змінює колір.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
Коли ми дивимось на відео Стіва,
нам здається, що він не рухається,
нам здається, що він не рухається,
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
але якщо ми поглянемо на це відео
через наш спеціальний мікроскоп,
через наш спеціальний мікроскоп,
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
раптово з'явиться зовсім
інша картинка.
інша картинка.
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
Все, що ми тут бачимо - це маленькі
зміни в кольорі шкіри Стіва
зміни в кольорі шкіри Стіва
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
збільшені в 100 разів,
аби бути помітнішими.
аби бути помітнішими.
01:36
We can actually see a human pulse.
24
84686
3267
Ми навіть можемо розгледіти пульс людини.
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
А також як швидко б'ється серце Стіва,
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
як кров приливає
до шкіри його обличчя.
до шкіри його обличчя.
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
Ми можемо зробити це не лише
для того, аби уявити собі пульс,
для того, аби уявити собі пульс,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
а щоб відновити нормальний
серцевий ритм
серцевий ритм
01:54
and measure our heart rates.
29
102646
1793
та виміряти його.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
Ми можемо зробити це за допомогою
звичайної камери, не торкаючись пацієнта.
звичайної камери, не торкаючись пацієнта.
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
Зараз ви бачите пульс та серцевий ритм,
який ми виміряли у новонародженого
який ми виміряли у новонародженого
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
за допомогою відео, знятого
на звичайний дзеркальний фотоапарат.
на звичайний дзеркальний фотоапарат.
02:09
and the heart rate measurement we get
33
117390
1816
Отримані показники точно
співпадають з тими,
співпадають з тими,
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
що ми могли б одержати
зі звичайного монітора в лікарні.
зі звичайного монітора в лікарні.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
Для цього нам навіть
не потрібно знімати відео.
не потрібно знімати відео.
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
Фактично, ми можемо зробити
це і з інших відео.
це і з інших відео.
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
Зараз я покажу вам короткий уривок з
фільму "Бетмен: початок",
фільму "Бетмен: початок",
02:25
just to show Christian Bale's pulse.
38
133555
1904
щоб ви побачили пульс Крістіана Бейла.
02:27
(Laughter)
39
135459
1822
(Сміх)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
Напевно, у нього багато гриму,
02:31
the lighting here is kind of challenging,
41
139404
1953
та й освітлення заважає.
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
Але все рівно, з цього відео
ми змогли дізнатись його пульс
ми змогли дізнатись його пульс
02:36
and show it quite well.
43
144308
2018
і показати його вам.
02:38
So how do we do all that?
44
146326
1920
Так от, як нам це все вдається?
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
Загалом ми аналізуємо зміни
світла, що записується,
світла, що записується,
02:44
at every pixel in the video over time,
46
152844
2271
у кожному пікселі відеозапису
за певний відрізок часу,
за певний відрізок часу,
02:47
and then we crank up those changes.
47
155115
1798
а потім збільшуємо ці зміни.
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
Ми збільшуємо їх настільки,
щоб ми могли їх бачити.
щоб ми могли їх бачити.
02:51
The tricky part is that those signals,
49
159075
1902
Проблема в тому, що ті сигнали,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
ті зміни, які ми намагаємось розгледіти,
є ледь помітними,
є ледь помітними,
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
тому потрібно бути вкрай обережним,
коли намагаєшся відокремити їх
коли намагаєшся відокремити їх
02:58
from noise that always exists in videos.
52
166689
3831
від шуму, що завжди є на відео.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
Ми використовуємо розумні
технології обробки відео,
технології обробки відео,
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
щоб отримати найточніші дані
про колір у кожному пікселі,
про колір у кожному пікселі,
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
і про те, як він змінюється
за період часу,
за період часу,
03:12
and then we amplify those changes.
56
180179
2693
а потім ми посилюємо ці зміни.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
Ми їх збільшуємо, щоб створити такий вид
покращеного, або просунутого відео,
покращеного, або просунутого відео,
03:18
that actually show us those changes.
58
186852
2172
що зображає ці зміни.
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
Виявляється, ми можемо показати не лише
найменші зміни кольору,
найменші зміни кольору,
03:25
but also tiny motions,
60
193262
2241
а й непомітні рухи,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
тому що колір, записаний на камеру,
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
зміниться не лише,
якщо предмет змінює колір,
якщо предмет змінює колір,
03:33
but also if the object moves.
63
201889
2368
а й якщо він рухається.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
Це моя дочка у віці приблизно 2 місяці.
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
Це відео я записав роки три тому.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
Як усі молоді батьки, ми хотіли одного -
бути впевненими, що наші діти здорові,
бути впевненими, що наші діти здорові,
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
що вони дихають, і звісно,
що вони - живі.
що вони - живі.
03:48
So I too got one of those baby monitors
68
216642
2142
Я купив радіоняню,
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
аби спостерігати за донькою,
коли вона спить.
коли вона спить.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
За допомогою звичайної радіоняні
ми побачимо доволі багато.
ми побачимо доволі багато.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
Ви можете спостерігати,
як спить дитина,
як спить дитина,
04:00
There's not too much we can see.
72
228474
1604
але цього замало.
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
Чи не було б краще чи інформативніше,
або корисніше,
або корисніше,
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
якби ми могли дивитись на щось отаке.
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
На цьому відео я зняв рухи,
які я потім збільшив у 30 разів,
які я потім збільшив у 30 разів,
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
після чого я зміг переконатись,
що моя донька дійсно жива та дихає.
що моя донька дійсно жива та дихає.
04:18
(Laughter)
77
246074
2253
(Сміх)
04:20
Here is a side-by-side comparison.
78
248327
1922
Тут ми бачимо наочне порівняння.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
І знову ж таки, на оригінальному відео
04:24
there's not too much we can see,
80
252732
1636
ми майже нічого не помічаємо,
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
але якщо збільшити рухи,
дихання видно набагато краще.
дихання видно набагато краще.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
Насправді існує багато явищ,
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
які можна виявити та збільшити
за допомогою цього мікроскопа.
за допомогою цього мікроскопа.
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
Можна побачити, як вени та артерії
пульсують у нашому тілі.
пульсують у нашому тілі.
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
Можна побачити, як наші очі
04:42
in this wobbly motion.
86
270960
1887
постійно коливаються.
04:44
And that's actually my eye,
87
272847
1509
А ось і моє око,
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
це відео я зняв одразу ж
після народження доньки.
після народження доньки.
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
Як бачите, я спав не дуже багато.
(Сміх)
(Сміх)
04:53
Even when a person is sitting still,
90
281623
2716
Навіть коли людина сидить нерухомо,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
ми можемо отримати багато даних
про її спосіб дихання,
про її спосіб дихання,
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
дрібні порухи обличчя.
05:01
Maybe we could use those motions
93
289912
1625
Можливо, ми навіть можемо
використати ці дані,
використати ці дані,
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
аби прочитати думки чи емоції.
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
Ми також можемо збільшити
механічні рухи,
механічні рухи,
05:09
like vibrations in engines,
96
297946
1555
такі як вібрації двигуна,
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
що може допомогти механікам знайти
та визначити проблеми,
та визначити проблеми,
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
або як будинки та споруди хитаються
від вітру, та як на них діють сили.
від вітру, та як на них діють сили.
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
Людство знає безліч способів,
як виміряти всі ці речі,
як виміряти всі ці речі,
05:24
but measuring those motions is one thing,
100
312512
2453
але виміряти ці рухи - це одне,
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
а спостерігати за ними -
05:29
is a whole different thing.
102
317241
2554
зовсім інше.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
З моменту, коли ми винайшли
цю нову технологію,
цю нову технологію,
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
ми виклали програму онлайн, щоб інші могли
користуватись нею і експериментувати.
користуватись нею і експериментувати.
05:38
It's very simple to use.
105
326789
1875
Вона дуже проста для користування.
05:40
It can work on your own videos.
106
328664
2044
Вона працює з вашими власними відео.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
Наші колеги з Quanta Research
навіть розробити чудовий сайт,
навіть розробити чудовий сайт,
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
де ви можете завантажити власне відео
та обробити його онлайн,
та обробити його онлайн,
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
навіть якщо у вас немає досвіду
в інформатиці або програмуванні,
в інформатиці або програмуванні,
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
ви легко зможете поекспериментувати
з новим мікроскопом.
з новим мікроскопом.
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
Зараз я покажу вам пару прикладів,
05:57
of what others have done with it.
112
345735
2735
як ним користувались інші.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
Це відео створив
користувач YouTube - Tamez85.
користувач YouTube - Tamez85.
06:05
I don't know who that user is,
114
353787
1463
Мені невідомо, хто він,
06:07
but he, or she, used our code
115
355250
2345
але він чи вона використали нашу програму,
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
щоб збільшити крихітні рухи живота
під час вагітності.
під час вагітності.
06:13
It's kind of creepy.
117
361310
1602
Трохи моторошно.
06:14
(Laughter)
118
362912
1613
(Сміх)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
Люди використовували цю програму,
щоб збільшувати пульсування вен на руках.
щоб збільшувати пульсування вен на руках.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
І що ж це буде за наука
без тестування на морських свинках?
без тестування на морських свинках?
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
Ось цю звати Тіффані.
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
Цей користувач YouTube стверджує,
що це перший гризун на Землі,
що це перший гризун на Землі,
06:31
that was motion-magnified.
123
379607
2688
чиї рухи було збільшено.
06:34
You can also do some art with it.
124
382295
2188
Разом з цією програмою
ви можете навіть творити.
ви можете навіть творити.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
Це відео надіслала мені студентка
факультету дизайну Уельського університету.
факультету дизайну Уельського університету.
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
Вона хотіла поглянути,
чи є різниця в тому,
чи є різниця в тому,
06:41
in the way her classmates move.
127
389638
1522
як рухаються її одногрупники.
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
Вона попросила їх не рухатись,
і потім збільшила їхні рухи.
і потім збільшила їхні рухи.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
Виглядає начебто оживають картинки.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
Найприємніше в тих прикладах те,
06:53
is that we had nothing to do with them.
131
401180
2296
що нам нічого не потрібно
робити для цього.
робити для цього.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
Ми створили цей інструмент,
спосіб по-новому поглянути на світ,
спосіб по-новому поглянути на світ,
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
а люди знайшли інші цікаві,
новаторські способи користування ним.
новаторські способи користування ним.
07:04
But we didn't stop there.
134
412462
1764
Ми не зупинились на цьому.
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
Цей інструмент дає нам змогу
не лише поглянути на світ по-новому,
не лише поглянути на світ по-новому,
07:09
it also redefines what we can do
136
417477
2368
а й переосмислити наші можливості
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
та розширити межі використання наших камер.
07:15
So as scientists, we started wondering,
138
423026
2229
Як науковці, ми почали розмірковувати,
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
які ще фізичні явища
створюють крихітні рухи,
створюють крихітні рухи,
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
що їх ми тепер можемо виміряти
за допомогою нової камери?
за допомогою нової камери?
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
І один такий феномен, на якому
ми зосередилися недавно, - це звук.
ми зосередилися недавно, - це звук.
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
Звук, як ми всі знаємо, - це здебільшого зміни
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
тиску повітря, що рухаються по повітрю.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
Ці хвилі тиску вдаряють об'єкти,
і ті створюють незначні коливання,
і ті створюють незначні коливання,
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
що є тим, що ми чуємо,
і як записуємо звук.
і як записуємо звук.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
Але виявляється, що звук
також виробляє візуальні рухи.
також виробляє візуальні рухи.
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
Ті рухи, що є непомітними для нас,
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
але помітні на камері
з правильною обробкою.
з правильною обробкою.
07:47
So here are two examples.
149
455887
1573
Ось два приклади.
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
Це я демонструю свої чудові
здібності до співу.
здібності до співу.
07:53
(Singing)
151
461064
1634
(Спів)
07:54
(Laughter)
152
462698
1436
(Сміх)
Я зняв високошвидкісне відео
свого горла, коли я наспівував.
свого горла, коли я наспівував.
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
Знову ж таки, якщо ви
дивитеся на це відео,
дивитеся на це відео,
07:59
Again, if you stare at that video,
154
467120
1764
не надто багато
ви зможете побачити,
ви зможете побачити,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
але як тільки ми збільшили рухи в 100 разів,
ми бачимо всі рухи й пульсацію
ми бачимо всі рухи й пульсацію
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
в області шиї, які беруть участь
у виробленні звуку.
у виробленні звуку.
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
Цей сигнал є в цьому відео.
08:10
That signal is there in that video.
158
478566
2740
Ми також знаємо, що співаки
можуть розбити келих вина,
можуть розбити келих вина,
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
якщо потраплять у правильну ноту.
08:15
if they hit the correct note.
160
483976
1463
Так от, ми збираємося зіграти ноту,
08:17
So here, we're going to play a note
161
485439
1765
яка є в резонансі
частоти цього скла
частоти цього скла
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
через гучномовець,
що поруч із ним.
що поруч із ним.
08:21
through a loudspeaker that's next to it.
163
489730
2048
Після того ми граємо цю ноту
і збільшуємо рухи в 250 разів -
і збільшуємо рухи в 250 разів -
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
дуже чітко бачимо, як скло вібрує
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
і резонує у відповідь на звук.
08:30
and resonates in response to the sound.
166
498535
3570
Таке не побачиш щодня.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
Але це змусило нас задуматися.
Це наштовхнуло нас на божевільну ідею.
Це наштовхнуло нас на божевільну ідею.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
Чи можемо ми повернути цей процес
навспак і відновити звук з відео,
навспак і відновити звук з відео,
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
аналізуючи найдрібніші вібрації,
що їх звукові хвилі створюють в об'єктах,
що їх звукові хвилі створюють в об'єктах,
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
і перетворити їх назад
у ті звуки, що їх ми виробляємо?
у ті звуки, що їх ми виробляємо?
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
Таким чином, ми зможемо перетворити
предмети побуту в мікрофони.
предмети побуту в мікрофони.
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
Саме це ми й зробили.
08:58
So that's exactly what we did.
173
526931
2232
Ось порожній пакетик з-під чіпсів,
що лежав на столі,
що лежав на столі,
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
і ми збираємося перетворити
той пакетик чіпсів у мікрофон,
той пакетик чіпсів у мікрофон,
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
знімаючи його відеокамерою
09:06
by filming it with a video camera
176
534804
1591
та аналізуючи крихітні рухи,
що звукові хвилі створюють в ньому.
що звукові хвилі створюють в ньому.
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
Ось звук, який ми грали в кімнаті.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
(Музика: "У Мері було маленьке ягнятко")
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
І це високошвидкісне відео
ми записали з цього пакетика чіпсів.
ми записали з цього пакетика чіпсів.
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
Знову грає.
09:25
Again it's playing.
181
553032
1274
Ви ніяк не зможете побачити,
що відбувається на цьому відео,
що відбувається на цьому відео,
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
просто глянувши на нього,
09:29
just by looking at it,
183
557648
1058
але ось звук, який ми змогли
відновити, просто проаналізувавши
відновити, просто проаналізувавши
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
крихітні рухи в цьому відео.
09:33
the tiny motions in that video.
185
561690
2183
(Музика: "У Мері було маленьке ягнятко")
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
Я називаю це ... - Дякую.
09:52
I call it -- Thank you.
187
580985
1486
(Оплески)
09:54
(Applause)
188
582471
5225
Я називаю це візуальний мікрофон.
10:01
I call it the visual microphone.
189
589878
2345
Ми вирізали аудіосигнали
із відеосигналів.
із відеосигналів.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
Щоб ви розуміли, про який
масштаб рухів тут йдеться:
масштаб рухів тут йдеться:
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
досить гучний звук змусить пакет чіпсів
порухатися не більше, ніж на мікрометр.
порухатися не більше, ніж на мікрометр.
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
Це одна тисячна міліметра.
10:16
That's one thousandth of a millimeter.
193
604135
2739
Ось якими крихітні є рухи,
що ми тепер в змозі виявити,
що ми тепер в змозі виявити,
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
просто спостерігаючи, як світло
відбивається від об'єктів
відбивається від об'єктів
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
і записується нашими камерами.
10:25
and gets recorded by our cameras.
196
613678
2136
Ми можемо відновити звук
із інших об'єктів, як-от рослин.
із інших об'єктів, як-от рослин.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
(Музика: "У Мері було маленьке ягнятко")
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
Окрім того, ми можемо відновити мову.
10:39
And we can recover speech as well.
199
627214
1997
До прикладу, голос людини в кімнаті.
10:41
So here's a person speaking in a room.
200
629211
2577
Голос: "У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,
чия шерсть була біла, як сніг,
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
скрізь, куди Мері ходить,
ягня упевнено йде за нею".
ягня упевнено йде за нею".
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
Майкл Рубінштейн: А ось та ж
мова, відновлена
мова, відновлена
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
з цього відео,
з того ж таки пакетика чіпсів.
з того ж таки пакетика чіпсів.
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
Голос: "У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,
чия шерсть була біла, як сніг,
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
скрізь, куди що Мері ходить,
ягня упевнено йде за нею".
ягня упевнено йде за нею".
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
МР: Ми використали пісню
"У Мері було маленьке ягнятко",
"У Мері було маленьке ягнятко",
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
тому що вважається,
що це були перші слова,
що це були перші слова,
11:10
because those are said to be
the first words
the first words
208
658290
2123
що їх Томас Едісон сказав
у фонограф в 1877 році.
у фонограф в 1877 році.
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
Це був один із перших звукозаписувальних
пристроїв в історії.
пристроїв в історії.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
Він спрямовував звуки на діафрагму,
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
що змушувала вібрувати голку, і та
вигравіювала звук на фользі,
вигравіювала звук на фользі,
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
якою було обгорнуто циліндр.
11:27
that was wrapped around the cylinder.
213
675208
2275
Ось демонстрація запису і
відтворення звуку з фонографа Едісона.
відтворення звуку з фонографа Едісона.
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
(Відео) Голос: Тестування,
перевірка. Один, два, три.
перевірка. Один, два, три.
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,
чия шерсть була біла, як сніг,
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
скрізь, куди Мері ходила,
ягня впевнено йшло за нею.
ягня впевнено йшло за нею.
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
Тестування, перевірка.
Один, два, три.
Один, два, три.
11:45
Testing, testing, one two three.
218
693528
2740
У Мері було маленьке ягнятко
чия шерсть була біла, як сніг,
чия шерсть була біла, як сніг,
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
скрізь, куди Мері ходила,
ягня упевнено йшло за нею.
ягня упевнено йшло за нею.
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
МР: І тепер, через 137 років,
11:57
MR: And now, 137 years later,
221
705648
4017
ми в змозі отримати звук
аналогічної якості,
аналогічної якості,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
всього лишень спостерігаючи через камеру,
як предмети вібрують від звуку,
як предмети вібрують від звуку,
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
і ми можемо зробити це,
навіть якщо камера
навіть якщо камера
12:09
and we can even do that when the camera
224
717831
1934
віддалена від об'єкта майже на 5 метрів,
і розташована за звуконепроникним склом.
і розташована за звуконепроникним склом.
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
Це звук, який ми відновили
в цьому випадку.
в цьому випадку.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
Голос: У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,
чия шерсть була біла, як сніг,
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
скрізь, куди Мері ходила,
ягня упевнено йшло за нею.
ягня упевнено йшло за нею.
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
МР: Звичайно, найперше на думку спадає
використати цей винахід для стеження.
використати цей винахід для стеження.
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
(Сміх)
12:33
(Laughter)
230
741034
2995
Але ним можна скористатися і з іншою метою.
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
Можливо, в майбутньому ми зможемо
використовувати це, наприклад,
використовувати це, наприклад,
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
щоб відновлювати звук в космосі,
12:42
to recover sound across space,
233
750925
2252
бо звук не поширюється
в космосі, на відміну від світла.
в космосі, на відміну від світла.
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
Ми тільки почали вивчати
12:48
We've only just begun exploring
235
756753
2404
інші можливі способи застосування
цієї нової технології.
цієї нової технології.
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
Вона дає нам змогу бачити фізичні процеси,
про які ми знаємо,
про які ми знаємо,
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
але яких ми досі не могли
побачити на власні очі.
побачити на власні очі.
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
Це наша команда.
13:00
This is our team.
239
768564
1204
Все, що я показав вам сьогодні -
це результат співпраці
це результат співпраці
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
з цією великою групою
людей, яких ви бачите тут.
людей, яких ви бачите тут.
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
Я закликаю вас і запрошую
ознайомитися з нашим сайтом,
ознайомитися з нашим сайтом,
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
заходьте на нього
13:10
try it out yourself,
243
778005
1446
і приєднуйтесь до нас у вивченні
світу крихітних рухів.
світу крихітних рухів.
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
Дякую.
13:14
Thank you.
245
782423
1625
(Оплески)
13:16
(Applause)
246
784048
1254
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com