ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com
TEDxBeaconStreet

Michael Rubinstein: See invisible motion, hear silent sounds

Майкл Рубинштейн: Увидеть неуловимое движение, услышать бесшумный звук. Здорово? Или вызывает мурашки? Решать вам

Filmed:
2,075,056 views

Встречайте «микроскоп движений» — инструмент для обработки видео, способный воспроизвести крошечные движения и изменения цвета, скрытые от невооружённого глаза. Исследователь Майкл Рубинштейн показывает один за другим удивительные ролики, демонстрирующие, как новые технологии могут определить человеческий пульс и сердцебиение всего лишь по короткой видеозаписи. Посмотрите, как ему удаётся распознать разговор, усилив движения звуковых волн от упаковки чипсов. Не увидев своими глазами возможности применения этих технологий, вызывающих гамму чувств от восторга до опасений, в это просто невозможно поверить.
- Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio

Double-click the English transcript below to play the video.

00:13
So over the pastмимо fewмало centuriesвека,
microscopesмикроскопов have revolutionizedреволюция our worldМир.
0
1114
7492
За последние несколько столетий
микроскопы произвели революцию в мире.
00:21
They revealedпоказал to us a tinyкрошечный worldМир
of objectsобъекты, life and structuresсооружения
1
9036
5216
Они открыли нам крошечный мир
предметов, живых организмов и структур,
00:26
that are too smallмаленький for us
to see with our nakedобнаженный eyesглаза.
2
14252
2906
которые слишком малы,
чтобы увидеть их невооружённым глазом.
00:29
They are a tremendousогромный contributionвклад
to scienceнаука and technologyтехнологии.
3
17158
3019
Это огромный вклад в науку и технику.
00:32
TodayCегодня I'd like to introduceвводить you
to a newновый typeтип of microscopeмикроскоп,
4
20177
3227
Сегодня я хочу представить вам
новый тип микроскопа —
00:35
a microscopeмикроскоп for changesизменения.
5
23404
2578
микроскоп для изменений.
00:37
It doesn't use opticsоптика
like a regularрегулярный microscopeмикроскоп
6
25982
2902
Он не использует оптику,
как обычный микроскоп,
00:40
to make smallмаленький objectsобъекты biggerбольше,
7
28884
1997
для увеличения мелких объектов.
00:42
but insteadвместо it usesиспользования a videoвидео cameraкамера
and imageобраз processingобработка
8
30881
4376
Вместо этого он использует видеокамеру
и процессор обработки изображения,
00:47
to revealвыявить to us the tiniestмельчайшей motionsдвижения
and colorцвет changesизменения in objectsобъекты and people,
9
35257
5256
чтобы показать нам мельчайшие движения
и изменения цвета в предметах и людях,
00:52
changesизменения that are impossibleневозможно
for us to see with our nakedобнаженный eyesглаза.
10
40513
3842
изменения, которые невозможно
увидеть невооружённым глазом.
00:56
And it letsДавайте us look at our worldМир
in a completelyполностью newновый way.
11
44355
4120
Это позволяет нам
по-новому взглянуть на мир.
01:00
So what do I mean by colorцвет changesизменения?
12
48475
1910
Что я подразумеваю
под изменениями цвета?
01:02
Our skinкожа, for exampleпример,
changesизменения its colorцвет very slightlyнемного
13
50385
2832
Наша кожа, к примеру,
изменяет свой цвет едва заметно,
01:05
when the bloodкровь flowsпотоки underпод it.
14
53217
1997
когда под ней циркулирует кровь.
01:07
That changeизменение is incrediblyневероятно subtleтонкий,
15
55214
2397
Это едва уловимое изменение,
01:09
whichкоторый is why, when you
look at other people,
16
57611
2063
поэтому, когда вы смотрите
на других людей,
01:11
when you look at the personчеловек
sittingсидящий nextследующий to you,
17
59674
2251
когда вы смотрите на человека,
сидящего рядом,
01:13
you don't see theirих skinкожа
or theirих faceлицо changingизменения colorцвет.
18
61925
3575
вы не видите изменения
цвета их кожи и лица.
01:17
When we look at this videoвидео of SteveСтив here,
it appearsпоявляется to us like a staticстатический pictureкартина,
19
65500
4360
Когда мы смотрим на это видео Стива,
оно кажется нам статичным изображением,
01:21
but onceодин раз we look at this videoвидео
throughчерез our newновый, specialособый microscopeмикроскоп,
20
69860
3860
но как только мы посмотрим на него
через наш новый особый микроскоп,
01:25
suddenlyвдруг, внезапно we see
a completelyполностью differentдругой imageобраз.
21
73720
2600
неожиданно мы видим
совершенно другую картину.
01:28
What you see here are smallмаленький changesизменения
in the colorцвет of Steve'sСтив skinкожа,
22
76320
3930
То, что мы видим здесь, —
это небольшие изменения цвета кожи Стива,
01:32
magnifiedвозвеличил 100 timesраз
so that they becomeстали visibleвидимый.
23
80250
4436
увеличенные в 100 раз,
и теперь их можно увидеть.
01:36
We can actuallyна самом деле see a humanчеловек pulseпульс.
24
84686
3267
Мы можем фактически разглядеть
человеческий пульс.
01:39
We can see how fastбыстро
Steve'sСтив heartсердце is beatingбитье,
25
87953
3227
Мы можем увидеть,
как быстро бьётся сердце Стива
01:43
but we can alsoтакже see the actualфактический way
that the bloodкровь flowsпотоки in his faceлицо.
26
91180
5355
и как именно
кровь приливает к его лицу.
01:48
And we can do that not just
to visualizeвизуализировать the pulseпульс,
27
96544
2631
Подобная технология применима
не только для визуализации пульса,
01:51
but alsoтакже to actuallyна самом деле
recoverоправляться our heartсердце ratesставки,
28
99175
3471
но и для того,
чтобы воспроизвести наш пульс
01:54
and measureизмерение our heartсердце ratesставки.
29
102646
1793
и измерить его.
01:56
And we can do it with regularрегулярный camerasкамеры
and withoutбез touchingтрогательный the patientsпациентов.
30
104439
4453
Мы можем сделать это обычной камерой,
не касаясь пациентов.
02:00
So here you see the pulseпульс and heartсердце rateставка
we extractedизвлеченный from a neonatalнеонатальный babyдетка
31
108892
5617
Здесь вы можете увидеть пульс и частоту
сердечных сокращений новорождённого
02:06
from a videoвидео we tookвзял
with a regularрегулярный DSLRDSLR cameraкамера,
32
114509
2881
из видео, снятого на обычную
цифровую зеркальную камеру,
02:09
and the heartсердце rateставка measurementизмерение we get
33
117390
1816
и полученные нами показания,
02:11
is as accurateточный as the one you'dвы бы get
with a standardстандарт monitorмонитор in a hospitalбольница.
34
119206
4811
настолько же точные,
как и показания медицинских приборов.
02:16
And it doesn't even have to be
a videoвидео we recordedзаписанный.
35
124017
2642
И видео не обязательно
должно быть записано нами.
02:18
We can do it essentiallyпо существу
with other videosвидео as well.
36
126659
2995
Мы с таким же успехом можем
проделывать это с другими видео.
02:21
So I just tookвзял a shortкороткая clipклип
from "BatmanБэтмен BeginsНачинает" here
37
129654
3901
Я взял короткий отрывок
из фильма «Бэтмэн: Начало»,
02:25
just to showпоказать ChristianКристиан Bale'sБейла pulseпульс.
38
133555
1904
чтобы показать пульс
Кристиана Бейла.
02:27
(LaughterСмех)
39
135459
1822
(Смех)
02:29
And you know, presumablyпредположительно
he's wearingносить makeupсоставить,
40
137281
2123
И вы знаете, вероятно, на нём грим,
02:31
the lightingосветительные приборы here is kindсвоего рода of challengingиспытывающий,
41
139404
1953
и освещение не самое лучшее,
02:33
but still, just from the videoвидео,
we're ableв состоянии to extractэкстракт his pulseпульс
42
141357
2951
тем не менее, из простого ролика
мы можем получить его пульс
02:36
and showпоказать it quiteдовольно well.
43
144308
2018
и достаточно наглядно его показать.
02:38
So how do we do all that?
44
146326
1920
Как же нам это удаётся?
02:40
We basicallyв основном analyzeанализировать the changesизменения
in the lightлегкий that are recordedзаписанный
45
148246
4598
В сущности, мы анализируем
изменения света, зафиксированные
02:44
at everyкаждый pixelпиксель in the videoвидео over time,
46
152844
2271
в каждом пикселе видео
в течение записи,
02:47
and then we crankкривошип up those changesизменения.
47
155115
1798
а затем максимально раскручиваем их.
02:48
We make them biggerбольше
so that we can see them.
48
156913
2162
Мы увеличиваем изменения,
чтобы увидеть их.
02:51
The trickyзапутанный partчасть is that those signalsсигналы,
49
159075
1902
Вся сложность в том, что эти сигналы,
02:52
those changesизменения that we're after,
are extremelyочень subtleтонкий,
50
160977
2933
эти изменения, которые мы отслеживаем,
едва уловимы,
02:55
so we have to be very carefulосторожный
when you try to separateотдельный them
51
163910
2779
и нужно быть очень внимательным,
пытаясь отделить их
02:58
from noiseшум that always existsсуществует in videosвидео.
52
166689
3831
от шума, который всегда
присутствует на видео.
03:02
So we use some cleverумная
imageобраз processingобработка techniquesметоды
53
170520
2995
Мы используем умные технологии
обработки изображения,
03:05
to get a very accurateточный measurementизмерение
of the colorцвет at eachкаждый pixelпиксель in the videoвидео,
54
173515
3994
чтобы получить очень точные данные
о цвете в каждом пикселе видео
03:09
and then the way the colorцвет
changesизменения over time,
55
177509
2670
и о том, как меняется цвет
с течением времени,
03:12
and then we amplifyусиливать those changesизменения.
56
180179
2693
после чего мы усиливаем эти изменения.
03:14
We make them biggerбольше to createСоздайте those typesтипы
of enhancedповышенная videosвидео, or magnifiedвозвеличил videosвидео,
57
182872
3980
Мы увеличиваем их, чтобы получились
те самые продвинутые, улучшенные видео,
03:18
that actuallyна самом деле showпоказать us those changesизменения.
58
186852
2172
которые показывают нам эти изменения.
03:21
But it turnsвитки out we can do that
not just to showпоказать tinyкрошечный changesизменения in colorцвет,
59
189024
4238
Но мы можем не только показывать
мельчайшие изменения цвета,
03:25
but alsoтакже tinyкрошечный motionsдвижения,
60
193262
2241
но и незаметные движения,
03:27
and that's because the lightлегкий
that getsполучает recordedзаписанный in our camerasкамеры
61
195503
3576
потому что свет, записанный на камеру,
03:31
will changeизменение not only if the colorцвет
of the objectобъект changesизменения,
62
199079
2810
меняется не только
от изменения цвета объекта,
03:33
but alsoтакже if the objectобъект movesдвижется.
63
201889
2368
но и от его движения.
03:36
So this is my daughterдочь
when she was about two monthsмесяцы oldстарый.
64
204257
3636
Это моя дочка в возрасте
около 2 месяцев.
03:39
It's a videoвидео I recordedзаписанный
about threeтри yearsлет agoтому назад.
65
207893
2999
Я записал это видео
примерно 3 года назад.
03:42
And as newновый parentsродители, we all want
to make sure our babiesдети are healthyздоровый,
66
210892
3208
Как все молодые родители,
мы хотим быть уверенными,
03:46
that they're breathingдыхание,
that they're aliveв живых, of courseкурс.
67
214100
2542
что наши дети здоровы,
что они дышат, что они живы.
03:48
So I too got one of those babyдетка monitorsмониторы
68
216642
2142
Я тоже приобрёл видеоняню,
03:50
so that I could see my daughterдочь
when she was asleepспящий.
69
218784
2469
чтобы видеть свою дочь, пока она спит.
03:53
And this is prettyСимпатичная much what you'llВы будете see
with a standardстандарт babyдетка monitorмонитор.
70
221253
3527
Вот что вы увидите
с помощью обычной видеоняни.
03:56
You can see the baby'sмладенца sleepingспать, but
there's not too much informationИнформация there.
71
224780
3682
Видно, что ребёнок спит,
и это вся информация.
04:00
There's not too much we can see.
72
228474
1604
Чего-то большего не увидеть.
04:02
Wouldn'tне было бы it be better,
or more informativeинформативный, or more usefulполезным,
73
230078
2824
Не было бы лучше,
более информативно или полезно,
04:04
if insteadвместо we could look
at the viewПосмотреть like this.
74
232902
2990
если бы мы могли видеть
изображение таким?
04:07
So here I tookвзял the motionsдвижения
and I magnifiedвозвеличил them 30 timesраз,
75
235892
6356
Все движения я усилил в 30 раз,
04:14
and then I could clearlyявно see that my
daughterдочь was indeedв самом деле aliveв живых and breathingдыхание.
76
242248
3826
чтобы я мог отчётливо увидеть,
что моя дочь действительно жива и дышит.
04:18
(LaughterСмех)
77
246074
2253
(Смех)
04:20
Here is a side-by-sideбок о бок comparisonсравнение.
78
248327
1922
Вот наглядное сравнение.
04:22
So again, in the sourceисточник videoвидео,
in the originalоригинал videoвидео,
79
250249
2483
Повторюсь, в оригинале,
в полученной записи,
04:24
there's not too much we can see,
80
252732
1636
мало что можно увидеть,
04:26
but onceодин раз we magnifyувеличивать the motionsдвижения,
the breathingдыхание becomesстановится much more visibleвидимый.
81
254368
3707
но если усилить движения,
дыхание видно гораздо лучше.
04:30
And it turnsвитки out, there's
a lot of phenomenaявления
82
258075
2070
Оказывается, есть множество явлений,
04:32
we can revealвыявить and magnifyувеличивать
with our newновый motionдвижение microscopeмикроскоп.
83
260145
3623
которые можно обнаружить и усилить
с помощью микроскопа отслеживания движений.
04:35
We can see how our veinsвены and arteriesартерии
are pulsingпульсирующий in our bodiesтела.
84
263768
4564
Можно увидеть, как вены и артерии
пульсируют в нашем теле.
04:40
We can see that our eyesглаза
are constantlyпостоянно movingперемещение
85
268332
2628
Можно увидеть, как наши глаза
непрерывно перемещаются
04:42
in this wobblyшаткий motionдвижение.
86
270960
1887
колебательными движениями.
04:44
And that's actuallyна самом деле my eyeглаз,
87
272847
1509
А это, собственно, мой глаз,
04:46
and again this videoвидео was takenвзятый
right after my daughterдочь was bornРодился,
88
274356
3065
и это видео было снято сразу
после рождения дочери,
04:49
so you can see I wasn'tне было gettingполучение
too much sleepспать. (LaughterСмех)
89
277421
4202
и вы видите, что спал я
не слишком много. (Смех)
04:53
Even when a personчеловек is sittingсидящий still,
90
281623
2716
Даже когда человек сидит неподвижно,
04:56
there's a lot of informationИнформация
we can extractэкстракт
91
284339
2044
мы можем почерпнуть
много информации
04:58
about theirих breathingдыхание patternsузоры,
smallмаленький facialлицевой expressionsвыражения.
92
286383
3529
про манеру его дыхания,
мелкие выражения лица.
05:01
Maybe we could use those motionsдвижения
93
289912
1625
Вероятно, мы можем
использовать эти движения
05:03
to tell us something about
our thoughtsмысли or our emotionsэмоции.
94
291537
3154
чтобы определять мысли и эмоции.
05:06
We can alsoтакже magnifyувеличивать smallмаленький
mechanicalмеханический movementsдвижения,
95
294691
3255
Мы также можем усилить
небольшие механические движения,
05:09
like vibrationsвибрации in enginesдвигатели,
96
297946
1555
такие как вибрации двигателя,
05:11
that can help engineersинженеры detectобнаружить
and diagnoseдиагностики machineryмашины problemsпроблемы,
97
299501
3692
что может помочь механикам находить
и определять проблемы в механизме,
05:15
or see how our buildingsздания and structuresсооружения
swayраскачивание in the windветер and reactреагировать to forcesсил.
98
303193
4738
или увидеть колебания зданий и конструкций
под воздействием ветра и внешних сил.
05:19
Those are all things that our societyобщество
knowsзнает how to measureизмерение in variousразличный waysпути,
99
307931
4581
Все подобные вещи в нашем обществе
умеют рассчитывать множеством способов,
05:24
but measuringизмерения those motionsдвижения is one thing,
100
312512
2453
но рассчитать движения — это одно,
05:26
and actuallyна самом деле seeingвидя those
motionsдвижения as they happenслучаться
101
314965
2276
а увидеть их в действии —
05:29
is a wholeвсе differentдругой thing.
102
317241
2554
это совершенно другое.
05:31
And ever sinceпоскольку we discoveredобнаруженный
this newновый technologyтехнологии,
103
319795
3041
С тех пор как мы открыли
эту новую технологию,
05:34
we madeсделал our codeкод availableдоступный onlineонлайн so that
othersдругие could use and experimentэксперимент with it.
104
322836
3953
мы сделали нашу программу доступной онлайн
для тестирования другими людьми.
05:38
It's very simpleпросто to use.
105
326789
1875
Она очень проста в использовании.
05:40
It can work on your ownсвоя videosвидео.
106
328664
2044
Она может работать с вашими
собственными видео.
05:42
Our collaboratorsсотрудники at QuantaQuanta ResearchИсследование
even createdсозданный this niceхороший websiteВеб-сайт
107
330708
3193
Наши коллеги из Quanta Research
даже создали замечательный сайт,
05:45
where you can uploadзагружать your videosвидео
and processобработать them onlineонлайн,
108
333901
2678
где вы можете загрузить своё видео
и обработать его онлайн,
05:48
so even if you don't have any experienceопыт
in computerкомпьютер scienceнаука or programmingпрограммирование,
109
336579
3816
поэтому, даже если у вас нет опыта
в информатике и программировании,
05:52
you can still very easilyбез труда experimentэксперимент
with this newновый microscopeмикроскоп.
110
340395
2936
вы всё равно можете легко
испробовать этот новый микроскоп.
05:55
And I'd like to showпоказать you
just a coupleпара of examplesПримеры
111
343331
2404
Я покажу вам несколько примеров того,
05:57
of what othersдругие have doneсделанный with it.
112
345735
2735
как его использовали другие.
06:00
So this videoвидео was madeсделал by
a YouTubeYouTube userпользователь calledназывается TamezTamez85.
113
348470
5317
Это видео снято пользователем
YouTube под ником Tamez85.
06:05
I don't know who that userпользователь is,
114
353787
1463
Я не знаю этого пользователя,
06:07
but he, or she, used our codeкод
115
355250
2345
но он, или она,
использовал нашу программу,
06:09
to magnifyувеличивать smallмаленький bellyживот
movementsдвижения duringв течение pregnancyбеременность.
116
357595
3715
чтобы усилить маленькие движения
живота во время беременности.
06:13
It's kindсвоего рода of creepyжутко.
117
361310
1602
Выглядит жутковато.
06:14
(LaughterСмех)
118
362912
1613
(Смех)
06:16
People have used it to magnifyувеличивать
pulsingпульсирующий veinsвены in theirих handsРуки.
119
364525
4961
Люди использовали её для усиления
пульсации вен в руках.
06:21
And you know it's not realреальный scienceнаука
unlessесли you use guineaГвинея pigsсвиньи,
120
369486
3782
И какая настоящая наука
может обойтись без морских свинок?
06:25
and apparentlyпо всей видимости this guineaГвинея pigсвинья
is calledназывается TiffanyTiffany,
121
373268
3390
По-видимому, эту зовут Тиффани,
06:28
and this YouTubeYouTube userпользователь claimsтребования
it is the first rodentгрызун on EarthЗемля
122
376658
2949
и этот пользователь YouTube заявляет,
что это первый грызун на Земле,
06:31
that was motion-magnifiedдвижение-возвеличил.
123
379607
2688
чьи движения подвергались усилению.
06:34
You can alsoтакже do some artИзобразительное искусство with it.
124
382295
2188
Всё это применимо и в искусстве.
06:36
So this videoвидео was sentпослал to me
by a designдизайн studentстудент at YaleЙельский университет.
125
384483
3018
Это видео мне прислала студентка-дизайнер
из Йельского университета.
06:39
She wanted to see
if there's any differenceразница
126
387501
2137
Она хотела увидеть, есть ли разница
06:41
in the way her classmatesодноклассники moveпереехать.
127
389638
1522
в движениях её одногруппников.
06:43
She madeсделал them all standстоять still,
and then magnifiedвозвеличил theirих motionsдвижения.
128
391160
4209
Она попросила их не двигаться,
а потом усилила скрытые движения.
06:47
It's like seeingвидя
still picturesкартинки come to life.
129
395369
3378
Мы как будто наблюдаем оживление
неподвижной картины.
06:50
And the niceхороший thing with
all those examplesПримеры
130
398747
2433
Приятный момент
относительно всех этих примеров —
06:53
is that we had nothing to do with them.
131
401180
2296
нам не нужно с ними ничего делать.
06:55
We just providedпредоставлена this newновый toolинструмент,
a newновый way to look at the worldМир,
132
403476
3854
Мы просто дали новый инструмент,
новый способ взглянуть на мир,
06:59
and then people find other interestingинтересно,
newновый and creativeтворческий waysпути of usingс помощью it.
133
407330
5132
а люди находят ему другие интересные,
новые и нестандартные применения.
07:04
But we didn't stop there.
134
412462
1764
Но мы не остановились на этом.
07:06
This toolинструмент not only allowsпозволяет us
to look at the worldМир in a newновый way,
135
414226
3251
Эта технология позволяет не только
по-новому увидеть мир,
07:09
it alsoтакже redefinesпереопределяет what we can do
136
417477
2368
но и переосмыслить наши возможности,
07:11
and pushesвыталкивает the limitsпределы of what
we can do with our camerasкамеры.
137
419845
3181
расширить рамки
использования наших камер.
07:15
So as scientistsученые, we startedначал wonderingинтересно,
138
423026
2229
Как учёные, мы задумались,
07:17
what other typesтипы of physicalфизическое phenomenaявления
produceпроизводить tinyкрошечный motionsдвижения
139
425255
3785
какие ещё типы физических явлений
вызывают едва заметные движения,
07:21
that we could now use
our camerasкамеры to measureизмерение?
140
429040
2903
которые мы теперь можем измерить
с помощью нашей новой камеры?
07:23
And one suchтакие phenomenonявление
that we focusedсосредоточены on recentlyв последнее время is soundзвук.
141
431943
4001
Одно из таких явлений, на котором мы
недавно сфокусировались, — это звук.
07:27
Soundзвук, as we all know,
is basicallyв основном changesизменения
142
435944
2105
Звук, как известно, состоит
из колебаний давления,
07:30
in airвоздух pressureдавление that
travelпутешествовать throughчерез the airвоздух.
143
438049
2183
которые перемещаются
в воздушной среде.
07:32
Those pressureдавление wavesволны hitудар objectsобъекты
and they createСоздайте smallмаленький vibrationsвибрации in them,
144
440232
3621
Звуковые волны, достигая предметов,
создают в них мелкие вибрации,
07:35
whichкоторый is how we hearзаслушивать
and how we recordзапись soundзвук.
145
443853
2532
благодаря которым мы слышим
и записываем звук.
07:38
But it turnsвитки out that soundзвук
alsoтакже producesпроизводит visualвизуальный motionsдвижения.
146
446385
3668
Но оказалось, что звук создаёт
также визуальные движения.
07:42
Those are motionsдвижения
that are not visibleвидимый to us
147
450053
2833
Они незаметны для нас,
07:44
but are visibleвидимый to a cameraкамера
with the right processingобработка.
148
452886
3001
но заметны для камеры
с подходящей технологией.
07:47
So here are two examplesПримеры.
149
455887
1573
Приведу два примера.
07:49
This is me demonstratingдемонстрирующий
my great singingпение skillsнавыки.
150
457460
2614
Здесь я демонстрирую
свои вокальные способности.
07:53
(Singingпение)
151
461064
1634
(Поёт)
07:54
(LaughterСмех)
152
462698
1436
(Смех)
07:56
And I tookвзял a high-speedвысокоскоростной videoвидео
of my throatгорло while I was hummingгудящий.
153
464134
2986
Я снял высокоскоростное видео
своего горла, пока я пел.
07:59
Again, if you stareглазеть at that videoвидео,
154
467120
1764
Если присмотреться к этому видео,
08:00
there's not too much
you'llВы будете be ableв состоянии to see,
155
468884
2076
ничего особенного не видно,
08:02
but onceодин раз we magnifyувеличивать the motionsдвижения 100 timesраз,
we can see all the motionsдвижения and ripplesрябь
156
470960
4332
но усилив движения в 100 раз,
мы увидим все движения и пульсации на шее,
08:07
in the neckшея that are involvedучаствует
in producingпроизводства the soundзвук.
157
475292
3274
которые участвуют в формировании звука.
08:10
That signalсигнал is there in that videoвидео.
158
478566
2740
Источник пения теперь заметен на видео.
08:13
We alsoтакже know that singersпевцы
can breakломать a wineвино glassстакан
159
481306
2670
Мы также знаем, что вокалисты
способны разбить бокал,
08:15
if they hitудар the correctверный noteзаметка.
160
483976
1463
если возьмут нужную ноту.
08:17
So here, we're going to playиграть a noteзаметка
161
485439
1765
На этом видео мы проиграем ноту
08:19
that's in the resonanceрезонанс
frequencyчастота of that glassстакан
162
487204
2526
на частоте резонанса бокала
08:21
throughчерез a loudspeakerгромкоговоритель that's nextследующий to it.
163
489730
2048
через громкоговоритель рядом с ним.
08:23
Onceоднажды we playиграть that noteзаметка
and magnifyувеличивать the motionsдвижения 250 timesраз,
164
491778
4419
Когда мы проигрываем эту ноту
и усиливаем движение в 250 раз,
08:28
we can very clearlyявно see
how the glassстакан vibratesвибрирует
165
496197
2338
мы можем отчётливо видеть,
как стакан вибрирует
08:30
and resonatesрезонирует in responseответ to the soundзвук.
166
498535
3570
и резонирует в ответ на звук.
08:34
It's not something you're used
to seeingвидя everyкаждый day.
167
502105
2420
Такое не каждый день увидишь.
08:36
But this madeсделал us think.
It gaveдал us this crazyпсих ideaидея.
168
504525
3529
Но это заставило нас задуматься.
Это натолкнуло нас на сумасшедшую идею.
08:40
Can we actuallyна самом деле invertинвертировать this processобработать
and recoverоправляться soundзвук from videoвидео
169
508054
5608
Можем ли мы обратить процесс
и извлечь звук из видео,
08:45
by analyzingанализирующая the tinyкрошечный vibrationsвибрации
that soundзвук wavesволны createСоздайте in objectsобъекты,
170
513662
4035
анализируя предметы на мельчайшие
вибрации, которые создают звуковые волны,
08:49
and essentiallyпо существу convertконвертировать those
back into the soundsзвуки that producedпроизведенный them.
171
517697
4777
и главное, обратить их снова в звук,
который их вызвал.
08:54
In this way, we can turnочередь
everydayкаждый день objectsобъекты into microphonesмикрофоны.
172
522474
4457
Таким образом, мы можем превратить
повседневные предметы в микрофоны.
08:58
So that's exactlyв точку what we did.
173
526931
2232
Именно это мы и сделали.
09:01
So here'sвот an emptyпустой bagмешок of chipsчипсы
that was lyingлежащий on a tableТаблица,
174
529163
2816
Возьмём пустую упаковку от чипсов,
лежащую на столе,
09:03
and we're going to turnочередь that
bagмешок of chipsчипсы into a microphoneмикрофон
175
531979
2825
теперь мы собираемся превратить
эту упаковку в микрофон,
09:06
by filmingсъемки фильма it with a videoвидео cameraкамера
176
534804
1591
записав её на камеру
09:08
and analyzingанализирующая the tinyкрошечный motionsдвижения
that soundзвук wavesволны createСоздайте in it.
177
536395
3228
и проанализировав её мельчайшие
движения от звуковых волн.
09:11
So here'sвот the soundзвук
that we playedиграл in the roomкомната.
178
539623
2796
Мы проиграли в комнате следующий звук.
09:14
(MusicМузыка: "MaryМэри Had a Little Lambягненок")
179
542419
4434
(Музыка: «У Мэри был барашек»)
[американский фольклор]
09:22
And this is a high-speedвысокоскоростной videoвидео
we recordedзаписанный of that bagмешок of chipsчипсы.
180
550007
3025
Мы записали высокоскоростное видео
с этой упаковки чипсов.
09:25
Again it's playingиграть.
181
553032
1274
Вы смотрите его.
09:26
There's no chanceшанс you'llВы будете be ableв состоянии
to see anything going on in that videoвидео
182
554306
3342
Вы никогда не сможете увидеть
хоть что-то происходящее на этом видео,
09:29
just by looking at it,
183
557648
1058
просто глядя на него,
09:30
but here'sвот the soundзвук we were ableв состоянии
to recoverоправляться just by analyzingанализирующая
184
558706
2984
но послушайте звук, полученный
путем простого анализа
09:33
the tinyкрошечный motionsдвижения in that videoвидео.
185
561690
2183
незаметных движений на видео.
09:35
(MusicМузыка: "MaryМэри Had a Little Lambягненок")
186
563873
2809
(Музыка: «У Мэри был барашек»)
09:52
I call it -- Thank you.
187
580985
1486
Я называю это... Спасибо.
09:54
(ApplauseАплодисменты)
188
582471
5225
(Аплодисменты)
10:01
I call it the visualвизуальный microphoneмикрофон.
189
589878
2345
Я называю это визуальным микрофоном.
10:04
We actuallyна самом деле extractэкстракт audioаудио signalsсигналы
from videoвидео signalsсигналы.
190
592223
3390
Мы извлекаем звуковые сигналы
из видеосигналов.
10:07
And just to give you a senseсмысл
of the scaleмасштаб of the motionsдвижения here,
191
595613
3181
И чтобы вы хорошо понимали
масштабы записанных движений,
10:10
a prettyСимпатичная loudгромкий soundзвук will causeпричина that bagмешок
of chipsчипсы to moveпереехать lessМеньше than a micrometerмикрометр.
192
598799
5336
довольно громкий звук заставит упаковку
пошевелиться не более, чем на микрометр.
10:16
That's one thousandthтысячный of a millimeterмиллиметр.
193
604135
2739
Это одна тысячная миллиметра.
10:18
That's how tinyкрошечный the motionsдвижения are
that we are now ableв состоянии to pullвытащить out
194
606874
3561
Вот насколько крошечные движения
мы теперь можем выявить,
10:22
just by observingнаблюдения how lightлегкий
bouncesотскакивает off objectsобъекты
195
610435
3243
просто наблюдая за тем,
как свет отражается от предметов
10:25
and getsполучает recordedзаписанный by our camerasкамеры.
196
613678
2136
и записывается нашими камерами.
10:27
We can recoverоправляться soundsзвуки
from other objectsобъекты, like plantsрастения.
197
615814
3250
Мы можем воспроизвести звук
из других предметов, например растений.
10:31
(MusicМузыка: "MaryМэри Had a Little Lambягненок")
198
619064
6316
(Музыка: «У Мэри был барашек»)
10:39
And we can recoverоправляться speechречь as well.
199
627214
1997
Кроме того, мы можем воспроизвести речь.
10:41
So here'sвот a personчеловек speakingГоворящий in a roomкомната.
200
629211
2577
На примере голоса человека в комнате.
10:43
Voiceголос: MaryМэри had a little lambягненок
whoseчья fleeceруно was whiteбелый as snowснег,
201
631788
4203
Голос: «У Мэри был барашек,
он снега был белей,
10:47
and everywhereвезде that MaryМэри wentотправился,
that lambягненок was sure to go.
202
635991
4230
идёт куда-то Мэри,
и он идёт за ней».
10:52
MichaelМайкл RubinsteinРубинштейн: And here'sвот
that speechречь again recoveredвыздоровел
203
640221
2759
И вот эта же речь, восстановленная
10:54
just from this videoвидео
of that sameодна и та же bagмешок of chipsчипсы.
204
642980
3274
по этому видео
всё из той же упаковки чипсов.
10:58
Voiceголос: MaryМэри had a little lambягненок
whoseчья fleeceруно was whiteбелый as snowснег,
205
646254
4831
Голос: «У Мэри был барашек,
он снега был белей,
11:03
and everywhereвезде that MaryМэри wentотправился,
that lambягненок was sure to go.
206
651085
4859
идёт куда-то Мэри,
и он идёт за ней».
11:07
MRМИСТЕР: We used "MaryМэри Had a Little Lambягненок"
207
655944
2346
Мы взяли песню «У Мэри был барашек»,
11:10
because those are said to be
the first wordsслова
208
658290
2123
потому что считается,
что это были первые слова,
11:12
that ThomasТомас EdisonЭдисон spokeговорил
into his phonographфонограф in 1877.
209
660413
4161
произнесённые Томасом Эдисоном
в его фонограф в 1877.
11:16
It was one of the first soundзвук
recordingзапись devicesприборы in historyистория.
210
664574
3228
Это было одно из первых
звукозаписывающих устройств в истории.
11:19
It basicallyв основном directedнаправленный the soundsзвуки
ontoна a diaphragmдиафрагма
211
667802
3327
Оно направляло звук на диафрагму,
11:23
that vibratedвибрировала a needleигла that essentiallyпо существу
engravedвыгравирован the soundзвук on tinfoilфольга
212
671129
4079
которая раскачивала иглу,
и та оставляла след на оловянной оболочке,
11:27
that was wrappedзавернутый around the cylinderцилиндр.
213
675208
2275
обмотанной вокруг цилиндра.
11:29
Here'sВот a demonstrationдемонстрация of recordingзапись and
replayingпереигрывая soundзвук with Edison'sЭдисон phonographфонограф.
214
677483
5943
Послушайте, как записывается
и воспроизводится звук фонографом Эдисона.
11:35
(Videoвидео) Voiceголос: Testingтестирование,
testingтестирование, one two threeтри.
215
683426
3020
(Видео) Голос: «Проверка, проверка.
Раз, два, три.
11:38
MaryМэри had a little lambягненок
whoseчья fleeceруно was whiteбелый as snowснег,
216
686446
3413
У Мэри был барашек,
он снега был белей,
11:41
and everywhereвезде that MaryМэри wentотправился,
the lambягненок was sure to go.
217
689859
3669
идёт куда-то Мэри,
и он идёт за ней.
11:45
Testingтестирование, testingтестирование, one two threeтри.
218
693528
2740
Проверка, проверка.
Раз, два, три.
11:48
MaryМэри had a little lambягненок
whoseчья fleeceруно was whiteбелый as snowснег,
219
696268
4156
У Мэри был барашек,
он снега был белей,
11:52
and everywhereвезде that MaryМэри wentотправился,
the lambягненок was sure to go.
220
700424
5224
идёт куда-то Мэри,
и он идёт за ней».
11:57
MRМИСТЕР: And now, 137 yearsлет laterпозже,
221
705648
4017
И теперь, 137 лет спустя,
12:01
we're ableв состоянии to get soundзвук
in prettyСимпатичная much similarаналогичный qualityкачественный
222
709665
4087
мы способны получить звук
практически такого же качества,
12:05
but by just watchingнаблюдение objectsобъекты
vibrateвибрировать to soundзвук with camerasкамеры,
223
713752
4079
всего лишь наблюдая через камеру,
как предметы резонируют от звука.
12:09
and we can even do that when the cameraкамера
224
717831
1934
Мы можем сделать это,
даже когда камера
12:11
is 15 feetноги away from the objectобъект,
behindза soundproofзвуконепроницаемый glassстакан.
225
719765
4234
удалена от объекта почти на 5 метров
и находится за звукоизолирующим стеклом.
12:15
So this is the soundзвук that we were
ableв состоянии to recoverоправляться in that caseдело.
226
723999
3220
Послушайте звук,
полученный нами в этом случае.
12:19
Voiceголос: MaryМэри had a little lambягненок
whoseчья fleeceруно was whiteбелый as snowснег,
227
727219
5294
Голос: «У Мэри был барашек,
он снега был белей,
12:24
and everywhereвезде that MaryМэри wentотправился,
the lambягненок was sure to go.
228
732513
4759
Идёт куда-то Мэри,
и он идёт за ней».
12:29
MRМИСТЕР: And of courseкурс, surveillanceнаблюдение is
the first applicationзаявление that comesвыходит to mindразум.
229
737404
3630
Конечно, слежка — это первое применение,
которое приходит на ум.
12:33
(LaughterСмех)
230
741034
2995
(Смех)
12:36
But it mightмог бы actuallyна самом деле be usefulполезным
for other things as well.
231
744029
4056
Но это может оказаться полезным
и для других вещей.
12:40
Maybe in the futureбудущее, we'llЧто ж be ableв состоянии
to use it, for exampleпример,
232
748085
2840
Может быть, в будущем мы сможем
использовать это, например,
12:42
to recoverоправляться soundзвук acrossчерез spaceпространство,
233
750925
2252
чтобы получать звуки из космоса,
12:45
because soundзвук can't travelпутешествовать
in spaceпространство, but lightлегкий can.
234
753177
3576
потому что звук не распространяется
в космосе, в отличие от света.
12:48
We'veУ нас only just begunначатый exploringисследование
235
756753
2404
Мы только начали исследовать
12:51
other possibleвозможное usesиспользования
for this newновый technologyтехнологии.
236
759157
3019
другие возможные способы
применения этой новой технологии.
12:54
It letsДавайте us see physicalфизическое processesпроцессы
that we know are there
237
762176
2832
Она позволяет нам увидеть
физические процессы, о которых мы знаем,
12:57
but that we'veмы в never been ableв состоянии
to see with our ownсвоя eyesглаза untilдо now.
238
765008
3556
но которые были не в состоянии
увидеть собственными глазами до сих пор.
13:00
This is our teamкоманда.
239
768564
1204
Это наша команда.
13:01
Everything I showedпоказал you todayCегодня
is a resultрезультат of a collaborationсотрудничество
240
769768
2879
Всё, что я показал вам сегодня, —
результат сотрудничества
13:04
with this great groupгруппа
of people you see here,
241
772647
2191
с этой замечательной группой людей.
13:06
and I encourageпоощрять you and welcomeдобро пожаловать you
to checkпроверить out our websiteВеб-сайт,
242
774838
3167
Я призываю и приглашаю вас
ознакомиться с нашим сайтом.
13:10
try it out yourselfсам,
243
778005
1446
Заходите на него
13:11
and joinприсоединиться us in exploringисследование
this worldМир of tinyкрошечный motionsдвижения.
244
779451
2972
и присоединяйтесь к нам в исследовании
этого мира крошечных движений.
13:14
Thank you.
245
782423
1625
Спасибо.
13:16
(ApplauseАплодисменты)
246
784048
1254
(Аплодисменты)
Translated by Kateryna Konieva
Reviewed by Maxim Averin

▲Back to top

ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com