TEDxBeaconStreet
Michael Rubinstein: See invisible motion, hear silent sounds
מיכאל רובינשטיין: לראות תנועה נסתרת, לשמוע קולות נעלמים. מגניב? מצמרר? קשה לנו להחליט
Filmed:
Readability: 4.1
2,075,056 views
הכירו את "מיקרוסקופ התנועה", כלי לעיבוד וידאו אשר מגביר שינויים זעירים בתנועה וצבע שבלתי אפשרי לראותם בעין עירומה. חוקר הוידאו מייקל רובינשטיין, מקרין סרטונים מדהימים אחד אחר השני אשר מציגים כיצד טכנולוגיה זו יכולה לעקוב אחר דופק של אדם ופעימות ליבו פשוט מקטע מצולם. צפו בו משחזר שיחה על-ידי הגברת תנודות קול המוחזרות משקית צ'יפס. עליכם לראות כדי להאמין את היישומים המפליאים והמצמררים.
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio
Double-click the English transcript below to play the video.
00:13
So over the past few centuries,
microscopes have revolutionized our world.
microscopes have revolutionized our world.
0
1114
7492
במהלך מאות השנים האחרונות,
מיקרוסקופים הביאו למהפכה בעולם.
מיקרוסקופים הביאו למהפכה בעולם.
00:21
They revealed to us a tiny world
of objects, life and structures
of objects, life and structures
1
9036
5216
הם גילו לעינינו את עולם
העצמים הזעירים, צורות חיים ומבנים
העצמים הזעירים, צורות חיים ומבנים
00:26
that are too small for us
to see with our naked eyes.
to see with our naked eyes.
2
14252
2906
הקטנים מדי מכדי שנבחין
בהם בעין עירומה.
בהם בעין עירומה.
00:29
They are a tremendous contribution
to science and technology.
to science and technology.
3
17158
3019
הם מהווים תרומה אדירה למדע וטכנולוגיה.
00:32
Today I'd like to introduce you
to a new type of microscope,
to a new type of microscope,
4
20177
3227
היום ברצוני להציג בפניכם
מיקרוסקופ מסוג חדש,
מיקרוסקופ מסוג חדש,
00:35
a microscope for changes.
5
23404
2578
מיקרוסקופ של שינויים.
00:37
It doesn't use optics
like a regular microscope
like a regular microscope
6
25982
2902
שלא כמו מיקרוסקופ רגיל,
הוא אינו משתמש באופטיקה
הוא אינו משתמש באופטיקה
00:40
to make small objects bigger,
7
28884
1997
כדי להגדיל עצמים קטנים,
00:42
but instead it uses a video camera
and image processing
and image processing
8
30881
4376
אלא הוא משתמש במצלמת
וידאו ובעיבוד תמונה
וידאו ובעיבוד תמונה
00:47
to reveal to us the tiniest motions
and color changes in objects and people,
and color changes in objects and people,
9
35257
5256
כדי לחשוף בפנינו את השינויים הכי זעירים
בצבע ובתנועות של חפצים ואנשים,
בצבע ובתנועות של חפצים ואנשים,
00:52
changes that are impossible
for us to see with our naked eyes.
for us to see with our naked eyes.
10
40513
3842
שינויים שבלתי-אפשרי לראותם בעין עירומה.
00:56
And it lets us look at our world
in a completely new way.
in a completely new way.
11
44355
4120
זה מאפשר לנו להביט
בעולם בדרך חדשה לגמרי.
בעולם בדרך חדשה לגמרי.
01:00
So what do I mean by color changes?
12
48475
1910
מה הכוונה בשינויי צבע?
01:02
Our skin, for example,
changes its color very slightly
changes its color very slightly
13
50385
2832
עורנו, לדוגמא, משנה את צבעו מעט מאוד
01:05
when the blood flows under it.
14
53217
1997
כאשר הדם זורם תחתיו.
01:07
That change is incredibly subtle,
15
55214
2397
שינוי זה עדין באופן קיצוני,
01:09
which is why, when you
look at other people,
look at other people,
16
57611
2063
ולכן, כאשר מביטים באנשים אחרים,
01:11
when you look at the person
sitting next to you,
sitting next to you,
17
59674
2251
כאשר מביטים באדם היושב לידך,
01:13
you don't see their skin
or their face changing color.
or their face changing color.
18
61925
3575
לא רואים את עורם או פניהם משנים צבע.
01:17
When we look at this video of Steve here,
it appears to us like a static picture,
it appears to us like a static picture,
19
65500
4360
אם צופים בסרטון זה של סטיב,
הוא נראה כמו תמונה עומדת,
הוא נראה כמו תמונה עומדת,
01:21
but once we look at this video
through our new, special microscope,
through our new, special microscope,
20
69860
3860
אבל ברגע שצופים בו דרך
המיקרוסקופ החדש והמיוחד שלנו,
המיקרוסקופ החדש והמיוחד שלנו,
01:25
suddenly we see
a completely different image.
a completely different image.
21
73720
2600
לפתע רואים תמונה שונה לחלוטין.
01:28
What you see here are small changes
in the color of Steve's skin,
in the color of Steve's skin,
22
76320
3930
מה שרואים זה שינויים
קטנים בצבע עורו של סטיב,
קטנים בצבע עורו של סטיב,
01:32
magnified 100 times
so that they become visible.
so that they become visible.
23
80250
4436
המוגברים פי-100
כדי שיהיו נראים לעין.
כדי שיהיו נראים לעין.
01:36
We can actually see a human pulse.
24
84686
3267
ניתן ממש לראות דופק אנושי.
01:39
We can see how fast
Steve's heart is beating,
Steve's heart is beating,
25
87953
3227
ניתן להבחין באיזה קצב
פועם ליבו של סטיב,
פועם ליבו של סטיב,
01:43
but we can also see the actual way
that the blood flows in his face.
that the blood flows in his face.
26
91180
5355
אבל ניתן גם לראות את
מסלולי זרימת הדם בפניו.
מסלולי זרימת הדם בפניו.
01:48
And we can do that not just
to visualize the pulse,
to visualize the pulse,
27
96544
2631
ניתן לעשות זאת לא רק
כדי לראות את הדופק,
כדי לראות את הדופק,
01:51
but also to actually
recover our heart rates,
recover our heart rates,
28
99175
3471
אלא גם כדי לפקח ולמדוד
01:54
and measure our heart rates.
29
102646
1793
את פעימות הלב.
01:56
And we can do it with regular cameras
and without touching the patients.
and without touching the patients.
30
104439
4453
ניתן לבצע זאת עם מצלמות
רגילות ומבלי לגעת במטופלים.
רגילות ומבלי לגעת במטופלים.
02:00
So here you see the pulse and heart rate
we extracted from a neonatal baby
we extracted from a neonatal baby
31
108892
5617
כאן ניתן לראות את הדופק
ופעימות הלב של תינוק דרך וידאו
ופעימות הלב של תינוק דרך וידאו
02:06
from a video we took
with a regular DSLR camera,
with a regular DSLR camera,
32
114509
2881
שצילמנו באמצעות מצלמה דיגיטלית רגילה,
02:09
and the heart rate measurement we get
33
117390
1816
וקצב פעימות הלב שמדדנו
02:11
is as accurate as the one you'd get
with a standard monitor in a hospital.
with a standard monitor in a hospital.
34
119206
4811
הוא מדוייק כמו זה שמדדנו בעזרת
מכשיר ניטור רגיל בבית-חולים.
מכשיר ניטור רגיל בבית-חולים.
02:16
And it doesn't even have to be
a video we recorded.
a video we recorded.
35
124017
2642
וזה לא חייב להיות וידאו שצילמנו.
02:18
We can do it essentially
with other videos as well.
with other videos as well.
36
126659
2995
ניתן לעשות זאת באותה מידה
עם כל וידאו אחר.
עם כל וידאו אחר.
02:21
So I just took a short clip
from "Batman Begins" here
from "Batman Begins" here
37
129654
3901
נטלתי קטע קצר מסרט של
באטמן רק כדי להראות
באטמן רק כדי להראות
02:25
just to show Christian Bale's pulse.
38
133555
1904
את הדופק של כריסטיאן בל.
02:27
(Laughter)
39
135459
1822
(צחוק)
02:29
And you know, presumably
he's wearing makeup,
he's wearing makeup,
40
137281
2123
כידוע, יש עליו איפור,
02:31
the lighting here is kind of challenging,
41
139404
1953
התאורה מערימה קשיים,
02:33
but still, just from the video,
we're able to extract his pulse
we're able to extract his pulse
42
141357
2951
אבל בכל זאת, אך ורק מהוידאו
אנו מסוגלים לחלץ
אנו מסוגלים לחלץ
02:36
and show it quite well.
43
144308
2018
את הדופק שלו ולהציגו די טוב.
02:38
So how do we do all that?
44
146326
1920
כיצד אנו עושים כל זאת?
02:40
We basically analyze the changes
in the light that are recorded
in the light that are recorded
45
148246
4598
בעיקרון אנו מנתחים את השינויים בבהירות
02:44
at every pixel in the video over time,
46
152844
2271
בכל פיקסל בוידאו
לאורך זמן, ואז מגבירים
לאורך זמן, ואז מגבירים
02:47
and then we crank up those changes.
47
155115
1798
את השינויים הללו.
02:48
We make them bigger
so that we can see them.
so that we can see them.
48
156913
2162
אנו מגבירים אותם כדי שנוכל לראותם.
02:51
The tricky part is that those signals,
49
159075
1902
החוכמה בכל העניין היא שהאותות,
02:52
those changes that we're after,
are extremely subtle,
are extremely subtle,
50
160977
2933
אותם שינויים שאנו מחפשים,
הם מאוד עדינים,
הם מאוד עדינים,
02:55
so we have to be very careful
when you try to separate them
when you try to separate them
51
163910
2779
ולכן עלינו להיות מאוד זהירים
02:58
from noise that always exists in videos.
52
166689
3831
כאשר מנסים להפרידם
מהרעש שתמיד קיים בוידאו.
מהרעש שתמיד קיים בוידאו.
03:02
So we use some clever
image processing techniques
image processing techniques
53
170520
2995
אנו משתמשים בטכניקות
חכמות לעיבוד תמונה
חכמות לעיבוד תמונה
03:05
to get a very accurate measurement
of the color at each pixel in the video,
of the color at each pixel in the video,
54
173515
3994
כדי להגיע למדידה מאוד מדוייקת
של הצבע בכל פיקסל בוידאו,
של הצבע בכל פיקסל בוידאו,
03:09
and then the way the color
changes over time,
changes over time,
55
177509
2670
ושל האופן בו הצבע משתנה לאורך זמן,
03:12
and then we amplify those changes.
56
180179
2693
ובסוף אנו מגבירים את השינויים הללו.
03:14
We make them bigger to create those types
of enhanced videos, or magnified videos,
of enhanced videos, or magnified videos,
57
182872
3980
אנו מגבירים אותם כדי ליצור את
הסרטונים המשופרים, או המוגדלים,
הסרטונים המשופרים, או המוגדלים,
03:18
that actually show us those changes.
58
186852
2172
שמציגים בפנינו את השינויים.
03:21
But it turns out we can do that
not just to show tiny changes in color,
not just to show tiny changes in color,
59
189024
4238
אבל מתברר שניתן לעשות זאת לא רק
כדי להראות שינויי צבע זעירים,
כדי להראות שינויי צבע זעירים,
03:25
but also tiny motions,
60
193262
2241
אלא גם תנועות זעירות,
03:27
and that's because the light
that gets recorded in our cameras
that gets recorded in our cameras
61
195503
3576
וזה כי האור שמצולם במצלמותינו ישתנה
03:31
will change not only if the color
of the object changes,
of the object changes,
62
199079
2810
לא רק כאשר צבע העצם משתנה,
03:33
but also if the object moves.
63
201889
2368
אלא גם כאשר העצם נע.
03:36
So this is my daughter
when she was about two months old.
when she was about two months old.
64
204257
3636
זו בתי בהיותה בת חודשיים.
03:39
It's a video I recorded
about three years ago.
about three years ago.
65
207893
2999
זה סרטון שצילמתי לפני כ-3 שנים.
03:42
And as new parents, we all want
to make sure our babies are healthy,
to make sure our babies are healthy,
66
210892
3208
בתור הורים צעירים, כולנו רוצים
לוודא שהתינוקות שלנו בריאים,
לוודא שהתינוקות שלנו בריאים,
03:46
that they're breathing,
that they're alive, of course.
that they're alive, of course.
67
214100
2542
שהם נושמים, שהם בחיים.
03:48
So I too got one of those baby monitors
68
216642
2142
לכן גם אני השגתי
מכשיר ניטור לתינוקות
מכשיר ניטור לתינוקות
03:50
so that I could see my daughter
when she was asleep.
when she was asleep.
69
218784
2469
כדי שאוכל לראות את בתי בעודה ישנה.
03:53
And this is pretty much what you'll see
with a standard baby monitor.
with a standard baby monitor.
70
221253
3527
וזה בערך מה שתראו
דרך מכשיר ניטור רגיל.
דרך מכשיר ניטור רגיל.
03:56
You can see the baby's sleeping, but
there's not too much information there.
there's not too much information there.
71
224780
3682
ניתן לראות שהתינוקת ישנה,
אבל גם אין הרבה מידע.
אבל גם אין הרבה מידע.
04:00
There's not too much we can see.
72
228474
1604
לא ניתן לראות הרבה.
04:02
Wouldn't it be better,
or more informative, or more useful,
or more informative, or more useful,
73
230078
2824
לא היה יותר טוב או יותר
מועיל או יותר שימושי,
מועיל או יותר שימושי,
04:04
if instead we could look
at the view like this.
at the view like this.
74
232902
2990
אם במקום זה יכולנו לראות תמונה כזו?
04:07
So here I took the motions
and I magnified them 30 times,
and I magnified them 30 times,
75
235892
6356
כאן לקחתי את התנועות
והגדלתי אותן פי-30,
והגדלתי אותן פי-30,
04:14
and then I could clearly see that my
daughter was indeed alive and breathing.
daughter was indeed alive and breathing.
76
242248
3826
ואז יכולתי לראות בבירור
שבתי חיה ונושמת.
שבתי חיה ונושמת.
04:18
(Laughter)
77
246074
2253
(צחוק)
04:20
Here is a side-by-side comparison.
78
248327
1922
הנה השוואה זו-מול-זו.
04:22
So again, in the source video,
in the original video,
in the original video,
79
250249
2483
שוב, בסרטון המקורי
04:24
there's not too much we can see,
80
252732
1636
אין הרבה שאפשר לראות,
04:26
but once we magnify the motions,
the breathing becomes much more visible.
the breathing becomes much more visible.
81
254368
3707
אבל ברגע שמגדילים את התנועות,
הנשימה הופכת לגלויה יותר לעין.
הנשימה הופכת לגלויה יותר לעין.
04:30
And it turns out, there's
a lot of phenomena
a lot of phenomena
82
258075
2070
ומתברר שיש המון תופעות
שניתן לגלות ולהגדיל עם
מיקרוסקופ התנועה החדש שלנו.
מיקרוסקופ התנועה החדש שלנו.
04:32
we can reveal and magnify
with our new motion microscope.
with our new motion microscope.
83
260145
3623
04:35
We can see how our veins and arteries
are pulsing in our bodies.
are pulsing in our bodies.
84
263768
4564
ניתן לראות כיצד כלי-הדם פועמים בגופנו.
04:40
We can see that our eyes
are constantly moving
are constantly moving
85
268332
2628
ניתן לראות שעינינו נעות כל הזמן
04:42
in this wobbly motion.
86
270960
1887
באופן בלתי יציב.
04:44
And that's actually my eye,
87
272847
1509
זו העין שלי,
04:46
and again this video was taken
right after my daughter was born,
right after my daughter was born,
88
274356
3065
ושוב, סרטון זה צולם
מייד לאחר הולדת בתי,
מייד לאחר הולדת בתי,
04:49
so you can see I wasn't getting
too much sleep. (Laughter)
too much sleep. (Laughter)
89
277421
4202
וניתן לראות שחסרות לי שעות שינה. (צחוק)
04:53
Even when a person is sitting still,
90
281623
2716
אפילו כשאדם יושב ללא תנועה,
04:56
there's a lot of information
we can extract
we can extract
91
284339
2044
ניתן לאסוף הרבה מידע
04:58
about their breathing patterns,
small facial expressions.
small facial expressions.
92
286383
3529
לגבי דפוס נשימה
והבעות פנים חולפות.
והבעות פנים חולפות.
05:01
Maybe we could use those motions
93
289912
1625
ייתכן וניתן יהיה להשתמש
05:03
to tell us something about
our thoughts or our emotions.
our thoughts or our emotions.
94
291537
3154
בתנועות הללו כדי לדעת משהו
על מחשבותינו ורגשותינו.
על מחשבותינו ורגשותינו.
05:06
We can also magnify small
mechanical movements,
mechanical movements,
95
294691
3255
ניתן גם להגדיל תנועות מיכניות זעירות,
05:09
like vibrations in engines,
96
297946
1555
כגון תנודות של מנועים,
05:11
that can help engineers detect
and diagnose machinery problems,
and diagnose machinery problems,
97
299501
3692
העשויות לסייע למהנדסים
לאתר ולנתח בעיות מכאניות,
לאתר ולנתח בעיות מכאניות,
05:15
or see how our buildings and structures
sway in the wind and react to forces.
sway in the wind and react to forces.
98
303193
4738
או לראות כיצד בניינים ומבנים
מתנודדים ברוח ומגיבים לכוחות.
מתנודדים ברוח ומגיבים לכוחות.
05:19
Those are all things that our society
knows how to measure in various ways,
knows how to measure in various ways,
99
307931
4581
אנו יודעים כיצד למדוד את כל
הדברים הללו בדרכים שונות,
הדברים הללו בדרכים שונות,
05:24
but measuring those motions is one thing,
100
312512
2453
אבל למדוד את התנועות זה דבר אחד,
05:26
and actually seeing those
motions as they happen
motions as they happen
101
314965
2276
ולראות ממש את התנועות בזמן התרחשותן
05:29
is a whole different thing.
102
317241
2554
זה דבר אחר לחלוטין.
05:31
And ever since we discovered
this new technology,
this new technology,
103
319795
3041
ומאז שגילינו טכנולוגיה חדשה זו,
05:34
we made our code available online so that
others could use and experiment with it.
others could use and experiment with it.
104
322836
3953
העלנו את קוד התוכנה לרשת כך
שאחרים ישתמשו בו וינסו אותו.
שאחרים ישתמשו בו וינסו אותו.
05:38
It's very simple to use.
105
326789
1875
זה פשוט מאוד להשתמש בו.
05:40
It can work on your own videos.
106
328664
2044
הוא יכול לעבוד במצלמות שלכם.
05:42
Our collaborators at Quanta Research
even created this nice website
even created this nice website
107
330708
3193
שותפינו ב-Quanta Research
אפילו יצרו אתר נחמד זה
אפילו יצרו אתר נחמד זה
05:45
where you can upload your videos
and process them online,
and process them online,
108
333901
2678
בו ניתן להעלות סרטונים
ולעבדם באופן מקוון,
ולעבדם באופן מקוון,
05:48
so even if you don't have any experience
in computer science or programming,
in computer science or programming,
109
336579
3816
כך שאפילו אם מישהו חסר ניסיון
במדעי מחשב או תיכנות,
במדעי מחשב או תיכנות,
05:52
you can still very easily experiment
with this new microscope.
with this new microscope.
110
340395
2936
הוא יכול בקלות רבה להתנסות
עם מיקרוסקופ חדש זה.
עם מיקרוסקופ חדש זה.
05:55
And I'd like to show you
just a couple of examples
just a couple of examples
111
343331
2404
אציג לכם רק כמה דוגמאות
05:57
of what others have done with it.
112
345735
2735
של מה שאנשים עשו עם זה.
06:00
So this video was made by
a YouTube user called Tamez85.
a YouTube user called Tamez85.
113
348470
5317
סרטון זה יצר משתמש
יוטיוב בשם Tamez85.
יוטיוב בשם Tamez85.
06:05
I don't know who that user is,
114
353787
1463
איני יודע מי הוא אותו משתמש,
06:07
but he, or she, used our code
115
355250
2345
אבל הוא, או היא, השתמשו בתוכנה שלנו
06:09
to magnify small belly
movements during pregnancy.
movements during pregnancy.
116
357595
3715
כדי להגדיל תנועות בטן קטנות בזמן היריון.
06:13
It's kind of creepy.
117
361310
1602
זה קצת מצמרר.
06:14
(Laughter)
118
362912
1613
(צחוק)
06:16
People have used it to magnify
pulsing veins in their hands.
pulsing veins in their hands.
119
364525
4961
אנשים השתמשו בזה כדי להגדיל
כלי-דם פועמים בידיהם.
כלי-דם פועמים בידיהם.
06:21
And you know it's not real science
unless you use guinea pigs,
unless you use guinea pigs,
120
369486
3782
וכידוע זה לא מדעי עד שמנסים
את זה על שפן-ניסיונות,
את זה על שפן-ניסיונות,
06:25
and apparently this guinea pig
is called Tiffany,
is called Tiffany,
121
373268
3390
וכנראה קראו לשפן זה טיפאני,
06:28
and this YouTube user claims
it is the first rodent on Earth
it is the first rodent on Earth
122
376658
2949
ומשתמש יוטיוב זה טוען שזהו
המכרסם הראשון בעולם
המכרסם הראשון בעולם
06:31
that was motion-magnified.
123
379607
2688
שתנועותיו עברו הגדלה.
06:34
You can also do some art with it.
124
382295
2188
ניתן לעשות גם קצת אומנות.
06:36
So this video was sent to me
by a design student at Yale.
by a design student at Yale.
125
384483
3018
סרטון זה נשלח אליי על-ידי
סטודנטית לעיצוב ב-ייל.
סטודנטית לעיצוב ב-ייל.
06:39
She wanted to see
if there's any difference
if there's any difference
126
387501
2137
היא רצתה לבדוק אם יש הבדל
06:41
in the way her classmates move.
127
389638
1522
באופן בו חבריה לשיעור נעים.
06:43
She made them all stand still,
and then magnified their motions.
and then magnified their motions.
128
391160
4209
היא ביקשה מהם לעמוד דום
ואז הגדילה את תנועותיהם.
ואז הגדילה את תנועותיהם.
06:47
It's like seeing
still pictures come to life.
still pictures come to life.
129
395369
3378
זה כאילו לראות תמונות
דוממות מקבלות חיים.
דוממות מקבלות חיים.
06:50
And the nice thing with
all those examples
all those examples
130
398747
2433
ומה שנחמד בכל הדוגמאות הללו
06:53
is that we had nothing to do with them.
131
401180
2296
הוא שלא היה עלינו לעשות כלום.
06:55
We just provided this new tool,
a new way to look at the world,
a new way to look at the world,
132
403476
3854
רק סיפקנו את הכלי --
דרך חדשה להביט על העולם,
דרך חדשה להביט על העולם,
06:59
and then people find other interesting,
new and creative ways of using it.
new and creative ways of using it.
133
407330
5132
ואנשים מצאו דרכים אחרות חדשות,
מעניינות ויצירתיות כדי להשתמש בזה.
מעניינות ויצירתיות כדי להשתמש בזה.
07:04
But we didn't stop there.
134
412462
1764
אבל לא עצרנו כאן.
07:06
This tool not only allows us
to look at the world in a new way,
to look at the world in a new way,
135
414226
3251
כלי זה לא רק מאפשר לנו
להביט על העולם בדרך חדשה,
להביט על העולם בדרך חדשה,
07:09
it also redefines what we can do
136
417477
2368
אלא הוא מגדיר מחדש את מה שניתן לעשות
07:11
and pushes the limits of what
we can do with our cameras.
we can do with our cameras.
137
419845
3181
ומרחיב את הגבולות של מה
שניתן לעשות עם מצלמותינו.
שניתן לעשות עם מצלמותינו.
07:15
So as scientists, we started wondering,
138
423026
2229
לכן בתור מדענים, התחלנו לשאול את עצמנו,
07:17
what other types of physical phenomena
produce tiny motions
produce tiny motions
139
425255
3785
אלו עוד תופעות פיזיקליות
יוצרות תנועות זעירות
יוצרות תנועות זעירות
07:21
that we could now use
our cameras to measure?
our cameras to measure?
140
429040
2903
שאפשר יהיה למדוד עם מצלמותינו?
07:23
And one such phenomenon
that we focused on recently is sound.
that we focused on recently is sound.
141
431943
4001
ותופעה אחת כזו שהתמקדנו בה היא קול.
07:27
Sound, as we all know,
is basically changes
is basically changes
142
435944
2105
קול, כידוע, הוא בעיקרון שינויים
07:30
in air pressure that
travel through the air.
travel through the air.
143
438049
2183
בלחץ אויר הנעים באויר.
07:32
Those pressure waves hit objects
and they create small vibrations in them,
and they create small vibrations in them,
144
440232
3621
גלי לחץ הללו פוגעים בעצמים
ויוצרים בהם תנודות זעירות,
ויוצרים בהם תנודות זעירות,
07:35
which is how we hear
and how we record sound.
and how we record sound.
145
443853
2532
וכך אנו שומעים קול ומקליטים אותו.
07:38
But it turns out that sound
also produces visual motions.
also produces visual motions.
146
446385
3668
אבל מתברר שהקול יוצר גם תנועות חזותיות.
07:42
Those are motions
that are not visible to us
that are not visible to us
147
450053
2833
אלו הן תנועות הסמויות מהעין
07:44
but are visible to a camera
with the right processing.
with the right processing.
148
452886
3001
אבל מובחנות על-ידי מצלמה
בעלת כושר עיבוד מתאים.
בעלת כושר עיבוד מתאים.
07:47
So here are two examples.
149
455887
1573
הנה שתי דוגמאות:
07:49
This is me demonstrating
my great singing skills.
my great singing skills.
150
457460
2614
זה אני שמפגין כישורי שירה מרשימים.
07:53
(Singing)
151
461064
1634
(שר)
07:54
(Laughter)
152
462698
1436
(צחוק)
07:56
And I took a high-speed video
of my throat while I was humming.
of my throat while I was humming.
153
464134
2986
צילמתי סרטון במהירות גבוהה
של גרוני בעודי שרתי.
של גרוני בעודי שרתי.
07:59
Again, if you stare at that video,
154
467120
1764
שוב, אם מסתכלים על הסרטון,
08:00
there's not too much
you'll be able to see,
you'll be able to see,
155
468884
2076
לא ניתן לראות הרבה,
08:02
but once we magnify the motions 100 times,
we can see all the motions and ripples
we can see all the motions and ripples
156
470960
4332
אבל ברגע שמגדילים את התנועות
פי-100, ניתן לראות את כל
פי-100, ניתן לראות את כל
08:07
in the neck that are involved
in producing the sound.
in producing the sound.
157
475292
3274
התנועות והתנודות בצוואר
הקשורות ביצירת הקול.
הקשורות ביצירת הקול.
08:10
That signal is there in that video.
158
478566
2740
האות קיים בוידאו.
08:13
We also know that singers
can break a wine glass
can break a wine glass
159
481306
2670
אנו גם יודעים שזמרים
מסוגלים לשבור כוס יין
מסוגלים לשבור כוס יין
08:15
if they hit the correct note.
160
483976
1463
אם הם עולים על הצליל הנכון.
08:17
So here, we're going to play a note
161
485439
1765
הנה, אנו עומדים לנגן צליל
08:19
that's in the resonance
frequency of that glass
frequency of that glass
162
487204
2526
שהוא בתדירות התהודה של הכוס
08:21
through a loudspeaker that's next to it.
163
489730
2048
באמצעות רמקול לידו.
08:23
Once we play that note
and magnify the motions 250 times,
and magnify the motions 250 times,
164
491778
4419
ברגע שמנגנים את הצליל
ומגבירים את התנועות פי-250,
ומגבירים את התנועות פי-250,
08:28
we can very clearly see
how the glass vibrates
how the glass vibrates
165
496197
2338
ניתן לראות בבירור כיצד הכוס
08:30
and resonates in response to the sound.
166
498535
3570
רוטטת ויוצרת תהודה בתגובה לקול.
08:34
It's not something you're used
to seeing every day.
to seeing every day.
167
502105
2420
זה לא משהו שנתקלים בו כל יום.
08:36
But this made us think.
It gave us this crazy idea.
It gave us this crazy idea.
168
504525
3529
אבל זה גרם לנו לחשוב
והעלה רעיון מטורף.
והעלה רעיון מטורף.
08:40
Can we actually invert this process
and recover sound from video
and recover sound from video
169
508054
5608
האם ניתן להפוך את התהליך
ולהפיק קול מוידאו
ולהפיק קול מוידאו
08:45
by analyzing the tiny vibrations
that sound waves create in objects,
that sound waves create in objects,
170
513662
4035
על-ידי ניתוח של התנודות הזעירות
שגלי קול יוצרים בעצמים,
שגלי קול יוצרים בעצמים,
08:49
and essentially convert those
back into the sounds that produced them.
back into the sounds that produced them.
171
517697
4777
ולהפוך אותן בחזרה לקולות שיצרו אותן?
08:54
In this way, we can turn
everyday objects into microphones.
everyday objects into microphones.
172
522474
4457
בדרך זו, נוכל להפוך עצמים
רגילים למיקרופונים.
רגילים למיקרופונים.
08:58
So that's exactly what we did.
173
526931
2232
וזה מה שבדיוק עשינו.
09:01
So here's an empty bag of chips
that was lying on a table,
that was lying on a table,
174
529163
2816
הנה שקית צ'יפס ריקה המונחת על שולחן,
09:03
and we're going to turn that
bag of chips into a microphone
bag of chips into a microphone
175
531979
2825
ואנו נהפוך אותה למיקרופון עלי-ידי
09:06
by filming it with a video camera
176
534804
1591
צילומה במצלמת וידאו
09:08
and analyzing the tiny motions
that sound waves create in it.
that sound waves create in it.
177
536395
3228
וניתוח של התנודות הזעירות
שגלי הקול יוצרים עליה.
שגלי הקול יוצרים עליה.
09:11
So here's the sound
that we played in the room.
that we played in the room.
178
539623
2796
זה הקול שניגנו בחדר.
09:14
(Music: "Mary Had a Little Lamb")
179
542419
4434
(מוזיקה)
09:22
And this is a high-speed video
we recorded of that bag of chips.
we recorded of that bag of chips.
180
550007
3025
וזהו וידאו שצולם במהירות
גבוהה מאותה שקית צ'יפס.
גבוהה מאותה שקית צ'יפס.
09:25
Again it's playing.
181
553032
1274
הוא מנגן.
09:26
There's no chance you'll be able
to see anything going on in that video
to see anything going on in that video
182
554306
3342
אין סיכוי שתצליחו לראות
שקורה משהו בתוך הוידאו
שקורה משהו בתוך הוידאו
09:29
just by looking at it,
183
557648
1058
אך ורק מהצפייה בו,
09:30
but here's the sound we were able
to recover just by analyzing
to recover just by analyzing
184
558706
2984
אבל הנה הקול שהצלחנו להפיק רק מאנליזה
09:33
the tiny motions in that video.
185
561690
2183
של התנודות הזעירות באותו וידאו.
09:35
(Music: "Mary Had a Little Lamb")
186
563873
2809
(מוזיקה)
09:52
I call it -- Thank you.
187
580985
1486
תודה.
09:54
(Applause)
188
582471
5225
(מחיאות כפיים)
10:01
I call it the visual microphone.
189
589878
2345
אני קורא לזה מיקרופון חזותי.
10:04
We actually extract audio signals
from video signals.
from video signals.
190
592223
3390
בעצם הפקנו קול מאותות וידאו
10:07
And just to give you a sense
of the scale of the motions here,
of the scale of the motions here,
191
595613
3181
ורק כדי לתת מושג על גודל התנודות כאן,
10:10
a pretty loud sound will cause that bag
of chips to move less than a micrometer.
of chips to move less than a micrometer.
192
598799
5336
קול די חזק יגרום לשקית
הצ'יפס לנוע פחות ממיקרומטר.
הצ'יפס לנוע פחות ממיקרומטר.
10:16
That's one thousandth of a millimeter.
193
604135
2739
שזה אלפית המילימטר.
10:18
That's how tiny the motions are
that we are now able to pull out
that we are now able to pull out
194
606874
3561
עד כדי כך קטנות התנועות
שאנו מסוגלים היום להפיק
שאנו מסוגלים היום להפיק
10:22
just by observing how light
bounces off objects
bounces off objects
195
610435
3243
רק מצפייה באור המוחזר מעצמים
10:25
and gets recorded by our cameras.
196
613678
2136
והמוקלט במצלמותינו.
10:27
We can recover sounds
from other objects, like plants.
from other objects, like plants.
197
615814
3250
אנו מסוגלים להפיק קול
מעצמים אחרים, כמו צמחים.
מעצמים אחרים, כמו צמחים.
10:31
(Music: "Mary Had a Little Lamb")
198
619064
6316
(מוזיקה)
10:39
And we can recover speech as well.
199
627214
1997
כמו-כן אנו גם מסוגלים להפיק דיבור.
10:41
So here's a person speaking in a room.
200
629211
2577
הנה אדם המדבר בחדר.
10:43
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
201
631788
4203
קול: למרי היה טלה קטן
שהצמר שלו היה לבן כשלג,
שהצמר שלו היה לבן כשלג,
10:47
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
202
635991
4230
ולכל מקום שמרי הלכה,
הטלה היה הולך אחריה.
הטלה היה הולך אחריה.
10:52
Michael Rubinstein: And here's
that speech again recovered
that speech again recovered
203
640221
2759
מייקל רובינשטיין: וזהו אותו דיבור שהופק
10:54
just from this video
of that same bag of chips.
of that same bag of chips.
204
642980
3274
מהוידאו מאותה שקית צ'יפס.
10:58
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
205
646254
4831
קול: למרי היה טלה קטן
שהצמר שלו היה לבן כשלג,
שהצמר שלו היה לבן כשלג,
11:03
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
206
651085
4859
ולכל מקום שמרי הלכה,
הטלה היה הולך אחריה.
הטלה היה הולך אחריה.
11:07
MR: We used "Mary Had a Little Lamb"
207
655944
2346
מ.ר.: השתמשנו במילים הללו
11:10
because those are said to be
the first words
the first words
208
658290
2123
כי אומרים שאלו היו המילים הראשונות
11:12
that Thomas Edison spoke
into his phonograph in 1877.
into his phonograph in 1877.
209
660413
4161
שתומאס אדיסון אמר לתוך הפונוגרף ב-1877.
11:16
It was one of the first sound
recording devices in history.
recording devices in history.
210
664574
3228
זה היה אחד ממכשירי ההקלטה
הראשונים בהיסטוריה.
הראשונים בהיסטוריה.
11:19
It basically directed the sounds
onto a diaphragm
onto a diaphragm
211
667802
3327
בעיקרון, הוא הסיט את
הקולות אל עבר דיאפרגמה
הקולות אל עבר דיאפרגמה
11:23
that vibrated a needle that essentially
engraved the sound on tinfoil
engraved the sound on tinfoil
212
671129
4079
שהרטיטה מחט אשר חרטה
את הקול על גבי נייר כסף
את הקול על גבי נייר כסף
11:27
that was wrapped around the cylinder.
213
675208
2275
שהיה מלופף סביב גליל.
11:29
Here's a demonstration of recording and
replaying sound with Edison's phonograph.
replaying sound with Edison's phonograph.
214
677483
5943
הנה הדגמה של הקלטה וניגון
של קול עם הפונוגרף של אדיסון.
של קול עם הפונוגרף של אדיסון.
11:35
(Video) Voice: Testing,
testing, one two three.
testing, one two three.
215
683426
3020
קול (וידאו): בדיקה, בדיקה -- אחת, שתיים, שלוש.
11:38
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
216
686446
3413
למרי היה טלה קטן
שהצמר שלו היה לבן כשלג,
שהצמר שלו היה לבן כשלג,
11:41
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
217
689859
3669
ולכל מקום שמרי הלכה,
הטלה היה הולך אחריה.
הטלה היה הולך אחריה.
11:45
Testing, testing, one two three.
218
693528
2740
בדיקה, בדיקה -- אחת, שתיים, שלוש.
11:48
Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
219
696268
4156
למרי היה טלה קטן
שהצמר שלו היה לבן כשלג,
שהצמר שלו היה לבן כשלג,
11:52
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
220
700424
5224
ולכל מקום שמרי הלכה,
הטלה היה הולך אחריה.
הטלה היה הולך אחריה.
11:57
MR: And now, 137 years later,
221
705648
4017
מ.ר.: והיום, 137 שנה אחרי,
12:01
we're able to get sound
in pretty much similar quality
in pretty much similar quality
222
709665
4087
אנו יכולים להפיק קול באותה איכות
12:05
but by just watching objects
vibrate to sound with cameras,
vibrate to sound with cameras,
223
713752
4079
רק על-ידי צפייה בעצמים
הרוטטים מקול בעזרת מצלמות,
הרוטטים מקול בעזרת מצלמות,
12:09
and we can even do that when the camera
224
717831
1934
וניתן לעשות זאת אפילו כאשר
12:11
is 15 feet away from the object,
behind soundproof glass.
behind soundproof glass.
225
719765
4234
המצלמה נמצאת במרחק 5 מטר מהעצם,
מאחורי זכוכית חסינת רעש.
מאחורי זכוכית חסינת רעש.
12:15
So this is the sound that we were
able to recover in that case.
able to recover in that case.
226
723999
3220
ובכן, זה הקול שאנו מסוגלים
להפיק במקרה כזה.
להפיק במקרה כזה.
12:19
Voice: Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
227
727219
5294
קול: למרי היה טלה קטן
שהצמר שלו היה לבן כשלג,
שהצמר שלו היה לבן כשלג,
12:24
and everywhere that Mary went,
the lamb was sure to go.
the lamb was sure to go.
228
732513
4759
ולכל מקום שמרי הלכה,
הטלה היה הולך אחריה.
הטלה היה הולך אחריה.
12:29
MR: And of course, surveillance is
the first application that comes to mind.
the first application that comes to mind.
229
737404
3630
מ.ר.: וכמובן, ריגול זה הדבר
הראשון שעולה על הדעת.
הראשון שעולה על הדעת.
12:33
(Laughter)
230
741034
2995
(צחוק)
12:36
But it might actually be useful
for other things as well.
for other things as well.
231
744029
4056
אבל למעשה זה יכול להיות
שימושי גם לדברים אחרים.
שימושי גם לדברים אחרים.
12:40
Maybe in the future, we'll be able
to use it, for example,
to use it, for example,
232
748085
2840
אולי בעתיד, נוכל להשתמש בזה לדוגמא,
12:42
to recover sound across space,
233
750925
2252
להפיק קולות מהרחק בחלל,
12:45
because sound can't travel
in space, but light can.
in space, but light can.
234
753177
3576
כי קול אינו יכול לנוע בחלל, אבל אור כן.
12:48
We've only just begun exploring
235
756753
2404
רק התחלנו לגלות
12:51
other possible uses
for this new technology.
for this new technology.
236
759157
3019
שימושים אפשריים אחרים
לטכנולוגיה חדשה זו.
לטכנולוגיה חדשה זו.
12:54
It lets us see physical processes
that we know are there
that we know are there
237
762176
2832
היא מאפשרת לנו לראות תהליכים
פיזיקליים שאנו יודעים שהם קיימים
פיזיקליים שאנו יודעים שהם קיימים
12:57
but that we've never been able
to see with our own eyes until now.
to see with our own eyes until now.
238
765008
3556
אבל מעולם לא היינו מסוגלים
לראותם בעיניים שלנו עד עכשיו.
לראותם בעיניים שלנו עד עכשיו.
13:00
This is our team.
239
768564
1204
זהו הצוות שלנו.
13:01
Everything I showed you today
is a result of a collaboration
is a result of a collaboration
240
769768
2879
כל מה שהראיתי לכם היום
הוא תוצאה של שיתוף-פעולה
הוא תוצאה של שיתוף-פעולה
13:04
with this great group
of people you see here,
of people you see here,
241
772647
2191
עם קבוצה נהדרת זו של אנשים,
13:06
and I encourage you and welcome you
to check out our website,
to check out our website,
242
774838
3167
ואני מעודד אתכם וקורא לכם לבקר באתרנו,
13:10
try it out yourself,
243
778005
1446
ולנסות את זה בעצמכם,
13:11
and join us in exploring
this world of tiny motions.
this world of tiny motions.
244
779451
2972
ולהצטרף אלינו לגילוי
עולם של תנועות זעירות.
עולם של תנועות זעירות.
13:14
Thank you.
245
782423
1625
תודה.
13:16
(Applause)
246
784048
1254
(מחיאות כפיים)
ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, GoogleComputer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.
Why you should listen
Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.
Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.
Michael Rubinstein | Speaker | TED.com