TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Công nghệ video mới làm lộ diện các đặc tính của các vật dụng
Filmed:
Readability: 4.3
1,482,525 views
Những chuyển động nhỏ có ở khắp quanh chúng ta, kể cả những chuyển động tạo bởi âm thanh. Công nghệ mới giúp chúng ta dùng những rung động đó để tái tạo âm thanh từ đoạn phim của một vật thể gần như đứng yên. Nhưng giờ đây Abe Davis còn đi xa hơn thế: Hãy xem anh ta dùng phần mềm tương tác với những đặc tính ẩn của đối tượng chỉ từ một đoạn phim đơn giản.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Nhiều người nghĩ chuyển động
là những thứ nhìn thấy được.
là những thứ nhìn thấy được.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Khi tôi bước trên sân khấu
hay làm động tác tay khi nói,
hay làm động tác tay khi nói,
00:22
that motion is something that you can see.
2
10977
2261
bạn có thể thấy những chuyển động đó.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Thế nhưng, có một thế giới những
chuyển động quá tinh tế với mắt người.
chuyển động quá tinh tế với mắt người.
00:31
and over the past few years,
4
19737
2041
Vài năm trở lại đây,
00:33
we've started to find that cameras
5
21778
1997
chúng tôi bắt đầu tìm kiếm các loại máy quay
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
có thể nhìn ra những chuyển động
ngay cả khi con người không thấy.
ngay cả khi con người không thấy.
00:40
So let me show you what I mean.
7
28305
1551
Hãy để tôi cho bạn thấy.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Bên trái là đoạn phim quay cổ tay người
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
và bên phải là em bé đang ngủ,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
nhưng nếu tôi không cho bạn biết
đó là những đoạn phim,
đó là những đoạn phim,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
chắc bạn sẽ nghĩ bạn đang
nhìn vào hai bức ảnh thông thường,
nhìn vào hai bức ảnh thông thường,
00:56
because in both cases,
12
44393
1672
vì ở cả hai bên,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
các đoạn phim dường như
không có chuyển động.
không có chuyển động.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Thực ra, có nhiều chuyển động
tinh vi đang xảy ra ở đây,
tinh vi đang xảy ra ở đây,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
Nếu bạn chạm vào cổ tay phía bên trái,
01:08
you would feel a pulse,
16
56452
1996
bạn sẽ cảm thấy mạch đang đập,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
còn nếu bạn đang ôm đứa bé ở bên phải,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
bạn có thể cảm thấy ngực nó chuyển động
01:15
as she took each breath.
19
63324
1390
khi cô bé hít thở.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Những chuyển động này
mang rất nhiều ý nghĩa,
mang rất nhiều ý nghĩa,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
nhưng thường thì chúng quá nhỏ bé
để chúng ta nhìn thấy được,
để chúng ta nhìn thấy được,
01:24
so instead, we have to observe them
22
72681
2276
thay vào đó, chúng ta phải quan sát chúng
01:26
through direct contact, through touch.
23
74957
2900
qua tiếp xúc trực tiếp, qua đụng chạm.
01:30
But a few years ago,
24
78997
1265
Nhưng vài năm trước đây,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
vài đồng nghiệp tôi ở MIT đã tạo ra một thứ
mà họ gọi là "kính hiển vi chuyển động",
mà họ gọi là "kính hiển vi chuyển động",
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
là một phầm mềm có thể phát hiện
những chuyển động tinh vi trong đoạn phim
những chuyển động tinh vi trong đoạn phim
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
rồi phóng đại chúng to đến mức
mà chúng ta có thể thấy được.
mà chúng ta có thể thấy được.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Và vì thế, khi ta dùng phần mềm của họ
cho đoạn phim bên trái,
cho đoạn phim bên trái,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
nó cho ta thấy mạch đập ở cổ tay,
01:52
and if we were to count that pulse,
30
100149
1695
và nếu chúng ta đếm mạch,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
chúng ta còn biết được nhịp tim người này.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Và nếu làm tương tự với đoạn phim bên phải,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
phần mềm cho ta thấy
mỗi nhịp thở của em bé,
mỗi nhịp thở của em bé,
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
và ta không cần chạm vào người
để theo dõi nhịp thở của bé.
để theo dõi nhịp thở của bé.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Công nghệ này thật sự rất mạnh
bởi vì nó ghi nhận được các hiện tượng này
bởi vì nó ghi nhận được các hiện tượng này
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
mà chúng ta thường chỉ được cảm nhận qua tiếp xúc
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
và công nghệ này cho phép chúng ta có được hình ảnh
mà không phải chạm tới vật đó.
mà không phải chạm tới vật đó.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Vài năm trước, tôi bắt đầu làm việc
với nhóm tạo ra phần mềm này,
với nhóm tạo ra phần mềm này,
02:25
and we decided to pursue a crazy idea.
39
133515
3367
và rồi chúng tôi đã quyết định
đeo đuổi một ý tưởng điên rồ.
đeo đuổi một ý tưởng điên rồ.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Chúng tôi nghĩ, thật tuyệt vời
khi chúng tôi có thể dùng phần mềm
khi chúng tôi có thể dùng phần mềm
02:31
to visualize tiny motions like this,
41
139575
3135
để tái hiện những chuyển động nhỏ như vậy,
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
và bạn có thể coi nó như
một cách để mở rộng cảm quan của chúng ta.
một cách để mở rộng cảm quan của chúng ta.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Nhưng liệu chúng ta có thể làm
điều tương tự đối với thính giác của chúng ta?
điều tương tự đối với thính giác của chúng ta?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Sẽ thế nào nếu ta dùng phim
để ghi lại những rung động của âm thanh,
để ghi lại những rung động của âm thanh,
02:49
which are just another kind of motion,
45
157173
2827
thật ra âm thanh là một dạng chuyển động,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
và truyền tải những gì ta thấy
vào một cái micrô?
vào một cái micrô?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Có vẻ như đó là một ý tưởng kỳ lạ,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
nên hãy để tôi giúp bạn hiểu rõ nó.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Micro thông thường hoạt động
bằng cách chuyển các rung động
bằng cách chuyển các rung động
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
từ màng rung bên trong
thành tín hiệu điện,
thành tín hiệu điện,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
màng rung được thiết kế để
chuyển động dễ dàng theo tiếng động,
chuyển động dễ dàng theo tiếng động,
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
rung động sau đó được ghi lại
và chuyển thành âm thanh.
và chuyển thành âm thanh.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Nhưng âm thanh làm mọi thứ rung động.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Những rung động đó thường
quá nhỏ và quá nhanh để có thể nhìn thấy.
quá nhỏ và quá nhanh để có thể nhìn thấy.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Vậy, sẽ thế nào nếu ta ghi hình
bằng một máy quay tốc độ cao
bằng một máy quay tốc độ cao
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
và dùng phần mềm để
tách ra các chuyển động nhỏ
tách ra các chuyển động nhỏ
03:34
from our high-speed video,
57
202197
2090
từ đoạn phim tốc độ cao,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
sau đó phân tích chúng để biết
âm thanh nào tạo ra chúng?
âm thanh nào tạo ra chúng?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Điều này cho phép chúng ta biến những vật thể nhìn thấy
thành một chiếc micro trực quan từ xa.
thành một chiếc micro trực quan từ xa.
03:49
And so we tried this out,
60
217080
2183
Và rồi chúng tôi đã thử làm,
03:51
and here's one of our experiments,
61
219263
1927
và đây là một trong số những thí nghiệm của chúng tôi,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
trong đó chúng tôi đã sử dụng chậu cây
mà các bạn có thể thấy ở bên phải
mà các bạn có thể thấy ở bên phải
03:56
and we filmed it with a high-speed camera
63
224139
2438
quay lại bằng camera tốc độ cao
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
trong khi cái loa bên cạnh
đang được mở bài hát này.
đang được mở bài hát này.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(Âm nhạc: "Mary có một con cừu nhỏ")
04:11
And so here's the video that we recorded,
66
239820
2824
Và đây là đoạn băng chúng tôi thu được,
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
ở tốc độ hàng ngàn khung hình một giây,
04:18
but even if you look very closely,
68
246568
2322
nhưng ngay cả lúc bạn nhìn kỹ,
04:20
all you'll see are some leaves
69
248890
1951
bạn sẽ chỉ thấy những tán lá
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
không động đậy gì cả,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
vì âm phát ra chỉ dịch chuyển
chúng khoảng 1 micro-mét.
chúng khoảng 1 micro-mét.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Đó là khoảng 1 phần 10 nghìn cm,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
vào khoảng 1 phần trăm hoặc phần nghìn
04:39
of a pixel in this image.
74
267535
2299
của 1 pixel (điểm ảnh) trong hình này.
04:41
So you can squint all you want,
75
269881
2887
Bạn có căng mắt nhìn tới đâu,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
cũng không thể thấy được
chuyển động bé như vậy.
chuyển động bé như vậy.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Nhưng hóa ra, những thứ
dường như là vô hình
dường như là vô hình
04:53
and still be numerically significant,
78
281824
2809
lại có thể có ý nghĩa với số hoá,
04:56
because with the right algorithms,
79
284633
2002
bởi vì bằng những thuật toán,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
chúng ta có thể làm cho điều tĩnh lặng này,
trong đoạn phim
trong đoạn phim
05:02
and we can recover this sound.
81
290322
1527
khôi phục lại thành những âm thanh này.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Âm nhạc: "Mary có một con cừu nhỏ")
05:12
(Applause)
83
300074
5828
(Khán giả vỗ tay)
05:22
So how is this possible?
84
310058
1939
Làm thế nào để điều này có được?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Làm sao ta lấy được thông tin
từ những chuyển động nhỏ đó?
từ những chuyển động nhỏ đó?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Cứ cho rằng đám lá kia
chỉ xê dịch 1 micro-mét,
chỉ xê dịch 1 micro-mét,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
và trong bức ảnh là 1 phần nghìn pixel.
05:39
That may not seem like much,
88
327269
2572
Nghe thì có vẻ ít,
05:41
but a single frame of video
89
329841
1996
nhưng một khung hình
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
có thể chứa hàng trăm ngàn điểm ảnh,
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
và nếu ta kết hợp những xê dịch nhỏ lại
05:50
from across that entire image,
92
338548
2298
từ toàn bộ bức ảnh,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
thì đột nhiên một phần nghìn pixel
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
sẽ tạo nên những thứ rất có ý nghĩa.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Thực tế, chúng tôi thấy vô cùng phấn khích
khi khám phá ra được điều này.
khi khám phá ra được điều này.
06:02
(Laughter)
96
350505
2320
(Khán giả cười)
06:04
But even with the right algorithm,
97
352825
3253
Nhưng cho dù với thuật toán đúng,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
chúng tôi vẫn thiếu một mảnh ghép
trong toàn bộ bức tranh.
trong toàn bộ bức tranh.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Bạn sẽ thấy, có nhiều yếu tố
ảnh hưởng tới hiệu quả
ảnh hưởng tới hiệu quả
06:15
this technique will work.
100
363299
1997
của kỹ thuật này.
06:17
There's the object and how far away it is;
101
365296
3204
Đó là là loại vật thể, và khoảng cách bao xa,
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
là máy quay và ống kính bạn dùng;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
vật được chiếu sáng thế nào
và âm thanh phát ra lớn ra sao.
và âm thanh phát ra lớn ra sao.
06:27
And even with the right algorithm,
104
375945
3375
Cho dù thuật toán đúng,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
chúng tôi vẫn phải thận trọng
với những thí nghiệm ban đầu,
với những thí nghiệm ban đầu,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
vì lỡ chúng ta có bất kỳ yếu tố nào sai
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
thì sẽ không thể biết đó là vấn đề gì.
06:39
We would just get noise back.
108
387470
2647
Chúng ta chỉ nhận lại được các tạp âm.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Và rất nhiều thí nghiệm ban đầu của chúng tôi
được thực hiện như sau.
được thực hiện như sau.
06:45
And so here I am,
110
393437
2206
Đây là tôi,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
phía dưới bên trái là camera tốc độ cao
06:51
which is pointed at a bag of chips,
112
399683
2183
nó được hướng vào bịch khoai tây chiên,
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
và toàn bộ được chiếu sáng bởi những cái đèn.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Như tôi nói, chúng tôi đã phải vô cùng
cẩn thận với những thí nghiệm đầu,
cẩn thận với những thí nghiệm đầu,
07:01
so this is how it went down.
115
409180
2508
và nó diễn ra như thế này.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Phim) Abe Davis: 3, 2, 1, bắt đầu.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary có một con cừu nhỏ!
Con cừu nhỏ! Con cừu nhỏ!
Con cừu nhỏ! Con cừu nhỏ!
07:12
(Laughter)
118
420836
4500
(Khán giả cười)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: Thí nghiệm này rất là kỳ cục.
07:20
(Laughter)
120
428150
1788
(Khán giả cười)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Ý tôi là, tôi đang hét vào
một cái bịch khoai tây.
một cái bịch khoai tây.
07:24
(Laughter) --
122
432283
1551
(Khán giả cười)
07:25
and we're blasting it with so much light,
123
433834
2117
và chúng tôi rọi quá nhiều đèn vào nó,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
chúng tôi đã làm tan chảy cái bịch
trong thí nghiệm đầu tiên. (Khán giả cười)
trong thí nghiệm đầu tiên. (Khán giả cười)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Nhưng nhìn nực cười vậy thôi,
07:35
it was actually really important,
126
443799
1788
nó thật sự quan trọng,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
vì chúng tôi đã phục hồi được đoạn ghi âm.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Âm thanh) Mary có một con cừu nhỏ!
Con cừu nhỏ! Con cừu nhỏ!
Con cừu nhỏ! Con cừu nhỏ!
07:45
(Applause)
129
453225
4088
(Khán giả vỗ tay)
07:49
AD: And this was really significant,
130
457313
1881
AD: Nó rất có ý nghĩa,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
vì đây là lần đầu tiên chúng tôi
phục hồi giọng nói con người
phục hồi giọng nói con người
07:55
from silent video of an object.
132
463424
2341
từ đoạn phim im lặng của một vật thể.
07:57
And so it gave us this point of reference,
133
465765
2391
Đó cũng là cơ sở
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
để chúng tôi dần điều chỉnh
các thí nghiệm,
các thí nghiệm,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
sử dụng các vật dụng khác
hoặc dời các vật dụng ra xa,
hoặc dời các vật dụng ra xa,
08:07
using less light or quieter sounds.
136
475911
2770
sử dụng ít ánh sáng hơn hoặc âm phát ra nhỏ hơn.
08:11
And we analyzed all of these experiments
137
479887
2874
Và rồi chúng tôi phân tích các thí nghiệm ngày
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
đến khi biết được
các giới hạn của kỹ thuật này
các giới hạn của kỹ thuật này
08:18
because once we understood those limits,
139
486383
1950
vì một khi hiểu được các hạn chế đó,
08:20
we could figure out how to push them.
140
488333
2346
chúng tôi có thể tìm ra
cách để cải thiện chúng,
cách để cải thiện chúng,
08:22
And that led to experiments like this one,
141
490679
3181
Và điều đó dẫn đến một thí nghiệm như sau,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
khi tôi lại nói chuyện
với bịch khoai tây,
với bịch khoai tây,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
những lần này chúng tôi
chuyển camera ra xa gần 15 feet (khoảng 5 mét),
chuyển camera ra xa gần 15 feet (khoảng 5 mét),
08:33
outside, behind a soundproof window,
144
501429
2833
chắn giữa bởi một tấm kính cách âm,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
toàn bộ chỉ được chiếu sáng
bởi ánh sáng tự nhiên.
bởi ánh sáng tự nhiên.
08:40
And so here's the video that we captured.
146
508529
2155
Đây là video chúng tôi đã quay được.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Còn đây là cái ta nghe được
từ phía trong, gần bịch khoai tây.
từ phía trong, gần bịch khoai tây.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Âm thanh) Mary có một con cừu nhỏ,
lông nó trắng như tuyết,
lông nó trắng như tuyết,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
và bất cứ chỗ nào Mary tới,
con cừu đó cũng sẽ theo.
con cừu đó cũng sẽ theo.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: Và đây là cái chúng tôi phục hồi
được từ đoạn phim im lặng của chúng tôi
được từ đoạn phim im lặng của chúng tôi
09:03
captured outside behind that window.
151
531683
2345
quay được từ ngoài cửa sổ.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Âm thanh) Mary có một con cừu nhỏ,
lông nó trắng như tuyết,
lông nó trắng như tuyết,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
và bất cứ chỗ nào Mary tới,
con cừu đó cũng sẽ theo.
con cừu đó cũng sẽ theo.
09:15
(Applause)
154
543920
6501
(Khán giả vỗ tay)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Còn đây là những cách khác
để chúng tôi mở rộng giới hạn.
để chúng tôi mở rộng giới hạn.
09:25
So here's a quieter experiment
156
553963
1798
Một thí nghiệm yên tĩnh hơn,
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
chúng tôi quay những chiếc tai nghe
được cắm vào máy tính để bàn,
được cắm vào máy tính để bàn,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
trong trường hợp này, mục tiêu là
khôi phục được bài hát đang được bật từ máy tính đó
khôi phục được bài hát đang được bật từ máy tính đó
09:35
from just silent video
159
563981
2299
từ một đoạn phim không có tiếng
09:38
of these two little plastic earphones,
160
566280
2507
từ hai chiếc tai nghe nhựa nhỏ bé,
09:40
and we were able to do this so well
161
568787
2183
và chúng tôi đã hồi phục được chúng rất tốt
09:42
that I could even Shazam our results.
162
570970
2461
để tôi có thể dùng Shazam để kiểm tra kết quả.
09:45
(Laughter)
163
573431
2411
(Khán giả cười)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Âm nhạc: "Under Pressure" của Queen)
10:01
(Applause)
165
589615
4969
(Khán giả vỗ tay)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Và chúng tôi còn làm nhiều hơn
bằng cách thay đổi các vật dụng.
bằng cách thay đổi các vật dụng.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Bởi những thí nghiệm các bạn đã thấy
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
được quay bởi các camera tốc độ cao
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
có thể quay nhanh hơn 100 lần
10:18
than most cell phones,
170
606797
1927
so với hầu hết điện thoại,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
nhưng chúng tôi đã tìm cách
ứng dụng công nghệ này
ứng dụng công nghệ này
10:23
with more regular cameras,
172
611533
2230
với những máy quay thông dụng hơn,
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
và chúng tôi đã tận dụng con lăn màn trập.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Bạn thấy, hầu hết camera ghi hình
theo từng cột ngang tại một thời điểm,
theo từng cột ngang tại một thời điểm,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
nếu vật di chuyển khi đang ghi hình,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
sẽ có chênh lệch
thời gian giữa các hàng,
thời gian giữa các hàng,
10:43
and this causes slight artifacts
177
631061
3157
gây ra lỗi giật hình (artifact)
10:46
that get coded into each frame of a video.
178
634218
3483
bị mã hóa vào mỗi khung hình của video.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Và rồi chúng tôi tìm ra rằng
bằng cách phân tích lỗi này,
bằng cách phân tích lỗi này,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
có thể phục hồi âm thanh qua
thuật toán đã được thay đổi của chúng tôi.
thuật toán đã được thay đổi của chúng tôi.
10:58
So here's an experiment we did
181
646122
1912
Đây là thí nghiệm chúng tôi tiến hành
11:00
where we filmed a bag of candy
182
648034
1695
ghi hình lại một bịch kẹo
11:01
while a nearby loudspeaker played
183
649729
1741
lúc cái loa bên cạnh
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
phát cùng bài "Mary có một con cừu nhỏ" như trước,
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
nhưng lần này, chúng tôi
dùng máy quay thông thường,
dùng máy quay thông thường,
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
và sau đây, tôi sẽ bật âm thanh
chúng tôi phục hồi lại được,
chúng tôi phục hồi lại được,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
lần này nó sẽ nhiễu hơn,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
nhưng hãy nghe để xem
bạn còn nhận ra nó không.
bạn còn nhận ra nó không.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Âm nhạc: "Mary có một con cừu nhỏ")
11:37
And so, again, that sounds distorted,
190
685527
3465
Và vì vây, một lần nữa chúng ta thấy am thanh đó bị nhiễu,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
nhưng điều kỳ diệu ở đây
là ta có thể làm điều này
là ta có thể làm điều này
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
bằng thứ bạn có thể dễ dàng tới
11:48
and pick up at a Best Buy.
193
696004
1444
và mua tại Best Buy.
11:51
So at this point,
194
699122
1363
Tại thời điểm này,
11:52
a lot of people see this work,
195
700485
1974
nhiều người thấy công nghệ này
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
và ngay lập tức nghĩ đến sự theo dõi.
11:57
And to be fair,
197
705872
2415
Và công bằng mà nói,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
không khó tưởng tượng rằng bạn sử dụng
công nghệ này để do thám người khác.
công nghệ này để do thám người khác.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Nhưng nhớ rằng, đã có
rất nhiều kỹ thuật hiện đại
rất nhiều kỹ thuật hiện đại
12:08
out there for surveillance.
200
716367
1579
cho việc giám sát, theo dõi.
12:09
In fact, people have been using lasers
201
717946
2090
Thật ra, người ta đã biết dùng tia laser
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
để nghe lén đối tượng từ xa
từ vài thập kỷ trước.
từ vài thập kỷ trước.
12:15
But what's really new here,
203
723978
2025
Nhưng cái mới ở đây,
12:18
what's really different,
204
726003
1440
cái thực sự khác biệt
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
là chúng ta bây giờ đã có cách
thu lại rung động của vật thể,
thu lại rung động của vật thể,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
chúng cho ta một lăng kính
mới để nhìn ra thế giới,
mới để nhìn ra thế giới,
12:27
and we can use that lens
207
735151
1510
và chúng ta có thể dùng nó
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
để hiểu không chỉ về những lực
như âm thanh làm vật rung động
như âm thanh làm vật rung động
12:33
but also about the object itself.
209
741560
2288
mà còn về chính rung động của vật đó.
12:36
And so I want to take a step back
210
744975
1693
Hãy để tôi quay lại một chút
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
và bằng cách nào nó thay đổi cách
chúng ta sử dụng một đoạn phim,
chúng ta sử dụng một đoạn phim,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
bởi thường ta dùng đoạn phim
để nhìn các vật thể,
để nhìn các vật thể,
12:46
and I've just shown you how we can use it
213
754470
2322
và tôi vừa cho bạn thấy cách ta dùng nó
12:48
to listen to things.
214
756792
1857
để nghe tiếng động của vật.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Nhưng vẫn còn cách khác
để ta hiểu thêm về thế giới:
để ta hiểu thêm về thế giới:
12:54
that's by interacting with it.
216
762620
2275
đó là tương tác với nó.
12:56
We push and pull and poke and prod things.
217
764895
3111
Chúng ta kéo, đẩy, gạt, đâm,
13:00
We shake things and see what happens.
218
768006
3181
lắc mọi thứ để xem cái gì xảy ra.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Và đó là cái mà đoạn phim vẫn chưa
cho chúng ta thực hiện,
cho chúng ta thực hiện,
13:07
at least not traditionally.
220
775460
2136
ít nhất là theo cách truyền thống.
13:09
So I want to show you some new work,
221
777596
1950
Tôi sẽ cho bạn thấy vài dự án mới,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
dựa trên ý tưởng của tôi vài tháng trước,
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
đây chính xác là lần đầu
tôi cho ra mắt công chúng.
tôi cho ra mắt công chúng.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Cơ bản ý tưởng là chúng tôi
dùng chuyển động trong đoạn phim
dùng chuyển động trong đoạn phim
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
để chép lại vật thể theo cách
giúp chúng ta tương tác với nó
giúp chúng ta tương tác với nó
13:27
and see how they react to us.
226
795358
1974
và xem nó phản ứng thế nào.
13:31
So here's an object,
227
799120
1764
Đây là một đối tượng,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
trong này là hình người cuốn bởi dây thép,
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
và chúng tôi sẽ quay phim nó
chỉ bằng camera thông dụng.
chỉ bằng camera thông dụng.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Không có gì đặc biệt ở cái máy quay cả.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Thực tế, tôi còn thực hiện
bằng cả điện thoại trước đó.
bằng cả điện thoại trước đó.
13:44
But we do want to see the object vibrate,
232
812889
2252
Tôi muốn vật thể đó rung,
13:47
so to make that happen,
233
815141
1133
để làm điều đó,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
tôi tác động vào bề mặt
phía dưới khi nó đứng yên
phía dưới khi nó đứng yên
13:51
while we record this video.
235
819620
2138
lúc chúng tôi quay phim.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Vậy đấy: chỉ 5 giây của
một đoạn phim bình thường,
một đoạn phim bình thường,
14:03
while we bang on this surface,
237
831069
2136
quay lúc chúng tôi gõ vào mặt bàn,
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
và chúng tôi sẽ sử dụng
những chuyển động trong đó
những chuyển động trong đó
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
để biết được đặc tính
cấu trúc và chất liệu của nó,
cấu trúc và chất liệu của nó,
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
và chúng tôi dùng dữ liệu đó
tạo ra một thứ có thể tương tác.
tạo ra một thứ có thể tương tác.
14:24
And so here's what we've created.
241
852866
2653
Chúng tôi đã làm ra thứ này.
14:27
And it looks like a regular image,
242
855519
2229
Trông như một bức ảnh thường,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
nhưng nó không phải ảnh,
cũng không phải là một đoạn phim,
cũng không phải là một đoạn phim,
14:32
because now I can take my mouse
244
860859
2368
bởi giờ tôi có thể dùng chuột
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
tương tác với chính vật thể.
14:44
And so what you see here
246
872936
2357
Và cái bạn thấy đây
14:47
is a simulation of how this object
247
875389
2226
mô phỏng cách vật thể
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
thay đổi bởi những lực mới
mà ta chưa từng chứng kiến,
mà ta chưa từng chứng kiến,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
và nó được tạo ra chỉ bằng 5 giây ghi hình thông thường.
14:59
(Applause)
250
887249
4715
(Khán giả vỗ tay)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Đây quả là một cách hiệu quả
để khảo sát thế giới,
để khảo sát thế giới,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
bởi nó giúp ta đoán được
vật sẽ phản ứng ra sao
vật sẽ phản ứng ra sao
15:15
to new situations,
253
903620
1823
với những tình huống,
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
và bạn tưởng tượng,
ví dụ như, nhìn vào một cây cầu cổ
ví dụ như, nhìn vào một cây cầu cổ
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
và băn khoăn xem điều gì sẽ xảy ra,
xem liệu nó có đứng vững
xem liệu nó có đứng vững
15:24
if I were to drive my car across it.
256
912443
2833
nếu tôi lái xe qua đó.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Đó là câu hỏi bạn cần hỏi
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
trước khi lái qua cầu.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Tất nhiên, sẽ có những giới hạn
của công nghệ này
của công nghệ này
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
như trường hợp chiếc micro,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
nhưng chúng tôi thấy nó
hoạt động tốt trong nhiều tình huống
hoạt động tốt trong nhiều tình huống
15:42
that you might not expect,
262
930903
1875
bạn ít tưởng tượng được,
15:44
especially if you give it longer videos.
263
932778
2768
đặc biệt khi bạn quay phim lâu hơn.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Ví dụ, đây là đoạn phim tôi quay
15:50
of a bush outside of my apartment,
265
938054
2299
một bụi cây ngoài nhà tôi,
15:52
and I didn't do anything to this bush,
266
940353
3088
và mặc dù không đụng gì tới nó,
15:55
but by capturing a minute-long video,
267
943441
2705
nhưng bằng cách quay đoạn phim dài 1 phút,
15:58
a gentle breeze caused enough vibrations
268
946146
3378
một cơn gió nhẹ thổi qua tạo đủ những rung động
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
mà ta có thể đủ hiểu về bụi cây
để tạo ra một mô phỏng như thế này.
để tạo ra một mô phỏng như thế này.
16:07
(Applause)
270
955270
6142
(Khán giả vỗ tay)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Và bạn có thể tưởng tượng
đưa cái này cho đạo diễn phim,
đưa cái này cho đạo diễn phim,
16:16
and letting him control, say,
272
964384
1719
và để họ điều khiển
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
sức và hướng gió trong đoạn phim đã quay.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Hoặc, ở đây, chĩa camera vào tấm rèm treo,
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
thậm chí không thấy nó chuyển động,
16:33
but by recording a two-minute-long video,
276
981474
2925
nhưng chỉ bằng một video 2 phút,
16:36
natural air currents in this room
277
984399
2438
luồng không khí tự nhiên trong phòng
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
tạo ra đủ các chuyển động tinh tế
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
để ta tạo ra mô hình này.
16:48
And ironically,
280
996243
2366
Và, trớ trêu thay,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
chúng ta vẫn đang dùng loại tương tác này
16:53
when it comes to virtual objects,
282
1001697
2647
với vật thể ảo,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
video game và các thể loại 3D,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
nhưng việc có thể lưu thông tin
từ các vật trong thế giới thực
từ các vật trong thế giới thực
17:04
using just simple, regular video,
285
1012045
2817
chỉ dùng đoạn phim đơn giản
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
là điều mới mẻ và có rất nhiêu tiềm năng.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Và đây là những con người tuyệt vời
đã làm việc với tôi trong dự án này.
đã làm việc với tôi trong dự án này.
17:16
(Applause)
288
1024057
5596
(Khán giả vỗ tay)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Và thứ tôi cho các bạn xem hôm nay
mới chỉ là điểm khởi đầu.
mới chỉ là điểm khởi đầu.
17:27
We've just started to scratch the surface
290
1035876
2113
Ta chỉ mới biết một phần rất nhỏ về
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
những gì có thể làm với công nghệ này.
17:32
because it gives us a new way
292
1040961
2286
bởi nó cho ta cách mới
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
để ghi lại những thứ xung quanh
bằng những công nghệ phổ biến.
bằng những công nghệ phổ biến.
17:40
And so looking to the future,
294
1048066
1929
Trong tương lai,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
chúng ta sẽ rất mong chờ được khám phá
17:44
what this can tell us about the world.
296
1052032
1856
thế giới qua công nghệ mới này.
17:46
Thank you.
297
1054381
1204
Cám ơn các bạn.
17:47
(Applause)
298
1055610
6107
(Khán giả vỗ tay)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com