TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Nesnelerin gizli özelliklerini ortaya çıkaran yeni video teknolojisi
Filmed:
Readability: 4.3
1,482,525 views
Sesin neden olduğu küçücük titreşimler de dâhil, belirsiz hareketler etrâfımızda hep olur. Yeni teknoloji, bu titreşimleri toplayabileceğimizi ve yalnızca görünürde hareketsiz olan nesnenin bir videosundan sesi yeniden oluşturabileceğimizi gösteriyor. Fakat artık Abe Davis bunu bir adım ileri götürüyor: Yalnızca basit bir videoyla herhangi birinin bu gizli özelliklerle etkileşime geçebilmesini sağlayan yazılımını tanıtan Abe'i izleyin.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Çoğumuz hareketi oldukça
görsel bir şey olarak düşünürüz.
görsel bir şey olarak düşünürüz.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Bu sahne boyunca yürüsem
ya da konuşurken el hareketleri yapsam,
ya da konuşurken el hareketleri yapsam,
00:22
that motion is something that you can see.
2
10977
2261
bu hareketler görebileceğiniz şeylerdir.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Fakat insan gözünün göremeyeceği
belirsizlikte önemli hareketler dünyâsı vardır,
belirsizlikte önemli hareketler dünyâsı vardır,
00:31
and over the past few years,
4
19737
2041
ve geçen birkaç yıl içinde,
00:33
we've started to find that cameras
5
21778
1997
kameraların bu hareketleri sıklıkla
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
insanların göremediği zamanlarda bile
görebildiğini bulmaya başladık.
görebildiğini bulmaya başladık.
00:40
So let me show you what I mean.
7
28305
1551
Ne demek istediğimi göstereyim.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Sol tarafta, birisinin bileğinin
videosunu görüyorsunuz,
videosunu görüyorsunuz,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
ve sağ tarafta, uyuyan bir bebeğin
videosunu görüyorsunuz,
videosunu görüyorsunuz,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
fakat size bunların
video olduğunu söylemesem,
video olduğunu söylemesem,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
iki sıradan fotoğrafa bakıyor
olduğunuzu sanabilirsiniz,
olduğunuzu sanabilirsiniz,
00:56
because in both cases,
12
44393
1672
çünkü iki durumda da,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
bu videolar neredeyse tamâmen
hareketsiz görünüyor.
hareketsiz görünüyor.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Fakat aslında burada
birçok belirsiz hareketlenme var
birçok belirsiz hareketlenme var
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
ve soldaki bileğe
dokunacak olsanız,
dokunacak olsanız,
01:08
you would feel a pulse,
16
56452
1996
nabzı hissedersiniz
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
ve sağdaki bebeği
tutuyor olsanız,
tutuyor olsanız,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
göğsündeki yükselişi ve alçalışı
01:15
as she took each breath.
19
63324
1390
her nefes alışında hissedersiniz.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Bu hareketler birçok
önemli bilgi taşır,
önemli bilgi taşır,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
fakat genellikle
göremeyeceğimiz kadar belirsizdir,
göremeyeceğimiz kadar belirsizdir,
01:24
so instead, we have to observe them
22
72681
2276
bu yüzden, bunun yerine doğrudan temasla,
01:26
through direct contact, through touch.
23
74957
2900
dokunarak gözlememiz gerekir.
01:30
But a few years ago,
24
78997
1265
Fakat birkaç yıl önce,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
MIT'teki meslektaşlarım hareket mikroskobu
dedikleri mikroskobu geliştirdi,
dedikleri mikroskobu geliştirdi,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
videodaki belirsiz hareketleri bulan
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
ve görebileceğimiz biçimde olması için
büyüten bir yazılımı.
büyüten bir yazılımı.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Ve bu sayede, soldaki videoda
onların yazılımını kullanırsak,
onların yazılımını kullanırsak,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
bilekteki nabzı görmemizi sağlıyor
01:52
and if we were to count that pulse,
30
100149
1695
ve bu nabzı saysak,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
bu kişinin kalp atış hızını
bile bulabiliriz.
bile bulabiliriz.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Ve aynı yazılımı
sağdaki videoda kullansak,
sağdaki videoda kullansak,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
bu bebeğin aldığı her nefesi
görmemizi sağlıyor
görmemizi sağlıyor
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
ve bunu onun nefesini izlemek için
temassız bir yöntem olarak kullanabiliriz.
temassız bir yöntem olarak kullanabiliriz.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Ve bu teknoloji gerçekten güçlü
çünkü normalde dokunarak
çünkü normalde dokunarak
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
deneyimlememiz gereken
bütün bu durumları
bütün bu durumları
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
görsel olarak ve müdahalesizce
elde etmemizi sağlıyor.
elde etmemizi sağlıyor.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Birkaç yıl önce, bu yazılımı oluşturan
insanlarla çalışmaya başladım
insanlarla çalışmaya başladım
02:25
and we decided to pursue a crazy idea.
39
133515
3367
ve çılgın bir fikrin peşinden
gitmeye karar verdik.
gitmeye karar verdik.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Düşündük ki, bunun gibi
küçücük hareketleri
küçücük hareketleri
02:31
to visualize tiny motions like this,
41
139575
3135
görselleştirmek için yazılımı
kullanabilmemiz harika
kullanabilmemiz harika
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
ve bunu, neredeyse dokunma duyumuzun
bir uzantısı olarak düşünebilirsiniz.
bir uzantısı olarak düşünebilirsiniz.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Fakat, ya aynı şeyi
duyma yetimiz için de yapabilsek?
duyma yetimiz için de yapabilsek?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Ya videoyu ses titreşimlerini
elde etmek için kullanabilsek,
elde etmek için kullanabilsek,
02:49
which are just another kind of motion,
45
157173
2827
ses titreşimleri de diğer bir tür harekettir,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
ya gördüğümüz her şeyi
mikrofona dönüştürebilsek?
mikrofona dönüştürebilsek?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Şimdi, bu birazcık tuhaf bir fikir,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
bu yüzden, gelin size bir
bakış açısı kazandırmaya çalışayım.
bakış açısı kazandırmaya çalışayım.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Geleneksel mikrofonlar
içsel bir zara gelen
içsel bir zara gelen
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
hareketi elektrik sinyaline
dönüştürerek çalışır
dönüştürerek çalışır
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
ve bu zar sesle birlikte
hareket edecek şekilde tasarlanmıştır,
hareket edecek şekilde tasarlanmıştır,
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
bu sâyede, zarın hareketi ses olarak
kaydedilebilir ve yorumlanabilir.
kaydedilebilir ve yorumlanabilir.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Fakat ses bütün nesneleri titreştirir.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Bu titreşimler genellikle göremeyeceğimiz
kadar belirsiz ve hızlıdır.
kadar belirsiz ve hızlıdır.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Ya yüksek hızlı bir kamerayla
bu titreşimleri kaydetsek
bu titreşimleri kaydetsek
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
ve sonra yüksek hızlı videomuzdaki
küçücük hareketleri elde etmek için
küçücük hareketleri elde etmek için
03:34
from our high-speed video,
57
202197
2090
yazılımı kullansak
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
ve bu hareketleri, hangi seslerin
oluşturduğunu anlamak için çözümlesek?
oluşturduğunu anlamak için çözümlesek?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Bu durum bizim görünen nesneleri uzak
görsel mikrofonlara dönüştürmemizi sağlar.
görsel mikrofonlara dönüştürmemizi sağlar.
03:49
And so we tried this out,
60
217080
2183
Ve biz bunu yapmaya çalıştık
03:51
and here's one of our experiments,
61
219263
1927
ve işte deneylerimizden birisi,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
sağda gördüğünüz
bu saksı bitkisini aldık
bu saksı bitkisini aldık
03:56
and we filmed it with a high-speed camera
63
224139
2438
ve yüksek hızlı bir kamerayla
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
bir hoparlör yakınında
bu sesi çıkarırken kaydettik.
bu sesi çıkarırken kaydettik.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(Müzik: "Mary Had a Little Lamb")
04:11
And so here's the video that we recorded,
66
239820
2824
Ve işte kaydettiğimiz video
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
ve bu videoyu sâniyede bin karelik
bir hızda kaydettik,
bir hızda kaydettik,
04:18
but even if you look very closely,
68
246568
2322
fakat çok yakından bile baksanız,
04:20
all you'll see are some leaves
69
248890
1951
göreceğiniz tek şey hiçbir şey yapmadan
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
olduğu yerde duran birkaç yaprak,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
çünkü ses bu yaprakları yalnızca
bir mikrometre kadar oynattı.
bir mikrometre kadar oynattı.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Bu ölçü bir santimetrenin on binde biridir
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
bu da, bu görüntüdeki bir pikselin
yüz ile binde biri arasındaki
yüz ile binde biri arasındaki
04:39
of a pixel in this image.
74
267535
2299
bir bölüme karşılık gelir.
04:41
So you can squint all you want,
75
269881
2887
Bu yüzden, ne kadar
gözlerinizi kısarak bakarsanız bakın
gözlerinizi kısarak bakarsanız bakın
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
bu küçüklükteki hareket,
algılanamayacak kadar görünmezdir.
algılanamayacak kadar görünmezdir.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Fakat şu ortaya çıktı, bir şey
algılanamayacak şekilde görünmez olabilir
algılanamayacak şekilde görünmez olabilir
04:53
and still be numerically significant,
78
281824
2809
ve yine de sayısal olarak önemlidir,
04:56
because with the right algorithms,
79
284633
2002
çünkü doğru algoritmalarla,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
hâlâ bu sessiz, görünürde
hareketsiz olan videoyu alıp
hareketsiz olan videoyu alıp
05:02
and we can recover this sound.
81
290322
1527
şu sesi kurtarabiliriz.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Müzik: "Mary Had a Little Lamb")
05:12
(Applause)
83
300074
5828
(Alkış)
05:22
So how is this possible?
84
310058
1939
Peki, bu nasıl mümkün oluyor?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Bu kadar az hareketten bu kadar
çok bilgiyi nasıl elde edebiliyoruz?
çok bilgiyi nasıl elde edebiliyoruz?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Bu yaprakların yalnızca bir mikrometre
hareket ettiğini varsayalım,
hareket ettiğini varsayalım,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
ve bunun görüntümüzü yalnızca bir pikselin
binde biri değiştirdiğini varsayalım.
binde biri değiştirdiğini varsayalım.
05:39
That may not seem like much,
88
327269
2572
Bu miktar çok görünmeyebilir,
05:41
but a single frame of video
89
329841
1996
fakat bir videonun tek karesinde
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
yüz binlerce piksel bulunuyor olabilir
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
ve o fotoğrafta gördüğümüz
bütün küçücük hareketleri
bütün küçücük hareketleri
05:50
from across that entire image,
92
338548
2298
birleştirirsek,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
birden, bir pikselin binde biri
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
çok önemli bir şeye
katkı sağlayabilir.
katkı sağlayabilir.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Bu arada, bunu keşfettiğimizde
kafayı yedik.
kafayı yedik.
06:02
(Laughter)
96
350505
2320
(Gülüşmeler)
06:04
But even with the right algorithm,
97
352825
3253
Fakat doğru algoritmayla bile,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
yapbozun oldukça önemli
bir parçası eksikti.
bir parçası eksikti.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Bu tekniğin ne zaman
ve nasıl çalışacağını etkileyecek
ve nasıl çalışacağını etkileyecek
06:15
this technique will work.
100
363299
1997
çok fazla etmen var.
06:17
There's the object and how far away it is;
101
365296
3204
Nesnenin uzaklığı var,
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
kullandığınız kamera
ve lens var;
ve lens var;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
nesneye gelen ışığın parlaklığı
ve sesinizin yüksekliği var.
ve sesinizin yüksekliği var.
06:27
And even with the right algorithm,
104
375945
3375
Ve doğru algoritmayla bile,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
ilk deneylerimizde çok dikkâtli
olmak zorundaydık,
olmak zorundaydık,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
çünkü bu etmenlerden
herhangi birinde yanlışlık olursa,
herhangi birinde yanlışlık olursa,
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
sorunun ne olduğunu anlamanın
hiçbir yolu yoktu.
hiçbir yolu yoktu.
06:39
We would just get noise back.
108
387470
2647
Tek dönüt videodaki gürültü olur.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Ve bu yüzden, ilk deneylerimizin çoğu
şunun gibiydi.
şunun gibiydi.
06:45
And so here I am,
110
393437
2206
Buradaki benim
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
ve sol altta, yüksek hızlı kameramızın
bir kısmını görüyorsunuz,
bir kısmını görüyorsunuz,
06:51
which is pointed at a bag of chips,
112
399683
2183
bir cips paketine doğrultulmuş durumda
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
ve paketin her yeri bu parlak
lambayla aydınlatılmış durumda.
lambayla aydınlatılmış durumda.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Ve dediğim gibi, bu ilk deneylerde
çok dikkâtli olmak zorundaydık,
çok dikkâtli olmak zorundaydık,
07:01
so this is how it went down.
115
409180
2508
bu yüzden şöyle yaptık.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Video) Abe Davis: Üç, iki, bir, başla.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary'nin küçük bir kuzusu vardı!
Küçük kuzu! Küçük kuzu!
Küçük kuzu! Küçük kuzu!
07:12
(Laughter)
118
420836
4500
(Gülüşmeler)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: Bu yüzden bu deney
çok ama çok saçma görünüyor.
çok ama çok saçma görünüyor.
07:20
(Laughter)
120
428150
1788
(Gülüşmeler)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Şuna bakın, bir cips paketine bağırıyorum
07:24
(Laughter) --
122
432283
1551
(Gülüşmeler) --
07:25
and we're blasting it with so much light,
123
433834
2117
ve paketi o kadar çok ışıkla kavurduk ki
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
denediğimiz ilk paketi
gerçek anlamda erittik. (Gülüşmeler)
gerçek anlamda erittik. (Gülüşmeler)
07:32
But ridiculous as this experiment looks,
125
440525
3274
Fakat ne kadar saçma görünürse görünsün,
07:35
it was actually really important,
126
443799
1788
aslında çok önemliydi,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
çünkü şu sesi kurtarmayı başardık.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Ses) Mary'nin küçük bir kuzusu vardı!
Küçük kuzu! Küçük kuzu!
Küçük kuzu! Küçük kuzu!
07:45
(Applause)
129
453225
4088
(Alkış)
07:49
AD: And this was really significant,
130
457313
1881
AD: Ve bu gerçekten önemliydi,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
çünkü bu anlaşılır insan sesini
bir nesnenin sessiz bir videosundan
bir nesnenin sessiz bir videosundan
07:55
from silent video of an object.
132
463424
2341
kurtardığımız ilk zamandı.
07:57
And so it gave us this point of reference,
133
465765
2391
Ve bu bize başlangıç noktası oldu
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
ve adım adım deney üzerinde
değişiklikler yapmaya başlayabildik,
değişiklikler yapmaya başlayabildik,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
farklı nesneler kullandık,
nesneleri daha uzaktan kaydettik,
nesneleri daha uzaktan kaydettik,
08:07
using less light or quieter sounds.
136
475911
2770
daha az ışık ya da daha kısık ses kullandık.
08:11
And we analyzed all of these experiments
137
479887
2874
Ve bütün bu deneyleri
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
tekniğimizin sınırlarını
anlayana dek çözümledik,
anlayana dek çözümledik,
08:18
because once we understood those limits,
139
486383
1950
çünkü bu sınırları anlayınca,
08:20
we could figure out how to push them.
140
488333
2346
nereye kadar zorlayabileceğimizi öğreniriz.
08:22
And that led to experiments like this one,
141
490679
3181
Ve bu da bizi şöyle bir deneye yöneltti,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
yine bir cips paketine
karşı konuşuyorum,
karşı konuşuyorum,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
ama bu kez kameramızı
4,5 metre uzağa yerleştirdik,
4,5 metre uzağa yerleştirdik,
08:33
outside, behind a soundproof window,
144
501429
2833
dışarıya, ses geçirmez bir pencerenin arkasına,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
ve bütün her şey yalnızca
doğal güneş ışığıyla aydınlatıldı.
doğal güneş ışığıyla aydınlatıldı.
08:40
And so here's the video that we captured.
146
508529
2155
Ve bu kaydettiğimiz video.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Ve içerde, cips paketinin yanında
oynatılan ses şöyle.
oynatılan ses şöyle.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Ses) Mary'nin küçük bir kuzusu vardı,
kürkü kar gibi beyazdı,
kürkü kar gibi beyazdı,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
Mary nereye gitse,
kuzu peşinden giderdi.
kuzu peşinden giderdi.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: Ve o pencerenin dışından kaydedilen
sessiz videodan kurtarmayı
sessiz videodan kurtarmayı
09:03
captured outside behind that window.
151
531683
2345
başardığımız ses şöyle.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Ses) Mary'nin küçük bir kuzusu vardı,
kürkü kar gibi beyazdı,
kürkü kar gibi beyazdı,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
Mary nereye gitse,
kuzu peşinden giderdi.
kuzu peşinden giderdi.
09:15
(Applause)
154
543920
6501
(Alkış)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Ve sınırlarımızı zorlayabileceğimiz
başka yollar da var.
başka yollar da var.
09:25
So here's a quieter experiment
156
553963
1798
Şöyle daha sessiz bir deneyimiz var,
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
dizüstü bilgisayara takılı
kulaklıkları kaydettik
kulaklıkları kaydettik
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
ve bu sefer, amacımız
dizüstünde çalan müziği
dizüstünde çalan müziği
09:35
from just silent video
159
563981
2299
şu küçük plastik kulaklıkların
09:38
of these two little plastic earphones,
160
566280
2507
sessiz videosundan yakalamaktı
09:40
and we were able to do this so well
161
568787
2183
ve bunu o kadar iyi başardık ki
09:42
that I could even Shazam our results.
162
570970
2461
sonuçlarımızı Shazam'layabiliyorum bile.
09:45
(Laughter)
163
573431
2411
(Gülüşmeler)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Müzik: "Under Pressure", Şarkıcı: Queen)
10:01
(Applause)
165
589615
4969
(Alkış)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Ve kullandığımız donanımı değiştirerek de
sınırlarımızı zorlayabiliriz.
sınırlarımızı zorlayabiliriz.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Çünkü şimdiye dek size
gösterdiğim deneyler
gösterdiğim deneyler
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
yüksek hızlı bir kamerayla
yapılmıştı,
yapılmıştı,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
bu kamera videoyu
çoğu cep telefonundan
çoğu cep telefonundan
10:18
than most cell phones,
170
606797
1927
100 kat daha hızlı kaydedebilir,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
ama bu tekniği
çoğu sıradan kamerayla da
çoğu sıradan kamerayla da
10:23
with more regular cameras,
172
611533
2230
kullanmanın bir yolunu bulduk
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
ve bunu jöle etkisi denen
bir şeyden yararlanarak yapıyoruz.
bir şeyden yararlanarak yapıyoruz.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Çoğu kamera, görüntüyü
tek seferde tek satır olarak kaydeder
tek seferde tek satır olarak kaydeder
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
ve bir nesne, tek bir görüntünün
çekildiği anda kıpırdarsa,
çekildiği anda kıpırdarsa,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
her satır arasında küçük bir gecikme olur
10:43
and this causes slight artifacts
177
631061
3157
ve bu durum, bir videonun her karesine
10:46
that get coded into each frame of a video.
178
634218
3483
işlenen küçük kusurlara neden olur.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Ve bu kusurları çözümleyip
algoritmamızın değiştirilmiş
algoritmamızın değiştirilmiş
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
sürümünü kullanarak
sesi kurtarabileceğimizi bulduk.
sesi kurtarabileceğimizi bulduk.
10:58
So here's an experiment we did
181
646122
1912
Yaptığımız deney şöyle:
11:00
where we filmed a bag of candy
182
648034
1695
bir şeker paketini
11:01
while a nearby loudspeaker played
183
649729
1741
yakınında bir hoparlörden
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
daha önceki aynı "Mary Had a Little Lamb"
müziğini çalarken kaydettik,
müziğini çalarken kaydettik,
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
ama bu sefer, mağazadan alınma
sıradan bir kamera kullandık
sıradan bir kamera kullandık
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
ve birazdan, kurtardığımız sesi
size dinleteceğim
size dinleteceğim
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
ve bu sefer,
bozuk bir ses çalacak,
bozuk bir ses çalacak,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
ama dinleyip müziği yine de
tanıyıp tanımayacağınızı görün.
tanıyıp tanımayacağınızı görün.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Ses: "Mary Had a Little Lamb")
11:37
And so, again, that sounds distorted,
190
685527
3465
Dediğim gibi, ses bozuk çalıyor,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
fakat buradaki şaşırtıcı olan şey,
bunu, gerçekten gidip
bunu, gerçekten gidip
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
Best Buy'dan (teknoloji mağazası)
aldığımız bir ürünle
aldığımız bir ürünle
11:48
and pick up at a Best Buy.
193
696004
1444
yapabilmiş olmamızdır.
11:51
So at this point,
194
699122
1363
Şu anda,
11:52
a lot of people see this work,
195
700485
1974
birçok insan bu çalışmayı görüyor
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
ve hemen birilerini gözetleme
hakkında düşünüyorlar.
hakkında düşünüyorlar.
11:57
And to be fair,
197
705872
2415
Ve dürüst olmak gerekirse,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
bu teknolojinin birisini gözetlemek için
kullanıldığını hayâl etmek zor değil.
kullanıldığını hayâl etmek zor değil.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Fakat şunu aklınızda tutun,
hâli hazırda zâten gözetleme üzerine
hâli hazırda zâten gözetleme üzerine
12:08
out there for surveillance.
200
716367
1579
birçok tamamlanmış teknoloji var.
12:09
In fact, people have been using lasers
201
717946
2090
Aslında, insanlar lazerleri uzak mesâfeden
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
nesneler aracılığıyla gizlice
dinleme için onyıllardır kullanıyor.
dinleme için onyıllardır kullanıyor.
12:15
But what's really new here,
203
723978
2025
Fakat burada yeni olan şey,
12:18
what's really different,
204
726003
1440
farklı olan şey,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
bir nesnenin titreşimlerini görüntülemek
için bir yol bulmuş olmamızdır,
için bir yol bulmuş olmamızdır,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
bu da bize, dünyâya bakmamız için
yeni bir lens veriyor
yeni bir lens veriyor
12:27
and we can use that lens
207
735151
1510
ve bu lensi, yalnızca nesneleri
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
titreştiren ses gibi güçler hakkında bilgi
öğrenmek için değil, nesnenin kendisi
öğrenmek için değil, nesnenin kendisi
12:33
but also about the object itself.
209
741560
2288
hakkında bilgi için de kullanabiliriz.
12:36
And so I want to take a step back
210
744975
1693
Ve böylece, bir adım geri dönmek
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
ve bunun videoyu kullanışımızı nasıl
değiştirebileceğini düşünmek istiyorum,
değiştirebileceğini düşünmek istiyorum,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
çünkü genellikle videoyu nesnelere
bakmak için kullanırız
bakmak için kullanırız
12:46
and I've just shown you how we can use it
213
754470
2322
ve demin videoyu nasıl nesneleri dinlemek
12:48
to listen to things.
214
756792
1857
için kullanabileceğimizi gösterdim.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Fakat dünyâyı öğrenme şeklimizle ilgili
önemli başka bir yol var:
önemli başka bir yol var:
12:54
that's by interacting with it.
216
762620
2275
onunla etkileşim kurmak.
12:56
We push and pull and poke and prod things.
217
764895
3111
Nesneleri iter, çeker, dürter ve kakarız.
13:00
We shake things and see what happens.
218
768006
3181
Sallar ve ne olacağına bakarız.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Ve bu, videonun yapmamıza
izin vermediği bir şey,
izin vermediği bir şey,
13:07
at least not traditionally.
220
775460
2136
en azından geleneksel olarak böyle.
13:09
So I want to show you some new work,
221
777596
1950
Size yeni bir çalışmayı
göstermek istiyorum
göstermek istiyorum
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
ve bu çalışma, yalnızca birkaç ay
önceki fikrime dayanıyor,
önceki fikrime dayanıyor,
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
bu yüzden, bu, herkese açık olarak
göstereceğim ilk an olacak.
göstereceğim ilk an olacak.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Ve temel fikir, videodaki titreşimleri
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
nesnelerle etkileşebileceğimiz
bir şekilde yakalamamız
bir şekilde yakalamamız
13:27
and see how they react to us.
226
795358
1974
ve nasıl tepki vereceklerini
görmemizle ilgili.
görmemizle ilgili.
13:31
So here's an object,
227
799120
1764
Burada bir nesne var
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
ve bu örnekte,
insan şeklinde bir telimiz var
insan şeklinde bir telimiz var
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
ve bu nesneyi sıradan bir kamerayla
kaydedeceğiz.
kaydedeceğiz.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Kameranın hiçbir özel yanı yok.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Hattâ, bunu daha önceden
kendi cep telefonumla da yaptım.
kendi cep telefonumla da yaptım.
13:44
But we do want to see the object vibrate,
232
812889
2252
Fakat nesnenin titreştiğini görmek istiyoruz,
13:47
so to make that happen,
233
815141
1133
bunu yapmak için,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
nesne orada dururken,
kayıt sırasında
kayıt sırasında
13:51
while we record this video.
235
819620
2138
yüzeye biraz vuracağız.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Bu kadar: sıradan bir videonun
yüzeye vururkenki
yüzeye vururkenki
14:03
while we bang on this surface,
237
831069
2136
yalnızca beş sâniyesi
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
ve bu videodaki titreşimleri,
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
nesnemizin yapı ve malzeme
özelliklerini öğrenmek için kullanacağız
özelliklerini öğrenmek için kullanacağız
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
ve bu bilgiyi yeni ve etkileşimli
bir şey oluşturmak için kullanacağız.
bir şey oluşturmak için kullanacağız.
14:24
And so here's what we've created.
241
852866
2653
Ve yaptığımız şey şöyle.
14:27
And it looks like a regular image,
242
855519
2229
Sıradan bir görüntü gibi görünüyor,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
ama bu bir görüntü değil,
bir video da değil,
bir video da değil,
14:32
because now I can take my mouse
244
860859
2368
çünkü şimdi faremi alabilir
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
ve nesneyle etkileşime geçebilirim.
14:44
And so what you see here
246
872936
2357
Burada gördüğünüz şey,
14:47
is a simulation of how this object
247
875389
2226
bu nesnenin daha önce hiç görmediğimiz
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
yeni güçlere
nasıl tepki verdiğinin benzetimidir
nasıl tepki verdiğinin benzetimidir
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
ve biz bunu sıradan bir videonun
yalnızca beş sâniyesinden oluşturduk.
yalnızca beş sâniyesinden oluşturduk.
14:59
(Applause)
250
887249
4715
(Alkış)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Ve bu dünyâmıza bakmak için
gerçekten güçlü bir yöntem,
gerçekten güçlü bir yöntem,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
çünkü nesnelerin yeni durumlara
nasıl tepki vereceğini
nasıl tepki vereceğini
15:15
to new situations,
253
903620
1823
tahmin etmemizi sağlıyor
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
ve örneğin, eski bir köprüye bakarak
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
arabamla üstünden geçsem ne olur
diye düşündüğünüzü
diye düşündüğünüzü
15:24
if I were to drive my car across it.
256
912443
2833
hayâl edebilirsiniz.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Ve bu muhtemelen, köprünün
üzerinde sürmeye başlamadan önce
üzerinde sürmeye başlamadan önce
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
yanıtlamak isteyeceğiniz bir sorudur.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Ve tabii ki, bu tekniğin
sınırları olacak,
sınırları olacak,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
tıpkı görsel mikrofonda olduğu gibi,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
fakat ummayacağınız
birçok durumda
birçok durumda
15:42
that you might not expect,
262
930903
1875
işe yaradığını bulduk,
15:44
especially if you give it longer videos.
263
932778
2768
özellikle uzun videolar çekerseniz.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Örneğin, burada
apartmanımın dışındaki
apartmanımın dışındaki
15:50
of a bush outside of my apartment,
265
938054
2299
çalıları çektiğim bir video var
15:52
and I didn't do anything to this bush,
266
940353
3088
ve bu çalılığa hiçbir şey yapmadım,
15:55
but by capturing a minute-long video,
267
943441
2705
ama bir dakîkalık uzunluktaki videoda,
15:58
a gentle breeze caused enough vibrations
268
946146
3378
hafif bir rüzgâr, bu benzetimi oluşturmak için
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
çalı hakkında öğrenebileceğimiz
yeterli titreşimi sağladı.
yeterli titreşimi sağladı.
16:07
(Applause)
270
955270
6142
(Alkış)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Ve bunu bir
film yönetmenine verdiğinizi
film yönetmenine verdiğinizi
16:16
and letting him control, say,
272
964384
1719
ve yönetmenin, örneğin, rüzgârın
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
yönünü ve şiddetini çekimden sonra
değiştirebildiğini hayâl edebilirsiniz.
değiştirebildiğini hayâl edebilirsiniz.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Ya da şu örnekte, kameramızı
asılı bir perdeye doğrulttuk
asılı bir perdeye doğrulttuk
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
ve bu videoda hiçbir
hareket göremiyorsunuz,
hareket göremiyorsunuz,
16:33
but by recording a two-minute-long video,
276
981474
2925
ama iki dakîkalık bir video çekerek,
16:36
natural air currents in this room
277
984399
2438
odadaki doğal hava akışı
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
yeterli belirsiz, algılanamaz
hareket ve titreşimi sağladı
hareket ve titreşimi sağladı
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
ve bu benzetimi oluşturmamıza
yetecek kadarını öğrendik.
yetecek kadarını öğrendik.
16:48
And ironically,
280
996243
2366
Ve ne gariptir ki
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
bir bakıma bu türde etkileşime
16:53
when it comes to virtual objects,
282
1001697
2647
sanal nesnelerde,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
bilgisayar oyunlarında ve
3B modellerde alışkınız,
3B modellerde alışkınız,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
ama bu bilgiyi
gerçek dünyâdaki gerçek nesnelerden,
gerçek dünyâdaki gerçek nesnelerden,
17:04
using just simple, regular video,
285
1012045
2817
basit, sıradan videolar kullanarak
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
kurtarmak, birçok potansiyeli olan
yeni bir şey.
yeni bir şey.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Karşınızda bu projelerde benimle
çalışan inanılmaz insanlar.
çalışan inanılmaz insanlar.
17:16
(Applause)
288
1024057
5596
(Alkış)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Ve bugün size gösterdiğim
yalnızca başlangıç.
yalnızca başlangıç.
17:27
We've just started to scratch the surface
290
1035876
2113
Bu türde görüntü işlemeyle
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
neler yapılabileceğinin
daha yalnızca yüzeyini kazıdık,
daha yalnızca yüzeyini kazıdık,
17:32
because it gives us a new way
292
1040961
2286
çünkü bu bize; genel, erişilebilir
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
teknolojiyle çevremizi kaydetmek için
yeni bir yol sağlıyor.
yeni bir yol sağlıyor.
17:40
And so looking to the future,
294
1048066
1929
Ve geleceğe bakınca, bu teknolojinin
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
dünyâmız hakkında
söyleyebileceklerini keşfetmek
söyleyebileceklerini keşfetmek
17:44
what this can tell us about the world.
296
1052032
1856
gerçekten heyecan verici olacak.
17:46
Thank you.
297
1054381
1204
Teşekkür ederim.
17:47
(Applause)
298
1055610
6107
(Alkış)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com