TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Neue Video-Technologie enthüllt versteckte Eigenschaften von Objekten
Filmed:
Readability: 4.3
1,482,525 views
Um uns herum gibt es ständig kaum sichtbare Bewegungen, wie z. B. winzige Schwingungen, die durch Schall verursacht werden. Eine neue Technologie zeigt, dass wir diese Schwingungen aufzeichnen und Töne und Gespräche wiederherstellen können, und das nur aus einem Video eines scheinbar unbewegten Gegenstandes. Aber Abe Davis geht noch einen Schritt weiter: Sehen Sie sich seine Demonstration einer Software an, die jeden nur durch ein ganz normales Video mit versteckten Eigenschaften eines Objekts interagieren lässt.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Die meisten halten Bewegung
für etwas Visuelles.
für etwas Visuelles.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Wenn ich über diese Bühne laufe
oder beim Sprechen
Gesten mit den Händen mache,
Gesten mit den Händen mache,
00:22
that motion is something that you can see.
2
10977
2261
ist das eine Bewegung,
die Sie sehen können.
die Sie sehen können.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Aber es gibt wichtige Bewegungen,
die das menschliche Auge nicht sieht.
die das menschliche Auge nicht sieht.
00:31
and over the past few years,
4
19737
2041
In den letzten paar Jahren
haben wir herausgefunden,
haben wir herausgefunden,
00:33
we've started to find that cameras
5
21778
1997
dass Kameras diese
Bewegungen sehen können,
Bewegungen sehen können,
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
auch wenn es die Menschen nicht können.
00:40
So let me show you what I mean.
7
28305
1551
Ich möchte Ihnen zeigen,
was ich meine.
was ich meine.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Links sehen Sie
das Video eines Handgelenks
das Video eines Handgelenks
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
und rechts das Video
eines schlafenden Kleinkinds,
eines schlafenden Kleinkinds,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
aber wenn ich Ihnen nicht gesagt hätte,
dass das Videos sind,
dass das Videos sind,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
hätten Sie vielleicht angenommen,
Sie würden zwei normale Bilder anschauen,
Sie würden zwei normale Bilder anschauen,
00:56
because in both cases,
12
44393
1672
denn in beiden Fällen
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
scheinen diese Videos
völlig still zu stehen.
völlig still zu stehen.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Aber in Wirklichkeit ist hier jede Menge
subtile Bewegung im Gange
subtile Bewegung im Gange
und wenn Sie das Handgelenk
links berühren könnten,
links berühren könnten,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
01:08
you would feel a pulse,
16
56452
1996
dann würden Sie den Pulsschlag spüren,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
und wenn Sie das Kleinkind
rechts halten würden,
rechts halten würden,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
dann würden Sie das Heben
seiner Brust spüren,
seiner Brust spüren,
01:15
as she took each breath.
19
63324
1390
wenn es atmet.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Diese Bewegungen sind
von großer Bedeutung,
von großer Bedeutung,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
aber normalerweise
für uns nicht sichtbar.
für uns nicht sichtbar.
01:24
so instead, we have to observe them
22
72681
2276
Also müssen wir sie
durch direkten Kontakt,
durch Berührung, feststellen.
durch Berührung, feststellen.
01:26
through direct contact, through touch.
23
74957
2900
01:30
But a few years ago,
24
78997
1265
Aber vor ein paar Jahren
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
haben meine Kollegen am MIT
ein sogenanntes
Bewegungs-Mikroskop entwickelt,
Bewegungs-Mikroskop entwickelt,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
eine Software, die diese subtilen
Bewegungen in einem Video finden
Bewegungen in einem Video finden
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
und verstärken kann, sodass sie groß genug
für das menschliche Auge sind.
für das menschliche Auge sind.
Wenn wir also diese Software
auf das Video links anwenden,
auf das Video links anwenden,
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
01:48
it lets us see the pulse in this wrist,
29
96899
3250
können wir den Pulsschlag
am Handgelenk erkennen
am Handgelenk erkennen
und wenn wir den Puls zählen würden,
01:52
and if we were to count that pulse,
30
100149
1695
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
könnten wir sogar die Herzfrequenz
dieser Person herausfinden.
dieser Person herausfinden.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Wenn wir die Software
auf das Video rechts anwenden würden,
auf das Video rechts anwenden würden,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
können wir jeden Atemzug erkennen,
den das Kleinkind macht,
den das Kleinkind macht,
und wir könnten ohne Berührung
seine Atmung überwachen.
seine Atmung überwachen.
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Diese Technologie ist sehr beeindruckend,
da wir diese Phänomene,
da wir diese Phänomene,
die wir bisher durch
Berührung erfahren mussten,
Berührung erfahren mussten,
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
nun visuell non-invasiv erfassen können.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Vor ein paar Jahren begann ich, mit
den Erfindern der Software zu arbeiten
den Erfindern der Software zu arbeiten
02:25
and we decided to pursue a crazy idea.
39
133515
3367
und wir beschlossen,
eine verrückte Idee zu verfolgen.
eine verrückte Idee zu verfolgen.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Wir fanden es cool,
mit Hilfe einer Software
mit Hilfe einer Software
02:31
to visualize tiny motions like this,
41
139575
3135
winzige Bewegungen wie diese
sichtbar zu machen
sichtbar zu machen
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
und es beinahe als eine Erweiterung
unseres Tastsinnes zu sehen.
unseres Tastsinnes zu sehen.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Aber könnten wir auch das Gleiche
mit unserem Hörvermögen machen?
mit unserem Hörvermögen machen?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Was, wenn wir mit einem Video
Schallschwingungen aufzeichnen könnten,
Schallschwingungen aufzeichnen könnten,
02:49
which are just another kind of motion,
45
157173
2827
die einfach eine andere Form
von Bewegung sind,
von Bewegung sind,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
und alles was wir sehen,
in ein Mikrofon verwandeln?
in ein Mikrofon verwandeln?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Das mag eine seltsame Idee sein,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
also möchte ich
den Zusammenhang erklären.
den Zusammenhang erklären.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
Klassische Mikrofone konvertieren Bewegung
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
einer inneren Membran
in ein elektrisches Signal.
in ein elektrisches Signal.
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
Diese Membran
bewegt sich bei jedem Laut,
bewegt sich bei jedem Laut,
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
sodass seine Bewegung
als Ton aufgezeichnet werden kann.
als Ton aufgezeichnet werden kann.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Aber Schall regt alle Gegenstände
zur Vibration an.
zur Vibration an.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Diese Vibrationen sind gewöhnlich zu
subtil und schnell für unser Auge.
subtil und schnell für unser Auge.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Was aber, wenn wir sie mit einer
Hochgeschwindigkeitskamera aufzeichnen
Hochgeschwindigkeitskamera aufzeichnen
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
und eine Software benutzen,
um winzige Bewegungen
um winzige Bewegungen
03:34
from our high-speed video,
57
202197
2090
aus unserem Video zu entnehmen
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
und diese Bewegungen zu analysieren,
um den auslösenden Ton zu entdecken?
um den auslösenden Ton zu entdecken?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
So könnten wir sichtbare Gegenstände
in visuelle Mikrofone umwandeln.
in visuelle Mikrofone umwandeln.
03:49
And so we tried this out,
60
217080
2183
Also wir haben wir das ausprobiert
03:51
and here's one of our experiments,
61
219263
1927
und das war eines unserer Experimente.
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
Wir filmten eine Topfpflanze,
die Sie hier rechts sehen,
die Sie hier rechts sehen,
03:56
and we filmed it with a high-speed camera
63
224139
2438
mit einer Hochgeschwindigkeitskamera,
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
während aus einem Lautsprecher
das folgende Lied spielte:
das folgende Lied spielte:
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(Musik: "Mary Had a Little Lamb")
04:11
And so here's the video that we recorded,
66
239820
2824
Das ist das Video,
das wir aufgezeichnet haben.
das wir aufgezeichnet haben.
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
Wir haben es mit 1 000 Bildern
pro Sekunde aufgezeichnet,
pro Sekunde aufgezeichnet,
04:18
but even if you look very closely,
68
246568
2322
aber selbst wenn Sie
sehr genau hinschauen,
sehr genau hinschauen,
04:20
all you'll see are some leaves
69
248890
1951
sehen sie nur ein paar Blätter,
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
die einfach dort sind und nichts tun,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
weil unser Schall diese Blätter
gerade mal einen Mikrometer bewegt hat.
gerade mal einen Mikrometer bewegt hat.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Das ist ein Zehntausendstel
eines Zentimeters,
eines Zentimeters,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
das umfasst etwas zwischen einem
Hundertstel und einem Tausendstel Pixel
Hundertstel und einem Tausendstel Pixel
04:39
of a pixel in this image.
74
267535
2299
in diesem Bild.
04:41
So you can squint all you want,
75
269881
2887
Sie können also so viel blinzeln
wie Sie wollen,
wie Sie wollen,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
aber diese kleine Bewegung
ist so gut wie unsichtbar.
ist so gut wie unsichtbar.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Aber in Wahrheit kann etwas unsichtbar
04:53
and still be numerically significant,
78
281824
2809
und dennoch numerisch bedeutend sein,
04:56
because with the right algorithms,
79
284633
2002
denn mit den richtigen Algorithmen
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
können wir bei diesem stummen,
scheinbar bewegungslosen Video
scheinbar bewegungslosen Video
05:02
and we can recover this sound.
81
290322
1527
den Ton wiederherstellen.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Musik: "Mary Had a Little Lamb")
05:12
(Applause)
83
300074
5828
(Applaus)
05:22
So how is this possible?
84
310058
1939
Wie ist das möglich?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Wie können wir so viele Informationen
aus so wenig Bewegung herausbekommen?
aus so wenig Bewegung herausbekommen?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Nehmen wir an, dass diese Blätter sich
nur einen einzigen Mikrometer bewegen
nur einen einzigen Mikrometer bewegen
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
und dass das unser Bild nur
um ein tausendstel Pixel bewegt.
um ein tausendstel Pixel bewegt.
05:39
That may not seem like much,
88
327269
2572
Das mag nicht viel erscheinen,
05:41
but a single frame of video
89
329841
1996
doch ein einziges Bild eines Videos
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
besteht aus hunderttausenden Pixeln
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
und wenn wir all diese
winzigen Bewegungen
winzigen Bewegungen
05:50
from across that entire image,
92
338548
2298
aus dem ganzen Bild kombinieren,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
kann sich ein tausendstel Pixel auf einmal
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
zu etwas Bedeutendem aufaddieren.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Ehrlich gesagt waren wir bei
dieser Entdeckung völlig aus dem Häuschen.
dieser Entdeckung völlig aus dem Häuschen.
06:02
(Laughter)
96
350505
2320
(Gelächter)
06:04
But even with the right algorithm,
97
352825
3253
Aber sogar mit dem richtigen Algorithmus
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
fehlte uns immer noch
ein sehr wichtiges Puzzlestück.
ein sehr wichtiges Puzzlestück.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Es gibt sehr viele Parameter,
die einen Einfluss darauf haben,
die einen Einfluss darauf haben,
06:15
this technique will work.
100
363299
1997
wie gut diese Technik funktioniert.
06:17
There's the object and how far away it is;
101
365296
3204
Es hängt von dem Gegenstand
und seiner Entfernung ab,
und seiner Entfernung ab,
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
von der Kamera und der benutzten Linse,
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
wie viel Licht auf den Gegenstand fällt
und wie laut der Ton ist.
und wie laut der Ton ist.
06:27
And even with the right algorithm,
104
375945
3375
Und sogar mit dem richtigen Algorithmus
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
mussten wir sehr vorsichtig
in unseren ersten Experimenten sein,
in unseren ersten Experimenten sein,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
denn bei nur einem falsch
eingestellten Parameter
eingestellten Parameter
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
gibt es keine Möglichkeit,
die Fehlerquelle zu finden.
die Fehlerquelle zu finden.
06:39
We would just get noise back.
108
387470
2647
Wir hätten nur Rauschen gehört.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Viele unserer ersten
Experimente sahen so aus.
Experimente sahen so aus.
06:45
And so here I am,
110
393437
2206
Hier bin ich
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
und unten links können Sie unsere
Hochgeschwindigkeitskamera sehen,
Hochgeschwindigkeitskamera sehen,
06:51
which is pointed at a bag of chips,
112
399683
2183
die auf eine Tüte Chips zeigt
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
und das Ganze wird
mit hellen Lampen beleuchtet.
mit hellen Lampen beleuchtet.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Wie bereits gesagt, mussten wir
zu Beginn sehr vorsichtig sein,
zu Beginn sehr vorsichtig sein,
07:01
so this is how it went down.
115
409180
2508
und so ging es dann weiter:
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Video) Abe Davis: 3, 2, 1, los.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:12
(Laughter)
118
420836
4500
(Gelächter)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
Dieses Experiment
sieht völlig lächerlich aus.
sieht völlig lächerlich aus.
07:20
(Laughter)
120
428150
1788
(Gelächter)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Also, ich schreie eine Tüte Chips an --
07:24
(Laughter) --
122
432283
1551
(Gelächter)
07:25
and we're blasting it with so much light,
123
433834
2117
und wir strahlen sie mit so viel Licht an,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
dass wir die erste Tüte buchstäblich
geschmolzen haben.
geschmolzen haben.
07:32
But ridiculous as this experiment looks,
125
440525
3274
Aber so lächerlich das Experiment scheint,
07:35
it was actually really important,
126
443799
1788
es war tatsächlich sehr wichtig,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
denn wir waren in der Lage,
diese Laute wiederherzustellen.
diese Laute wiederherzustellen.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Ton) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:45
(Applause)
129
453225
4088
(Applaus)
07:49
AD: And this was really significant,
130
457313
1881
Das war sehr bedeutend,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
weil wir zum ersten Mal
eine verständliche menschliche Sprache
eine verständliche menschliche Sprache
aus einem stummen Video eines Gegenstandes
wiederherstellen konnten.
wiederherstellen konnten.
07:55
from silent video of an object.
132
463424
2341
07:57
And so it gave us this point of reference,
133
465765
2391
Das gab uns einen Anhaltspunkt
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
und wir konnten das Experiment
schrittweise verändern,
schrittweise verändern,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
indem wir andere Gegenstände benutzten
oder sie weiter weg bewegten
oder sie weiter weg bewegten
08:07
using less light or quieter sounds.
136
475911
2770
und weniger Licht
oder leisere Töne benutzten.
oder leisere Töne benutzten.
08:11
And we analyzed all of these experiments
137
479887
2874
Wir analysierten alle diese Experimente,
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
bis wir die Grenzen
unserer Technik begriffen,
unserer Technik begriffen,
08:18
because once we understood those limits,
139
486383
1950
denn dann wussten wir,
wie wir sie überschreiten konnten.
wie wir sie überschreiten konnten.
08:20
we could figure out how to push them.
140
488333
2346
08:22
And that led to experiments like this one,
141
490679
3181
Das führte zu folgendem Experiment,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
bei dem ich wieder
zu einer Tüte Chips spreche,
zu einer Tüte Chips spreche,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
aber dieses Mal haben wir die Kamera
etwa 5 Meter wegbewegt,
etwa 5 Meter wegbewegt,
08:33
outside, behind a soundproof window,
144
501429
2833
nach draußen hinter
eine schalldichte Scheibe
eine schalldichte Scheibe
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
und das Ganze wird nur
von Sonnenlicht beleuchtet.
von Sonnenlicht beleuchtet.
08:40
And so here's the video that we captured.
146
508529
2155
Hier das Video,
das wir aufgezeichnet haben.
das wir aufgezeichnet haben.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
So hat es sich in der Nähe
der Tüte Chips angehört:
der Tüte Chips angehört:
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Ton) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: Das haben wir aus dem
stummen Video wiedergewonnen,
stummen Video wiedergewonnen,
09:03
captured outside behind that window.
151
531683
2345
das wir außerhalb des Fensters
aufgezeichnet hatten.
aufgezeichnet hatten.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Ton) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
09:15
(Applause)
154
543920
6501
(Applaus)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Es gibt noch andere Möglichkeiten,
die Grenzen zu erweitern.
die Grenzen zu erweitern.
09:25
So here's a quieter experiment
156
553963
1798
Das ist ein ruhigeres Experiment,
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
bei dem wir Kopfhörer filmten,
die in einen Laptop eingesteckt waren,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
mit dem Ziel, die Musik wieder
herzustellen, die auf dem Laptop lief,
herzustellen, die auf dem Laptop lief,
09:35
from just silent video
159
563981
2299
nur von diesem stummen Video
09:38
of these two little plastic earphones,
160
566280
2507
dieser zwei Mini-Kopfhörer.
09:40
and we were able to do this so well
161
568787
2183
Auch das gelang uns so gut,
09:42
that I could even Shazam our results.
162
570970
2461
dass das Ergebnis sogar von
einer Musiksoftware erkannt wurde.
einer Musiksoftware erkannt wurde.
09:45
(Laughter)
163
573431
2411
(Gelächter)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Musik: "Under Pressure" von Queen)
10:01
(Applause)
165
589615
4969
(Applaus)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Wir können die Dinge vorantreiben,
in dem wir die Hardware ändern.
in dem wir die Hardware ändern.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Denn die bisher gezeigten Experimente
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
waren mit einer
Hochgeschwindigkeitskamera aufgezeichnet,
Hochgeschwindigkeitskamera aufgezeichnet,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
die ein Video 100-mal schneller
aufzeichnen kann
aufzeichnen kann
10:18
than most cell phones,
170
606797
1927
als die meisten Handys,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
aber wir haben auch einen Weg gefunden,
diese Technik mit
normaleren Kameras zu nutzen.
normaleren Kameras zu nutzen.
10:23
with more regular cameras,
172
611533
2230
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
Wir nutzen den sogenannten
Rolling-Shutter-Effekt aus.
Rolling-Shutter-Effekt aus.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Die meisten Kameras zeichnen
Bilder zeilenweise auf
Bilder zeilenweise auf
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
und wenn sich ein Objekt
gleichzeitig bewegt,
gleichzeitig bewegt,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
gibt es eine kurze Verzögerung
zwischen den einzelnen Zeilen,
zwischen den einzelnen Zeilen,
10:43
and this causes slight artifacts
177
631061
3157
was leichte Bildstörungen verursacht,
10:46
that get coded into each frame of a video.
178
634218
3483
die in den Einzelbildern
eines Videos kodiert werden.
eines Videos kodiert werden.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Wir fanden heraus, dass wir beim
Analysieren der Bildstörungen
Analysieren der Bildstörungen
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
den Ton mit einem angepassten Algorithmus
wiederherstellen können.
wiederherstellen können.
10:58
So here's an experiment we did
181
646122
1912
Das ist unser Experiment,
bei dem wir eine Tüte
Süßigkeiten gefilmt haben,
Süßigkeiten gefilmt haben,
11:00
where we filmed a bag of candy
182
648034
1695
11:01
while a nearby loudspeaker played
183
649729
1741
während ein Lautsprecher das Lied
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
"Mary Had a Little Lamb" spielte.
Aber dieses Mal benutzen wir
nur eine alltägliche Kamera
nur eine alltägliche Kamera
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
und ich werde Ihnen den Klang vorspielen,
den wir wiederherstellen konnten.
den wir wiederherstellen konnten.
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
Es wird dieses Mal verzerrt klingen,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
aber vielleicht können Sie
das Lied noch erkennen.
das Lied noch erkennen.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Ton: "Mary Had a Little Lamb")
Zugegeben, es klingt verzerrt,
11:37
And so, again, that sounds distorted,
190
685527
3465
aber das Beeindruckende hier ist,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
dass wir das mit Geräten gemacht haben,
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
die Sie ganz normal in einem
Elektronik-Fachgeschäft kaufen können.
Elektronik-Fachgeschäft kaufen können.
11:48
and pick up at a Best Buy.
193
696004
1444
An dieser Stelle
11:51
So at this point,
194
699122
1363
sehen viele Leute diese Arbeit
11:52
a lot of people see this work,
195
700485
1974
und denken sofort an Überwachung.
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
11:57
And to be fair,
197
705872
2415
Und um ehrlich zu sein,
ist es leicht vorstellbar,
ist es leicht vorstellbar,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
wie man diese Technik
zum Ausspionieren nutzen könnte.
zum Ausspionieren nutzen könnte.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Aber Sie sollten bedenken,
dass es bereits sehr gute
Überwachungstechniken gibt.
Überwachungstechniken gibt.
12:08
out there for surveillance.
200
716367
1579
12:09
In fact, people have been using lasers
201
717946
2090
Tatsächlich benutzt man
schon seit Jahrzehnten Laser,
schon seit Jahrzehnten Laser,
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
um Objekte aus Entfernung abzuhören.
Aber wirklich neu und anders
an dieser Technik ist,
an dieser Technik ist,
12:15
But what's really new here,
203
723978
2025
12:18
what's really different,
204
726003
1440
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
dass wir die Vibrationen eines
Gegenstandes verbildlichen können,
Gegenstandes verbildlichen können,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
was uns eine neue Linse gibt,
durch die wir die Welt betrachten können.
durch die wir die Welt betrachten können.
Mit dieser Linse können wir
12:27
and we can use that lens
207
735151
1510
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
nicht mehr nur über Kräfte wie Schall
lernen, die Gegenstände vibrieren lassen,
lernen, die Gegenstände vibrieren lassen,
12:33
but also about the object itself.
209
741560
2288
sondern auch mehr
über den Gegenstand selbst.
über den Gegenstand selbst.
12:36
And so I want to take a step back
210
744975
1693
Deshalb möchte ich
einen Schritt zurückgehen
einen Schritt zurückgehen
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
und darüber nachdenken,
wie das unsere Nutzung von Videos
verändern könnte.
verändern könnte.
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
Normalerweise verwenden wir Videos,
um Dinge anzuschauen,
um Dinge anzuschauen,
und ich habe Ihnen gerade gezeigt,
12:46
and I've just shown you how we can use it
213
754470
2322
wie wir mit ihnen Dingen zuhören können.
12:48
to listen to things.
214
756792
1857
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Aber wir lernen auch viel über die Welt,
indem wir mit ihr interagieren.
12:54
that's by interacting with it.
216
762620
2275
12:56
We push and pull and poke and prod things.
217
764895
3111
Wir ziehen, drücken,
stoßen und stupsen Dinge.
stoßen und stupsen Dinge.
13:00
We shake things and see what happens.
218
768006
3181
Wir schütteln Dinge und
warten ab, was passiert.
warten ab, was passiert.
Mit einem Video können wir das nicht tun,
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
zumindest nicht bisher.
13:07
at least not traditionally.
220
775460
2136
Deshalb möchte ich Ihnen
unsere neuste Arbeit zeigen,
unsere neuste Arbeit zeigen,
13:09
So I want to show you some new work,
221
777596
1950
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
die auf einer Idee basiert, die
ich vor wenigen Monaten hatte
ich vor wenigen Monaten hatte
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
und hier zum ersten Mal
in der Öffentlichkeit zeige.
in der Öffentlichkeit zeige.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Die Grundidee ist, dass wir die
Vibrationen in einem Video nutzen,
Vibrationen in einem Video nutzen,
um Objekte so aufzuzeichnen,
dass wir mit ihnen interagieren können
dass wir mit ihnen interagieren können
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
13:27
and see how they react to us.
226
795358
1974
und sehen, wie sie auf uns reagieren.
Das hier ist ein Gegenstand,
13:31
So here's an object,
227
799120
1764
in diesem Fall eine
menschenförmige Drahtfigur,
menschenförmige Drahtfigur,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
und wir zeichnen den Gegenstand
mit einer normalen Kamera auf.
mit einer normalen Kamera auf.
Die Kamera ist nichts Besonderes.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Um ehrlich zu sein, habe ich das zuvor
mit meiner Handykamera gemacht.
mit meiner Handykamera gemacht.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
13:44
But we do want to see the object vibrate,
232
812889
2252
Aber wir wollen den Gegenstand
schwingen sehen,
schwingen sehen,
13:47
so to make that happen,
233
815141
1133
deshalb schlagen wir einfach leicht
auf die Oberfläche, auf der er steht,
auf die Oberfläche, auf der er steht,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
13:51
while we record this video.
235
819620
2138
während wir das Video aufzeichnen.
Das ist alles: fünf Sekunden
eines normalen Videos,
eines normalen Videos,
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
14:03
while we bang on this surface,
237
831069
2136
während wir auf die Oberfläche schlagen
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
und wir nutzen
die Schwingungen im Video,
die Schwingungen im Video,
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
um etwas über die Eigenschaften
unseres Gegenstandes zu lernen,
unseres Gegenstandes zu lernen,
und mit diesen Informationen schaffen wir
etwas Neues und Interaktives.
etwas Neues und Interaktives.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
Das ist dabei herausgekommen.
14:24
And so here's what we've created.
241
852866
2653
Es sieht wie ein gewöhnliches Bild aus,
14:27
And it looks like a regular image,
242
855519
2229
aber es ist weder ein Bild noch ein Video,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
denn ich kann jetzt meine Maus nehmen
14:32
because now I can take my mouse
244
860859
2368
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
und anfangen, mit dem Gegenstand
zu interagieren.
zu interagieren.
14:44
And so what you see here
246
872936
2357
Hier sehen Sie eine Simulation,
14:47
is a simulation of how this object
247
875389
2226
wie dieses Objekt auf
neue Kräfte reagieren würde,
neue Kräfte reagieren würde,
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
auf die es noch nie getroffen ist,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
und all das haben wir nur aus
diesem 5-Sekunden-Video geschaffen.
diesem 5-Sekunden-Video geschaffen.
(Applaus)
14:59
(Applause)
250
887249
4715
Dieser Blick auf die Welt
gibt uns viele Möglichkeiten,
gibt uns viele Möglichkeiten,
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
denn er erlaubt uns vorherzusagen,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
wie Gegenstände auf
neue Situationen reagieren werden.
neue Situationen reagieren werden.
15:15
to new situations,
253
903620
1823
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
Es ist vorstellbar, dass man sich
bei einer alten Brücke fragt,
bei einer alten Brücke fragt,
was passieren würde,
wie sie standhalten würde,
wie sie standhalten würde,
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
15:24
if I were to drive my car across it.
256
912443
2833
wenn ich mit meinem Auto darüber fahre.
Auf diese Frage wüssten Sie
vermutlich gerne die Antwort,
vermutlich gerne die Antwort,
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
bevor Sie über die Brücke fahren.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Natürlich wird diese Technik
ihre Grenzen haben,
ihre Grenzen haben,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
genauso wie bei dem visuellen Mikrofon,
aber wir fanden heraus, dass es
in vielen Situationen funktioniert,
in vielen Situationen funktioniert,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
15:42
that you might not expect,
262
930903
1875
in denen man es nicht erwarten würde,
15:44
especially if you give it longer videos.
263
932778
2768
besonders wenn man längere Videos benutzt.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Das ist zum Beispiel ein Video,
das ich von einem Busch vor
meiner Wohnung gefilmt habe,
meiner Wohnung gefilmt habe,
15:50
of a bush outside of my apartment,
265
938054
2299
15:52
and I didn't do anything to this bush,
266
940353
3088
und ich habe nichts mit dem Busch gemacht,
außer dass ich ein einminütiges Video
aufgezeichnet habe.
aufgezeichnet habe.
15:55
but by capturing a minute-long video,
267
943441
2705
15:58
a gentle breeze caused enough vibrations
268
946146
3378
Ein leichtes Lüftchen hat genug
Schwingungen verursacht,
Schwingungen verursacht,
dass wir genug Informationen hatten,
um diese Simulation zu erstellen.
um diese Simulation zu erstellen.
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
16:07
(Applause)
270
955270
6142
(Applaus)
Man könnte nun das Video
einem Filmregisseur geben,
einem Filmregisseur geben,
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
damit er die Stärke und
Richtung des Windes
Richtung des Windes
16:16
and letting him control, say,
272
964384
1719
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
nach einer Aufnahme steuern kann.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Oder in diesem Fall hier richteten
wir unsere Kamera auf einen Vorhang
wir unsere Kamera auf einen Vorhang
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
und man kann überhaupt
keine Bewegung im Video erkennen,
keine Bewegung im Video erkennen,
aber während des zweiminütigen Videos
16:33
but by recording a two-minute-long video,
276
981474
2925
16:36
natural air currents in this room
277
984399
2438
sorgte normale Luftzirkulation
für ausreichend subtile,
für ausreichend subtile,
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
nicht wahrnehmbare
Bewegungen und Schwingungen,
Bewegungen und Schwingungen,
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
dass wir genug Informationen hatten,
um diese Simulation zu kreieren.
um diese Simulation zu kreieren.
Und ironischerweise
16:48
And ironically,
280
996243
2366
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
sind wir es gewöhnt,
diese Art der Interaktion
diese Art der Interaktion
bei virtuellen Gegenständen zu erleben,
16:53
when it comes to virtual objects,
282
1001697
2647
zum Beispiel in Videospielen
und 3D-Modellen,
und 3D-Modellen,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
aber diese Informationen von einem
Gegenstand in der wirklichen Welt
Gegenstand in der wirklichen Welt
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
17:04
using just simple, regular video,
285
1012045
2817
mit einem gewöhnlichen Video
aufzuzeichnen,
aufzuzeichnen,
ist etwas Neues mit viel Potential.
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Das hier sind die beeindruckenden Leute,
die mit mir an diesen Projekten
gearbeitet haben.
gearbeitet haben.
17:16
(Applause)
288
1024057
5596
(Applaus)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Was ich Ihnen heute gezeigt habe,
ist nur der Anfang.
ist nur der Anfang.
Wir haben gerade begonnen,
an der Oberfläche dessen zu kratzen,
an der Oberfläche dessen zu kratzen,
17:27
We've just started to scratch the surface
290
1035876
2113
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
was man mit dieser Art der
Bildverarbeitung machen kann,
Bildverarbeitung machen kann,
17:32
because it gives us a new way
292
1040961
2286
da sie uns eine neue Möglichkeit bietet,
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
unsere Umgebung mit
gewöhnlicher Technik aufzuzeichnen.
gewöhnlicher Technik aufzuzeichnen.
17:40
And so looking to the future,
294
1048066
1929
Mit Blick auf die Zukunft
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
wird es sehr aufregend sein zu entdecken,
was uns das über die Welt sagen kann.
17:44
what this can tell us about the world.
296
1052032
1856
Danke.
17:46
Thank you.
297
1054381
1204
17:47
(Applause)
298
1055610
6107
(Applaus)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com