TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Le proprietà nascoste degli oggetti rivelate dalle nuove videotecnologie
Filmed:
Readability: 4.3
1,482,525 views
Il moto impercettibile è sempre presente intorno a noi, comprese quelle piccolissime vibrazioni causate dai suoni. Le nuove tecnologie ci mostrano come sia possibile individuare queste vibrazioni e ricreare suoni e conversazioni partendo da un video solo in apparenza muto. Abe Davis riesce ad andare addirittura oltre: il software di sua invenzione consente a chiunque di interagire con le proprietà nascoste degli oggetti, partendo da un semplice video.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
In genere pensiamo al movimento
come un fatto prevalentemente visivo.
come un fatto prevalentemente visivo.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Se io attraverso questo palcoscenico
o faccio dei gesti mentre parlo,
o faccio dei gesti mentre parlo,
00:22
that motion is something that you can see.
2
10977
2261
i miei movimenti
sono qualcosa che si può vedere.
sono qualcosa che si può vedere.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
Ma esiste tutta una serie di movimenti
impercettibili all'occhio umano
impercettibili all'occhio umano
00:31
and over the past few years,
4
19737
2041
e, nel corso degli ultimi anni,
00:33
we've started to find that cameras
5
21778
1997
abbiamo osservato che le telecamere
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
riescono a vedere questi movimenti
che sono invisibili all'occhio umano.
che sono invisibili all'occhio umano.
Passo ora a mostrarvi cosa intendo.
00:40
So let me show you what I mean.
7
28305
1551
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
Sulla sinistra, vedete un video
che riprende il polso di una persona
che riprende il polso di una persona
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
mentre, sulla destra, vedete il video
di un bambino che dorme.
di un bambino che dorme.
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
Se non vi avessi detto
che si trattava di filmati,
che si trattava di filmati,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
si potrebbe supporre che si tratti
di normali fotografie
di normali fotografie
00:56
because in both cases,
12
44393
1672
perché, in entrambi i casi,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
questi video appaiono
quasi completamente fermi.
quasi completamente fermi.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
Ma in realtà ci sono tantissimi
movimenti sottili in atto.
movimenti sottili in atto.
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
Infatti, se toccassimo il polso
sulla sinistra,
sulla sinistra,
01:08
you would feel a pulse,
16
56452
1996
potremmo avvertire il battito del polso
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
e se prendessimo in braccio
il bambino sulla destra,
il bambino sulla destra,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
avvertiremmo il suo petto
sollevarsi e abbassarsi
sollevarsi e abbassarsi
01:15
as she took each breath.
19
63324
1390
nei movimenti respiratori.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
Questi movimenti
sono molto significativi,
sono molto significativi,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
ma sono troppo piccoli
per essere visti,
per essere visti,
01:24
so instead, we have to observe them
22
72681
2276
e per essere in grado di osservarli
01:26
through direct contact, through touch.
23
74957
2900
abbiamo bisogno del contatto diretto.
01:30
But a few years ago,
24
78997
1265
Alcuni anni fa,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
i miei colleghi del MIT hanno creato
il cosiddetto microscopio da movimento,
il cosiddetto microscopio da movimento,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
vale a dire un software che individua
i movimenti sottili nei video
i movimenti sottili nei video
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
e li amplifica per fare in modo
che siano visibili al nostro occhio.
che siano visibili al nostro occhio.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Adoperando questo software
sul video di sinistra,
sul video di sinistra,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
saremo in grado di vedere
il battito del polso
il battito del polso
01:52
and if we were to count that pulse,
30
100149
1695
e, se cominciamo a contare,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
potremmo anche ricavare
la frequenza cardiaca della persona.
la frequenza cardiaca della persona.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
Con lo stesso software,
sul video di destra
sul video di destra
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
potremmo vedere
ogni singolo respiro del bambino
ogni singolo respiro del bambino
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
e potremmo usare questo mezzo
per monitorare il respiro senza contatto.
per monitorare il respiro senza contatto.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
La grandezza di questa tecnologia
sta nel fatto che questi fenomeni,
sta nel fatto che questi fenomeni,
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
normalmente percepiti
con il contatto fisico,
con il contatto fisico,
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
possono essere catturati in modo visivo
e non invasivo.
e non invasivo.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Un paio di anni fa, iniziai a lavorare
con i creatori del software
con i creatori del software
02:25
and we decided to pursue a crazy idea.
39
133515
3367
e decidemmo di approfondire un'idea folle.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Pensavamo che andasse bene
usare il software
usare il software
02:31
to visualize tiny motions like this,
41
139575
3135
per visualizzare movimenti minuscoli
come questi,
come questi,
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
è come un modo per ampliare
il senso del tatto.
il senso del tatto.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
Ma che accadrebbe se facessimo
la stessa cosa con l'udito?
la stessa cosa con l'udito?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Se potessimo usare dei video
per catturare la vibrazione dei suoni,
per catturare la vibrazione dei suoni,
02:49
which are just another kind of motion,
45
157173
2827
che altro non sono
se non un diverso tipo di movimento,
se non un diverso tipo di movimento,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
e trasformare tutto ciò che vediamo
in una sorta di microfono?
in una sorta di microfono?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Certo, l'idea può suonare strana,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
perciò permettetemi
di illustrarvela meglio.
di illustrarvela meglio.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
I microfoni tradizionali
funzionano convertendo il movimento
funzionano convertendo il movimento
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
di un diaframma interno
in un segnale elettrico
in un segnale elettrico
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
e il diaframma è fatto in modo
da muoversi appena colpito dal suono
da muoversi appena colpito dal suono
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
così che il suo movimento possa essere
registrato e interpretato come audio.
registrato e interpretato come audio.
03:17
But sound causes all objects to vibrate.
53
185735
3668
Il suono fa vibrare tutte le cose,
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
ma quelle vibrazioni, di solito,
sono troppo piccole e veloci da vedere.
sono troppo piccole e veloci da vedere.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
E se si potessero registrare
con una video camera ad alta velocità
con una video camera ad alta velocità
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
e quindi usare il software
per estrarre i movimenti impercettibili
per estrarre i movimenti impercettibili
03:34
from our high-speed video,
57
202197
2090
dal nostro video ad alta velocità,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
analizzando quei movimenti per capire
da quali suoni abbiano avuto origine?
da quali suoni abbiano avuto origine?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Si potrebbero trasformare oggetti visibili
in microfoni visivi a distanza.
in microfoni visivi a distanza.
03:49
And so we tried this out,
60
217080
2183
Noi abbiamo provato a farlo.
03:51
and here's one of our experiments,
61
219263
1927
In uno dei nostri esperimenti,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
abbiamo preso una pianta in vaso,
che vedete sulla destra,
che vedete sulla destra,
03:56
and we filmed it with a high-speed camera
63
224139
2438
e l'abbiamo ripresa ad alta velocità
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
mentre un altoparlante
emetteva questo suono.
emetteva questo suono.
(Musica: "Mary aveva un agnellino")
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
04:11
And so here's the video that we recorded,
66
239820
2824
Ecco il video che abbiamo registrato
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
e nonostante sia stato registrato
a migliaia di frame al secondo,
a migliaia di frame al secondo,
04:18
but even if you look very closely,
68
246568
2322
anche se guardate molto da vicino,
04:20
all you'll see are some leaves
69
248890
1951
non vedrete altro che delle foglie
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
che se ne stanno lì
senza far nulla
senza far nulla
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
perché il nostro suono muoveva le foglie
di appena un micrometro,
di appena un micrometro,
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
vale a dire la decimillesima parte
di un centimetro,
di un centimetro,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
che va da un centesimo
a un millesimo di un pixel
a un millesimo di un pixel
04:39
of a pixel in this image.
74
267535
2299
in questa immagine.
04:41
So you can squint all you want,
75
269881
2887
Potete strizzare gli occhi quanto volete,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
movimenti così piccoli sono
impossibili da percepire.
impossibili da percepire.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
Ma ci sono cose che,
anche se non percepibili visivamente,
anche se non percepibili visivamente,
04:53
and still be numerically significant,
78
281824
2809
sono comunque significative
a livello numerico,
a livello numerico,
04:56
because with the right algorithms,
79
284633
2002
perché con gli algoritmi giusti,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
da un video apparentemente
silenzioso come questo
silenzioso come questo
05:02
and we can recover this sound.
81
290322
1527
è possibile recuperare questo suono.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Musica: "Mary aveva un agnellino")
05:12
(Applause)
83
300074
5828
(Applausi)
05:22
So how is this possible?
84
310058
1939
Com'è possibile?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Come ricavare tante informazioni
da una quantità di moto così piccola?
da una quantità di moto così piccola?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Ipotizziamo che quelle foglie
si siano mosse di un solo micrometro
si siano mosse di un solo micrometro
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
e che la nostra immagine subisca
uno spostamento di un singolo pixel.
uno spostamento di un singolo pixel.
05:39
That may not seem like much,
88
327269
2572
Potrà sembrare pochissimo,
05:41
but a single frame of video
89
329841
1996
ma un unico frame
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
può contenere centinaia di migliaia
di pixel
di pixel
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
per cui combinando tutti i movimenti
microscopici che vediamo
microscopici che vediamo
05:50
from across that entire image,
92
338548
2298
in tutta l'immagine,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
improvvisamente migliaia di pixel
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
cominciano a sommarsi
per formare qualcosa di significativo.
per formare qualcosa di significativo.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
E vi dirò, la cosa ci esaltò non poco
quando capimmo come funzionava.
quando capimmo come funzionava.
06:02
(Laughter)
96
350505
2320
(Risate)
06:04
But even with the right algorithm,
97
352825
3253
Ma anche con l'algoritmo giusto,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
mancava ancora un pezzo
piuttosto importante del puzzle.
piuttosto importante del puzzle.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Molti sono i fattori che influiscono
06:15
this technique will work.
100
363299
1997
sul funzionamento di questa tecnica.
06:17
There's the object and how far away it is;
101
365296
3204
Può dipendere dall'oggetto
e dalla sua distanza;
e dalla sua distanza;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
dalla telecamera usata
e dal tipo di lente;
e dal tipo di lente;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
dal modo in cui l'oggetto è illuminato
e dal volume del suono.
e dal volume del suono.
06:27
And even with the right algorithm,
104
375945
3375
E anche disponendo
dell'algoritmo giusto,
dell'algoritmo giusto,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
dovevamo stare molto attenti
nei nostri primi esperimenti
nei nostri primi esperimenti
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
perché se anche uno solo dei fattori
era sbagliato,
era sbagliato,
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
era assolutamente impossibile
dire quale fosse.
dire quale fosse.
06:39
We would just get noise back.
108
387470
2647
Avremmo solo ottenuto dei rumori.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Molti dei nostri esperimenti iniziali
erano più o meno così.
erano più o meno così.
06:45
And so here I am,
110
393437
2206
Qui ci sono io
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
e sulla sinistra in basso s'intravvede
la telecamera ad alta velocità
la telecamera ad alta velocità
06:51
which is pointed at a bag of chips,
112
399683
2183
puntata su una busta di patatine
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
e il tutto è illuminato
da una lampada.
da una lampada.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Dovevamo stare molto attenti
con questi primi esperimenti
con questi primi esperimenti
07:01
so this is how it went down.
115
409180
2508
ed ecco come andava.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Video) Abe Davis: Tre, due, uno, via.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mari aveva un agnellino!
Un agnellino! Un agnellino!
Un agnellino! Un agnellino!
07:12
(Laughter)
118
420836
4500
(Risate)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: questo esperimento
è assolutamente ridicolo.
è assolutamente ridicolo.
07:20
(Laughter)
120
428150
1788
(Risate)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Insomma,
io che urlo a una busta di patatine...
io che urlo a una busta di patatine...
07:24
(Laughter) --
122
432283
1551
(Risate)
07:25
and we're blasting it with so much light,
123
433834
2117
e la luce
è praticamente sparata a giorno,
è praticamente sparata a giorno,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
la prima busta si sciolse letteralmente
quando facemmo la prova. (Risate)
quando facemmo la prova. (Risate)
Ma per quanto questo esperimento
possa sembrare ridicolo,
possa sembrare ridicolo,
07:32
But ridiculous as this experiment looks,
125
440525
3274
07:35
it was actually really important,
126
443799
1788
in realtà fu molto importante
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
perché riuscimmo
a recuperare questo suono.
a recuperare questo suono.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Audio) Mary aveva un agnellino!
Un agnellino! Un agnellino!
Un agnellino! Un agnellino!
07:45
(Applause)
129
453225
4088
(Applausi)
07:49
AD: And this was really significant,
130
457313
1881
AD: La cosa era piuttosto significativa:
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
per la prima volta recuperavamo
voce umana intelligibile
voce umana intelligibile
dal video muto di un oggetto.
07:55
from silent video of an object.
132
463424
2341
07:57
And so it gave us this point of reference,
133
465765
2391
L'esperimento ci fornì
un punto di riferimento
un punto di riferimento
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
e, gradualmente, cominciammo
a modificare il procedimento,
a modificare il procedimento,
usando oggetti diversi
oppure spostandoli più lontano,
oppure spostandoli più lontano,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
08:07
using less light or quieter sounds.
136
475911
2770
diminuendo la luce o usando
suoni più deboli.
suoni più deboli.
Analizzammo tutti gli esperimenti
08:11
And we analyzed all of these experiments
137
479887
2874
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
fino a che non ci furono chiari i limiti
della nostra tecnica
della nostra tecnica
08:18
because once we understood those limits,
139
486383
1950
e, una volta compresi i limiti,
08:20
we could figure out how to push them.
140
488333
2346
riuscimmo a capire come superarli.
08:22
And that led to experiments like this one,
141
490679
3181
Ciò condusse
a esperimenti come questo,
a esperimenti come questo,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
in cui io parlo di nuovo
a una busta di patatine,
a una busta di patatine,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
ma questa volta la telecamera
si trova a circa 4,5 metri di distanza,
si trova a circa 4,5 metri di distanza,
08:33
outside, behind a soundproof window,
144
501429
2833
all'esterno, dietro a un vetro antirumore.
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
Tutta la scena è illuminata
da luce naturale diurna.
da luce naturale diurna.
Questo è il video che abbiamo ripreso.
08:40
And so here's the video that we captured.
146
508529
2155
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
Questi sono i suoni udibili dall'interno,
vicino alla busta di patatine.
vicino alla busta di patatine.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Audio): "Mary aveva un agnellino
con il manto bianco come la neve
con il manto bianco come la neve
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
e ovunque Mary andava,
l'agnello la seguiva."
l'agnello la seguiva."
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: E questo è quanto abbiamo
recuperato dal video muto
recuperato dal video muto
09:03
captured outside behind that window.
151
531683
2345
ripreso all'esterno, fuori della finestra.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Audio): "Mary aveva un agnellino
con il manto bianco come la neve
con il manto bianco come la neve
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
e ovunque Mary andava,
l'agnello la seguiva."
l'agnello la seguiva."
09:15
(Applause)
154
543920
6501
(Applauso)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Ma ci sono altri modi
per superare i limiti.
per superare i limiti.
09:25
So here's a quieter experiment
156
553963
1798
Questo è un esperimento
più tranquillo
più tranquillo
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
in cui abbiamo filmato degli auricolari
connessi a un computer portatile.
connessi a un computer portatile.
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
Il nostro scopo era recuperare
la musica suonata dal computer
la musica suonata dal computer
09:35
from just silent video
159
563981
2299
dal video muto che riprendeva
09:38
of these two little plastic earphones,
160
566280
2507
i due auricolari di plastica
09:40
and we were able to do this so well
161
568787
2183
e siamo stati così bravi
che abbiamo potuto
che abbiamo potuto
09:42
that I could even Shazam our results.
162
570970
2461
addirittura usare il risultato con Shazam.
09:45
(Laughter)
163
573431
2411
(Risate)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(Musica: "Under Pressure" dei Queen)
10:01
(Applause)
165
589615
4969
(Applauso)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Possiamo influire sui risultati
anche cambiando tipo di hardware.
anche cambiando tipo di hardware.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Gli esperimenti
che vi ho mostrato finora
che vi ho mostrato finora
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
sono stati fatti
con una telecamera high-speed
con una telecamera high-speed
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
che può registrare video
a una velocità 100 volte superiore
a una velocità 100 volte superiore
10:18
than most cell phones,
170
606797
1927
a quella dei cellulari,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
ma abbiamo trovato il modo
di usare questa tecnica
di usare questa tecnica
10:23
with more regular cameras,
172
611533
2230
con telecamere normali,
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
approfittando di un effetto
comunemente chiamato "rolling shutter".
comunemente chiamato "rolling shutter".
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
La maggior parte delle telecamere
registrano le immagini una riga alla volta
registrano le immagini una riga alla volta
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
quindi, se un soggetto si muove
durante la registrazione di un'immagine,
durante la registrazione di un'immagine,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
c'è un leggero ritardo
tra una riga e l'altra,
tra una riga e l'altra,
10:43
and this causes slight artifacts
177
631061
3157
questo fa sì che piccoli artefatti
10:46
that get coded into each frame of a video.
178
634218
3483
vengano codificati
in ciascun frame di un video.
in ciascun frame di un video.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Analizzando questi artefatti,
riusciamo a recuperare suoni
riusciamo a recuperare suoni
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
usando una versione modificata
del nostro algoritmo.
del nostro algoritmo.
10:58
So here's an experiment we did
181
646122
1912
In questo esperimento
11:00
where we filmed a bag of candy
182
648034
1695
abbiamo filmato
un pacco di caramelle
un pacco di caramelle
11:01
while a nearby loudspeaker played
183
649729
1741
mentre da un altoparlante vicino
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
arrivava la musica di prima
"Mary aveva un agnellino",
"Mary aveva un agnellino",
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
ma questa volta abbiamo usato
una normale telecamera commerciale
una normale telecamera commerciale
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
e in un attimo riprodurrò per voi
il suono che abbiamo recuperato.
il suono che abbiamo recuperato.
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
Questa volta
il suono sarà distorto,
il suono sarà distorto,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
ma ascoltate e vedete
se riuscite a riconoscere la musica.
se riuscite a riconoscere la musica.
(Audio: "Mary aveva un agnellino")
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
11:37
And so, again, that sounds distorted,
190
685527
3465
Il suono, certo, risulta distorto,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
ma è pur vero che la telecamera
che abbiamo usato
che abbiamo usato
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
era una di quelle
che si potevano comprare
che si potevano comprare
11:48
and pick up at a Best Buy.
193
696004
1444
al negozio sotto casa.
11:51
So at this point,
194
699122
1363
A questo punto,
11:52
a lot of people see this work,
195
700485
1974
molte persone
che vedono questo lavoro,
che vedono questo lavoro,
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
pensano immediatamente
ai servizi di vigilanza.
ai servizi di vigilanza.
11:57
And to be fair,
197
705872
2415
E per la verità,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
è molto facile immaginare di usare
questa tecnologia per spiare qualcuno.
questa tecnologia per spiare qualcuno.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
Ma ricordate che esiste già
una tecnologia molto evoluta
una tecnologia molto evoluta
12:08
out there for surveillance.
200
716367
1579
per i sistemi di sorveglianza.
12:09
In fact, people have been using lasers
201
717946
2090
I laser, ad esempio, sono stati usati
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
per decenni per intercettare oggetti
a distanza.
a distanza.
L'elemento veramente nuovo
12:15
But what's really new here,
203
723978
2025
12:18
what's really different,
204
726003
1440
e diverso che si presenta qui
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
è un modo nuovo di raffigurare
le vibrazioni di un oggetto
le vibrazioni di un oggetto
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
che ci dà una nuova lente
attraverso la quale guardare il mondo.
attraverso la quale guardare il mondo.
12:27
and we can use that lens
207
735151
1510
Possiamo usare questa lente
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
non solo per imparare che forze
come il suono fanno vibrare un oggetto,
come il suono fanno vibrare un oggetto,
12:33
but also about the object itself.
209
741560
2288
ma anche per imparare qualcosa
sull'oggetto stesso.
sull'oggetto stesso.
Ora faccio un passo indietro
per riflettere
per riflettere
12:36
And so I want to take a step back
210
744975
1693
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
su come ciò potrebbe cambiare
il nostro modo di usare il video.
il nostro modo di usare il video.
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
Di solito usiamo il video
per guardare degli oggetti,
per guardare degli oggetti,
12:46
and I've just shown you how we can use it
213
754470
2322
ma, come vi ho appena dimostrato,
si può usare anche
si può usare anche
12:48
to listen to things.
214
756792
1857
per ascoltare gli oggetti.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
Ma c'è un altro modo fondamentale
per conoscere il mondo
per conoscere il mondo
12:54
that's by interacting with it.
216
762620
2275
ed è l'interazione.
12:56
We push and pull and poke and prod things.
217
764895
3111
Noi tiriamo, spingiamo
e tocchiamo le cose.
e tocchiamo le cose.
13:00
We shake things and see what happens.
218
768006
3181
Le agitiamo e poi
stiamo a guardare cosa succede.
stiamo a guardare cosa succede.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
Ma questo il video
non ci permette di farlo,
non ci permette di farlo,
13:07
at least not traditionally.
220
775460
2136
almeno non in modo tradizionale.
13:09
So I want to show you some new work,
221
777596
1950
Per cui voglio ora mostrarvi
un lavoro nuovo,
un lavoro nuovo,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
basato su in'idea
che ho avuto alcuni mesi fa
che ho avuto alcuni mesi fa
ed è la prima volta
che lo faccio vedere in pubblico.
che lo faccio vedere in pubblico.
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
L'idea di fondo è quella
di usare le vibrazioni in un video
di usare le vibrazioni in un video
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
per riprendere gli oggetti in modo
che sia possibile un'interazione con essi
che sia possibile un'interazione con essi
13:27
and see how they react to us.
226
795358
1974
e vedere in che modo reagiscono a noi.
13:31
So here's an object,
227
799120
1764
Questo è un oggetto.
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
In questo caso, si tratta di una figura
di ferro filato con forma umana.
di ferro filato con forma umana.
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
Riprenderemo l'oggetto
con una normale telecamera.
con una normale telecamera.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Non c'è nulla di speciale
in questa telecamera.
in questa telecamera.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Anzi, altre volte l'ho fatto
con il mio telefono cellulare.
con il mio telefono cellulare.
13:44
But we do want to see the object vibrate,
232
812889
2252
Noi vogliamo vedere come l'oggetto vibra,
13:47
so to make that happen,
233
815141
1133
e perché ciò accada,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
andremo a colpire leggermente
la superficie sulla quale si trova
la superficie sulla quale si trova
13:51
while we record this video.
235
819620
2138
mentre giriamo il video.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
E questo è tutto: cinque secondi
di normale ripresa,
di normale ripresa,
14:03
while we bang on this surface,
237
831069
2136
mentre la superficie viene percossa
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
e poi useremo le vibrazioni
presenti nel video
presenti nel video
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
per conoscere le proprietà strutturali
e materiali del nostro oggetto.
e materiali del nostro oggetto.
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
Useremo quelle informazioni per creare
qualcosa di nuovo e interattivo.
qualcosa di nuovo e interattivo.
14:24
And so here's what we've created.
241
852866
2653
Ed ecco la nostra creazione.
14:27
And it looks like a regular image,
242
855519
2229
All'apparenza
è una normalissima immagine
è una normalissima immagine
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
eppure non è un'immagine
e neanche un video
e neanche un video
14:32
because now I can take my mouse
244
860859
2368
perché ora io posso prendere il mouse
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
e iniziare a interagire
con l'oggetto.
con l'oggetto.
14:44
And so what you see here
246
872936
2357
Quella che vedete
è una simulazione di come quest'oggetto
14:47
is a simulation of how this object
247
875389
2226
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
risponderebbe a forze nuove
e sconosciute,
e sconosciute,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
una creazione fatta grazie a un normale
video di cinque secondi.
video di cinque secondi.
(Applauso)
14:59
(Applause)
250
887249
4715
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Questa visione del mondo
è davvero efficace
è davvero efficace
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
perché ci consente di prevedere
come gli oggetti risponderanno
come gli oggetti risponderanno
15:15
to new situations,
253
903620
1823
a situazioni nuove.
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
Immaginate, ad esempio,
di guardare un vecchio ponte
di guardare un vecchio ponte
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
chiedendovi cosa succederebbe
e se quel ponte reggerebbe
e se quel ponte reggerebbe
15:24
if I were to drive my car across it.
256
912443
2833
passandoci sopra con la macchina.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Un interrogativo al quale certamente
vorreste rispondere
vorreste rispondere
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
prima di cominciare
ad attraversare il ponte.
ad attraversare il ponte.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
Naturalmente ci saranno dei limiti
a questa tecnica,
a questa tecnica,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
esattamente
come per il microfono visivo,
come per il microfono visivo,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
ma abbiamo sperimentato che funziona
in molte situazioni
in molte situazioni
15:42
that you might not expect,
262
930903
1875
in cui non ce lo aspetteremmo,
15:44
especially if you give it longer videos.
263
932778
2768
specie se si fanno video più lunghi.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Questo, ad esempio,
è il video di un cespuglio
è il video di un cespuglio
15:50
of a bush outside of my apartment,
265
938054
2299
girato fuori casa mia.
15:52
and I didn't do anything to this bush,
266
940353
3088
Nulla è stato fatto a questo cespuglio
15:55
but by capturing a minute-long video,
267
943441
2705
se non girare un video di un minuto.
15:58
a gentle breeze caused enough vibrations
268
946146
3378
Una sottile brezza ha causato
vibrazioni sufficienti
vibrazioni sufficienti
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
a farci imparare quanto era necessario
per creare questa simulazione.
per creare questa simulazione.
16:07
(Applause)
270
955270
6142
(Applausi)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
Immaginate questa tecnologia
nelle mani di un regista
nelle mani di un regista
16:16
and letting him control, say,
272
964384
1719
per controllare, ad esempio,
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
la forza e la direzione del vento
di una scena dopo che è stata girata.
di una scena dopo che è stata girata.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
In questo caso, abbiamo puntato
la telecamera verso una tenda
la telecamera verso una tenda
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
e, vedete, non c'è alcun movimento
in questo video.
in questo video.
16:33
but by recording a two-minute-long video,
276
981474
2925
Ma girando per due minuti,
16:36
natural air currents in this room
277
984399
2438
le naturali correnti d'aria nella stanza
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
hanno creato impercettibili movimenti
e vibrazioni sufficienti
e vibrazioni sufficienti
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
da farci imparare quanto basta
per creare questa simulazione.
per creare questa simulazione.
16:48
And ironically,
280
996243
2366
E paradossalmente,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
noi siamo abbastanza abituati
a questo tipo di interattività
a questo tipo di interattività
16:53
when it comes to virtual objects,
282
1001697
2647
quando si tratta di oggetti virtuali,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
video game
e modelli tridimensionali,
e modelli tridimensionali,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
ma riuscire a carpire queste informazioni
da oggetti reali nel mondo reale
da oggetti reali nel mondo reale
17:04
using just simple, regular video,
285
1012045
2817
per mezzo di semplici video,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
è un fatto nuovo
con potenzialità enormi.
con potenzialità enormi.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Ecco le persone straordinarie che hanno
lavorato con me su questi progetti.
lavorato con me su questi progetti.
17:16
(Applause)
288
1024057
5596
(Applausi)
Quello che vi ho mostrato oggi
è solo il principio.
è solo il principio.
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
Abbiamo solo cominciato
a scalfire la superficie
a scalfire la superficie
17:27
We've just started to scratch the surface
290
1035876
2113
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
di ciò che è possibile fare
con questo tipo di imaging
con questo tipo di imaging
17:32
because it gives us a new way
292
1040961
2286
che ci dà un nuovo modo
di catturare il mondo circostante
con una tecnologia comune, accessibile.
con una tecnologia comune, accessibile.
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
17:40
And so looking to the future,
294
1048066
1929
Guardando al futuro, credo
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
che sarà davvero
interessante esplorare
interessante esplorare
17:44
what this can tell us about the world.
296
1052032
1856
ciò che questa tecnologia
saprà dirci del mondo.
saprà dirci del mondo.
17:46
Thank you.
297
1054381
1204
Grazie.
17:47
(Applause)
298
1055610
6107
(Applauso)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com