ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Le proprietà nascoste degli oggetti rivelate dalle nuove videotecnologie

Filmed:
1,482,525 views

Il moto impercettibile è sempre presente intorno a noi, comprese quelle piccolissime vibrazioni causate dai suoni. Le nuove tecnologie ci mostrano come sia possibile individuare queste vibrazioni e ricreare suoni e conversazioni partendo da un video solo in apparenza muto. Abe Davis riesce ad andare addirittura oltre: il software di sua invenzione consente a chiunque di interagire con le proprietà nascoste degli oggetti, partendo da un semplice video.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

In genere pensiamo al movimento
come un fatto prevalentemente visivo.
00:13
MostMaggior parte of us think of motionmovimento
as a very visualvisivo thing.
0
1373
3349
00:17
If I walkcamminare acrossattraverso this stagepalcoscenico
or gesturegesto with my handsmani while I speakparlare,
1
5889
5088
Se io attraverso questo palcoscenico
o faccio dei gesti mentre parlo,
00:22
that motionmovimento is something that you can see.
2
10977
2261
i miei movimenti
sono qualcosa che si può vedere.
00:26
But there's a worldmondo of importantimportante motionmovimento
that's too subtlesottile for the humanumano eyeocchio,
3
14255
5482
Ma esiste tutta una serie di movimenti
impercettibili all'occhio umano
00:31
and over the pastpassato fewpochi yearsanni,
4
19737
2041
e, nel corso degli ultimi anni,
00:33
we'venoi abbiamo startediniziato to find that camerasmacchine fotografiche
5
21778
1997
abbiamo osservato che le telecamere
00:35
can oftenspesso see this motionmovimento
even when humansgli esseri umani can't.
6
23775
3410
riescono a vedere questi movimenti
che sono invisibili all'occhio umano.
Passo ora a mostrarvi cosa intendo.
00:40
So let me showmostrare you what I mean.
7
28305
1551
00:42
On the left here, you see videovideo
of a person'spersona di wristpolso,
8
30717
3622
Sulla sinistra, vedete un video
che riprende il polso di una persona
00:46
and on the right, you see videovideo
of a sleepingaddormentato infantinfantile,
9
34339
3147
mentre, sulla destra, vedete il video
di un bambino che dorme.
00:49
but if I didn't tell you
that these were videosvideo,
10
37486
3146
Se non vi avessi detto
che si trattava di filmati,
00:52
you mightpotrebbe assumeassumere that you were looking
at two regularregolare imagesimmagini,
11
40632
3761
si potrebbe supporre che si tratti
di normali fotografie
00:56
because in bothentrambi casescasi,
12
44393
1672
perché, in entrambi i casi,
00:58
these videosvideo appearapparire to be
almostquasi completelycompletamente still.
13
46065
3047
questi video appaiono
quasi completamente fermi.
01:02
But there's actuallyin realtà a lot
of subtlesottile motionmovimento going on here,
14
50175
3885
Ma in realtà ci sono tantissimi
movimenti sottili in atto.
01:06
and if you were to touchtoccare
the wristpolso on the left,
15
54060
2392
Infatti, se toccassimo il polso
sulla sinistra,
01:08
you would feel a pulseimpulso,
16
56452
1996
potremmo avvertire il battito del polso
01:10
and if you were to holdtenere
the infantinfantile on the right,
17
58448
2485
e se prendessimo in braccio
il bambino sulla destra,
01:12
you would feel the risesalire
and fallautunno of her chestil petto
18
60933
2391
avvertiremmo il suo petto
sollevarsi e abbassarsi
01:15
as she tookha preso eachogni breathrespiro.
19
63324
1390
nei movimenti respiratori.
01:17
And these motionsmovimenti carrytrasportare
a lot of significancesignificato,
20
65762
3576
Questi movimenti
sono molto significativi,
01:21
but they're usuallygeneralmente
too subtlesottile for us to see,
21
69338
3343
ma sono troppo piccoli
per essere visti,
01:24
so insteadanziché, we have to observeosservare them
22
72681
2276
e per essere in grado di osservarli
01:26
throughattraverso directdiretto contactcontatto, throughattraverso touchtoccare.
23
74957
2900
abbiamo bisogno del contatto diretto.
01:30
But a fewpochi yearsanni agofa,
24
78997
1265
Alcuni anni fa,
01:32
my colleaguescolleghi at MITMIT developedsviluppato
what they call a motionmovimento microscopemicroscopio,
25
80262
4405
i miei colleghi del MIT hanno creato
il cosiddetto microscopio da movimento,
01:36
whichquale is softwareSoftware that findsreperti
these subtlesottile motionsmovimenti in videovideo
26
84667
4384
vale a dire un software che individua
i movimenti sottili nei video
01:41
and amplifiesamplifica them so that they
becomediventare largegrande enoughabbastanza for us to see.
27
89051
3562
e li amplifica per fare in modo
che siano visibili al nostro occhio.
01:45
And so, if we use theirloro softwareSoftware
on the left videovideo,
28
93416
3483
Adoperando questo software
sul video di sinistra,
01:48
it letslascia us see the pulseimpulso in this wristpolso,
29
96899
3250
saremo in grado di vedere
il battito del polso
01:52
and if we were to countcontare that pulseimpulso,
30
100149
1695
e, se cominciamo a contare,
01:53
we could even figurefigura out
this person'spersona di heartcuore rateVota.
31
101844
2355
potremmo anche ricavare
la frequenza cardiaca della persona.
01:57
And if we used the samestesso softwareSoftware
on the right videovideo,
32
105095
3065
Con lo stesso software,
sul video di destra
02:00
it letslascia us see eachogni breathrespiro
that this infantinfantile takes,
33
108160
3227
potremmo vedere
ogni singolo respiro del bambino
02:03
and we can use this as a contact-freesenza contatto way
to monitortenere sotto controllo her breathingrespirazione.
34
111387
4137
e potremmo usare questo mezzo
per monitorare il respiro senza contatto.
02:08
And so this technologytecnologia is really powerfulpotente
because it takes these phenomenafenomeni
35
116884
5348
La grandezza di questa tecnologia
sta nel fatto che questi fenomeni,
02:14
that we normallynormalmente have
to experienceEsperienza throughattraverso touchtoccare
36
122232
2367
normalmente percepiti
con il contatto fisico,
02:16
and it letslascia us capturecatturare them visuallyvisivamente
and non-invasivelymodo non invasivo.
37
124599
2957
possono essere catturati in modo visivo
e non invasivo.
02:21
So a couplecoppia yearsanni agofa, I startediniziato workinglavoro
with the folksgente that createdcreato that softwareSoftware,
38
129104
4411
Un paio di anni fa, iniziai a lavorare
con i creatori del software
02:25
and we decideddeciso to pursueperseguire a crazypazzo ideaidea.
39
133515
3367
e decidemmo di approfondire un'idea folle.
02:28
We thought, it's coolfreddo
that we can use softwareSoftware
40
136882
2693
Pensavamo che andasse bene
usare il software
02:31
to visualizevisualizzare tinyminuscolo motionsmovimenti like this,
41
139575
3135
per visualizzare movimenti minuscoli
come questi,
02:34
and you can almostquasi think of it
as a way to extendestendere our sensesenso of touchtoccare.
42
142710
4458
è come un modo per ampliare
il senso del tatto.
02:39
But what if we could do the samestesso thing
with our abilitycapacità to hearsentire?
43
147168
4059
Ma che accadrebbe se facessimo
la stessa cosa con l'udito?
02:44
What if we could use videovideo
to capturecatturare the vibrationsvibrazioni of soundsuono,
44
152508
4665
Se potessimo usare dei video
per catturare la vibrazione dei suoni,
02:49
whichquale are just anotherun altro kindgenere of motionmovimento,
45
157173
2827
che altro non sono
se non un diverso tipo di movimento,
02:52
and turnturno everything that we see
into a microphonemicrofono?
46
160000
3346
e trasformare tutto ciò che vediamo
in una sorta di microfono?
02:56
Now, this is a bitpo of a strangestrano ideaidea,
47
164236
1971
Certo, l'idea può suonare strana,
02:58
so let me try to put it
in perspectiveprospettiva for you.
48
166207
2586
perciò permettetemi
di illustrarvela meglio.
03:01
TraditionalTradizionale microphonesMicrofoni
work by convertingconversione the motionmovimento
49
169523
3488
I microfoni tradizionali
funzionano convertendo il movimento
03:05
of an internalinterno diaphragmdiaframma
into an electricalelettrico signalsegnale,
50
173011
3599
di un diaframma interno
in un segnale elettrico
03:08
and that diaphragmdiaframma is designedprogettato
to movemossa readilyprontamente with soundsuono
51
176610
4318
e il diaframma è fatto in modo
da muoversi appena colpito dal suono
03:12
so that its motionmovimento can be recordedregistrato
and interpretedinterpretato as audioAudio.
52
180928
4807
così che il suo movimento possa essere
registrato e interpretato come audio.
03:17
But soundsuono causescause all objectsoggetti to vibratevibrare.
53
185735
3668
Il suono fa vibrare tutte le cose,
03:21
Those vibrationsvibrazioni are just usuallygeneralmente
too subtlesottile and too fastveloce for us to see.
54
189403
5480
ma quelle vibrazioni, di solito,
sono troppo piccole e veloci da vedere.
03:26
So what if we recorddisco them
with a high-speedalta velocità cameramacchina fotografica
55
194883
3738
E se si potessero registrare
con una video camera ad alta velocità
03:30
and then use softwareSoftware
to extractestratto tinyminuscolo motionsmovimenti
56
198621
3576
e quindi usare il software
per estrarre i movimenti impercettibili
03:34
from our high-speedalta velocità videovideo,
57
202197
2090
dal nostro video ad alta velocità,
03:36
and analyzeanalizzare those motionsmovimenti to figurefigura out
what soundssuoni createdcreato them?
58
204287
4274
analizzando quei movimenti per capire
da quali suoni abbiano avuto origine?
03:41
This would let us turnturno visiblevisibile objectsoggetti
into visualvisivo microphonesMicrofoni from a distancedistanza.
59
209859
5449
Si potrebbero trasformare oggetti visibili
in microfoni visivi a distanza.
03:49
And so we triedprovato this out,
60
217080
2183
Noi abbiamo provato a farlo.
03:51
and here'secco one of our experimentsesperimenti,
61
219263
1927
In uno dei nostri esperimenti,
03:53
where we tookha preso this pottedin vaso plantpianta
that you see on the right
62
221190
2949
abbiamo preso una pianta in vaso,
che vedete sulla destra,
03:56
and we filmedfilmata it with a high-speedalta velocità cameramacchina fotografica
63
224139
2438
e l'abbiamo ripresa ad alta velocità
03:58
while a nearbynelle vicinanze loudspeakeraltoparlante
playedgiocato this soundsuono.
64
226577
3529
mentre un altoparlante
emetteva questo suono.
(Musica: "Mary aveva un agnellino")
04:02
(MusicMusica: "MaryMaria Had a Little LambAgnello")
65
230275
8190
04:11
And so here'secco the videovideo that we recordedregistrato,
66
239820
2824
Ecco il video che abbiamo registrato
04:14
and we recordedregistrato it at thousandsmigliaia
of framesmontatura perper secondsecondo,
67
242644
3924
e nonostante sia stato registrato
a migliaia di frame al secondo,
04:18
but even if you look very closelystrettamente,
68
246568
2322
anche se guardate molto da vicino,
04:20
all you'llpotrai see are some leavesle foglie
69
248890
1951
non vedrete altro che delle foglie
04:22
that are prettybella much
just sittingseduta there doing nothing,
70
250841
3065
che se ne stanno lì
senza far nulla
04:25
because our soundsuono only movedmosso those leavesle foglie
by about a micrometermicrometro.
71
253906
4806
perché il nostro suono muoveva le foglie
di appena un micrometro,
04:31
That's one ten-thousandthdecimillesimo of a centimetercentimetro,
72
259103
4276
vale a dire la decimillesima parte
di un centimetro,
04:35
whichquale spanscampate somewhereda qualche parte betweenfra
a hundredthcentesimo and a thousandthmillesimo
73
263379
4156
che va da un centesimo
a un millesimo di un pixel
04:39
of a pixelpixel in this imageImmagine.
74
267535
2299
in questa immagine.
04:41
So you can squintstrabico all you want,
75
269881
2887
Potete strizzare gli occhi quanto volete,
04:44
but motionmovimento that smallpiccolo is prettybella much
perceptuallypercettivamente invisibleinvisibile.
76
272768
3335
movimenti così piccoli sono
impossibili da percepire.
04:49
But it turnsgiri out that something
can be perceptuallypercettivamente invisibleinvisibile
77
277667
4157
Ma ci sono cose che,
anche se non percepibili visivamente,
04:53
and still be numericallynumericamente significantsignificativo,
78
281824
2809
sono comunque significative
a livello numerico,
04:56
because with the right algorithmsalgoritmi,
79
284633
2002
perché con gli algoritmi giusti,
04:58
we can take this silentsilenzioso,
seeminglyapparentemente still videovideo
80
286635
3687
da un video apparentemente
silenzioso come questo
05:02
and we can recoverrecuperare this soundsuono.
81
290322
1527
è possibile recuperare questo suono.
05:04
(MusicMusica: "MaryMaria Had a Little LambAgnello")
82
292690
7384
(Musica: "Mary aveva un agnellino")
05:12
(ApplauseApplausi)
83
300074
5828
(Applausi)
05:22
So how is this possiblepossibile?
84
310058
1939
Com'è possibile?
05:23
How can we get so much informationinformazione
out of so little motionmovimento?
85
311997
4344
Come ricavare tante informazioni
da una quantità di moto così piccola?
05:28
Well, let's say that those leavesle foglie
movemossa by just a singlesingolo micrometermicrometro,
86
316341
5361
Ipotizziamo che quelle foglie
si siano mosse di un solo micrometro
05:33
and let's say that that shiftsturni our imageImmagine
by just a thousandthmillesimo of a pixelpixel.
87
321702
4308
e che la nostra immagine subisca
uno spostamento di un singolo pixel.
05:39
That maypuò not seemsembrare like much,
88
327269
2572
Potrà sembrare pochissimo,
05:41
but a singlesingolo frametelaio of videovideo
89
329841
1996
ma un unico frame
05:43
maypuò have hundredscentinaia of thousandsmigliaia
of pixelspixel in it,
90
331837
3257
può contenere centinaia di migliaia
di pixel
05:47
and so if we combinecombinare all
of the tinyminuscolo motionsmovimenti that we see
91
335094
3454
per cui combinando tutti i movimenti
microscopici che vediamo
05:50
from acrossattraverso that entireintero imageImmagine,
92
338548
2298
in tutta l'immagine,
05:52
then suddenlyad un tratto a thousandthmillesimo of a pixelpixel
93
340846
2623
improvvisamente migliaia di pixel
05:55
can startinizio to addInserisci up
to something prettybella significantsignificativo.
94
343469
2775
cominciano a sommarsi
per formare qualcosa di significativo.
05:58
On a personalpersonale noteNota, we were prettybella psychedesaltato
when we figuredfigurato this out.
95
346870
3635
E vi dirò, la cosa ci esaltò non poco
quando capimmo come funzionava.
06:02
(LaughterRisate)
96
350505
2320
(Risate)
06:04
But even with the right algorithmalgoritmo,
97
352825
3253
Ma anche con l'algoritmo giusto,
06:08
we were still missingmancante
a prettybella importantimportante piecepezzo of the puzzlepuzzle.
98
356078
3617
mancava ancora un pezzo
piuttosto importante del puzzle.
06:11
You see, there are a lot of factorsfattori
that affectinfluenzare when and how well
99
359695
3604
Molti sono i fattori che influiscono
06:15
this techniquetecnica will work.
100
363299
1997
sul funzionamento di questa tecnica.
06:17
There's the objectoggetto and how farlontano away it is;
101
365296
3204
Può dipendere dall'oggetto
e dalla sua distanza;
06:20
there's the cameramacchina fotografica
and the lenslente that you use;
102
368500
2394
dalla telecamera usata
e dal tipo di lente;
06:22
how much lightleggero is shiningsplendente on the objectoggetto
and how loudforte your soundsuono is.
103
370894
4091
dal modo in cui l'oggetto è illuminato
e dal volume del suono.
06:27
And even with the right algorithmalgoritmo,
104
375945
3375
E anche disponendo
dell'algoritmo giusto,
06:31
we had to be very carefulattento
with our earlypresto experimentsesperimenti,
105
379320
3390
dovevamo stare molto attenti
nei nostri primi esperimenti
06:34
because if we got
any of these factorsfattori wrongsbagliato,
106
382710
2392
perché se anche uno solo dei fattori
era sbagliato,
06:37
there was no way to tell
what the problemproblema was.
107
385102
2368
era assolutamente impossibile
dire quale fosse.
06:39
We would just get noiserumore back.
108
387470
2647
Avremmo solo ottenuto dei rumori.
06:42
And so a lot of our earlypresto
experimentsesperimenti lookedguardato like this.
109
390117
3320
Molti dei nostri esperimenti iniziali
erano più o meno così.
06:45
And so here I am,
110
393437
2206
Qui ci sono io
06:47
and on the bottomparte inferiore left, you can kindgenere of
see our high-speedalta velocità cameramacchina fotografica,
111
395643
4040
e sulla sinistra in basso s'intravvede
la telecamera ad alta velocità
06:51
whichquale is pointedappuntito at a bagBorsa of chipspatatine fritte,
112
399683
2183
puntata su una busta di patatine
06:53
and the wholetotale thing is litilluminato
by these brightluminosa lampsLampade.
113
401866
2949
e il tutto è illuminato
da una lampada.
06:56
And like I said, we had to be
very carefulattento in these earlypresto experimentsesperimenti,
114
404815
4365
Dovevamo stare molto attenti
con questi primi esperimenti
07:01
so this is how it wentandato down.
115
409180
2508
ed ecco come andava.
07:03
(VideoVideo) AbeAbe DavisDavis: ThreeTre, two, one, go.
116
411688
3761
(Video) Abe Davis: Tre, due, uno, via.
07:07
MaryMaria had a little lambagnello!
Little lambagnello! Little lambagnello!
117
415449
5387
Mari aveva un agnellino!
Un agnellino! Un agnellino!
07:12
(LaughterRisate)
118
420836
4500
(Risate)
07:17
ADANNUNCIO: So this experimentsperimentare
lookssembra completelycompletamente ridiculousridicolo.
119
425336
2814
AD: questo esperimento
è assolutamente ridicolo.
07:20
(LaughterRisate)
120
428150
1788
(Risate)
07:21
I mean, I'm screamingurlando at a bagBorsa of chipspatatine fritte --
121
429938
2345
Insomma,
io che urlo a una busta di patatine...
07:24
(LaughterRisate) --
122
432283
1551
(Risate)
07:25
and we're blastingsabbiatura it with so much lightleggero,
123
433834
2117
e la luce
è praticamente sparata a giorno,
07:27
we literallyletteralmente meltedfuso the first bagBorsa
we triedprovato this on. (LaughterRisate)
124
435951
4479
la prima busta si sciolse letteralmente
quando facemmo la prova. (Risate)
Ma per quanto questo esperimento
possa sembrare ridicolo,
07:32
But ridiculousridicolo as this experimentsperimentare lookssembra,
125
440525
3274
07:35
it was actuallyin realtà really importantimportante,
126
443799
1788
in realtà fu molto importante
07:37
because we were ablecapace
to recoverrecuperare this soundsuono.
127
445587
2926
perché riuscimmo
a recuperare questo suono.
07:40
(AudioAudio) MaryMaria had a little lambagnello!
Little lambagnello! Little lambagnello!
128
448513
4712
(Audio) Mary aveva un agnellino!
Un agnellino! Un agnellino!
07:45
(ApplauseApplausi)
129
453225
4088
(Applausi)
07:49
ADANNUNCIO: And this was really significantsignificativo,
130
457313
1881
AD: La cosa era piuttosto significativa:
07:51
because it was the first time
we recoveredrecuperati intelligibleintelligibile humanumano speechdiscorso
131
459194
4119
per la prima volta recuperavamo
voce umana intelligibile
dal video muto di un oggetto.
07:55
from silentsilenzioso videovideo of an objectoggetto.
132
463424
2341
07:57
And so it gaveha dato us this pointpunto of referenceriferimento,
133
465765
2391
L'esperimento ci fornì
un punto di riferimento
08:00
and graduallygradualmente we could startinizio
to modifymodificare the experimentsperimentare,
134
468156
3871
e, gradualmente, cominciammo
a modificare il procedimento,
usando oggetti diversi
oppure spostandoli più lontano,
08:04
usingutilizzando differentdiverso objectsoggetti
or movingin movimento the objectoggetto furtherulteriore away,
135
472106
3805
08:07
usingutilizzando lessDi meno lightleggero or quieterpiù tranquilla soundssuoni.
136
475911
2770
diminuendo la luce o usando
suoni più deboli.
Analizzammo tutti gli esperimenti
08:11
And we analyzedanalizzato all of these experimentsesperimenti
137
479887
2874
08:14
untilfino a we really understoodinteso
the limitslimiti of our techniquetecnica,
138
482761
3622
fino a che non ci furono chiari i limiti
della nostra tecnica
08:18
because onceuna volta we understoodinteso those limitslimiti,
139
486383
1950
e, una volta compresi i limiti,
08:20
we could figurefigura out how to pushspingere them.
140
488333
2346
riuscimmo a capire come superarli.
08:22
And that led to experimentsesperimenti like this one,
141
490679
3181
Ciò condusse
a esperimenti come questo,
08:25
where again, I'm going to speakparlare
to a bagBorsa of chipspatatine fritte,
142
493860
2739
in cui io parlo di nuovo
a una busta di patatine,
08:28
but this time we'venoi abbiamo movedmosso our cameramacchina fotografica
about 15 feetpiedi away,
143
496599
4830
ma questa volta la telecamera
si trova a circa 4,5 metri di distanza,
08:33
outsideal di fuori, behinddietro a a soundproofinsonorizzate windowfinestra,
144
501429
2833
all'esterno, dietro a un vetro antirumore.
08:36
and the wholetotale thing is litilluminato
by only naturalnaturale sunlightluce del sole.
145
504262
2803
Tutta la scena è illuminata
da luce naturale diurna.
Questo è il video che abbiamo ripreso.
08:40
And so here'secco the videovideo that we capturedcaptured.
146
508529
2155
08:44
And this is what things soundedsuonava like
from insidedentro, nextIl prossimo to the bagBorsa of chipspatatine fritte.
147
512450
4559
Questi sono i suoni udibili dall'interno,
vicino alla busta di patatine.
08:49
(AudioAudio) MaryMaria had a little lambagnello
whosedi chi fleecein pile was whitebianca as snowla neve,
148
517009
5038
(Audio): "Mary aveva un agnellino
con il manto bianco come la neve
08:54
and everywhereovunque that MaryMaria wentandato,
that lambagnello was sure to go.
149
522047
5619
e ovunque Mary andava,
l'agnello la seguiva."
08:59
ADANNUNCIO: And here'secco what we were ablecapace
to recoverrecuperare from our silentsilenzioso videovideo
150
527666
4017
AD: E questo è quanto abbiamo
recuperato dal video muto
09:03
capturedcaptured outsideal di fuori behinddietro a that windowfinestra.
151
531683
2345
ripreso all'esterno, fuori della finestra.
09:06
(AudioAudio) MaryMaria had a little lambagnello
whosedi chi fleecein pile was whitebianca as snowla neve,
152
534028
4435
(Audio): "Mary aveva un agnellino
con il manto bianco come la neve
09:10
and everywhereovunque that MaryMaria wentandato,
that lambagnello was sure to go.
153
538463
5457
e ovunque Mary andava,
l'agnello la seguiva."
09:15
(ApplauseApplausi)
154
543920
6501
(Applauso)
09:22
ADANNUNCIO: And there are other waysmodi
that we can pushspingere these limitslimiti as well.
155
550421
3542
AD: Ma ci sono altri modi
per superare i limiti.
09:25
So here'secco a quieterpiù tranquilla experimentsperimentare
156
553963
1798
Questo è un esperimento
più tranquillo
09:27
where we filmedfilmata some earphonesauricolari
pluggedcollegato into a laptopil computer portatile computercomputer,
157
555761
4110
in cui abbiamo filmato degli auricolari
connessi a un computer portatile.
09:31
and in this casecaso, our goalobbiettivo was to recoverrecuperare
the musicmusica that was playinggiocando on that laptopil computer portatile
158
559871
4110
Il nostro scopo era recuperare
la musica suonata dal computer
09:35
from just silentsilenzioso videovideo
159
563981
2299
dal video muto che riprendeva
09:38
of these two little plasticplastica earphonesauricolari,
160
566280
2507
i due auricolari di plastica
09:40
and we were ablecapace to do this so well
161
568787
2183
e siamo stati così bravi
che abbiamo potuto
09:42
that I could even ShazamShazam our resultsrisultati.
162
570970
2461
addirittura usare il risultato con Shazam.
09:45
(LaughterRisate)
163
573431
2411
(Risate)
09:49
(MusicMusica: "UnderSotto PressurePressione" by QueenRegina)
164
577191
10034
(Musica: "Under Pressure" dei Queen)
10:01
(ApplauseApplausi)
165
589615
4969
(Applauso)
10:06
And we can alsoanche pushspingere things
by changingmutevole the hardwarehardware that we use.
166
594584
4551
Possiamo influire sui risultati
anche cambiando tipo di hardware.
10:11
Because the experimentsesperimenti
I've shownmostrato you so farlontano
167
599135
2461
Gli esperimenti
che vi ho mostrato finora
10:13
were donefatto with a cameramacchina fotografica,
a high-speedalta velocità cameramacchina fotografica,
168
601596
2322
sono stati fatti
con una telecamera high-speed
10:15
that can recorddisco videovideo
about a 100 timesvolte fasterPiù veloce
169
603918
2879
che può registrare video
a una velocità 100 volte superiore
10:18
than mostmaggior parte cellcellula phonestelefoni,
170
606797
1927
a quella dei cellulari,
10:20
but we'venoi abbiamo alsoanche foundtrovato a way
to use this techniquetecnica
171
608724
2809
ma abbiamo trovato il modo
di usare questa tecnica
10:23
with more regularregolare camerasmacchine fotografiche,
172
611533
2230
con telecamere normali,
10:25
and we do that by takingpresa advantagevantaggio
of what's calledchiamato a rollingrotolamento shutterdell'otturatore.
173
613763
4069
approfittando di un effetto
comunemente chiamato "rolling shutter".
10:29
You see, mostmaggior parte camerasmacchine fotografiche
recorddisco imagesimmagini one rowriga at a time,
174
617832
4798
La maggior parte delle telecamere
registrano le immagini una riga alla volta
10:34
and so if an objectoggetto movessi muove
duringdurante the recordingregistrazione of a singlesingolo imageImmagine,
175
622630
5702
quindi, se un soggetto si muove
durante la registrazione di un'immagine,
10:40
there's a slightleggero time delayritardo
betweenfra eachogni rowriga,
176
628344
2717
c'è un leggero ritardo
tra una riga e l'altra,
10:43
and this causescause slightleggero artifactsmanufatti
177
631061
3157
questo fa sì che piccoli artefatti
10:46
that get codedcodificato into eachogni frametelaio of a videovideo.
178
634218
3483
vengano codificati
in ciascun frame di un video.
10:49
And so what we foundtrovato
is that by analyzingl'analisi these artifactsmanufatti,
179
637701
3806
Analizzando questi artefatti,
riusciamo a recuperare suoni
10:53
we can actuallyin realtà recoverrecuperare soundsuono
usingutilizzando a modifiedper volta versionversione of our algorithmalgoritmo.
180
641507
4615
usando una versione modificata
del nostro algoritmo.
10:58
So here'secco an experimentsperimentare we did
181
646122
1912
In questo esperimento
11:00
where we filmedfilmata a bagBorsa of candycaramella
182
648034
1695
abbiamo filmato
un pacco di caramelle
11:01
while a nearbynelle vicinanze loudspeakeraltoparlante playedgiocato
183
649729
1741
mentre da un altoparlante vicino
11:03
the samestesso "MaryMaria Had a Little LambAgnello"
musicmusica from before,
184
651470
2972
arrivava la musica di prima
"Mary aveva un agnellino",
11:06
but this time, we used just a regularregolare
store-boughtcomprato al supermercato cameramacchina fotografica,
185
654442
4203
ma questa volta abbiamo usato
una normale telecamera commerciale
11:10
and so in a secondsecondo, I'll playgiocare for you
the soundsuono that we recoveredrecuperati,
186
658645
3174
e in un attimo riprodurrò per voi
il suono che abbiamo recuperato.
11:13
and it's going to soundsuono
distorteddistorto this time,
187
661819
2050
Questa volta
il suono sarà distorto,
11:15
but listen and see if you can still
recognizericonoscere the musicmusica.
188
663869
2836
ma ascoltate e vedete
se riuscite a riconoscere la musica.
(Audio: "Mary aveva un agnellino")
11:19
(AudioAudio: "MaryMaria Had a Little LambAgnello")
189
667723
6223
11:37
And so, again, that soundssuoni distorteddistorto,
190
685527
3465
Il suono, certo, risulta distorto,
11:40
but what's really amazingStupefacente here
is that we were ablecapace to do this
191
688992
4386
ma è pur vero che la telecamera
che abbiamo usato
11:45
with something
that you could literallyletteralmente runcorrere out
192
693378
2626
era una di quelle
che si potevano comprare
11:48
and pickraccogliere up at a BestMeglio BuyAcquista.
193
696004
1444
al negozio sotto casa.
11:51
So at this pointpunto,
194
699122
1363
A questo punto,
11:52
a lot of people see this work,
195
700485
1974
molte persone
che vedono questo lavoro,
11:54
and they immediatelysubito think
about surveillancesorveglianza.
196
702459
3413
pensano immediatamente
ai servizi di vigilanza.
11:57
And to be fairgiusto,
197
705872
2415
E per la verità,
12:00
it's not harddifficile to imagineimmaginare how you mightpotrebbe use
this technologytecnologia to spyspia on someonequalcuno.
198
708287
4133
è molto facile immaginare di usare
questa tecnologia per spiare qualcuno.
12:04
But keep in mindmente that there's alreadygià
a lot of very maturematuro technologytecnologia
199
712420
3947
Ma ricordate che esiste già
una tecnologia molto evoluta
12:08
out there for surveillancesorveglianza.
200
716367
1579
per i sistemi di sorveglianza.
12:09
In factfatto, people have been usingutilizzando laserslaser
201
717946
2090
I laser, ad esempio, sono stati usati
12:12
to eavesdroporigliare on objectsoggetti
from a distancedistanza for decadesdecenni.
202
720036
2799
per decenni per intercettare oggetti
a distanza.
L'elemento veramente nuovo
12:15
But what's really newnuovo here,
203
723978
2025
12:18
what's really differentdiverso,
204
726003
1440
e diverso che si presenta qui
12:19
is that now we have a way
to pictureimmagine the vibrationsvibrazioni of an objectoggetto,
205
727443
4295
è un modo nuovo di raffigurare
le vibrazioni di un oggetto
12:23
whichquale gives us a newnuovo lenslente
throughattraverso whichquale to look at the worldmondo,
206
731738
3413
che ci dà una nuova lente
attraverso la quale guardare il mondo.
12:27
and we can use that lenslente
207
735151
1510
Possiamo usare questa lente
12:28
to learnimparare not just about forcesforze like soundsuono
that causecausa an objectoggetto to vibratevibrare,
208
736661
4899
non solo per imparare che forze
come il suono fanno vibrare un oggetto,
12:33
but alsoanche about the objectoggetto itselfsi.
209
741560
2288
ma anche per imparare qualcosa
sull'oggetto stesso.
Ora faccio un passo indietro
per riflettere
12:36
And so I want to take a steppasso back
210
744975
1693
12:38
and think about how that mightpotrebbe changemodificare
the waysmodi that we use videovideo,
211
746668
4249
su come ciò potrebbe cambiare
il nostro modo di usare il video.
12:42
because we usuallygeneralmente use videovideo
to look at things,
212
750917
3553
Di solito usiamo il video
per guardare degli oggetti,
12:46
and I've just shownmostrato you how we can use it
213
754470
2322
ma, come vi ho appena dimostrato,
si può usare anche
12:48
to listen to things.
214
756792
1857
per ascoltare gli oggetti.
12:50
But there's anotherun altro importantimportante way
that we learnimparare about the worldmondo:
215
758649
3971
Ma c'è un altro modo fondamentale
per conoscere il mondo
12:54
that's by interactinginteragendo with it.
216
762620
2275
ed è l'interazione.
12:56
We pushspingere and pullTirare and pokepoke and prodprod things.
217
764895
3111
Noi tiriamo, spingiamo
e tocchiamo le cose.
13:00
We shakescuotere things and see what happensaccade.
218
768006
3181
Le agitiamo e poi
stiamo a guardare cosa succede.
13:03
And that's something that videovideo
still won'tnon lo farà let us do,
219
771187
4273
Ma questo il video
non ci permette di farlo,
13:07
at leastmeno not traditionallytradizionalmente.
220
775460
2136
almeno non in modo tradizionale.
13:09
So I want to showmostrare you some newnuovo work,
221
777596
1950
Per cui voglio ora mostrarvi
un lavoro nuovo,
13:11
and this is basedbasato on an ideaidea I had
just a fewpochi monthsmesi agofa,
222
779546
2667
basato su in'idea
che ho avuto alcuni mesi fa
ed è la prima volta
che lo faccio vedere in pubblico.
13:14
so this is actuallyin realtà the first time
I've shownmostrato it to a publicpubblico audiencepubblico.
223
782213
3301
L'idea di fondo è quella
di usare le vibrazioni in un video
13:17
And the basicdi base ideaidea is that we're going
to use the vibrationsvibrazioni in a videovideo
224
785514
5363
13:22
to capturecatturare objectsoggetti in a way
that will let us interactinteragire with them
225
790877
4481
per riprendere gli oggetti in modo
che sia possibile un'interazione con essi
13:27
and see how they reactreagire to us.
226
795358
1974
e vedere in che modo reagiscono a noi.
13:31
So here'secco an objectoggetto,
227
799120
1764
Questo è un oggetto.
13:32
and in this casecaso, it's a wirefilo figurefigura
in the shapeforma of a humanumano,
228
800884
3832
In questo caso, si tratta di una figura
di ferro filato con forma umana.
13:36
and we're going to filmfilm that objectoggetto
with just a regularregolare cameramacchina fotografica.
229
804716
3088
Riprenderemo l'oggetto
con una normale telecamera.
13:39
So there's nothing specialspeciale
about this cameramacchina fotografica.
230
807804
2124
Non c'è nulla di speciale
in questa telecamera.
13:41
In factfatto, I've actuallyin realtà donefatto this
with my cellcellula phoneTelefono before.
231
809928
2961
Anzi, altre volte l'ho fatto
con il mio telefono cellulare.
13:44
But we do want to see the objectoggetto vibratevibrare,
232
812889
2252
Noi vogliamo vedere come l'oggetto vibra,
13:47
so to make that happenaccadere,
233
815141
1133
e perché ciò accada,
13:48
we're just going to bangscoppio a little bitpo
on the surfacesuperficie where it's restingriposo
234
816274
3346
andremo a colpire leggermente
la superficie sulla quale si trova
13:51
while we recorddisco this videovideo.
235
819620
2138
mentre giriamo il video.
13:59
So that's it: just fivecinque secondssecondi
of regularregolare videovideo,
236
827398
3671
E questo è tutto: cinque secondi
di normale ripresa,
14:03
while we bangscoppio on this surfacesuperficie,
237
831069
2136
mentre la superficie viene percossa
14:05
and we're going to use
the vibrationsvibrazioni in that videovideo
238
833205
3513
e poi useremo le vibrazioni
presenti nel video
14:08
to learnimparare about the structuralstrutturale
and materialMateriale propertiesproprietà of our objectoggetto,
239
836718
4544
per conoscere le proprietà strutturali
e materiali del nostro oggetto.
14:13
and we're going to use that informationinformazione
to createcreare something newnuovo and interactiveinterattivo.
240
841262
4834
Useremo quelle informazioni per creare
qualcosa di nuovo e interattivo.
14:24
And so here'secco what we'venoi abbiamo createdcreato.
241
852866
2653
Ed ecco la nostra creazione.
14:27
And it lookssembra like a regularregolare imageImmagine,
242
855519
2229
All'apparenza
è una normalissima immagine
14:29
but this isn't an imageImmagine,
and it's not a videovideo,
243
857748
3111
eppure non è un'immagine
e neanche un video
14:32
because now I can take my mousetopo
244
860859
2368
perché ora io posso prendere il mouse
14:35
and I can startinizio interactinginteragendo
with the objectoggetto.
245
863227
2859
e iniziare a interagire
con l'oggetto.
14:44
And so what you see here
246
872936
2357
Quella che vedete
è una simulazione di come quest'oggetto
14:47
is a simulationsimulazione of how this objectoggetto
247
875389
2226
14:49
would respondrispondere to newnuovo forcesforze
that we'venoi abbiamo never seenvisto before,
248
877615
4458
risponderebbe a forze nuove
e sconosciute,
14:54
and we createdcreato it from just
fivecinque secondssecondi of regularregolare videovideo.
249
882073
3633
una creazione fatta grazie a un normale
video di cinque secondi.
(Applauso)
14:59
(ApplauseApplausi)
250
887249
4715
15:09
And so this is a really powerfulpotente
way to look at the worldmondo,
251
897421
3227
Questa visione del mondo
è davvero efficace
15:12
because it letslascia us predictpredire
how objectsoggetti will respondrispondere
252
900648
2972
perché ci consente di prevedere
come gli oggetti risponderanno
15:15
to newnuovo situationssituazioni,
253
903620
1823
a situazioni nuove.
15:17
and you could imagineimmaginare, for instanceesempio,
looking at an oldvecchio bridgeponte
254
905443
3473
Immaginate, ad esempio,
di guardare un vecchio ponte
15:20
and wonderingchiedendosi what would happenaccadere,
how would that bridgeponte holdtenere up
255
908916
3527
chiedendovi cosa succederebbe
e se quel ponte reggerebbe
15:24
if I were to driveguidare my carauto acrossattraverso it.
256
912443
2833
passandoci sopra con la macchina.
15:27
And that's a questiondomanda
that you probablyprobabilmente want to answerrisposta
257
915276
2774
Un interrogativo al quale certamente
vorreste rispondere
15:30
before you startinizio drivingguida
acrossattraverso that bridgeponte.
258
918050
2560
prima di cominciare
ad attraversare il ponte.
15:33
And of coursecorso, there are going to be
limitationslimitazioni to this techniquetecnica,
259
921988
3272
Naturalmente ci saranno dei limiti
a questa tecnica,
15:37
just like there were
with the visualvisivo microphonemicrofono,
260
925260
2462
esattamente
come per il microfono visivo,
15:39
but we foundtrovato that it workslavori
in a lot of situationssituazioni
261
927722
3181
ma abbiamo sperimentato che funziona
in molte situazioni
15:42
that you mightpotrebbe not expectaspettarsi,
262
930903
1875
in cui non ce lo aspetteremmo,
15:44
especiallyparticolarmente if you give it longerpiù a lungo videosvideo.
263
932778
2768
specie se si fanno video più lunghi.
15:47
So for exampleesempio,
here'secco a videovideo that I capturedcaptured
264
935546
2508
Questo, ad esempio,
è il video di un cespuglio
15:50
of a bushcespuglio outsideal di fuori of my apartmentappartamento,
265
938054
2299
girato fuori casa mia.
15:52
and I didn't do anything to this bushcespuglio,
266
940353
3088
Nulla è stato fatto a questo cespuglio
15:55
but by capturingcattura a minute-longminuto-lungo videovideo,
267
943441
2705
se non girare un video di un minuto.
15:58
a gentledolce breezebrezza causedcausato enoughabbastanza vibrationsvibrazioni
268
946146
3378
Una sottile brezza ha causato
vibrazioni sufficienti
16:01
that we could learnimparare enoughabbastanza about this bushcespuglio
to createcreare this simulationsimulazione.
269
949524
3587
a farci imparare quanto era necessario
per creare questa simulazione.
16:07
(ApplauseApplausi)
270
955270
6142
(Applausi)
16:13
And so you could imagineimmaginare givingdando this
to a filmfilm directordirettore,
271
961412
2972
Immaginate questa tecnologia
nelle mani di un regista
16:16
and lettinglocazione him controlcontrollo, say,
272
964384
1719
per controllare, ad esempio,
16:18
the strengthforza and directiondirezione of windvento
in a shottiro after it's been recordedregistrato.
273
966103
4922
la forza e la direzione del vento
di una scena dopo che è stata girata.
16:24
Or, in this casecaso, we pointedappuntito our cameramacchina fotografica
at a hangingsospeso curtaintenda,
274
972810
4535
In questo caso, abbiamo puntato
la telecamera verso una tenda
16:29
and you can't even see
any motionmovimento in this videovideo,
275
977345
4129
e, vedete, non c'è alcun movimento
in questo video.
16:33
but by recordingregistrazione a two-minute-longdue-minuti-lungo videovideo,
276
981474
2925
Ma girando per due minuti,
16:36
naturalnaturale airaria currentscorrenti in this roomcamera
277
984399
2438
le naturali correnti d'aria nella stanza
16:38
createdcreato enoughabbastanza subtlesottile,
imperceptibleimpercettibile motionsmovimenti and vibrationsvibrazioni
278
986837
4412
hanno creato impercettibili movimenti
e vibrazioni sufficienti
16:43
that we could learnimparare enoughabbastanza
to createcreare this simulationsimulazione.
279
991249
2565
da farci imparare quanto basta
per creare questa simulazione.
16:48
And ironicallyironicamente,
280
996243
2366
E paradossalmente,
16:50
we're kindgenere of used to havingavendo
this kindgenere of interactivityinterattività
281
998609
3088
noi siamo abbastanza abituati
a questo tipo di interattività
16:53
when it comesviene to virtualvirtuale objectsoggetti,
282
1001697
2647
quando si tratta di oggetti virtuali,
16:56
when it comesviene to videovideo gamesi giochi
and 3D modelsModelli,
283
1004344
3297
video game
e modelli tridimensionali,
16:59
but to be ablecapace to capturecatturare this informationinformazione
from realvero objectsoggetti in the realvero worldmondo
284
1007641
4404
ma riuscire a carpire queste informazioni
da oggetti reali nel mondo reale
17:04
usingutilizzando just simplesemplice, regularregolare videovideo,
285
1012045
2817
per mezzo di semplici video,
17:06
is something newnuovo that has
a lot of potentialpotenziale.
286
1014862
2183
è un fatto nuovo
con potenzialità enormi.
17:10
So here are the amazingStupefacente people
who workedlavorato with me on these projectsprogetti.
287
1018410
4904
Ecco le persone straordinarie che hanno
lavorato con me su questi progetti.
17:16
(ApplauseApplausi)
288
1024057
5596
(Applausi)
Quello che vi ho mostrato oggi
è solo il principio.
17:24
And what I've shownmostrato you todayoggi
is only the beginninginizio.
289
1032819
3057
Abbiamo solo cominciato
a scalfire la superficie
17:27
We'veAbbiamo just startediniziato to scratchgraffiare the surfacesuperficie
290
1035876
2113
17:29
of what you can do
with this kindgenere of imagingdi imaging,
291
1037989
2972
di ciò che è possibile fare
con questo tipo di imaging
17:32
because it gives us a newnuovo way
292
1040961
2286
che ci dà un nuovo modo
di catturare il mondo circostante
con una tecnologia comune, accessibile.
17:35
to capturecatturare our surroundingsdintorni
with commonComune, accessibleaccessibile technologytecnologia.
293
1043342
4724
17:40
And so looking to the futurefuturo,
294
1048066
1929
Guardando al futuro, credo
17:41
it's going to be
really excitingemozionante to exploreEsplorare
295
1049995
2037
che sarà davvero
interessante esplorare
17:44
what this can tell us about the worldmondo.
296
1052032
1856
ciò che questa tecnologia
saprà dirci del mondo.
17:46
Thank you.
297
1054381
1204
Grazie.
17:47
(ApplauseApplausi)
298
1055610
6107
(Applauso)
Translated by Patrizia Romeo Tomasini
Reviewed by Elena Montrasio

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com