TED2012
Jared Ficklin: New ways to see music (with color! and fire!)
Jared Ficklin: Nuovi modi per vedere la musica (con i colori! e il fuoco!)
Filmed:
Readability: 4
711,217 views
Il designer Jared Ficklin crea immagini stravaganti che ci permettono di vedere la musica, usando colori e persino il fuoco (una novità per il palco TED) per analizzare come ci fa sentire la musica. Fa una piccola digressione per analizzare il suono di uno skatepark -- e come l'audio può dare degli spunti per sviluppare creatività .
Jared Ficklin - Visualizer
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
Double-click the English transcript below to play the video.
00:16
My passions
0
449
1033
Le mie passioni
00:17
are music, technology and making things.
1
1482
3689
sono la musica, la tecnologia e creare cose.
00:21
And it's the combination of these things
2
5171
3183
Ed è l'insieme di queste cose
00:24
that has led me to the hobby of sound visualization,
3
8354
2696
che mi ha portato all'hobby della visualizzazione sonora,
00:26
and, on occasion, has led me to play with fire.
4
11050
4078
e, in certe occasioni, mi ha portato a giocare con il fuoco.
00:31
This is a Rubens' tube. It's one of many I've made over the years,
5
15128
2377
Questo è il tubo di Rubens. È uno dei tanti che ho creato negli anni,
00:33
and I have one here tonight.
6
17505
1746
e ne ho portato qui uno stasera.
00:35
It's about an 8-foot-long tube of metal,
7
19251
1525
È un tubo di metallo lungo circa 2 metri e mezzo,
00:36
it's got a hundred or so holes on top,
8
20776
1335
ha circa un centinaio di fori nella parte superiore,
00:38
on that side is the speaker, and here
9
22111
1753
su quel lato c'è l'altoparlante, e qui
00:39
is some lab tubing, and it's connected to this tank
10
23864
2176
ci sono alcuni cilindri da laboratorio, ed è connesso a questa tanica
00:41
of propane.
11
26040
1601
di propano.
00:44
So, let's fire it up and see what it does.
12
29087
3369
Bene, accendiamolo e vediamo che cosa fa.
00:53
So let's play a 550-herz frequency
13
37887
1891
Ora produciamo un suono di 550 Hertz di frequenza
00:55
and watch what happens.
14
39778
1515
e vediamo cosa succede.
00:57
(Frequency)
15
41342
8483
(Frequenza)
01:05
Thank you. (Applause)
16
49825
2713
Grazie. (Applausi)
01:08
It's okay to applaud the laws of physics,
17
52538
1988
Va bene applaudire alle leggi della fisica,
01:10
but essentially what's happening here
18
54526
1456
ma sostanzialmente, quello che succede qui
01:11
-- (Laughter) --
19
55982
1760
-- (Risate) --
01:13
is the energy from the sound via the air and gas molecules
20
57742
4008
è che l'energia del suono tramite l'aria e le molecole del gas
01:17
is influencing the combustion properties of propane,
21
61750
2504
influenzano le proprietà di combustione del propano,
01:20
creating a visible waveform,
22
64254
1904
creando un'onda visibile,
01:22
and we can see the alternating regions of compression
23
66158
2320
e possiamo vedere l'alternanza di zone di compressione
01:24
and rarefaction that we call frequency,
24
68478
2040
e la rarefazione che chiamiamo frequenza,
01:26
and the height is showing us amplitude.
25
70518
1744
e l'altezza ci mostra l'ampiezza.
01:28
So let's change the frequency of the sound,
26
72262
2328
Ora cambiamo le frequenza del suono,
01:30
and watch what happens to the fire.
27
74590
1425
e guardiamo cosa succede al fuoco.
01:31
(Higher frequency)
28
76015
10130
(Frequenza più alta)
01:42
So every time we hit a resonant frequency we get a standing wave
29
86145
3350
Per cui ogni volta che tocchiamo una frequenza risonante otteniamo un'onda stazionaria
01:45
and that emergent sine curve of fire.
30
89495
1700
e quella curva sinusoidale del fuoco.
01:47
So let's turn that off. We're indoors.
31
91195
1578
Spegniamo. Siamo al chiuso.
01:48
Thank you. (Applause)
32
92773
5591
Grazie. (Applausi)
01:54
I also have with me a flame table.
33
98364
2347
Ho portato anche un tavolo a fiamme.
01:56
It's very similar to a Rubens' tube, and it's also used
34
100711
1565
È molto simile al tubo di Rubens, ed viene anch'esso usato
01:58
for visualizing the physical properties of sound,
35
102276
2121
per visualizzare le proprietà fisiche del suono,
02:00
such as eigenmodes, so let's fire it up
36
104397
1968
tipo l'autostato, per cui accendiamolo
02:02
and see what it does.
37
106365
2250
e vediamo cosa fa.
02:08
Ooh. (Laughter)
38
112292
4468
Ooh. (Risate)
02:12
Okay. Now, while the table comes up to pressure,
39
116760
2974
OK. Ora, mentre il tavolo raggiunge la pressione,
02:15
let me note here that the sound is not traveling
40
119734
1672
notiamo che il suono non viaggia
02:17
in perfect lines. It's actually traveling in all directions,
41
121406
2746
in moto rettilineo. Ma viaggia in tutte le direzioni,
02:20
and the Rubens' tube's a little like bisecting those waves
42
124152
3109
e il tubo di Rubens, funziona un pò come se stesse bisezionando quelle onde
02:23
with a line, and the flame table's a little like
43
127261
1996
con una linea, e il tavolo a fiamme funziona un pò
02:25
bisecting those waves with a plane,
44
129257
1854
come se stesse bisezionando quelle onde con un piano,
02:27
and it can show a little more subtle complexity, which is why
45
131111
4000
e mostra una certa complessità nascosta, motivo per cui
02:31
I like to use it to watch Geoff Farina play guitar.
46
135111
2353
mi piace usarlo per guardare Goeff Farina suonare la chitarra.
02:33
(Music)
47
137464
42281
(Musica)
03:15
All right, so it's a delicate dance.
48
179745
1765
Bene, quindi è una danza delicata.
03:17
If you watch closely — (Applause)
49
181510
2545
Se guardate con attenzione - (Applausi)
03:19
If you watch closely, you may have seen
50
184055
2767
Se guardate con attenzione, avrete notato
03:22
some of the eigenmodes, but also you may have seen
51
186822
2472
alcune degli autostati, ma avrete anche visto
03:25
that jazz music is better with fire.
52
189294
4617
che la musica jazz è meglio con il fuoco.
03:29
Actually, a lot of things are better with fire in my world,
53
193911
2010
Anzi, nel mio mondo molte cose sono migliori col fuoco,
03:31
but the fire's just a foundation.
54
195921
2432
ma il fuoco è solo il punto di partenza.
03:34
It shows very well that eyes can hear,
55
198353
1148
Mostra molto bene come gli occhi possano sentire,
03:35
and this is interesting to me because
56
199501
1395
e questo per me è interessante perchè
03:36
technology allows us to present sound to the eyes
57
200896
2854
la tecnologia ci permette di mostrare il suono agli occhi
03:39
in ways that accentuate the strength of the eyes
58
203750
2863
in modi che accentuano la forza degli occhi
03:42
for seeing sound, such as the removal of time.
59
206613
2697
nel vedere i suoni, per esempio rimuovendo il tempo.
03:45
So here, I'm using a rendering algorithm to paint
60
209310
3384
Qui sto usando un algoritmo di rendering per colorare
03:48
the frequencies of the song "Smells Like Teen Spirit"
61
212694
2463
le frequenze della canzone "Smells Like Teen Spirit"
03:51
in a way that the eyes can take them in
62
215157
2040
in modo che gli occhi possano vederle
03:53
as a single visual impression, and the technique
63
217197
2244
come una singola immagine, e la tecnica
03:55
will also show the strengths of the visual cortex
64
219441
1973
mostra anche la potenza della corteccia visiva
03:57
for pattern recognition.
65
221414
1616
per il riconoscimento di un motivo.
03:58
So if I show you another song off this album,
66
223030
1879
Se vi mostro un'altra canzone tratta da questo album,
04:00
and another, your eyes will easily pick out
67
224909
3481
e un'altra, i vostro occhi individueranno facilmente
04:04
the use of repetition by the band Nirvana,
68
228390
2928
l'uso della ripetizione dei Nirvana,
04:07
and in the frequency distribution, the colors,
69
231318
1857
e nella distribuzione della frequenza, i colori,
04:09
you can see the clean-dirty-clean sound
70
233175
3048
vedete il suono pulito-sporco-pulito
04:12
that they are famous for,
71
236223
1207
per il quale sono famosi,
04:13
and here is the entire album as a single visual impression,
72
237430
4000
ed ecco l'intero album in una singola immagine,
04:17
and I think this impression is pretty powerful.
73
241430
1880
e penso che questa immagine sia piuttosto efficace.
04:19
At least, it's powerful enough that
74
243310
1714
O almeno, è così efficace
04:20
if I show you these four songs,
75
245024
1342
che se vi mostro queste 4 canzoni,
04:22
and I remind you that this is "Smells Like Teen Spirit,"
76
246366
2441
e vi ricordo che questa è "Smells Line Teeen Spirit",
04:24
you can probably correctly guess, without listening
77
248807
2319
potrete probabilmente indovinare senza ascoltare
04:27
to any music at all, that the song
78
251126
1434
nessuna musica, che la canzone
04:28
a die hard Nirvana fan would enjoy is this song,
79
252560
2294
che un appassionato dei Nirvana si godrebbe è questa canzone,
04:30
"I'll Stick Around" by the Foo Fighters,
80
254854
2256
"I'll Stick Around" dei Foo Fighters,
04:33
whose lead singer is Dave Grohl,
81
257110
2000
con il solista Dave Grohl,
04:35
who was the drummer in Nirvana.
82
259110
3778
che era il batterista dei Nirvana.
04:38
The songs are a little similar, but mostly
83
262888
1300
Le canzoni sono piuttosto simili, ma più che altro
04:40
I'm just interested in the idea that someday maybe
84
264188
1626
io sono interessato all'idea che un giorno forse
04:41
we'll buy a song because we like the way it looks.
85
265814
4412
compreremo una canzone perché ci piace il suo aspetto.
04:46
All right, now for some more sound data.
86
270226
1100
OK, adesso vediamo altri dati sonori.
04:47
This is data from a skate park,
87
271326
2652
Questi sono dati di una skatepark,
04:49
and this is Mabel Davis skate park
88
273978
2032
e questo è lo skatepark di Mable Davis
04:51
in Austin, Texas. (Skateboard sounds)
89
276010
2142
ad Austin, Texas. (Suoni di skateboard)
04:54
And the sounds you're hearing came from eight
90
278152
1374
E i suoni che state sentendo vengono da
04:55
microphones attached to obstacles around the park,
91
279526
2216
8 microfoni attaccati agli ostacoli presenti nel parco,
04:57
and it sounds like chaos, but actually
92
281742
2184
ed è il suono del caos, mentre in effetti
04:59
all the tricks start with a very distinct slap,
93
283926
3347
tutte le acrobazie cominciano con una botta,
05:03
but successful tricks end with a pop,
94
287273
1604
ma le acrobazie ben riuscite finiscono con un pop,
05:04
whereas unsuccessful tricks
95
288877
1793
mentre le acrobazie malriuscite
05:06
more of a scratch and a tumble,
96
290670
1856
più con un strisciata o un capitombolo,
05:08
and tricks on the rail will ring out like a gong, and
97
292526
4010
e le acrobazie sulla ringhiera hanno il suono di un gong, e
05:12
voices occupy very unique frequencies in the skate park.
98
296536
2790
le voci hanno delle frequenze davvero uniche in uno skatepark.
05:15
So if we were to render these sounds visually,
99
299326
1938
Per cui se volessimo tradurre i suoni in immagini,
05:17
we might end up with something like this.
100
301264
1407
ci potremmo ritrovare con qualcosa del genere.
05:18
This is all 40 minutes of the recording,
101
302671
2456
Questo è l'intera registrazione di 40 minuti,
05:21
and right away the algorithm tells us
102
305127
2160
e subito l'algoritmo ci dice che
05:23
a lot more tricks are missed than are made,
103
307287
2073
sono più le acrobazie malriuscite rispetto a quelle riuscite
05:25
and also a trick on the rails is a lot more likely
104
309360
2335
e anche che le acrobazie sulle ringhiere ricevono
05:27
to produce a cheer, and if you look really closely,
105
311695
2872
più facilmente un'ovazione, e se guardate davvero attentamente,
05:30
we can tease out traffic patterns.
106
314567
1733
potete identificare gli schemi del traffico.
05:32
You see the skaters often trick in this direction. The obstacles are easier.
107
316300
6087
Vedete che gli acrobati spesso fanno le acrobazie in questa direzione. Gli ostacoli sono più facili.
05:38
And in the middle of the recording, the mics pick this up,
108
322387
1705
E nel bel mezzo della registrazione, i microfoni lo rilevano
05:39
but later in the recording, this kid shows up,
109
324092
2804
ma più avanti nella registrazione, arriva questo ragazzo,
05:42
and he starts using a line at the top of the park
110
326896
2928
e comincia a usare un tratto all'inizio del parco
05:45
to do some very advanced tricks on something
111
329824
1802
per fare delle acrobazie più avanzate su una cosa
05:47
called the tall rail.
112
331626
1103
chiamata la ringhiera alta.
05:48
And it's fascinating. At this moment in time,
113
332729
1872
Ed è sorprendente. In questo esatto momento,
05:50
all the rest of the skaters turn their lines 90 degrees
114
334601
3503
tutti gli acrobati ruotano le loro traiettorie di 90 gradi
05:54
to stay out of his way.
115
338104
1778
per non ostacolarlo.
05:55
You see, there's a subtle etiquette in the skate park,
116
339882
2543
Vedete, c'è una convezione non scritta negli skatepark,
05:58
and it's led by key influencers,
117
342425
1600
ed è gestita da figure chiave,
05:59
and they tend to be the kids who can do the best tricks,
118
344025
3248
che di solito sono i ragazzi che riescono a fare le acrobazie migliori,
06:03
or wear red pants, and on this day the mics picked that up.
119
347273
2430
o che vestono pantaloni rossi, e quel giorno i microfoni lo hanno rilevato.
06:05
All right, from skate physics to theoretical physics.
120
349703
3901
OK, dalla fisica degli skateboard alla fisica teorica.
06:09
I'm a big fan of Stephen Hawking,
121
353604
1616
Io sono un grande fan di Stephen Hawking,
06:11
and I wanted to use all eight hours
122
355220
1336
e ho voluto usare tutte le 8 ore
06:12
of his Cambridge lecture series to create an homage.
123
356556
2587
della sua serie di lezioni a Cambridge per creare un omaggio.
06:15
Now, in this series he's speaking with the aid of a computer,
124
359143
3064
In questa serie, lui parla aiutato da un computer,
06:18
which actually makes identifying the ends of sentences
125
362207
3104
che permette di identificare la fine delle frasi
06:21
fairly easy. So I wrote a steering algorithm.
126
365311
3426
abbastanza facilmente. Così ho scritto un algoritmo guida.
06:24
It listens to the lecture, and then it uses
127
368737
1960
Ascolta le lezioni, e poi usa
06:26
the amplitude of each word to move a point on the x-axis,
128
370697
2687
l'ampiezza di ogni parola per muovere un punto su l'asse delle x,
06:29
and it uses the inflection of sentences
129
373384
2633
e usa l'intonazione delle frasi
06:31
to move a same point up and down on the y-axis.
130
376017
2154
per muovere lo stesso punto lungo l'asse delle y.
06:34
And these trend lines, you can see, there's more questions
131
378171
2774
E da queste tendenze vedete che ci sono piu' domande
06:36
than answers in the laws of physics,
132
380945
1870
che risposte nelle leggi della fisica
06:38
and when we reach the end of a sentence,
133
382815
2033
e quando arriviamo alla fine di una frase,
06:40
we place a star at that location.
134
384848
2335
posizioniamo una stella in quel punto.
06:43
So there's a lot of sentences, so a lot of stars,
135
387183
2800
Così ci sono molte frasi, e di conseguenza molte stelle,
06:45
and after rendering all of the audio, this is what we get.
136
389983
2356
e alla fine della visualizzazione di tutto l'audio, questo è quello che otteniamo.
06:48
This is Stephen Hawking's universe.
137
392339
2929
Questo è l'universo di Stephen Hawking.
06:51
(Applause)
138
395268
6937
(Applausi)
06:58
It's all eight hours of the Cambridge lecture series
139
402205
2487
Questo è l'intera serie di 8 ore di lezione a Cambridge
07:00
taken in as a single visual impression,
140
404692
1848
visualizzate in una sola immagine,
07:02
and I really like this image,
141
406540
1757
e questa immagine mi piace molto,
07:04
but a lot of people think it's fake.
142
408297
1808
ma molte persone pensano sia finta.
07:06
So I made a more interactive version,
143
410105
2344
Per cui ho creato una versione più interattiva,
07:08
and the way I did that is I used their position in time
144
412449
5456
e l'ho fatto usando la loro posizione temporale
07:13
in the lecture to place these stars into 3D space,
145
417905
2367
durante le lezioni per posizionare le stelle in uno spazio in 3D,
07:16
and with some custom software and a Kinect,
146
420272
2401
e con software dedicati e un Kinect,
07:18
I can walk right into the lecture.
147
422673
2663
posso camminare dentro la lezione.
07:21
I'm going to wave through the Kinect here
148
425336
1800
Mi metto a salutare attraverso il Kinect
07:23
and take control, and now I'm going to reach out
149
427136
1832
e prendo il controllo, e ora mi allungo
07:24
and I'm going to touch a star, and when I do,
150
428968
3239
e vado a toccare una stella, e facendolo
07:28
it will play the sentence
151
432207
1944
faccio partire la frase
07:30
that generated that star.
152
434151
1465
che ha generato quella stella.
07:31
Stephen Hawking: There is one, and only one, arrangement
153
435616
3816
Stephen Hawking: C'è una, ed una sola disposizione
07:35
in which the pieces make a complete picture.
154
439432
2799
in cui i pezzi formano una figura completa.
07:38
Jared Ficklin: Thank you. (Applause)
155
442231
4148
Jared Ficklin: Grazie. (Applausi)
07:42
There are 1,400 stars.
156
446379
3173
Ci sono 1400 stelle.
07:45
It's a really fun way to explore the lecture,
157
449552
1664
È un modo molto divertente di esplorare la lezione,
07:47
and, I hope, a fitting homage.
158
451216
1467
e, spero, un omaggio adeguato.
07:48
All right. Let me close with a work in progress.
159
452683
5472
Bene. Fatemi concludere con un lavoro in corso.
07:54
I think, after 30 years, the opportunity exists
160
458155
2983
Dopo 30 anni penso che esista la possibilità
07:57
to create an enhanced version of closed captioning.
161
461138
2104
di creare una versione avanzata della sottotitolatura.
07:59
Now, we've all seen a lot of TEDTalks online,
162
463242
2119
Abbiamo visto molti dei TEDTalks online,
08:01
so let's watch one now with the sound turned off
163
465361
2927
per cui guardiamone uno con l'audio spento
08:04
and the closed captioning turned on.
164
468288
3922
e con i sottotitoli.
08:08
There's no closed captioning for the TED theme song,
165
472210
2146
Non ci sono sottotitoli per la colonna sonora di TED,
08:10
and we're missing it, but if you've watched enough of these,
166
474356
2113
per cui ce la perdiamo, ma se ne avete visti parecchi,
08:12
you hear it in your mind's ear,
167
476469
1369
la sentite nell'orecchio della vostra mente,
08:13
and then applause starts.
168
477838
2983
e poi inizia l'applauso.
08:16
It usually begins here, and it grows and then it falls.
169
480821
2190
Di solito comincia qui, cresce e poi si spegne.
08:18
Sometimes you get a little star applause,
170
483011
1977
A volte c'è anche un piccolo applauso da star,
08:20
and then I think even Bill Gates takes a nervous breath,
171
484988
2486
e poi penso che anche Bill Gates fa un respiro nervoso,
08:23
and the talk begins.
172
487474
1690
e l'intervento comincia.
08:25
All right, so let's watch this clip again.
173
489164
5698
Ok, riguardiamo questo video.
08:30
This time, I'm not going to talk at all.
174
494862
1256
Questa volta, non dirò una parola.
08:32
There's still going to be no audio,
175
496118
1367
E di nuovo non ci sarà l'audio,
08:33
but what I am going to do is I'm going to render the sound
176
497485
1904
ma quello che farò è interpretare il suono
08:35
visually in real time at the bottom of the screen.
177
499389
4316
visivamente in tempo reale alla base dello schermo.
08:39
So watch closely and see what your eyes can hear.
178
503705
2791
Per cui guardate con attenzione e vedete cosa i vostri occhi riescono a sentire.
09:03
This is fairly amazing to me.
179
527880
1880
Secondo me è piuttosto straordinario.
09:05
Even on the first view, your eyes will successfully
180
529760
3333
Già dalla prima visione, i vostri occhi noteranno facilmente dei
09:08
pick out patterns, but on repeated views,
181
533093
3088
motivi, ma riguardando più volte,
09:12
your brain actually gets better
182
536181
1689
il vostro cervello impara
09:13
at turning these patterns into information.
183
537870
1656
a convertire questi motivi in informazioni.
09:15
You can get the tone and the timbre
184
539526
1591
Riuscite a percepire il tono e il timbro
09:17
and the pace of the speech,
185
541117
1223
e l'andamento del discorso,
09:18
things that you can't get out of closed captioning.
186
542340
2064
cose che non si percepiscono tramite i sottotitoli.
09:20
That famous scene in horror movies
187
544404
2184
Quella famosa scena dei film dell'orrore
09:22
where someone is walking up from behind
188
546588
2648
in cui qualcuno si avvicina da dietro
09:25
is something you can see,
189
549236
1960
è una cosa che si puo' vedere,
09:27
and I believe this information would be something
190
551196
2704
e io credo che questa informazione sarebbe qualcosa
09:29
that is useful at times when the audio is turned off
191
553900
2803
di molto utile nei momenti in cui l'audio è spento
09:32
or not heard at all, and I speculate that deaf audiences
192
556703
2941
o non si sente, e suppongo che un pubblico non udente
09:35
might actually even be better
193
559644
1177
sarebbe anche più bravo a vedere il suono
09:36
at seeing sound than hearing audiences.
194
560821
1781
rispetto ad un pubblico che riesce a sentire.
09:38
I don't know. It's a theory right now.
195
562602
1498
Non so. Per ora è solo teoria.
09:40
Actually, it's all just an idea.
196
564100
1521
Anzi, è semplicemente un'idea.
09:41
And let me end by saying that sound moves in all directions,
197
565621
4191
E fatemi finire dicendo che il suono si muove in tutte le direzioni,
09:45
and so do ideas.
198
569812
1977
così come le idee.
09:47
Thank you. (Applause)
199
571789
3112
Grazie. (Applausi)
ABOUT THE SPEAKER
Jared Ficklin - VisualizerIn his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire.
Why you should listen
Jared Ficklin is a Senior Principal Design Technologist at frog, where he builds user experiences for clients, playing with interactions including touch and multi-touch, and applying physics to enhance the user experience. A passion for music and making things introduced him to the hobby of sound visualization, which has led him on occasion to play with fire. (As Flash on the Beach puts it, "Jared Ficklin’s sonic experiments stood out for their individuality, drama and casual disregard for health and safety.") Every March in Austin, Texas, Ficklin organizes the frog party, a collective social experiment for a few thousand people attending SXSW Interactive. It's a form of playful R&D for social technology. And he has spent 10 years helping fund, design and build quality free public skateparks for Austin as part of the Austin Public Skatepark Action Committee.
Jared Ficklin | Speaker | TED.com