TED2012
Jared Ficklin: New ways to see music (with color! and fire!)
Jared Ficklin: Novas maneiras de ver a música (usando cores! e o fogo!)
Filmed:
Readability: 4
711,217 views
O designer Jared Ficklin cria visualizações surpreendentes que nos permitem ver a música, usando as cores e até o fogo (uma novidade no palco do TED) para analisar como o som nos faz sentir. Ele faz uma breve digressão para analisar o som de uma pista de skate -- e como o áudio pode nos guiar no desenvolvimento da nossa criatividade.
Jared Ficklin - Visualizer
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
Double-click the English transcript below to play the video.
00:16
My passions
0
449
1033
Minhas paixões
00:17
are music, technology and making things.
1
1482
3689
são música, tecnologia e construir coisas.
00:21
And it's the combination of these things
2
5171
3183
E foi a combinação dessas coisas
00:24
that has led me to the hobby of sound visualization,
3
8354
2696
que me levou ao hobby de visualização do som,
00:26
and, on occasion, has led me to play with fire.
4
11050
4078
me levando, por vezes, a brincar com fogo.
00:31
This is a Rubens' tube. It's one of many I've made over the years,
5
15128
2377
Este é o tubo de Rubens. Um dos muitos que construí ao longo dos anos,
00:33
and I have one here tonight.
6
17505
1746
e eu tenho um aqui esta noite.
00:35
It's about an 8-foot-long tube of metal,
7
19251
1525
É um tubo de metal de aproximadamente 2,5 metros de comprimento.
00:36
it's got a hundred or so holes on top,
8
20776
1335
Ele tem uns cem buracos na parte de cima,
00:38
on that side is the speaker, and here
9
22111
1753
naquele lado tem um alto-falante, e aqui
00:39
is some lab tubing, and it's connected to this tank
10
23864
2176
tem um tubo de laboratório conectado a este tanque
00:41
of propane.
11
26040
1601
de propano.
00:44
So, let's fire it up and see what it does.
12
29087
3369
Então, vamos acender e ver o que acontece.
00:53
So let's play a 550-herz frequency
13
37887
1891
Vamos tocar uma frequência de 550 hertz
00:55
and watch what happens.
14
39778
1515
e observar o que acontece.
00:57
(Frequency)
15
41342
8483
(Frequência)
01:05
Thank you. (Applause)
16
49825
2713
Obrigado. (Aplausos)
01:08
It's okay to applaud the laws of physics,
17
52538
1988
Tudo bem aplaudir as leis da física,
01:10
but essentially what's happening here
18
54526
1456
mas basicamente o que está acontecendo aqui
01:11
-- (Laughter) --
19
55982
1760
-- (Risos) --
01:13
is the energy from the sound via the air and gas molecules
20
57742
4008
é que a energia do som através do ar e as moléculas de gás
01:17
is influencing the combustion properties of propane,
21
61750
2504
está influenciando as propriedades de combustão do propano,
01:20
creating a visible waveform,
22
64254
1904
criando uma forma visível de onda,
01:22
and we can see the alternating regions of compression
23
66158
2320
e nós podemos ver as regiões de alternância da compressão
01:24
and rarefaction that we call frequency,
24
68478
2040
e rarefação que chamamos de frequência,
01:26
and the height is showing us amplitude.
25
70518
1744
e a altura está nos mostrando amplitude.
01:28
So let's change the frequency of the sound,
26
72262
2328
Então vamos mudar a frequência do som,
01:30
and watch what happens to the fire.
27
74590
1425
e observar o que acontece com o fogo.
01:31
(Higher frequency)
28
76015
10130
(Frequência mais alta)
01:42
So every time we hit a resonant frequency we get a standing wave
29
86145
3350
Cada vez que alcançamos uma frequência ressonante, nós obtemos uma onda estacionária
01:45
and that emergent sine curve of fire.
30
89495
1700
e aquela curva senoidal que emerge do fogo.
01:47
So let's turn that off. We're indoors.
31
91195
1578
Bem, vamos desligar isso. Afinal de contas, estamos num ambiente fechado.
01:48
Thank you. (Applause)
32
92773
5591
Obrigado. (Aplausos)
01:54
I also have with me a flame table.
33
98364
2347
Eu também tenho comigo uma mesa de chamas.
01:56
It's very similar to a Rubens' tube, and it's also used
34
100711
1565
É muito parecida com um tubo de Rubens, e também é usada
01:58
for visualizing the physical properties of sound,
35
102276
2121
para visualizar as propriedades físicas do som,
02:00
such as eigenmodes, so let's fire it up
36
104397
1968
tais como suas vibrações e oscilações. Então, vamos acendê-la
02:02
and see what it does.
37
106365
2250
e ver o que acontece.
02:08
Ooh. (Laughter)
38
112292
4468
Opa. (Risos)
02:12
Okay. Now, while the table comes up to pressure,
39
116760
2974
OK, agora, enquanto a mesa alcança a pressão necessária,
02:15
let me note here that the sound is not traveling
40
119734
1672
eu chamaria a atenção aqui para o fato de que o som não está viajando
02:17
in perfect lines. It's actually traveling in all directions,
41
121406
2746
em linhas perfeitas. Na verdade viaja em todas as direções,
02:20
and the Rubens' tube's a little like bisecting those waves
42
124152
3109
e o tubo de Rubens está meio que cortando aquelas ondas
02:23
with a line, and the flame table's a little like
43
127261
1996
com uma linha, e a mesa de chamas está meio que
02:25
bisecting those waves with a plane,
44
129257
1854
cortando aquelas ondas com um plano,
02:27
and it can show a little more subtle complexity, which is why
45
131111
4000
e ela pode mostrar uma complexidade um pouco mais sutil, razão pela qual
02:31
I like to use it to watch Geoff Farina play guitar.
46
135111
2353
eu gosto de usá-la para observar Geoff Farina tocar violão.
02:33
(Music)
47
137464
42281
(Música)
03:15
All right, so it's a delicate dance.
48
179745
1765
Tudo bem, é uma dança delicada.
03:17
If you watch closely — (Applause)
49
181510
2545
E se prestarem bastante atenção -- (Aplausos)
03:19
If you watch closely, you may have seen
50
184055
2767
Se vocês prestarem atenção, poderão ver
03:22
some of the eigenmodes, but also you may have seen
51
186822
2472
algumas das vibrações e oscilações, mas também vão ver
03:25
that jazz music is better with fire.
52
189294
4617
que jazz é melhor com fogo.
03:29
Actually, a lot of things are better with fire in my world,
53
193911
2010
Na verdade, muitas coisas são melhores com fogo no meu mundo,
03:31
but the fire's just a foundation.
54
195921
2432
mas o fogo é apenas uma base.
03:34
It shows very well that eyes can hear,
55
198353
1148
Ele mostra muito bem que os olhos podem ouvir,
03:35
and this is interesting to me because
56
199501
1395
e isso me interessa porque
03:36
technology allows us to present sound to the eyes
57
200896
2854
a tecnologia nos permite apresentar o som para os olhos
03:39
in ways that accentuate the strength of the eyes
58
203750
2863
de maneiras que acentuam o poder dos olhos
03:42
for seeing sound, such as the removal of time.
59
206613
2697
para ver o som, tal como a eliminação do tempo.
03:45
So here, I'm using a rendering algorithm to paint
60
209310
3384
Então aqui eu estou usando um algoritmo de processamento para pintar
03:48
the frequencies of the song "Smells Like Teen Spirit"
61
212694
2463
as frequências da música "Smells Like Teen Spirit"
03:51
in a way that the eyes can take them in
62
215157
2040
de um jeito que os olhos possam percebê-las
03:53
as a single visual impression, and the technique
63
217197
2244
como uma única impressão visual, e a técnica
03:55
will also show the strengths of the visual cortex
64
219441
1973
vai mostrar também as forças do córtex visual
03:57
for pattern recognition.
65
221414
1616
no reconhecimento de padrões.
03:58
So if I show you another song off this album,
66
223030
1879
Assim, se eu lhes mostrar outra música desse álbum,
04:00
and another, your eyes will easily pick out
67
224909
3481
e mais uma, seus olhos vão facilmente distinguir
04:04
the use of repetition by the band Nirvana,
68
228390
2928
o uso da repetição pela banda Nirvana,
04:07
and in the frequency distribution, the colors,
69
231318
1857
e na distribuição da frequência, as cores,
04:09
you can see the clean-dirty-clean sound
70
233175
3048
vocês podem enxergar o som limpo-sujo-limpo,
04:12
that they are famous for,
71
236223
1207
pelos quais eles são famosos.
04:13
and here is the entire album as a single visual impression,
72
237430
4000
E aqui está o álbum inteiro como uma única impressão visual,
04:17
and I think this impression is pretty powerful.
73
241430
1880
e eu acho que essa impressão é bem poderosa.
04:19
At least, it's powerful enough that
74
243310
1714
Pelo menos, é poderosa o suficiente para que,
04:20
if I show you these four songs,
75
245024
1342
se eu lhes mostrar essas quatro músicas,
04:22
and I remind you that this is "Smells Like Teen Spirit,"
76
246366
2441
e lembrar a vocês que esta é "Smells Like Teen Spirit",
04:24
you can probably correctly guess, without listening
77
248807
2319
vocês provavelmente vão adivinhar corretamente, sem ouvir
04:27
to any music at all, that the song
78
251126
1434
nenhuma música, que a canção
04:28
a die hard Nirvana fan would enjoy is this song,
79
252560
2294
que um fã de carteirinha do Nirvana curtiria seria essa música.
04:30
"I'll Stick Around" by the Foo Fighters,
80
254854
2256
"I'll Stick Around", da banda Foo Fighters,
04:33
whose lead singer is Dave Grohl,
81
257110
2000
cujo vocalista é Dave Grohl,
04:35
who was the drummer in Nirvana.
82
259110
3778
que era o baterista do Nirvana.
04:38
The songs are a little similar, but mostly
83
262888
1300
As músicas são um pouco parecidas, mas
04:40
I'm just interested in the idea that someday maybe
84
264188
1626
eu estou interessado sobretudo na ideia de que algum dia talvez
04:41
we'll buy a song because we like the way it looks.
85
265814
4412
a gente venha a comprar uma música por causa da sua "aparência".
04:46
All right, now for some more sound data.
86
270226
1100
Tudo bem, agora vamos a mais alguns dados.
04:47
This is data from a skate park,
87
271326
2652
Esses são dados de um parque com pista de skate,
04:49
and this is Mabel Davis skate park
88
273978
2032
e este é o parque de skate Mabel Davis
04:51
in Austin, Texas. (Skateboard sounds)
89
276010
2142
em Austin, no Texas. (Sons da pista de skate).
04:54
And the sounds you're hearing came from eight
90
278152
1374
E os sons que vocês estão ouvindo vêm de oito
04:55
microphones attached to obstacles around the park,
91
279526
2216
microfones colocados em obstáculos ao redor do parque,
04:57
and it sounds like chaos, but actually
92
281742
2184
e soa de forma caótica, mas, na verdade,
04:59
all the tricks start with a very distinct slap,
93
283926
3347
todas as manobras começam com um barulho bem distinto,
05:03
but successful tricks end with a pop,
94
287273
1604
mas as manobras bem-sucedidas terminam com um estalo,
05:04
whereas unsuccessful tricks
95
288877
1793
enquanto as manobras mal sucedidas
05:06
more of a scratch and a tumble,
96
290670
1856
terminam com um arranhão e uma queda,
05:08
and tricks on the rail will ring out like a gong, and
97
292526
4010
e manobras no corrimão soam como um gongo, e
05:12
voices occupy very unique frequencies in the skate park.
98
296536
2790
vozes ocupam frequências bem singulares na pista de skate,
05:15
So if we were to render these sounds visually,
99
299326
1938
Assim, se fôssemos representar visualmente esses sons,
05:17
we might end up with something like this.
100
301264
1407
nós chegaríamos a algo como isso aqui.
05:18
This is all 40 minutes of the recording,
101
302671
2456
Isso são todos os 40 minutos de gravação,
05:21
and right away the algorithm tells us
102
305127
2160
e imediatamente o algoritmo nos diz
05:23
a lot more tricks are missed than are made,
103
307287
2073
que houve muito mais manobras perdidas que realizadas,
05:25
and also a trick on the rails is a lot more likely
104
309360
2335
e também uma manobra nos corrimãos tem muito mais chance
05:27
to produce a cheer, and if you look really closely,
105
311695
2872
de produzir uma ovação, e se vocês prestarem atenção,
05:30
we can tease out traffic patterns.
106
314567
1733
nós podemos perceber padrões de tráfego.
05:32
You see the skaters often trick in this direction. The obstacles are easier.
107
316300
6087
Vemos que os skatistas geralmente manobram nessa direção. Os obstáculos são mais fáceis.
05:38
And in the middle of the recording, the mics pick this up,
108
322387
1705
E, no meio da gravação, os microfones pegam isso,
05:39
but later in the recording, this kid shows up,
109
324092
2804
mas mais à frente na gravação, esse garoto aparece,
05:42
and he starts using a line at the top of the park
110
326896
2928
e começa a usar a linha na parte de cima da pista
05:45
to do some very advanced tricks on something
111
329824
1802
para fazer algumas manobras bem avançadas em algo
05:47
called the tall rail.
112
331626
1103
chamado de corrimão alto.
05:48
And it's fascinating. At this moment in time,
113
332729
1872
E é fascinante. Nesse momento,
05:50
all the rest of the skaters turn their lines 90 degrees
114
334601
3503
todos os demais skatistas giram suas posições 90 graus
05:54
to stay out of his way.
115
338104
1778
para ficarem fora do caminho dele.
05:55
You see, there's a subtle etiquette in the skate park,
116
339882
2543
Vejam bem, existe uma etiqueta sutil nas pistas de skate,
05:58
and it's led by key influencers,
117
342425
1600
e é liderada pelos skatistas mais influentes,
05:59
and they tend to be the kids who can do the best tricks,
118
344025
3248
que tendem a ser os garotos que conseguem fazer as melhores manobras,
06:03
or wear red pants, and on this day the mics picked that up.
119
347273
2430
ou vestir calças vermelhas, e nesse dia os microfones pegaram isso.
06:05
All right, from skate physics to theoretical physics.
120
349703
3901
Tudo bem, da física do skate para a física teórica.
06:09
I'm a big fan of Stephen Hawking,
121
353604
1616
Eu sou um grande fã de Stephen Hawking,
06:11
and I wanted to use all eight hours
122
355220
1336
e queria usar todas as oito horas
06:12
of his Cambridge lecture series to create an homage.
123
356556
2587
de sua série de palestras em Cambridge para prestar uma homenagem.
06:15
Now, in this series he's speaking with the aid of a computer,
124
359143
3064
Bem, nessa série ele fala com a ajuda de um computador,
06:18
which actually makes identifying the ends of sentences
125
362207
3104
que na realidade facilita bastante a identificação dos finais
06:21
fairly easy. So I wrote a steering algorithm.
126
365311
3426
das frases. Então, eu escrevi um algoritmo de direção.
06:24
It listens to the lecture, and then it uses
127
368737
1960
Ele ouve a palestra, e então usa
06:26
the amplitude of each word to move a point on the x-axis,
128
370697
2687
a amplitude de cada palavra para mover um ponto no eixo horizontal,
06:29
and it uses the inflection of sentences
129
373384
2633
e usa a inflexão das frases
06:31
to move a same point up and down on the y-axis.
130
376017
2154
para mover um mesmo ponto para cima e para baixo no eixo vertical.
06:34
And these trend lines, you can see, there's more questions
131
378171
2774
E essas linhas de tendências mostram que existem mais perguntas
06:36
than answers in the laws of physics,
132
380945
1870
que respostas nas leis da física,
06:38
and when we reach the end of a sentence,
133
382815
2033
e quando chegamos ao final de uma frase,
06:40
we place a star at that location.
134
384848
2335
colocamos ali uma estrela.
06:43
So there's a lot of sentences, so a lot of stars,
135
387183
2800
Bem, existe um monte de frases, um monte de estrelas,
06:45
and after rendering all of the audio, this is what we get.
136
389983
2356
e, depois de processar todo o áudio, isso é o que obtemos.
06:48
This is Stephen Hawking's universe.
137
392339
2929
Este é o universo de Stephen Hawking.
06:51
(Applause)
138
395268
6937
(Aplausos)
06:58
It's all eight hours of the Cambridge lecture series
139
402205
2487
São todas as oito horas da série de palestras em Cambridge
07:00
taken in as a single visual impression,
140
404692
1848
condensadas numa única impressão visual,
07:02
and I really like this image,
141
406540
1757
e eu gosto demais dessa imagem,
07:04
but a lot of people think it's fake.
142
408297
1808
mas muitas pessoas pensam que é falsa.
07:06
So I made a more interactive version,
143
410105
2344
Então eu fiz uma versão mais interativa,
07:08
and the way I did that is I used their position in time
144
412449
5456
e eu fiz isso usando as posições delas no tempo
07:13
in the lecture to place these stars into 3D space,
145
417905
2367
na palestra para colocar essas estrelas dentro de um espaço 3D,
07:16
and with some custom software and a Kinect,
146
420272
2401
e com a ajuda de um software customizado e um Kinect (sensor de movimentos),
07:18
I can walk right into the lecture.
147
422673
2663
eu consigo andar dentro da palestra.
07:21
I'm going to wave through the Kinect here
148
425336
1800
Eu vou acenar por meio do Kinect aqui
07:23
and take control, and now I'm going to reach out
149
427136
1832
e assumir o controle, e agora vou me aproximar
07:24
and I'm going to touch a star, and when I do,
150
428968
3239
e tocar uma estrela, e quando eu faço isso,
07:28
it will play the sentence
151
432207
1944
ela reproduz a frase
07:30
that generated that star.
152
434151
1465
que gerou aquela estrela.
07:31
Stephen Hawking: There is one, and only one, arrangement
153
435616
3816
Stephen Kawking: Existe um, e apenas um, arranjo
07:35
in which the pieces make a complete picture.
154
439432
2799
nos quais as partes fazem um quadro completo.
07:38
Jared Ficklin: Thank you. (Applause)
155
442231
4148
Jared Ficklin: Obrigado. (Aplausos)
07:42
There are 1,400 stars.
156
446379
3173
Existem 1.400 estrelas.
07:45
It's a really fun way to explore the lecture,
157
449552
1664
Essa é uma maneira bastante divertida de explorar a palestra,
07:47
and, I hope, a fitting homage.
158
451216
1467
e, espero, uma homenagem à altura.
07:48
All right. Let me close with a work in progress.
159
452683
5472
Tudo bem. Deixem-me fechar com um trabalho ainda em curso.
07:54
I think, after 30 years, the opportunity exists
160
458155
2983
Penso que, depois de 30 anos, existe hoje a oportunidade
07:57
to create an enhanced version of closed captioning.
161
461138
2104
de criar uma versão aperfeiçoada de legendas para deficientes.
07:59
Now, we've all seen a lot of TEDTalks online,
162
463242
2119
Bem, nós todos já assistimos a uma porção de palestras do TED on-line,
08:01
so let's watch one now with the sound turned off
163
465361
2927
então vamos assistir a uma agora com o som desligado
08:04
and the closed captioning turned on.
164
468288
3922
e com as legendas para deficientes ligadas.
08:08
There's no closed captioning for the TED theme song,
165
472210
2146
Não existe legenda para deficiente para a música tema do TED,
08:10
and we're missing it, but if you've watched enough of these,
166
474356
2113
e nós perdemos essa parte, mas se já assistiram a muitas palestra,
08:12
you hear it in your mind's ear,
167
476469
1369
vocês vão ouvi-la no ouvido da mente,
08:13
and then applause starts.
168
477838
2983
e então os aplausos começam.
08:16
It usually begins here, and it grows and then it falls.
169
480821
2190
Normalmente começam aqui, crescem e depois diminuem.
08:18
Sometimes you get a little star applause,
170
483011
1977
Às vezes, se for um astro, acontecem mais alguns aplausos,
08:20
and then I think even Bill Gates takes a nervous breath,
171
484988
2486
e aí, acho que até Bill Gates respira tenso,
08:23
and the talk begins.
172
487474
1690
e a palestra começa.
08:25
All right, so let's watch this clip again.
173
489164
5698
Tudo bem, vamos assistir a esse vídeo de novo.
08:30
This time, I'm not going to talk at all.
174
494862
1256
Dessa vez, não vou falar nada.
08:32
There's still going to be no audio,
175
496118
1367
Ainda é para ser sem áudio,
08:33
but what I am going to do is I'm going to render the sound
176
497485
1904
mas o que vou fazer é representar o som
08:35
visually in real time at the bottom of the screen.
177
499389
4316
visualmente em tempo real na parte de baixo da tela.
08:39
So watch closely and see what your eyes can hear.
178
503705
2791
Então prestem atenção e vejam o que seus olhos podem ouvir.
09:03
This is fairly amazing to me.
179
527880
1880
Pra mim, isso é realmente impressionante.
09:05
Even on the first view, your eyes will successfully
180
529760
3333
Mesmo na primeira vez, seus olhos vão conseguir
09:08
pick out patterns, but on repeated views,
181
533093
3088
distinguir padrões, mas depois de assistir repetidas vezes,
09:12
your brain actually gets better
182
536181
1689
seu cérebro fica cada vez mais perspicaz
09:13
at turning these patterns into information.
183
537870
1656
para transformar esses padrões em informação.
09:15
You can get the tone and the timbre
184
539526
1591
Vocês podem perceber o tom e o timbre
09:17
and the pace of the speech,
185
541117
1223
e a velocidade da fala,
09:18
things that you can't get out of closed captioning.
186
542340
2064
coisas que não são possíveis com legendas para deficientes.
09:20
That famous scene in horror movies
187
544404
2184
Aquela famosa cena dos filmes de terror
09:22
where someone is walking up from behind
188
546588
2648
em que alguém surge por trás,
09:25
is something you can see,
189
549236
1960
é algo que vocês vão conseguir ver,
09:27
and I believe this information would be something
190
551196
2704
e eu acredito que essa informação seja
09:29
that is useful at times when the audio is turned off
191
553900
2803
útil quando o áudio está desligado
09:32
or not heard at all, and I speculate that deaf audiences
192
556703
2941
ou quando não houver qualquer som, e eu imagino que platéias de surdos
09:35
might actually even be better
193
559644
1177
tenham mais habilidade
09:36
at seeing sound than hearing audiences.
194
560821
1781
para ver o som do que platéias de ouvintes.
09:38
I don't know. It's a theory right now.
195
562602
1498
Sei lá. Isso é apenas uma teoria até agora.
09:40
Actually, it's all just an idea.
196
564100
1521
Na verdade, essa é apenas uma ideia.
09:41
And let me end by saying that sound moves in all directions,
197
565621
4191
E permitam-me terminar dizendo que o som se move em todas as direções,
09:45
and so do ideas.
198
569812
1977
assim como as ideias.
09:47
Thank you. (Applause)
199
571789
3112
Muito obrigado. (Aplausos)
ABOUT THE SPEAKER
Jared Ficklin - VisualizerIn his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire.
Why you should listen
Jared Ficklin is a Senior Principal Design Technologist at frog, where he builds user experiences for clients, playing with interactions including touch and multi-touch, and applying physics to enhance the user experience. A passion for music and making things introduced him to the hobby of sound visualization, which has led him on occasion to play with fire. (As Flash on the Beach puts it, "Jared Ficklin’s sonic experiments stood out for their individuality, drama and casual disregard for health and safety.") Every March in Austin, Texas, Ficklin organizes the frog party, a collective social experiment for a few thousand people attending SXSW Interactive. It's a form of playful R&D for social technology. And he has spent 10 years helping fund, design and build quality free public skateparks for Austin as part of the Austin Public Skatepark Action Committee.
Jared Ficklin | Speaker | TED.com