TED2012
Jared Ficklin: New ways to see music (with color! and fire!)
Jared Ficklin: Noi moduri de a privi muzica (prin culori și foc!)
Filmed:
Readability: 4
711,217 views
Designerul Jared Ficklin creează vizualizări nonconformiste care ne permit să vedem muzica, folosind culori și chiar foc (o premieră pentru scena TED) pentru a analiza modul în care sunetul ne face să ne simțim. Face o mică digresiune pentru a analiza cum sună un parc de skateboard și modul în care informația audio ne poate îndruma în dezvoltarea creativității.
Jared Ficklin - Visualizer
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
Double-click the English transcript below to play the video.
00:16
My passions
0
449
1033
Pasiunile mele
00:17
are music, technology and making things.
1
1482
3689
sunt muzica, tehnologia și să construiesc lucruri.
00:21
And it's the combination of these things
2
5171
3183
Combinarea acestora
00:24
that has led me to the hobby of sound visualization,
3
8354
2696
m-a condus la hobby-ul vizualizării sunetului
00:26
and, on occasion, has led me to play with fire.
4
11050
4078
și uneori am ajuns să mă joc cu focul.
00:31
This is a Rubens' tube. It's one of many I've made over the years,
5
15128
2377
Acesta e un tub Rubens, unul dintre multele pe care le-am făcut de-a lungul anilor.
00:33
and I have one here tonight.
6
17505
1746
Am unul aici, în seara asta.
00:35
It's about an 8-foot-long tube of metal,
7
19251
1525
E un tub metalic de 2,5 m,
00:36
it's got a hundred or so holes on top,
8
20776
1335
are vreo sută de orificii,
00:38
on that side is the speaker, and here
9
22111
1753
pe partea asta e difuzorul,
00:39
is some lab tubing, and it's connected to this tank
10
23864
2176
iar aici e tubulatură de laborator conectată
00:41
of propane.
11
26040
1601
la acest rezervor de propan.
00:44
So, let's fire it up and see what it does.
12
29087
3369
Să-l aprindem să vedem ce face.
00:53
So let's play a 550-herz frequency
13
37887
1891
Să redăm frecvența de 550 Hz
00:55
and watch what happens.
14
39778
1515
și să urmărim ce se întâmplă.
00:57
(Frequency)
15
41342
8483
(Frecvență)
01:05
Thank you. (Applause)
16
49825
2713
Mulțumesc. (Aplauze)
01:08
It's okay to applaud the laws of physics,
17
52538
1988
E OK să aplaudăm legile fizicii,
01:10
but essentially what's happening here
18
54526
1456
dar ce se întâmplă aici, în esență --
01:11
-- (Laughter) --
19
55982
1760
(Râsete)
01:13
is the energy from the sound via the air and gas molecules
20
57742
4008
energia sunetului transmisă prin aer și moleculele de gaz
01:17
is influencing the combustion properties of propane,
21
61750
2504
influențează proprietățile de ardere ale propanului,
01:20
creating a visible waveform,
22
64254
1904
creând o formă de undă vizibilă.
01:22
and we can see the alternating regions of compression
23
66158
2320
Vedem regiunile alternative de compresie
01:24
and rarefaction that we call frequency,
24
68478
2040
și rarefiere pe care o numim frecvență,
01:26
and the height is showing us amplitude.
25
70518
1744
iar înălțimea ne arată amplitudinea.
01:28
So let's change the frequency of the sound,
26
72262
2328
Să schimbăm frecvența sunetului
01:30
and watch what happens to the fire.
27
74590
1425
și să vedem ce se întâmplă cu focul.
01:31
(Higher frequency)
28
76015
10130
(Frecvență mai mare)
01:42
So every time we hit a resonant frequency we get a standing wave
29
86145
3350
De fiecare dată când atingem o frecvență de rezonanță obținem o undă staționară,
01:45
and that emergent sine curve of fire.
30
89495
1700
respectiv o curbă sinusoidală a focului.
01:47
So let's turn that off. We're indoors.
31
91195
1578
S-o închidem. Suntem înăuntru.
01:48
Thank you. (Applause)
32
92773
5591
Mulțumesc. (Aplauze)
01:54
I also have with me a flame table.
33
98364
2347
Am cu mine și o masă cu flăcări.
01:56
It's very similar to a Rubens' tube, and it's also used
34
100711
1565
E similară tubului Rubens,
01:58
for visualizing the physical properties of sound,
35
102276
2121
e folosită în vizualizarea proprietăților fizice ale sunetelor
02:00
such as eigenmodes, so let's fire it up
36
104397
1968
precum stările eigen.
02:02
and see what it does.
37
106365
2250
S-o aprindem să vedem ce face.
02:08
Ooh. (Laughter)
38
112292
4468
O! (Râsete)
02:12
Okay. Now, while the table comes up to pressure,
39
116760
2974
OK, până când masa își egalizează presiunea,
02:15
let me note here that the sound is not traveling
40
119734
1672
observați că sunetul nu se transmite în linii perfecte.
02:17
in perfect lines. It's actually traveling in all directions,
41
121406
2746
De fapt, se transmite în toate direcțiile,
02:20
and the Rubens' tube's a little like bisecting those waves
42
124152
3109
tubul Rubens reprezentând intersecția undelor cu o linie,
02:23
with a line, and the flame table's a little like
43
127261
1996
iar masa cu flăcări e ca și cum
02:25
bisecting those waves with a plane,
44
129257
1854
ai intersecta undele cu un plan,
02:27
and it can show a little more subtle complexity, which is why
45
131111
4000
etalând o complexitate puțin mai subtilă, motiv pentru care îmi place s-o folosesc
02:31
I like to use it to watch Geoff Farina play guitar.
46
135111
2353
să-l ascult pe Geoff Farina cântând la chitară.
02:33
(Music)
47
137464
42281
(Muzică)
03:15
All right, so it's a delicate dance.
48
179745
1765
E un dans delicat.
03:17
If you watch closely — (Applause)
49
181510
2545
Dacă priviți cu atenție — (Aplauze)
03:19
If you watch closely, you may have seen
50
184055
2767
Dacă ați privit cu atenție poate ați văzut
03:22
some of the eigenmodes, but also you may have seen
51
186822
2472
unele eigen-stări, dar poate ați văzut
03:25
that jazz music is better with fire.
52
189294
4617
și că muzica jazz sună mai bine cu foc.
03:29
Actually, a lot of things are better with fire in my world,
53
193911
2010
De fapt, multe merg mai bine cu foc în lumea mea,
03:31
but the fire's just a foundation.
54
195921
2432
dar focul e doar mediul revelator.
03:34
It shows very well that eyes can hear,
55
198353
1148
Demonstrează clar că ochii pot auzi.
03:35
and this is interesting to me because
56
199501
1395
Mi se pare interesant pentru că
03:36
technology allows us to present sound to the eyes
57
200896
2854
tehnologia ne permite să prezentăm ochilor sunetul
03:39
in ways that accentuate the strength of the eyes
58
203750
2863
în moduri care accentuează capacitatea ochilor
03:42
for seeing sound, such as the removal of time.
59
206613
2697
de a vedea sunetul, precum eliminarea timpului.
03:45
So here, I'm using a rendering algorithm to paint
60
209310
3384
Aici folosesc un algoritm de redare pentru a evidenția
03:48
the frequencies of the song "Smells Like Teen Spirit"
61
212694
2463
frecvențele cântecului „Smells Like Teen Spirit”
03:51
in a way that the eyes can take them in
62
215157
2040
într-un mod în care ochii le pot interpreta
03:53
as a single visual impression, and the technique
63
217197
2244
ca pe o singură amprentă vizuală.
03:55
will also show the strengths of the visual cortex
64
219441
1973
Tehnica va demonstra de asemenea capacitatea cortexului vizual
03:57
for pattern recognition.
65
221414
1616
de a recunoaște tipare.
03:58
So if I show you another song off this album,
66
223030
1879
Dacă vă arăt un alt cântec din acest album,
04:00
and another, your eyes will easily pick out
67
224909
3481
și încă unul, ochii voștri vor distinge imediat
04:04
the use of repetition by the band Nirvana,
68
228390
2928
folosirea repetiției de către formația Nirvana,
04:07
and in the frequency distribution, the colors,
69
231318
1857
iar în distribuția frecvențelor, a culorilor,
04:09
you can see the clean-dirty-clean sound
70
233175
3048
puteți observa sunetul curat-murdar-curat
04:12
that they are famous for,
71
236223
1207
pentru care sunt faimoși.
04:13
and here is the entire album as a single visual impression,
72
237430
4000
Iată întregul album ca o singură amprentă vizuală.
04:17
and I think this impression is pretty powerful.
73
241430
1880
Cred că această amprentă e destul de puternică.
04:19
At least, it's powerful enough that
74
243310
1714
Cel puțin atât de puternică încât,
04:20
if I show you these four songs,
75
245024
1342
dacă vă arăt aceste patru cântece
04:22
and I remind you that this is "Smells Like Teen Spirit,"
76
246366
2441
și să vă reamintesc că acela e „Smells like Teen Spirit”,
04:24
you can probably correctly guess, without listening
77
248807
2319
veți putea probabil ghici corect,
04:27
to any music at all, that the song
78
251126
1434
fără a asculta muzică de loc,
04:28
a die hard Nirvana fan would enjoy is this song,
79
252560
2294
că piesa pe care un fan Nirvana ar agrea-o este
04:30
"I'll Stick Around" by the Foo Fighters,
80
254854
2256
„I'll Stick Around” a celor de la Foo Fighters,
04:33
whose lead singer is Dave Grohl,
81
257110
2000
al căror solist principal este Dave Grohl,
04:35
who was the drummer in Nirvana.
82
259110
3778
fost toboșar în formația Nirvana.
04:38
The songs are a little similar, but mostly
83
262888
1300
Cântecele sunt oarecum asemănătoare, dar cel mai mult
04:40
I'm just interested in the idea that someday maybe
84
264188
1626
mă interesează ideea că poate cândva
04:41
we'll buy a song because we like the way it looks.
85
265814
4412
vom cumpăra un cântec pentru că ne place cum arată.
04:46
All right, now for some more sound data.
86
270226
1100
OK, acum mai multe date despre sunet.
04:47
This is data from a skate park,
87
271326
2652
Astea sunt date dintr-un parc de skateboard,
04:49
and this is Mabel Davis skate park
88
273978
2032
iar acesta e parcul de skateboard Mabel Davis
04:51
in Austin, Texas. (Skateboard sounds)
89
276010
2142
din Austin, Texas. (Sunete de skateboard)
04:54
And the sounds you're hearing came from eight
90
278152
1374
Sunetele pe care le auziți veneau de la opt
04:55
microphones attached to obstacles around the park,
91
279526
2216
microfoane atașate obstacolelor din parc
04:57
and it sounds like chaos, but actually
92
281742
2184
și sună haotic, dar de fapt
04:59
all the tricks start with a very distinct slap,
93
283926
3347
toate trucurile încep cu o pocnitură distinctă,
05:03
but successful tricks end with a pop,
94
287273
1604
însă trucurile care ies bine se încheie cu o pocnitură,
05:04
whereas unsuccessful tricks
95
288877
1793
pe când trucurile eșuate
05:06
more of a scratch and a tumble,
96
290670
1856
mai mult cu o zgârietură și o cădere.
05:08
and tricks on the rail will ring out like a gong, and
97
292526
4010
Trucurile de pe șină vor suna ca un gong,
05:12
voices occupy very unique frequencies in the skate park.
98
296536
2790
iar vocile ocupă frecvențe unice în parcul de skateboard.
05:15
So if we were to render these sounds visually,
99
299326
1938
Dacă am reda vizual aceste sunete,
05:17
we might end up with something like this.
100
301264
1407
am putea ajunge la așa ceva.
05:18
This is all 40 minutes of the recording,
101
302671
2456
Iată toate cele 40 de minute ale înregistrării,
05:21
and right away the algorithm tells us
102
305127
2160
algoritmul ne spune imediat
05:23
a lot more tricks are missed than are made,
103
307287
2073
că mult mai multe trucuri sunt ratate decât reușite,
05:25
and also a trick on the rails is a lot more likely
104
309360
2335
și, de asemenea, că un truc pe șină e mai probabil
05:27
to produce a cheer, and if you look really closely,
105
311695
2872
să producă o ovație, iar dacă priviți foarte atent,
05:30
we can tease out traffic patterns.
106
314567
1733
puteți extrage tiparele de trafic.
05:32
You see the skaters often trick in this direction. The obstacles are easier.
107
316300
6087
Vedeți patinatorii făcând trucurile în direcția asta. Obstacolele sunt mai ușoare.
05:38
And in the middle of the recording, the mics pick this up,
108
322387
1705
În mijlocul înregistrării, microfoanele au arătat asta,
05:39
but later in the recording, this kid shows up,
109
324092
2804
însă mai târziu în înregistrare apare puștiul ăsta
05:42
and he starts using a line at the top of the park
110
326896
2928
care începe să folosească o linie din vârful parcului
05:45
to do some very advanced tricks on something
111
329824
1802
pentru a face niște trucuri foarte avansate
05:47
called the tall rail.
112
331626
1103
pe ceva numit șina înaltă.
05:48
And it's fascinating. At this moment in time,
113
332729
1872
E fascinant. În acest moment
05:50
all the rest of the skaters turn their lines 90 degrees
114
334601
3503
toți ceilalți patinatori își schimbă direcția cu 90 de grade
05:54
to stay out of his way.
115
338104
1778
pentru a nu-i sta în cale.
05:55
You see, there's a subtle etiquette in the skate park,
116
339882
2543
Există o etichetă subtilă în parcul de skateboard,
05:58
and it's led by key influencers,
117
342425
1600
condusă de influenți cheie
05:59
and they tend to be the kids who can do the best tricks,
118
344025
3248
care tind să fie puștii care pot face trucurile cele mai bune,
06:03
or wear red pants, and on this day the mics picked that up.
119
347273
2430
sau care poartă pantaloni roșii, iar în acea zi microfoanele au arătat asta.
06:05
All right, from skate physics to theoretical physics.
120
349703
3901
OK, de la fizica patinajului la fizica teoretică.
06:09
I'm a big fan of Stephen Hawking,
121
353604
1616
Sunt un mare fan al lui Stephen Hawking.
06:11
and I wanted to use all eight hours
122
355220
1336
Voiam să folosesc toate cele opt ore
06:12
of his Cambridge lecture series to create an homage.
123
356556
2587
ale cursului său la Cambridge pentru a-i aduce un omagiu.
06:15
Now, in this series he's speaking with the aid of a computer,
124
359143
3064
În această serie el vorbește cu ajutorul unui calculator,
06:18
which actually makes identifying the ends of sentences
125
362207
3104
care face ca identificarea finalurilor de propoziție să fie relativ ușoară.
06:21
fairly easy. So I wrote a steering algorithm.
126
365311
3426
Așa că am scris un algoritm de urmărire,
06:24
It listens to the lecture, and then it uses
127
368737
1960
care ascultă prelegerea și apoi folosește
06:26
the amplitude of each word to move a point on the x-axis,
128
370697
2687
amplitudinea fiecărui cuvânt să mute un punct pe abscisă
06:29
and it uses the inflection of sentences
129
373384
2633
și folosește inflexiunea propozițiilor
06:31
to move a same point up and down on the y-axis.
130
376017
2154
să mute același punct în sus și în jos pe ordonată.
06:34
And these trend lines, you can see, there's more questions
131
378171
2774
Iar aceste linii de trend, vedeți, sunt mai multe întrebări
06:36
than answers in the laws of physics,
132
380945
1870
decât răspunsuri în legile fizicii,
06:38
and when we reach the end of a sentence,
133
382815
2033
iar când ajungem la sfârșitul unei propoziții,
06:40
we place a star at that location.
134
384848
2335
plasăm o stea în acea locație.
06:43
So there's a lot of sentences, so a lot of stars,
135
387183
2800
Așadar, sunt multe propoziții, deci multe stele.
06:45
and after rendering all of the audio, this is what we get.
136
389983
2356
Redând întreaga înregistrare audio, iată ce obținem.
06:48
This is Stephen Hawking's universe.
137
392339
2929
Acesta e universul lui Stephen Hawking.
06:51
(Applause)
138
395268
6937
(Aplauze)
06:58
It's all eight hours of the Cambridge lecture series
139
402205
2487
Sunt cele opt ore ale seriei de prelegeri de la Cambridge
07:00
taken in as a single visual impression,
140
404692
1848
redate într-o singură amprentă vizuală.
07:02
and I really like this image,
141
406540
1757
Chiar îmi place imaginea asta,
07:04
but a lot of people think it's fake.
142
408297
1808
dar mulți oameni cred că nu e reală.
07:06
So I made a more interactive version,
143
410105
2344
Așa că am construit o versiune mai interactivă
07:08
and the way I did that is I used their position in time
144
412449
5456
și am făcut asta folosind poziția lor în timpul conferinței
07:13
in the lecture to place these stars into 3D space,
145
417905
2367
pentru a plasa aceste stele în spațiul 3D,
07:16
and with some custom software and a Kinect,
146
420272
2401
iar cu niște programe dedicate și un Kinect,
07:18
I can walk right into the lecture.
147
422673
2663
pot păși în mijlocul prelegerii.
07:21
I'm going to wave through the Kinect here
148
425336
1800
O să-i fac cu mâna dispozitivului Kinect acum
07:23
and take control, and now I'm going to reach out
149
427136
1832
și o să preiau controlul, iar acum am să întind mâna
07:24
and I'm going to touch a star, and when I do,
150
428968
3239
și am să ating o stea, iar când o voi face
07:28
it will play the sentence
151
432207
1944
va reda propoziția
07:30
that generated that star.
152
434151
1465
care a generat acea stea.
07:31
Stephen Hawking: There is one, and only one, arrangement
153
435616
3816
Stephen Hawking: Există un aranjament și numai unul
07:35
in which the pieces make a complete picture.
154
439432
2799
în care piesele alcătuiesc o imagine completă.”
07:38
Jared Ficklin: Thank you. (Applause)
155
442231
4148
Jared Ficklin: Mulțumesc. (Aplauze)
07:42
There are 1,400 stars.
156
446379
3173
Sunt 1400 de stele.
07:45
It's a really fun way to explore the lecture,
157
449552
1664
E un mod distractiv de a explora prelegerea
07:47
and, I hope, a fitting homage.
158
451216
1467
și, sper, un omagiu adecvat.
07:48
All right. Let me close with a work in progress.
159
452683
5472
OK. Permiteți-mi să închei cu un proiect în lucru.
07:54
I think, after 30 years, the opportunity exists
160
458155
2983
Cred că, după 30 de ani, există posibilitatea
07:57
to create an enhanced version of closed captioning.
161
461138
2104
de a crea o versiune îmbunătățită a subtitrărilor pentru surdomuți.
07:59
Now, we've all seen a lot of TEDTalks online,
162
463242
2119
Am văzut cu toții multe prezentări TED online,
08:01
so let's watch one now with the sound turned off
163
465361
2927
deci haideți să urmărim acum una cu sunetul oprit
08:04
and the closed captioning turned on.
164
468288
3922
dar cu subtitrarea pornită.
08:08
There's no closed captioning for the TED theme song,
165
472210
2146
Nu există subtitrare pentru melodia generică TED,
08:10
and we're missing it, but if you've watched enough of these,
166
474356
2113
și ne lipsește, dar dacă ați văzut suficient de multe
08:12
you hear it in your mind's ear,
167
476469
1369
o puteți auzi cu urechea minții.
08:13
and then applause starts.
168
477838
2983
Apoi încep aplauzele.
08:16
It usually begins here, and it grows and then it falls.
169
480821
2190
În general încep aici, sunetul se amplifică și apoi cade.
08:18
Sometimes you get a little star applause,
170
483011
1977
Uneori auzi câteva aplauze singuratice,
08:20
and then I think even Bill Gates takes a nervous breath,
171
484988
2486
după care cred că și Bill Gates respiră cu emoție
08:23
and the talk begins.
172
487474
1690
și începe discuția.
08:25
All right, so let's watch this clip again.
173
489164
5698
În regulă, să urmărim acest clip din nou.
08:30
This time, I'm not going to talk at all.
174
494862
1256
De data asta n-am să vorbesc deloc.
08:32
There's still going to be no audio,
175
496118
1367
Nu se va auzi nimic,
08:33
but what I am going to do is I'm going to render the sound
176
497485
1904
dar voi reda sunetul vizual,
08:35
visually in real time at the bottom of the screen.
177
499389
4316
în timp real, la baza ecranului.
08:39
So watch closely and see what your eyes can hear.
178
503705
2791
Urmăriți cu atenție și vedeți ce pot auzi ochii dvs.
09:03
This is fairly amazing to me.
179
527880
1880
Pentru mine e chiar uimitor.
09:05
Even on the first view, your eyes will successfully
180
529760
3333
Chiar la prima vizionare, ochii vor distinge
09:08
pick out patterns, but on repeated views,
181
533093
3088
cu succes tiparele, iar după vizionări repetate
09:12
your brain actually gets better
182
536181
1689
creierul devine tot mai bun
09:13
at turning these patterns into information.
183
537870
1656
la transformarea acestor tipare în informație.
09:15
You can get the tone and the timbre
184
539526
1591
Puteți înțelege tonul, timbrul
09:17
and the pace of the speech,
185
541117
1223
și ritmul discursului,
09:18
things that you can't get out of closed captioning.
186
542340
2064
lucruri pe care nu le puteți observa din subtitrări.
09:20
That famous scene in horror movies
187
544404
2184
Acea scenă faimoasă din filmele de groază
09:22
where someone is walking up from behind
188
546588
2648
în care cineva vine încet din spate
09:25
is something you can see,
189
549236
1960
e ceva ce puteți vedea
09:27
and I believe this information would be something
190
551196
2704
și cred că informația asta ar fi utilă
09:29
that is useful at times when the audio is turned off
191
553900
2803
în momentele în care sunetul e închis
09:32
or not heard at all, and I speculate that deaf audiences
192
556703
2941
sau nu se aude deloc. Bănuiesc că audiența surdomută
09:35
might actually even be better
193
559644
1177
ar putea fi chiar mai bună
09:36
at seeing sound than hearing audiences.
194
560821
1781
în a vedea sunetele decât audiența normală.
09:38
I don't know. It's a theory right now.
195
562602
1498
Nu știu. Momentan e o teorie.
09:40
Actually, it's all just an idea.
196
564100
1521
De fapt, totul e doar o idee.
09:41
And let me end by saying that sound moves in all directions,
197
565621
4191
Și permiteți-mi să închei spunând că sunetul se propagă în toate direcțiile,
09:45
and so do ideas.
198
569812
1977
iar ideile la fel.
09:47
Thank you. (Applause)
199
571789
3112
Mulțumesc. (Aplauze)
ABOUT THE SPEAKER
Jared Ficklin - VisualizerIn his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire.
Why you should listen
Jared Ficklin is a Senior Principal Design Technologist at frog, where he builds user experiences for clients, playing with interactions including touch and multi-touch, and applying physics to enhance the user experience. A passion for music and making things introduced him to the hobby of sound visualization, which has led him on occasion to play with fire. (As Flash on the Beach puts it, "Jared Ficklin’s sonic experiments stood out for their individuality, drama and casual disregard for health and safety.") Every March in Austin, Texas, Ficklin organizes the frog party, a collective social experiment for a few thousand people attending SXSW Interactive. It's a form of playful R&D for social technology. And he has spent 10 years helping fund, design and build quality free public skateparks for Austin as part of the Austin Public Skatepark Action Committee.
Jared Ficklin | Speaker | TED.com