TED2012
Jared Ficklin: New ways to see music (with color! and fire!)
Джаред Фиклин: Нови начини да видите музика (с цвят! и огън!)
Filmed:
Readability: 4
711,217 views
Дизайнерът Джаред Фиклин създава невероятни визуализации, които ни позволяват да видим музиката, използвайки различни цветове и дори огън (за първи път на сцената на TED), за да се анализира как звука, ни кара да се чувстваме. Той прави кратко отклонение, за да анализира звука на скейт парк - и как аудиото може да ни помогне за развиването на творчеството.
Jared Ficklin - Visualizer
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio
Double-click the English transcript below to play the video.
00:16
My passions
0
449
1033
Моите страсти
00:17
are music, technology and making things.
1
1482
3689
са музика, технология и правене на неща.
00:21
And it's the combination of these things
2
5171
3183
И комбинацията от тези неща
00:24
that has led me to the hobby of sound visualization,
3
8354
2696
е тoва, което ме доведе до хобито на звукова визуализация,
00:26
and, on occasion, has led me to play with fire.
4
11050
4078
и, понякога ме кара да си играя с огъня.
00:31
This is a Rubens' tube. It's one of many I've made over the years,
5
15128
2377
Това е Рубенс тръба. Тя е една от многото, които съм направил през годините,
00:33
and I have one here tonight.
6
17505
1746
и имам една тук тази вечер.
00:35
It's about an 8-foot-long tube of metal,
7
19251
1525
Тя е около 8-фута дълга метална тръба,
00:36
it's got a hundred or so holes on top,
8
20776
1335
има над сто дупки отгоре,
00:38
on that side is the speaker, and here
9
22111
1753
от тази страна е високоговорителя, както и тук
00:39
is some lab tubing, and it's connected to this tank
10
23864
2176
има няколко лабораторни тръбички, свързани към този резервоар
00:41
of propane.
11
26040
1601
с пропан.
00:44
So, let's fire it up and see what it does.
12
29087
3369
Така че нека да я стартираме и да видим какво прави.
00:53
So let's play a 550-herz frequency
13
37887
1891
Така че нека да пуснем 550 Херца честота
00:55
and watch what happens.
14
39778
1515
и да видим какво става.
00:57
(Frequency)
15
41342
8483
(Честота)
01:05
Thank you. (Applause)
16
49825
2713
Благодаря ви. (Аплодисменти)
01:08
It's okay to applaud the laws of physics,
17
52538
1988
Хубаво е да се аплодират законите на физиката,
01:10
but essentially what's happening here
18
54526
1456
но по същество какво се случва тук
01:11
-- (Laughter) --
19
55982
1760
--(Смях)--
01:13
is the energy from the sound via the air and gas molecules
20
57742
4008
е, че енергията от звука чрез молекулите на въздуха и газове
01:17
is influencing the combustion properties of propane,
21
61750
2504
влияят на горителните свойства на пропана,
01:20
creating a visible waveform,
22
64254
1904
създавайки видима вълнова форма,
01:22
and we can see the alternating regions of compression
23
66158
2320
и може да видим различните региони на компресия
01:24
and rarefaction that we call frequency,
24
68478
2040
и разреждане, които наричаме честота,
01:26
and the height is showing us amplitude.
25
70518
1744
и височината ни показва амплитудата.
01:28
So let's change the frequency of the sound,
26
72262
2328
Така че нека да променим честотата на звука,
01:30
and watch what happens to the fire.
27
74590
1425
и да видим какво става с огъня.
01:31
(Higher frequency)
28
76015
10130
(По-висока честота)
01:42
So every time we hit a resonant frequency we get a standing wave
29
86145
3350
Така всеки път, когато улучим резонансната честота получаваме стояща вълна
01:45
and that emergent sine curve of fire.
30
89495
1700
и тази възникваща синусова крива на огъня.
01:47
So let's turn that off. We're indoors.
31
91195
1578
Така че нека да го изключим. Ние сме на закрито.
01:48
Thank you. (Applause)
32
92773
5591
Благодаря ви. (Аплодисменти)
01:54
I also have with me a flame table.
33
98364
2347
Аз също имам с мен пламтяща маса.
01:56
It's very similar to a Rubens' tube, and it's also used
34
100711
1565
Тя е много подобна на Рубенс тръбата, и се използва
01:58
for visualizing the physical properties of sound,
35
102276
2121
за онагледяване на физичните свойства на звука,
02:00
such as eigenmodes, so let's fire it up
36
104397
1968
като ейгенмоудс, така че нека да го стартираме
02:02
and see what it does.
37
106365
2250
и да видим какво прави.
02:08
Ooh. (Laughter)
38
112292
4468
Ooх. (Смях)
02:12
Okay. Now, while the table comes up to pressure,
39
116760
2974
Добре. Сега, докато налягането на масата се покачва,
02:15
let me note here that the sound is not traveling
40
119734
1672
нека отбележа тук, че звукът не пътува
02:17
in perfect lines. It's actually traveling in all directions,
41
121406
2746
в перфектни линии. Всъщност пътува във всички посоки,
02:20
and the Rubens' tube's a little like bisecting those waves
42
124152
3109
и Рубенс тръбата като че ли разсича тези вълни
02:23
with a line, and the flame table's a little like
43
127261
1996
с линия, и пламтящата маса като че ли
02:25
bisecting those waves with a plane,
44
129257
1854
разсича тези вълни с равнина,
02:27
and it can show a little more subtle complexity, which is why
45
131111
4000
и може да покаже по-финна сложност, което е защо
02:31
I like to use it to watch Geoff Farina play guitar.
46
135111
2353
обичам да го използвам, за да гледам Джеф Фарина да свири на китара.
02:33
(Music)
47
137464
42281
(Музика)
03:15
All right, so it's a delicate dance.
48
179745
1765
Добре, това е деликатен танц.
03:17
If you watch closely — (Applause)
49
181510
2545
Ако гледате внимателно – (Аплодисменти)
03:19
If you watch closely, you may have seen
50
184055
2767
Ако гледате внимателно, може да сте видяли
03:22
some of the eigenmodes, but also you may have seen
51
186822
2472
някои от ейгенмоудс, но също може да сте забелязали,
03:25
that jazz music is better with fire.
52
189294
4617
че джаз музиката е по-добра с огън.
03:29
Actually, a lot of things are better with fire in my world,
53
193911
2010
Всъщност, много неща са по-добри с огън в моя свят,
03:31
but the fire's just a foundation.
54
195921
2432
но огъня е просто фондация.
03:34
It shows very well that eyes can hear,
55
198353
1148
Той показва много добре, че очите могат да чуват,
03:35
and this is interesting to me because
56
199501
1395
и това ми е интересно защото
03:36
technology allows us to present sound to the eyes
57
200896
2854
технологията ни позволява да представим звук на очите
03:39
in ways that accentuate the strength of the eyes
58
203750
2863
по начини, които акцентират силата на очите
03:42
for seeing sound, such as the removal of time.
59
206613
2697
за виждане на звук, например премахването на времето.
03:45
So here, I'm using a rendering algorithm to paint
60
209310
3384
Така че, тук използвам алгоритъм с рендиране за да рисувате
03:48
the frequencies of the song "Smells Like Teen Spirit"
61
212694
2463
честотата на песента "Мирише като младежки дух"
03:51
in a way that the eyes can take them in
62
215157
2040
по такъв начин, че очите могат да го приемат
03:53
as a single visual impression, and the technique
63
217197
2244
като единствена визуална представа, както и техниката
03:55
will also show the strengths of the visual cortex
64
219441
1973
ще покаже също силните страни на визуалния кортекс
03:57
for pattern recognition.
65
221414
1616
за разпознаване на модели.
03:58
So if I show you another song off this album,
66
223030
1879
Така че, ако ви покажа друга песен от този албум,
04:00
and another, your eyes will easily pick out
67
224909
3481
и друга, очите ви лесно ще изберат
04:04
the use of repetition by the band Nirvana,
68
228390
2928
използването на повторение от групата Нирвана,
04:07
and in the frequency distribution, the colors,
69
231318
1857
и в разпределението на честотата, цветовете,
04:09
you can see the clean-dirty-clean sound
70
233175
3048
можете да видите чисто мръсния чист звук
04:12
that they are famous for,
71
236223
1207
с който те са известни,
04:13
and here is the entire album as a single visual impression,
72
237430
4000
и ето и целият албум като единна визуална представа,
04:17
and I think this impression is pretty powerful.
73
241430
1880
и мисля, че това впечатление е доста мощно.
04:19
At least, it's powerful enough that
74
243310
1714
Най-малкото, е достатъчно мощно,
04:20
if I show you these four songs,
75
245024
1342
че ако ви покажа тези четири песни,
04:22
and I remind you that this is "Smells Like Teen Spirit,"
76
246366
2441
и ви напомня, че това е "Мирише като младежки дух"
04:24
you can probably correctly guess, without listening
77
248807
2319
можете вероятно правилно да предположите, без да слушате
04:27
to any music at all, that the song
78
251126
1434
която и да е музика, че песента
04:28
a die hard Nirvana fan would enjoy is this song,
79
252560
2294
на която запален фен на Нирвана ще се наслади, е тази песен,
04:30
"I'll Stick Around" by the Foo Fighters,
80
254854
2256
"Ще съм наоколо" на Фу Файтърс,
04:33
whose lead singer is Dave Grohl,
81
257110
2000
чийто вокалист е Дейв Грол,
04:35
who was the drummer in Nirvana.
82
259110
3778
който бе барабаниста на Нирвана.
04:38
The songs are a little similar, but mostly
83
262888
1300
Песните са малко сходни, но най-вече
04:40
I'm just interested in the idea that someday maybe
84
264188
1626
просто съм заинтересован от идеята, че някой ден може би
04:41
we'll buy a song because we like the way it looks.
85
265814
4412
ще купим една песен, защото ни харесва начина, по който изглежда.
04:46
All right, now for some more sound data.
86
270226
1100
Добре, сега някои по-добри данни.
04:47
This is data from a skate park,
87
271326
2652
Това са данни от скейтинг парк,
04:49
and this is Mabel Davis skate park
88
273978
2032
и това е Мейбъл Дейвис скейт парк
04:51
in Austin, Texas. (Skateboard sounds)
89
276010
2142
в Остин, Тексас. (Скейтборд звуци)
04:54
And the sounds you're hearing came from eight
90
278152
1374
И звуците, които чувате идват от осем
04:55
microphones attached to obstacles around the park,
91
279526
2216
микрофона, прикачени към препятствия около парка,
04:57
and it sounds like chaos, but actually
92
281742
2184
и това звучи като хаос, но всъщност
04:59
all the tricks start with a very distinct slap,
93
283926
3347
всички трикове започват с много обособен удар,
05:03
but successful tricks end with a pop,
94
287273
1604
но успешните трикове завършват с поп,
05:04
whereas unsuccessful tricks
95
288877
1793
докато неуспешните трикове
05:06
more of a scratch and a tumble,
96
290670
1856
повече с драскане и падане,
05:08
and tricks on the rail will ring out like a gong, and
97
292526
4010
и триковете върху релсата ще звънят като гонг, и
05:12
voices occupy very unique frequencies in the skate park.
98
296536
2790
гласовете заемат много уникални честоти в скейтинг парка.
05:15
So if we were to render these sounds visually,
99
299326
1938
Така че, ако можехме да покажем тези звуци визуално,
05:17
we might end up with something like this.
100
301264
1407
ще можем да завършим с нещо подобно.
05:18
This is all 40 minutes of the recording,
101
302671
2456
Това са всички 40 минути на записа,
05:21
and right away the algorithm tells us
102
305127
2160
и веднага алгоритъма ни показва
05:23
a lot more tricks are missed than are made,
103
307287
2073
че много повече трикове се пропуснати отколкото са направени,
05:25
and also a trick on the rails is a lot more likely
104
309360
2335
и също така, че трика на релси е много по-вероятно
05:27
to produce a cheer, and if you look really closely,
105
311695
2872
да предизвика овации, и ако погледнете наистина отблизо,
05:30
we can tease out traffic patterns.
106
314567
1733
можем да извлечем моделите на трафика.
05:32
You see the skaters often trick in this direction. The obstacles are easier.
107
316300
6087
Можете да видите скейтърите често правят трикове в тази посока. Пречките са по-лесни.
05:38
And in the middle of the recording, the mics pick this up,
108
322387
1705
И в средата на записа, микрофони хващат това,
05:39
but later in the recording, this kid shows up,
109
324092
2804
но по-късно в записа, това хлапе се появява,
05:42
and he starts using a line at the top of the park
110
326896
2928
и започва да използва линия в горната част на парка
05:45
to do some very advanced tricks on something
111
329824
1802
за да направи някои много напреднали трикове на нещо
05:47
called the tall rail.
112
331626
1103
наречено високата релса.
05:48
And it's fascinating. At this moment in time,
113
332729
1872
И това е очарователно. В този момент във времето,
05:50
all the rest of the skaters turn their lines 90 degrees
114
334601
3503
всички останали скейтъри обръщат линиите си на 90 градуса
05:54
to stay out of his way.
115
338104
1778
да стоят далеч от пътя му.
05:55
You see, there's a subtle etiquette in the skate park,
116
339882
2543
Вижте, има лек етикет в скейтинг парка,
05:58
and it's led by key influencers,
117
342425
1600
и е воден от тези с ключово влияние,
05:59
and they tend to be the kids who can do the best tricks,
118
344025
3248
и това са обикновено хлапета, които могат да направят най-добрите трикове,
06:03
or wear red pants, and on this day the mics picked that up.
119
347273
2430
или да носят червени панталони, и на този ден микрофоните хванаха това..
06:05
All right, from skate physics to theoretical physics.
120
349703
3901
Добре, от скейт физика до теоретична физика.
06:09
I'm a big fan of Stephen Hawking,
121
353604
1616
Аз съм голям фен на Стивън Хокинг,
06:11
and I wanted to use all eight hours
122
355220
1336
и исках да използвам всички осем часа
06:12
of his Cambridge lecture series to create an homage.
123
356556
2587
на серията му от лекции в Кеймбридж за да го почета.
06:15
Now, in this series he's speaking with the aid of a computer,
124
359143
3064
Сега, в тази поредица той говори с помощта на компютър,
06:18
which actually makes identifying the ends of sentences
125
362207
3104
което всъщност идентифицира краищата на изреченията
06:21
fairly easy. So I wrote a steering algorithm.
126
365311
3426
доста лесно. Така че написах водещ алгоритъм.
06:24
It listens to the lecture, and then it uses
127
368737
1960
Той слуша лекцията, и след това използва
06:26
the amplitude of each word to move a point on the x-axis,
128
370697
2687
амплитудата на всяка дума, за да премести дадена точка на абсцисата,
06:29
and it uses the inflection of sentences
129
373384
2633
и използва интонацията на изреченията
06:31
to move a same point up and down on the y-axis.
130
376017
2154
за да премести нагоре и надолу същата точка на оста y.
06:34
And these trend lines, you can see, there's more questions
131
378171
2774
И тези линии на тенденция, можете да видите, има повече въпроси
06:36
than answers in the laws of physics,
132
380945
1870
от отговори в законите на физиката,
06:38
and when we reach the end of a sentence,
133
382815
2033
и когато достигнем края на изречение,
06:40
we place a star at that location.
134
384848
2335
поставяме звезда на това място.
06:43
So there's a lot of sentences, so a lot of stars,
135
387183
2800
Така че има много изречения и има много звезди,
06:45
and after rendering all of the audio, this is what we get.
136
389983
2356
и след обработване на цялото аудио, това е, което получаваме.
06:48
This is Stephen Hawking's universe.
137
392339
2929
Това е вселената на Стивън Хокинг.
06:51
(Applause)
138
395268
6937
(Аплодисменти)
06:58
It's all eight hours of the Cambridge lecture series
139
402205
2487
Това са всички осем часа на серията лекции от Кеймбридж
07:00
taken in as a single visual impression,
140
404692
1848
взети като единна визуална представа,
07:02
and I really like this image,
141
406540
1757
и наистина харесвам това изображение,
07:04
but a lot of people think it's fake.
142
408297
1808
но много хора мислят, че е фалшиво.
07:06
So I made a more interactive version,
143
410105
2344
Така че направих по-интерактивна версия,
07:08
and the way I did that is I used their position in time
144
412449
5456
и начина, по който го направих е, че използвах положението във времето
07:13
in the lecture to place these stars into 3D space,
145
417905
2367
в лекцията да поставя тези звезди в три-измерно пространство,
07:16
and with some custom software and a Kinect,
146
420272
2401
и със специализиран софтуер и Кинект,
07:18
I can walk right into the lecture.
147
422673
2663
мога да вляза директно в лекцията.
07:21
I'm going to wave through the Kinect here
148
425336
1800
Ще махна с ръка през Кинект тук
07:23
and take control, and now I'm going to reach out
149
427136
1832
и поемам управлението, и сега ще се пресегна
07:24
and I'm going to touch a star, and when I do,
150
428968
3239
и ще докосна звезда, и когато го направя,
07:28
it will play the sentence
151
432207
1944
то ще изсвири изречението
07:30
that generated that star.
152
434151
1465
което генерира тази звезда.
07:31
Stephen Hawking: There is one, and only one, arrangement
153
435616
3816
Стивън Хокинг: Има едно, и само едно, подреждане
07:35
in which the pieces make a complete picture.
154
439432
2799
в което парчетата правят пълна картина.
07:38
Jared Ficklin: Thank you. (Applause)
155
442231
4148
Джаред Фиклин: Благодаря ви. (Аплодисменти)
07:42
There are 1,400 stars.
156
446379
3173
Има 1400 звезди.
07:45
It's a really fun way to explore the lecture,
157
449552
1664
Това е наистина забавен начин да се изследва лекцията,
07:47
and, I hope, a fitting homage.
158
451216
1467
и, се надявам, достоен почит.
07:48
All right. Let me close with a work in progress.
159
452683
5472
Добре. Нека да приключа с текущата работа.
07:54
I think, after 30 years, the opportunity exists
160
458155
2983
Мисля, след 30 години, съществува възможност
07:57
to create an enhanced version of closed captioning.
161
461138
2104
да се създаде подобрена версия на затворените надписи.
07:59
Now, we've all seen a lot of TEDTalks online,
162
463242
2119
Сега, всички сме гледали много TEDTalks онлайн,
08:01
so let's watch one now with the sound turned off
163
465361
2927
така че нека да гледаме един сега с изключен звук
08:04
and the closed captioning turned on.
164
468288
3922
и с включени надписи.
08:08
There's no closed captioning for the TED theme song,
165
472210
2146
Няма никакви надписи за тематичната песен на ТЕД,
08:10
and we're missing it, but if you've watched enough of these,
166
474356
2113
и липсва, но ако сте гледали достатъчно от тези,
08:12
you hear it in your mind's ear,
167
476469
1369
ще я чуете в ума си,
08:13
and then applause starts.
168
477838
2983
и след това започват аплодисментите.
08:16
It usually begins here, and it grows and then it falls.
169
480821
2190
Обикновено започва тук и нараства и след това пада.
08:18
Sometimes you get a little star applause,
170
483011
1977
Понякога получавате малка звезда аплодисменти,
08:20
and then I think even Bill Gates takes a nervous breath,
171
484988
2486
и след това мисля, че дори Бил Гейтс поема нервно дъх,
08:23
and the talk begins.
172
487474
1690
и започва да говори.
08:25
All right, so let's watch this clip again.
173
489164
5698
Добре, нека да гледаме този клип отново.
08:30
This time, I'm not going to talk at all.
174
494862
1256
Този път, няма да говоря изобщо.
08:32
There's still going to be no audio,
175
496118
1367
Все още ще бъде без аудио,
08:33
but what I am going to do is I'm going to render the sound
176
497485
1904
но какво ще направя е, че ще обработя звука
08:35
visually in real time at the bottom of the screen.
177
499389
4316
визуално в реално време в дъното на екрана.
08:39
So watch closely and see what your eyes can hear.
178
503705
2791
Така че гледайте внимателно и вижте какво могат да чуят очите ви.
09:03
This is fairly amazing to me.
179
527880
1880
Това е доста невероятно за мен.
09:05
Even on the first view, your eyes will successfully
180
529760
3333
Дори на първи поглед очите ви успешно
09:08
pick out patterns, but on repeated views,
181
533093
3088
ще схванат моделите, но при повторни виждания,
09:12
your brain actually gets better
182
536181
1689
Вашият мозък действително става все по-добър
09:13
at turning these patterns into information.
183
537870
1656
в превръщането на тези модели в информация.
09:15
You can get the tone and the timbre
184
539526
1591
Можете да усетите тона и тембъра
09:17
and the pace of the speech,
185
541117
1223
и ритъма на речта,
09:18
things that you can't get out of closed captioning.
186
542340
2064
неща, които не можете да получите от субтитри.
09:20
That famous scene in horror movies
187
544404
2184
Тази известна сцена в филми на ужасите
09:22
where someone is walking up from behind
188
546588
2648
където някой се появява отзад
09:25
is something you can see,
189
549236
1960
е нещо, което можете да видите,
09:27
and I believe this information would be something
190
551196
2704
и вярвам, че тази информация ще бъде нещо
09:29
that is useful at times when the audio is turned off
191
553900
2803
което е полезно в периоди, когато е изключено аудиото
09:32
or not heard at all, and I speculate that deaf audiences
192
556703
2941
или не се чува изобщо, и аз смятам, че глухата аудитория
09:35
might actually even be better
193
559644
1177
всъщност дори може да бъде по-добра
09:36
at seeing sound than hearing audiences.
194
560821
1781
при виждане на звук от чуващата публика.
09:38
I don't know. It's a theory right now.
195
562602
1498
Не знам. Това е теория в момента.
09:40
Actually, it's all just an idea.
196
564100
1521
Всъщност това е просто една идея.
09:41
And let me end by saying that sound moves in all directions,
197
565621
4191
И нека завърша казвайки, че звука се движи във всички посоки,
09:45
and so do ideas.
198
569812
1977
както и идеите.
09:47
Thank you. (Applause)
199
571789
3112
Благодаря ви. (Аплодисменти)
ABOUT THE SPEAKER
Jared Ficklin - VisualizerIn his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire.
Why you should listen
Jared Ficklin is a Senior Principal Design Technologist at frog, where he builds user experiences for clients, playing with interactions including touch and multi-touch, and applying physics to enhance the user experience. A passion for music and making things introduced him to the hobby of sound visualization, which has led him on occasion to play with fire. (As Flash on the Beach puts it, "Jared Ficklin’s sonic experiments stood out for their individuality, drama and casual disregard for health and safety.") Every March in Austin, Texas, Ficklin organizes the frog party, a collective social experiment for a few thousand people attending SXSW Interactive. It's a form of playful R&D for social technology. And he has spent 10 years helping fund, design and build quality free public skateparks for Austin as part of the Austin Public Skatepark Action Committee.
Jared Ficklin | Speaker | TED.com