sponsored links
TED2012

Jared Ficklin: New ways to see music (with color! and fire!)

ジャレド・フィックリン 「新しい音楽の見かた(色で見る! 炎で見る!)」

March 1, 2012

デザイナーのジャレド・フィックリンが、音楽を鮮烈に視覚化します。色による表現、さらにはTEDステージに初めて火を持ち込んで、音が私達にどのような感覚を与えるのかを明らかにします。さらにそこからスケートボード場の音の分析に進み、音が私達の創造性をどう高めるかを分析します。 ジャレド・フィックリンはフロッグ・デザインでユーザーインターフェースを設計しています。趣味として、光や形や火による音楽の表現を追求しています。

Jared Ficklin - Visualizer
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire. Full bio

sponsored links
Double-click the English subtitles below to play the video.
My passions
私が 情熱を注いでいるのは
音楽とテクノロジーと物作りです
00:15
are music, technology and making things.
私が 情熱を注いでいるのは
音楽とテクノロジーと物作りです
00:16
And it's the combination of these things
これらを組み合わせて
00:20
that has led me to the hobby of sound visualization,
音を視覚化することが趣味になりました
00:23
and, on occasion, has led me to play with fire.
時には 火も扱います
00:26
This is a Rubens' tube. It's one of many I've made over the years,
これはルーベンスチューブです
00:30
and I have one here tonight.
私が作った物の一つです ご覧ください
00:32
It's about an 8-foot-long tube of metal,
2.4mほどの金属管で
約100個の穴があり ―
00:34
it's got a hundred or so holes on top,
2.4mほどの金属管で
約100個の穴があり ―
00:36
on that side is the speaker, and here
片側はスピーカ
反対はタンクへの配管です
00:37
is some lab tubing, and it's connected to this tank
片側はスピーカ
反対はタンクへの配管です
00:39
of propane.
プロパンガスです
00:41
So, let's fire it up and see what it does.
それでは火をつけてみましょう
00:44
So let's play a 550-herz frequency
次に周波数550Hzの音を流します
00:53
and watch what happens.
ご覧ください
00:55
(Frequency)
(音)
00:56
Thank you. (Applause)
ありがとう (拍手)
01:05
It's okay to applaud the laws of physics,
物理法則に拍手するのはいいとして
ここで起きたことは ―
01:07
but essentially what's happening here
物理法則に拍手するのはいいとして
ここで起きたことは ―
01:09
-- (Laughter) --
(笑)
01:11
is the energy from the sound via the air and gas molecules
音のエネルギーが 空気とガスの分子を通して
01:13
is influencing the combustion properties of propane,
プロパンの燃焼性に影響を与え
01:17
creating a visible waveform,
波形を作り出します
01:19
and we can see the alternating regions of compression
圧力の高い部分と低い部分が
01:21
and rarefaction that we call frequency,
交互に ― つまり周波数が見えます
01:23
and the height is showing us amplitude.
高さは振幅を表します
01:25
So let's change the frequency of the sound,
それでは音の周波数を変えて
01:27
and watch what happens to the fire.
炎がどう変化するか見てみましょう
01:29
(Higher frequency)
(周波数を上げる)
01:31
So every time we hit a resonant frequency we get a standing wave
共振周波数になると定在波が生じて
01:41
and that emergent sine curve of fire.
炎のサイン曲線が表れます
01:44
So let's turn that off. We're indoors.
室内なので もう消しましょう
01:46
Thank you. (Applause)
ありがとう (拍手)
01:48
I also have with me a flame table.
「フレイムテーブル」も持ってきました
01:53
It's very similar to a Rubens' tube, and it's also used
ルーベンスチューブと同様に
01:56
for visualizing the physical properties of sound,
音の物理特性を視覚化できます
01:57
such as eigenmodes, so let's fire it up
たとえば固有モードです
01:59
and see what it does.
火を点けて どうなるか見てみましょう
02:01
Ooh. (Laughter)
おっ (笑)
02:07
Okay. Now, while the table comes up to pressure,
テーブルの圧力が上がる間に
指摘しておきたいのは
02:12
let me note here that the sound is not traveling
音は直線状に進むのではなく
02:15
in perfect lines. It's actually traveling in all directions,
あらゆる方向に進むということです
02:16
and the Rubens' tube's a little like bisecting those waves
ルーベンスチューブが音波を
線状に切り出すのに対して
02:19
with a line, and the flame table's a little like
フレイムテーブルは音波を
02:22
bisecting those waves with a plane,
平面的に切り出すと言えます
02:24
and it can show a little more subtle complexity, which is why
複雑さを細かく表せるので
ジェフ・ファリーナのギター演奏を
02:26
I like to use it to watch Geoff Farina play guitar.
見るにはうってつけです
02:30
(Music)
(音楽)
02:32
All right, so it's a delicate dance.
繊細なダンスのようです
03:15
If you watch closely — (Applause)
よく見ると ― (拍手)
03:16
If you watch closely, you may have seen
固有モードが見えたかも知れません
03:19
some of the eigenmodes, but also you may have seen
炎とジャズは
03:22
that jazz music is better with fire.
相性がいいことにも気づくでしょう
03:24
Actually, a lot of things are better with fire in my world,
火と相性がいいものはたくさんあります
03:29
but the fire's just a foundation.
ただ 火は土台に過ぎません
03:31
It shows very well that eyes can hear,
目でも聞けることを 火が示しているのです
03:33
and this is interesting to me because
目でも聞けることを 火が示しているのです
03:34
technology allows us to present sound to the eyes
私が面白いと思うのは
テクノロジーを使って
03:36
in ways that accentuate the strength of the eyes
目の特性を生かしながら
音を見えるようにできること ―
03:39
for seeing sound, such as the removal of time.
たとえば時間を無視できることです
03:41
So here, I'm using a rendering algorithm to paint
私はレンダリングアルゴリズムを使って
03:44
the frequencies of the song "Smells Like Teen Spirit"
ニルヴァーナの曲
「スメルズ・ライク・ティーン・スピリット」の
03:48
in a way that the eyes can take them in
周波数を 目で見えるように
1つのイメージにしました
03:50
as a single visual impression, and the technique
周波数を 目で見えるように
1つのイメージにしました
03:52
will also show the strengths of the visual cortex
この技術を使うと大脳視覚野が
03:54
for pattern recognition.
パターン認識に
優れていることもわかります
03:56
So if I show you another song off this album,
同じアルバムの別の曲を見ると
ニルヴァーナが反復を用いていることが
03:58
and another, your eyes will easily pick out
同じアルバムの別の曲を見ると
ニルヴァーナが反復を用いていることが
04:00
the use of repetition by the band Nirvana,
よくわかります
04:03
and in the frequency distribution, the colors,
周波数の分布 つまり色から
04:06
you can see the clean-dirty-clean sound
このバンドの特長である
清-濁-清 という音のパターンがわかります
04:08
that they are famous for,
このバンドの特長である
清-濁-清 という音のパターンがわかります
04:11
and here is the entire album as a single visual impression,
これはアルバム全体を1つのイメージにしたものです
04:12
and I think this impression is pretty powerful.
とても力強いイメージです
04:16
At least, it's powerful enough that
どのくらい力強いかというと
04:18
if I show you these four songs,
次の4曲を見て ―
04:20
and I remind you that this is "Smells Like Teen Spirit,"
ちなみにこれが「スメルズ・ライク・
ティーン・スピリット」ですが ―
04:21
you can probably correctly guess, without listening
音を聞かなくても おおむね正しく
04:24
to any music at all, that the song
筋金入りのニルヴァーナ・ファンが
気に入りそうなのはこの曲 ―
04:26
a die hard Nirvana fan would enjoy is this song,
筋金入りのニルヴァーナ・ファンが
気に入りそうなのはこの曲 ―
04:27
"I'll Stick Around" by the Foo Fighters,
フー・ファイターズの「アイル・
スティック・アラウンド」だと言える程です
04:30
whose lead singer is Dave Grohl,
リード・シンガーのデイヴ・グロールは
04:32
who was the drummer in Nirvana.
ニルヴァーナのドラマーをしていました
04:34
The songs are a little similar, but mostly
2曲は確かに似ていますが
04:38
I'm just interested in the idea that someday maybe
もっぱら私が関心があるのは
04:39
we'll buy a song because we like the way it looks.
曲を見た目で買う日が
来るかもしれないという発想です
04:41
All right, now for some more sound data.
さらに音のデータを見ましょう
04:45
This is data from a skate park,
これはスケートボード場で録音しました
04:46
and this is Mabel Davis skate park
テキサス州オースチンにある ―
04:49
in Austin, Texas. (Skateboard sounds)
メイベル・デイビス・スケートパークです
(スケートボードの音)
04:51
And the sounds you're hearing came from eight
今 聞こえる音は
04:53
microphones attached to obstacles around the park,
障害物に取り付けた
8つのマイクで録りました
04:54
and it sounds like chaos, but actually
雑音のようですが 実際は
04:57
all the tricks start with a very distinct slap,
どの技も特徴的な音で始まり ―
04:59
but successful tricks end with a pop,
成功するとポンという音 ―
05:02
whereas unsuccessful tricks
失敗すると こすれる音や
05:04
more of a scratch and a tumble,
転がる音で終わります
05:06
and tricks on the rail will ring out like a gong, and
レールに乗る技はゴングのように響き
05:07
voices occupy very unique frequencies in the skate park.
人の声は特徴的な周波数を占めます
05:11
So if we were to render these sounds visually,
だから ここの音を視覚化したら
05:14
we might end up with something like this.
こんな感じになります
05:16
This is all 40 minutes of the recording,
これが40分にわたる録音の全てです
05:18
and right away the algorithm tells us
このアルゴリズムでわかることは
05:20
a lot more tricks are missed than are made,
技の多くは失敗し
05:22
and also a trick on the rails is a lot more likely
レールを使った技は
05:24
to produce a cheer, and if you look really closely,
歓声を伴うことが多いということです
さらに細かく見ると
05:27
we can tease out traffic patterns.
移動パターンを知ることができます
05:29
You see the skaters often trick in this direction. The obstacles are easier.
スケーターはこの方向に滑ります
この方が障害が簡単だからです
05:31
And in the middle of the recording, the mics pick this up,
これは録音中盤でマイクがとらえました
05:37
but later in the recording, this kid shows up,
ところが後半で少年が現れ ―
05:39
and he starts using a line at the top of the park
上にあるコースを使い
トール・レールの上で
05:42
to do some very advanced tricks on something
とても難しい技を始めました
05:45
called the tall rail.
とても難しい技を始めました
05:46
And it's fascinating. At this moment in time,
興味深いことに この瞬間 ―
05:48
all the rest of the skaters turn their lines 90 degrees
他のスケーター全員がコースの方向を
90度変えて彼に場所を譲ったのです
05:49
to stay out of his way.
他のスケーター全員がコースの方向を
90度変えて彼に場所を譲ったのです
05:53
You see, there's a subtle etiquette in the skate park,
パークには細かい作法があり
05:55
and it's led by key influencers,
影響力をもつ人がいます
05:57
and they tend to be the kids who can do the best tricks,
そういう人は 腕がすごいとか
赤いパンツ姿と相場は決まっています
05:59
or wear red pants, and on this day the mics picked that up.
この日マイクが捉えたのは
そんな作法です
06:02
All right, from skate physics to theoretical physics.
次はスケートボードの物理から
理論物理学へ移りましょう
06:05
I'm a big fan of Stephen Hawking,
私はスティーブン・ホーキングの大ファンで
06:08
and I wanted to use all eight hours
ケンブリッジでの講義8時間分を使って
オマージュを制作しようと考えました
06:10
of his Cambridge lecture series to create an homage.
ケンブリッジでの講義8時間分を使って
オマージュを制作しようと考えました
06:11
Now, in this series he's speaking with the aid of a computer,
この連続講義で ホーキング氏は
コンピュータを使って話しています
06:14
which actually makes identifying the ends of sentences
だから文の終わりを特定するのは簡単です
06:17
fairly easy. So I wrote a steering algorithm.
そこで私はステアリング
アルゴリズムを作りました
06:20
It listens to the lecture, and then it uses
これで講義を取り込み ―
06:24
the amplitude of each word to move a point on the x-axis,
個々の語の振幅を用いて
X軸上の点を動かします
06:26
and it uses the inflection of sentences
さらに文の音調の変化をとらえて
06:28
to move a same point up and down on the y-axis.
その点をY軸にそって上下させます
06:31
And these trend lines, you can see, there's more questions
この傾向線を見ると 物理法則について
06:33
than answers in the laws of physics,
解答より 疑問の方が
多いことがわかります
06:36
and when we reach the end of a sentence,
文末に達すると
06:38
we place a star at that location.
そこに星を付けます
06:40
So there's a lot of sentences, so a lot of stars,
文が多いので たくさん星があります
06:42
and after rendering all of the audio, this is what we get.
音声を全て表示すると こうなります
06:45
This is Stephen Hawking's universe.
これがスティーブン・ホーキングの宇宙です
06:47
(Applause)
(拍手)
06:50
It's all eight hours of the Cambridge lecture series
8時間に渡るケンブリッジでの講義を
06:57
taken in as a single visual impression,
一枚のイメージにしたものです
07:00
and I really like this image,
私はこれを大変気に入っていますが
07:01
but a lot of people think it's fake.
いい加減だと考える人が多いので
07:03
So I made a more interactive version,
インタラクティブ版を作りました
07:05
and the way I did that is I used their position in time
講義における時間的な位置を使って
07:07
in the lecture to place these stars into 3D space,
三次元空間に 星を配置し
07:13
and with some custom software and a Kinect,
自作のソフトとKinectで
07:15
I can walk right into the lecture.
講義の中に入ることができるようにしました
07:18
I'm going to wave through the Kinect here
Kinectに向けて手を振り 操作します
07:20
and take control, and now I'm going to reach out
Kinectに向けて手を振り 操作します
07:22
and I'm going to touch a star, and when I do,
手を伸ばして星に触れると
07:24
it will play the sentence
その星を生成した元の文が再生できます
07:27
that generated that star.
その星を生成した元の文が再生できます
07:29
Stephen Hawking: There is one, and only one, arrangement
「各部分が完全な像を構成するような
07:30
in which the pieces make a complete picture.
唯一の配置があります」
07:34
Jared Ficklin: Thank you. (Applause)
ありがとう (拍手)
07:37
There are 1,400 stars.
ここには1,400個の星があります
07:41
It's a really fun way to explore the lecture,
講義を楽しく探究できます
07:44
and, I hope, a fitting homage.
オマージュにふさわしいでしょうか
07:46
All right. Let me close with a work in progress.
最後に制作中の作品をご覧ください
07:48
I think, after 30 years, the opportunity exists
クローズド・キャプションの登場から30年 ―
07:53
to create an enhanced version of closed captioning.
強化版を作る機会を得ました
07:56
Now, we've all seen a lot of TEDTalks online,
みんなTEDトークをオンラインで見ますが
07:58
so let's watch one now with the sound turned off
音を消して クローズド・キャプションを ―
08:00
and the closed captioning turned on.
ONにしたものを見てみましょう
08:03
There's no closed captioning for the TED theme song,
TEDのテーマ曲には字幕がありません
08:07
and we're missing it, but if you've watched enough of these,
字幕がなくても たくさん見ていれば
08:09
you hear it in your mind's ear,
頭の中で
08:11
and then applause starts.
テーマと拍手が聞こえるでしょう
08:13
It usually begins here, and it grows and then it falls.
ここで始まり 盛り上がって消えます
08:16
Sometimes you get a little star applause,
拍手が特に大きい時もあります
08:18
and then I think even Bill Gates takes a nervous breath,
ビル・ゲイツですら不安そうに息をしてから
08:20
and the talk begins.
トークが始まります
08:22
All right, so let's watch this clip again.
もう一度ビデオを見ましょう
08:24
This time, I'm not going to talk at all.
今度は私はしゃべりません
08:30
There's still going to be no audio,
音声はありませんが
08:31
but what I am going to do is I'm going to render the sound
音を視覚的に描画して
08:32
visually in real time at the bottom of the screen.
画面下部にリアルタイムで表示します
08:34
So watch closely and see what your eyes can hear.
皆さんの目は
何を「聞く」ことができるでしょうか
08:39
This is fairly amazing to me.
すごいことだと思います
09:03
Even on the first view, your eyes will successfully
1度見ただけでも
パターンが見つけられますが
09:05
pick out patterns, but on repeated views,
何度か見ると 皆さんの脳は
09:08
your brain actually gets better
パターンを情報に置き換えることに慣れ
09:11
at turning these patterns into information.
パターンを情報に置き換えることに慣れ
09:13
You can get the tone and the timbre
音調や音質 話すペースが
わかるようになります
09:14
and the pace of the speech,
音調や音質 話すペースが
わかるようになります
09:16
things that you can't get out of closed captioning.
字幕からはとらえられないものです
09:17
That famous scene in horror movies
ホラー映画でありがちな ―
09:19
where someone is walking up from behind
何者かが後ろから迫ってくる場面も
09:21
is something you can see,
見えるようになります
09:24
and I believe this information would be something
これらの情報は
09:26
that is useful at times when the audio is turned off
音声がオフの場合や
聞こえない場合に役立つでしょう
09:29
or not heard at all, and I speculate that deaf audiences
また耳が聞こえない人は
聞こえる人に比べて
09:32
might actually even be better
音を見ることに
09:34
at seeing sound than hearing audiences.
長けていると思うのです
09:36
I don't know. It's a theory right now.
まだ仮説で はっきりわかりません
09:37
Actually, it's all just an idea.
単なるアイデアです
09:39
And let me end by saying that sound moves in all directions,
最後になりますが ―
音はあらゆる方向に広がります
09:40
and so do ideas.
アイデアも同じです
09:45
Thank you. (Applause)
ありがとうございます (拍手)
09:47
Translator:Kazunori Akashi
Reviewer:Natsuhiko Mizutani

sponsored links

Jared Ficklin - Visualizer
In his day job, Jared Ficklin makes user interfaces at frog design. As a hobby, he explores what music looks like ... in light, in shapes, in fire.

Why you should listen

Jared Ficklin is a Senior Principal Design Technologist at frog, where he builds user experiences for clients, playing with interactions including touch and multi-touch, and applying physics to enhance the user experience. A passion for music and making things introduced him to the hobby of sound visualization, which has led him on occasion to play with fire. (As Flash on the Beach puts it, "Jared Ficklin’s sonic experiments stood out for their individuality, drama and casual disregard for health and safety.") Every March in Austin, Texas, Ficklin organizes the frog party, a collective social experiment for a few thousand people attending SXSW Interactive. It's a form of playful R&D for social technology. And he has spent 10 years helping fund, design and  build quality free public skateparks for Austin as part of the Austin Public Skatepark Action Committee. 

sponsored links

If you need translations, you can install "Google Translate" extension into your Chrome Browser.
Furthermore, you can change playback rate by installing "Video Speed Controller" extension.

Data provided by TED.

This website is owned and operated by Tokyo English Network.
The developer's blog is here.