22:09
TED2008

Tod Machover + Dan Ellsey: Inventing instruments that unlock new music

トッド・マコーバー + ダン・エルシー: 新しい音楽の可能性を開く楽器を作る

Filmed:

MITメディアラボのトッド・マコーバーは音楽表現を大音楽家からアマチュアまで、誰にでもできるものとし、オペラからテレビゲームまで、あらゆる形態で可能とすべく研究しています。トッド・マコーバーと作曲家ダン・エルシーが次に何が可能になるかを紹介します。

- Composer, inventor
At MIT's Media Lab, Tod Machover creates boundary-breaking new music, often using new instruments and music technologies he has invented. Full bio

- Musician
Dan Ellsey uses Hyperscore music software and a custom-tuned musical "hyperinstrument" to write, perform and conduct his music, and to help others learn how to compose. Full bio

最初にお話ししたいことは 
みんな音楽が大好きだ ということです
00:18
The first idea I'd like to suggest is that we all
これはとても大事なことです
00:20
love music a great deal. It means a lot to us.
聞くだけでなく 
自分で音楽を作ることができれば
00:23
But music is even more powerful if you don't just listen to it, but you make it yourself.
もっと音楽は力強いものになります
これが最初のテーマです
00:29
So, that's my first idea. And we all know about the Mozart effect --
さて皆さん「モーツァルト効果」をご存知ですね?
00:32
the idea that's been around for the last five to 10 years --
10年ほど前から良く聞かれる話です
胎内の赤ちゃんに音楽を聞かせたり
音楽を演奏してあげたりするだけで
00:35
that just by listening to music or by playing music to your baby [in utero],
IQが10から30も良くなると言うのです
00:39
that it'll raise our IQ points 10, 20, 30 percent.
素晴らしい考えなんですが そうはいきません
00:43
Great idea, but it doesn't work at all.
ただ音楽を聞くだけではダメなんです
00:46
So, you can't just listen to music, you have to make it somehow.
何らかの方法で音楽を創る必要があるんですよ
00:49
And I'd add to that, that it's not just making it,
そして付け加えたいことは
これはただ単に音楽を創るというのではなく
00:53
but everybody, each of us, everybody in the world
われわれは皆 誰でも
非常にダイナミックな方法で音楽を創造し
00:55
has the power to create and be part of music in a very dynamic way,
音楽そのものの一部となる能力が
ある ということなんです
これが私の研究の大事なテーマです
00:59
and that's one of the main parts of my work.
MITメディアラボでこれまで長期に渡り
01:01
So, with the MIT Media Lab, for quite a while now,
我々が取り組んできたのが
01:03
we've been engaged in a field called active music.
能動的音楽(アクティブ・ミュージック)
と呼ばれるプロジェクトです
01:05
What are all the possible ways that we can think of
誰にでも音楽体験に
参加できるようにするためには
01:07
to get everybody in the middle of a musical experience,
どんな方法があるか? というのがテーマです
単に音楽を聞くだけでなく
01:10
not just listening, but making music?
音楽を創造することを可能にする方法が
あるのでしょうか?
01:13
And we started by making instruments for some of the world's greatest performers --
まず最高の音楽家向けの特別な楽器を
開発することから着手しました
我々が「ハイパーインスツルメント」と
名付けた楽器は ヨー・ヨー・マ
01:16
we call these hyperinstruments -- for Yo-Yo Ma, Peter Gabriel, Prince,
ピーター・ガブリエル、プリンスや
01:19
orchestras, rock bands. Instruments where they're all kinds of sensors
オーケストラやロックバンド向きに開発されました
楽器には
あらゆる種類のセンサーが組み込まれて
01:23
built right into the instrument, so the instrument knows how it's being played.
楽器がどのように演奏されているのかを
把握することが出来るわけです
把握した演奏状態データの
解釈や感覚を変えて
01:26
And just by changing the interpretation and the feeling,
チェロの音色を人の音声に変換することや
01:29
I can turn my cello into a voice, or into a whole orchestra,
大きなオーケストラの演奏に
01:32
or into something that nobody has ever heard before.
また誰も聞いた事がない音楽にも変換できます
これらの楽器を開発するようになったとき
01:35
When we started making these, I started thinking, why can't we make
このような素晴らしい楽器を一般の人向けに
01:37
wonderful instruments like that for everybody,
つまり ヨー・ヨー・マやプリンスのように
01:39
people who aren't fantastic Yo-Yo Mas or Princes?
才能ある音楽家ではない一般の人向けにも
作ってみようと考えるようになったのです
01:43
So, we've made a whole series of instruments.
その結果 我々は一連の楽器を開発しました
これらを集大成したものの一つが
「ブレイン・オペラ」です
01:45
One of the largest collections is called the Brain Opera.
100種類もの楽器からなる
オーケストラのようなものです
01:48
It's a whole orchestra of about 100 instruments,
全て 特別な練習をすることなく
01:50
all designed for anybody to play using natural skill.
誰もが演奏できるように設計されています
01:53
So, you can play a video game, drive through a piece of music,
つまりテレビゲームで遊ぶように
音楽の中を車で駆け抜けたり
01:56
use your body gesture to control huge masses of sound,
身振りで大量の音をコントロールしたり
特殊加工された表面に触れて
メロディーを創り上げたり
01:59
touch a special surface to make melodies, use your voice to make a whole aura.
自分の音声で音楽に独特の雰囲気を加えたり
することが可能になります
ブレイン・オペラの公演では 一般の観客を招き
02:04
And when we make the Brain Opera, we invite the public to come in,
この楽器を使ってもらい
02:06
to try these instruments and then collaborate with us
我々と共演してもらうことで
毎回の公演を
一緒に創り上げることにしたのです
02:09
to help make each performance of the Brain Opera.
ブレイン・オペラは長期に渡って
公演ツアーされました
02:10
We toured that for a long time. It is now permanently in Vienna,
現在ではウィーンに常設されていて
02:13
where we built a museum around it.
そこでは博物館の中にあります
これは皆さんが良くご存知の
あるモノにつながりました
02:15
And that led to something which you probably do know.
ギター・ヒーロー(Activision社のゲームソフト)は
02:18
Guitar Hero came out of our lab,
02:19
and my two teenage daughters and most of the students at the MIT Media Lab
我々の研究から生まれたものでした
私の二人の十代の娘や
02:22
are proof that if you make the right kind of interface,
MITメディアラボの多くの学生たちを見れば
適切なインターフェイスを創れれば
02:25
people are really interested in being in the middle of a piece of music,
どんな人でも
音楽の中に身を置くことに興味を持ち
何度も繰り返し演奏することができる
ということが分かると思います
02:29
and playing it over and over and over again.
これで基本的なモデルが
うまくいくことは分かりましたが
02:32
So, the model works, but it's only the tip of the iceberg,
これはまだ氷山の一角です
02:35
because my second idea is that it's not enough just to want
つまり私の二番目のアイディアでは
ギター・ヒーローのようなゲームの中で
02:38
to make music in something like Guitar Hero.
単に音楽を作りたい
というだけでは不十分だからです
つまり 音楽はとても楽しいものではありますが
02:41
And music is very fun, but it's also transformative.
もっと変化させる力を持つものでもあるからです
これはとても大事なことです
02:44
It's very, very important.
音楽は他の何にも増して
02:45
Music can change your life, more than almost anything.
人生を変えるような力を持っています
02:48
It can change the way you communicate with others,
音楽は人々がお互いにコミュニケートする仕方を
変えることができます
02:50
it can change your body, it can change your mind. So, we're trying
音楽は人の身体を変えることも
心を変える力も持っています
02:53
to go to the next step of how you build on top of something like Guitar Hero.
そこで 我々は
ギター・ヒーローの次の段階に進むべく
プロジェクトを開始したのです
我々は教育と深い関係があります
02:57
We are very involved in education. We have a long-term project
トイ・シンフォニーという長期間のプロジェクトでは
03:00
called Toy Symphony, where we make all kinds of instruments that are also addictive,
幼い子供は別として
小さな子供たちが夢中になってしまうような
様々な楽器を開発しました
03:04
but for little kids, so the kids will fall in love with making music,
知らず知らずに
音楽を作ることに引き込まれてしまい
時間を忘れてのめりこみ
03:08
want to spend their time doing it, and then will demand to know how it works,
しかも「この楽器はどうして音が出るのだろう」
とか
03:11
how to make more, how to create. So, we make squeezy instruments,
「もっと音楽を作るにはどうすれば
よいのだろう?」と
要求するものを開発したのです 
その一つが握ることで音の出る楽器で
03:14
like these Music Shapers that measure the electricity in your fingers,
「ミュージック・シェイパー」と名付けたものです
これは指に流れる電流を測って音楽にします
これは指に流れる電流を測って音楽にします
03:18
Beatbugs that let you tap in rhythms -- they gather your rhythm,
「ビート・バグ」と名付けた楽器は
軽く叩くとそのリズムを自動的に拾い上げ
バトンタッチをするようにそのリズムを
人から人へと受け渡します
03:21
and like hot potato, you send your rhythm to your friends,
受け取った人は
03:23
who then have to imitate or respond to what your doing --
そのリズムを真似したり
反応したりしなければなりません
「ハイパー・スコア」という名のソフトウェアも
開発しました
03:26
and a software package called Hyperscore, which lets anybody use lines and color
これを使うとどんな人でもディスプレイ上に
線を引いたり それに色をつけたりする事で
03:30
to make quite sophisticated music. Extremely easy to use, but once you use it,
相当に高度な音楽を作り出すことができます
また極めて操作が容易で 一度使えば
03:34
you can go quite deep -- music in any style. And then, by pressing a button,
どんなスタイルの音楽にも
のめりこむことが可能になります
03:38
it turns into music notation so that live musicians can play your pieces.
しかも ボタン一つで
譜面に変換して プロの演奏家が
演奏することだって出来るんです
世界中の子供たちに大きな影響がありました
03:44
We've had good enough, really, very powerful effects with kids
あらゆる年代の人が
「ハイパー・スコア」を使います
03:47
around the world, and now people of all ages, using Hyperscore.
このような創造的な活動をもっと広い領域で
しかもあらゆる人々に対して
03:50
So, we've gotten more and more interested in using these kinds of creative activities
展開することに益々興味がわいてきたのです
03:54
in a much broader context, for all kinds of people
普段 音楽を作るチャンスなどないような人達に対して使うことに関心が湧いてきたわけです
03:56
who don't usually have the opportunity to make music.
MITメディアラボにおいて我々が取り組んでいて
03:59
So, one of the growing fields that we're working on
04:00
at the Media Lab right now is music, mind and health.
しかも拡大している領域の一つが
音楽と心と健康の領域です
04:03
A lot of you have probably seen Oliver Sacks' wonderful new book called
多くの方が オリバー・サックスの
素晴らしい新刊をご存知と思います
「ミュジコフィリア―音楽嗜好症」
素晴らしい本です
04:06
"Musicophilia". It's on sale in the bookstore. It's a great book.
是非お読み下さい 
著者自身 ピアニストです
04:10
If you haven't seen it, it's worth reading. He's a pianist himself,
この本で彼は 自らの体験から
尋常でない境遇におかれた人々に対して
04:12
and he details his whole career of looking at and observing
音楽がいかに大きな影響を与えたか
述べています
04:16
incredibly powerful effects that music has had on peoples' lives in unusual situations.
例えば
アルツハイマー症患者で症状が進行しても
04:21
So we know, for instance, that music is almost always the last thing
最後まで音楽には反応することが
知られています
04:24
that people with advanced Alzheimer's can still respond to.
皆さんのご家族でこのような経験を
お持ちの方がいらっしゃるのではないでしょうか?
04:28
Maybe many of you have noticed this with loved ones,
例えば鏡に映った自分を見ても
誰か認識できないような症状であったり
04:30
you can find somebody who can't recognize their face in the mirror,
家族も認識できなくなった患者でも
音楽には反応することがあります
04:32
or can't tell anyone in their family, but you can still find a shard of music
突然椅子から飛び起きて
歌い出すこともあります
04:35
that that person will jump out of the chair and start singing. And with that
このように記憶や人格を
一部でも取り戻すことがあるのです
04:39
you can bring back parts of people's memories and personalities.
脳卒中のために言語障害のある人でも
04:41
Music is the best way to restore speech to people who have lost it through strokes,
音楽は言語能力を取り戻すのに
最も良い方法なんです
あるいは パーキンソン病の人に運動能力を
取り戻す方法としても です
04:45
movement to people with Parkinson's disease.
うつ病や統合失調症など
いろいろな病状の改善に音楽は大変役立ちます
04:47
It's very powerful for depression, schizophrenia, many, many things.
そこで 私たちはなぜこういう効果があるのか
04:51
So, we're working on understanding those underlying principles
その根本原理を理解しようと研究を進めています
04:53
and then building activities which will let music really improve people's health.
音楽を用いて人々の健康を改善するような
活動を開発しようとしています
様々なアプローチからこれに取り組んでいます
04:57
And we do this in many ways. We work with many different hospitals.
例えば複数の病院と
共同研究に取り組んでいます
05:00
One of them is right near Boston, called Tewksbury Hospital.
一つが
ボストン近郊の テュークスベリー病院です
ここは長期療養の州立病院ですが
数年前から
05:03
It's a long-term state hospital, where several years ago
この病院の身体や精神に障害をもった患者達に
ハイパー・スコアを使った取り組みをはじめました
05:05
we started working with Hyperscore and patients with physical and mental disabilities.
テュークスベリー病院における治療の
中心を占めるようになって
05:09
This has become a central part of the treatment at Tewksbury hospital,
皆が音楽活動をしたくて
ウズウズしている状態なんです
05:13
so everybody there clamors to work on musical activities.
これは患者に対する治療を
最も向上させる活動と言えると思います
05:17
It's the activity that seems to accelerate people's treatment the most
これが病院中に音楽活動で結びついた
共同体意識をもたらしているのです
05:21
and it also brings the entire hospital together as a kind of musical community.
これまでのプロジェクトをまとめた
短い映像をご覧に入れましょう
05:25
I wanted to show you a quick video of some of this work before I go on.
これは子供たちがリズムを
操作しているところです
06:10
Video: They're manipulating each other's rhythms.
リズムを演奏したり聞いたりすることを
学ぶだけでなく
06:12
It's a real experience, not only to learn how to play and listen to rhythms,
音楽的な記憶力や 人に合わせて
合奏することを学べるのです
06:16
but to train your musical memory and playing music in a group.
自分自身で曲を作ったり 変えたり
06:21
To get their hands on music, to shape it themselves, change it,
自分自身の曲にしていくことも出来るんです
06:25
to experiment with it, to make their own music.
つまりハイパースコアでは
まったくゼロの状態から
06:27
So Hyperscore lets you start from scratch very quickly.
短期間で始める事ができるのです
誰もが非常に深いレベルで音楽を
体験することが出来るのです
06:38
Everybody can experience music in a profound way,
06:40
we just have to make different tools.
それには今までにない道具を作る
必要があります
今日お話ししたい三つ目のテーマは
ちょっと逆説的ですが
06:59
The third idea I want to share with you is that music, paradoxically,
自分自身について語るためには音楽の方が
07:05
I think even more than words, is one of the very best ways we have
言葉よりもすぐれた方法だ ということです
07:08
of showing who we really are. I love giving talks, although
私自身皆さんの前でお話しするのは好きですが
音楽を演奏するのに比べれば
少しドキドキしてしまいます
07:12
strangely I feel more nervous giving talks than playing music.
もしチェロやシンセサイザーを弾いたり
私の曲をみなさんに披露するのであれば
07:14
If I were here playing cello, or playing on a synth, or sharing my music with you,
07:17
I'd be able to show things about myself that I can't tell you in words,
言葉では伝えきれない
もっと個人的でより深いことも
皆さんにお伝えすることができるでしょう
07:22
more personal things, perhaps deeper things.
多くの人もそうだと思います
07:25
I think that's true for many of us, and I want to give you two examples
ここで音楽が我々と自分以外とを
07:28
of how music is one of the most powerful interfaces we have,
結びつける最も有力な道具であるという
二つの例を
お話しましょう
07:31
from ourselves to the outside world.
最初の例は 今我々が取り組んでいる
変わったプロジェクトで
07:33
The first is a really crazy project that we're building right now, called
Death and the Powers(死とパワーズ)という
大きなオペラです
07:37
Death and the Powers. And it's a big opera,
おそらく現在作られているオペラの中で
大規模なものの一つになるでしょう
07:39
one of the larger opera projects going on in the world right now.
大成功し権力もある富豪で
不死の力を手に入れたいと願う男の物語です
07:43
And it's about a man, rich, successful, powerful, who wants to live forever.
男は自分自身に関わるあらゆるデータを
07:48
So, he figures out a way to download himself into his environment,
一連の本の中にダウンロードしようとします
07:50
actually into a series of books.
これで男は永遠の命を
手に入れようとするのです
07:53
So this guy wants to live forever, he downloads himself into his environment.
オペラの最初に主演歌手が舞台から姿を消すと
07:56
The main singer disappears at the beginning of the opera
舞台全体が主人公の人格そのものになります
08:00
and the entire stage becomes the main character. It becomes his legacy.
このオペラは 他人とそして愛する人と
何を分かち合えるのか
08:04
And the opera is about what we can share, what we can pass on to others,
何を伝えることが出来るのか
そして何を伝えられないかについてです
08:07
to the people we love, and what we can't.
オペラの中では
あらゆるモノが命をもった巨大な楽器になります
08:09
Every object in the opera comes alive and is a gigantic music instrument,
例えば 舞台全体を覆うような
巨大なシャンデリアに見えるものは
08:13
like this chandelier. It takes up the whole stage. It looks like a chandelier,
実はロボット化された楽器なんです
08:16
but it's actually a robotic music instrument.
この巨大なピアノの弦は
08:18
So, as you can see in this prototype, gigantic piano strings,
小さなロボットによって制御されます
08:22
each string is controlled with a little robotic element --
小さな弓が弦を弾き プロペラは弦を叩き
08:25
either little bows that stroke the strings, propellers that tickle the strings,
音が弦を震わせ
ステージ上には多数のロボットも登場します
08:30
acoustic signals that vibrate the strings. We also have an army of robots on stage.
これらのロボットは
主人公のサイモン・パワーズと
08:35
These robots are the kind of the intermediary between the main character, Simon Powers,
家族との仲介役で
古代ギリシャ劇の合唱隊のようなもので
08:39
and his family. There are a whole series of them, kind of like a Greek chorus.
舞台上の演技を見守っています
08:43
They observe the action. We've designed these square robots that we're testing right now
現在MITでテスト中のこの四角いロボットは
オペラボットと呼ばれています
08:48
at MIT called OperaBots. These OperaBots follow my music.
オペラボットは音楽に合わせて作動します
08:51
They follow the characters. They're smart enough, we hope,
登場人物を追いかけます
また 知的にできているので
08:54
not to bump into each other. They go off on their own.
お互い衝突しないはずです
08:57
And then they can also, when you snap, line up exactly the way you'd like to.
ロボットは自動的に動き出し
そして勿論 お望みのように
指を鳴らすと整列させることもできます
単なる立方体に過ぎませんが
実際には個性を持っていると言えます
09:03
Even though they're cubes, they actually have a lot of personality.
オペラの中で最も大きな舞台装置は
「システム」と呼ばれる 大量の本です
09:12
The largest set piece in the opera is called The System. It's a series of books.
本は全部がロボットで
動いたり音を出すことが出来ます
09:16
Every single book is robotic, so they all move, they all make sound,
全体が一体化するとこのような壁になります
09:20
and when you put them all together, they turn into these walls,
サイモンパワーズの
身振りや個性を表現するのです
09:24
which have the gesture and the personality of Simon Powers. So he's disappeared,
主人公は舞台上から姿を消しましたが
09:29
but the whole physical environment becomes this person.
舞台全体が主人公そのものに変化するのです
このように自分自身を変身させるのが
主人公の意思だったからです
09:32
This is how he's chosen to represent himself.
本の背表紙には大量のLEDが仕掛けてあり
09:35
The books also have high-packed LEDs on the spines. So it's all display.
映像を写すことができます
09:42
And here's the great baritone James Maddalena as he enters The System.
これは著名なバリトン歌手
ジェームズ・マダレーナが
システムに入るところです
予告編をご覧ください
09:46
This is a sneak preview.
このオペラは2009年9月に
モナコで初演の予定です
10:11
This premieres in Monaco -- it's in September 2009. If by any chance you can't make it,
万一モナコに来られない方のために
10:16
another idea with this project -- here's this guy building his legacy
このプロジェクトの
もう一つの応用例をご紹介しましょう
このオペラは
自分自身の全てを音楽や環境によって
10:19
through this very unusual form, through music and through the environment.
遺産として残そうとする男の話です
10:23
But we're also making this available both online and in public spaces,
この作品をオンラインや
公共の場所で見られるようにしています
自分自身や愛する人の遺産を残すために
10:27
as a way of each of us to use music and images from our lives
音楽や我々自身の映像を使うことです
10:31
to make our own legacy or to make a legacy of someone we love.
つまり 大仕掛けのオペラの代わりに
10:34
So instead of being grand opera, this opera will turn into what we're
パーソナル・オペラと言うべきものに
なるわけです
10:37
thinking of as personal opera.
パーソナル・オペラを開発する場合
10:39
And, if you're going to make a personal opera, what about a personal instrument?
楽器はどうすればよいでしょう?
10:41
Everything I've shown you so far -- whether it's a hyper-cello for Yo-Yo Ma
ご覧に入れた ヨー・ヨー・マ用の
ハイパー・チェロにしても
子供用の握る楽器にしても
10:44
or squeezy toy for a child -- the instruments stayed the same and are valuable
大演奏家か子供なのかは別として
10:49
for a certain class of person: a virtuoso, a child.
みなある種のレベルの人のためのものでした
もし私が普段通りの
身振り手ぶりだけで演奏できる
10:52
But what if I could make an instrument that could be adapted
楽器を開発したとしたらどうでしょう?
10:55
to the way I personally behave, to the way my hands work,
身振りや手振りは
とてもうまくできるかも知れないし
10:59
to what I do very skillfully, perhaps, to what I don't do so skillfully?
そうでないかも知れません
11:02
I think that this is the future of interface, it's the future of music, the future of instruments.
これは未来のインターフェイスであり 未来の音楽
そして未来の楽器になると思います
11:07
And I'd like now to invite two very special people on the stage,
ここで 二人の特別なゲストを招きたいと思います
きっとパーソナル楽器とは一体どんなものなのか
お分かりいただけると思います
11:10
so that I can give you an example of what personal instruments might be like.
MITの博士課程の学生 アダム・ブランジェーと
11:16
So, can you give a hand to Adam Boulanger, Ph.D. student from
ダン・エルシーを拍手でお迎えください
11:21
the MIT Media Lab, and Dan Ellsey. Dan,
ダンは TEDと
ボンバルディア・フレックスジェット社のおかげで
11:28
thanks to TED and to Bombardier Flexjet, Dan is here with us today
テュークスベリー病院から
今日ここまで来ることが出来ました
11:35
all the way from Tewksbury. He's a resident at Tewksbury Hospital.
彼はテュークスベリー病院の入院患者なんです
これまでで最も病院から離れたところまで
足を伸ばしたことになると思います
11:39
This is by far the farthest he's strayed from Tewksbury Hospital, I can tell you that,
それは 彼が皆さんの前で
是非自分の音楽を披露したかったからなんです
11:43
because he's motivated to meet with you today and show you his own music.
ダン まずは皆さんに一言ご挨拶をお願いします
11:48
So, first of all, Dan, do you want to say hi to everyone and tell everyone who you are?
こんにちは 私はダン・エルシーといいます 
34歳で 脳性麻痺の患者です
11:57
Dan Ellsey: Hello. My name is Dan Ellsey. I am 34 years old and I have cerebral palsy.
私はずっと音楽が好きで
この新しいソフトウェアを使って自分の曲を
12:05
I have always loved music and I am excited to be able to conduct
演奏出来るのでとてもワクワクしています
12:11
my own music with this new software.
私たちもみな 君が今日ここに来てくれて
ワクワクしていますよ
12:15
Tod Machover: And we're really excited to have you here, really Dan. (Applause)
私たちがダンと出会ったのは
3年半ほど前のことで
12:26
So we met Dan about three years ago, three and a half years ago,
テュークスベリー病院で
研究を始めたときでした
12:29
when we started working at Tewksbury. Everybody we met there was fantastic,
病院で出会った人はみな素晴らしく
12:34
did fantastic music. Dan had never made music before, and it turned out
音楽の才能に溢れていました
ダンはそれまで
作曲をしたことがありませんでした
素晴らしい才能を持っていることが
分かったのです
12:39
he was really fantastic at it. He's a born composer.
生まれつきの作曲家なんです
12:46
He's very shy, too.
とても恥ずかしがり屋なんですよね
素晴らしい作曲家だと分かり
12:49
So, turned out he's a fantastic composer, and over the last few years has been
その後数年に渡り
我々と一緒に仕事をしています
12:53
a constant collaborator of ours. He has made many, many pieces.
彼は多くの曲を作曲してきました
CDも出しました
12:56
He makes his own CDs. Actually, he is quite well known in the Boston area --
彼はボストン地区では相当に有名なんです
12:59
mentors people at the hospital and children, locally, in how to make their own music.
病院の患者たちや地域の子供たちに
作曲を教えています
13:03
And I'll let Adam tell you. So, Adam is a Ph.D. student at MIT, an expert in music
ここでMIT博士課程の学生で音楽 技術 医学が専門のアダムをご紹介しましょう
13:08
technology and medicine. And Adam and Dan have become close collaborators.
アダムはダンと一緒に研究してきました
最近アダムが研究しているのは
ダンが自分自身で作曲するために
13:13
What Adam's been working on for this last period is not only how to have Dan
何をすれば良いのか
と言うことだけではありません
13:17
be able easily to make his own pieces,
ダン自身がそれを演奏するのに
個人の楽器を使うということも研究してきました
13:20
but how he can perform his piece using this kind of personal instrument.
どんな研究をしているか
簡単に説明してくれるかい
13:23
So, you want to say a little bit about how you guys work?
ええ テュークスベリー病院で研究をしていて
13:25
Adam Boulanger: Yes. So, Tod and I entered into a discussion
13:28
following the Tewksbury work and it was really about how Dan is an expressive
ダンが大変表現豊かで知的で
かつ創造的であるということを
13:32
person, and he's an intelligent and creative person. And it's in his face,
トッドと私で話したんです 
ダンは顔の表情や
呼吸のしかた あるいは目でそれを表すんです
13:37
it's in his breathing, it's in his eyes. How come he can't perform
それなのに 彼自身の曲を
なぜ自分で演奏できないのか?
13:40
one of his pieces of music? That's our responsibility, and it doesn't make sense.
それをできるようにするのが
我々の仕事だと思ったんです
ダンが身体的な障害を持っていても
微妙なニュアンスを表現し
13:44
So we started developing a technology that will allow him with nuance,
正確に彼自身の曲を演奏できるような技術を
13:47
with precision, with control, and despite his physical disability, to be able to do that,
開発することにしたんです
13:52
to be able to perform his piece of music.
まずは処理過程と技術が必要です
13:55
So, the process and the technology --
基本的には工学的な解決策が必要でした
13:57
basically, first we needed an engineering solution. So, you know,
ご覧のようにコンピューターに接続されたカメラが赤外線による位置指示信号を関知します
14:00
we have a FireWire camera, it looked at an infrared pointer.
身振りや表情など ダンがすでに会話支援装置で使い慣れている方式を
14:03
We went with the type of gesture metaphor that Dan was already used to
音楽表現のための方法として採用しました
14:07
with his speaking controller.
設計は一番面白くない部分でした
14:11
And this was actually the least interesting part of the work, you know,
何を入力信号にし 持続的追跡はどうするのか
14:14
the design process. We needed an input; we needed continuous tracking;
ソフトウェアはダンの動作のパターンを
認識していました
14:17
in the software, we look at the types of shapes he's making.
しかし本当に面白い仕事は
技術的な問題の次にやってきます
14:20
But, then was the really interesting aspect of the work, following the engineering part,
我々は病院でダンの肩越しに
ダンがどんな風に動くのか
14:24
where, basically, we're coding over Dan's shoulder at the hospital
見守りながら プログラムを書いていたんです
14:27
extensively to figure out, you know, how does Dan move?
音楽表現をするために
どんな動作が彼にとって役立つのか?
14:30
What's useful to him as an expressive motion?
つまり 彼にとっての音楽表現とは何なのか?
ということです
14:32
You know, what's his metaphor for performance?
ダンにとって音楽のニュアンスを表現したり
伝えるためには
14:35
What types of things does he find
どんなことが重要なのでしょうか?
14:37
important to control and convey in a piece of music?
14:39
So all the parameter fitting, and really the technology
変数の計算や技術を限界まで利用し
14:43
was stretched at that point to fit just Dan.
ダンが音楽をぴったり表現できるようにしました
これは考え方の転換です 
つまりこの技術さえあれば誰でも創造的な
14:46
And, you know, I think this is a perspective shift. It's not that our technologies --
音楽を作れるようになるわけではありません
14:52
they provide access, they allow us to create pieces of creative work.
表現とは一体なんでしょう?
音楽家が素晴らしい曲を演奏する
14:56
But what about expression? What about that moment when an artist delivers
瞬間の表現はどうなるのでしょう?
技術によって表現が可能になるのでしょうか?
14:59
that piece of work? You know, do our technologies allow us to express?
技術でそんなことを可能にする
仕組みを作れるでしょうか?
15:03
Do they provide structure for us to do that? And, you know, that's a personal relationship
技術に欠けている音楽表現と
15:07
to expression that is lacking in the technological sphere. So, you know,
どう個人的にかかわっていくかということです
そこでダンのために
我々には新しい設計方法や技術が必要でした
15:11
with Dan, we needed a new design process, a new engineering process
ダンの動作や表現を演奏に結びつけるための
仕組みを発見する必要があったのです
15:14
to sort of discover his movement and his path to expression that allow him to perform.
今日はそれをご披露します
15:19
And so that's what we'll do today.
ダン 今日これから君が演奏する曲について
15:21
TM: So let's do it. So Dan do you want to tell everyone
説明してくれるかい?
15:23
about what you're going to play now?
これは「マイ・イーグル・ソング」といいます
15:31
DE: This is "My Eagle Song."
これからダンが演奏するのは彼が作曲した
「マイ・イーグル・ソング」です
15:35
TM: So Dan is going to play a piece of his, called "My Eagle Song".
これはダンの曲の楽譜です
15:38
In fact, this is the score for Dan's piece,
15:40
completely composed by Dan in Hyperscore.
ハイパースコアを使って
完全に一人で作曲しました
15:43
So he can use his infrared tracker to go directly into Hyperscore.
彼は赤外線追跡装置を使って
ハイパースコアを直接使うことが出来るんです
実に素早く使うことが出来ます 
私よりも速いくらいです
15:48
He's incredibly fast at it, too, faster than I am, in fact.
(笑)
15:51
(Laughter)
彼は謙虚ですしね
15:55
TM: He's really modest, too.
ハイパースコアを使って
まずはメロディーやリズムを作ります
15:58
So he can go in Hyperscore. You start out by making melodies and rhythms.
これを好きなところに動かすことが出来ます
16:04
He can place those exactly where he wants.
それぞれには色がついており
作曲ウィンドウにもどれば
16:06
Each one gets a color. He goes back into the composition window,
線をひいたり あらゆる要素を思いのままに
配置できます ハイパースコアをみれば
16:09
draws the lines, places everything the way he wants to. Looking at the Hyperscore,
これがお分かりいただけると思います 
それぞれのセクションがどこにあるか
16:14
you can see it also, you can see where the sections are,
ある部分はしばらく続き 変化したり
激しくなったり 最後には
16:17
something might continue for a while, change, get really crazy and then end
大きく爆発して終わったりします
16:22
up with a big bang at the end.
こうやって彼は作曲したんです 
アダムがご説明したように
16:25
So that's the way he made his piece, and as Adam says,
私たちはダン自身が演奏できるようにするための
最良の仕組みも開発しました
16:28
we then figured out the best way to have him perform his piece.
このカメラが 彼の動きを観測 分析し
16:35
It's going to be looked at by this camera, analyze his movements,
ダンが望むように
彼の曲の色々な特徴を引き出すことが出来ます
16:38
it's going to let Dan bring out all the different aspects of his music that he wants to.
スクリーン上の映像にお気づきになると思います
16:42
And you're also going to notice a visual on the screen.
学生に指示して カメラがどのように動作を
測定しているのかを映すことにしました
16:45
We asked one of our students to look at what the camera is measuring.
カメラの映像そのままをお見せするのではなく
16:51
But instead of making it very literal, showing you exactly
16:54
the camera tracing, we turned it into a graphic that shows you the basic
画像を加工処理し グラフィックス表現にし
16:59
movement, and shows the way it's being analyzed.
どのように動作を分析しているのかを
分かり易くして見ました
これでダンの動作をどんな風に拾い上げているのか 分かっていただけると思います
17:03
I think it gives an understanding of how we're picking out movement from what
それだけでなく
ダンが演奏する時の動作を見れば
17:07
Dan's doing, but I think it will also show you, if you look at that movement,
彼の動作が大変はっきりとして 正確で
17:11
that when Dan makes music, his motions are very purposeful, very precise,
良く統制がとれており
その上大変美しいことが分かると思います
17:18
very disciplined and they're also very beautiful.
17:21
So, in hearing this piece, as I mentioned before, the most important thing is
この曲を聞いていただければ
最初に申し上げた 音楽は素晴しい という
ことがお分かりいただけると思います
17:26
the music's great, and it'll show you who Dan is.
そしてダンがどんな人間であるかということも
17:29
So, are we ready Adam?
アダム 用意はいいかい?
17:31
AB: Yeah.
はい
OK それではダンが「マイ・イーグル・ソング」を
皆さんのために演奏します
17:33
TM: OK, now Dan will play his piece "My Eagle Song" for you.
(音楽)
20:01
(Applause)
(拍手)
ブラボー!
20:25
TM: Bravo.
(拍手)
20:27
(Applause)
Translated by Masaki Mikami
Reviewed by Masaki Yanagishita

▲Back to top

About the Speakers:

Tod Machover - Composer, inventor
At MIT's Media Lab, Tod Machover creates boundary-breaking new music, often using new instruments and music technologies he has invented.

Why you should listen

Tod Machover is head of the MIT Media Lab's Hyperinstruments/Opera of the Future group. He has composed five operas and helped to develop many groundbeaking musical technologies -- including Hyperinstruments, a technology that augments musical expression for both virtuosi (from Yo-Yo Ma to Prince) and amateurs, and Hyperscore, software that allows anyone to create sophisticated, original music by using lines and colors. Many of Machover's principles about "active participation" in music are exemplified in Guitar Hero, which grew out of his lab.

Among his current projects is a new opera, Death and the Powers, complete with a musical chandelier, animatronic walls, and an army of robots. Death and the Powers premieres in Monaco in September 2009.

A recent focus of Machover's group has been on Music, Mind and Health, which marshals the power of music to promote well-being. Working with long-term patients at facilities such as Tewksbury Hospital, north of Boston, the group's goal is to develop personal musical activities that adapt to the particular skills and needs of each individual. In this way, the path to health becomes as rewarding as learning an instrument, composing a symphony, or premiering at Carnegie Hall.

More profile about the speaker
Tod Machover | Speaker | TED.com
Dan Ellsey - Musician
Dan Ellsey uses Hyperscore music software and a custom-tuned musical "hyperinstrument" to write, perform and conduct his music, and to help others learn how to compose.

Why you should listen

A resident of Tewksbury Hospital in Massachusetts, Dan Ellsey has cerebral palsy and does not walk or speak. He does, however, write and play his own music, and mentor others, through a groundbreaking music system developed by MIT's Tod Machover and his team, including grad student Adam Boulanger. Working closely with this team, Ellsey helped to develop and fine-tune a head-mounted interface, tweaked to respond to his movements, that allows him to compose music and to conduct nuanced performances of his work. Hyperscore software helps Ellsey notate his musical ideas.

Ellsey's work has been performed at MIT, on the radio and at workshops around the Boston area. The Lowell Symphony Orchestra performed his piece "Our Musically" at a 2004 concert for residents of Tewksbury -- many of whom count Ellsey as a mentor in their own musical education.

More profile about the speaker
Dan Ellsey | Speaker | TED.com