TED2008
Tod Machover + Dan Ellsey: Inventing instruments that unlock new music
Tod Machover en Dan Ellsey spelen nieuwe muziek
Filmed:
Readability: 4.1
578,384 views
Tod Machover van het Media Lab van MIT zet zich in voor de uitbreiding van muzikale expressie naar iedereen, van virtuozen tot amateurs, in al zijn meest diverse vormen, van opera tot videospellen. Componist Dan Ellsey en hij laten hun licht schijnen op de volgende stappen.
Tod Machover - Composer, inventor
At MIT's Media Lab, Tod Machover creates boundary-breaking new music, often using new instruments and music technologies he has invented. Full bioDan Ellsey - Musician
Dan Ellsey uses Hyperscore music software and a custom-tuned musical "hyperinstrument" to write, perform and conduct his music, and to help others learn how to compose. Full bio
At MIT's Media Lab, Tod Machover creates boundary-breaking new music, often using new instruments and music technologies he has invented. Full bioDan Ellsey - Musician
Dan Ellsey uses Hyperscore music software and a custom-tuned musical "hyperinstrument" to write, perform and conduct his music, and to help others learn how to compose. Full bio
Double-click the English transcript below to play the video.
00:18
The first idea I'd like to suggest is that we all
0
0
2000
Mijn eerste suggestie is dat we allemaal
00:20
love music a great deal. It means a lot to us.
1
2000
3000
veel van muziek houden. Het betekent veel voor ons.
00:23
But music is even more powerful if you don't just listen to it, but you make it yourself.
2
5000
6000
Maar muziek is nog krachtiger als je ze niet alleen beluistert, maar ook zelf maakt.
00:29
So, that's my first idea. And we all know about the Mozart effect --
3
11000
3000
Dat is mijn eerste idee. We kennen allemaal het Mozart-effect --
00:32
the idea that's been around for the last five to 10 years --
4
14000
3000
een idee die de jongste 5 à 10 jaar opgeld maakt --
00:35
that just by listening to music or by playing music to your baby [in utero],
5
17000
4000
dat als je gewoon naar muziek luistert, of als je muziek speelt voor je baby in de baarmoeder,
00:39
that it'll raise our IQ points 10, 20, 30 percent.
6
21000
4000
je IQ met 10, 20, 30 punten stijgt.
00:43
Great idea, but it doesn't work at all.
7
25000
3000
Fantastisch idee, maar het werkt helemaal niet.
00:46
So, you can't just listen to music, you have to make it somehow.
8
28000
3000
Het volstaat niet om naar muziek te luisteren, je moet ze maken.
00:49
And I'd add to that, that it's not just making it,
9
31000
4000
Ik voeg eraan toe dat het niet gewoon maken is.
00:53
but everybody, each of us, everybody in the world
10
35000
2000
Iedereen, elk van ons, iedereen op de wereld
00:55
has the power to create and be part of music in a very dynamic way,
11
37000
4000
heeft het in zich om op een heel dynamische manier muziek te creëren en erin te delen.
00:59
and that's one of the main parts of my work.
12
41000
2000
Dat is één van de hoofdonderdelen van mijn werk.
01:01
So, with the MIT Media Lab, for quite a while now,
13
43000
2000
In het MIT Media Lab zijn we nu al een tijdje bezig
01:03
we've been engaged in a field called active music.
14
45000
2000
in een domein dat actieve muziek heet.
01:05
What are all the possible ways that we can think of
15
47000
2000
Wat zijn de manieren die we kunnen bedenken
01:07
to get everybody in the middle of a musical experience,
16
49000
3000
om iedereen bij een muzikale ervaring te betrekken,
01:10
not just listening, but making music?
17
52000
3000
en ze niet alleen laten luisteren, maar muziek laten maken?
01:13
And we started by making instruments for some of the world's greatest performers --
18
55000
3000
We begonnen met instrumenten te maken voor een aantal topvertolkers --
01:16
we call these hyperinstruments -- for Yo-Yo Ma, Peter Gabriel, Prince,
19
58000
3000
die noemen we "hyperinstrumenten" -- voor Yo-Yo Ma, Peter Gabriel, Prince,
01:19
orchestras, rock bands. Instruments where they're all kinds of sensors
20
61000
4000
orkesten, rockgroepen, instrumenten met allerlei sensoren
01:23
built right into the instrument, so the instrument knows how it's being played.
21
65000
3000
in het instrument ingebouwd, zodat het instrument weet hoe het wordt bespeeld.
01:26
And just by changing the interpretation and the feeling,
22
68000
3000
Door enkel de interpretatie en het gevoel aan te passen,
01:29
I can turn my cello into a voice, or into a whole orchestra,
23
71000
3000
kan ik van mijn cello een stem maken, of een heel orkest,
01:32
or into something that nobody has ever heard before.
24
74000
3000
of iets dat niemand ooit gehoord heeft.
01:35
When we started making these, I started thinking, why can't we make
25
77000
2000
Toen we die begonnen te maken, dacht ik: waarom kunnen we geen
01:37
wonderful instruments like that for everybody,
26
79000
2000
heerlijke instrumenten als deze maken voor iedereen,
01:39
people who aren't fantastic Yo-Yo Mas or Princes?
27
81000
4000
voor mensen die geen geweldige Yo-Yo Ma's of Princen zijn?
01:43
So, we've made a whole series of instruments.
28
85000
2000
Dus maakten we een hele reeks instrumenten.
01:45
One of the largest collections is called the Brain Opera.
29
87000
3000
Eén van de grootste verzamelingen heet de Breinopera.
01:48
It's a whole orchestra of about 100 instruments,
30
90000
2000
Het is een compleet orkest van ongeveer 100 instrumenten,
01:50
all designed for anybody to play using natural skill.
31
92000
3000
allemaal ontworpen om te worden bespeeld op basis van natuurlijk talent.
01:53
So, you can play a video game, drive through a piece of music,
32
95000
3000
Dus kan je een videospel spelen, door een stuk muziek rijden,
01:56
use your body gesture to control huge masses of sound,
33
98000
3000
lichaamsbewegingen gebruiken om grote geluidsmassa's aan te sturen,
01:59
touch a special surface to make melodies, use your voice to make a whole aura.
34
101000
5000
een speciale oppervlakte gebruiken om melodieën te maken, je stem gebruiken om een aura te produceren.
02:04
And when we make the Brain Opera, we invite the public to come in,
35
106000
2000
Als we de Breinopera uitvoeren, nodigen we het publiek uit
02:06
to try these instruments and then collaborate with us
36
108000
3000
om deze instrumenten te proberen en samen met ons
02:09
to help make each performance of the Brain Opera.
37
111000
1000
elke uitvoering van de Breinopera vorm te geven.
02:10
We toured that for a long time. It is now permanently in Vienna,
38
112000
3000
We zijn er lang mee op tournee geweest. Het staat nu permanent in Wenen,
02:13
where we built a museum around it.
39
115000
2000
waar we er een museum rond gebouwd hebben.
02:15
And that led to something which you probably do know.
40
117000
3000
Dat leidde tot iets dat je wellicht kent.
02:18
Guitar Hero came out of our lab,
41
120000
1000
Guitar Hero was een product van ons laboratorium.
02:19
and my two teenage daughters and most of the students at the MIT Media Lab
42
121000
3000
Mijn twee tienerdochters en de meeste studenten van MIT Media Lab
02:22
are proof that if you make the right kind of interface,
43
124000
3000
zijn het bewijs dat mensen, als je de juiste interface maakt,
02:25
people are really interested in being in the middle of a piece of music,
44
127000
4000
echt in een stuk muziek willen opgaan,
02:29
and playing it over and over and over again.
45
131000
3000
en het altijd opnieuw willen spelen.
02:32
So, the model works, but it's only the tip of the iceberg,
46
134000
3000
Het model werkt dus, maar het is maar de top van de ijsberg.
02:35
because my second idea is that it's not enough just to want
47
137000
3000
Mijn tweede idee is dat het niet volstaat
02:38
to make music in something like Guitar Hero.
48
140000
3000
om muziek te willen maken in iets als Guitar Hero.
02:41
And music is very fun, but it's also transformative.
49
143000
3000
Muziek is echt leuk, maar het maakt je ook tot een ander mens.
02:44
It's very, very important.
50
146000
1000
Het is heel erg belangrijk.
02:45
Music can change your life, more than almost anything.
51
147000
3000
Meer dan wat ook kan muziek je leven veranderen.
02:48
It can change the way you communicate with others,
52
150000
2000
Het kan je manier van communiceren met anderen veranderen.
02:50
it can change your body, it can change your mind. So, we're trying
53
152000
3000
Het kan je lichaam veranderen, en je geest. We proberen dus
02:53
to go to the next step of how you build on top of something like Guitar Hero.
54
155000
4000
een volgende stap te zetten, voortbouwend op iets als Guitar Hero.
02:57
We are very involved in education. We have a long-term project
55
159000
3000
We zijn erg begaan met onderwijs. We hebben een langetermijnproject,
03:00
called Toy Symphony, where we make all kinds of instruments that are also addictive,
56
162000
4000
Toy Symphony, waarin we allerlei instrumenten maken die verslavend zijn,
03:04
but for little kids, so the kids will fall in love with making music,
57
166000
4000
voor kleine kinderen, zodat de kinderen dol worden op muziek maken,
03:08
want to spend their time doing it, and then will demand to know how it works,
58
170000
3000
er hun tijd aan willen besteden en gaan vragen hoe het werkt,
03:11
how to make more, how to create. So, we make squeezy instruments,
59
173000
3000
hoe je er nog meer maakt, hoe je ze schept. We maken allerlei knijpinstrumenten,
03:14
like these Music Shapers that measure the electricity in your fingers,
60
176000
4000
zoals deze Music Shapers, die de elektriciteit in je vingers meten,
03:18
Beatbugs that let you tap in rhythms -- they gather your rhythm,
61
180000
3000
Beat Bugs die je ritmes laten kloppen -- ze vangen je ritme op,
03:21
and like hot potato, you send your rhythm to your friends,
62
183000
2000
en jij stuurt het, als een hete aardappel, naar je vrienden door,
03:23
who then have to imitate or respond to what your doing --
63
185000
3000
die je moeten imiteren of moeten reageren op wat je doet --
03:26
and a software package called Hyperscore, which lets anybody use lines and color
64
188000
4000
en een softwarepakket genaamd Hyperscore, waarmee iedereen lijnen en kleuren
03:30
to make quite sophisticated music. Extremely easy to use, but once you use it,
65
192000
4000
kan gebruiken om gesofisticeerde muziek te maken. Extreem gebruiksvriendelijk, en eens je het gebruikt,
03:34
you can go quite deep -- music in any style. And then, by pressing a button,
66
196000
4000
kan je erg ver mee gaan -- muziek in elke stijl. Met een druk op de knop
03:38
it turns into music notation so that live musicians can play your pieces.
67
200000
6000
wordt het bladmuziek zodat muzikanten je stukken live kunnen spelen.
03:44
We've had good enough, really, very powerful effects with kids
68
206000
3000
We hebben goede, echt krachtige resultaten gehad met kinderen
03:47
around the world, and now people of all ages, using Hyperscore.
69
209000
3000
over de hele wereld. Mensen van alle leeftijden gebruiken nu Hyperscore.
03:50
So, we've gotten more and more interested in using these kinds of creative activities
70
212000
4000
We kregen dus steeds meer belangstelling in het gebruik van deze creatieve activiteiten
03:54
in a much broader context, for all kinds of people
71
216000
2000
in een veel bredere context, voor allerlei soorten mensen
03:56
who don't usually have the opportunity to make music.
72
218000
3000
die meestal niet de kans krijgen om muziek te maken.
03:59
So, one of the growing fields that we're working on
73
221000
1000
Eén van de groeidomeinen waarin we vandaag werken
04:00
at the Media Lab right now is music, mind and health.
74
222000
3000
in het Media Lab is muziek, geest en gezondheid.
04:03
A lot of you have probably seen Oliver Sacks' wonderful new book called
75
225000
3000
Waarschijnlijk hebben jullie het geweldige nieuwe boek van Oliver Sacks gezien,
04:06
"Musicophilia". It's on sale in the bookstore. It's a great book.
76
228000
4000
"Musicofilia". Het is te koop in de boekhandel. Het is een fantastisch boek.
04:10
If you haven't seen it, it's worth reading. He's a pianist himself,
77
232000
2000
Als je het niet kent, het is de moeite waard. Hij is zelf pianist
04:12
and he details his whole career of looking at and observing
78
234000
4000
en hij schrijft in detail over zijn carrière, waarin hij de ongelooflijk krachtige effecten observeerde
04:16
incredibly powerful effects that music has had on peoples' lives in unusual situations.
79
238000
5000
die muziek heeft op het leven van mensen in ongewone omstandigheden.
04:21
So we know, for instance, that music is almost always the last thing
80
243000
3000
We weten bijvoorbeeld dat muziek bijna steeds het laatste is
04:24
that people with advanced Alzheimer's can still respond to.
81
246000
4000
waarop mensen met vergevorderde Alzheimer nog steeds reageren.
04:28
Maybe many of you have noticed this with loved ones,
82
250000
2000
Velen van jullie hebben dit misschien gemerkt bij hun geliefden:
04:30
you can find somebody who can't recognize their face in the mirror,
83
252000
2000
er zijn mensen die hun gezicht niet herkennen in de spiegel
04:32
or can't tell anyone in their family, but you can still find a shard of music
84
254000
3000
en niemand van hun familie herkennen, maar je vindt wel nog steeds een stuk muziek
04:35
that that person will jump out of the chair and start singing. And with that
85
257000
4000
dat die persoon uit zijn stoel doet opspringen en doet zingen.
04:39
you can bring back parts of people's memories and personalities.
86
261000
2000
Daarmee kan je delen van de herinneringen en de persoonlijkheid van mensen terugbrengen.
04:41
Music is the best way to restore speech to people who have lost it through strokes,
87
263000
4000
Muziek is de beste manier om het spraakvermogen te herstellen van mensen die het door een beroerte zijn kwijtgeraakt,
04:45
movement to people with Parkinson's disease.
88
267000
2000
of het motorisch vermogen van Parkinsonpatiënten.
04:47
It's very powerful for depression, schizophrenia, many, many things.
89
269000
4000
Het is erg krachtig voor depressie, schizofrenie, heel erg veel dingen.
04:51
So, we're working on understanding those underlying principles
90
273000
2000
Wij werken er dus aan om die onderliggende principes te begrijpen,
04:53
and then building activities which will let music really improve people's health.
91
275000
4000
en dan activiteiten op te bouwen waardoor muziek de gezondheid van de mensen echt verbetert.
04:57
And we do this in many ways. We work with many different hospitals.
92
279000
3000
We doen dit op vele manieren. We werken met vele verschillende ziekenhuizen.
05:00
One of them is right near Boston, called Tewksbury Hospital.
93
282000
3000
Eén ervan ligt naast Boston, het Tewksbury Hospital.
05:03
It's a long-term state hospital, where several years ago
94
285000
2000
Het is een rusthuis van de overheid waar we jaren geleden
05:05
we started working with Hyperscore and patients with physical and mental disabilities.
95
287000
4000
begonnen te werken met Hyperscore, voor fysiek en mentaal beperkte patiënten.
05:09
This has become a central part of the treatment at Tewksbury hospital,
96
291000
4000
Dit is een centraal onderdeel geworden van de behandeling in het Tewksbury Hospital.
05:13
so everybody there clamors to work on musical activities.
97
295000
4000
Iedereen roept daar om te kunnen werken met muzikale activiteiten.
05:17
It's the activity that seems to accelerate people's treatment the most
98
299000
4000
Het lijkt de activiteit met de meeste impact op de snelheid van de behandeling.
05:21
and it also brings the entire hospital together as a kind of musical community.
99
303000
4000
Ze brengt ook het hele ziekenhuis samen, als een soort muzikale gemeenschap.
05:25
I wanted to show you a quick video of some of this work before I go on.
100
307000
4000
Ik wilde jullie een klein filmpje tonen van dit werk vooraleer ik verder ga.
06:10
Video: They're manipulating each other's rhythms.
101
352000
2000
Video: Ze manipuleren elkaars ritmes.
06:12
It's a real experience, not only to learn how to play and listen to rhythms,
102
354000
4000
Het is een echte ervaring: je leert niet alleen spelen en naar ritmes luisteren,
06:16
but to train your musical memory and playing music in a group.
103
358000
5000
maar je traint ook je muzikale geheugen en je speelt muziek in groep.
06:21
To get their hands on music, to shape it themselves, change it,
104
363000
4000
Je manipuleert muziek om ze zelf vorm te geven, te veranderen,
06:25
to experiment with it, to make their own music.
105
367000
2000
ermee te experimenteren, je eigen muziek te maken.
06:27
So Hyperscore lets you start from scratch very quickly.
106
369000
4000
Met Hyperscore kan je snel van nul beginnen.
06:38
Everybody can experience music in a profound way,
107
380000
2000
Iedereen kan muziek ervaren op een heel diep niveau,
06:40
we just have to make different tools.
108
382000
2000
we moeten gewoon verschillende hulpmiddelen maken.
06:59
The third idea I want to share with you is that music, paradoxically,
109
401000
6000
Het derde idee dat ik met jullie wil delen, is dat muziek, paradoxaal genoeg,
07:05
I think even more than words, is one of the very best ways we have
110
407000
3000
nog meer dan woorden, één van de beste manieren is die we hebben
07:08
of showing who we really are. I love giving talks, although
111
410000
4000
om te tonen wie we echt zijn. Ik hou ervan om voor publiek te spreken,
07:12
strangely I feel more nervous giving talks than playing music.
112
414000
2000
hoewel ik vreemd genoeg nerveuzer ben bij het spreken dan bij het musiceren.
07:14
If I were here playing cello, or playing on a synth, or sharing my music with you,
113
416000
3000
Als ik hier cello zou spelen, of synthesizer, of mijn muziek met jullie zou delen,
07:17
I'd be able to show things about myself that I can't tell you in words,
114
419000
5000
dan zou ik dingen over mezelf kunnen tonen die ik niet in woorden kan vertellen,
07:22
more personal things, perhaps deeper things.
115
424000
3000
persoonlijker dingen, misschien diepere dingen.
07:25
I think that's true for many of us, and I want to give you two examples
116
427000
3000
Ik denk dat dat voor velen van ons geldt. Ik geef jullie graag twee voorbeelden
07:28
of how music is one of the most powerful interfaces we have,
117
430000
3000
van hoe muziek een van de krachtigste interfaces is die we hebben
07:31
from ourselves to the outside world.
118
433000
2000
tussen onszelf en de buitenwereld.
07:33
The first is a really crazy project that we're building right now, called
119
435000
4000
Het eerste is een echt maf project dat we aan het opzetten zijn.
07:37
Death and the Powers. And it's a big opera,
120
439000
2000
Het heet Dood en de Machten. Het is een grote opera,
07:39
one of the larger opera projects going on in the world right now.
121
441000
4000
een van de grotere operaprojecten die vandaag op de wereld plaatshebben.
07:43
And it's about a man, rich, successful, powerful, who wants to live forever.
122
445000
5000
Het gaat over een man, rijk, succesvol, machtig, die het eeuwige leven wil.
07:48
So, he figures out a way to download himself into his environment,
123
450000
2000
Hij ontdekt hoe hij zichzelf in zijn omgeving kan downloaden,
07:50
actually into a series of books.
124
452000
3000
in een reeks boeken.
07:53
So this guy wants to live forever, he downloads himself into his environment.
125
455000
3000
Deze kerel wil eeuwig leven. Hij downloadt zichzelf in zijn omgeving.
07:56
The main singer disappears at the beginning of the opera
126
458000
4000
De vertolker van de hoofdrol verdwijnt bij het begin van de opera
08:00
and the entire stage becomes the main character. It becomes his legacy.
127
462000
4000
en het hele podium wordt het hoofdpersonage. Het wordt zijn nalatenschap.
08:04
And the opera is about what we can share, what we can pass on to others,
128
466000
3000
De opera gaat over wat we kunnen delen, wat we kunnen doorgeven aan anderen,
08:07
to the people we love, and what we can't.
129
469000
2000
aan de mensen van wie we houden, en wat we niet kunnen doorgeven.
08:09
Every object in the opera comes alive and is a gigantic music instrument,
130
471000
4000
Elk voorwerp in de opera komt tot leven en is een gigantisch muziekinstrument,
08:13
like this chandelier. It takes up the whole stage. It looks like a chandelier,
131
475000
3000
zoals deze kandelaar. Die neemt het hele podium in. Het lijkt op een kandelaar,
08:16
but it's actually a robotic music instrument.
132
478000
2000
maar eigenlijk is het een muziekrobot.
08:18
So, as you can see in this prototype, gigantic piano strings,
133
480000
4000
Zoals je in dit prototype ziet: reusachtige pianosnaren,
08:22
each string is controlled with a little robotic element --
134
484000
3000
elke snaar bestuurd met een klein robot-element --
08:25
either little bows that stroke the strings, propellers that tickle the strings,
135
487000
5000
ofwel kleine bogen die over de snaren strijken, propellers die op de snaren tokkelen,
08:30
acoustic signals that vibrate the strings. We also have an army of robots on stage.
136
492000
5000
akoestische signalen die de snaren doen trillen. We hebben ook een leger van robots op het podium.
08:35
These robots are the kind of the intermediary between the main character, Simon Powers,
137
497000
4000
Deze robotten zijn een soort tussenpersonen tussen de hoofdpersoon, Simon Powers,
08:39
and his family. There are a whole series of them, kind of like a Greek chorus.
138
501000
4000
en zijn familie. Ze zijn met een hele reeks, als een soort Grieks koor.
08:43
They observe the action. We've designed these square robots that we're testing right now
139
505000
5000
Ze observeren de actie. We hebben vierkante robots ontworpen die we aan het testen zijn
08:48
at MIT called OperaBots. These OperaBots follow my music.
140
510000
3000
op MIT. Deze OperaBots volgen mijn muziek.
08:51
They follow the characters. They're smart enough, we hope,
141
513000
3000
Ze volgen de personages. We hopen dat ze slim genoeg zijn
08:54
not to bump into each other. They go off on their own.
142
516000
3000
om niet tegen elkaar te botsen. Ze gaan zelfstandig op stap.
08:57
And then they can also, when you snap, line up exactly the way you'd like to.
143
519000
6000
En als je met je vingers knipt, kunnen ze ook precies op de lijn gaan staan die jij wil.
09:03
Even though they're cubes, they actually have a lot of personality.
144
525000
2000
Hoewel het kubussen zijn, hebben ze veel persoonlijkheid.
09:12
The largest set piece in the opera is called The System. It's a series of books.
145
534000
4000
Het grootste decorstuk in de opera heet "Het Systeem". Het is een reeks boeken.
09:16
Every single book is robotic, so they all move, they all make sound,
146
538000
4000
Elk boek is een robot. Ze bewegen allemaal, ze maken geluid,
09:20
and when you put them all together, they turn into these walls,
147
542000
4000
en als je ze verzamelt, vormen ze zich om tot muren
09:24
which have the gesture and the personality of Simon Powers. So he's disappeared,
148
546000
5000
die de gebaren en persoonlijkheid van Simon Powers hebben. Hij is verdwenen,
09:29
but the whole physical environment becomes this person.
149
551000
3000
maar de hele fysieke omgeving wordt zijn personage.
09:32
This is how he's chosen to represent himself.
150
554000
3000
Hij heeft ervoor gekozen zich zo voor te stellen.
09:35
The books also have high-packed LEDs on the spines. So it's all display.
151
557000
7000
De boeken zijn ook volgestouwd me LEDs op hun ruggen. Het is dus één scherm.
09:42
And here's the great baritone James Maddalena as he enters The System.
152
564000
4000
Dit is de grote bariton James Maddalena, bij zijn entree in het systeem.
09:46
This is a sneak preview.
153
568000
1000
Dit is een voorsmaakje.
10:11
This premieres in Monaco -- it's in September 2009. If by any chance you can't make it,
154
593000
5000
De première hiervan is in Monaco, in september 2009. Als je daar niet bij kunt zijn,
10:16
another idea with this project -- here's this guy building his legacy
155
598000
3000
dan is hier nog een idee met dit project. Deze kerel bouwt zijn nalatenschap op
10:19
through this very unusual form, through music and through the environment.
156
601000
4000
in deze zeer ongebruikelijke vorm, met muziek en met de omgeving.
10:23
But we're also making this available both online and in public spaces,
157
605000
4000
We publiceren dit ook online en op openbare plekken,
10:27
as a way of each of us to use music and images from our lives
158
609000
4000
als een manier waarop elk van ons muziek en beelden over zijn leven kan gebruiken
10:31
to make our own legacy or to make a legacy of someone we love.
159
613000
3000
om zijn eigen nalatenschap of een nalatenschap van een geliefde te creëren.
10:34
So instead of being grand opera, this opera will turn into what we're
160
616000
3000
Eerder dan een Grote Opera zal deze opera een
10:37
thinking of as personal opera.
161
619000
2000
persoonlijke opera worden.
10:39
And, if you're going to make a personal opera, what about a personal instrument?
162
621000
2000
Als je een persoonlijke opera maakt, dan ook een persoonlijk instrument?
10:41
Everything I've shown you so far -- whether it's a hyper-cello for Yo-Yo Ma
163
623000
3000
Al wat ik je tot hiertoe heb getoond -- de hypercello voor Yo-Yo Ma,
10:44
or squeezy toy for a child -- the instruments stayed the same and are valuable
164
626000
5000
of de knijpinstrumenten voor een kind -- de instrumenten bleven gelijk en hadden waarde
10:49
for a certain class of person: a virtuoso, a child.
165
631000
3000
voor een bepaald soort persoon, of een virtuoos, of een kind.
10:52
But what if I could make an instrument that could be adapted
166
634000
3000
Wat als ik een instrument kon maken dat ik kon aanpassen
10:55
to the way I personally behave, to the way my hands work,
167
637000
4000
aan de manier waarop ik mezelf gedraag, hoe mijn handen werken,
10:59
to what I do very skillfully, perhaps, to what I don't do so skillfully?
168
641000
3000
wat ik technisch heel vlot doe, of misschien net niet?
11:02
I think that this is the future of interface, it's the future of music, the future of instruments.
169
644000
5000
Volgens mij is dat de toekomst van de interface, van de muziek, van instrumenten.
11:07
And I'd like now to invite two very special people on the stage,
170
649000
3000
Ik zou graag twee erg bijzondere mensen op het podium roepen,
11:10
so that I can give you an example of what personal instruments might be like.
171
652000
6000
zodat ik jullie een voorbeeld kan even van hoe persoonlijke instrumenten er zouden kunnen uitzien.
11:16
So, can you give a hand to Adam Boulanger, Ph.D. student from
172
658000
5000
Graag applaus voor Adam Boulanger, doctoraatsstudent aan
11:21
the MIT Media Lab, and Dan Ellsey. Dan,
173
663000
7000
het MIT Media Lab, en Dan Ellsey.
11:28
thanks to TED and to Bombardier Flexjet, Dan is here with us today
174
670000
7000
Dankzij TED en Bombardier Flexjet is Dan hier vandaag bij ons,
11:35
all the way from Tewksbury. He's a resident at Tewksbury Hospital.
175
677000
4000
helemaal uit het verre Tewksbury. Hij verblijft in het Tewksbury Hospital.
11:39
This is by far the farthest he's strayed from Tewksbury Hospital, I can tell you that,
176
681000
4000
Dit is verreweg het verste dat hij vanuit Tewksbury Hospital vandaan geweest is, dat zeg ik je.
11:43
because he's motivated to meet with you today and show you his own music.
177
685000
5000
Hij wil jullie graag ontmoeten en jullie zijn eigen muziek tonen.
11:48
So, first of all, Dan, do you want to say hi to everyone and tell everyone who you are?
178
690000
4000
Om te beginnen, Dan, wil je iedereen begroeten en zeggen wie je bent?
11:57
Dan Ellsey: Hello. My name is Dan Ellsey. I am 34 years old and I have cerebral palsy.
179
699000
8000
Dan Ellsey: Hallo. Mijn naam is Dan Ellsey. Ik ben 34 jaar oud en ik heb een hersenverlamming.
12:05
I have always loved music and I am excited to be able to conduct
180
707000
6000
Ik heb altijd van muziek gehouden en vind het erg spannend dat ik mijn eigen muziek
12:11
my own music with this new software.
181
713000
2000
kan dirigeren met deze nieuwe software.
12:15
Tod Machover: And we're really excited to have you here, really Dan. (Applause)
182
717000
11000
Tod Machover: En wij vinden het heel spannend dat je hier bent, echt, Dan. (Applaus)
12:26
So we met Dan about three years ago, three and a half years ago,
183
728000
3000
We ontmoetten Dan ongeveer 3 à 3,5 jaar geleden,
12:29
when we started working at Tewksbury. Everybody we met there was fantastic,
184
731000
5000
toen we op Tewksbury begonnen te werken. Iedereen die we daar ontmoetten was geweldig,
12:34
did fantastic music. Dan had never made music before, and it turned out
185
736000
5000
en maakte geweldige muziek. Dan had nooit eerder muziek gemaakt, en het bleek
12:39
he was really fantastic at it. He's a born composer.
186
741000
7000
dat hij er een kei in was. Hij is een geboren componist.
12:46
He's very shy, too.
187
748000
3000
Hij is ook erg verlegen.
12:49
So, turned out he's a fantastic composer, and over the last few years has been
188
751000
4000
Het bleek dus dat hij een geweldige componist is. De jongste jaren heeft hij
12:53
a constant collaborator of ours. He has made many, many pieces.
189
755000
3000
constant met ons samengewerkt. Hij heeft vele, vele stukken gemaakt.
12:56
He makes his own CDs. Actually, he is quite well known in the Boston area --
190
758000
3000
Hij maakt zijn eigen cd's. Hij is eigenlijk een beroemdheid in de streek van Boston,
12:59
mentors people at the hospital and children, locally, in how to make their own music.
191
761000
4000
is mentor van mensen in het ziekenhuis en van kinderen uit de buurt bij het maken van hun eigen muziek.
13:03
And I'll let Adam tell you. So, Adam is a Ph.D. student at MIT, an expert in music
192
765000
5000
Ik laat Adam aan het woord. Adam is doctoraatsstudent aan het MIT, een expert in muziek,
13:08
technology and medicine. And Adam and Dan have become close collaborators.
193
770000
5000
technologie en geneeskunde. Adam en Dan zijn nauw gaan samenwerken.
13:13
What Adam's been working on for this last period is not only how to have Dan
194
775000
4000
Adam heeft de jongste tijd gewerkt rond de manier waarop Dan
13:17
be able easily to make his own pieces,
195
779000
3000
het gemakkelijkst zijn eigen stukken kan maken,
13:20
but how he can perform his piece using this kind of personal instrument.
196
782000
3000
en daarnaast ook hoe hij zijn stuk kan uitvoeren met een persoonlijk instrument.
13:23
So, you want to say a little bit about how you guys work?
197
785000
2000
Wil je wat vertellen over hoe jullie samenwerken?
13:25
Adam Boulanger: Yes. So, Tod and I entered into a discussion
198
787000
3000
Adam Boulanger: Ja. Tod en ik hadden een discussie
13:28
following the Tewksbury work and it was really about how Dan is an expressive
199
790000
4000
over het werk in Tewksbury. Die draaide om het feit dat Dan een expressieve,
13:32
person, and he's an intelligent and creative person. And it's in his face,
200
794000
5000
intelligente en creatieve persoonlijkheid is. Dat zie je aan zijn gezicht,
13:37
it's in his breathing, it's in his eyes. How come he can't perform
201
799000
3000
zijn ademhaling, zijn ogen. Hoe komt het dat hij geen van zijn
13:40
one of his pieces of music? That's our responsibility, and it doesn't make sense.
202
802000
4000
muziekstukken kan uitvoeren? Dat is onze verantwoordelijkheid, en het klopt niet.
13:44
So we started developing a technology that will allow him with nuance,
203
806000
3000
Dus begonnen we met het ontwerp van een technologie waardoor hij genuanceerd,
13:47
with precision, with control, and despite his physical disability, to be able to do that,
204
809000
5000
precies, gecontroleerd en niet gehinderd door zijn fysieke handicap
13:52
to be able to perform his piece of music.
205
814000
3000
in staat is om zijn muziekstuk uit te voeren.
13:55
So, the process and the technology --
206
817000
2000
Wat het proces en de technologie betreft:
13:57
basically, first we needed an engineering solution. So, you know,
207
819000
3000
eerst hadden we een oplossing nodig voor het ingenieursvraagstuk.
14:00
we have a FireWire camera, it looked at an infrared pointer.
208
822000
3000
We hebben een FireWire-camera die naar een infrarood-aanwijzer kijkt.
14:03
We went with the type of gesture metaphor that Dan was already used to
209
825000
4000
We gebruikten het soort gebarenmetafoor dat hij al gewend is te gebruiken
14:07
with his speaking controller.
210
829000
4000
met zijn spraakcontrole.
14:11
And this was actually the least interesting part of the work, you know,
211
833000
3000
Dat was eigenlijk het minst interessante deel van het werk,
14:14
the design process. We needed an input; we needed continuous tracking;
212
836000
3000
het ontwerpen. We hadden input nodig, continue opvolging.
14:17
in the software, we look at the types of shapes he's making.
213
839000
3000
In de software bekeken we de soorten vormen die hij maakt.
14:20
But, then was the really interesting aspect of the work, following the engineering part,
214
842000
4000
Maar het echt interessante deel van het werk, na het ingenieursgedeelte,
14:24
where, basically, we're coding over Dan's shoulder at the hospital
215
846000
3000
was toen we over Dan's schouder code schreven in het ziekenhuis,
14:27
extensively to figure out, you know, how does Dan move?
216
849000
3000
om uitgebreid te achterhalen hoe Dan beweegt.
14:30
What's useful to him as an expressive motion?
217
852000
2000
Wat is zinvol voor hem, als expressieve beweging?
14:32
You know, what's his metaphor for performance?
218
854000
3000
Wat is zijn metafoor voor uitvoering?
14:35
What types of things does he find
219
857000
2000
Wat voor dingen vindt hij belangrijk om
14:37
important to control and convey in a piece of music?
220
859000
2000
te controleren en over te brengen in een muziekstuk?
14:39
So all the parameter fitting, and really the technology
221
861000
4000
Het afstellen van de parameters en van de technologie,
14:43
was stretched at that point to fit just Dan.
222
865000
3000
dat werd allemaal aangepast om precies bij Dan te passen.
14:46
And, you know, I think this is a perspective shift. It's not that our technologies --
223
868000
6000
Weet je, dit is een verandering van perspectief. Niet dat onze technologie --
14:52
they provide access, they allow us to create pieces of creative work.
224
874000
4000
die geeft ons wel toegang en laat ons creatief werk produceren.
14:56
But what about expression? What about that moment when an artist delivers
225
878000
3000
Maar wat met de expressie? Wat met het moment waarop een kunstenaar
14:59
that piece of work? You know, do our technologies allow us to express?
226
881000
4000
het stuk aflevert? Laat onze technologie ons toe om onszelf uit te drukken?
15:03
Do they provide structure for us to do that? And, you know, that's a personal relationship
227
885000
4000
Geeft ze ons daar de structuur voor? Dat is een persoonlijke relatie
15:07
to expression that is lacking in the technological sphere. So, you know,
228
889000
4000
met expressie die ontbreekt in technologische kringen.
15:11
with Dan, we needed a new design process, a new engineering process
229
893000
3000
Met dan hadden we nood aan een nieuw designproces, een nieuw engineering-proces,
15:14
to sort of discover his movement and his path to expression that allow him to perform.
230
896000
5000
om zijn beweging te ontdekken en zijn pad naar expressie die hem toelaat om iets uit te voeren.
15:19
And so that's what we'll do today.
231
901000
2000
Dat zullen we vandaag doen.
15:21
TM: So let's do it. So Dan do you want to tell everyone
232
903000
2000
TM: Daar gaan we. Dan, wil je iedereen vertellen
15:23
about what you're going to play now?
233
905000
2000
wat je nu gaat spelen?
15:31
DE: This is "My Eagle Song."
234
913000
2000
DE: Dit is "Mijn arendslied".
15:35
TM: So Dan is going to play a piece of his, called "My Eagle Song".
235
917000
3000
TM: Dan gaat zijn stuk spelen, dat "Mijn arendslied" heet.
15:38
In fact, this is the score for Dan's piece,
236
920000
2000
Dit is de partituur van het stuk van Dan,
15:40
completely composed by Dan in Hyperscore.
237
922000
3000
helemaal gecomponeerd door Dan, in Hyperscore.
15:43
So he can use his infrared tracker to go directly into Hyperscore.
238
925000
5000
Hij kan zijn infraroodtracker gebruiken om rechtstreeks naar Hyperscore te gaan.
15:48
He's incredibly fast at it, too, faster than I am, in fact.
239
930000
3000
Hij is er ook zeer snel in, sneller dan ik, eigenlijk.
15:51
(Laughter)
240
933000
2000
(Gelach)
15:55
TM: He's really modest, too.
241
937000
2000
TM: Hij is ook erg bescheiden.
15:58
So he can go in Hyperscore. You start out by making melodies and rhythms.
242
940000
6000
Hij kan dus naar Hyperscore gaan. Je begint met het maken van melodieën en ritmes.
16:04
He can place those exactly where he wants.
243
946000
2000
Hij kan ze plaatsen exact waar hij ze wil hebben.
16:06
Each one gets a color. He goes back into the composition window,
244
948000
3000
Ze krijgen allemaal een kleur, gaat terug naar het compositiescherm,
16:09
draws the lines, places everything the way he wants to. Looking at the Hyperscore,
245
951000
5000
trekt de lijnen, plaatst alles waar hij wil. Als je de Hyperscore bekijkt,
16:14
you can see it also, you can see where the sections are,
246
956000
3000
zie je het ook: je ziet waar de onderverdelingen zijn,
16:17
something might continue for a while, change, get really crazy and then end
247
959000
5000
iets kan even duren, veranderen, helemaal uit de bol gaan en dan
16:22
up with a big bang at the end.
248
964000
3000
afsluiten met een grote knal op het einde.
16:25
So that's the way he made his piece, and as Adam says,
249
967000
3000
Zo heeft hij zijn stuk gemaakt. Zoals Adam zei,
16:28
we then figured out the best way to have him perform his piece.
250
970000
7000
visten we toen uit wat de beste manier was voor hem om zijn stuk te vertolken.
16:35
It's going to be looked at by this camera, analyze his movements,
251
977000
3000
Het wordt bekeken door zijn camera, we analyseren zijn bewegingen,
16:38
it's going to let Dan bring out all the different aspects of his music that he wants to.
252
980000
4000
en laten Dan alle verschillende aspecten van zijn muziek uitdrukken, zoals hij het wil.
16:42
And you're also going to notice a visual on the screen.
253
984000
3000
Je hebt ook een visueel beeld op het scherm.
16:45
We asked one of our students to look at what the camera is measuring.
254
987000
6000
We vroegen één van onze studenten te bekijken wat de camera meet.
16:51
But instead of making it very literal, showing you exactly
255
993000
3000
Maar in plaats van dat erg letterlijk te doen en exact te tonen
16:54
the camera tracing, we turned it into a graphic that shows you the basic
256
996000
5000
wat de camera volgt, maakten we er een grafiek van die je
16:59
movement, and shows the way it's being analyzed.
257
1001000
4000
de basisbeweging toont, en de manier waarop ze wordt geanalyseerd.
17:03
I think it gives an understanding of how we're picking out movement from what
258
1005000
4000
Ik denk dat dit een ruw idee geeft van hoe we beweging halen uit
17:07
Dan's doing, but I think it will also show you, if you look at that movement,
259
1009000
4000
wat Dan doet. Het toont je ook, als je naar die beweging kijkt,
17:11
that when Dan makes music, his motions are very purposeful, very precise,
260
1013000
7000
dat Dan muziek maakt met heel doelgerichte bewegingen, heel precies,
17:18
very disciplined and they're also very beautiful.
261
1020000
3000
heel gedisciplineerd en ook heel mooi.
17:21
So, in hearing this piece, as I mentioned before, the most important thing is
262
1023000
5000
Bij het beluisteren van zijn stuk is, zoals gezegd, het belangrijkste
17:26
the music's great, and it'll show you who Dan is.
263
1028000
3000
dat de muziek fantastisch is, en dat ze je zal tonen wie Dan is.
17:29
So, are we ready Adam?
264
1031000
2000
Zijn we er klaar voor, Adam?
17:31
AB: Yeah.
265
1033000
2000
AB: Ja.
17:33
TM: OK, now Dan will play his piece "My Eagle Song" for you.
266
1035000
4000
TM: Dan zal nu zijn stuk "Mijn arendslied" voor jullie spelen.
20:01
(Applause)
267
1183000
24000
(Applaus)
20:25
TM: Bravo.
268
1207000
2000
TM: Bravo.
20:27
(Applause)
269
1209000
9000
(Applaus)
ABOUT THE SPEAKERS
Tod Machover - Composer, inventorAt MIT's Media Lab, Tod Machover creates boundary-breaking new music, often using new instruments and music technologies he has invented.
Why you should listen
Tod Machover is head of the MIT Media Lab's Hyperinstruments/Opera of the Future group. He has composed five operas and helped to develop many groundbeaking musical technologies -- including Hyperinstruments, a technology that augments musical expression for both virtuosi (from Yo-Yo Ma to Prince) and amateurs, and Hyperscore, software that allows anyone to create sophisticated, original music by using lines and colors. Many of Machover's principles about "active participation" in music are exemplified in Guitar Hero, which grew out of his lab.
Among his current projects is a new opera, Death and the Powers, complete with a musical chandelier, animatronic walls, and an army of robots. Death and the Powers premieres in Monaco in September 2009.
A recent focus of Machover's group has been on Music, Mind and Health, which marshals the power of music to promote well-being. Working with long-term patients at facilities such as Tewksbury Hospital, north of Boston, the group's goal is to develop personal musical activities that adapt to the particular skills and needs of each individual. In this way, the path to health becomes as rewarding as learning an instrument, composing a symphony, or premiering at Carnegie Hall.
Tod Machover | Speaker | TED.com
Dan Ellsey - Musician
Dan Ellsey uses Hyperscore music software and a custom-tuned musical "hyperinstrument" to write, perform and conduct his music, and to help others learn how to compose.
Why you should listen
A resident of Tewksbury Hospital in Massachusetts, Dan Ellsey has cerebral palsy and does not walk or speak. He does, however, write and play his own music, and mentor others, through a groundbreaking music system developed by MIT's Tod Machover and his team, including grad student Adam Boulanger. Working closely with this team, Ellsey helped to develop and fine-tune a head-mounted interface, tweaked to respond to his movements, that allows him to compose music and to conduct nuanced performances of his work. Hyperscore software helps Ellsey notate his musical ideas.
Ellsey's work has been performed at MIT, on the radio and at workshops around the Boston area. The Lowell Symphony Orchestra performed his piece "Our Musically" at a 2004 concert for residents of Tewksbury -- many of whom count Ellsey as a mentor in their own musical education.
Dan Ellsey | Speaker | TED.com