TED2009
Pattie Maes + Pranav Mistry: Meet the SixthSense interaction
Pattie Maes demonstreert "SixthSense" (zesde zintuig), een revolutionair draagbaar technisch hoogstandje
Filmed:
Readability: 4.4
11,289,293 views
Deze demo -- van Pattie Maes' lab bij MIT, met initiatiefnemer Pranav Mistry -- was het meest besproken nieuwtje op TED. Het is een draagbaar apparaat met een projector, dat de weg vrijmaakt voor diepgaande interactie met onze omgeving. Denk aan "Minority Report" met een schepje er bovenop.
Pattie Maes - Researcher
As head of the MIT Media Lab's Fluid Interfaces Group, Pattie Maes researches the tools we use to work with information and connect with one another. Full bioPranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data. Full bio
As head of the MIT Media Lab's Fluid Interfaces Group, Pattie Maes researches the tools we use to work with information and connect with one another. Full bioPranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data. Full bio
Double-click the English transcript below to play the video.
00:12
I've been intrigued by this question
0
0
2000
Ik raakte geïntrigeerd door de vraag
00:14
of whether we could evolve or develop a sixth sense --
1
2000
3000
of het mogelijk zou zijn om tot de ontwikkeling van een zesde zintuig te komen.
00:17
a sense that would give us seamless access
2
5000
6000
Een zintuig dat ons naadloos
00:23
and easy access to meta-information
3
11000
3000
en gemakkelijk toegang geeft tot meta-informatie
00:26
or information that may exist somewhere
4
14000
3000
of informatie die zich misschien ergens anders bevindt,
00:29
that may be relevant to help us make the right decision
5
17000
3000
maar relevant kan zijn om ons te helpen de juiste beslissing te nemen
00:32
about whatever it is that we're coming across.
6
20000
3000
over alles wat we ook maar tegenkomen.
00:35
And some of you may argue,
7
23000
3000
En sommigen van jullie zullen daarop zeggen,
00:38
well, don't today's cell phones do that already?
8
26000
3000
doen hedendaagse mobiele telefoons dat niet al?
00:41
But I would say no.
9
29000
2000
Maar ik zeg van niet.
00:43
When you meet someone here at TED --
10
31000
2000
Als je hier bij TED iemand tegenkomt --
00:45
and this is the top networking place, of course, of the year --
11
33000
3000
wat zonder twijfel de top netwerkplek van het jaar is --
00:48
you don't shake somebody's hand
12
36000
2000
dan ga je niet iemands hand schudden
00:50
and then say, "Can you hold on for a moment
13
38000
3000
en vervolgens zeggen, "Heb je een momentje,
00:53
while I take out my phone and Google you?"
14
41000
2000
dan pak ik mijn telefoon en Google je even?'
00:55
Or when you go to the supermarket
15
43000
4000
Of als je naar de supermarkt gaat
00:59
and you're standing there in that huge aisle
16
47000
2000
en daar in dat enorme gangpad staat
01:01
of different types of toilet papers,
17
49000
3000
met verschillende soorten toiletpapier,
01:04
you don't take out your cell phone, and open a browser,
18
52000
4000
dan pak je niet even je mobiele telefoon om een browser te openen
01:08
and go to a website to try to decide
19
56000
2000
om een website te bezoeken waarmee je kunt beslissen
01:10
which of these different toilet papers
20
58000
3000
welke van al die verschillende soorten toiletpapier
01:13
is the most ecologically responsible purchase to make.
21
61000
3000
de meest ecologisch verantwoorde aankoop is die je kunt maken?
01:16
So we don't really have easy access
22
64000
3000
We hebben dus niet echt makkelijk toegang
01:19
to all this relevant information
23
67000
2000
tot al die relevante informatie,
01:21
that can just help us make optimal decisions
24
69000
3000
die ons kan helpen bij het nemen van de beste beslissingen
01:24
about what to do next and what actions to take.
25
72000
3000
over wat je moet doen en welke acties je moet ondenemen.
01:27
And so my research group at the Media Lab
26
75000
4000
Om die reden heeft mijn onderzoeksgroep op het Media Lab
01:31
has been developing a series of inventions
27
79000
4000
een serie uitvindingen ontwikkeld
01:35
to give us access to this information
28
83000
3000
die ons toegang geven tot die informatie
01:38
in a sort of easy way,
29
86000
2000
op een relatief gemakkelijke manier,
01:40
without requiring that the user changes any of their behavior.
30
88000
5000
zonder dat de gebruiker ook maar iets van zijn gedrag hoeft te veranderen
01:45
And I'm here to unveil
31
93000
2000
En ik ben hier voor de onthulling
01:47
our latest effort,
32
95000
3000
van ons recentste
01:50
and most successful effort so far,
33
98000
2000
en tot nu toe, meest succesvolle poging,
01:52
which is still very much a work in process.
34
100000
2000
die nog flink in ontwikkeling is.
01:54
I'm actually wearing the device right now
35
102000
3000
Ik draag het apparaat nu al
01:57
and we've sort of cobbled it together
36
105000
3000
en we hebben het min of meer bij elkaar gesprokkeld
02:00
with components that are off the shelf --
37
108000
3000
uit kant-en-klare onderdelen --
02:03
and that, by the way, only cost 350 dollars
38
111000
3000
en trouwens maar 350 dollar kost
02:06
at this point in time.
39
114000
2000
op dit moment.
02:08
I'm wearing a camera, just a simple webcam,
40
116000
4000
Ik draag een camera, gewoon een eenvoudige webcam,
02:12
a portable, battery-powered projection system with a little mirror.
41
120000
6000
een draagbaar, op batterijen werkend projectiesysteem met een kleine spiegel.
02:18
These components communicate to my cell phone in my pocket
42
126000
4000
Deze onderdelen communiceren met de mobiele telefoon in mijn zak
02:22
which acts as the communication and computation device.
43
130000
4000
die fungeert als communicatie- en rekenapparaat.
02:26
And in the video here we see my student Pranav Mistry,
44
134000
4000
En in de video hier zien we mijn student Pranav Mistry
02:30
who's really the genius who's been implementing
45
138000
3000
die hier het daadwerkelijke brein van is en die de implementatie
02:33
and designing this whole system.
46
141000
2000
en het ontwerp van het hele systeem op zich heeft genomen.
02:35
And we see how this system
47
143000
2000
En we zien hoe dit systeem
02:37
lets him walk up to any surface
48
145000
4000
hem in staat stelt om op elk mogelijk oppervlak af te lopen
02:41
and start using his hands to interact with the information
49
149000
4000
en met zijn handen interacteert met de informatie
02:45
that is projected in front of him.
50
153000
2000
die voor hem is geprojecteerd.
02:47
The system tracks the four significant fingers.
51
155000
4000
Het systeem volgt de vier vingers waaraan betekenis is gegeven.
02:51
In this case, he's wearing simple marker caps
52
159000
4000
In dit geval draagt hij eenvoudige markeerkapjes
02:55
that you may recognize.
53
163000
2000
zoals je misschien al zag.
02:57
But if you want a more stylish version
54
165000
2000
Maar als je een stijlvollere versie wilt
02:59
you could also paint your nails in different colors.
55
167000
4000
zou je bijvoorbeeld je nagels met verschillende kleuren kunnen lakken.
03:03
And the camera basically tracks these four fingers
56
171000
4000
Het komt erop neer dat de camera deze vier vingers volgt
03:07
and recognizes any gestures that he's making
57
175000
3000
en elk gebaar dat hij maakt herkent
03:10
so he can just go to, for example, a map of Long Beach,
58
178000
5000
hij kan dus bijvoorbeeld naar een kaart van Long Beach gaan en
03:15
zoom in and out, etc.
59
183000
2000
in- en uitzoomen et cetera.
03:17
The system also recognizes iconic gestures
60
185000
3000
Het systeem herkent ook symbolische gebaren
03:20
such as the "take a picture" gesture,
61
188000
3000
zoals het neem-een-foto-gebaar,
03:23
and then takes a picture of whatever is in front of you.
62
191000
3000
en het maakt een foto van wat het ook is dat voor je staat.
03:26
And when he then walks back to the Media Lab,
63
194000
4000
En als hij dan terugloopt naar het Media Lab,
03:30
he can just go up to any wall
64
198000
2000
kan hij gewoon naar elke muur toe lopen
03:32
and project all the pictures that he's taken,
65
200000
3000
en alle foto's die hij heeft gemaakt daarop projecteren,
03:35
sort through them and organize them,
66
203000
2000
ze sorteren en organiseren,
03:37
and re-size them, etc.,
67
205000
2000
de grootte ervan veranderen, et cetera,
03:39
again using all natural gestures.
68
207000
3000
wederom door gebruik te maken van heel natuurlijke gebaren.
03:42
So, some of you most likely were here two years ago
69
210000
4000
Sommigen van jullie waren hier waarschijnlijk twee jaar geleden ook al
03:46
and saw the demo by Jeff Han
70
214000
5000
en hebben toen de demo van Jeff Han gezien
03:51
or some of you may think, "Well, doesn't this look like the Microsoft Surface Table?"
71
219000
3000
en sommigen van jullie denken wellicht, "Maar dit lijkt toch op de Microsoft Surface Table?"
03:54
And yes, you also interact using natural gestures,
72
222000
5000
En ja, daarbij interacteer je ook met behulp van natuurlijke gebaren,
03:59
both hands, etc.
73
227000
2000
twee handen, et cetera.
04:01
But the difference here is that you can use any surface,
74
229000
3000
Maar het verschil hiermee is dat je het kan gebruiken op elk oppervlak,
04:04
you can walk to up to any surface,
75
232000
3000
je kunt gewoon naar elk oppervlak lopen,
04:07
including your hand if nothing else is available
76
235000
3000
inclusief je hand als er niets anders beschikbaar is
04:10
and interact with this projected data.
77
238000
3000
en interacteren met deze geprojecteerde data
04:13
The device is completely portable,
78
241000
3000
Het apparaat is volledig draagbaar,
04:16
and can be ...
79
244000
2000
en kan ...
04:18
(Applause)
80
246000
7000
(Applaus)
04:25
So one important difference is that it's totally mobile.
81
253000
4000
Een belangrijk verschil is dus dat het geheel mobiel is
04:29
Another even more important difference is that in mass production
82
257000
4000
Een ander, wellicht belangrijker verschil, is dat dit met massaproductie
04:33
this would not cost more tomorrow than today's cell phones
83
261000
4000
morgen niet meer zou kosten dan een hedendaagse mobiele telefoon
04:37
and would actually not sort of be a bigger packaging --
84
265000
4000
en dat het eigenlijk niet een soort van grotere verpakking zou zijn --
04:41
could look a lot more stylish
85
269000
2000
het kan er veel stijlvoller uit zien
04:43
than this version that I'm wearing around my neck.
86
271000
3000
dan deze versie die ik nu om mijn nek draag.
04:46
But other than letting some of you live out your fantasy
87
274000
6000
Maar behalve het mogelijk maken dat sommigen van jullie hun fantasie kunnen verwezelijken
04:52
of looking as cool as Tom Cruise in "Minority Report,"
88
280000
4000
om er net zo cool uit te zien als Tom Cruise in "Minority Report,"
04:56
the reason why we're really excited about this device
89
284000
4000
is de reden dat we zo opgewonden zijn over dit apparaat
05:00
is that it really can act as one of these sixth-sense devices
90
288000
6000
dat het echt kan fungeren als een van die zesde zintuigapparaten
05:06
that gives you relevant information
91
294000
3000
die je relevante informatie geven
05:09
about whatever is in front of you.
92
297000
2000
over wat het ook is dat voor je staat.
05:11
So we see Pranav here going into the supermarket
93
299000
5000
Hier zien we Pranav de supermarkt in gaan
05:16
and he's shopping for some paper towels.
94
304000
3000
en hij is op zoek naar keukenrolpapier.
05:19
And, as he picks up a product the system can recognize
95
307000
3000
En terwijl hij een product pakt, kan het systeem
05:22
the product that he's picking up,
96
310000
2000
het product dat hij pakt herkennen
05:24
using either image recognition or marker technology,
97
312000
4000
door beeldherkenning of markeringstechnologie,
05:28
and give him the green light or an orange light.
98
316000
3000
en hem het groene of oranje licht geven.
05:31
He can ask for additional information.
99
319000
3000
Hij kan om aanvullende informatie vragen.
05:34
So this particular choice here
100
322000
4000
Deze specifieke keuze hier
05:38
is a particularly good choice, given his personal criteria.
101
326000
4000
is dus een bijzonder goede keuze, volgens zijn persoonlijke criteria.
05:42
Some of you may want the toilet paper with the most bleach in it
102
330000
4000
Sommigen van jullie willen misschien liever het toiletpapier met de meeste bleek erin,
05:46
rather than the most ecologically-responsible choice.
103
334000
3000
in plaats van de meest ecologisch-verantwoordelijke optie.
05:49
(Laughter)
104
337000
3000
(Gelach)
05:52
If he picks up a book in the bookstore,
105
340000
3000
Als hij een boek oppakt in de boekenwinkel,
05:55
he can get an Amazon rating --
106
343000
2000
kan hij een Amazon-rating opvragen.
05:57
it gets projected right on the cover of the book.
107
345000
2000
Het wordt meteen geprojecteerd op het boekomslag.
05:59
This is Juan's book, our previous speaker,
108
347000
5000
Dit is Juan's book, onze vorige spreker,
06:04
which gets a great rating, by the way, at Amazon.
109
352000
2000
die overigens een zeer goede rating krijgt op Amazon.
06:06
And so, Pranav turns the page of the book
110
354000
3000
En als Pranav de pagina van het boek omslaat
06:09
and can then see additional information about the book --
111
357000
3000
kan hij vervolgens extra informatie over het boek zien --
06:12
reader comments, maybe sort of information by his favorite critic, etc.
112
360000
7000
opmerkingen van lezers, mischien bepaalde informatie van zijn favoriete recensent et cetera.
06:19
If he turns to a particular page
113
367000
2000
Als hij omslaat naar een bepaalde bladzijde
06:21
he finds an annotation by maybe an expert of a friend of ours
114
369000
4000
vindt hij een annotatie van bijvoorbeeld een expert of een vriend van ons
06:25
that gives him a little bit of additional information
115
373000
2000
die hem een klein beetje extra informatie geeft
06:27
about whatever is on that particular page.
116
375000
3000
over wat het ook is dat op die specifieke bladzijde staat.
06:30
Reading the newspaper --
117
378000
2000
Als je de krant leest --
06:32
it never has to be outdated.
118
380000
3000
hoeft die nooit meer verouderd te zijn.
06:35
(Laughter)
119
383000
2000
(Gelach)
06:37
You can get video annotations of the event that you're reading about
120
385000
4000
Je kunt videocommentaar krijgen over de gebeurtenissen waarover je leest
06:41
You can get the latest sports scores etc.
121
389000
4000
Je kunt de laatste sportuitslagen krijgen et cetera.
06:45
This is a more controversial one.
122
393000
3000
Dit is wat controversioneler.
06:48
(Laughter)
123
396000
1000
(Gelach)
06:49
As you interact with someone at TED,
124
397000
3000
Als je interactie hebt met iemand bij TED,
06:52
maybe you can see a word cloud of the tags,
125
400000
4000
kun je misschien een woordwolk zien met de labels,
06:56
the words that are associated with that person
126
404000
2000
de woorden die geassocieerd zijn met die persoon
06:58
in their blog and personal web pages.
127
406000
3000
in diens blog en persoonlijke webpagina's.
07:01
In this case, the student is interested in cameras, etc.
128
409000
5000
In dit geval is de student geïnteresseerd in camera's et cetera.
07:06
On your way to the airport,
129
414000
2000
Als je op weg bent naar het vliegveld
07:08
if you pick up your boarding pass, it can tell you that your flight is delayed,
130
416000
4000
en je je boarding pass oppakt, kan het je vertellen dat je vlucht is vertraagd,
07:12
that the gate has changed, etc.
131
420000
3000
dat de gate is veranderd, et cetera.
07:15
And, if you need to know what the current time is
132
423000
3000
En als je moet weten wat de huidige tijd is
07:18
it's as simple as drawing a watch --
133
426000
4000
is dat een kwestie van het tekenen van een horloge --
07:22
(Laughter)
134
430000
1000
(Gelach)
07:23
(Applause)
135
431000
1000
(Applaus)
07:24
on your arm.
136
432000
2000
op je arm.
07:26
So that's where we're at so far
137
434000
4000
Dit is dus hoever we nu zijn
07:30
in developing this sixth sense
138
438000
4000
met de ontwikkeling van dit zesde zintuig
07:34
that would give us seamless access to all this relevant information
139
442000
4000
dat ons naadloos toegang zou kunnen geven tot al die relevante informatie
07:38
about the things that we may come across.
140
446000
3000
over de dingen die we tegenkomen.
07:41
My student Pranav, who's really, like I said, the genius behind this.
141
449000
4000
Mijn student Pranav, die, zoals ik al zei, eigenlijk het brein is dat hierachter zit.
07:45
(Applause) (Standing ovation)
142
453000
23000
(Applaus)
08:08
He does deserve a lot of applause
143
476000
3000
Hij verdient een groot applaus
08:11
because I don't think he's slept much in the last three months, actually.
144
479000
4000
want ik geloof dat hij eigenlijk niet veel heeft geslapen de laatste drie maanden.
08:15
And his girlfriend is probably not very happy about him either.
145
483000
3000
En zijn vriendin is waarschijnlijk ook niet erg blij met hem.
08:18
But it's not perfect yet, it's very much a work in progress.
146
486000
5000
Maar het is nog niet perfect, het is vooralsnog in ontwikkeling
08:23
And who knows, maybe in another 10 years
147
491000
3000
En wie weet, misschien, staan we hier over 10 jaar
08:26
we'll be here with the ultimate sixth sense brain implant.
148
494000
5000
met het ultieme zesde zintuig hersenimplantaat.
08:31
Thank you.
149
499000
1000
Dank u wel.
08:32
(Applause)
150
500000
4000
(Applaus)
ABOUT THE SPEAKERS
Pattie Maes - ResearcherAs head of the MIT Media Lab's Fluid Interfaces Group, Pattie Maes researches the tools we use to work with information and connect with one another.
Why you should listen
Pattie Maes was the key architect behind what was once called "collaborative filtering" and has become a key to Web 2.0: the immense engine of recommendations -- or "things like this" -- fueled by other users. In the 1990s, Maes' Software Agents program at MIT created Firefly, a technology (and then a startup sold to Microsoft) that let users choose songs they liked, and find similar songs they'd never heard of, by taking cues from others with similar taste. This brought a sea change in the way we interact with software, with culture and with one another.
Now Maes is working on a similarly boundary-breaking initiative. She founded Fluid Interfaces Group, also part of the MIT Media Lab, to rethink the ways in which humans and computers interact, partially by redefining both human and computer. In Maes' world (and really, in all of ours), the computer is no longer a distinct object, but a source of intelligence that's embedded in our environment. By outfitting ourselves with digital accessories, we can continually learn from (and teach) our surroundings. The uses of this tech -- from healthcare to home furnishings, warfare to supermarkets -- are powerful and increasingly real.
Pattie Maes | Speaker | TED.com
Pranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data.
Why you should listen
When Pranav Mistry was a PhD student in the Fluid Interfaces Group at MIT's Media Lab, he worked with lab director Pattie Maes to create some of the most entertaining and thought-provoking interfaces the world had ever seen. And not just computer interfaces, mind you -- these are ways to help the digital and the actual worlds interface. Imagine: intelligent sticky notes, Quickies, that can be searched and can send reminders; a pen that draws in 3D; and TaPuMa, a tangible public map that can act as Google of physical world. And of course the legendary SixthSense, which is now open sourced
Before his studies at MIT, he worked with Microsoft as a UX researcher; he's a graduate of IIT. Now, as director of research at Samsung Research America, Mistry heads the Think Tank Team, an interdisciplinary group of researchers that hunts for new ways to mix digital informational with real-world interactions. As an example, Mistry launched the company's smartwatch, the Galaxy Gear, in 2013.
Pranav Mistry | Speaker | TED.com