TED2009
Pattie Maes + Pranav Mistry: Meet the SixthSense interaction
Pattie Maes elmontras la "Sesan Sentumon", mondoskua vestebla teknologiaĵo
Filmed:
Readability: 4.4
11,289,293 views
Tiu ĉi specimeno -- el la laboratorio de Patt Maes ĉe MIT, antaŭenigita de Pranav Mistry -- furoris ĉe TED. Ĝi estas vestebla aparato kun projekciilo, kiu lanĉas la bazon por profunda interago kun nia medio. Imagu "Minority Report" kaj tiel plu.
Pattie Maes - Researcher
As head of the MIT Media Lab's Fluid Interfaces Group, Pattie Maes researches the tools we use to work with information and connect with one another. Full bioPranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data. Full bio
As head of the MIT Media Lab's Fluid Interfaces Group, Pattie Maes researches the tools we use to work with information and connect with one another. Full bioPranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data. Full bio
Double-click the English transcript below to play the video.
00:12
I've been intrigued by this question
0
0
2000
Tiklis min la demando
00:14
of whether we could evolve or develop a sixth sense --
1
2000
3000
ĉu ni povus disvolvi sesan sentumon --
00:17
a sense that would give us seamless access
2
5000
6000
sentumo, kiu donus al ni senpenan aliron
00:23
and easy access to meta-information
3
11000
3000
kaj facilan aliron al la metadatumojn
00:26
or information that may exist somewhere
4
14000
3000
aŭ informojn, kiuj povas ie troviĝi
00:29
that may be relevant to help us make the right decision
5
17000
3000
kaj povus esti signifa por helpi nin ĝuste decidi
00:32
about whatever it is that we're coming across.
6
20000
3000
pri kio ajn antaŭ kio ni troviĝos.
00:35
And some of you may argue,
7
23000
3000
Kaj iuj inter vi eble argumentos
00:38
well, don't today's cell phones do that already?
8
26000
3000
nu, ĉu nuntempaj poŝtelefonoj ankoraŭ ne faras tion?
00:41
But I would say no.
9
29000
2000
Sed mi dirus, ke ne, ili ne faras.
00:43
When you meet someone here at TED --
10
31000
2000
Kiam vi renkontas iun tie ĉi en TED --
00:45
and this is the top networking place, of course, of the year --
11
33000
3000
kaj tiu ĉi estas la pinta kunvenejo, kompreneble, de la jaro --
00:48
you don't shake somebody's hand
12
36000
2000
vi ne manpremas al iu
00:50
and then say, "Can you hold on for a moment
13
38000
3000
kaj diras "Ĉu vi povas atendi momenton
00:53
while I take out my phone and Google you?"
14
41000
2000
dum mi prenos mian telefonon kaj guglumos pri vi?
00:55
Or when you go to the supermarket
15
43000
4000
Aŭ kiam vi iras al supermarkto
00:59
and you're standing there in that huge aisle
16
47000
2000
kaj staras ĉe tiu giganta koridoro
01:01
of different types of toilet papers,
17
49000
3000
kun malsamaj specoj de necesejaj paperoj,
01:04
you don't take out your cell phone, and open a browser,
18
52000
4000
vi ne prenas vian poŝtelefonon kaj lanĉas retkrozilon
01:08
and go to a website to try to decide
19
56000
2000
por iri al hejmpaĝo kaj provi decidi
01:10
which of these different toilet papers
20
58000
3000
kiun el tiuj malsamaj specoj de necesejaj paperoj
01:13
is the most ecologically responsible purchase to make.
21
61000
3000
estas la plej ekologie respondeca aĉeto?
01:16
So we don't really have easy access
22
64000
3000
Ni do fakte ne havas facilan aliron
01:19
to all this relevant information
23
67000
2000
al tiu signifa informo,
01:21
that can just help us make optimal decisions
24
69000
3000
kiu povas simple helpi nin optimume decidi
01:24
about what to do next and what actions to take.
25
72000
3000
pri tio, kion oni sekve faru kaj kiel oni agu.
01:27
And so my research group at the Media Lab
26
75000
4000
Tial mia esplorgrupo en la laboratorio pri medioj
01:31
has been developing a series of inventions
27
79000
4000
disvolvis serion de inventoj
01:35
to give us access to this information
28
83000
3000
por doni al ni aliron al tiu informo
01:38
in a sort of easy way,
29
86000
2000
laŭ iom facila maniero,
01:40
without requiring that the user changes any of their behavior.
30
88000
5000
sen la neceso, ke la uzanto kiel ajn ŝanĝu sian sintenon.
01:45
And I'm here to unveil
31
93000
2000
Kaj mi estas tie ĉi por malkaŝi
01:47
our latest effort,
32
95000
3000
nian plej lastan klopodon
01:50
and most successful effort so far,
33
98000
2000
kaj plej sukcesan ĝis nun,
01:52
which is still very much a work in process.
34
100000
2000
kiu plejparte estas ankoraŭ kuranta laboro.
01:54
I'm actually wearing the device right now
35
102000
3000
Mi fakte vestas la aparaton ĝuste nun
01:57
and we've sort of cobbled it together
36
105000
3000
kaj ni iel kunmetis ĝin
02:00
with components that are off the shelf --
37
108000
3000
el eroj jam disponeblaj --
02:03
and that, by the way, only cost 350 dollars
38
111000
3000
kaj cetere ĝi kostas nur 350 dolarojn
02:06
at this point in time.
39
114000
2000
en la nuna momento.
02:08
I'm wearing a camera, just a simple webcam,
40
116000
4000
Mi vestas kameraon, simplan komputil-kameraon,
02:12
a portable, battery-powered projection system with a little mirror.
41
120000
6000
porteblan projekcian sistemon kun bateria elektro kaj etan spegulon.
02:18
These components communicate to my cell phone in my pocket
42
126000
4000
Tiuj iloj komunikiĝas kun mia poŝtelefono en mia poŝo,
02:22
which acts as the communication and computation device.
43
130000
4000
kaj ĝi rolas kiel la aparato por komunikado kaj komputado.
02:26
And in the video here we see my student Pranav Mistry,
44
134000
4000
Kaj en la video tie ĉi ni vidas mian studenton Pranav Mistry,
02:30
who's really the genius who's been implementing
45
138000
3000
kiu fakte estas la geniulo realiganta
02:33
and designing this whole system.
46
141000
2000
kaj fasonanta tiun tutan sistemon.
02:35
And we see how this system
47
143000
2000
Kaj ni vidas kiel tiu ĉi sistemo
02:37
lets him walk up to any surface
48
145000
4000
ebligas al li paŝi al iu ajn loko
02:41
and start using his hands to interact with the information
49
149000
4000
kaj uzi siajn manojn por interagi kun la informoj,
02:45
that is projected in front of him.
50
153000
2000
kiuj projekciiĝas antaŭ li.
02:47
The system tracks the four significant fingers.
51
155000
4000
La sistemo sekvas la kvar signifajn fingrojn.
02:51
In this case, he's wearing simple marker caps
52
159000
4000
Ĉi-okaze li uzas simplajn ŝtopilojn de markiloj,
02:55
that you may recognize.
53
163000
2000
kiujn vi eble rekonas.
02:57
But if you want a more stylish version
54
165000
2000
Sed se oni volas pli laŭmodan version
02:59
you could also paint your nails in different colors.
55
167000
4000
oni povas ankaŭ farbi siajn ungojn laŭ diversaj koloroj.
03:03
And the camera basically tracks these four fingers
56
171000
4000
Kaj la kamerao esence sekvas tiujn kvar fingrojn
03:07
and recognizes any gestures that he's making
57
175000
3000
kaj rekonas iun ajn geston, kiun li faras
03:10
so he can just go to, for example, a map of Long Beach,
58
178000
5000
tiel ke li povas ekzemple iri al mapo de Long Beach,
03:15
zoom in and out, etc.
59
183000
2000
pligrandigi aŭ malpligrandigi ĝin, ktp.
03:17
The system also recognizes iconic gestures
60
185000
3000
La sistemo rekonas ankaŭ ikonajn gestojn,
03:20
such as the "take a picture" gesture,
61
188000
3000
kiel la geston fari foton
03:23
and then takes a picture of whatever is in front of you.
62
191000
3000
kaj ĝi faras foton de tio, kio troviĝas antaŭ vi.
03:26
And when he then walks back to the Media Lab,
63
194000
4000
Kaj kiam li reiras al la laboratorio
03:30
he can just go up to any wall
64
198000
2000
li povas simple iri ĉe iu ajn muro
03:32
and project all the pictures that he's taken,
65
200000
3000
kaj projekcii ĉiujn fotojn, kiujn li faris
03:35
sort through them and organize them,
66
203000
2000
trafoliumi kaj organizi ilin,
03:37
and re-size them, etc.,
67
205000
2000
regrandigi ilin ktp
03:39
again using all natural gestures.
68
207000
3000
denove per naturaj gestoj.
03:42
So, some of you most likely were here two years ago
69
210000
4000
Nu, iuj inter vi tre probable estis tie ĉi antaŭ du jaroj
03:46
and saw the demo by Jeff Han
70
214000
5000
kaj vidis la elmontron de Jeff Han
03:51
or some of you may think, "Well, doesn't this look like the Microsoft Surface Table?"
71
219000
3000
aŭ iuj inter vi povas pensi "Ĉu tio ne similas al la Surfaco-tablo de Microsoft?"
03:54
And yes, you also interact using natural gestures,
72
222000
5000
Jes, vi povas interagi ankaŭ kun ĝi per naturaj gestoj,
03:59
both hands, etc.
73
227000
2000
per ambaŭ manoj kaj tiel plu.
04:01
But the difference here is that you can use any surface,
74
229000
3000
Sed la diferenco estas tio, ke vi povas uzi kiun ajn surfacon,
04:04
you can walk to up to any surface,
75
232000
3000
vi povas paŝi sur kiu ajn surfaco,
04:07
including your hand if nothing else is available
76
235000
3000
inkluzive de via mano, se nenio alia estas disponebla,
04:10
and interact with this projected data.
77
238000
3000
kaj interagi kun tiu projekciita datumo.
04:13
The device is completely portable,
78
241000
3000
La aparato estas plene portebla
04:16
and can be ...
79
244000
2000
kaj povas esti...
04:18
(Applause)
80
246000
7000
< aplaŭdoj >
04:25
So one important difference is that it's totally mobile.
81
253000
4000
Do unu grava diferenco estas ĝia plena portebleco.
04:29
Another even more important difference is that in mass production
82
257000
4000
Alia eĉ pli grava diferenco estas tio, ke en larĝskala produktado
04:33
this would not cost more tomorrow than today's cell phones
83
261000
4000
tio estonte ne kostus pli ol la nuntempaj poŝtelefonoj
04:37
and would actually not sort of be a bigger packaging --
84
265000
4000
kaj fakte ĝi ne rezultus eĉ pli granda pakaĵo --
04:41
could look a lot more stylish
85
269000
2000
ĝi povus aspekti iom pli laŭmoda
04:43
than this version that I'm wearing around my neck.
86
271000
3000
ol tiu ĉi versio, kiun mi vestas ĉirkaŭ la kolo.
04:46
But other than letting some of you live out your fantasy
87
274000
6000
Sed krom fari iujn inter vi fantaziumi
04:52
of looking as cool as Tom Cruise in "Minority Report,"
88
280000
4000
aspekti tiel ĉarma kiel Tom Cruise en "Minority Report",
04:56
the reason why we're really excited about this device
89
284000
4000
la kialo por nia entuziasmiĝo pri tiu ĉi aparato estas tio,
05:00
is that it really can act as one of these sixth-sense devices
90
288000
6000
ke ĝi vere povas agi kiel unu el tiuj aparatoj de sesa sentumo,
05:06
that gives you relevant information
91
294000
3000
kiu donas al vi signifan informon
05:09
about whatever is in front of you.
92
297000
2000
pri kio ajn antaŭ vi.
05:11
So we see Pranav here going into the supermarket
93
299000
5000
Ni do vidas Pranav-on iranta al la supermarkto
05:16
and he's shopping for some paper towels.
94
304000
3000
kaj li aĉetas iom da higiena papero.
05:19
And, as he picks up a product the system can recognize
95
307000
3000
Kaj dum li prenas varon, kiun la sistemo povas rekoni,
05:22
the product that he's picking up,
96
310000
2000
la prenatan produkton
05:24
using either image recognition or marker technology,
97
312000
4000
uzante ĉu bildorekonon aŭ teknologion de markiloj,
05:28
and give him the green light or an orange light.
98
316000
3000
kaj tio donas al li verdan aŭ oranĝan lumon.
05:31
He can ask for additional information.
99
319000
3000
Li povas peti plian informon.
05:34
So this particular choice here
100
322000
4000
Do tiu ĉi aparta elekto
05:38
is a particularly good choice, given his personal criteria.
101
326000
4000
estas aparte bona elekto laŭ liaj personaj kriterioj.
05:42
Some of you may want the toilet paper with the most bleach in it
102
330000
4000
Iuj inter vi eble volas la higienan paperon kun plej multe da blankigilo
05:46
rather than the most ecologically-responsible choice.
103
334000
3000
anstataŭ la plej medi-respondecan elekton.
05:49
(Laughter)
104
337000
3000
< ridoj >
05:52
If he picks up a book in the bookstore,
105
340000
3000
Se li prenas libron en vendejo,
05:55
he can get an Amazon rating --
106
343000
2000
li povas ricevi taksadon de Amazon.
05:57
it gets projected right on the cover of the book.
107
345000
2000
Ĝi projekciiĝas sur la kovrilo de la libro.
05:59
This is Juan's book, our previous speaker,
108
347000
5000
Jen la libro de Juan, nia antaŭa preleganto,
06:04
which gets a great rating, by the way, at Amazon.
109
352000
2000
kiu cetere ricevas grandan taksadon ĉe Amazon.
06:06
And so, Pranav turns the page of the book
110
354000
3000
Kaj tiel Pranav foliumas la paĝon de la libro
06:09
and can then see additional information about the book --
111
357000
3000
kaj povas vidi aldonajn informojn pri ĝi --
06:12
reader comments, maybe sort of information by his favorite critic, etc.
112
360000
7000
komentojn de legantoj, eble iun informon el lia preferata recenzinto ktp.
06:19
If he turns to a particular page
113
367000
2000
Se li iras al specifa paĝo,
06:21
he finds an annotation by maybe an expert of a friend of ours
114
369000
4000
li trovas noton fare de spertulo aŭ de amiko
06:25
that gives him a little bit of additional information
115
373000
2000
kiu donas al li iom pli da aldona informo
06:27
about whatever is on that particular page.
116
375000
3000
pri io en tiu aparta paĝo.
06:30
Reading the newspaper --
117
378000
2000
Legi ĵurnalon --
06:32
it never has to be outdated.
118
380000
3000
ĝi neniam bezonas malaktualiĝi.
06:35
(Laughter)
119
383000
2000
< ridoj >
06:37
You can get video annotations of the event that you're reading about
120
385000
4000
Oni povas ekhavi videonotojn de la evento pri kiu oni legas.
06:41
You can get the latest sports scores etc.
121
389000
4000
Oni povas ekhavi la plej lastajn sportorezultatojn kaj tiel plu.
06:45
This is a more controversial one.
122
393000
3000
Tio ĉi estas pli polemika eblaĵo.
06:48
(Laughter)
123
396000
1000
< ridoj >
06:49
As you interact with someone at TED,
124
397000
3000
Dum oni interagas kun alia ĉe TED,
06:52
maybe you can see a word cloud of the tags,
125
400000
4000
eble oni povas vidi amason da temvortoj,
06:56
the words that are associated with that person
126
404000
2000
la vortoj ligitaj al tiu homo
06:58
in their blog and personal web pages.
127
406000
3000
en ties blogo kaj personaj hejmpaĝoj.
07:01
In this case, the student is interested in cameras, etc.
128
409000
5000
En tiu ĉi okazo, la studento estas interesata pri kameraoj kaj simile.
07:06
On your way to the airport,
129
414000
2000
Survoje al la flughaveno,
07:08
if you pick up your boarding pass, it can tell you that your flight is delayed,
130
416000
4000
se oni prenas sian enirbileton, ĝi povas diri ĉu la flugo malfruiĝas,
07:12
that the gate has changed, etc.
131
420000
3000
ke la enirpordego ŝanĝiĝis kaj tiel plu.
07:15
And, if you need to know what the current time is
132
423000
3000
Kaj se oni bezonas scii la aktualan horon,
07:18
it's as simple as drawing a watch --
133
426000
4000
estas tiel simple kiel desegni horloĝon --
07:22
(Laughter)
134
430000
1000
< ridoj >
07:23
(Applause)
135
431000
1000
< aplaŭdoj >
07:24
on your arm.
136
432000
2000
sur via brako.
07:26
So that's where we're at so far
137
434000
4000
Do jen kie ni estas ĝis nun
07:30
in developing this sixth sense
138
438000
4000
en la disvolvado de la sesa sentumo,
07:34
that would give us seamless access to all this relevant information
139
442000
4000
kiu donos al ni facilan aliron al ĉiu signifa informo
07:38
about the things that we may come across.
140
446000
3000
pri la aĵoj, kiujn ni povas preterpasi.
07:41
My student Pranav, who's really, like I said, the genius behind this.
141
449000
4000
Mia studento Pranav, kiu estas vere, kiel dirite, la geniulo malantaŭ tio.
07:45
(Applause) (Standing ovation)
142
453000
23000
< aplaŭdoj >
08:08
He does deserve a lot of applause
143
476000
3000
Li ja meritas multajn aplaŭdojn
08:11
because I don't think he's slept much in the last three months, actually.
144
479000
4000
ĉar mi kredas, ke li efektive ne dormis multe dum la lastaj tri monatoj.
08:15
And his girlfriend is probably not very happy about him either.
145
483000
3000
Cetere lia koramikino probable ne estas tre kontenta pri li.
08:18
But it's not perfect yet, it's very much a work in progress.
146
486000
5000
Sed ĝi ankoraŭ ne estas perfekta, estas multe da kuranta laboro.
08:23
And who knows, maybe in another 10 years
147
491000
3000
Kaj eble post pliaj 10 jaroj
08:26
we'll be here with the ultimate sixth sense brain implant.
148
494000
5000
ni estos tie ĉi kun la plej lasta greftaĵo de sesa sentumo por la cerbo.
08:31
Thank you.
149
499000
1000
Dankon.
08:32
(Applause)
150
500000
4000
< aplaŭdoj >
ABOUT THE SPEAKERS
Pattie Maes - ResearcherAs head of the MIT Media Lab's Fluid Interfaces Group, Pattie Maes researches the tools we use to work with information and connect with one another.
Why you should listen
Pattie Maes was the key architect behind what was once called "collaborative filtering" and has become a key to Web 2.0: the immense engine of recommendations -- or "things like this" -- fueled by other users. In the 1990s, Maes' Software Agents program at MIT created Firefly, a technology (and then a startup sold to Microsoft) that let users choose songs they liked, and find similar songs they'd never heard of, by taking cues from others with similar taste. This brought a sea change in the way we interact with software, with culture and with one another.
Now Maes is working on a similarly boundary-breaking initiative. She founded Fluid Interfaces Group, also part of the MIT Media Lab, to rethink the ways in which humans and computers interact, partially by redefining both human and computer. In Maes' world (and really, in all of ours), the computer is no longer a distinct object, but a source of intelligence that's embedded in our environment. By outfitting ourselves with digital accessories, we can continually learn from (and teach) our surroundings. The uses of this tech -- from healthcare to home furnishings, warfare to supermarkets -- are powerful and increasingly real.
Pattie Maes | Speaker | TED.com
Pranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data.
Why you should listen
When Pranav Mistry was a PhD student in the Fluid Interfaces Group at MIT's Media Lab, he worked with lab director Pattie Maes to create some of the most entertaining and thought-provoking interfaces the world had ever seen. And not just computer interfaces, mind you -- these are ways to help the digital and the actual worlds interface. Imagine: intelligent sticky notes, Quickies, that can be searched and can send reminders; a pen that draws in 3D; and TaPuMa, a tangible public map that can act as Google of physical world. And of course the legendary SixthSense, which is now open sourced
Before his studies at MIT, he worked with Microsoft as a UX researcher; he's a graduate of IIT. Now, as director of research at Samsung Research America, Mistry heads the Think Tank Team, an interdisciplinary group of researchers that hunts for new ways to mix digital informational with real-world interactions. As an example, Mistry launched the company's smartwatch, the Galaxy Gear, in 2013.
Pranav Mistry | Speaker | TED.com