15:20
TEDIndia 2009

Pranav Mistry: The thrilling potential of SixthSense technology

プラナフ・ミストリー :次なる可能性を秘めたSixthSenseテクノロジー

Filmed:

TEDIndiaでプラナフ・ミストリーが、SixthSenseデバイスの詳細をはじめ、パラダイムシフトを起こす新しい紙のノートPCなど、日常生活とデータの世界の交流を可能にするツールの数々を見せてくれます。ステージ上でのQ&Aでは、SixthSenseの可能性をすべての人が手にできるよう、ソフトウェアをオープンソースにする予定であると語っています。

- Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data. Full bio

We grew up
私たちは
00:15
interacting with the physical objects around us.
身の回りのモノに触れて育ってきました
00:17
There are an enormous number of them
私たちが日常生活で使うモノは
00:20
that we use every day.
ものすごく沢山あります
00:22
Unlike most of our computing devices,
コンピュータ機器の多くとは違い
00:24
these objects are much more fun to use.
日常生活のモノというのは 使うのが楽しいものです
00:27
When you talk about objects,
日常生活のモノについて話題にするとき
00:30
one other thing automatically comes attached to that thing,
それに付随してくるものがもう1つあります
00:33
and that is gestures:
ジェスチャーです
00:36
how we manipulate these objects,
それらのモノをどうやって扱うのか
00:38
how we use these objects in everyday life.
実生活でそれらのモノをどう使うのか
00:40
We use gestures not only to interact with these objects,
ジェスチャーはモノに対してだけ使うわけではありません
00:43
but we also use them to interact with each other.
人に対しても使います
00:46
A gesture of "Namaste!", maybe, to respect someone,
「ナマステ!」のジェスチャーは 誰かに敬意を示すときにします
00:48
or maybe --
インドの子供なら
00:51
in India I don't need to teach a kid that this means
これはクリケットの「4ラン」だと
00:52
"four runs" in cricket.
教えられなくとも知っています
00:54
It comes as a part of our everyday learning.
生活の中で自然に学び取るのです
00:56
So, I am very interested,
私は早い時期に
00:59
from the beginning, that how --
興味を持った事があります
01:01
how our knowledge
「モノやジェスチャーに対する
01:03
about everyday objects and gestures,
私たちの知識や
01:05
and how we use these objects,
実生活でモノをどう使うかということが
01:07
can be leveraged to our interactions with the digital world.
デジタル世界をより良くするために役立てられないだろうか?」
01:09
Rather than using a keyboard and mouse,
キーボードやマウスを使うかわりに
01:12
why can I not use my computer
日常的なジェスチャーで
01:15
in the same way that I interact in the physical world?
コンピュータを使うことはできないだろうか?
01:18
So, I started this exploration around eight years back,
8年ほど前に私はこの探求を始めました
01:21
and it literally started with a mouse on my desk.
そして自分の机の上にあるマウスをまず手に取りました
01:24
Rather than using it for my computer,
それでコンピュータを使うというのではなく
01:27
I actually opened it.
中を開けてみたのです
01:30
Most of you might be aware that, in those days,
マウスというのは
01:33
the mouse used to come with a ball inside,
昔は中にボールが入っていました
01:35
and there were two rollers
2つのローラーが
01:37
that actually guide the computer where the ball is moving,
マウスを動かしたときのボールの動きを
01:39
and, accordingly, where the mouse is moving.
コンピュータに伝えるようになっています
01:42
So, I was interested in these two rollers,
だから私はこの2つのローラーに興味を持ち
01:44
and I actually wanted more, so I borrowed another mouse from a friend --
もっと欲しくなって友達からもマウスを借りました
01:47
never returned to him --
返すことはありませんでしたが
01:50
and I now had four rollers.
これでローラーが4つになりました
01:52
Interestingly, what I did with these rollers is,
そのローラーを使って何をやったかというと
01:54
basically, I took them off of these mouses
マウスから取り外して
01:57
and then put them in one line.
一列に並べ
02:00
It had some strings and pulleys and some springs.
紐と滑車とバネをつけたのです
02:02
What I got is basically a gesture interface device
出来上がったのは ジェスチャーをインターフェイスとする装置で
02:05
that actually acts as a motion-sensing device
モーションセンサの働きをします
02:08
made for two dollars.
2ドルでできました
02:12
So, here, whatever movement I do in my physical world
私が実世界でした動きが
02:14
is actually replicated inside the digital world
この小さな装置を通して
02:17
just using this small device that I made, around eight years back,
デジタル世界で再現されます
02:20
in 2000.
2000年のことです
02:23
Because I was interested in integrating these two worlds,
2つの世界の統合に私は関心があって
02:25
I thought of sticky notes.
次に考えたのは付箋メモです
02:27
I thought, "Why can I not connect
普段使っている付箋メモを
02:29
the normal interface of a physical sticky note
電子的な付箋メモへの
02:32
to the digital world?"
インタフェースにできないだろうか?
02:34
A message written on a sticky note to my mom
紙に書いたお母さん宛の
02:36
on paper
メッセージが
02:38
can come to an SMS,
SMSとして届き
02:39
or maybe a meeting reminder
予定のメモが
02:41
automatically syncs with my digital calendar --
自動的にデジタルの予定表と同期し
02:43
a to-do list that automatically syncs with you.
TODOリストも自動的に同期するという具合に
02:45
But you can also search in the digital world,
そうすると デジタル世界の中で検索することもでき
02:48
or maybe you can write a query, saying,
「スミス先生の住所は?」
02:51
"What is Dr. Smith's address?"
といった問い合わせもできます
02:53
and this small system actually prints it out --
結果は紙に印刷されて出てきます
02:55
so it actually acts like a paper input-output system,
これは入出力を紙でするシステムで
02:57
just made out of paper.
紙だけが外に見えています
02:59
In another exploration,
別な探求として
03:05
I thought of making a pen that can draw in three dimensions.
私は3次元に書けるペンというのも考えました
03:07
So, I implemented this pen
そのペンがあれば
03:10
that can help designers and architects
デザイナや建築家が
03:12
not only think in three dimensions,
3次元で考えるというだけでなく
03:14
but they can actually draw
実際に3次元で書くこともでき
03:16
so that it's more intuitive to use that way.
ずっと直感的に使えるはずです
03:18
Then I thought, "Why not make a Google Map,
Google Mapsを日常生活の中に
03:20
but in the physical world?"
引っ張り出せないか? とも思いました
03:22
Rather than typing a keyword to find something,
何かを探すために検索語を打ち込むのではなく
03:24
I put my objects on top of it.
モノをその上に載せるのです
03:27
If I put a boarding pass, it will show me where the flight gate is.
搭乗チケットを載せれば ゲートへの道順を示してくれ
03:29
A coffee cup will show where you can find more coffee,
コーヒーカップを置けば コーヒーを買える場所や
03:32
or where you can trash the cup.
ゴミ箱の場所を示すという具合です
03:35
So, these were some of the earlier explorations I did because
どれも私が初期にやった探求です
03:37
the goal was to connect these two worlds seamlessly.
私の目的はずっと2つの世界を継ぎ目なく結ぶということでした
03:40
Among all these experiments,
これらの実験にはどれも
03:44
there was one thing in common:
1つの共通点があります
03:46
I was trying to bring a part of the physical world to the digital world.
身の回りの世界の一部をデジタル世界に持ってこようとしていることです
03:48
I was taking some part of the objects,
モノの一部や
03:52
or any of the intuitiveness of real life,
実生活の直感的な面を
03:55
and bringing them to the digital world,
デジタル世界に持ち込んでいます
03:58
because the goal was to make our computing interfaces more intuitive.
コンピュータをもっと直感的に使えるようにしたかったのです
04:01
But then I realized that we humans
しかし私たちが興味を持っているのは
04:04
are not actually interested in computing.
コンピュータ自体ではないということに気がつきました
04:06
What we are interested in is information.
私たちに関心があるのは コンピュータの中にある情報です
04:09
We want to know about things.
私たちは物事について知りたいと思います
04:12
We want to know about dynamic things going around.
どんなことが起こっているのかを知りたいと思います
04:14
So I thought, around last year -- in the beginning of the last year --
それで去年の初めくらいから考えるようになりました
04:16
I started thinking, "Why can I not take this approach in the reverse way?"
「このアプローチを逆にすることはできないだろうか?」
04:21
Maybe, "How about I take my digital world
デジタル世界を取り出して
04:24
and paint the physical world with that digital information?"
日常生活の中に投影してみたらどうだろう?
04:27
Because pixels are actually, right now, confined in these rectangular devices
ピクセルデータは このポケットに入る四角い装置の中に
04:32
that fit in our pockets.
収められています
04:36
Why can I not remove this confine
日常生活の世界へ
04:38
and take that to my everyday objects, everyday life
それを解き放てるなら
04:41
so that I don't need to learn the new language
ピクセルをいじるために
04:44
for interacting with those pixels?
新しい言語を覚える必要もなくなるのでは?
04:46
So, in order to realize this dream,
この夢を実現しようと
04:50
I actually thought of putting a big-size projector on my head.
私は大きなプロジェクタを実際頭に載せてみました
04:52
I think that's why this is called a head-mounted projector, isn't it?
ヘッドマウントプロジェクタというわけです
04:55
I took it very literally,
バイクのヘルメットに
04:58
and took my bike helmet,
切り込みを入れて
05:00
put a little cut over there so that the projector actually fits nicely.
プロジェクタがうまく載るようにしました
05:02
So now, what I can do --
そうやって デジタル情報で
05:05
I can augment the world around me with this digital information.
身の回りの現実を拡張できるようになりました
05:07
But later,
しかし後になって
05:11
I realized that I actually wanted to interact with those digital pixels, also.
私はそのデジタル情報も操作したいと思うようになりました
05:13
So I put a small camera over there,
それでデジタルの目として
05:16
that acts as a digital eye.
小さなカメラを付けました
05:18
Later, we moved to a much better,
その後 もっと改良して
05:20
consumer-oriented pendant version of that,
コンシューマ向けのペンダント型を作りました
05:22
that many of you now know as the SixthSense device.
それがご存じのSixthSenseデバイスです
05:24
But the most interesting thing about this particular technology
このテクノロジーが特に興味深いのは
05:27
is that you can carry your digital world with you
自分の行くところはどこへでもデジタル世界を
05:30
wherever you go.
持っていくことができるという点です
05:34
You can start using any surface, any wall around you,
どこか壁を見つけ それを操作面として
05:36
as an interface.
使うことができます
05:39
The camera is actually tracking all your gestures.
カメラがジェスチャーを捉え
05:41
Whatever you're doing with your hands,
様々な身振りを
05:44
it's understanding that gesture.
解釈します
05:46
And, actually, if you see, there are some color markers
初期のバージョンでは ご覧のような
05:48
that in the beginning version we are using with it.
カラーマーカーを使っていました
05:50
You can start painting on any wall.
どこの壁でもかまいません
05:53
You stop by a wall, and start painting on that wall.
壁の前で立ち止まって投影します
05:55
But we are not only tracking one finger, here.
追跡するのは一本の指だけではありません
05:58
We are giving you the freedom of using all of both of your hands,
両手の指がすべて使えます
06:00
so you can actually use both of your hands to zoom into or zoom out
だから地図を両手でつまんで
06:04
of a map just by pinching all present.
拡大 縮小ができます
06:07
The camera is actually doing --
カメラで実際にやっているのは
06:09
just, getting all the images --
エッジ認識や
06:12
is doing the edge recognition and also the color recognition
色彩認識そのほか沢山の
06:13
and so many other small algorithms are going on inside.
細かいアルゴリズムによる処理です
06:16
So, technically, it's a little bit complex,
技術的には結構複雑なのですが
06:19
but it gives you an output which is more intuitive to use, in some sense.
結果としては直感的に使えるものになっています
06:21
But I'm more excited that you can actually take it outside.
これの楽しいところは 外に持ち出せるということです
06:24
Rather than getting your camera out of your pocket,
カメラをポケットから取り出すことなく
06:27
you can just do the gesture of taking a photo
ただ写真を撮るジェスチャーをするだけで
06:30
and it takes a photo for you.
写真を撮してくれます
06:33
(Applause)
(拍手)
06:35
Thank you.
どうも
06:39
And later I can find a wall, anywhere,
写真を撮ったら どこでも壁を見つけて
06:41
and start browsing those photos
写真を映して見ることができます
06:43
or maybe, "OK, I want to modify this photo a little bit
「よし この写真にちょっと手を入れて
06:45
and send it as an email to a friend."
友達にメールで送ってやろう」
06:47
So, we are looking for an era where
私たちはコンピュータの世界と日常の世界が
06:49
computing will actually merge with the physical world.
混じり合う時代を迎えようとしているのです
06:52
And, of course, if you don't have any surface,
適当な壁がないときには
06:55
you can start using your palm for simple operations.
自分の手のひらの上で簡単な操作をすることもできます
06:58
Here, I'm dialing a phone number just using my hand.
手のひらでダイヤルしているところです
07:01
The camera is actually not only understanding your hand movements,
カメラは手の動きを認識するだけでなく
07:07
but, interestingly,
さらには
07:10
is also able to understand what objects you are holding in your hand.
手に持っているモノを認識することもできます
07:11
What we're doing here is actually --
たとえばここでやっているのは
07:14
for example, in this case,
手に取った本の表紙を
07:17
the book cover is matched
何千何万という
07:19
with so many thousands, or maybe millions of books online,
オンラインの情報と照合し
07:21
and checking out which book it is.
どの本かを調べています
07:24
Once it has that information,
どれかわかったら
07:26
it finds out more reviews about that,
その本のレビューを表示したり
07:27
or maybe New York Times has a sound overview on that,
ニューヨークタイムズのサイトにある
07:29
so you can actually hear, on a physical book,
音声による解説を引っ張ってきて
07:32
a review as sound.
実際の本を手にしながら聞くことができます
07:34
("famous talk at Harvard University ...")
(…ハーバード大学で行われた有名な講演で…)
07:36
This was Obama's visit last week to MIT.
これはオバマ大統領が先週MITを訪れたときのものです
07:38
("... and particularly I want to thank two outstanding MIT ...")
(…特にMITの2人の傑出した教授にお礼を言いたい…)
07:42
So, I was seeing the live [video] of his talk, outside, on just a newspaper.
私は彼の講演のライブビデオを 外で新聞の上で見ているわけです
07:46
Your newspaper will show you live weather information
あるいはコンピュータを使わずに
07:51
rather than having it updated -- like, you have to check your computer
新聞でライブの天気情報を
07:54
in order to do that, right?
見ることができます
07:57
(Applause)
(拍手)
07:59
When I'm going back, I can just use my boarding pass
私が帰るときには 搭乗チケットで
08:04
to check how much my flight has been delayed,
飛行機の遅れを
08:07
because at that particular time,
確認できます
08:09
I'm not feeling like opening my iPhone,
iPhoneを取り出して
08:11
and checking out a particular icon.
アイコンを叩くまでもありません
08:13
And I think this technology will not only change the way --
この技術は…
08:15
yes. (Laughter)
ええ (笑)
08:18
It will change the way we interact with people, also,
モノばかりでなく 人との関わり方も
08:20
not only the physical world.
変えます
08:22
The fun part is, I'm going to the Boston metro,
お遊びとして ボストンの地下鉄に乗って
08:24
and playing a pong game inside the train
電車の床で卓球ゲームを
08:27
on the ground, right?
することだって出来ます
08:30
(Laughter)
(笑)
08:32
And I think the imagination is the only limit
このようなテクノロジーが生活に溶け込むとき
08:33
of what you can think of
できることを制限するものは
08:35
when this kind of technology merges with real life.
自らの想像力だけです
08:37
But many of you argue, actually, that
私たちが扱うのは
08:39
all of our work is not only about physical objects.
日常生活のモノばかりではないと言う人もいるでしょう
08:41
We actually do lots of accounting and paper editing
実際 会計とか編集とか
08:44
and all those kinds of things; what about that?
いろんなことをします
08:47
And many of you are excited about the next generation tablet computers
そしてあなた方の多くは 次世代のタブレットPCが市場に登場するのを
08:49
to come out in the market.
心待ちにしていることでしょう
08:53
So, rather than waiting for that,
私はそれをただ待っているのではなく
08:55
I actually made my own, just using a piece of paper.
自分のを紙切れを使って作ることにしました
08:57
So, what I did here is remove the camera --
私がやったのは
09:00
All the webcam cameras have a microphone inside the camera.
Webカメラにはマイクが入っているのですが
09:02
I removed the microphone from that,
それを取り出して
09:06
and then just pinched that --
クリップにして
09:09
like I just made a clip out of the microphone --
紙に付けられるようにしました
09:11
and clipped that to a piece of paper, any paper that you found around.
どんな紙でも使えます
09:14
So now the sound of the touch
そうすると紙にタッチしたときに
09:18
is getting me when exactly I'm touching the paper.
タッチ音が出るようにできます
09:21
But the camera is actually tracking where my fingers are moving.
実際の指の動きはカメラが把握します
09:24
You can of course watch movies.
もちろん映画だって見ることができます
09:28
("Good afternoon. My name is Russell ...
(こんにちは 僕はラッセル
09:31
and I am a Wilderness Explorer in Tribe 54.")
荒野探検隊 第54隊の隊員です)
09:34
And you can of course play games.
それにゲームも
09:37
(Car engine)
(エンジン音)
09:40
Here, the camera is actually understanding how you're holding the paper
ここでは紙をどう持っているかをカメラが把握して
09:43
and playing a car-racing game.
レーシングゲームを操作しています
09:46
(Applause)
(拍手)
09:48
Many of you already must have thought, OK, you can browse.
見ることができることについては
09:52
Yeah. Of course you can browse to any websites
お分りいただけたと思います
09:54
or you can do all sorts of computing on a piece of paper
Webサイトやコンピュータ画面を 紙切れの上で見ることができます
09:57
wherever you need it.
どこにいようと
10:00
So, more interestingly,
もっと面白いのは
10:01
I'm interested in how we can take that in a more dynamic way.
これをもっと生きたものにするということです
10:04
When I come back to my desk I can just pinch that information
自分の部屋に戻ったとき 情報をつまんで
10:07
back to my desktop
パソコンの上に落としてやれば
10:10
so I can use my full-size computer.
続きを大きなパソコンでやることができます
10:12
(Applause)
(拍手)
10:15
And why only computers? We can just play with papers.
コンピュータだけではありません 紙にもできます
10:17
Paper world is interesting to play with.
紙の世界で遊ぶのはとても面白いです
10:20
Here, I'm taking a part of a document
資料の一部をこちらに取って
10:23
and putting over here a second part from a second place --
別なところからも何か取ってきて
10:25
and I'm actually modifying the information
情報をその場で
10:29
that I have over there.
修正できます
10:32
Yeah. And I say, "OK, this looks nice,
「よし いい感じにできたぞ
10:34
let me print it out, that thing."
印刷しよう」
10:37
So I now have a print-out of that thing, and now --
そうして印刷します
10:39
the workflow is more intuitive the way we used to do it
このような 20年くらい前に
10:41
maybe 20 years back,
やっていたやり方のほうが
10:44
rather than now switching between these two worlds.
2つの世界の間で行き来する現在のやり方より直感的です
10:47
So, as a last thought,
最後になりますが
10:50
I think that integrating information to everyday objects
身の回りのモノに情報を統合することで
10:53
will not only help us to get rid of the digital divide,
これら2つの世界の溝を埋め
10:56
the gap between these two worlds,
デジタルデバイドをなくせるだけでなく
11:01
but will also help us, in some way,
もっと身の回りの世界と繋がり
11:03
to stay human,
もっと人間らしく
11:05
to be more connected to our physical world.
生きられるようになると思います
11:07
And it will actually help us not end up being machines
そして私たちは機械の一部みたいに
11:13
sitting in front of other machines.
ならずにいられるでしょう
11:16
That's all. Thank you.
以上です
11:18
(Applause)
(スタンディングオベーション)
11:21
Thank you.
どうもありがとうございます
11:35
(Applause)
(拍手)
11:36
Chris Anderson: So, Pranav,
プラナフ
11:39
first of all, you're a genius.
はっきり言って 君は天才だよ
11:40
This is incredible, really.
本当にすごいよ
11:43
What are you doing with this? Is there a company being planned?
これをどうするつもり? 会社を作る予定はあるの?
11:46
Or is this research forever, or what?
それともずっと研究を続けていくの?
11:49
Pranav Mistry: So, there are lots of companies --
実際メディアラボのスポンサーの中には
11:51
actually sponsor companies of Media Lab --
この技術を
11:53
interested in taking this ahead in one or another way.
どう発展させるかに関心を持つ企業がたくさんあります
11:54
Companies like mobile phone operators
たとえば携帯電話会社は
11:57
want to take this in a different way than the NGOs in India,
インドのNGOとは違ったことを求めています
11:59
[who] are thinking, "Why can we only have 'Sixth Sense'?
「どうして'Sixth Sense' (第六感)しかないの?
12:02
We should have a 'Fifth Sense' for missing-sense people
障害者のための'Fifth Sense'(第五感)が
12:05
who cannot speak.
あってしかるべきだ
12:07
This technology can be used for them to speak out in a different way
この技術を使えば 彼らが別な仕方で
12:08
with maybe a speaker system."
話せるようにできる」
12:11
CA: What are your own plans? Are you staying at MIT,
君自身の計画は? MITにずっといるの?
12:12
or are you going to do something with this?
これで何かするの?
12:15
PM: I'm trying to make this more available to people
これをより多くの人が利用できるようにして
12:16
so that anyone can develop their own SixthSense device,
誰でもSixthSenseデバイスを開発できるようにしたいと思っています
12:18
because the hardware is actually not that hard to manufacture
これのハードウェアを作るのは
12:21
or hard to make your own.
そんなに難しくはありません
12:26
We will provide all the open source software for them,
このソフトウェアはオープンソースにする予定です
12:28
maybe starting next month.
たぶん来月あたりから公開します
12:30
CA: Open source? Wow.
そいつはすごい ワオ
12:32
(Applause)
(喝采)
12:34
CA: Are you going to come back to India with some of this, at some point?
いつかインドに戻ってこようと思っているの?
12:39
PM: Yeah. Yes, yes, of course.
ええ もちろん
12:42
CA: What are your plans? MIT?
どういう計画?
12:44
India? How are you going to split your time going forward?
MITとインドで 時間をどう切り分けるつもり?
12:46
PM: There is a lot of energy here. Lots of learning.
ここには多くのエネルギーがあり 学びがあります
12:48
All of this work that you have seen is all about
ご覧いただいたものは
12:51
my learning in India.
私がインドで学んだことを元にしています
12:53
And now, if you see, it's more about the cost-effectiveness:
そしてコスト効率に目を向けるなら
12:55
this system costs you $300
このシステムは300ドルです
12:58
compared to the $20,000 surface tables, or anything like that.
テーブル型PCみたいなものは2万ドルもします
13:00
Or maybe even the $2 mouse gesture system
あるいはあの2ドルで作ったマウスジェスチャーシステムは
13:03
at that time was costing around $5,000?
同じようなものが 当時は5千ドルくらいしました
13:06
So, we actually -- I showed that, at a conference, to
あるカンファレンスで座長の
13:09
President Abdul Kalam, at that time,
アブドゥル カラムに見せたら
13:13
and then he said, "OK, we should use this in Bhabha Atomic Research Centre
こう言ってくれました「バーバー原子力研究センターでも
13:15
for some use of that."
ぜひこれを使わなきゃ」
13:18
So I'm excited about how I can bring the technology to the masses
私はテクノロジーを研究室に閉じ込めておくのではなく
13:20
rather than just keeping that technology in the lab environment.
たくさんの人に届けるということにワクワクします
13:23
(Applause)
(拍手)
13:26
CA: Based on the people we've seen at TED,
TEDで会った人の意見を聞くと
13:30
I would say you're truly one of the two or three
君は現在の世界で
13:33
best inventors in the world right now.
最高の発明家の1人だと思う
13:34
It's an honor to have you at TED.
君をTEDに迎えられてとても光栄に思います
13:36
Thank you so much.
どうもありがとう
13:38
That's fantastic.
実に素晴らしい
13:40
(Applause)
(スタンディングオベーション)
13:41
Translated by Yasushi Aoki
Reviewed by Tatsuma Nagano

▲Back to top

About the Speaker:

Pranav Mistry - Director of research, Samsung Research America
As an MIT grad student, Pranav Mistry invented SixthSense, a wearable device that enables new interactions between the real world and the world of data.

Why you should listen

When Pranav Mistry was a PhD student in the Fluid Interfaces Group at MIT's Media Lab, he worked with lab director Pattie Maes to create some of the most entertaining and thought-provoking interfaces the world had ever seen. And not just computer interfaces, mind you -- these are ways to help the digital and the actual worlds interface. Imagine: intelligent sticky notes, Quickies, that can be searched and can send reminders; a pen that draws in 3D; and TaPuMa, a tangible public map that can act as Google of physical world. And of course the legendary SixthSense, which is now open sourced

Before his studies at MIT, he worked with Microsoft as a UX researcher; he's a graduate of IIT. Now, as director of research at Samsung Research America, Mistry heads the Think Tank Team, an interdisciplinary group of researchers that hunts for new ways to mix digital informational with real-world interactions. As an example, Mistry launched the company's smartwatch, the Galaxy Gear, in 2013.

More profile about the speaker
Pranav Mistry | Speaker | TED.com