ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.

Why you should listen

Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.

Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.

He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.

He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.

Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?

More profile about the speaker
Blaise Agüera y Arcas | Speaker | TED.com
TED2010

Blaise Agüera y Arcas: Augmented-reality maps

Blaise Aguera y Arcas demostron hartat me realitetin e intensifikuar

Filmed:
1,856,682 views

Në një demo mjaft tërheqese, Blaise Aguera y Arcas, në TED2010, demostron perdorimin nga Microsoft të teknologjisë së re të hartave me realitetin e intensifikuar.
- Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio

Double-click the English transcript below to play the video.

00:15
About a year and a half ago,
0
0
2000
Rreth një vit e gjysmë më parë
00:17
Stephen Lawler, who also gave a talk
1
2000
3000
Stephen Lawler qe po ashtu ka folur
00:20
here at TED in 2007 on Virtual Earth,
2
5000
2000
për Earth Virtual këtu në TED në 2007
00:22
brought me over to become the architect of Bing Maps,
3
7000
4000
me punësoi si arkitekt i hartave te Bing ,
00:26
which is Microsoft's online-mapping effort.
4
11000
3000
qe është përqasja e Microsoft për hartat e internetit
00:29
In the past two and a half, we've been very hard at work
5
14000
2000
Në këto dy vjet e gjysmë, ne kemi punuar shumë
00:31
on redefining the way maps work online.
6
16000
4000
në ripërcaktimin e mënyrës qe punojnë hartat në internet.
00:35
And we really are seeing this in very different terms
7
20000
2000
Dhe me të vërtetë po e shohim këtë në terma shumë të ndryshëm
00:37
from the kind of mapping and direction site
8
22000
2000
nga pozita e hartës dhe drejtimit
00:39
that one is used to.
9
24000
2000
që ishim mësuar përpara.
00:41
So, the first thing that you might notice about the mapping site
10
26000
2000
Pra, gjëja e parë që ju mund të vëreni për faqen e hartës,
00:43
is just the fluidity of the zooming and the panning,
11
28000
2000
është vetëm rrjedhshmëria e zoom dhe pan,
00:45
which, if you're familiar at all with Seadragon,
12
30000
2000
e cila nëse dini mbi (teknologjine) Seadragon ,
00:47
that's where it comes from.
13
32000
2000
kjo vjen prej asaj.
00:49
Mapping is, of course,
14
34000
2000
Hartat, natyrisht,
00:51
not just about cartography,
15
36000
2000
nuk kanë lidhje vetëm me kartografinë,
00:53
it's also about imagery.
16
38000
2000
kanë lidhje edhe me imazhet.
00:55
So, as we zoom-in beyond a certain level
17
40000
3000
Pra, ndërsa në zoom-in përtej një niveli të caktuar
00:58
this resolves into a kind of Sim City-like
18
43000
3000
kjo vendoset në një lloj Sim City
01:01
virtual view at 45 degrees.
19
46000
2000
si pamje virtuale në 45 gradë.
01:03
This can be viewed from any of the cardinal directions
20
48000
2000
Kjo mund të shihet nga secili nga drejtimet kryesore
01:05
to show you the 3D structure of the city, all the facades.
21
50000
3000
t'ju tregojë strukturën 3D te qytetit, të gjitha fasadat.
01:08
Now, we see this space, this three-dimensional environment,
22
53000
6000
Tani, ne e shohim këtë hapësirë​​, këtë mjedis tre dimensional
01:14
as being a canvas on which
23
59000
3000
si një kanavacë në të cilën
01:17
all sorts of applications can play out,
24
62000
6000
mund të përdorim të gjitha llojet e aplikimeve
01:23
and map's directions are really just one of them.
25
68000
3000
Dhe drejtimet e hartat janë me të vërtetë vetëm një prej tyre.
01:26
If you click on this, you'll see
26
71000
3000
Nëse klikoni në këtë do të shihni
01:29
some of the ones that we've put out, just in the past couple of months
27
74000
3000
disa nga ato që ne kemi hedhur, vetëm në dy muajt e fundit,
01:32
since we've launched.
28
77000
2000
pasi filluam.
01:34
So, for example, a couple of days after the disaster in Haiti,
29
79000
2000
Kështu, për shembull, disa ditë pas katastrofës në Haiti,
01:36
we had an earthquake map that showed
30
81000
2000
kemi pasur një hartë tërmeti që tregonte
01:38
before and after pictures from the sky.
31
83000
2000
fotografi ajrore të bëra para dhe pas.
01:40
This wonderful one which I don't have time to show you
32
85000
2000
Kjo gjë e mrekullueshme, të cilën unë nuk kam kohë për t'ua treguar
01:42
is taking hyper-local blogs in real time
33
87000
3000
është duke marrë blogs hiper-lokal në kohë reale
01:45
and mapping those stories, those entries
34
90000
2000
dhe i hartëzon ato histori, këto shkrime
01:47
to the places that are referred to on the blogs.
35
92000
2000
në vendet që janë përmendur në blogs.
01:49
It's wonderful.
36
94000
3000
Është e mrekullueshme.
01:52
But I'm going to show you some more candy sort of stuff.
37
97000
3000
Por do t'ju tregoj më shumë gjëra impresionuese.
01:55
So, we see the imagery, of course,
38
100000
4000
Pra, ne shohim imazhet, natyrisht,
01:59
not stopping at the sky.
39
104000
3000
jo vetëm pamjet ajrore.
02:02
These little green bubbles represent
40
107000
3000
Këto flluska te vogla jeshile përfaqësojnë
02:05
photosynths that users have made.
41
110000
2000
photosynths që kanë bërë përdoruesit.
02:07
I'm not going to dive into them either, but photosynths are integrated into the map.
42
112000
3000
Unë nuk do të zhytem as në ato, por photosynths jane integruar në hartë.
02:10
Everything that's cased in blue
43
115000
2000
Çdo gjë që është e mbështjellë në blu
02:12
is an area where we've taken imagery on the ground as well.
44
117000
5000
është një zonë ku ne kemi marrë imazhet në terren po ashtu.
02:17
And so, when you fly down --
45
122000
2000
Dhe kështu, kur zbret poshtë -
02:19
(Applause)
46
124000
2000
(Duartrokitje)
02:21
Thank you. When you fly down to the ground,
47
126000
2000
Falemnderit. Kur zbret poshtë në tokë,
02:23
and you see this kind of panoramic imagery,
48
128000
3000
dhe shikon këtë lloj imazhi panoramik,
02:26
the first thing that you might notice is that it's not just a picture,
49
131000
4000
gjëja e parë që mund të vëresh është, se ajo nuk është vetëm foto,
02:30
there's just as much three-dimensional understanding of this environment
50
135000
3000
ky mjedis ka po aq kuptim tre-dimensionalisht
02:33
as there is of the three-dimensional city from above,
51
138000
3000
siç ka qyteti tre-dimensional qe pame nga lart,
02:36
so if I click on something to get a closer view of it,
52
141000
4000
kështu që nëse klikoj në diçka për të marrë një pamje më të afërt të tij,
02:40
then, the fact that that transition looks as it does,
53
145000
3000
atëherë, fakti që tranzicioni duket në atë mënyrë,
02:43
is a function of all of that geometry,
54
148000
2000
është në saje të gjithë asaj gjeometrie,
02:45
all of that 3D understanding behind this model.
55
150000
4000
të gjithë të kuptuarit 3D pas këtij modeli.
02:49
Now, I'll show you a fun app
56
154000
3000
Tani, unë do t'ju tregoj një aplikim të lezeçëm.
02:52
that -- we've been working on a collaboration with our friends at Flickr.
57
157000
7000
ku po punojmë në bashkëpunim me miqtë tanë në Flickr.
02:59
This takes Flickr, georegistered imagery
58
164000
3000
Kjo merr imazhet e regjistruara gjeografikisht te Flickr
03:02
and uses photosynth-like processes
59
167000
3000
dhe përdor procese të ngjashme me Photosynth
03:05
to connect that imagery to our imagery, so --
60
170000
4000
për te lidhur këto imazhet me imazhet tona, kështu që -
03:09
I'm not sure if that's the one I actually meant to pull up, but --
61
174000
3000
nuk jam i sigurt nëse kjo është ajo që doja të tregoja, por -
03:12
(Laughter)
62
177000
3000
(Të qeshura)
03:15
But notice -- this is, of course, a popular tourist site,
63
180000
4000
Por vini re - ky është, natyrisht, një vend turistik popullor,
03:19
and there are lots of photos around here,
64
184000
2000
dhe ka shumë foto të bëra këtu përreth,
03:21
and these photos are all taken at different times.
65
186000
3000
këto foto janë marrë të gjitha në kohë të ndryshme.
03:24
So this one was taken around five.
66
189000
2000
Pra, kjo ishte marrë rreth ores pesë.
03:26
So that's the Flickr photo,
67
191000
2000
Pra, kjo është foto Flickr,
03:28
that's our imagery.
68
193000
2000
kjo është imazhi ynë.
03:30
So you really see how this kind of crowd-sourced imagery
69
195000
3000
Pra, ju me të vërtetë shihni se si ky lloj i imazhesh që vijnë nga përdoruesit
03:33
is integrating, in a very deep way, into the map itself.
70
198000
3000
po integrohet, në mënyrë gati origjinale, në vetë hartën.
03:36
(Applause)
71
201000
2000
(Duartrokitje)
03:38
Thank you.
72
203000
2000
Falemnderit.
03:40
(Applause)
73
205000
2000
(Duartrokitje)
03:42
There are several reasons why this is interesting
74
207000
2000
Kjo është interesante për disa arsye
03:44
and one of them, of course, is time travel.
75
209000
2000
dhe një prej tyre, natyrisht, është udhëtimi në kohë.
03:46
And I'm not going to show you some of the wonderful historic imagery in here,
76
211000
2000
Dhe s'do t'ju tregoj disa nga imazhet e mrekullueshme historike këtu,
03:48
but there are some with horses and carriages and so on as well.
77
213000
3000
por ka disa me kuaj dhe qerre dhe kështu me radhë.
03:51
But what's cool about this is that, not only is it augmenting
78
216000
3000
Por ajo që është impresionuese në lidhje me këtë, është që jo vetëm që zmadhon
03:54
this visual representation of the world
79
219000
2000
paraqitjen pamore të botës
03:56
with things that are coming in from users,
80
221000
3000
me gjëra që vijnë nga përdoruesit,
03:59
but it also is the foundation for augmented reality,
81
224000
4000
por gjithashtu është baza për realitetin e intesifikuar,
04:03
and that's something that I'll be showing you more of in just a moment.
82
228000
3000
dhe kjo është diçka për të cilën do ju tregoj më shumë në moment.
04:06
Now I just made a transition indoors. That's also interesting.
83
231000
4000
Tani sapo bëra një kalim në ambientet e brendshme. Kjo po ashtu është interesante.
04:10
OK, notice there's now a roof above us.
84
235000
2000
Vëreni që tani kemi një çati mbi ne.
04:12
We're inside the Pike Place Market.
85
237000
3000
Ne jemi brenda Pike Place Market.
04:15
And this is something that we're able to do with a backpack camera,
86
240000
2000
Dhe kjo është diçka që ne ishim në gjendje ta bënim me një kamera në çantën e shpinës,
04:17
so, we're now not only imaging in the street
87
242000
4000
kështu, nuk pasqyrojmë vetëm rrugën
04:21
with this camera on tops of cars,
88
246000
2000
me këtë kamera në majë të makinave,
04:23
but we're also imaging inside.
89
248000
4000
por edhe imazhet brenda.
04:27
And from here, we're able to do the same sorts of registration,
90
252000
5000
Dhe nga këtu, ne jemi në gjendje të bëjmë të njëjtën lloj regjistrimi,
04:32
not only of still images, but also of video.
91
257000
4000
jo vetëm imazhet statike, por edhe video.
04:36
So this is something that we're now going to try
92
261000
2000
Pra, kjo është diçka që do të provojmë tani
04:38
for the first time, live,
93
263000
2000
për herë të parë, drejtperdrejt,
04:40
and this is really, truly, very frightening.
94
265000
3000
dhe kjo është me të vërtetë, shumë e frikshme.
04:43
(Laughter)
95
268000
2000
(Të qeshura)
04:46
OK.
96
271000
2000
Në rregull.
04:48
(Ringing)
97
273000
2000
(Zile)
04:50
All right, guys, are you there?
98
275000
2000
Dakord. Jeni aty djema?
04:52
(Noise)
99
277000
2000
(Zhurmë)
04:54
All right. I'm hitting it. I'm punching play.
100
279000
2000
Dakord. Po filloj.
04:56
I'm live. All right. There we go.
101
281000
2000
Jam direkt. Dakort. Po e bëjmë.
04:58
So, these are our friends in Pike Place Market, the lab.
102
283000
5000
Pra, këta janë miqtë tanë në Tregun Pike Place, në laborator.
05:03
(Applause)
103
288000
8000
(Duartrokitje)
05:12
So they're broadcasting this live.
104
297000
2000
Pra, ata po e transmetojnë këtë drejtpërdrejt.
05:14
OK, George, can you pan back over to the corner market?
105
299000
4000
Mirë, George, mund të shtyhesh e te filmosh përsëri te qoshja e tregut?
05:18
Because I want to show points of interest.
106
303000
4000
Sepse dua të tregoj ca pika interesante.
05:22
No, no. The other way.
107
307000
3000
Jo, jo. Në anën tjetër.
05:25
Yeah, yeah, back to the corner, back to the corner.
108
310000
2000
Po, po. përsëri në qoshe. Kthehu në qoshe.
05:27
I don't want to see you guys yet.
109
312000
3000
Unë s'dua t'ju shoh ju çuna ende.
05:31
OK, OK, back to the corner, back to the corner, back to the corner.
110
316000
6000
Dakord. Dakord. Kthehu në qoshe. Kthehu në qoshe. Shko në qoshe.
05:37
OK, never mind.
111
322000
2000
Në rregull, s'ka rëndësi.
05:40
What I wanted to show you was these points of interest
112
325000
2000
Ajo që doja t'ju tregoj ishin këto pika interesante
05:42
over here on top of the image
113
327000
2000
këtu mbi figurën
05:44
because what that gives you a sense of is the way,
114
329000
2000
sepse ajo ju jep një kuptim sesi është,
05:46
if you're actually on the spot,
115
331000
2000
nëse ju jeni në të vërtetë në vend ...
05:48
you can think about this --
116
333000
2000
ju mund të mendoni për këtë -
05:50
this is taking a step in addition to augmented reality.
117
335000
3000
kjo është një hap më shumë se realiteti i intensifikuar.
05:53
What the hell are you guys -- oh, sorry.
118
338000
2000
Çfarë dreqin... ju djem - oh, më fal
05:55
(Laughter)
119
340000
3000
(Të qeshura)
05:58
We're doing two different --
120
343000
3000
Ne po bëjmë dy të gjëra të ndryshme ...
06:01
OK, I'm hanging up now.
121
346000
3000
Mirë, po shkëputem tani.
06:04
We're doing two different things here.
122
349000
2000
Ne po bëjmë dy gjëra të ndryshme këtu.
06:06
One of them is to take that real ...
123
351000
2000
Një prej tyre është që marrim në kohë reale...
06:08
(Laughter)
124
353000
7000
(Të qeshura)
06:15
All right, let me just take a moment and thank the team.
125
360000
3000
Dakord, më lejoni një moment të falënderoj ekipin.
06:18
They've done a fantastic job of pulling this together.
126
363000
2000
Ata kanë bërë një punë fantastike në ecurine e kësaj.
06:20
(Applause)
127
365000
2000
(Duartrokitje)
06:22
I'm going to abandon them now and walk back outside.
128
367000
3000
Unë do t'i lë ata tani dhe do të kthehem përsëri jashtë .
06:25
And while I walk outside, I'll just mention that
129
370000
3000
Dhe, ndërsa unë eci jashtë, unë vetëm do të përmend se
06:28
here we're using this for telepresence,
130
373000
2000
ne këte rast, ne po e përdorim këtë për teleprezantim,
06:30
but you can equally well use this
131
375000
2000
por ju mund të përdorni këtë edhe
06:32
on the spot, for augmented reality.
132
377000
2000
në vend, për realitetin e intensifikuar.
06:34
When you use it on the spot, it means that
133
379000
2000
Kur e përdorni atë në vend, kjo do të thotë se
06:36
you're able to bring all of that metadata
134
381000
2000
ju jeni në gjendje të merrni gjithë ato metadata (të dhëna-mbi-të dhëna)
06:38
and information about the world to you.
135
383000
2000
dhe informata rreth botës.
06:40
So here, we're taking the extra step of also broadcasting it.
136
385000
2000
Pra këtu, po marrim një hap me tepër edhe po e transmetojmë atë.
06:42
That was being broadcast, by the way, on a 4G network
137
387000
3000
Meqë ra fjala, kjo po transmetohej në rrjet 4G
06:45
from the market.
138
390000
3000
nga tregu.
06:48
All right, and now there's one last TED talk
139
393000
3000
Dakord, tani është dhe një bisedë e fundit në TED
06:51
that Microsoft has given in the past several years.
140
396000
2000
që Microsoft ka dhënë në disa vitet e fundit.
06:53
And that's Curtis Wong, WorldWide Telescope.
141
398000
3000
Dhe kjo është Curtis Wong, WorldWide Teleskop.
06:56
So, we're going to head over to the dumpsters,
142
401000
2000
Pra, ne po shkojme drejtperdrejt mbi kazanet
06:58
where it's traditional, after a long day at the market,
143
403000
3000
siç është tradita, pas një dite të gjatë në treg,
07:01
to go out for a break, but also stare up at the sky.
144
406000
4000
për të dalë për një pushim, por edhe ia ngul sytë qiellit.
07:05
This is the integration
145
410000
2000
Kjo është integrimi
07:07
of WorldWide Telescope into our maps.
146
412000
3000
i WorldWide Teleskop në hartat tona.
07:10
(Applause)
147
415000
2000
(Duartrokitje)
07:12
This is the current -- thank you --
148
417000
3000
Kjo është koha aktuale--falemnderit--
07:15
this is the current time. If we scrub the time,
149
420000
2000
Kjo është koha e tanishme, por në qoftë se e shuaj kohën,
07:17
then we can see how the sky will look at different times,
150
422000
3000
atëherë mund të shohim se si do të duket qielli në kohë të ndryshme,
07:20
and we can get all of this very detailed
151
425000
2000
dhe mund të marrim të gjithe këtë
07:22
information about different times, different dates:
152
427000
4000
informacion shumë të detajuar për kohë e data të ndryshme.
07:27
Let's move the moon a little higher in the sky,
153
432000
2000
Le ta lëvizim hënën pak më lart në qiell,
07:29
maybe change the date.
154
434000
4000
ndoshta të ndryshojmë datën.
07:33
I would like to kind of zoom in on the moon.
155
438000
3000
Unë do të doja të bëja disi zoom tek hëna.
07:39
So, this is an astronomically complete
156
444000
2000
Pra, kjo është një paraqitje astronomike e plotë
07:41
representation of the sky
157
446000
3000
e qiellit
07:44
integrated right into the Earth.
158
449000
2000
e integruar drejtpërdrejt me Tokën.
07:46
All right now, I've overrun my time,
159
451000
2000
Dakord, tani e kam kaluar kohën,
07:48
so I've got to stop.
160
453000
2000
kështu që më duhet të ndaloj.
07:50
Thank you all very much.
161
455000
2000
Faleminderit shumë të gjithëve.
07:52
(Applause)
162
457000
12000
(Duartrokitje)
Translated by Helena Bedalli
Reviewed by Dita Bytyci

▲Back to top

ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.

Why you should listen

Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.

Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.

He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.

He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.

Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?

More profile about the speaker
Blaise Agüera y Arcas | Speaker | TED.com