TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
Dimostrazione del Photosynth di Blaise Aguera y Arcas
Filmed:
Readability: 4.3
5,831,957 views
Blaise Aguera y Arcas fa una bellissima presentazione di Photosynth, un software che mostra immagini digitali sotto una nuova luce. Utilizzando foto prese da internet, Photosynth crea immagini straordinarie e ci consente di navigarci.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
Prima di tutto vi farò vedere, il più rapidamente possibile,
00:27
is some foundational work, some new technology
1
2000
4000
qualche lavoro fondamentale, della nuova tecnologia
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
che abbiamo portato alla Microsoft in seguito a una acquisizione
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
quasi un anno fa esattamente. Questo è Seadragon.
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
Si tratta di un ambiente in cui potete interagire sia a livello locale
00:40
interact with vast amounts of visual data.
5
15000
3000
che remoto con un'enorme quantità di dati visivi.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
Qui stiamo vedendo moltissimi gigabyte di foto digitali
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
con una specie di zoom costante e continuo,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
per una veloce panoramica, disponendo le immagini come vogliamo.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
E non importa quanto sia grande la quantità di informazioni che vediamo,
00:56
how big these collections are or how big the images are.
10
31000
3000
quanto siano grandi queste raccolte di dati o le immagini.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
La maggior parte sono comuni fotografie digitali,
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
ma questa per esempio è una scansione proveniente dalla Biblioteca del Congresso,
01:05
and it's in the 300 megapixel range.
13
40000
2000
e rientra nella gamma di 300 megapixel.
01:08
It doesn't make any difference
14
43000
1000
Non fa alcuna differenza
01:09
because the only thing that ought to limit the performance
15
44000
3000
perché l'unica cosa che limita le prestazioni
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
di un sistema come questo è il numero di pixel sul vostro schermo
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
in qualsiasi momento. È anche un'architettura molto flessibile.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
Questo è un libro intero, esempio di dati non di immagini.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
Questo è La Casa desolata di Dickens. Ogni colonna rappresenta un capitolo.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
Per dimostrarvi che si tratta proprio di testo e non di immagini,
01:31
we can do something like so, to really show
21
66000
2000
possiamo fare una cosa del genere, per far vedere veramente
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
che si tratta di una reale rappresentazione del testo, non di una foto.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
Potrebbe essere un modo un po' artificiale per leggere un libro elettronico.
01:39
I wouldn't recommend it.
24
74000
1000
Non ve lo consiglio.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
Questo è un esempio più realistico. Si tratta di un numero di The Guardian.
01:43
Every large image is the beginning of a section.
26
78000
2000
Ogni immagine grande è l'inizio di una sezione.
01:45
And this really gives you the joy and the good experience
27
80000
3000
E vi dà veramente il piacere e la bella esperienza
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
di leggere la vera versione cartacea di una rivista o di un quotidiano,
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
che è per natura un molteplice tipo di mezzo.
01:56
We've also done a little something
30
91000
1000
Abbiamo anche fatto qualcosa
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
con l'angolo di questo numero in particolare di The Guardian.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
Abbiamo creato una pubblicità fasulla ad alta risoluzione--
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
molto più alta di quella che si usa in una normale pubblicità--
02:05
and we've embedded extra content.
34
100000
2000
e vi abbiamo inserito del contenuto extra.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
Se volete vedere le caratteristiche di questa automobile, le potete vedere qui.
02:10
Or other models, or even technical specifications.
36
105000
4000
O altri modelli, o persino le specifiche tecniche.
02:15
And this really gets at some of these ideas
37
110000
2000
E questo davvero dimostra alcune di queste idee
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
per eliminare i limiti di spazio sullo schermo.
02:22
We hope that this means no more pop-ups
39
117000
2000
Speriamo che questo significhi mettere fine ai pop-up
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
e ad altre porcherie simili, non dovrebero più essere necessari.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
Naturalmente, il mapping è una delle applicazioni più ovvie
02:29
for a technology like this.
42
124000
2000
per questo tipo di tecnologia.
02:31
And this one I really won't spend any time on,
43
126000
2000
E su questa non voglio perdere tempo,
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
se non per dire che abbiamo dei contributi da dare anche in questo campo.
02:37
But those are all the roads in the U.S.
45
132000
2000
Queste sono tutte le strade negli USA
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
sovrapposte sopra un'immagine geospaziale della NASA.
02:44
So let's pull up, now, something else.
47
139000
2000
Allora adesso passiamo a qualcos'altro.
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
Questo ora è effettivamente dal vivo sul web; potete andarlo a vedere.
02:49
This is a project called Photosynth,
49
144000
1000
Si tratta di un progetto chiamato Photosynth,
02:51
which really marries two different technologies.
50
146000
1000
che combina due diverse tecnologie.
02:52
One of them is Seadragon
51
147000
1000
Una è Seadragon
02:54
and the other is some very beautiful computer vision research
52
149000
2000
e l'altra è una ricerca visuale al computer molto interessante
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
fatta da Noah Snavely, uno studente della University of Washington,
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
con l'aiuto di Steve Seitz della UW e
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
di Rick Szeliski di Microsoft Research. Un'ottima collaborazione.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
Ed è dal vivo sul web, gestito da Seadragon.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
Potete vederlo quando facciamo questo tipo di schermate,
03:12
where we can dive through images
58
167000
1000
in cui possiamo passare da un'immagine all'altra
03:14
and have this kind of multi-resolution experience.
59
169000
1000
e avere questo tipo di esperienza a risoluzione multipla.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
Ma la collocazione spaziale delle immagini qui ha effettivamente un significato.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
Gli algoritmi di visualizzazione del computer hanno registrato queste immagini insieme,
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
in modo che corrispondano ai luoghi reali in cui le immagini--
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
tutte scattate vicino ai laghi Grassi sulle Montagne Rocciose canadesi--
03:31
all these shots were taken. So you see elements here
64
186000
2000
sono state scattate. Qui dunque vedete degli elementi
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
di uno slide-show stabile o di imaging panoramico,
03:40
and these things have all been related spatially.
66
195000
2000
e queste cose sono state tutte collegate a livello spaziale.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
Non so se ho tempo di mostrarvi qualche altro ambiente.
03:45
There are some that are much more spatial.
68
200000
1000
Ce ne sono alcuni molto più spaziali.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
Voglio passare direttamente a uno dei set di dati originali di Noah--
03:50
and this is from an early prototype of Photosynth
70
205000
2000
e questo proviene da un precedente prototipo di Photosynth
03:52
that we first got working in the summer --
71
207000
2000
che abbiamo fatto funzionare per la prima volta l'estate scorsa--
03:54
to show you what I think
72
209000
1000
per mostrarvi quello che ritengo
03:55
is really the punch line behind this technology,
73
210000
3000
sia veramente la chiave dietro questa tecnologia,
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
la tecnologia Photosynth. E non è necessariamente tanto evidente
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
guardando gli ambienti che abbiamo messo nel sito web.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
Abbiamo dovuto preoccuparci degli aspetti legali e via dicendo.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
Questa è una ricostruzione della cattedrale di Notre Dame
04:09
that was done entirely computationally
78
224000
2000
fatta interamente al computer con
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
immagini prese da Flickr. Basta digitare Notre Dame in Flickr
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
e ottenete immagini di tipi in maglietta, altre del campus e
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
via dicendo. Ognuno di questi coni arancioni rappresenta un'immagine
04:22
that was discovered to belong to this model.
82
237000
2000
che si è scoperta appartenere a questo modello.
04:26
And so these are all Flickr images,
83
241000
2000
Quindi sono tutte immagini prese da Flickr
04:28
and they've all been related spatially in this way.
84
243000
3000
e sono state tutte collegate a livello spaziale in questo modo.
04:31
And we can just navigate in this very simple way.
85
246000
2000
Ed è possibile navigare in questo modo semplicissimo.
04:35
(Applause)
86
250000
9000
(Applausi).
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
Sapete, non avrei mai pensato di finire a lavorare per Microsoft.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
È molto gratificante ricevere questo tipo di accoglienza qui.
04:50
(Laughter)
89
265000
3000
(Risate).
04:53
I guess you can see
90
268000
3000
Credo che possiate vedere
04:56
this is lots of different types of cameras:
91
271000
2000
che si tratta di un sacco di tipi diversi di fotocamere:
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
da quelle dei cellulari a quelle professionali SLR,
05:02
quite a large number of them, stitched
93
277000
1000
un numero significativo, messe insieme
05:03
together in this environment.
94
278000
1000
in questo ambiente.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
E se ci riesco, provo a cercare quelle più strane.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
Molte sono bloccate da facce, eccetera.
05:13
Somewhere in here there are actually
97
288000
1000
Da qualche parte qui si trova
05:15
a series of photographs -- here we go.
98
290000
1000
una serie di fotografie -- eccole.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
Questo è un poster di Notre Dame registrato correttamente.
05:21
We can dive in from the poster
100
296000
2000
Possiamo passare dal poster
05:24
to a physical view of this environment.
101
299000
3000
alla vista fisica di questo ambiente.
05:31
What the point here really is is that we can do things
102
306000
3000
Il punto essenziale è che possiamo fare delle cose
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
con l'ambiente sociale. Questo ora sta prendendo dati da tutti--
05:39
from the entire collective memory
104
314000
1000
dall'intera memoria collettiva
05:40
of, visually, of what the Earth looks like --
105
315000
2000
di come appare la terra, dal punto di vista visivo--
05:43
and link all of that together.
106
318000
1000
e collega tutti quei dati insieme.
05:44
All of those photos become linked together,
107
319000
2000
Tutte quelle foto diventano collegate insieme,
05:46
and they make something emergent
108
321000
1000
creando un risultato
05:47
that's greater than the sum of the parts.
109
322000
2000
maggiore della somma delle parti.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
Avete un modello della terra intera che emerge.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
Pensate a questo come al prolungamento del lavoro di Stephen Lawler sulla Terra virtuale.
05:56
And this is something that grows in complexity
112
331000
2000
È qualcosa che cresce in complessità man mano che
05:58
as people use it, and whose benefits become greater
113
333000
3000
le persone lo utilizzano, e i cui vantaggi per chi lo utilizza
06:01
to the users as they use it.
114
336000
2000
aumentano con l'uso.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
Le loro foto sono marcate con metadati
06:05
that somebody else entered.
116
340000
1000
inseriti da altre persone.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
Se a qualcuno viene l'idea di contrassegnare tutti questi santi
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
dicendone il nome, la mia foto della cattedrale di Notre Dame
06:13
suddenly gets enriched with all of that data,
119
348000
2000
improvvisamente si arricchisce di tutti quei dati,
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
e la posso usare come punto di ingresso per immergermi in quello spazio,
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
in quel metauniverso, usando le foto di chiunque altro,
06:21
and do a kind of a cross-modal
122
356000
2000
e avere un'esperienza sociale di tipo cross-modal
06:25
and cross-user social experience that way.
123
360000
3000
e cross-user.
06:28
And of course, a by-product of all of that
124
363000
1000
Naturalmente, una conseguenza di tutto ciò
06:30
is immensely rich virtual models
125
365000
2000
sono modelli virtuali estremamente elaborati
06:32
of every interesting part of the Earth, collected
126
367000
2000
di ogni parte interessante della terra, raccolti
06:35
not just from overhead flights and from satellite images
127
370000
3000
non soltanto da viste aeree e da immagini satellitari
06:38
and so on, but from the collective memory.
128
373000
2000
e simili, ma dalla memoria collettiva.
06:40
Thank you so much.
129
375000
2000
Mille grazie.
06:42
(Applause)
130
377000
11000
(Applausi).
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
Chris Anderson: Ho capito bene? Che quello che il tuo software ci consentirà di fare
06:58
is that at some point, really within the next few years,
132
393000
2000
è che a un certo punto, nei prossimi anni,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
tutte le fotografie condivise da chiunque nel mondo intero
07:05
are going to basically link together?
134
400000
2000
saranno praticamente collegate insieme?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
BAA: Sì. Quello che sta facendo in pratica è scoprire.
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
Sta creando degli hyperlink, se si vuole, tra immagini.
07:12
And it's doing that
137
407000
1000
E lo sta facendo
07:13
based on the content inside the images.
138
408000
1000
in base al contenuto delle immagini.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
La cosa diventa molto interessante se si pensa alla ricchezza
07:17
of the semantic information that a lot of those images have.
140
412000
2000
di informazioni semantiche che molte di queste immagini possiedono.
07:19
Like when you do a web search for images,
141
414000
2000
Come quando si fa una ricerca di immagini sul web,
07:22
you type in phrases, and the text on the web page
142
417000
2000
si digita una frase e il testo sulla pagina web
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
ha molte informazioni riguardo alle immagini della foto.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
Ora, cosa succede se quella foto si collega a tutte le vostre foto?
07:29
Then the amount of semantic interconnection
145
424000
2000
Allora la quantità di interconnessione semantica
07:31
and the amount of richness that comes out of that
146
426000
1000
e la quantità di ricchezza che ne deriva
07:32
is really huge. It's a classic network effect.
147
427000
3000
è davvero enorme. È un classico effetto della rete.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
CA: Blaise, è davvero incredibile. Complimenti.
07:37
BAA: Thanks so much.
149
432000
1000
BAA: Vi ringrazio molto.
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com