TED2007
Blaise Agüera y Arcas: How PhotoSynth can connect the world's images
Blaise Aguera y Arcas présente Photosynth
Filmed:
Readability: 4.3
5,831,957 views
Blaise Aguera y Arcas mène une démonstration éblouissante de Photosynth, un logiciel qui pourrait transformer notre façon de visionner les images numériques. En utilisant des photographies tirées du Web, Photosynth construit des visions de rêve à couper le souffle et nous permet de les parcourir.
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:25
What I'm going to show you first, as quickly as I can,
0
0
2000
Ce que je vais vous montrer en premier, aussi vite que possible,
00:27
is some foundational work, some new technology
1
2000
4000
c'est un travail fondateur, une nouvelle technologie
00:31
that we brought to Microsoft as part of an acquisition
2
6000
3000
que nous avons apportée à Microsoft comme part d'une acquisition
00:34
almost exactly a year ago. This is Seadragon,
3
9000
3000
il y a presque exactement un an. Voici Seadragon.
00:37
and it's an environment in which you can either locally or remotely
4
12000
3000
Et c'est un environnement dans lequel vous pouvez, localement ou à distance,
00:40
interact with vast amounts of visual data.
5
15000
3000
interagir avec de grandes quantités de données visuelles.
00:43
We're looking at many, many gigabytes of digital photos here
6
18000
3000
On a ici devant les yeux beaucoup, beaucoup de gigabytes de photos numériques
00:46
and kind of seamlessly and continuously zooming in,
7
21000
3000
et on fait des zooms avant de manière continue et en quelque sorte fluide,
00:50
panning through the thing, rearranging it in any way we want.
8
25000
2000
on navigue dans le truc, on le réarrange de la manière qu'on veut.
00:52
And it doesn't matter how much information we're looking at,
9
27000
4000
Et ce quelle que soit la quantité d'informations que l'on visionne,
00:56
how big these collections are or how big the images are.
10
31000
3000
la taille de ces collections ou la taille des images.
00:59
Most of them are ordinary digital camera photos,
11
34000
2000
La plupart sont des photos d'appareils numériques ordinaires,
01:01
but this one, for example, is a scan from the Library of Congress,
12
36000
3000
mais celle-ci, par exemple, est scannée à partir de la Bibliothèque du Congrès,
01:05
and it's in the 300 megapixel range.
13
40000
2000
et elle fait dans les 300 mégapixels.
01:08
It doesn't make any difference
14
43000
1000
Cela ne fait aucune différence
01:09
because the only thing that ought to limit the performance
15
44000
3000
parce que la seule chose qui devrait limiter les performances
01:12
of a system like this one is the number of pixels on your screen
16
47000
3000
d'un système comme celui-ci, c'est le nombre de pixels sur votre écran
01:15
at any given moment. It's also very flexible architecture.
17
50000
3000
à un instant "t". C'est aussi une architecture très flexible.
01:18
This is an entire book, so this is an example of non-image data.
18
53000
3000
Voici un livre entier, un exemple de donnée qui n'est pas une image.
01:22
This is "Bleak House" by Dickens. Every column is a chapter.
19
57000
5000
C'est Bleak House de Dickens. Chaque colonne est un chapitre.
01:27
To prove to you that it's really text, and not an image,
20
62000
4000
Pour vous prouver que c'est vraiment du texte, et pas une image,
01:31
we can do something like so, to really show
21
66000
2000
on peut faire quelque chose comme ça, pour bien montrer
01:33
that this is a real representation of the text; it's not a picture.
22
68000
3000
que c'est une véritable représentation du texte; ce n'est pas une photo.
01:37
Maybe this is a kind of an artificial way to read an e-book.
23
72000
2000
C'est peut-être une manière un peu artificielle de lire un e-book.
01:39
I wouldn't recommend it.
24
74000
1000
Je ne vous le recommande pas.
01:40
This is a more realistic case. This is an issue of The Guardian.
25
75000
3000
Voilà un exemple plus réaliste. C'est un numéro du Guardian.
01:43
Every large image is the beginning of a section.
26
78000
2000
Chaque grande image est le début d'une section.
01:45
And this really gives you the joy and the good experience
27
80000
3000
Et cela vous donne véritablement la joie et l'expérience agréable
01:48
of reading the real paper version of a magazine or a newspaper,
28
83000
5000
de la lecture de la vraie version papier d'un magazine ou d'un journal,
01:54
which is an inherently multi-scale kind of medium.
29
89000
1000
qui est un type de media multi-échelles par définition.
01:56
We've also done a little something
30
91000
1000
Nous avons également mis au point quelque chose
01:57
with the corner of this particular issue of The Guardian.
31
92000
3000
avec le coin de ce numéro du Guardian en particulier.
02:00
We've made up a fake ad that's very high resolution --
32
95000
3000
Nous avons créé une fausse publicité en très haute résolution...
02:03
much higher than you'd be able to get in an ordinary ad --
33
98000
2000
bien plus haute que ce que vous pourriez obtenir dans une publicité classique...
02:05
and we've embedded extra content.
34
100000
2000
et nous avons inséré du contenu supplémentaire.
02:07
If you want to see the features of this car, you can see it here.
35
102000
2000
Si vous voulez voir les caractéristiques de cette voiture, on peut les voir ici.
02:10
Or other models, or even technical specifications.
36
105000
4000
Ou d'autres modèles, ou même des spécifications techniques.
02:15
And this really gets at some of these ideas
37
110000
2000
Et on en arrive vraiment à certaines de ces idées
02:18
about really doing away with those limits on screen real estate.
38
113000
4000
pour vraiment se débarrasser de ces limites d'espace de l'écran.
02:22
We hope that this means no more pop-ups
39
117000
2000
On espère que cela signifie la fin des pop-ups
02:24
and other kind of rubbish like that -- shouldn't be necessary.
40
119000
2000
et d'autres types de pollution du même genre... ne devraient plus être nécessaires.
02:27
Of course, mapping is one of those really obvious applications
41
122000
2000
Bien entendu, la cartographie est l'une des applications évidentes
02:29
for a technology like this.
42
124000
2000
pour une technologie comme celle-ci.
02:31
And this one I really won't spend any time on,
43
126000
2000
Et sur celle-ci je vais passer très rapidement,
02:33
except to say that we have things to contribute to this field as well.
44
128000
2000
si ce n'est pour dire qu'on a des choses pour contribuer à ce domaine également.
02:37
But those are all the roads in the U.S.
45
132000
2000
Ce sont toutes les routes des Etats-Unis
02:39
superimposed on top of a NASA geospatial image.
46
134000
4000
superposées à une image géospatiale de la NASA.
02:44
So let's pull up, now, something else.
47
139000
2000
Bon, maintenant, allons chercher autre chose.
02:46
This is actually live on the Web now; you can go check it out.
48
141000
3000
Tout ça est en ce moment en ligne sur le Web, vous pouvez aller vérifier.
02:49
This is a project called Photosynth,
49
144000
1000
C'est un projet appelé Photosynth,
02:51
which really marries two different technologies.
50
146000
1000
qui en réalité marie deux technologies différentes.
02:52
One of them is Seadragon
51
147000
1000
L'une d'entre elles est Seadragon
02:54
and the other is some very beautiful computer vision research
52
149000
2000
et l'autre est issue d'une recherche magnifique sur la vision informatisée
02:57
done by Noah Snavely, a graduate student at the University of Washington,
53
152000
2000
menée par Noah Snavely, un étudiant de 3ème cycle à l'Université de Washington,
03:00
co-advised by Steve Seitz at U.W.
54
155000
2000
co-dirigée par Steve Seitz à l'UW
03:02
and Rick Szeliski at Microsoft Research. A very nice collaboration.
55
157000
4000
et Rick Szeliski de la recherche Microsoft. Une très belle collaboration.
03:07
And so this is live on the Web. It's powered by Seadragon.
56
162000
2000
Et donc c'est en ligne sur le Web. Cela fonctionne avec la technologie Seadragon.
03:09
You can see that when we kind of do these sorts of views,
57
164000
2000
On peut le voir quand on utilise ce genre de visualisations,
03:12
where we can dive through images
58
167000
1000
où on peut plonger dans les images
03:14
and have this kind of multi-resolution experience.
59
169000
1000
et avoir cette sorte d'expérience multi-résolutions.
03:16
But the spatial arrangement of the images here is actually meaningful.
60
171000
4000
Mais l'arrangement dans l'espace des images dans ce cas-là a en fait un sens.
03:20
The computer vision algorithms have registered these images together
61
175000
3000
Les algorithmes de vision informatisée ont enregistré ces images ensemble,
03:23
so that they correspond to the real space in which these shots --
62
178000
4000
afin qu'elles correspondent à l'espace réel dans lequel ces photos
03:27
all taken near Grassi Lakes in the Canadian Rockies --
63
182000
2000
(toutes prises près des lacs Grassi dans les Rocheuses canadiennes)
03:31
all these shots were taken. So you see elements here
64
186000
2000
ont été prises. Donc vous voyez des éléments ici
03:33
of stabilized slide-show or panoramic imaging,
65
188000
4000
de diaporama stabilisé ou d'imagerie panoramique,
03:40
and these things have all been related spatially.
66
195000
2000
et toutes ces choses ont été reliées entre elles dans l'espace.
03:42
I'm not sure if I have time to show you any other environments.
67
197000
3000
Je ne suis pas sûr d'avoir le temps de vous montrer d'autres environnements.
03:45
There are some that are much more spatial.
68
200000
1000
Certains sont beaucoup plus spatiaux.
03:47
I would like to jump straight to one of Noah's original data-sets --
69
202000
3000
J'aimerais sauter directement à l'un des premiers ensemble de données de Noah
03:50
and this is from an early prototype of Photosynth
70
205000
2000
(et cela vient d'un premier prototype de Photosynth
03:52
that we first got working in the summer --
71
207000
2000
que nous avons fait fonctionner pour la première fois cet été)
03:54
to show you what I think
72
209000
1000
pour vous montrer ce qui d'après moi
03:55
is really the punch line behind this technology,
73
210000
3000
est vraiment le point fort de cette technologie,
03:59
the Photosynth technology. And it's not necessarily so apparent
74
214000
2000
la technologie Photosynth. Et ce n'est pas nécessairement si évident
04:01
from looking at the environments that we've put up on the website.
75
216000
3000
quand on regarde les environnements que nous avons mis en ligne sur le site web.
04:04
We had to worry about the lawyers and so on.
76
219000
2000
On a du se préoccuper des avocats et des trucs dans le genre.
04:07
This is a reconstruction of Notre Dame Cathedral
77
222000
1000
Voici une reconstruction de la cathédrale Notre-Dame
04:09
that was done entirely computationally
78
224000
2000
qui a été faite entièrement par calcul informatique
04:11
from images scraped from Flickr. You just type Notre Dame into Flickr,
79
226000
3000
à partir d'images récupérées sur Flickr. On tape juste Notre Dame dans Flickr,
04:14
and you get some pictures of guys in t-shirts, and of the campus
80
229000
3000
et on trouve des photos de types en t-shirts, du campus (de l'université de ND, NdT)
04:17
and so on. And each of these orange cones represents an image
81
232000
4000
et ainsi de suite. Et chacun des ces cônes oranges représente une image
04:22
that was discovered to belong to this model.
82
237000
2000
qui a été identifiée comme appartenant à ce modèle.
04:26
And so these are all Flickr images,
83
241000
2000
Et donc ce sont toutes des images Flickr,
04:28
and they've all been related spatially in this way.
84
243000
3000
et elles ont toutes été reliées entre elles dans l'espace de cette manière.
04:31
And we can just navigate in this very simple way.
85
246000
2000
Et on peut naviguer dedans très simplement de cette manière.
04:35
(Applause)
86
250000
9000
(Applaudissements)
04:44
You know, I never thought that I'd end up working at Microsoft.
87
259000
2000
Vous savez, je n'aurais jamais cru que je finirais par travailler chez Microsoft.
04:46
It's very gratifying to have this kind of reception here.
88
261000
4000
C'est très gratifiant d'être reçu ici de cette manière.
04:50
(Laughter)
89
265000
3000
(Rires)
04:53
I guess you can see
90
268000
3000
Je pense que vous pouvez voir
04:56
this is lots of different types of cameras:
91
271000
2000
qu'il s'agit de beaucoup de types d'appareils photos différents:
04:58
it's everything from cell phone cameras to professional SLRs,
92
273000
3000
il y a de tout, des appareils photo de téléphone portable aux reflex mono-objectifs de professionnels,
05:02
quite a large number of them, stitched
93
277000
1000
un assez grand nombre de photos, cousues
05:03
together in this environment.
94
278000
1000
ensemble dans cet environnement.
05:04
And if I can, I'll find some of the sort of weird ones.
95
279000
2000
Et si j'y arrive, je vais en trouver quelques-unes un peu étranges.
05:08
So many of them are occluded by faces, and so on.
96
283000
3000
Beaucoup d'entre elles sont occultées par des visages, et ainsi de suite.
05:13
Somewhere in here there are actually
97
288000
1000
Quelque part par là il y a même
05:15
a series of photographs -- here we go.
98
290000
1000
une série de photographies... nous y voilà.
05:17
This is actually a poster of Notre Dame that registered correctly.
99
292000
3000
Il s'agit en fait d'un poster de Notre Dame qui a été enregistré comme correct.
05:21
We can dive in from the poster
100
296000
2000
On peut plonger depuis le poster
05:24
to a physical view of this environment.
101
299000
3000
dans une vue physique de l'environnement.
05:31
What the point here really is is that we can do things
102
306000
3000
Le vrai but de tout ça, c'est qu'on peut faire des choses
05:34
with the social environment. This is now taking data from everybody --
103
309000
5000
avec l'environnement social. On prend maintenant les données de tout le monde...
05:39
from the entire collective memory
104
314000
1000
de l'ensemble de la mémoire collective
05:40
of, visually, of what the Earth looks like --
105
315000
2000
de ce à quoi ressemble la Terre, visuellement...
05:43
and link all of that together.
106
318000
1000
et on relie tout ça ensemble.
05:44
All of those photos become linked together,
107
319000
2000
Toutes ces photos deviennent liées entre elles,
05:46
and they make something emergent
108
321000
1000
et elles font émerger quelque chose
05:47
that's greater than the sum of the parts.
109
322000
2000
de plus grand que la somme des parties.
05:49
You have a model that emerges of the entire Earth.
110
324000
2000
Il y a un modèle de la Terre entière qui émerge.
05:51
Think of this as the long tail to Stephen Lawler's Virtual Earth work.
111
326000
5000
Voyez ça comme la longue traîne du travail de Stephen Lawler sur la Terre Virtuelle.
05:56
And this is something that grows in complexity
112
331000
2000
Et c'est quelque chose qui devient de plus en plus complexe
05:58
as people use it, and whose benefits become greater
113
333000
3000
à mesure que les gens l'utilisent, et dont les bénéfices s'accroissent
06:01
to the users as they use it.
114
336000
2000
pour les utilisateurs à mesure qu'ils l'utilisent.
06:03
Their own photos are getting tagged with meta-data
115
338000
2000
Leurs propres photos sont marquées avec des méta-données
06:05
that somebody else entered.
116
340000
1000
que quelqu'un d'autre a entrées.
06:07
If somebody bothered to tag all of these saints
117
342000
3000
Si quelqu'un s'embêtait à marquer tous ces saints
06:10
and say who they all are, then my photo of Notre Dame Cathedral
118
345000
3000
et à donner tous leurs noms, ma photo de la cathédrale Notre Dame
06:13
suddenly gets enriched with all of that data,
119
348000
2000
serait enrichie d'un coup de toutes ces données,
06:15
and I can use it as an entry point to dive into that space,
120
350000
3000
et je pourrais l'utiliser comme point d'entrée pour plonger dans cet espace,
06:18
into that meta-verse, using everybody else's photos,
121
353000
2000
dans ce méta-verse, en utilisant les photos de tout le monde,
06:21
and do a kind of a cross-modal
122
356000
2000
pour faire une sorte d'expérience sociale trans-modale
06:25
and cross-user social experience that way.
123
360000
3000
et trans-utilisateurs de cette manière.
06:28
And of course, a by-product of all of that
124
363000
1000
Et bien sûr, un sous-produit de tout ça,
06:30
is immensely rich virtual models
125
365000
2000
ce sont des modèles virtuels immensément riches
06:32
of every interesting part of the Earth, collected
126
367000
2000
de tous les coins intéressants la Terre, récoltés
06:35
not just from overhead flights and from satellite images
127
370000
3000
pas simplement par des vols en altitude et par des images satellite
06:38
and so on, but from the collective memory.
128
373000
2000
et autres, mais par la mémoire collective.
06:40
Thank you so much.
129
375000
2000
Merci beaucoup.
06:42
(Applause)
130
377000
11000
(Applaudissements)
06:53
Chris Anderson: Do I understand this right? That what your software is going to allow,
131
388000
4000
Chris Anderson: Est-ce que je comprends bien ? Que ce que votre logiciel va permettre,
06:58
is that at some point, really within the next few years,
132
393000
2000
c'est qu'à un certain moment, vraiment dans les quelques années à venir,
07:01
all the pictures that are shared by anyone across the world
133
396000
4000
toutes les photos qui sont partagées par quiconque dans le monde
07:05
are going to basically link together?
134
400000
2000
seront en gros liées entre elles ?
07:07
BAA: Yes. What this is really doing is discovering.
135
402000
2000
BAA: Oui. Ce que le logiciel fait, c'est découvrir.
07:09
It's creating hyperlinks, if you will, between images.
136
404000
3000
Il crée des hyperliens, si vous voulez, entre les images.
07:12
And it's doing that
137
407000
1000
Et il le fait
07:13
based on the content inside the images.
138
408000
1000
en se fondant sur le contenu des images.
07:14
And that gets really exciting when you think about the richness
139
409000
3000
Et ça devient vraiment passionnant quand vous songez à la richesse
07:17
of the semantic information that a lot of those images have.
140
412000
2000
de l'information sémantique que bon nombre de ces images possèdent.
07:19
Like when you do a web search for images,
141
414000
2000
Par exemple quand on fait une recherche web sur des images,
07:22
you type in phrases, and the text on the web page
142
417000
2000
on tape des phrases, et le texte de la page web
07:24
is carrying a lot of information about what that picture is of.
143
419000
3000
contient beaucoup d'informations à propos du sujet de cette photo.
07:27
Now, what if that picture links to all of your pictures?
144
422000
2000
Maintenant, que se passe-t-il si cette photo est liée à toutes vos photos ?
07:29
Then the amount of semantic interconnection
145
424000
2000
Dans ce cas la quantité d'interconnexions sémantiques
07:31
and the amount of richness that comes out of that
146
426000
1000
et la quantité de richesse qui en ressort
07:32
is really huge. It's a classic network effect.
147
427000
3000
est vraiment immense.C'est un effet de réseau classique.
07:35
CA: Blaise, that is truly incredible. Congratulations.
148
430000
2000
CA: Blaise, c'est vraiment incroyable. Félicitations.
07:37
BAA: Thanks so much.
149
432000
1000
BAA: Merci beaucoup.
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com