TED@BCG Paris
Blaise Agüera y Arcas: How computers are learning to be creative
Блез Агюера и Аркас: Как компьютеры учатся творчеству
Filmed:
Readability: 4.4
1,934,067 views
Мы находимся на пороге новых открытий в искусстве и творчестве — но не благодаря человеку. Блез Агюера и Аркас, главный научный сотрудник Google, работает с нейронными сетями, служащими для машинного восприятия и распределённого обучения. В этой интересной демонстрации, он показывает, как нейронные сети, обученные распознавать изображения, могут быть запущены в обратном направлении, чтобы создавать их. Результатами являются впечатляющие, галлюцинаторные изображения (и стихи!), которые бросают вызов любой классификации. «Восприятие и творчество очень тесно связаны», — говорит Блез Агюера и Аркас. «Любое существо или создание, способное воспринимать, также способно и создавать».
Blaise Agüera y Arcas - Software architect
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Blaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces. Full bio
Double-click the English transcript below to play the video.
00:12
So, I lead a team at Google
that works on machine intelligence;
that works on machine intelligence;
0
800
3124
Я возглавляю команду в Google,
работающую над машинным интеллектом,
работающую над машинным интеллектом,
00:15
in other words, the engineering discipline
of making computers and devices
of making computers and devices
1
3948
4650
другими словами, занимающуюся инженерией,
созданием компьютеров и устройств,
созданием компьютеров и устройств,
00:20
able to do some of the things
that brains do.
that brains do.
2
8622
2419
способных делать то, что делает наш мозг.
00:23
And this makes us
interested in real brains
interested in real brains
3
11439
3099
Мы не можем не интересоваться
настоящей мозговой деятельностью,
настоящей мозговой деятельностью,
00:26
and neuroscience as well,
4
14562
1289
а также неврологией.
00:27
and especially interested
in the things that our brains do
in the things that our brains do
5
15875
4172
И особенно нас интересуют действия
нашего мозга,
нашего мозга,
00:32
that are still far superior
to the performance of computers.
to the performance of computers.
6
20071
4042
в которых он до сих пор превосходит
возможности компьютеров.
возможности компьютеров.
00:37
Historically, one of those areas
has been perception,
has been perception,
7
25209
3609
Исторически одной из этих областей
было восприятие —
было восприятие —
00:40
the process by which things
out there in the world --
out there in the world --
8
28842
3039
процесс, благодаря которому всё в мире,
00:43
sounds and images --
9
31905
1584
все звуки и изображения
00:45
can turn into concepts in the mind.
10
33513
2178
в нашем сознании превращаются в понятия.
00:48
This is essential for our own brains,
11
36235
2517
Это совершенно необходимо
для нашего разума,
для нашего разума,
00:50
and it's also pretty useful on a computer.
12
38776
2464
однако полезно и для компьютера.
00:53
The machine perception algorithms,
for example, that our team makes,
for example, that our team makes,
13
41636
3350
Например, наша команда создаёт
машинные алгоритмы восприятия,
машинные алгоритмы восприятия,
00:57
are what enable your pictures
on Google Photos to become searchable,
on Google Photos to become searchable,
14
45010
3874
которые позволяют вам находить
картинки на Google Photos по тому,
картинки на Google Photos по тому,
01:00
based on what's in them.
15
48908
1397
что на них изображено.
01:03
The flip side of perception is creativity:
16
51594
3493
Обратная сторона восприятия — творчество:
01:07
turning a concept into something
out there into the world.
out there into the world.
17
55111
3038
превращение задумки во что-то реальное.
01:10
So over the past year,
our work on machine perception
our work on machine perception
18
58173
3555
Таким образом, за прошедший год
наша работа над компьютерным восприятием
наша работа над компьютерным восприятием
01:13
has also unexpectedly connected
with the world of machine creativity
with the world of machine creativity
19
61752
4859
также неожиданно стала связана
с миром компьютерного творчества
с миром компьютерного творчества
01:18
and machine art.
20
66635
1160
и машинного искусства.
01:20
I think Michelangelo
had a penetrating insight
had a penetrating insight
21
68556
3284
Я считаю, что у Микеланджело
было точное понимание
было точное понимание
01:23
into to this dual relationship
between perception and creativity.
between perception and creativity.
22
71864
3656
двойственного отношения
между восприятием и творчеством.
между восприятием и творчеством.
01:28
This is a famous quote of his:
23
76023
2006
Вот его известная цитата:
01:30
"Every block of stone
has a statue inside of it,
has a statue inside of it,
24
78053
3323
«Внутри каждого камня скрыта статуя,
01:34
and the job of the sculptor
is to discover it."
is to discover it."
25
82036
3002
задача скульптора — её обнаружить».
01:38
So I think that what
Michelangelo was getting at
Michelangelo was getting at
26
86029
3216
Я думаю, что Микеланджело говорит о том,
01:41
is that we create by perceiving,
27
89269
3180
что мы создаём посредством восприятия,
01:44
and that perception itself
is an act of imagination
is an act of imagination
28
92473
3023
а само восприятие — это акт воображения
01:47
and is the stuff of creativity.
29
95520
2461
и материал для творчества.
01:50
The organ that does all the thinking
and perceiving and imagining,
and perceiving and imagining,
30
98691
3925
Орган, который думает,
воспринимает и представляет, —
воспринимает и представляет, —
01:54
of course, is the brain.
31
102640
1588
это, конечно же, мозг.
01:57
And I'd like to begin
with a brief bit of history
with a brief bit of history
32
105089
2545
Я хотел бы начать
с небольшого экскурса в историю
с небольшого экскурса в историю
01:59
about what we know about brains.
33
107658
2302
исследования нашего мозга.
02:02
Because unlike, say,
the heart or the intestines,
the heart or the intestines,
34
110496
2446
Потому что, в отличие
от сердца или кишечника,
от сердца или кишечника,
02:04
you really can't say very much
about a brain by just looking at it,
about a brain by just looking at it,
35
112966
3144
нельзя много сказать о мозге,
просто посмотрев на него
просто посмотрев на него
02:08
at least with the naked eye.
36
116134
1412
невооружённым глазом.
02:09
The early anatomists who looked at brains
37
117983
2416
Первые анатомы, которые смотрели на мозги,
02:12
gave the superficial structures
of this thing all kinds of fanciful names,
of this thing all kinds of fanciful names,
38
120423
3807
давали поверхностной структуре
этого óргана причудливые имена,
этого óргана причудливые имена,
02:16
like hippocampus, meaning "little shrimp."
39
124254
2433
например, гиппокамп,
что означает «креветка».
что означает «креветка».
02:18
But of course that sort of thing
doesn't tell us very much
doesn't tell us very much
40
126711
2764
Но, конечно, такого рода наблюдения
мало говорят нам
мало говорят нам
02:21
about what's actually going on inside.
41
129499
2318
о происходящем внутри мозга.
02:24
The first person who, I think, really
developed some kind of insight
developed some kind of insight
42
132780
3613
Первый человек, у которого действительно
было некоторое понимание того,
было некоторое понимание того,
02:28
into what was going on in the brain
43
136417
1930
что происходит в мозге,
02:30
was the great Spanish neuroanatomist,
Santiago Ramón y Cajal,
Santiago Ramón y Cajal,
44
138371
3920
был великий испанский нейрофизиолог
Сантьяго Рамон-и-Кахаль,
Сантьяго Рамон-и-Кахаль,
02:34
in the 19th century,
45
142315
1544
живший в XIX веке.
02:35
who used microscopy and special stains
46
143883
3755
Он использовал микроскоп
и специальный краситель,
и специальный краситель,
02:39
that could selectively fill in
or render in very high contrast
or render in very high contrast
47
147662
4170
который мог выборочно заполнить
отдельные клетки мозга
отдельные клетки мозга
02:43
the individual cells in the brain,
48
151856
2008
или придать им контрастность,
02:45
in order to start to understand
their morphologies.
their morphologies.
49
153888
3154
чтобы понять их морфологию.
02:49
And these are the kinds of drawings
that he made of neurons
that he made of neurons
50
157972
2891
А вот изображения нейронов,
которые он нарисовал
которые он нарисовал
02:52
in the 19th century.
51
160887
1209
в XIX веке.
02:54
This is from a bird brain.
52
162120
1884
Это нейроны мозга птицы.
02:56
And you see this incredible variety
of different sorts of cells,
of different sorts of cells,
53
164028
3057
Вы видите здесь невероятное разнообразие
различных видов клеток,
различных видов клеток,
02:59
even the cellular theory itself
was quite new at this point.
was quite new at this point.
54
167109
3435
даже клеточная теория сама по себе
была в то время довольно нова.
была в то время довольно нова.
03:02
And these structures,
55
170568
1278
И эти структуры,
03:03
these cells that have these arborizations,
56
171870
2259
эти клетки, которые имеют разветвления
03:06
these branches that can go
very, very long distances --
very, very long distances --
57
174153
2608
и эти очень длинные ответвления, —
03:08
this was very novel at the time.
58
176785
1616
всё это было тогда очень ново.
03:10
They're reminiscent, of course, of wires.
59
178779
2903
Они напоминают провода.
03:13
That might have been obvious
to some people in the 19th century;
to some people in the 19th century;
60
181706
3457
Это могло быть очевидным
для некоторых людей в XIX веке:
для некоторых людей в XIX веке:
03:17
the revolutions of wiring and electricity
were just getting underway.
were just getting underway.
61
185187
4314
как раз начиналась электрификация.
03:21
But in many ways,
62
189964
1178
Но во многом
03:23
these microanatomical drawings
of Ramón y Cajal's, like this one,
of Ramón y Cajal's, like this one,
63
191166
3313
такие микроанатомические зарисовки
Рамона-и-Кахаля
Рамона-и-Кахаля
03:26
they're still in some ways unsurpassed.
64
194503
2332
всё ещё остаются непревзойдёнными.
03:28
We're still more than a century later,
65
196859
1854
Мы до сих пор, более ста лет спустя,
03:30
trying to finish the job
that Ramón y Cajal started.
that Ramón y Cajal started.
66
198737
2825
пытаемся закончить работу,
начатую Рамоном-и-Кахалем.
начатую Рамоном-и-Кахалем.
03:33
These are raw data from our collaborators
67
201586
3134
Это необработанные данные
от наших коллег
от наших коллег
03:36
at the Max Planck Institute
of Neuroscience.
of Neuroscience.
68
204744
2881
из Института Неврологии Макса Планка.
03:39
And what our collaborators have done
69
207649
1790
Наши коллеги
03:41
is to image little pieces of brain tissue.
70
209463
5001
изобразили маленькие кусочки
ткани головного мозга.
ткани головного мозга.
03:46
The entire sample here
is about one cubic millimeter in size,
is about one cubic millimeter in size,
71
214488
3326
Весь образец составляет примерно
один кубический миллиметр,
один кубический миллиметр,
03:49
and I'm showing you a very,
very small piece of it here.
very small piece of it here.
72
217838
2621
а я показываю вам
очень маленький его кусочек.
очень маленький его кусочек.
03:52
That bar on the left is about one micron.
73
220483
2346
Та риска слева равна одному микрону.
03:54
The structures you see are mitochondria
74
222853
2409
Структуры, которые вы видите, —
это митохондрии,
это митохондрии,
03:57
that are the size of bacteria.
75
225286
2044
они размером с бактерию.
03:59
And these are consecutive slices
76
227354
1551
А это последовательные срезы
04:00
through this very, very
tiny block of tissue.
tiny block of tissue.
77
228929
3148
этого очень маленького кусочка ткани.
04:04
Just for comparison's sake,
78
232101
2403
Просто для сравнения:
04:06
the diameter of an average strand
of hair is about 100 microns.
of hair is about 100 microns.
79
234528
3792
диаметр волоса в среднем составляет
около 100 микрон.
около 100 микрон.
04:10
So we're looking at something
much, much smaller
much, much smaller
80
238344
2274
Мы здесь видим нечто гораздо меньшее,
04:12
than a single strand of hair.
81
240642
1398
чем человеческий волос.
04:14
And from these kinds of serial
electron microscopy slices,
electron microscopy slices,
82
242064
4031
Из этой серии микроскопических срезов
04:18
one can start to make reconstructions
in 3D of neurons that look like these.
in 3D of neurons that look like these.
83
246119
5008
можно начать делать 3D реконструкции
нейронов, похожие на эти.
нейронов, похожие на эти.
04:23
So these are sort of in the same
style as Ramón y Cajal.
style as Ramón y Cajal.
84
251151
3157
По стилю они похожи
на рисунки Рамона-и-Кахаля.
на рисунки Рамона-и-Кахаля.
04:26
Only a few neurons lit up,
85
254332
1492
Отдельные нейроны подсвечены,
04:27
because otherwise we wouldn't
be able to see anything here.
be able to see anything here.
86
255848
2781
иначе мы бы здесь ничего не увидели.
04:30
It would be so crowded,
87
258653
1312
Тут было бы полно́ всего,
04:31
so full of structure,
88
259989
1330
сплошные структуры
04:33
of wiring all connecting
one neuron to another.
one neuron to another.
89
261343
2724
и провода, соединяющие
один нейрон с другим.
один нейрон с другим.
04:37
So Ramón y Cajal was a little bit
ahead of his time,
ahead of his time,
90
265293
2804
Итак, Рамон-и-Кахаль немного опережал
своё время,
своё время,
04:40
and progress on understanding the brain
91
268121
2555
и прогресс в понимании мозга
продвигался медленно
продвигался медленно
04:42
proceeded slowly
over the next few decades.
over the next few decades.
92
270700
2271
в течение следующих десятилетий.
04:45
But we knew that neurons used electricity,
93
273455
2853
Но мы знали,
что нейроны используют электричество,
что нейроны используют электричество,
04:48
and by World War II, our technology
was advanced enough
was advanced enough
94
276332
2936
и ко Второй мировой войне
технологии были развиты достаточно,
технологии были развиты достаточно,
04:51
to start doing real electrical
experiments on live neurons
experiments on live neurons
95
279292
2806
чтобы начать электрические
эксперименты на живых нейронах,
эксперименты на живых нейронах,
04:54
to better understand how they worked.
96
282122
2106
чтобы лучше понимать, как они работают.
04:56
This was the very same time
when computers were being invented,
when computers were being invented,
97
284631
4356
Именно тогда изобрели компьютеры,
05:01
very much based on the idea
of modeling the brain --
of modeling the brain --
98
289011
3100
во многом основанные на идее
моделирования мозга,
моделирования мозга,
05:04
of "intelligent machinery,"
as Alan Turing called it,
as Alan Turing called it,
99
292135
3085
или «искусственного интеллекта»,
как называл его Алан Тьюринг,
как называл его Алан Тьюринг,
05:07
one of the fathers of computer science.
100
295244
1991
один из отцов информатики.
05:09
Warren McCulloch and Walter Pitts
looked at Ramón y Cajal's drawing
looked at Ramón y Cajal's drawing
101
297923
4632
Уоррен Мак-Каллок и Уолтер Питтс
посмотрели на рисунки Рамона-и-Кахаля.
посмотрели на рисунки Рамона-и-Кахаля.
05:14
of visual cortex,
102
302579
1317
Сейчас я показываю вам
05:15
which I'm showing here.
103
303920
1562
это изображение зрительной коры.
05:17
This is the cortex that processes
imagery that comes from the eye.
imagery that comes from the eye.
104
305506
4442
Эта кора головного мозга обрабатывает
образы, поступающие от органов зрения.
образы, поступающие от органов зрения.
05:22
And for them, this looked
like a circuit diagram.
like a circuit diagram.
105
310424
3508
По их мнению это выглядело,
как замкнутая схема.
как замкнутая схема.
05:26
So there are a lot of details
in McCulloch and Pitts's circuit diagram
in McCulloch and Pitts's circuit diagram
106
314353
3835
В схеме Мак-Каллока и Питтса
многие детали
многие детали
05:30
that are not quite right.
107
318212
1352
не совсем точны,
05:31
But this basic idea
108
319588
1235
но основная идея,
05:32
that visual cortex works like a series
of computational elements
of computational elements
109
320847
3992
что зрительная кора работает
как серия вычислительных элементов,
как серия вычислительных элементов,
05:36
that pass information
one to the next in a cascade,
one to the next in a cascade,
110
324863
2746
которые каскадом передают
друг другу информацию,
друг другу информацию,
05:39
is essentially correct.
111
327633
1602
по сути верна.
05:41
Let's talk for a moment
112
329259
2350
Давайте немного поговорим о том,
05:43
about what a model for processing
visual information would need to do.
visual information would need to do.
113
331633
4032
что должна делать модель обработки
визуальной информации.
визуальной информации.
05:48
The basic task of perception
114
336228
2741
Основная задача распознавания —
05:50
is to take an image like this one and say,
115
338993
4194
это взять картинку,
такую как эта, и сказать:
такую как эта, и сказать:
05:55
"That's a bird,"
116
343211
1176
«Это птица».
05:56
which is a very simple thing
for us to do with our brains.
for us to do with our brains.
117
344411
2874
Для нашего мозга это простая задача,
05:59
But you should all understand
that for a computer,
that for a computer,
118
347309
3421
но вы должны понимать,
что для компьютера
что для компьютера
06:02
this was pretty much impossible
just a few years ago.
just a few years ago.
119
350754
3087
всего несколько лет назад
подобное было почти невозможно.
подобное было почти невозможно.
06:05
The classical computing paradigm
120
353865
1916
Согласно классической парадигме расчётов,
06:07
is not one in which
this task is easy to do.
this task is easy to do.
121
355805
2507
это не то задание,
которое можно выполнить легко.
которое можно выполнить легко.
06:11
So what's going on between the pixels,
122
359366
2552
Так что же происходит между пикселями,
06:13
between the image of the bird
and the word "bird,"
and the word "bird,"
123
361942
4028
между изображением птицы и словом «птица»?
06:17
is essentially a set of neurons
connected to each other
connected to each other
124
365994
2814
По сути, группа нейронов
связана друг с другом
связана друг с другом
06:20
in a neural network,
125
368832
1155
в нейронной сети,
06:22
as I'm diagramming here.
126
370011
1223
как я показываю здесь.
06:23
This neural network could be biological,
inside our visual cortices,
inside our visual cortices,
127
371258
3272
Эта нейронная сеть в коре головного мозга
могла быть биологической,
могла быть биологической,
06:26
or, nowadays, we start
to have the capability
to have the capability
128
374554
2162
а в наше время мы можем
06:28
to model such neural networks
on the computer.
on the computer.
129
376740
2454
смоделировать такую нейронную сеть
на компьютере.
на компьютере.
06:31
And I'll show you what
that actually looks like.
that actually looks like.
130
379834
2353
И я вам покажу, как это выглядит.
06:34
So the pixels you can think
about as a first layer of neurons,
about as a first layer of neurons,
131
382211
3416
Поэтому о пикселях можно думать
как о первом слое нейронов —
как о первом слое нейронов —
06:37
and that's, in fact,
how it works in the eye --
how it works in the eye --
132
385651
2239
именно так происходит в глазу —
06:39
that's the neurons in the retina.
133
387914
1663
это нейроны в сетчатке.
06:41
And those feed forward
134
389601
1500
А остальные нейроны
06:43
into one layer after another layer,
after another layer of neurons,
after another layer of neurons,
135
391125
3403
связаны по цепи слой за слоем,
06:46
all connected by synapses
of different weights.
of different weights.
136
394552
3033
их соединяют между собой
синапсы различных весов.
синапсы различных весов.
06:49
The behavior of this network
137
397609
1335
Поведение этой сети
06:50
is characterized by the strengths
of all of those synapses.
of all of those synapses.
138
398968
3284
характеризуется силой этих синапсов.
06:54
Those characterize the computational
properties of this network.
properties of this network.
139
402276
3288
Они характеризуют вычислительные
свойства этой сети.
свойства этой сети.
06:57
And at the end of the day,
140
405588
1470
В конце концов
06:59
you have a neuron
or a small group of neurons
or a small group of neurons
141
407082
2447
один или несколько нейронов
07:01
that light up, saying, "bird."
142
409553
1647
загораются, говоря: «птица».
07:03
Now I'm going to represent
those three things --
those three things --
143
411824
3132
Теперь я собираюсь представить
эти три вещи —
эти три вещи —
07:06
the input pixels and the synapses
in the neural network,
in the neural network,
144
414980
4696
входные пиксели и синапсы
в нейронной сети
в нейронной сети
07:11
and bird, the output --
145
419700
1585
и, как результат, птицу
07:13
by three variables: x, w and y.
146
421309
3057
при помощи трёх переменных: Х, W и Y.
07:16
There are maybe a million or so x's --
147
424853
1811
Существует миллион или около того X —
07:18
a million pixels in that image.
148
426688
1953
миллион пикселей в изображении.
07:20
There are billions or trillions of w's,
149
428665
2446
Миллиарды или триллионы W —
07:23
which represent the weights of all
these synapses in the neural network.
these synapses in the neural network.
150
431135
3421
представляющих весá всех этих синапсов
в нейронной сети.
в нейронной сети.
07:26
And there's a very small number of y's,
151
434580
1875
И очень маленькое количество Y —
07:28
of outputs that that network has.
152
436479
1858
значений на выходе сети.
07:30
"Bird" is only four letters, right?
153
438361
1749
«Птица» же состоит всего из 5 букв.
07:33
So let's pretend that this
is just a simple formula,
is just a simple formula,
154
441088
3426
Давайте представим,
что это простая формула:
что это простая формула:
07:36
x "x" w = y.
155
444538
2163
X «х» W = Y.
07:38
I'm putting the times in scare quotes
156
446725
2036
Я ставлю умножение в кавычки,
07:40
because what's really
going on there, of course,
going on there, of course,
157
448785
2280
потому что на самом деле
там просисходит
там просисходит
07:43
is a very complicated series
of mathematical operations.
of mathematical operations.
158
451089
3046
очень сложная серия
математических расчётов.
математических расчётов.
07:47
That's one equation.
159
455172
1221
Это одно уравнение
07:48
There are three variables.
160
456417
1672
с тремя переменными.
07:50
And we all know
that if you have one equation,
that if you have one equation,
161
458113
2726
И всем известно,
что если у нас есть уравнение,
что если у нас есть уравнение,
07:52
you can solve one variable
by knowing the other two things.
by knowing the other two things.
162
460863
3642
то мы можем найти одну переменную,
зная две другие.
зная две другие.
07:57
So the problem of inference,
163
465158
3380
Таким образом, задача
08:00
that is, figuring out
that the picture of a bird is a bird,
that the picture of a bird is a bird,
164
468562
2873
по распознаванию птицы
в изображении птицы
в изображении птицы
08:03
is this one:
165
471459
1274
заключается в следующем:
08:04
it's where y is the unknown
and w and x are known.
and w and x are known.
166
472757
3459
Y неизвестен,
а W и X известны.
а W и X известны.
08:08
You know the neural network,
you know the pixels.
you know the pixels.
167
476240
2459
Вы знаете нейронную сеть,
вы знаете пиксели.
вы знаете пиксели.
08:10
As you can see, that's actually
a relatively straightforward problem.
a relatively straightforward problem.
168
478723
3327
И как видите, это относительно
простая задача.
простая задача.
08:14
You multiply two times three
and you're done.
and you're done.
169
482074
2186
Вы умножаете два на три, и всё готово.
08:16
I'll show you an artificial neural network
170
484862
2123
Я покажу вам искусственную нейронную сеть,
08:19
that we've built recently,
doing exactly that.
doing exactly that.
171
487009
2296
которую мы построили недавно,
делая то же самое.
делая то же самое.
08:21
This is running in real time
on a mobile phone,
on a mobile phone,
172
489634
2860
Она работает в реальном времени
на мобильном телефоне.
на мобильном телефоне.
08:24
and that's, of course,
amazing in its own right,
amazing in its own right,
173
492518
3313
Удивительно уже само по себе то,
08:27
that mobile phones can do so many
billions and trillions of operations
billions and trillions of operations
174
495855
3468
что мобильные телефоны могут выполнять
миллиарды и триллионы операций
миллиарды и триллионы операций
08:31
per second.
175
499347
1248
в секунду.
08:32
What you're looking at is a phone
176
500619
1615
Мы видим телефон,
08:34
looking at one after another
picture of a bird,
picture of a bird,
177
502258
3547
который смотрит на изображение птиц
одно за другим
одно за другим
08:37
and actually not only saying,
"Yes, it's a bird,"
"Yes, it's a bird,"
178
505829
2715
и не только говорит: «Да, это птица»,
08:40
but identifying the species of bird
with a network of this sort.
with a network of this sort.
179
508568
3411
но также через такую же сеть
определяет вид этой птицы.
определяет вид этой птицы.
08:44
So in that picture,
180
512890
1826
На этой картинке
08:46
the x and the w are known,
and the y is the unknown.
and the y is the unknown.
181
514740
3802
X и W известны,
а Y неизвестен.
а Y неизвестен.
08:50
I'm glossing over the very
difficult part, of course,
difficult part, of course,
182
518566
2508
Я, конечно, пропускаю
самую сложную часть —
самую сложную часть —
08:53
which is how on earth
do we figure out the w,
do we figure out the w,
183
521098
3861
то, каким непостижимым образом
мы находим W —
мы находим W —
08:56
the brain that can do such a thing?
184
524983
2187
мозг, который может это сделать.
08:59
How would we ever learn such a model?
185
527194
1834
Сможем ли мы сделать такую модель?
09:01
So this process of learning,
of solving for w,
of solving for w,
186
529418
3233
Этот процесс нахождения W,
09:04
if we were doing this
with the simple equation
with the simple equation
187
532675
2647
будь это простым уравнением,
09:07
in which we think about these as numbers,
188
535346
2000
где мы думаем о неизвестных,
как о числах,
как о числах,
09:09
we know exactly how to do that: 6 = 2 x w,
189
537370
2687
мы бы знали, как именно это сделать:
6 = 2 * W,
6 = 2 * W,
09:12
well, we divide by two and we're done.
190
540081
3312
делим на 2, и готово.
09:16
The problem is with this operator.
191
544001
2220
Но проблема именно в этом преобразовании,
09:18
So, division --
192
546823
1151
в делении.
09:19
we've used division because
it's the inverse to multiplication,
it's the inverse to multiplication,
193
547998
3121
Мы использовали его здесь,
так как оно обратно умножению,
так как оно обратно умножению,
09:23
but as I've just said,
194
551143
1440
но, как я сказал,
09:24
the multiplication is a bit of a lie here.
195
552607
2449
умножение здесь — это фикция.
09:27
This is a very, very complicated,
very non-linear operation;
very non-linear operation;
196
555080
3326
Это чрезвычайно сложная
нелинейная операция,
нелинейная операция,
09:30
it has no inverse.
197
558430
1704
она не имеет обратного действия.
09:32
So we have to figure out a way
to solve the equation
to solve the equation
198
560158
3150
Мы должны найти способ
решить это уравнение
решить это уравнение
09:35
without a division operator.
199
563332
2024
без деления.
09:37
And the way to do that
is fairly straightforward.
is fairly straightforward.
200
565380
2343
И способ довольно простой.
09:39
You just say, let's play
a little algebra trick,
a little algebra trick,
201
567747
2671
Давайте проделаем маленький
математический трюк
математический трюк
09:42
and move the six over
to the right-hand side of the equation.
to the right-hand side of the equation.
202
570442
2906
и перенесём 6 в правую часть уравнения.
09:45
Now, we're still using multiplication.
203
573372
1826
Сейчас мы используем умножение.
09:47
And that zero -- let's think
about it as an error.
about it as an error.
204
575675
3580
И этот ноль,
давайте примем его за отклонение.
давайте примем его за отклонение.
09:51
In other words, if we've solved
for w the right way,
for w the right way,
205
579279
2515
Другими словами,
если мы посчитаем W правильно,
если мы посчитаем W правильно,
09:53
then the error will be zero.
206
581818
1656
то отклонение будет равно нулю.
09:55
And if we haven't gotten it quite right,
207
583498
1938
А если мы посчитали неверно,
09:57
the error will be greater than zero.
208
585460
1749
то отклонение будет больше нуля.
09:59
So now we can just take guesses
to minimize the error,
to minimize the error,
209
587233
3366
Теперь мы можем подбирать числа,
чтобы минимизировать отклонение,
чтобы минимизировать отклонение,
10:02
and that's the sort of thing
computers are very good at.
computers are very good at.
210
590623
2687
а это как раз то,
в чём компьютеры очень хороши.
в чём компьютеры очень хороши.
10:05
So you've taken an initial guess:
211
593334
1593
Сначала мы предположили:
10:06
what if w = 0?
212
594951
1156
что если W = 0?
10:08
Well, then the error is 6.
213
596131
1240
Тогда отклонение равно 6.
10:09
What if w = 1? The error is 4.
214
597395
1446
Если W = 1, то отклонение — 4.
10:10
And then the computer can
sort of play Marco Polo,
sort of play Marco Polo,
215
598865
2367
И потом компьютер начинает играть
в «угадайку»
в «угадайку»
10:13
and drive down the error close to zero.
216
601256
2367
и приближает отклонение к нулю.
10:15
As it does that, it's getting
successive approximations to w.
successive approximations to w.
217
603647
3374
Так он приближается к верному значению W.
10:19
Typically, it never quite gets there,
but after about a dozen steps,
but after about a dozen steps,
218
607045
3656
Обычно он не находит точного решения,
но сделав с десяток шагов,
но сделав с десяток шагов,
10:22
we're up to w = 2.999,
which is close enough.
which is close enough.
219
610725
4624
мы приближаемся к W = 2,999,
что достаточно близко к истине.
что достаточно близко к истине.
10:28
And this is the learning process.
220
616302
1814
Это и есть процесс обучения.
10:30
So remember that what's been going on here
221
618140
2730
Напомню, что именно мы делаем:
10:32
is that we've been taking
a lot of known x's and known y's
a lot of known x's and known y's
222
620894
4378
мы берём много известных X и Y
10:37
and solving for the w in the middle
through an iterative process.
through an iterative process.
223
625296
3454
и посредством процесса повторения
находим W.
находим W.
10:40
It's exactly the same way
that we do our own learning.
that we do our own learning.
224
628774
3556
Мы сами учимся точно так же.
10:44
We have many, many images as babies
225
632354
2230
В детстве мы встречаем множество образов,
10:46
and we get told, "This is a bird;
this is not a bird."
this is not a bird."
226
634608
2633
и нам говорят:
«Это птица, а это не птица».
«Это птица, а это не птица».
10:49
And over time, through iteration,
227
637714
2098
Со временем через повторение
10:51
we solve for w, we solve
for those neural connections.
for those neural connections.
228
639836
2928
мы находим W, то есть нейронные связи.
10:55
So now, we've held
x and w fixed to solve for y;
x and w fixed to solve for y;
229
643460
4086
Теперь у нас есть готовые X и W
для нахождения Y
для нахождения Y
10:59
that's everyday, fast perception.
230
647570
1847
и быстрого повседневного восприятия.
11:01
We figure out how we can solve for w,
231
649441
1763
Мы узнаём, как найти W, —
11:03
that's learning, which is a lot harder,
232
651228
1903
это обучение, и оно сложно,
11:05
because we need to do error minimization,
233
653155
1985
так как надо минимизировать погрешности
11:07
using a lot of training examples.
234
655164
1687
методом проб и ошибок.
11:08
And about a year ago,
Alex Mordvintsev, on our team,
Alex Mordvintsev, on our team,
235
656875
3187
Около года назад Алекс Мордвинцев
из нашей команды
из нашей команды
11:12
decided to experiment
with what happens if we try solving for x,
with what happens if we try solving for x,
236
660086
3550
решил попробовать, что будет,
если попытаться найти X,
если попытаться найти X,
11:15
given a known w and a known y.
237
663660
2037
зная W и Y.
11:18
In other words,
238
666124
1151
Другими словами,
11:19
you know that it's a bird,
239
667299
1352
вы знаете, что это птица,
11:20
and you already have your neural network
that you've trained on birds,
that you've trained on birds,
240
668675
3303
и вашей нейронной сети тоже это известно.
11:24
but what is the picture of a bird?
241
672002
2344
Но как же выглядит птица?
11:27
It turns out that by using exactly
the same error-minimization procedure,
the same error-minimization procedure,
242
675034
5024
Оказывается, что используя ту же самую
процедуру минимизации погрешностей,
процедуру минимизации погрешностей,
11:32
one can do that with the network
trained to recognize birds,
trained to recognize birds,
243
680082
3430
можно проделать это c нейронной сетью,
обученной распознавать птиц,
обученной распознавать птиц,
11:35
and the result turns out to be ...
244
683536
3388
и в результате получается
11:42
a picture of birds.
245
690400
1305
изображение птицы.
11:44
So this is a picture of birds
generated entirely by a neural network
generated entirely by a neural network
246
692814
3737
Это изображение птиц
создано нейронной сетью,
создано нейронной сетью,
11:48
that was trained to recognize birds,
247
696575
1826
обученной распознавать птиц,
11:50
just by solving for x
rather than solving for y,
rather than solving for y,
248
698425
3538
просто находя X, а не Y,
11:53
and doing that iteratively.
249
701987
1288
через множество повторений.
11:55
Here's another fun example.
250
703732
1847
Вот другой интересный пример.
11:57
This was a work made
by Mike Tyka in our group,
by Mike Tyka in our group,
251
705603
3437
Это работа, сделанная Майком Тайком
из нашей команды.
из нашей команды.
12:01
which he calls "Animal Parade."
252
709064
2308
Он назвал её «Парад зверей».
12:03
It reminds me a little bit
of William Kentridge's artworks,
of William Kentridge's artworks,
253
711396
2876
Она немного напоминает мне работы
Уильяма Кентриджа,
Уильяма Кентриджа,
12:06
in which he makes sketches, rubs them out,
254
714296
2489
в которых он делает эскизы,
потом их стирает,
потом их стирает,
12:08
makes sketches, rubs them out,
255
716809
1460
снова рисует и стирает,
12:10
and creates a movie this way.
256
718293
1398
и так создаёт фильм.
12:11
In this case,
257
719715
1151
В данном случае
12:12
what Mike is doing is varying y
over the space of different animals,
over the space of different animals,
258
720890
3277
Майк меняет Y различных видов животных
12:16
in a network designed
to recognize and distinguish
to recognize and distinguish
259
724191
2382
в сети, созданной для распознавания
12:18
different animals from each other.
260
726597
1810
разных видов животных.
12:20
And you get this strange, Escher-like
morph from one animal to another.
morph from one animal to another.
261
728431
3751
Получается парадоксальное, в стиле Эшера,
изображение животных.
изображение животных.
12:26
Here he and Alex together
have tried reducing
have tried reducing
262
734221
4614
Здесь он и Алекс попытались упростить Y
12:30
the y's to a space of only two dimensions,
263
738859
2759
до двухмерного пространства,
12:33
thereby making a map
out of the space of all things
out of the space of all things
264
741642
3438
тем самым создавая карту
из пространства всех объектов,
из пространства всех объектов,
12:37
recognized by this network.
265
745104
1719
распознаваемых данной сетью.
12:38
Doing this kind of synthesis
266
746847
2023
Выполняя такого рода синтез
12:40
or generation of imagery
over that entire surface,
over that entire surface,
267
748894
2382
или создавая изображения
на всей поверхности,
на всей поверхности,
12:43
varying y over the surface,
you make a kind of map --
you make a kind of map --
268
751300
2846
изменяя в ней Y,
вы делаете подобие карты —
вы делаете подобие карты —
12:46
a visual map of all the things
the network knows how to recognize.
the network knows how to recognize.
269
754170
3141
визуальную карту всех вещей,
которые может распознать сеть.
которые может распознать сеть.
12:49
The animals are all here;
"armadillo" is right in that spot.
"armadillo" is right in that spot.
270
757335
2865
Здесь есть все животные.
Вот «броненосец».
Вот «броненосец».
12:52
You can do this with other kinds
of networks as well.
of networks as well.
271
760919
2479
То же можно проделать с другими
типами сетей.
типами сетей.
12:55
This is a network designed
to recognize faces,
to recognize faces,
272
763422
2874
Эта сеть создана, чтобы распознавать лица
12:58
to distinguish one face from another.
273
766320
2000
и отличать одно лицо от другого.
13:00
And here, we're putting
in a y that says, "me,"
in a y that says, "me,"
274
768344
3249
Здесь мы добавляем Y,
который значит «я»,
который значит «я»,
13:03
my own face parameters.
275
771617
1575
мои параметры лица.
13:05
And when this thing solves for x,
276
773216
1706
И когда эта сеть находит X,
13:06
it generates this rather crazy,
277
774946
2618
то создаёт это довольно сумасшедшее,
13:09
kind of cubist, surreal,
psychedelic picture of me
psychedelic picture of me
278
777588
4428
кубическое, сюрреалистическое,
психоделическое изображение меня
психоделическое изображение меня
13:14
from multiple points of view at once.
279
782040
1806
с разных сторон одновременно.
13:15
The reason it looks like
multiple points of view at once
multiple points of view at once
280
783870
2734
И причина, по которой изображение
так выглядит,
так выглядит,
13:18
is because that network is designed
to get rid of the ambiguity
to get rid of the ambiguity
281
786628
3687
в том, что сеть стремится избавиться
от неопределённости,
от неопределённости,
13:22
of a face being in one pose
or another pose,
or another pose,
282
790339
2476
возникающей из-за разных положений головы
13:24
being looked at with one kind of lighting,
another kind of lighting.
another kind of lighting.
283
792839
3376
или разных углов освещения.
13:28
So when you do
this sort of reconstruction,
this sort of reconstruction,
284
796239
2085
При такого рода преобразованиях,
13:30
if you don't use some sort of guide image
285
798348
2304
если нет опорного изображения
13:32
or guide statistics,
286
800676
1211
или опорных данных,
13:33
then you'll get a sort of confusion
of different points of view,
of different points of view,
287
801911
3765
то вы получите мешанину изображений,
сделанных с разных сторон,
сделанных с разных сторон,
13:37
because it's ambiguous.
288
805700
1368
из-за неопределённости.
13:39
This is what happens if Alex uses
his own face as a guide image
his own face as a guide image
289
807786
4223
Вот что происходит, если Алекс использует
своё лицо как опорное изображение
своё лицо как опорное изображение
13:44
during that optimization process
to reconstruct my own face.
to reconstruct my own face.
290
812033
3321
во время оптимизации программы
по воссозданию моего лица.
по воссозданию моего лица.
13:48
So you can see it's not perfect.
291
816284
2328
Как видите, не всё идеально.
13:50
There's still quite a lot of work to do
292
818636
1874
Нам предстоит ещё много работы
13:52
on how we optimize
that optimization process.
that optimization process.
293
820534
2453
по оптимизации процесса оптимизации.
13:55
But you start to get something
more like a coherent face,
more like a coherent face,
294
823011
2827
Но полученное лицо становится чётче,
13:57
rendered using my own face as a guide.
295
825862
2014
при его создании опорным было моё лицо.
14:00
You don't have to start
with a blank canvas
with a blank canvas
296
828892
2501
Вам не нужно начинать с чистого листа
14:03
or with white noise.
297
831417
1156
или белого шума.
14:04
When you're solving for x,
298
832597
1304
Когда вы ищете X,
14:05
you can begin with an x,
that is itself already some other image.
that is itself already some other image.
299
833925
3889
вы можете начать с X, который сам по себе
является другим изображением.
является другим изображением.
14:09
That's what this little demonstration is.
300
837838
2556
Вот о чём эта маленькая демонстрация.
14:12
This is a network
that is designed to categorize
that is designed to categorize
301
840418
4122
Эта сеть которая разработана,
чтобы категоризировать
чтобы категоризировать
14:16
all sorts of different objects --
man-made structures, animals ...
man-made structures, animals ...
302
844564
3119
самые различные объекты —
искусственные сооружения, животных...
искусственные сооружения, животных...
14:19
Here we're starting
with just a picture of clouds,
with just a picture of clouds,
303
847707
2593
Здесь мы начинаем
с простого изображения облаков,
с простого изображения облаков,
14:22
and as we optimize,
304
850324
1671
и по мере оптимизации
14:24
basically, this network is figuring out
what it sees in the clouds.
what it sees in the clouds.
305
852019
4486
эта сеть определяет,
что именно она видит в облаках.
что именно она видит в облаках.
14:28
And the more time
you spend looking at this,
you spend looking at this,
306
856931
2320
И чем дольше вы смотрите,
14:31
the more things you also
will see in the clouds.
will see in the clouds.
307
859275
2753
тем больше сможете увидеть в облаках.
14:35
You could also use the face network
to hallucinate into this,
to hallucinate into this,
308
863004
3375
Можно использовать сеть распознавания лиц,
чтобы вызвать галюцинации
чтобы вызвать галюцинации
14:38
and you get some pretty crazy stuff.
309
866403
1812
и получить довольно сумасшедшие вещи.
14:40
(Laughter)
310
868239
1150
(Смех)
14:42
Or, Mike has done some other experiments
311
870401
2744
Майк провёл и другой эксперимент,
14:45
in which he takes that cloud image,
312
873169
3905
в котором он берёт изображение óблака,
14:49
hallucinates, zooms, hallucinates,
zooms hallucinates, zooms.
zooms hallucinates, zooms.
313
877098
3507
галлюцинирует, приближает,
галлюцинирует, приближает.
галлюцинирует, приближает.
14:52
And in this way,
314
880629
1151
И таким образом
14:53
you can get a sort of fugue state
of the network, I suppose,
of the network, I suppose,
315
881804
3675
получается что-то типа состояния
диссоциативной фуги сети
диссоциативной фуги сети
14:57
or a sort of free association,
316
885503
3680
или подобие свободных ассоциаций,
15:01
in which the network
is eating its own tail.
is eating its own tail.
317
889207
2227
в которых сеть ловит свой хвост.
15:03
So every image is now the basis for,
318
891458
3421
Каждое изображение становится основой
для ответа на вопрос:
для ответа на вопрос:
15:06
"What do I think I see next?
319
894903
1421
«Что же я увижу дальше?
15:08
What do I think I see next?
What do I think I see next?"
What do I think I see next?"
320
896348
2803
Что же я увижу дальше?
Что же я увижу дальше?»
Что же я увижу дальше?»
15:11
I showed this for the first time in public
321
899487
2936
Первый раз я показал это группе
15:14
to a group at a lecture in Seattle
called "Higher Education" --
called "Higher Education" --
322
902447
5437
в Сиэттле на лекции «Высшее образование».
15:19
this was right after
marijuana was legalized.
marijuana was legalized.
323
907908
2437
Это было как раз после
легализации марихуаны.
легализации марихуаны.
15:22
(Laughter)
324
910369
2415
(Смех)
15:26
So I'd like to finish up quickly
325
914627
2104
Я хотел бы быстро подвести итог
15:28
by just noting that this technology
is not constrained.
is not constrained.
326
916755
4255
и отметить, что возможности
этой технологии безграничны.
этой технологии безграничны.
15:33
I've shown you purely visual examples
because they're really fun to look at.
because they're really fun to look at.
327
921034
3665
Я показал вам лишь визуальные примеры,
потому что на них интересно смотреть.
потому что на них интересно смотреть.
15:36
It's not a purely visual technology.
328
924723
2451
Но это не только визуальная технология.
15:39
Our artist collaborator, Ross Goodwin,
329
927198
1993
Наш сотрудник, художник Росс Гудвин,
15:41
has done experiments involving
a camera that takes a picture,
a camera that takes a picture,
330
929215
3671
провёл эксперимент с камерой,
на которую делал снимок,
на которую делал снимок,
15:44
and then a computer in his backpack
writes a poem using neural networks,
writes a poem using neural networks,
331
932910
4234
а в рюкзаке у него был компьютер,
пишущий стихи посредством нейронных сетей,
пишущий стихи посредством нейронных сетей,
15:49
based on the contents of the image.
332
937168
1944
которые брали за основу фотографию.
15:51
And that poetry neural network
has been trained
has been trained
333
939136
2947
И эта поэтическая нейронная сеть
была «натренирована»
была «натренирована»
15:54
on a large corpus of 20th-century poetry.
334
942107
2234
на обширном корпусе поэзии XX века.
15:56
And the poetry is, you know,
335
944365
1499
И знаете, получившиеся стихи,
15:57
I think, kind of not bad, actually.
336
945888
1914
по-моему, не не так уж и плохи.
15:59
(Laughter)
337
947826
1384
(Смех)
16:01
In closing,
338
949234
1159
В завершение скажу,
16:02
I think that per Michelangelo,
339
950417
2132
что считаю,
16:04
I think he was right;
340
952573
1234
Микаленджело был прав:
16:05
perception and creativity
are very intimately connected.
are very intimately connected.
341
953831
3436
восприятие и творчество
очень тесно связаны между собой.
очень тесно связаны между собой.
16:09
What we've just seen are neural networks
342
957611
2634
Мы только что увидели нейронные сети,
16:12
that are entirely trained to discriminate,
343
960269
2303
полностью обученные различать
16:14
or to recognize different
things in the world,
things in the world,
344
962596
2242
и распознавать разные физические объекты,
16:16
able to be run in reverse, to generate.
345
964862
3161
а также работать в обратном направлении,
воспроизводя их.
воспроизводя их.
16:20
One of the things that suggests to me
346
968047
1783
На эту мысль меня наводит не то,
16:21
is not only that
Michelangelo really did see
Michelangelo really did see
347
969854
2398
что Микеланджело действительно видел
16:24
the sculpture in the blocks of stone,
348
972276
2452
скульптуру в глыбе камня,
16:26
but that any creature,
any being, any alien
any being, any alien
349
974752
3638
а то, что любое существо,
даже инопланетное,
даже инопланетное,
16:30
that is able to do
perceptual acts of that sort
perceptual acts of that sort
350
978414
3657
способное к такому восприятию,
16:34
is also able to create
351
982095
1375
также способно творить,
16:35
because it's exactly the same
machinery that's used in both cases.
machinery that's used in both cases.
352
983494
3224
потому что действия в обоих случаях
одинаковые.
одинаковые.
16:38
Also, I think that perception
and creativity are by no means
and creativity are by no means
353
986742
4532
Кроме того, я думаю,
что восприятие и творчество присущи
что восприятие и творчество присущи
16:43
uniquely human.
354
991298
1210
не только человеку.
16:44
We start to have computer models
that can do exactly these sorts of things.
that can do exactly these sorts of things.
355
992532
3708
У нас начинают появляться компьютеры,
которые могут делать то же самое.
которые могут делать то же самое.
16:48
And that ought to be unsurprising;
the brain is computational.
the brain is computational.
356
996264
3328
И это неудивительно,
ведь мозг — своего рода компьютер.
ведь мозг — своего рода компьютер.
16:51
And finally,
357
999616
1657
И наконец,
16:53
computing began as an exercise
in designing intelligent machinery.
in designing intelligent machinery.
358
1001297
4668
информатика зарождалась в попытках
создания искусственного интеллекта.
создания искусственного интеллекта.
16:57
It was very much modeled after the idea
359
1005989
2462
Её во многом сформировала концепция о том,
17:00
of how could we make machines intelligent.
360
1008475
3013
как можно сделать машины умнее.
17:03
And we finally are starting to fulfill now
361
1011512
2162
И сейчас мы начинаем выполнять
17:05
some of the promises
of those early pioneers,
of those early pioneers,
362
1013698
2406
некоторые обещания тех первопроходцев,
17:08
of Turing and von Neumann
363
1016128
1713
Тьюринга и фон Неймана,
17:09
and McCulloch and Pitts.
364
1017865
2265
Мак-Каллока и Питтса.
17:12
And I think that computing
is not just about accounting
is not just about accounting
365
1020154
4098
Я считаю, что компьютеры —
это не только расчёты,
это не только расчёты,
17:16
or playing Candy Crush or something.
366
1024276
2147
пасьянс «Косынка» или что-то подобное.
17:18
From the beginning,
we modeled them after our minds.
we modeled them after our minds.
367
1026447
2578
Мы изначально делали компьютеры
похожими на свой мозг.
похожими на свой мозг.
17:21
And they give us both the ability
to understand our own minds better
to understand our own minds better
368
1029049
3269
И они дали нам возможность
лучше понять собственный мозг
лучше понять собственный мозг
17:24
and to extend them.
369
1032342
1529
и развивать его.
17:26
Thank you very much.
370
1034627
1167
Большое спасибо.
17:27
(Applause)
371
1035818
5939
(Аплодисменты)
ABOUT THE SPEAKER
Blaise Agüera y Arcas - Software architectBlaise Agüera y Arcas works on machine learning at Google. Previously a Distinguished Engineer at Microsoft, he has worked on augmented reality, mapping, wearable computing and natural user interfaces.
Why you should listen
Blaise Agüera y Arcas is principal scientist at Google, where he leads a team working on machine intelligence for mobile devices. His group works extensively with deep neural nets for machine perception and distributed learning, and it also investigates so-called "connectomics" research, assessing maps of connections within the brain.
Agüera y Arcas' background is as multidimensional as the visions he helps create. In the 1990s, he authored patents on both video compression and 3D visualization techniques, and in 2001, he made an influential computational discovery that cast doubt on Gutenberg's role as the father of movable type.
He also created Seadragon (acquired by Microsoft in 2006), the visualization technology that gives Photosynth its amazingly smooth digital rendering and zoom capabilities. Photosynth itself is a vastly powerful piece of software capable of taking a wide variety of images, analyzing them for similarities, and grafting them together into an interactive three-dimensional space. This seamless patchwork of images can be viewed via multiple angles and magnifications, allowing us to look around corners or “fly” in for a (much) closer look. Simply put, it could utterly transform the way we experience digital images.
He joined Microsoft when Seadragon was acquired by Live Labs in 2006. Shortly after the acquisition of Seadragon, Agüera y Arcas directed his team in a collaboration with Microsoft Research and the University of Washington, leading to the first public previews of Photosynth several months later. His TED Talk on Seadragon and Photosynth in 2007 is rated one of TED's "most jaw-dropping." He returned to TED in 2010 to demo Bing’s augmented reality maps.
Fun fact: According to the author, Agüera y Arcas is the inspiration for the character Elgin in the 2012 best-selling novel Where'd You Go, Bernadette?
Blaise Agüera y Arcas | Speaker | TED.com