ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com
TEDxUSC

Paul Debevec: Animating a photo-real digital face

Пол Дебевек создаёт фото-реалистичное цифровое лицо.

Filmed:
881,584 views

На TEDxUSC пионер в области компьютерной графики Пол Дебевек объясняет захватывающую технологию, лежащую в основе цифровой Эмили, созданного цифровым способом лица настолько реалистичного, что оно не проигрывает в сравнении с кинокадрами.
- Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button. Full bio

Double-click the English transcript below to play the video.

00:18
One of the biggestсамый большой challengesпроблемы in computerкомпьютер graphicsграфика
0
0
3000
Одной из самых сложных задач в компьютерной графике
00:21
has been beingявляющийся ableв состоянии to createСоздайте a photo-realфото-реальное,
1
3000
2000
было создание фото-реалистичного
00:23
digitalцифровой humanчеловек faceлицо.
2
5000
2000
цифрового лица человека.
00:25
And one of the reasonsпричины it is so difficultсложно is that, unlikeВ отличие от aliensинопланетяне and dinosaursдинозавры,
3
7000
3000
Одна из причин, почему это так сложно сделать, в отличие от инопланетян или динозавров,
00:28
we look at humanчеловек facesлица everyкаждый day.
4
10000
3000
заключается в том, что мы видим человеческие лица каждый день.
00:31
They are very importantважный to how we communicateобщаться with eachкаждый other.
5
13000
2000
Они очень важны для нас при общении друг с другом.
00:33
As a resultрезультат, we're tunedнастроенный in to the subtlestтончайшая things
6
15000
3000
В результате мы обращаем внимание на мельчайшие детали,
00:36
that could possiblyвозможно be wrongнеправильно with a computerкомпьютер renderingоказание,
7
18000
2000
с которыми может быть что-то не так при компьютерном воспроизведении,
00:38
in orderзаказ to believe whetherбудь то these things are realisticреалистический.
8
20000
3000
для того чтобы поверить, что эти детали выглядят реалистично.
00:41
And what I'm going to do in the nextследующий five5 minutesминут
9
23000
2000
В течение следующих 5 минут
00:43
is take you throughчерез a processобработать
10
25000
2000
я объясню вам процесс,
00:45
where we triedпытался to createСоздайте a reasonablyразумно photo-realisticфото-реалистичные computer-generatedгенерируемые компьютером faceлицо,
11
27000
3000
в ходе которого мы попытались создать на компьютере достаточно фото-реалистичное лицо
00:48
usingс помощью some computerкомпьютер graphicsграфика technologyтехнологии we'veмы в developedразвитая,
12
30000
3000
с помощью разработанной нами технологии компьютерной графики,
00:51
and alsoтакже some collaboratorsсотрудники at a companyКомпания calledназывается ImageОбраз Metricsметрика.
13
33000
2000
а также нескольких коллег из компании Image Metrics.
00:53
And we're going to try to do a photo-realфото-реальное faceлицо
14
35000
2000
Мы постараемся воссоздать фото-реалистичное лицо
00:55
of an actressактриса namedназванный EmilyЭмили O'BrienО'Брайен, who is right there.
15
37000
3000
актрисы Эмили О' Брайен. Вот она.
00:58
And that's actuallyна самом деле a completelyполностью computer-generatedгенерируемые компьютером renderingоказание of her faceлицо.
16
40000
3000
Это действительно полностью созданное на компьютере изображение её лица.
01:01
By the endконец of the talk, we're going to see it moveпереехать.
17
43000
2000
В конце презентации мы увидим, как оно движется.
01:03
The way that we did this is we triedпытался to startНачало with EmilyЭмили herselfсама,
18
45000
3000
Итак, мы начали с самой Эмили,
01:06
who was graciousмилостивый enoughдостаточно to come to our laboratoryлаборатория
19
48000
3000
которая любезно согласилась посетить нашу лабораторию
01:09
in MarinaМарина DelDel ReyRey, and sitсидеть for a sessionсессия in LightЛегкий Stageстадия 5.
20
51000
3000
в Марина Дель Рэй и посидеть на сессии в Light Stage 5.
01:12
This is a face-scanningлицо сканирование sphereсфера, with 156 whiteбелый LEDsсветодиоды all around
21
54000
4000
Это сфера для сканирования лица, заполененная 156 белыми светодиодами,
01:16
that allowпозволять us to photographфотография her
22
58000
2000
которые позволяют нам фотографировать её
01:18
in a seriesсерии of very controlledконтролируемый illuminationосвещение conditionsусловия.
23
60000
3000
в последовательности очень точно откалиброванных условий освещения.
01:21
And the lightingосветительные приборы that we use these daysдней looksвыглядит something like this.
24
63000
3000
А освещение, которое мы используем сейчас выглядит приблизительно так.
01:24
We shootстрелять all of these photographsфотографии in about threeтри secondsсекунд.
25
66000
2000
Мы делаем все эти снимки приблизительно за 3 секунды.
01:26
And we basicallyв основном captureзахватить enoughдостаточно informationИнформация
26
68000
3000
И мы, по существу, получаем достаточно информации
01:29
with videoвидео projectorпроектор patternsузоры that drapeдрапировка over the contoursконтуры of her faceлицо,
27
71000
4000
с помощью шаблонов видеопроектора, которые окружают контуры её лица,
01:33
and differentдругой principleпринцип directionsнаправления of lightлегкий from the lightлегкий stageсцена,
28
75000
2000
и различных закономерностей рассеивания света по световой сцене,
01:35
to figureфигура out bothи то и другое the coarse-scaleгрубая шкала
29
77000
2000
чтобы получить как макро,
01:37
and the fine-scaleмелкомасштабные detailподробно of her faceлицо.
30
79000
2000
так и микро детали её лица.
01:39
If we zoomзум in on this photographфотография right here,
31
81000
2000
Если мы увеличим фотографию здесь,
01:41
we can see it's a really niceхороший photographфотография to have of her,
32
83000
2000
то увидим, что это очень хорошая фотография,
01:43
because she is litосвещенный from absolutelyабсолютно everywhereвезде at the sameодна и та же time
33
85000
4000
потому что она освещена одновременно абсолютно отовсюду,
01:47
to get a niceхороший imageобраз of her facialлицевой textureтекстура.
34
89000
2000
для получения качественного изображения структуры её лица.
01:49
And in additionприбавление, we'veмы в actuallyна самом деле used polarizersполяризаторы on all the lightsогни --
35
91000
3000
Кроме того, мы использывали поляризаторы на всех источниках света --
01:52
just like polarizedполяризованный sunglassesсолнечные очки can blockблок
36
94000
2000
также как и поляризационные линзы в солнечных очках могут блокировать
01:54
the glareяркий свет off of the roadДорога,
37
96000
2000
отблески от дороги,
01:56
polarizersполяризаторы can blockблок the shineблеск off of the skinкожа,
38
98000
2000
поляризаторы могут блокировать блеск кожи,
01:58
so we don't get all those specularзеркальный reflectionsразмышления to take this mapкарта.
39
100000
3000
чтобы не было всех этих зеркальных отражений при составлении карты лица.
02:01
Now, if we turnочередь the polarizersполяризаторы around just a little bitнемного,
40
103000
2000
А теперь, если мы слегка повернём поляризаторы,
02:03
we can actuallyна самом деле bringприносить that specularзеркальный reflectionотражение
41
105000
2000
мы сможем вернуть зеркальные отражения
02:05
of the skinкожа back in,
42
107000
2000
на кожу,
02:07
and you can see she looksвыглядит kindсвоего рода of shinyблестящий and oilyмаслянистый at this pointточка.
43
109000
3000
и, как вы видите, на этой стадии, она выглядит жирной и блестит..
02:10
If you take the differenceразница betweenмежду these two imagesизображений here,
44
112000
3000
Если взять различия между этими двумя изображениями,
02:13
you can get an imageобраз litосвещенный from the entireвсе sphereсфера of lightлегкий
45
115000
2000
можно получить изображение, освещенное всей световой сферой,
02:15
of just the shineблеск off of Emily'sЭмили skinкожа.
46
117000
3000
только блеска кожи Эмили.
02:18
I don't think any photographфотография like this had ever been takenвзятый
47
120000
2000
Я не думаю, что подобная фотография была когда-либо снята,
02:20
before we had doneсделанный this.
48
122000
2000
до того как это сделали мы.
02:22
And this is very importantважный lightлегкий to captureзахватить,
49
124000
3000
И очень важно поймать этот свет,
02:25
because this is the lightлегкий that reflectsотражает off the first surfaceповерхность of the skinкожа.
50
127000
2000
потому что это свет, отражаемый с самой верхней поверхности кожи.
02:27
It doesn't get underneathпод the translucentполупрозрачный
51
129000
2000
Он не достигает полупрозрачных
02:29
layersслои of the skinкожа and blurпятно out.
52
131000
2000
слоёв кожи и сглаживается.
02:31
And, as a resultрезультат, it's a very good cueкий
53
133000
2000
В результате получается очень хорошая картина
02:33
to the detailedподробный shapeформа of the skin-poreкожа поры structureсостав
54
135000
3000
детальной структуры пор её кожи
02:36
and all of the fine wrinklesморщины that all of us have,
55
138000
2000
и всех маленьких морщин, которые есть у всех нас,
02:38
the things that actuallyна самом деле make us look like realреальный humansлюди.
56
140000
2000
тех самых, благодаря которым мы выглядим как настоящие люди.
02:40
So, if we use informationИнформация that comesвыходит off of this specularзеркальный reflectionотражение,
57
142000
4000
Если мы используем информацию, полученную из этого зеркального отражения,
02:44
we can go from a traditionalтрадиционный faceлицо scanсканирование
58
146000
2000
мы можем начать с традиционного сканированного лица,
02:46
that mightмог бы have the grossваловой contoursконтуры of the faceлицо and the basicосновной shapeформа,
59
148000
4000
которое может иметь общие контуры и форму лица,
02:50
and augmentувеличивать it with informationИнформация
60
152000
2000
и дополнить его информацией,
02:52
that putsпуты in all of that skinкожа poreпоры structureсостав and fine wrinklesморщины.
61
154000
3000
добавляющей всю структуру кожных пор и тонких морщин.
02:55
And, even more importantlyважно,
62
157000
2000
Что ещё важнее,
02:57
sinceпоскольку this is a photometricфотометрический processобработать that only takes threeтри secondsсекунд to captureзахватить,
63
159000
3000
так как это фотометрический процесс занимающий всего 3 секунды,
03:00
we can shootстрелять EmilyЭмили
64
162000
2000
мы можем снять Эмили
03:02
in just partчасть of an afternoonпосле полудня,
65
164000
2000
всего за несколько часов
03:04
in manyмногие differentдругой facialлицевой posesпозы and facialлицевой expressionsвыражения.
66
166000
3000
в разных позах и с разными выражениями лица.
03:07
So, here you can see her movingперемещение her eyesглаза around, movingперемещение her mouthрот around.
67
169000
3000
Итак, здесь вы можете увидеть, как она двигает глазами и ртом.
03:10
And these we're actuallyна самом деле going to use to createСоздайте a photo-realфото-реальное digitalцифровой characterперсонаж.
68
172000
3000
И мы собираемся использовать эти движения для создания цифрового фото-реалистичного персонажа.
03:13
If you take a look at these scansсканирование that we have of EmilyЭмили,
69
175000
4000
Если вы взгляните на эти сканированные снимки Эмили,
03:17
you can see that the humanчеловек faceлицо does an enormousогромный amountколичество of amazingудивительно things
70
179000
3000
то увидите, что человеческое лицо совершает невероятное количество удивительных вещей
03:20
as it goesидет into differentдругой facialлицевой expressionsвыражения.
71
182000
3000
при создании различных выражений лица.
03:23
You can see things. Not only the faceлицо shapeформа changesизменения,
72
185000
3000
Посмотрите. Меняется не только форма лица,
03:26
but all sortsвиды of differentдругой skinкожа bucklingпотеря устойчивости and skinкожа wrinklingсморщивание occursимеет место.
73
188000
4000
но и появляются всевозможные изгибы и морщины.
03:30
You can see that the skinкожа poreпоры structureсостав changesизменения enormouslyчрезвычайно
74
192000
4000
Как вы видите, структура пор кожи сильно изменяется
03:34
from stretchedрастянуты skinкожа poresпоры
75
196000
2000
от вытянутых пор кожи,
03:36
to the regularрегулярный skinкожа textureтекстура.
76
198000
2000
до обычной структуры кожи.
03:38
You can see the furrowsборозды in the browчело and how the microstructureмикроструктура changesизменения there.
77
200000
3000
Можно увидеть глубокие морщины на брови и как там меняется микроструктура.
03:41
You can see musclesмышцы pullingтянущий down at fleshплоть to bringприносить her eyebrowsброви down.
78
203000
4000
Можно увидеть, как тянутся её мышцы при опускании бровей.
03:45
Her musclesмышцы bulgingвыпячивание in her foreheadлоб when she wincesморщится like that.
79
207000
3000
Лобные мышцы выступают, когда она морщится вот так.
03:48
In additionприбавление to this kindсвоего рода of high-resolutionвысокое разрешение geometryгеометрия,
80
210000
3000
В дополнение к такому типу геометрии высокого разрешения,
03:51
sinceпоскольку it's all capturedзахваченный with camerasкамеры, we'veмы в got a great textureтекстура mapкарта to use for the faceлицо.
81
213000
4000
так как всё это снимается камерами, мы получаем великолепную карту структуры её лица.
03:55
And by looking at how the differentдругой colorцвет channelsканалы of the illuminationосвещение,
82
217000
2000
И наблюдая, как различные цветовые каналы освещения --
03:57
the redкрасный and the greenзеленый and the blueсиний,
83
219000
2000
красный, зелёный и голубой --
03:59
diffuseдиффузный the lightлегкий differentlyиначе,
84
221000
2000
по-разному рассеивают свет,
04:01
we can come up with a way of shadingзатенение the skinкожа on the computerкомпьютер.
85
223000
3000
мы можем понять, как следует затенять кожу на компьютере.
04:04
Then, insteadвместо of looking like a plasterштукатурка mannequinманекен,
86
226000
3000
Благодаря этому она выглядит не как пластиковый манекен,
04:07
it actuallyна самом деле looksвыглядит like it's madeсделал out of livingживой humanчеловек fleshплоть.
87
229000
3000
а как настоящая, из плоти и крови.
04:10
And this is what we used
88
232000
2000
И именно это мы использовали, чтобы
04:12
to give to the companyКомпания ImageОбраз Metricsметрика
89
234000
2000
дать компании Image Metrics
04:14
to createСоздайте a riggedподстроенный, digitalцифровой versionверсия of EmilyЭмили.
90
236000
3000
возможность создать цифровую версию Эмили.
04:17
We're just seeingвидя the coarse-scaleгрубая шкала geometryгеометрия here.
91
239000
2000
Мы только что видели геометрию макро масштаба.
04:19
But they basicallyв основном createdсозданный a digitalцифровой puppetкукольный of her,
92
241000
3000
Но они, по существу, создали её цифровую марионетку,
04:22
where you can pullвытащить on these variousразличный stringsстроки,
93
244000
2000
которую можно дёргать за различные нити,
04:24
and it actuallyна самом деле movesдвижется her faceлицо in waysпути that are
94
246000
2000
и это будет изменять её лицо
04:26
completelyполностью consistentпоследовательный with the scansсканирование that we tookвзял.
95
248000
2000
полностью согласно сканированными изображениям, которые мы сделали.
04:28
And, in additionприбавление to the coarse-scaleгрубая шкала geometryгеометрия,
96
250000
2000
В дополнение к геометрии макро масштаба
04:30
they alsoтакже used all of that detailподробно
97
252000
2000
они также использовали все детали
04:32
to createСоздайте a setзадавать of what are calledназывается "displacementсмещение mapsкарты"
98
254000
3000
для создания набора, так называемых "карт движений",
04:35
that animateоживлять as well.
99
257000
3000
которые также анимируются.
04:38
These are the displacementсмещение mapsкарты here.
100
260000
2000
Вот это карты движений.
04:40
And you can see those differentдругой wrinklesморщины actuallyна самом деле showпоказать up as she animatesоживляет.
101
262000
3000
И как вы видите, те разные морщины действительно появляются в процессе анимации.
04:43
So the nextследующий processобработать was then to animateоживлять her.
102
265000
2000
Следующий процесс заключался в её полном анимировании.
04:45
We actuallyна самом деле used one of her ownсвоя performancesвыступления to provideпредоставлять the sourceисточник dataданные.
103
267000
4000
Мы на самом деле использовали одно из её выступлений в качестве исходного источника данных.
04:49
So, by analyzingанализирующая this videoвидео with computerкомпьютер visionвидение techniquesметоды,
104
271000
3000
Проанализировав это видео с помощью техник компьютерного анализа изображений,
04:52
they were ableв состоянии to driveводить машину the facialлицевой rigустановка
105
274000
2000
нам удалось заставить её лицо двигаться
04:54
with the computer-generatedгенерируемые компьютером performanceпредставление.
106
276000
2000
вместе с воспроизводимым компьютером выступлением.
04:56
So what you're going to see now, after this,
107
278000
2000
То, что вы сейчас увидите является
04:58
is a completelyполностью photo-realфото-реальное digitalцифровой faceлицо.
108
280000
2000
полностью цифровым фото-реалистичным лицом.
05:00
We can turnочередь the volumeобъем up a little bitнемного if that's availableдоступный.
109
282000
2000
Мы можем немного увеличить громкость, если возможно.
05:02
EmilyЭмили: ImageОбраз Metricsметрика is a markerlessбезмаркерных, performance-drivenпроизводительность приводом animationанимация companyКомпания.
110
284000
4000
Эмили: Image Metrics - это инновационная, ориентированная на результат анимационная компания.
05:06
We specializeспециализироваться in high-qualityвысокое качество facialлицевой animationанимация
111
288000
3000
Мы специализируемся в высококачественной анимации лиц
05:09
for videoвидео gamesигры and filmsфильмы.
112
291000
2000
для видеоигр и фильмов.
05:11
ImageОбраз Metricsметрика is a markerlessбезмаркерных, performance-drivenпроизводительность приводом animationанимация companyКомпания.
113
293000
4000
Image Metrics - это инновационная, ориентированная на результат анимационная компания.
05:15
We specializeспециализироваться in highвысокая qualityкачественный facialлицевой animationанимация
114
297000
3000
Мы специализируемся в высококачественной анимации лиц
05:18
for videoвидео gamesигры and filmsфильмы.
115
300000
3000
для видеоигр и фильмов.
05:21
PaulПавел DebevecDebevec: So, if we breakломать that down into layersслои, here'sвот that diffuseдиффузный componentкомпонент
116
303000
2000
Пол Дебевек: Итак, если мы разобьём это на слои, вот тот рассеянный компонент,
05:23
we saw in the first slideгорка.
117
305000
2000
который мы видели на первом слайде.
05:25
Here is the specularзеркальный componentкомпонент animatingоживляющий.
118
307000
2000
Вот анимируется зеркальный компонент.
05:27
You can see all the wrinklesморщины happeningпроисходит there.
119
309000
2000
Здесь видно все появляющиеся морщины.
05:29
And there is the underlyingлежащий в основе wireframeкаркасные meshмеш.
120
311000
5000
А вот лежащий в основе каркас.
05:34
And that is EmilyЭмили herselfсама.
121
316000
2000
А это сама Эмили.
05:36
Now, where are we going with this here?
122
318000
2000
Что же у нас получается?
05:38
We'veУ нас goneпрошло a little bitнемного beyondза LightЛегкий Stageстадия 5. This is LightЛегкий Stageстадия 6,
123
320000
4000
Мы продвинулись немного дальше Light Stage 5. Это - Light Stage 6.
05:42
and we're looking at takingпринятие this technologyтехнологии
124
324000
2000
Мы собираемся применить эту технологию
05:44
and applyingприменение it to wholeвсе humanчеловек bodiesтела.
125
326000
2000
целиком к человеческим телам.
05:46
This is BruceБрюс LawmenLawmen, one of our researchersисследователи in the groupгруппа,
126
328000
2000
Это Брюс Лоумен, один из исследователей нашей группы.
05:48
who graciouslyлюбезно agreedсогласовано to get capturedзахваченный runningБег in the LightЛегкий Stageстадия.
127
330000
3000
Он любезно согласился сняться бегущим в Light Stage.
05:51
And let's take a look at a computer-generatedгенерируемые компьютером versionверсия
128
333000
2000
Давайте посмотрим на созданную компьютером версию
05:53
of BruceБрюс, runningБег in a newновый environmentОкружающая среда.
129
335000
2000
Брюса, бегущего в новой обстановке.
06:01
And thank you very much.
130
343000
2000
Большое спасибо.
06:03
(ApplauseАплодисменты)
131
345000
1000
(Аплодисменты)
Translated by Nikolay Frolov
Reviewed by Galina Vyday

▲Back to top

ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com