ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com
TEDxUSC

Paul Debevec: Animating a photo-real digital face

Пол Дебевек анимира фотореалистично дигитално лице

Filmed:
881,584 views

На TEDxUSC пионерът в компютърната графика Пол Дебевек обяснява смайващата технология, стояща зад Дигиталната Емили - дигитално конструирано човешко лице, толкова реалистично, че издържа на множество дубли.
- Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button. Full bio

Double-click the English transcript below to play the video.

00:18
One of the biggestНай-големият challengesпредизвикателства in computerкомпютър graphicsграфики
0
0
3000
Едно от най-големите предизвикателства в компютърната графика
00:21
has been beingсъщество ableспособен to createсъздавам a photo-realФото реални,
1
3000
2000
бе възможността да се създаде фотореалистично,
00:23
digitalдигитален humanчовек faceлице.
2
5000
2000
дигитално човешко лице.
00:25
And one of the reasonsпричини it is so difficultтруден is that, unlikeза разлика от aliensизвънземни and dinosaursдинозаврите,
3
7000
3000
Една от причините това да е толкова трудно е, че за разлика от извънземните и динозаврите,
00:28
we look at humanчовек facesлица everyвсеки day.
4
10000
3000
гледаме човешки лица всеки ден.
00:31
They are very importantважно to how we communicateобщуват with eachвсеки other.
5
13000
2000
Те са много важни за начина, по който комуникираме един с друг.
00:33
As a resultрезултат, we're tunedОчаквайте in to the subtlestнеуловимите things
6
15000
3000
В резултат на това сме се настроили да откриваме най-фините неща,
00:36
that could possiblyвъзможно be wrongпогрешно with a computerкомпютър renderingоказване,
7
18000
2000
възможни проблеми в едно компютърно пресъздаване,
00:38
in orderпоръчка to believe whetherдали these things are realisticреалистичен.
8
20000
3000
за да повярваме, че то изглежда реалистично.
00:41
And what I'm going to do in the nextследващия fiveпет minutesминути
9
23000
2000
През следващите пет минути
00:43
is take you throughпрез a processпроцес
10
25000
2000
ще ви преведа през един процес,
00:45
where we triedопитах to createсъздавам a reasonablyразумно photo-realisticфотореалистични computer-generatedкомпютърно генерирани faceлице,
11
27000
3000
при който се опитахме да създадем разумно фотореалистично компютърно генерирано лице
00:48
usingизползвайки some computerкомпютър graphicsграфики technologyтехнология we'veние имаме developedразвита,
12
30000
3000
с помощта на технологии за компютърна графика, развити от нас,
00:51
and alsoсъщо some collaboratorsсътрудници at a companyкомпания calledНаречен ImageИзображение MetricsПоказатели.
13
33000
2000
както и с някои сътрудници от една фирма на име "Имидж метрикс".
00:53
And we're going to try to do a photo-realФото реални faceлице
14
35000
2000
Ще се опитаме да пресъздадем фотореалистично лицето
00:55
of an actressактриса namedна име EmilyЕмили O'BrienО ' Брайън, who is right there.
15
37000
3000
на една актриса на име Емили О'Брайън, която е ей там.
00:58
And that's actuallyвсъщност a completelyнапълно computer-generatedкомпютърно генерирани renderingоказване of her faceлице.
16
40000
3000
Това всъщност е компютърно генерирано представяне на нейното лице.
01:01
By the endкрай of the talk, we're going to see it moveход.
17
43000
2000
До края на разговора ще го видим да се движи.
01:03
The way that we did this is we triedопитах to startначало with EmilyЕмили herselfсебе си,
18
45000
3000
Начинът, по който го направихме, е, като опитахме да започнем със самата Емили,
01:06
who was graciousмилостив enoughдостатъчно to come to our laboratoryлаборатория
19
48000
3000
която бе така любезна да дойде в нашата лаборатория
01:09
in MarinaМарина DelДел ReyРей, and sitседя for a sessionсесия in LightСветлина StageЕтап 5.
20
51000
3000
в Марина Дел Рей, и да остане за една сесия в "Лайт Стейдж 5".
01:12
This is a face-scanningсканиране на лицето sphereсфера, with 156 whiteбял LEDsСветодиоди all around
21
54000
4000
Това е сфера за сканиране на лице със 156 бели светодиода от всички страни,
01:16
that allowпозволява us to photographснимка her
22
58000
2000
които ни позволяват да я фотографираме
01:18
in a seriesсерия of very controlledконтролиран illuminationосветление conditionsусловия.
23
60000
3000
при ред много контролирани условия на осветление.
01:21
And the lightingосветление that we use these daysдни looksвъншност something like this.
24
63000
3000
Осветлението, което използваме тези дни, изглежда подобно на това.
01:24
We shootстрелям all of these photographsфотографии in about threeтри secondsсекунди.
25
66000
2000
Правим всички тези снимки за около три секунди.
01:26
And we basicallyв основата си captureулавяне enoughдостатъчно informationинформация
26
68000
3000
И по същество улавяме достатъчно информация
01:29
with videoвидео projectorпроекционен апарат patternsмодели that drapeчаршаф over the contoursконтурите of her faceлице,
27
71000
4000
с шаблони от видеопрожектори, които покриват контурите на лицето й
01:33
and differentразличен principleпринцип directionsинструкции of lightсветлина from the lightсветлина stageсцена,
28
75000
2000
и различни посоки от светлинни източници от светлинната сцена,
01:35
to figureфигура out bothи двете the coarse-scaleгруби мащаб
29
77000
2000
за да установим както грубо-мащабните,
01:37
and the fine-scaleкоординати detailдетайл of her faceлице.
30
79000
2000
така и фините детайли на лицето й.
01:39
If we zoomмащабиране in on this photographснимка right here,
31
81000
2000
Ако погледнем тази снимка тук под увеличение,
01:41
we can see it's a really niceприятен photographснимка to have of her,
32
83000
2000
виждаме, че това е наистина хубава нейна снимка,
01:43
because she is litпийнал from absolutelyабсолютно everywhereнавсякъде at the sameедин и същ time
33
85000
4000
защото е осветена абсолютно отвсякъде едновременно
01:47
to get a niceприятен imageизображение of her facialлицето textureтекстура.
34
89000
2000
и се получава добър образ на лицевата й текстура.
01:49
And in additionдопълнение, we'veние имаме actuallyвсъщност used polarizersполяризатори on all the lightsсветлини --
35
91000
3000
В добавка към това, всъщност използвахме поляризатори на всички лампи -
01:52
just like polarizedполяризирани sunglassesслънчеви очила can blockблок
36
94000
2000
точно както поляризираните слънчеви очила могат да блокират
01:54
the glareослепителен блясък off of the roadпът,
37
96000
2000
отблясъците от пътя,
01:56
polarizersполяризатори can blockблок the shineблясък off of the skinкожа,
38
98000
2000
поляризаторите могат да блокират отразения от кожата блясък,
01:58
so we don't get all those specularогледален reflectionsРазмисли to take this mapкарта.
39
100000
3000
така че не получаваме всички онези огледални отражения при съставянето на тази карта.
02:01
Now, if we turnзавой the polarizersполяризатори around just a little bitмалко,
40
103000
2000
Ако завъртим съвсем малко поляризаторите,
02:03
we can actuallyвсъщност bringвъвеждат that specularогледален reflectionразмисъл
41
105000
2000
всъщност можем да върнем това огледално отражение
02:05
of the skinкожа back in,
42
107000
2000
на кожата обратно вътре,
02:07
and you can see she looksвъншност kindмил of shinyлъскав and oilyмазна at this pointточка.
43
109000
3000
и виждате как сега тя изглежда някак лъскаво и мазно.
02:10
If you take the differenceразлика betweenмежду these two imagesснимки here,
44
112000
3000
Ако вземете разликата между тези два образа тук,
02:13
you can get an imageизображение litпийнал from the entireцял sphereсфера of lightсветлина
45
115000
2000
можете да получите образ, осветен от цялата светлинна сфера,
02:15
of just the shineблясък off of Emily'sЕмили skinкожа.
46
117000
3000
или просто блясъка, отразяван от кожата на Емили.
02:18
I don't think any photographснимка like this had ever been takenвзета
47
120000
2000
Не мисля, че някога е била правена такава снимка,
02:20
before we had doneСвършен this.
48
122000
2000
преди ние да постигнем това.
02:22
And this is very importantважно lightсветлина to captureулавяне,
49
124000
3000
Много е важно да се улови тази светлина,
02:25
because this is the lightсветлина that reflectsотразява off the first surfaceповърхност of the skinкожа.
50
127000
2000
защото това е светлината, отразявана от първата кожна повърхност.
02:27
It doesn't get underneathотдолу the translucentполупрозрачен
51
129000
2000
Тя не стига под полупрозрачните
02:29
layersслоеве of the skinкожа and blurмъгла out.
52
131000
2000
слоеве на кожата и се замъглява.
02:31
And, as a resultрезултат, it's a very good cueщека
53
133000
2000
В резултат на това е много добро подсещане
02:33
to the detailedподробни shapeформа of the skin-poreкожа-порите structureструктура
54
135000
3000
за детайлната форма на структурата на кожните пори
02:36
and all of the fine wrinklesбръчки that all of us have,
55
138000
2000
и на всички фини бръчки, които имаме всички ние -
02:38
the things that actuallyвсъщност make us look like realреален humansхората.
56
140000
2000
нещата, които всъщност ни придават вид на реални хора.
02:40
So, if we use informationинформация that comesидва off of this specularогледален reflectionразмисъл,
57
142000
4000
И така - ако използваме информацията, следваща от това огледално отражение,
02:44
we can go from a traditionalтрадиционен faceлице scanпреглеждане
58
146000
2000
можем да преминем от традиционното сканиране на лице,
02:46
that mightбиха могли, може have the grossбрутен contoursконтурите of the faceлице and the basicосновен shapeформа,
59
148000
4000
което може да даде грубите контури на лицето и базовата форма,
02:50
and augmentувеличи it with informationинформация
60
152000
2000
и да го наситим с информация,
02:52
that putsпоставя in all of that skinкожа poreпорите structureструктура and fine wrinklesбръчки.
61
154000
3000
която внася цялата тази структура от кожни пори и фини бръчки.
02:55
And, even more importantlyважно,
62
157000
2000
И, още по-важно -
02:57
sinceот this is a photometricфотометрични processпроцес that only takes threeтри secondsсекунди to captureулавяне,
63
159000
3000
тъй като това е фотометричен процес, за чието улавяне са необходими само три секунди,
03:00
we can shootстрелям EmilyЕмили
64
162000
2000
можем да снимаме Емили
03:02
in just partчаст of an afternoonследобед,
65
164000
2000
само за част от един следобед,
03:04
in manyмного differentразличен facialлицето posesпози and facialлицето expressionsизражения.
66
166000
3000
в много различни лицеви пози и лицеви изражения.
03:07
So, here you can see her movingдвижещ her eyesочи around, movingдвижещ her mouthуста around.
67
169000
3000
Тук я виждате да движи очите си, да движи устата си.
03:10
And these we're actuallyвсъщност going to use to createсъздавам a photo-realФото реални digitalдигитален characterхарактер.
68
172000
3000
Ще използваме тези снимки, за да създадем фотореалистична дигитална героиня.
03:13
If you take a look at these scansсканиране that we have of EmilyЕмили,
69
175000
4000
Ако погледнете тези изображения на Емили, които имаме,
03:17
you can see that the humanчовек faceлице does an enormousогромен amountколичество of amazingудивителен things
70
179000
3000
ще видите, че човешкото лице прави невероятно много изумителни неща,
03:20
as it goesотива into differentразличен facialлицето expressionsизражения.
71
182000
3000
докато преминава в различни лицеви изражения.
03:23
You can see things. Not only the faceлице shapeформа changesпромени,
72
185000
3000
Виждате как стоят нещата. Не само че формата на лицето се променя,
03:26
but all sortsвидове of differentразличен skinкожа bucklingколани and skinкожа wrinklingбръчки occursвъзниква.
73
188000
4000
но се случва и най-различно обтягане и набръчкване на кожата.
03:30
You can see that the skinкожа poreпорите structureструктура changesпромени enormouslyбезкрайно
74
192000
4000
Виждате, че структурата на кожните пори се променя невероятно много -
03:34
from stretchedразтегнат skinкожа poresпори
75
196000
2000
от разтегнати кожни пори
03:36
to the regularредовен skinкожа textureтекстура.
76
198000
2000
до обичайната кожна структура.
03:38
You can see the furrowsбразди in the browчело and how the microstructureмикроструктура changesпромени there.
77
200000
3000
Виждате браздите на челото и как микроструктурата се променя там.
03:41
You can see musclesмускули pullingдърпане down at fleshплът to bringвъвеждат her eyebrowsвежди down.
78
203000
4000
Виждате мускули да теглят плътта, за да свалят веждите й надолу.
03:45
Her musclesмускули bulgingизпъкнали in her foreheadчело when she wincesпремигва like that.
79
207000
3000
Мускулите й изпъкват на челото, когато тя премигва така.
03:48
In additionдопълнение to this kindмил of high-resolutionс висока резолюция geometryгеометрия,
80
210000
3000
В добавка към тази висококачествена геометрия,
03:51
sinceот it's all capturedзаловен with camerasфотоапарати, we'veние имаме got a great textureтекстура mapкарта to use for the faceлице.
81
213000
4000
тъй като всичко се улавя с камери, имаме страхотна текстурна карта за лицето, която да използваме.
03:55
And by looking at how the differentразличен colorцвят channelsканали of the illuminationосветление,
82
217000
2000
А като разглеждаме как различните цветови канали на осветлението -
03:57
the redчервен and the greenзелен and the blueсин,
83
219000
2000
червеният, зеленият и синият
03:59
diffuseдифузен the lightсветлина differentlyразлично,
84
221000
2000
разпръскват различно светлината,
04:01
we can come up with a way of shadingоцветяване the skinкожа on the computerкомпютър.
85
223000
3000
можем да намерим начин да постигнем нюансиране на кожата в компютъра.
04:04
Then, insteadвместо of looking like a plasterгипс mannequinманекен,
86
226000
3000
Тогава, вместо да изглежда като пластмасов манекен,
04:07
it actuallyвсъщност looksвъншност like it's madeизработен out of livingжив humanчовек fleshплът.
87
229000
3000
всъщност изглежда, като че ли е направен от жива човешка плът.
04:10
And this is what we used
88
232000
2000
Използвахме това,
04:12
to give to the companyкомпания ImageИзображение MetricsПоказатели
89
234000
2000
за да го дадем на фирмата "Имидж Метрикс",
04:14
to createсъздавам a riggedтакелаж, digitalдигитален versionверсия of EmilyЕмили.
90
236000
3000
за да създадат пълна дигитална версия на Емили.
04:17
We're just seeingвиждане the coarse-scaleгруби мащаб geometryгеометрия here.
91
239000
2000
Тук виждаме само геометрията в груб мащаб.
04:19
But they basicallyв основата си createdсъздаден a digitalдигитален puppetКуклен of her,
92
241000
3000
Но те по същество създадоха от нея дигитална кукла,
04:22
where you can pullдърпам on these variousразлични stringsструни,
93
244000
2000
която може да бъде управлявана с различни конци,
04:24
and it actuallyвсъщност movesходове her faceлице in waysначини that are
94
246000
2000
и това наистина движи лицето й по начини,
04:26
completelyнапълно consistentпоследователен with the scansсканиране that we tookвзеха.
95
248000
2000
напълно съвместими със сканиранията, които предприехме.
04:28
And, in additionдопълнение to the coarse-scaleгруби мащаб geometryгеометрия,
96
250000
2000
В добавка към грубомащабната геометрия,
04:30
they alsoсъщо used all of that detailдетайл
97
252000
2000
те използваха също и множество подробности,
04:32
to createсъздавам a setкомплект of what are calledНаречен "displacementизместване mapsкарти"
98
254000
3000
за да създадат набор от така наречените "карти на отместване",
04:35
that animateАнимиране as well.
99
257000
3000
които също анимират.
04:38
These are the displacementизместване mapsкарти here.
100
260000
2000
Това тук са картите на отместване.
04:40
And you can see those differentразличен wrinklesбръчки actuallyвсъщност showшоу up as she animatesсъживява.
101
262000
3000
Вжидате как наистина се показват различни бръчки, докато тя се съживява.
04:43
So the nextследващия processпроцес was then to animateАнимиране her.
102
265000
2000
Следващият процес беше да я съживим.
04:45
We actuallyвсъщност used one of her ownсобствен performancesпредставления to provideпредоставяне the sourceизточник dataданни.
103
267000
4000
Всъщност, използвахме едно от нейните представления, за да си осигурим източник на данни.
04:49
So, by analyzingанализиране на this videoвидео with computerкомпютър visionзрение techniquesтехники,
104
271000
3000
Чрез анализ на този видеозапис с техники за компютърно виждане,
04:52
they were ableспособен to driveпът the facialлицето rigмонтирам
105
274000
2000
те са постигнали управление на лицевото изражение
04:54
with the computer-generatedкомпютърно генерирани performanceпроизводителност.
106
276000
2000
с компютърно генерирано изпълнение.
04:56
So what you're going to see now, after this,
107
278000
2000
Това, което ще видите сега - след това,
04:58
is a completelyнапълно photo-realФото реални digitalдигитален faceлице.
108
280000
2000
е напълно фотореалистично дигитално лице.
05:00
We can turnзавой the volumeсила на звука up a little bitмалко if that's availableна разположение.
109
282000
2000
Може да увеличим малко звука, ако има възможност.
05:02
EmilyЕмили: ImageИзображение MetricsПоказатели is a markerlessМетрис, performance-drivenвъз основа на ефективността animationанимация companyкомпания.
110
284000
4000
Емили: "Имидж Метрис" е необикновена, насочена към постижения фирма за анимация.
05:06
We specializeспециализират in high-qualityвисоко качество facialлицето animationанимация
111
288000
3000
Специализирали сме се във висококачествена лицева анимация
05:09
for videoвидео gamesигри and filmsфилми.
112
291000
2000
за видеоигри и филми.
05:11
ImageИзображение MetricsПоказатели is a markerlessМетрис, performance-drivenвъз основа на ефективността animationанимация companyкомпания.
113
293000
4000
"Имидж Метрис" е необикновена, насочена към постижения фирма за анимация.
05:15
We specializeспециализират in highВисоко qualityкачество facialлицето animationанимация
114
297000
3000
Специализирали сме се във вискокачествена лицева анимация
05:18
for videoвидео gamesигри and filmsфилми.
115
300000
3000
за видеоигри и филми.
05:21
PaulПол DebevecДебевек: So, if we breakпочивка that down into layersслоеве, here'sето that diffuseдифузен componentкомпонент
116
303000
2000
Пол Дебевек: И така, ако разбием това на слоеве, ето онзи разпръскващ компонент,
05:23
we saw in the first slideпързалка.
117
305000
2000
който видяхме в първия кадър.
05:25
Here is the specularогледален componentкомпонент animatingАнимиране.
118
307000
2000
Ето как отразяващият компонент анимира.
05:27
You can see all the wrinklesбръчки happeningслучва there.
119
309000
2000
Виждате как се получават всички бръчки там.
05:29
And there is the underlyingосновните wireframeWireframe meshотвор.
120
311000
5000
А тук е рамковата мрежа отдолу.
05:34
And that is EmilyЕмили herselfсебе си.
121
316000
2000
А това е самата Емили.
05:36
Now, where are we going with this here?
122
318000
2000
А сега, докъде сме с това тук?
05:38
We'veНие сме goneси отиде a little bitмалко beyondотвъд LightСветлина StageЕтап 5. This is LightСветлина StageЕтап 6,
123
320000
4000
Стигнали сме малко отвъд "Лайт Стейдж 5". Това е "Лайт Стейдж 6".
05:42
and we're looking at takingприемате this technologyтехнология
124
324000
2000
Работим за това да вземем тази технология
05:44
and applyingприлагане it to wholeцяло humanчовек bodiesтела.
125
326000
2000
и да я приложим към цели човешки тела.
05:46
This is BruceБрус LawmenLawmen, one of our researchersизследователи in the groupгрупа,
126
328000
2000
Това е Брус Лоумен, един от нашите изследователи в групата,
05:48
who graciouslyлюбезно agreedсъгласуван to get capturedзаловен runningбягане in the LightСветлина StageЕтап.
127
330000
3000
който любезно се съгласи да бъде уловен, докато тича в "Лайт Стейдж".
05:51
And let's take a look at a computer-generatedкомпютърно генерирани versionверсия
128
333000
2000
Да погледнем една компютърно-генерирана версия
05:53
of BruceБрус, runningбягане in a newнов environmentзаобикаляща среда.
129
335000
2000
на Брус, тичащ в нова околна среда.
06:01
And thank you very much.
130
343000
2000
Много ви благодаря.
06:03
(ApplauseАплодисменти)
131
345000
1000
(Аплодисменти)
Translated by MaYoMo com
Reviewed by Anton Hikov

▲Back to top

ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com