ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com
TEDxUSC

Paul Debevec: Animating a photo-real digital face

Paul Debevec o cyfrowej animacji fotorealistycznej twarzy

Filmed:
881,584 views

Na TEDxUSC, geniusz grafiki komputerowej, Paul Debevec objaśnia technologię stojącą za zwracającą na siebie uwagę Cyfrową Emily, wyjątkowo realistyczną ludzką twarzą wygenerowaną cyfrowo.
- Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button. Full bio

Double-click the English transcript below to play the video.

00:18
One of the biggestnajwiększy challengeswyzwania in computerkomputer graphicsgrafika
0
0
3000
Jednym z największych wyzwań grafiki komputerowej
00:21
has been beingistota ablezdolny to createStwórz a photo-realZdjęcie real,
1
3000
2000
jest stworzenie fotorealistycznej,
00:23
digitalcyfrowy humanczłowiek facetwarz.
2
5000
2000
cyfrowej wersji ludzkiej twarzy.
00:25
And one of the reasonspowody it is so difficulttrudny is that, unlikew odróżnieniu alienskosmici and dinosaursdinozaury,
3
7000
3000
Stworzenie jej jest ciężkie, gdyż w przeciwieństwie do obcych i dinozaurów,
00:28
we look at humanczłowiek facestwarze everykażdy day.
4
10000
3000
ludzkie twarze oglądamy na codzień.
00:31
They are very importantważny to how we communicatekomunikować się with eachkażdy other.
5
13000
2000
Są one naprawdę istotne dla naszej komunikacji.
00:33
As a resultwynik, we're tuneddostrojony in to the subtlestnajsubtelniejsza things
6
15000
3000
W rezultacie, jesteśmy wyczuleni na najsubtelniejsze detale,
00:36
that could possiblymożliwie be wrongźle with a computerkomputer renderingwykonanie,
7
18000
2000
które mogą zostać źle wyrenderowane,
00:38
in orderzamówienie to believe whetherczy these things are realisticrealistyczne.
8
20000
3000
by uwierzyć, że te obrazy są prawdziwe.
00:41
And what I'm going to do in the nextNastępny fivepięć minutesminuty
9
23000
2000
W przeciągu następnych 5 minut
00:43
is take you throughprzez a processproces
10
25000
2000
pokażę Wam proces, w którym próbowaliśmy
00:45
where we triedwypróbowany to createStwórz a reasonablyracjonalnie photo-realisticfotorealistyczne computer-generatedwygenerowane komputerowo facetwarz,
11
27000
3000
stworzyć fotorealistyczną twarz wygenerowaną komputerowo,
00:48
usingza pomocą some computerkomputer graphicsgrafika technologytechnologia we'vemamy developedrozwinięty,
12
30000
3000
używając technik grafiki komputerowej opracowanych
00:51
and alsorównież some collaboratorswspółpracownicy at a companyfirma callednazywa ImageObraz MetricsMetryki.
13
33000
2000
przez nas i współpracowników z firmy Image Metrics.
00:53
And we're going to try to do a photo-realZdjęcie real facetwarz
14
35000
2000
Chcieliśmy stworzyć fotorealistyczną twarz
00:55
of an actressaktorka namedo imieniu EmilyEmily O'BrienO'Brien, who is right there.
15
37000
3000
aktorki Emily O'Brien, którą tu widzicie.
00:58
And that's actuallytak właściwie a completelycałkowicie computer-generatedwygenerowane komputerowo renderingwykonanie of her facetwarz.
16
40000
3000
A to w pełni komputerowo wygenerowany obraz jej twarzy.
01:01
By the endkoniec of the talk, we're going to see it moveruszaj się.
17
43000
2000
Nim skończę prezentację, zobaczycie ją w ruchu.
01:03
The way that we did this is we triedwypróbowany to startpoczątek with EmilyEmily herselfsię,
18
45000
3000
Nasz sposób polegał na zajęciu się na początku Emily,
01:06
who was graciousłaskawy enoughdość to come to our laboratorylaboratorium
19
48000
3000
która była na tyle wspaniała, że pojawiła się w naszym laboratorium
01:09
in MarinaMarina DelDel ReyRey, and sitsiedzieć for a sessionsesja in LightŚwiatło StageEtap 5.
20
51000
3000
w Marina Del Rey by wziąć udział w sesji w Light Stage 5.
01:12
This is a face-scanningskanująca spherekula, with 156 whitebiały LEDsDiody LED all around
21
54000
4000
Jest to skanująca sfera, z 156 białymi LEDami dookoła,
01:16
that allowdopuszczać us to photographfotografia her
22
58000
2000
która pozwala fotografować twarze
01:18
in a seriesseria of very controlledkontrolowane illuminationOświetlenie conditionswarunki.
23
60000
3000
w precyzyjnie kontrolowanych warunkach oświetlenia.
01:21
And the lightingoświetlenie that we use these daysdni lookswygląda something like this.
24
63000
3000
Oświetlenie, którego użyliśmy wyglądało podobnie do tego.
01:24
We shootstrzelać all of these photographsfotografie in about threetrzy secondstowary drugiej jakości.
25
66000
2000
Zrobienie wszystkich zdjęć trwa około trzy sekundy.
01:26
And we basicallygruntownie capturezdobyć enoughdość informationInformacja
26
68000
3000
Gromadzimy wystarczającą ilość informacji używając
01:29
with videowideo projectorprojektor patternswzorce that drapePłachta over the contourskontury of her facetwarz,
27
71000
4000
wzorów z projektora, pokrywających kontury jej twarzy,
01:33
and differentróżne principlezasada directionswskazówki of lightlekki from the lightlekki stageetap,
28
75000
2000
i różnych kierunków padania światła z lamp,
01:35
to figurepostać out bothobie the coarse-scaleniskiej skali
29
77000
2000
aby uzyskać zarówno ogólny zarys,
01:37
and the fine-scaledokładnej skali detailSzczegół of her facetwarz.
30
79000
2000
jak i detale jej twarzy.
01:39
If we zoomPowiększenie in on this photographfotografia right here,
31
81000
2000
Gdy powiększymy tą fotografię,
01:41
we can see it's a really nicemiły photographfotografia to have of her,
32
83000
2000
zobaczymy, że całkiem miło jest mieć takie ujęcie,
01:43
because she is litoświetlony from absolutelyabsolutnie everywherewszędzie at the samepodobnie time
33
85000
4000
gdyż jest ona oświetlona w tym momencie z każdego kierunku,
01:47
to get a nicemiły imageobraz of her facialwytryski na twarz texturetekstura.
34
89000
2000
co daje ładny obraz faktury jej twarzy.
01:49
And in additiondodanie, we'vemamy actuallytak właściwie used polarizerspolaryzatory on all the lightsświatła --
35
91000
3000
W dodatku ze wszystkimi światłami używaliśmy polaryzatorów --
01:52
just like polarizedspolaryzowane sunglassesokulary słoneczne can blockblok
36
94000
2000
tak jak okulary polaryzacyjne mogą blokować
01:54
the glareblask off of the roadDroga,
37
96000
2000
odblaski na drodze,
01:56
polarizerspolaryzatory can blockblok the shineblask off of the skinskóra,
38
98000
2000
tak nasze polaryzatory mogą blokować lśnienie skóry,
01:58
so we don't get all those specularlustrzane reflectionsrefleksje to take this mapmapa.
39
100000
3000
także nie mamy tych wszystkich odblasków na tej mapie twarzy.
02:01
Now, if we turnskręcać the polarizerspolaryzatory around just a little bitkawałek,
40
103000
2000
Teraz, jeżeli obrócimy polaryzatory nawet odrobinę,
02:03
we can actuallytak właściwie bringprzynieść that specularlustrzane reflectionodbicie
41
105000
2000
możemy znów przywrócić odblaski
02:05
of the skinskóra back in,
42
107000
2000
na skórze,
02:07
and you can see she lookswygląda kinduprzejmy of shinybłyszczący and oilytłustej at this pointpunkt.
43
109000
3000
i jak widzicie wygląda ona teraz błyszcząco i gładko.
02:10
If you take the differenceróżnica betweenpomiędzy these two imagesobrazy here,
44
112000
3000
Gdyby wziąć różnicę pomiędzy tymi dwoma obrazami,
02:13
you can get an imageobraz litoświetlony from the entireCały spherekula of lightlekki
45
115000
2000
można otrzymać obraz światła, pochodzącego z pełnej sfery,
02:15
of just the shineblask off of Emily'sEmily's skinskóra.
46
117000
3000
będącego jedynie blaskiem skóry Emily.
02:18
I don't think any photographfotografia like this had ever been takenwzięty
47
120000
2000
Nie sądzę, aby taka fotografia została
02:20
before we had doneGotowe this.
48
122000
2000
zrobiona kiedykolwiek przed naszą.
02:22
And this is very importantważny lightlekki to capturezdobyć,
49
124000
3000
To bardzo ważne światło do uchwycenia,
02:25
because this is the lightlekki that reflectsodzwierciedla off the first surfacepowierzchnia of the skinskóra.
50
127000
2000
gdyż odbija się od naskórka.
02:27
It doesn't get underneathpod spodem the translucentprzeświecający
51
129000
2000
Nie przenika przez półprzezroczyste
02:29
layerswarstwy of the skinskóra and blurrozmycie out.
52
131000
2000
jego warstwy i nie zanika.
02:31
And, as a resultwynik, it's a very good cuereplika
53
133000
2000
W rezultacie, jest to bardzo dobra sygnatura
02:33
to the detailedszczegółowe shapekształt of the skin-poreporów skóry structureStruktura
54
135000
3000
wymyślnego kształtu porowatej struktury skóry,
02:36
and all of the fine wrinkleszmarszczki that all of us have,
55
138000
2000
i wszystkich pięknych zmarszczek jakie posiadamy,
02:38
the things that actuallytak właściwie make us look like realreal humansludzie.
56
140000
2000
rzeczy, które czynią nasz wygląd ludzkim.
02:40
So, if we use informationInformacja that comespochodzi off of this specularlustrzane reflectionodbicie,
57
142000
4000
Jeśli więc użyjemy informacji pochodzących z tych odblasków
02:44
we can go from a traditionaltradycyjny facetwarz scanskandować
58
146000
2000
możemy przejść od tradycyjnego skanowania twarzy,
02:46
that mightmoc have the grossobrzydliwy contourskontury of the facetwarz and the basicpodstawowy shapekształt,
59
148000
4000
które może wychwycić rysy twarzy i podstawowy kształt,
02:50
and augmentulepszenie it with informationInformacja
60
152000
2000
i dodać do niego informacje,
02:52
that putsstawia in all of that skinskóra poreporów structureStruktura and fine wrinkleszmarszczki.
61
154000
3000
które wniosą całą strukturę porowatą i zmarszczki.
02:55
And, even more importantlyco ważne,
62
157000
2000
I co ważniejsze,
02:57
sinceod this is a photometricfotometryczne processproces that only takes threetrzy secondstowary drugiej jakości to capturezdobyć,
63
159000
3000
ponieważ jest to proces fotometryczny trwający jedynie trzy sekundy,
03:00
we can shootstrzelać EmilyEmily
64
162000
2000
możemy sfotografować Emily
03:02
in just partczęść of an afternoonpopołudnie,
65
164000
2000
w zaledwie kilka godzin,
03:04
in manywiele differentróżne facialwytryski na twarz posespozy and facialwytryski na twarz expressionswyrażenia.
66
166000
3000
w wielu różnych pozach i wyrazach twarzy.
03:07
So, here you can see her movingw ruchu her eyesoczy around, movingw ruchu her mouthusta around.
67
169000
3000
Możecie tu zobaczyć jak wodzi oczami czy rusza ustami.
03:10
And these we're actuallytak właściwie going to use to createStwórz a photo-realZdjęcie real digitalcyfrowy characterpostać.
68
172000
3000
Te ruchy pozwolą nam stworzyć fotorealistyczną, cyfrową postać.
03:13
If you take a look at these scansskany that we have of EmilyEmily,
69
175000
4000
Jeżeli przyjrzycie się tym skanom Emilii, które posiadamy,
03:17
you can see that the humanczłowiek facetwarz does an enormousogromny amountilość of amazingniesamowity things
70
179000
3000
możecie dostrzec, że ludzka twarz wykonuje niewiarygodną ilość wspaniałych rzeczy
03:20
as it goesidzie into differentróżne facialwytryski na twarz expressionswyrażenia.
71
182000
3000
przyjmując różne wyrazy twarzy.
03:23
You can see things. Not only the facetwarz shapekształt changeszmiany,
72
185000
3000
Zmienia się nie tylko kształt twarzy,
03:26
but all sortssortuje of differentróżne skinskóra bucklingwyboczenia and skinskóra wrinklingmarszczenie occurswystępuje.
73
188000
4000
ale pojawia się cały szereg różnych zniekształceń skóry czy zmarszczek.
03:30
You can see that the skinskóra poreporów structureStruktura changeszmiany enormouslyogromnie
74
192000
4000
Widać, że struktura porów skóry zmienia się kolosalnie
03:34
from stretchedrozciągnięty skinskóra porespory
75
196000
2000
od rozciągniętej,
03:36
to the regularregularny skinskóra texturetekstura.
76
198000
2000
aż do regularnej jej faktury.
03:38
You can see the furrowsbruzdy in the browcienie do powiek and how the microstructuremikrostruktura changeszmiany there.
77
200000
3000
Widać, jak zmienia się mikrostruktura zmarszczek na czole.
03:41
You can see musclesmięśnie pullingciągnięcie down at fleshciało to bringprzynieść her eyebrowsbrwi down.
78
203000
4000
Widać mięśnie ściągające tkanki w celu obniżenia jej brwi.
03:45
Her musclesmięśnie bulgingwybrzuszenia in her foreheadczoło when she winceskrzywi like that.
79
207000
3000
Wybrzuszające się mięśnie na jej czole, gdy krzywi się w ten sposób.
03:48
In additiondodanie to this kinduprzejmy of high-resolutionwysoka rozdzielczość geometryGeometria,
80
210000
3000
W dodatku do tej geometrii wysokiej rozdzielczości,
03:51
sinceod it's all capturedschwytany with cameraskamery, we'vemamy got a great texturetekstura mapmapa to use for the facetwarz.
81
213000
4000
ponieważ wszystko rejestrujemy aparatami, otrzymujemy świetne tekstury jej twarzy.
03:55
And by looking at how the differentróżne colorkolor channelskanały of the illuminationOświetlenie,
82
217000
2000
A poprzez analizę jak różne kolory iluminacji,
03:57
the redczerwony and the greenZielony and the blueniebieski,
83
219000
2000
czerwony, zielony i niebieski,
03:59
diffuserozproszone the lightlekki differentlyróżnie,
84
221000
2000
rozpraszają światło w różny sposób,
04:01
we can come up with a way of shadingcieniowanie the skinskóra on the computerkomputer.
85
223000
3000
możemy wprowadzić nowy system komputerowego cieniowania skóry.
04:04
Then, insteadzamiast of looking like a plastergips mannequinMannequin,
86
226000
3000
Wtedy, zamiast wyglądać jak gipsowy manekin,
04:07
it actuallytak właściwie lookswygląda like it's madezrobiony out of livingżycie humanczłowiek fleshciało.
87
229000
3000
twarz wygląda jakby była zrobiona z żyjącej, ludzkiej tkanki.
04:10
And this is what we used
88
232000
2000
Wszystkiego tego użyliśmy
04:12
to give to the companyfirma ImageObraz MetricsMetryki
89
234000
2000
do przekazania danych firmie Image Metrics
04:14
to createStwórz a riggedsfałszowane, digitalcyfrowy versionwersja of EmilyEmily.
90
236000
3000
by stworzyła kompleksową, cyfrową wersję Emily.
04:17
We're just seeingwidzenie the coarse-scaleniskiej skali geometryGeometria here.
91
239000
2000
Widać tu ogólną geometrię,
04:19
But they basicallygruntownie createdstworzony a digitalcyfrowy puppetlalek of her,
92
241000
3000
stworzyli oni jej cyfrową kukiełkę,
04:22
where you can pullCiągnąć on these variousróżnorodny stringssmyczki,
93
244000
2000
w której można pociągać za różne sznurki,
04:24
and it actuallytak właściwie movesporusza się her facetwarz in wayssposoby that are
94
246000
2000
poruszające jej twarzą w sposób
04:26
completelycałkowicie consistentzgodny with the scansskany that we tookwziął.
95
248000
2000
całkowicie zgodny ze skanami, które wykonaliśmy.
04:28
And, in additiondodanie to the coarse-scaleniskiej skali geometryGeometria,
96
250000
2000
I w dodatku do tej ogólnej geometrii
04:30
they alsorównież used all of that detailSzczegół
97
252000
2000
użyto wszystkich detali aby stworzyć
04:32
to createStwórz a setzestaw of what are callednazywa "displacementprzemieszczenie mapsmapy"
98
254000
3000
zestaw czegoś co nazywano "mapami przemieszczeń",
04:35
that animateProgram Animate as well.
99
257000
3000
które również animowali.
04:38
These are the displacementprzemieszczenie mapsmapy here.
100
260000
2000
Tutaj mamy wspomniane mapy przemieszczeń.
04:40
And you can see those differentróżne wrinkleszmarszczki actuallytak właściwie showpokazać up as she animatesożywia.
101
262000
3000
Możecie zobaczyć zmarszczki, które pokazują się w trakcie jej ruchów.
04:43
So the nextNastępny processproces was then to animateProgram Animate her.
102
265000
2000
Następnym krokiem było wykonanie animacji twarzy.
04:45
We actuallytak właściwie used one of her ownwłasny performanceswystępy to providezapewniać the sourceźródło datadane.
103
267000
4000
Użyliśmy jednego z jej własnych występów jako danych źródłowych.
04:49
So, by analyzinganalizowanie this videowideo with computerkomputer visionwizja techniquestechniki,
104
271000
3000
Przez analizę zapisu przy użyciu komputerowych technik obróbki obrazu,
04:52
they were ablezdolny to drivenapęd the facialwytryski na twarz rigtakielunek
105
274000
2000
zdołano odtworzyć ruchy twarzy
04:54
with the computer-generatedwygenerowane komputerowo performancewydajność.
106
276000
2000
w generowanym przez komputer występie.
04:56
So what you're going to see now, after this,
107
278000
2000
To co zaraz zobaczycie
04:58
is a completelycałkowicie photo-realZdjęcie real digitalcyfrowy facetwarz.
108
280000
2000
jest całkowicie fotorealistyczną, cyfrową twarzą.
05:00
We can turnskręcać the volumeTom up a little bitkawałek if that's availabledostępny.
109
282000
2000
Proszę pogłośnić dźwięk, jeżeli jest to możliwe.
05:02
EmilyEmily: ImageObraz MetricsMetryki is a markerlesswiedzioną, performance-drivenoparte na wydajności animationanimacja companyfirma.
110
284000
4000
Emily: Image Metrics jest wiedzioną zapotrzebowaniem firmą tworzącą animacje, nie korzystającą z markerów.
05:06
We specializespecjalizować in high-qualitywysokiej jakości facialwytryski na twarz animationanimacja
111
288000
3000
Specjalizujemy się w wysokiej jakości animacji twarzy
05:09
for videowideo gamesGry and filmsfilmy.
112
291000
2000
dla potrzeb gier video oraz filmów.
05:11
ImageObraz MetricsMetryki is a markerlesswiedzioną, performance-drivenoparte na wydajności animationanimacja companyfirma.
113
293000
4000
Emily: Image Metrics jest wiedzioną zapotrzebowaniem firmą tworzącą animacje, nie korzystającą z markerów.
05:15
We specializespecjalizować in highwysoki qualityjakość facialwytryski na twarz animationanimacja
114
297000
3000
Specjalizujemy się w wysokiej jakości animacji twarzy
05:18
for videowideo gamesGry and filmsfilmy.
115
300000
3000
dla potrzeb gier video oraz filmów.
05:21
PaulPaweł DebevecDebevec: So, if we breakprzerwa that down into layerswarstwy, here'soto jest that diffuserozproszone componentskładnik
116
303000
2000
Paul Debevec: Jeżeli rozdzielimy to na warstwy, tu mamy część rozproszeniową,
05:23
we saw in the first slideślizgać się.
117
305000
2000
którą widzieliśmy na pierwszym slajdzie.
05:25
Here is the specularlustrzane componentskładnik animatingAnimowanie.
118
307000
2000
To animacja części z odblaskami.
05:27
You can see all the wrinkleszmarszczki happeningwydarzenie there.
119
309000
2000
Możecie zobaczyć wszystkie zmarszczki.
05:29
And there is the underlyingpoważniejszych wireframemodel szkieletowy meshsiatka.
120
311000
5000
A oto jest podstawowa siatka krawędzi.
05:34
And that is EmilyEmily herselfsię.
121
316000
2000
A to jest Emily we własnej osobie.
05:36
Now, where are we going with this here?
122
318000
2000
Teraz, dokąd to wszystko nas prowadzi?
05:38
We'veMamy goneodszedł a little bitkawałek beyondpoza LightŚwiatło StageEtap 5. This is LightŚwiatło StageEtap 6,
123
320000
4000
Zrobiliśmy już nieco więcej niż Light Stage 5. Oto Light Stage 6.
05:42
and we're looking at takingnabierający this technologytechnologia
124
324000
2000
Myślimy o przeniesieniu tej technologii
05:44
and applyingstosowanie it to wholecały humanczłowiek bodiesciała.
125
326000
2000
i zastosowaniu jej do całego ludzkiego ciała.
05:46
This is BruceBruce LawmenA to oznacza, one of our researchersnaukowcy in the groupGrupa,
126
328000
2000
Oto Bruce Lawmen, jeden z badaczy w naszej grupie,
05:48
who graciouslyłaskawie agreedZgoda to get capturedschwytany runningbieganie in the LightŚwiatło StageEtap.
127
330000
3000
który zgodził się być uchwyconym w biegu wewnątrz Light Stage.
05:51
And let's take a look at a computer-generatedwygenerowane komputerowo versionwersja
128
333000
2000
A teraz spójrzmy na komputerowo wygenerowaną wersję
05:53
of BruceBruce, runningbieganie in a newNowy environmentśrodowisko.
129
335000
2000
Bruce`a, biegnącego w nowym środowisku.
06:01
And thank you very much.
130
343000
2000
Dziękuję bardzo.
06:03
(ApplauseAplauz)
131
345000
1000
(Aplauz)
Translated by Przemysaw Baka
Reviewed by Seweryn Jakubiec

▲Back to top

ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com