TEDxUSC
Paul Debevec: Animating a photo-real digital face
پال دِبِوک: متحرک سازی یک چهره دیجیتالی واقعی-نما
Filmed:
Readability: 4.8
881,584 views
در TEDxUSC (دانشگاه کالیفرنیا) پژوهشگر گرافیک رایانه‌ای «پال دبوک» درباره فناوری چهره سازی پشت «امیلی دیجیتالی» توضیح میدهد، چهره انسانی بسیار واقعی‌نما که به صورت دیجیتالی٬ با مراحل متعدد در تولید ساخته شده است.
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button. Full bio
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button. Full bio
Double-click the English transcript below to play the video.
00:18
One of the biggest challenges in computer graphics
0
0
3000
یکی از بزرگترین چالشها در گرافیک رایانه ای
00:21
has been being able to create a photo-real,
1
3000
2000
امکان خلق یک تصویر واقع-نمای دیجیتالی،
00:23
digital human face.
2
5000
2000
از چهره انسان بوده است.
00:25
And one of the reasons it is so difficult is that, unlike aliens and dinosaurs,
3
7000
3000
و یکی از دلایل مشکل بودنش اینه که
برخلاف آدم فضایی ها و دایناسورها،
برخلاف آدم فضایی ها و دایناسورها،
00:28
we look at human faces every day.
4
10000
3000
ما هر روز چهره انسان ها رو می بینیم.
00:31
They are very important to how we communicate with each other.
5
13000
2000
و این در کیفیت برقراری رابطه بین ما
خیلی مهمه.
خیلی مهمه.
00:33
As a result, we're tuned in to the subtlest things
6
15000
3000
در نتیجه،
ما به ظریف ترین چیزهایی که ممکن هست
ما به ظریف ترین چیزهایی که ممکن هست
00:36
that could possibly be wrong with a computer rendering,
7
18000
2000
در رندرینگ رایانه ای اشتباه بشه حساسیم،
00:38
in order to believe whether these things are realistic.
8
20000
3000
تا واقعی بودن شان باورپذیر شوند.
00:41
And what I'm going to do in the next five minutes
9
23000
2000
و کاری که در پنج دقیقه آینده میخواهم بکنم
00:43
is take you through a process
10
25000
2000
اینه که شما رو با فرایندی آشنا کنم
که طی اون ما تلاش کردیم توسط رایانه
یک چهره نسبتا واقعی نما بسازیم،
یک چهره نسبتا واقعی نما بسازیم،
00:45
where we tried to create a reasonably photo-realistic computer-generated face,
11
27000
3000
00:48
using some computer graphics technology we've developed,
12
30000
3000
با استفاده از یک فناوری گرافیک رایانه ای
ساخت خودمون،
ساخت خودمون،
و همکاری چند نفر از شرکتی
به اسم Image Metrics
به اسم Image Metrics
00:51
and also some collaborators at a company called Image Metrics.
13
33000
2000
00:53
And we're going to try to do a photo-real face
14
35000
2000
و میخواهیم یک تصویر واقعی نما
از چهره یک
از چهره یک
00:55
of an actress named Emily O'Brien, who is right there.
15
37000
3000
بازیگر به اسم «امیلی او. برایان» بسازیم
که اینجا می بینید.
که اینجا می بینید.
00:58
And that's actually a completely computer-generated rendering of her face.
16
40000
3000
و این در واقع یک رندرینگ از چهره اوست
که تماماً با رایانه ساخته شده
که تماماً با رایانه ساخته شده
01:01
By the end of the talk, we're going to see it move.
17
43000
2000
در پایان سخنرانی،
حرکت اون رو خواهیم دید.
حرکت اون رو خواهیم دید.
01:03
The way that we did this is we tried to start with Emily herself,
18
45000
3000
روش ما این طور بود که
سعی کردیم از خود امیلی شروع کنیم،
سعی کردیم از خود امیلی شروع کنیم،
01:06
who was gracious enough to come to our laboratory
19
48000
3000
که اونقدر لطف داشت که به آزمایشگاه ما
01:09
in Marina Del Rey, and sit for a session in Light Stage 5.
20
51000
3000
در مارینا دل ری بیاد
و به عنوان مدل در اتاق نور ۵ بنشینه.
و به عنوان مدل در اتاق نور ۵ بنشینه.
01:12
This is a face-scanning sphere, with 156 white LEDs all around
21
54000
4000
این یک کره پویشگر چهره است
با 156 ال.ئی.دی در اطرافش
با 156 ال.ئی.دی در اطرافش
01:16
that allow us to photograph her
22
58000
2000
که به ما امکان تصویر برداری از او را
در یک سری از
وضعیت های روشنایی کنترل شده میدهد.
وضعیت های روشنایی کنترل شده میدهد.
01:18
in a series of very controlled illumination conditions.
23
60000
3000
01:21
And the lighting that we use these days looks something like this.
24
63000
3000
و نورپردازی که ما امروزه استفاده میکنیم
چیزی شبیه به این هست.
چیزی شبیه به این هست.
01:24
We shoot all of these photographs in about three seconds.
25
66000
2000
ما تمام این تصاویر رو در مدت
حدودا سه ثانیه می گیریم.
حدودا سه ثانیه می گیریم.
01:26
And we basically capture enough information
26
68000
3000
و به میزان کافی
توسط الگوهای ویدئو پروژکتوری
توسط الگوهای ویدئو پروژکتوری
که خطوط تراز چهره ی او را پوشش می دهد
01:29
with video projector patterns that drape over the contours of her face,
27
71000
4000
و جهات اصلی نوری از اتاق نور
اطلاعات ثبت می کنیم
اطلاعات ثبت می کنیم
01:33
and different principle directions of light from the light stage,
28
75000
2000
01:35
to figure out both the coarse-scale
29
77000
2000
تا در هر دو مقیاس درشت و ریز
01:37
and the fine-scale detail of her face.
30
79000
2000
جزئیات چهره او را تصویر سازی کنیم.
01:39
If we zoom in on this photograph right here,
31
81000
2000
اگر این بخش از تصویر را بزرگنمایی کنیم،
01:41
we can see it's a really nice photograph to have of her,
32
83000
2000
می بینیم که این یک عکس واقعا خوب از اوست،
01:43
because she is lit from absolutely everywhere at the same time
33
85000
4000
چون همزمان از تمام جهات
به صورتش نور تابیده شده
به صورتش نور تابیده شده
تا از بافت صورت او تصویری خوب گرفته شود.
01:47
to get a nice image of her facial texture.
34
89000
2000
01:49
And in addition, we've actually used polarizers on all the lights --
35
91000
3000
و بعلاوه، ما در تمام چراغ ها
از قطبنده ی نور استفاده کرده ایم؛
از قطبنده ی نور استفاده کرده ایم؛
01:52
just like polarized sunglasses can block
36
94000
2000
درست مثل عینک های پلاریزه که میتوانند
01:54
the glare off of the road,
37
96000
2000
درخشش جاده را حذف کنند،
قطبنده ها میتوانند
درخشش پوست را حذف کنند،
درخشش پوست را حذف کنند،
01:56
polarizers can block the shine off of the skin,
38
98000
2000
01:58
so we don't get all those specular reflections to take this map.
39
100000
3000
تا ما همه ی آن نورهای منعکس شده را
برای گرفتن این نقشه نبینیم.
برای گرفتن این نقشه نبینیم.
02:01
Now, if we turn the polarizers around just a little bit,
40
103000
2000
حالا، اگر قطبنده ها را کمی بچرخانیم،
02:03
we can actually bring that specular reflection
41
105000
2000
میتوانیم آن انعکاس های نوری پوست را
02:05
of the skin back in,
42
107000
2000
دوباره برگردانیم،
02:07
and you can see she looks kind of shiny and oily at this point.
43
109000
3000
و می بینید که او در این حالت
براق و روغنی به نظر می رسه.
براق و روغنی به نظر می رسه.
02:10
If you take the difference between these two images here,
44
112000
3000
اگر تفاوت بین این دو تصویر را بگیرید،
02:13
you can get an image lit from the entire sphere of light
45
115000
2000
میتوانید تصویری روشن از
کل کره نورانی داشته باشید
کل کره نورانی داشته باشید
02:15
of just the shine off of Emily's skin.
46
117000
3000
که تنها از درخشش پوست امیلی است.
02:18
I don't think any photograph like this had ever been taken
47
120000
2000
فکر نمی کنم تا قبل از اینکه ما
این کار را انجام بدهیم
این کار را انجام بدهیم
02:20
before we had done this.
48
122000
2000
هیچ تصویری مانند این گرفته شده باشد
02:22
And this is very important light to capture,
49
124000
3000
و این نور بسیار مهمی است
که باید ضبط شود،
که باید ضبط شود،
02:25
because this is the light that reflects off the first surface of the skin.
50
127000
2000
چون این نوری است که از اولین سطح پوست
بازتابیده می شود
بازتابیده می شود
02:27
It doesn't get underneath the translucent
51
129000
2000
و به زیر لایه های مات پوست نمی رسد
02:29
layers of the skin and blur out.
52
131000
2000
و محو نمی شود
02:31
And, as a result, it's a very good cue
53
133000
2000
و در نتیجه، نشانی خیلی خوبی است
02:33
to the detailed shape of the skin-pore structure
54
135000
3000
برای شکل پرجزئیات از ساختار منافذ پوست
02:36
and all of the fine wrinkles that all of us have,
55
138000
2000
و تمام چین و چروک های ظریفی
که همه ما داریم،
که همه ما داریم،
02:38
the things that actually make us look like real humans.
56
140000
2000
چیزهایی که ما را شبیه یک انسان واقعی میکند
02:40
So, if we use information that comes off of this specular reflection,
57
142000
4000
پس، اگر از اطلاعاتی که از این
انعکاس های نور می رسد استفاده کنیم
انعکاس های نور می رسد استفاده کنیم
02:44
we can go from a traditional face scan
58
146000
2000
میتوانیم از یک پویش چهره معمولی
02:46
that might have the gross contours of the face and the basic shape,
59
148000
4000
که شامل خطوط تراز کلی چهره
و شکل بنیادی است فراتر برویم
و شکل بنیادی است فراتر برویم
و به آن اطلاعاتی اضافه کنیم
02:50
and augment it with information
60
152000
2000
02:52
that puts in all of that skin pore structure and fine wrinkles.
61
154000
3000
که همه آن ساختار منافذ و چروکیدکی های
ظریف را نشان میدهد
ظریف را نشان میدهد
02:55
And, even more importantly,
62
157000
2000
و مهمتر از آن
از آنجا که این یک فرآیند نورسنجی است که
تنها سه ثانیه زمان نیاز دارد
تنها سه ثانیه زمان نیاز دارد
02:57
since this is a photometric process that only takes three seconds to capture,
63
159000
3000
03:00
we can shoot Emily
64
162000
2000
میتوانیم در طول یک بعد از ظهر
03:02
in just part of an afternoon,
65
164000
2000
از موقعیت های مختلف و
03:04
in many different facial poses and facial expressions.
66
166000
3000
حالت های گوناگون چهره امیلی
تصویربرداری کنیم.
تصویربرداری کنیم.
03:07
So, here you can see her moving her eyes around, moving her mouth around.
67
169000
3000
مثلا اینجا می توانید ببینید که چشمها
و دهانش را تکان میدهد.
و دهانش را تکان میدهد.
03:10
And these we're actually going to use to create a photo-real digital character.
68
172000
3000
وما با استفاده از اینها قرار است که
یک شخصیت دیجیتالی واقعی نما خلق کنیم
یک شخصیت دیجیتالی واقعی نما خلق کنیم
03:13
If you take a look at these scans that we have of Emily,
69
175000
4000
اگر به این اسکن ها که از امیلی داریم
نگاه کنید
نگاه کنید
03:17
you can see that the human face does an enormous amount of amazing things
70
179000
3000
می بینید که چهره انسان
وقتی حالت های مختلف به خودش می گیره
وقتی حالت های مختلف به خودش می گیره
03:20
as it goes into different facial expressions.
71
182000
3000
کارهای خیلی شگفت انگیزی انجام میده.
03:23
You can see things. Not only the face shape changes,
72
185000
3000
مثلا می توانید ببینید که
نه تنها شکل چهره تغییر میکند،
نه تنها شکل چهره تغییر میکند،
03:26
but all sorts of different skin buckling and skin wrinkling occurs.
73
188000
4000
بلکه کلی کج و کولگی و چروک هم
روی پوست اتفاق می افتد.
روی پوست اتفاق می افتد.
03:30
You can see that the skin pore structure changes enormously
74
192000
4000
می بینید که ساختار منافذ پوست،
از منافذ پوستی کش آمده
از منافذ پوستی کش آمده
03:34
from stretched skin pores
75
196000
2000
تا بافت معمولی پوست
03:36
to the regular skin texture.
76
198000
2000
خیلی زیاد تغییر میکند
03:38
You can see the furrows in the brow and how the microstructure changes there.
77
200000
3000
می توانید شیارهای ابرو را ببینید
و اینکه چطور ریز-ساختار آنجا تغییر میکند.
و اینکه چطور ریز-ساختار آنجا تغییر میکند.
03:41
You can see muscles pulling down at flesh to bring her eyebrows down.
78
203000
4000
می بینید که عضلات، گوشت را پایین می کشند
تا ابروهای او را به سمت پایین خم کنند.
تا ابروهای او را به سمت پایین خم کنند.
03:45
Her muscles bulging in her forehead when she winces like that.
79
207000
3000
وقتی چهره اش را در هم میکشد
عضلات او در پیشانی اش برآمده می شود.
عضلات او در پیشانی اش برآمده می شود.
03:48
In addition to this kind of high-resolution geometry,
80
210000
3000
چونکه اینها همگی با دوربین ضبط شده،
علاوه بر این نوع از هندسه با رزلوشن بالا
علاوه بر این نوع از هندسه با رزلوشن بالا
03:51
since it's all captured with cameras, we've got a great texture map to use for the face.
81
213000
4000
ما نقشه ای عالی از بافت داریم
که برای صورت به کار ببریم
که برای صورت به کار ببریم
03:55
And by looking at how the different color channels of the illumination,
82
217000
2000
و با در نظر گرفتن اینکه چطور
کانالهای مختلف رنگ در روشنایی،
کانالهای مختلف رنگ در روشنایی،
03:57
the red and the green and the blue,
83
219000
2000
قرمز و سبز و آبی،
03:59
diffuse the light differently,
84
221000
2000
نور را متفاوت پراکنده می کنند،
04:01
we can come up with a way of shading the skin on the computer.
85
223000
3000
می توانیم راهی برای سایه پردازی پوست
در رایانه خلق کنیم.
در رایانه خلق کنیم.
04:04
Then, instead of looking like a plaster mannequin,
86
226000
3000
آن وقت، به جای اینکه شبیه یک
مجسمه ی مانکن شود
مجسمه ی مانکن شود
04:07
it actually looks like it's made out of living human flesh.
87
229000
3000
واقعا به این می ماند که
از گوشت انسان زنده ساخته شده.
از گوشت انسان زنده ساخته شده.
04:10
And this is what we used
88
232000
2000
و این چیزی است که استفاده کردیم
04:12
to give to the company Image Metrics
89
234000
2000
تا به شرکت Image Metrics ارائه دهیم
04:14
to create a rigged, digital version of Emily.
90
236000
3000
که یک نسخه دیجیتالی کامل
از امیلی خلق کنند.
از امیلی خلق کنند.
04:17
We're just seeing the coarse-scale geometry here.
91
239000
2000
ما اینجا فقط هندسه بزرگ-مقیاس رو میبینیم.
اما اونها دراصل یک عروسک خیمه شب بازی
دیجیتالی از او ساخته اند،
دیجیتالی از او ساخته اند،
04:19
But they basically created a digital puppet of her,
92
241000
3000
که میتوانید این
رشته‌های گوناگون را بکشید،
رشته‌های گوناگون را بکشید،
04:22
where you can pull on these various strings,
93
244000
2000
04:24
and it actually moves her face in ways that are
94
246000
2000
و اون هم صورتش رو به شکلی کاملا یکسان
04:26
completely consistent with the scans that we took.
95
248000
2000
با اسکنهایی که ما گرفتیم تغییر میدهد.
04:28
And, in addition to the coarse-scale geometry,
96
250000
2000
و علاوه بر هندسه بزرگ-مقیاس،
04:30
they also used all of that detail
97
252000
2000
اونها از همه ی آن جزئیات استفاده کردند
04:32
to create a set of what are called "displacement maps"
98
254000
3000
تا چیزی به نام «نقشه های جابجایی» خلق کنند
04:35
that animate as well.
99
257000
3000
که متحرک سازی هم میکند.
04:38
These are the displacement maps here.
100
260000
2000
اینها نقشه های جابجایی هستند
04:40
And you can see those different wrinkles actually show up as she animates.
101
262000
3000
و میبینید که آن چروک های گوناگون با
متحرک کردن او نمایان میشوند.
متحرک کردن او نمایان میشوند.
04:43
So the next process was then to animate her.
102
265000
2000
فرایند بعدی متحرک سازی او بود.
04:45
We actually used one of her own performances to provide the source data.
103
267000
4000
ما اتفاقا یکی از بازی های خود او را به
کار بردیم تا منبع اطلاعات مان را بسازیم.
کار بردیم تا منبع اطلاعات مان را بسازیم.
04:49
So, by analyzing this video with computer vision techniques,
104
271000
3000
با تحلیل کردن این ویدئو توسط
تکنیک های دید رایانه‌ای
تکنیک های دید رایانه‌ای
04:52
they were able to drive the facial rig
105
274000
2000
توانستند ظاهر چهره را
با بازی تولید شده توسط رایانه
به حرکت در بیاورند.
به حرکت در بیاورند.
04:54
with the computer-generated performance.
106
276000
2000
04:56
So what you're going to see now, after this,
107
278000
2000
چیزی که الان، بعد از این قرار است ببینید
04:58
is a completely photo-real digital face.
108
280000
2000
یک چهره دیجیتالی کاملا واقعی-نما است.
05:00
We can turn the volume up a little bit if that's available.
109
282000
2000
اگر بشود میتوانیم
صدا را کمی زیاد کنیم.
صدا را کمی زیاد کنیم.
05:02
Emily: Image Metrics is a markerless, performance-driven animation company.
110
284000
4000
امیلی: Image Metrics یک شرکت پویانمایی
بی نشان و کارآمد است.
بی نشان و کارآمد است.
05:06
We specialize in high-quality facial animation
111
288000
3000
ما متخصص پویانمایی چهره با کیفیت بالا
05:09
for video games and films.
112
291000
2000
برای فیلم‌ها و بازی‌های ویدئویی هستیم.
05:11
Image Metrics is a markerless, performance-driven animation company.
113
293000
4000
Image Metrics یک شرکت پویانمایی
بی نشان و کارآمد است.
بی نشان و کارآمد است.
05:15
We specialize in high quality facial animation
114
297000
3000
ما متخصص پویانمایی چهره با کیفیت بالا
05:18
for video games and films.
115
300000
3000
برای فیلم‌ها و بازی‌های ویدئویی هستیم.
پل دِبِوک: اگر آنرا
به چند لایه تقسیم کنیم
به چند لایه تقسیم کنیم
05:21
Paul Debevec: So, if we break that down into layers, here's that diffuse component
116
303000
2000
این همان مولفه ی پراکنده است
که در اسلاید اول دیدیم.
که در اسلاید اول دیدیم.
05:23
we saw in the first slide.
117
305000
2000
05:25
Here is the specular component animating.
118
307000
2000
این مولفه بازتاب نور متحرک است.
05:27
You can see all the wrinkles happening there.
119
309000
2000
شکل گیری همه چروک‌ها را می بینید.
05:29
And there is the underlying wireframe mesh.
120
311000
5000
و این هم زیرلایه ی شبکه ی سیمی هست.
05:34
And that is Emily herself.
121
316000
2000
و این خود امیلی است.
05:36
Now, where are we going with this here?
122
318000
2000
حالا هدف ما از این کار چیه؟
05:38
We've gone a little bit beyond Light Stage 5. This is Light Stage 6,
123
320000
4000
ما کمی از اتاق نور ۵ فراتر رفته‌ایم.
این اتاق نور ۶ هست
این اتاق نور ۶ هست
05:42
and we're looking at taking this technology
124
324000
2000
وهدف ما استفاده از این فناوری
05:44
and applying it to whole human bodies.
125
326000
2000
و به کار بردن اون برای کل بدن انسان هست
05:46
This is Bruce Lawmen, one of our researchers in the group,
126
328000
2000
این «بروس لامن» یکی از پژوهشگران گروه ماست
05:48
who graciously agreed to get captured running in the Light Stage.
127
330000
3000
کسی که با سخاوت قبول کرد از او
حین کار در اتاق نور تصویربرداری شود
حین کار در اتاق نور تصویربرداری شود
05:51
And let's take a look at a computer-generated version
128
333000
2000
و بیایید نگاهی بندازیم به نسخه تولید شده
با رایانه از بروس
با رایانه از بروس
05:53
of Bruce, running in a new environment.
129
335000
2000
که در محیطی جدید در حال دویدن هست
06:01
And thank you very much.
130
343000
2000
بسیار ممنونم.
(تشویق تماشاگران)
06:03
(Applause)
131
345000
1000
ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneerPaul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.
Why you should listen
Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.
His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.
Paul Debevec | Speaker | TED.com