TED2009
Ed Ulbrich: How Benjamin Button got his face
Ед Ульбріх розповідає та показує, як Бенджамін Баттон отримав своє обличчя
Filmed:
Readability: 4.4
1,080,448 views
Ед Ульбріх, гуру цифрових ефектів з компанії Digital Domain, розповідає про технологію створення з допомогою цифрових ефектів молодшої та старшої версії обличчя Бреда Пітта у фільмі-переможці премії Оскар "Загадкова історія Бенджаміна Баттона".
Ed Ulbrich - Visual storyteller
Ed Ulbrich works at the leading edge of computer-generated visuals. On a recent project, filmmakers, artists, and technologists have been working at a breakthrough point where reality and digitally created worlds collide. Full bio
Ed Ulbrich works at the leading edge of computer-generated visuals. On a recent project, filmmakers, artists, and technologists have been working at a breakthrough point where reality and digitally created worlds collide. Full bio
Double-click the English transcript below to play the video.
00:18
I'm here today representing a team of artists and technologists and filmmakers
0
0
5000
Сьогодні я представляю команду художників, технологів і кінорежисерів,
00:23
that worked together on a remarkable film project for the last four years.
1
5000
3000
які працювали над грандіозним кінопроектом протягом останніх чотирьох років.
00:26
And along the way they created a breakthrough in computer visualization.
2
8000
4000
І водночас зробили прорив в області комп'ютерної візуалізації.
00:30
So I want to show you a clip of the film now.
3
12000
3000
А зараз я хочу показати вам уривок з фільму.
00:33
Hopefully it won't stutter.
4
15000
3000
Сподіваюсь, він не буде гальмувати.
00:36
And if we did our jobs well, you won't know that we were even involved.
5
18000
3000
І якщо ми виконали нашу роботу добре, то ви не помітите, що ми взагалі щось робили.
00:39
Voice (Video): I don't know how it's possible ...
6
21000
3000
Фільм: "Я не знаю, як це можливо...
00:42
but you seem to have more hair.
7
24000
3000
але, здається, у тебе з'явилось більше волосся".
00:45
Brad Pitt: What if I told you that I wasn't getting older ...
8
27000
3000
Бенджамін Баттон: "А що як я скажу тобі, що я не старішаю,
00:48
but I was getting younger than everybody else?
9
30000
2000
а навпаки, молодшаю.
00:53
I was born with some form of disease.
10
35000
3000
Я народився з якоюсь хворобою".
00:56
Voice: What kind of disease?
11
38000
2000
Голос: "Якою хворобою?"
00:58
BP: I was born old.
12
40000
2000
ББ: "Я народився старим".
01:01
Man: I'm sorry.
13
43000
2000
Чоловік: "Співчуваю".
01:03
BP: No need to be. There's nothing wrong with old age.
14
45000
3000
ББ: "Не треба. Бути старим непогано".
01:08
Girl: Are you sick?
15
50000
2000
Дівчинка: "Ти хворий?"
01:10
BP: I heard momma and Tizzy whisper,
16
52000
3000
ББ: "Я чув як мама з Тіззі шепотілися.
01:13
and they said I was gonna die soon.
17
55000
2000
Вони казали, що я скоро помру.
01:15
But ... maybe not.
18
57000
3000
Але... може, й ні".
01:18
Girl: You're different than anybody I've ever met.
19
60000
3000
Дівчинка: "Ти не схожий ні на кого з моїх знайомих".
01:22
BB: There were many changes ...
20
64000
3000
ББ: "Багато що змінювалось...
01:25
some you could see, some you couldn't.
21
67000
3000
Щось ти можеш бачити, а щось ні.
01:28
Hair started growing in all sorts of places,
22
70000
3000
Волосся почало рости в різних місцях,
01:31
along with other things.
23
73000
3000
як і деякі інші речі.
01:34
I felt pretty good, considering.
24
76000
3000
Загалом я почувався досить добре".
01:38
Ed Ulbrich: That was a clip from "The Curious Case of Benjamin Button."
25
80000
4000
Ед Ульбріх: Це був уривок з фільму "Загадкова історія Бенджаміна Баттона".
01:42
Many of you, maybe you've seen it or you've heard of the story,
26
84000
4000
Хоча багато хто з вас бачив або чув про цей фільм,
01:46
but what you might not know
27
88000
2000
та не всі знають, що
01:48
is that for nearly the first hour of the film,
28
90000
2000
протягом майже всієї першої години фільму
01:50
the main character, Benjamin Button, who's played by Brad Pitt,
29
92000
3000
головний герой Бенджамін Баттон, якого грає Бред Пітт,
01:53
is completely computer-generated from the neck up.
30
95000
3000
починаючи з шиї, повністю створений комп'ютером.
01:56
Now, there's no use of prosthetic makeup
31
98000
3000
І не потрібно використовувати важкий грим
01:59
or photography of Brad superimposed over another actor's body.
32
101000
3000
чи накладати фотографію Бреда поверх тіла іншого актора.
02:02
We've created a completely digital human head.
33
104000
3000
Ми створили повністю цифрову голову людини.
02:05
So I'd like to start with a little bit of history on the project.
34
107000
3000
А тепер я б хотів розповісти про те, як все відбувалось.
02:08
This is based on an F. Scott Fitzgerald short story.
35
110000
2000
Цей фільм знято за історією Ф. Скотта Фіцджеральда.
02:10
It's about a man who's born old and lives his life in reverse.
36
112000
3000
Він про людину, яка народилась старою і проживає своє життя навпаки.
02:13
Now, this movie has floated around Hollywood
37
115000
2000
Ідея зняти цей фільм існувала в Голівуді
02:15
for well over half a century,
38
117000
2000
майже півстоліття.
02:17
and we first got involved with the project in the early '90s,
39
119000
3000
Вперше ми взялись за проект на початку 1990-х
02:20
with Ron Howard as the director.
40
122000
2000
з режисером Роном Говардом.
02:22
We took a lot of meetings and we seriously considered it.
41
124000
3000
Ми часто зустрічались і все ретельно обговорювали.
02:25
But at the time we had to throw in the towel.
42
127000
2000
Але тоді нам довелось здатися.
02:27
It was deemed impossible.
43
129000
2000
Це було неможливим.
02:29
It was beyond the technology of the day to depict a man aging backwards.
44
131000
4000
Тоді це було за межами можливостей технології зобразити чоловіка, який не старів, а молодшав.
02:33
The human form, in particular the human head,
45
135000
3000
Людські форми, а особливо голова людини,
02:36
has been considered the Holy Grail of our industry.
46
138000
3000
вважались Святим Граалем в нашій індустрії.
02:39
The project came back to us about a decade later,
47
141000
3000
Приблизно через 10 років проект знову потрапив до нас.
02:42
and this time with a director named David Fincher.
48
144000
3000
Цього разу режисером мав бути Девід Фінчер.
02:45
Now, Fincher is an interesting guy.
49
147000
3000
Фінчер - досить цікавий чоловік.
02:48
David is fearless of technology,
50
150000
2000
Девід абсолютно не боїться технологій
02:50
and he is absolutely tenacious.
51
152000
2000
і в нього просто залізна воля.
02:52
And David won't take "no."
52
154000
2000
Для Девіда не існує слова "ні".
02:54
And David believed, like we do in the visual effects industry,
53
156000
3000
Девід вірив, як віримо ми, представники індустрії візуальних ефектів,
02:57
that anything is possible
54
159000
3000
що все можливе,
03:00
as long as you have enough time, resources and, of course, money.
55
162000
3000
якщо мати достатньо часу, ресурсів і, звісно, грошей.
03:03
And so David had an interesting take on the film,
56
165000
4000
У Девіда було досить цікаве уявлення про фільм,
03:07
and he threw a challenge at us.
57
169000
3000
і він кинув нам виклик.
03:10
He wanted the main character of the film to be played
58
172000
3000
Він хотів, щоб головного героя від колиски до могили
03:13
from the cradle to the grave by one actor.
59
175000
2000
грав один актор.
03:15
It happened to be this guy.
60
177000
2000
І ним став ось цей хлопець.
03:17
We went through a process of elimination and a process of discovery
61
179000
3000
Ми з Девідом пішли шляхом впровадження та відкидання деяких ідей.
03:20
with David, and we ruled out, of course, swapping actors.
62
182000
3000
І ми, звичайно, відкинули ідею заміни акторів.
03:23
That was one idea: that we would have different actors,
63
185000
3000
Це був один з варіантів: в нас будуть різні актори
03:26
and we would hand off from actor to actor.
64
188000
2000
і ми будемо переходити від одного до іншого.
03:28
We even ruled out the idea of using makeup.
65
190000
2000
Ми навіть відкинули ідею використання гриму.
03:30
We realized that prosthetic makeup just wouldn't hold up,
66
192000
3000
Ми зрозуміли, що грим нам не допоможе,
03:33
particularly in close-up.
67
195000
2000
особливо великим планом.
03:35
And makeup is an additive process. You have to build the face up.
68
197000
3000
І грим - це процес додавання. Вам потрібно вибудувати обличчя.
03:38
And David wanted to carve deeply into Brad's face
69
200000
3000
А Девід хотів проникнути всередину лиця Бреда,
03:41
to bring the aging to this character.
70
203000
2000
показати старість саме цього персонажа.
03:43
He needed to be a very sympathetic character.
71
205000
2000
Він повинен був викликати співчуття.
03:45
So we decided to cast a series of little people
72
207000
3000
Тож ми вирішили відзняти декілька людей невисокого зросту,
03:48
that would play the different bodies of Benjamin
73
210000
3000
які представляли тіло Бенджаміна
03:51
at the different increments of his life
74
213000
2000
у різні періоди його життя,
03:53
and that we would in fact create a computer-generated version of Brad's head,
75
215000
3000
і створити комп'ютерну версію голови Бреда,
03:56
aged to appear as Benjamin,
76
218000
2000
зістарену, щоб виглядати як Бенджамін,
03:58
and attach that to the body of the real actor.
77
220000
3000
і приєднати її до тіла справжнього актора.
04:01
Sounded great.
78
223000
2000
Звучало просто супер.
04:03
Of course, this was the Holy Grail of our industry,
79
225000
3000
Звичайно, це було Святим Граалем для нашої індустрії,
04:06
and the fact that this guy is a global icon didn't help either,
80
228000
3000
і факт, що цей хлопець - всесвітній кумир також не було нам на користь,
04:09
because I'm sure if any of you ever stand in line at the grocery store,
81
231000
3000
тому що я впевнений, якщо ви хоч раз стояли в черзі в продуктовому магазині,
04:12
you know -- we see his face constantly.
82
234000
3000
одним словом, ми бачимо це обличчя постійно.
04:15
So there really was no tolerable margin of error.
83
237000
2000
Тож ми не мали ані найменшого права на помилку.
04:17
There were two studios involved: Warner Brothers and Paramount.
84
239000
3000
Було залучено дві студії: Уорнер Бразерс і Парамаунт.
04:20
And they both believed this would make an amazing film, of course,
85
242000
3000
І обидві вірили, звичайно, що з цього вийде надзвичайний фільм,
04:23
but it was a very high-risk proposition.
86
245000
3000
але це була надто ризикова пропозиція.
04:26
There was lots of money and reputations at stake.
87
248000
3000
На кону стояло багато грошей та репутація.
04:29
But we believed that we had a very solid methodology
88
251000
3000
І ми вірили, що в нас була дуже надійна методологія,
04:32
that might work ...
89
254000
3000
що повинна спрацювати...
04:35
But despite our verbal assurances,
90
257000
3000
Але незважаючи на наші усні запевнення,
04:38
they wanted some proof.
91
260000
2000
вони хотіли певного підтвердження наших слів.
04:40
And so, in 2004, they commissioned us to do a screen test of Benjamin.
92
262000
3000
Отож, у 2004 році вони доручили нам провести кінопроби Бенджаміна.
04:43
And we did it in about five weeks.
93
265000
3000
На це нам знадобилось близько 5 тижнів.
04:46
But we used lots of cheats and shortcuts.
94
268000
3000
Але великою мірою ми їх обдурили.
04:49
We basically put something together to get through the meeting.
95
271000
3000
Ми просто склали щось докупи, щоб пережити цю зустріч.
04:52
I'll roll that for you now. This was the first test for Benjamin Button.
96
274000
3000
Я покажу це вам. Це був перша кінопроба Бенджаміна Баттона.
04:55
And in here, you can see, that's a computer-generated head --
97
277000
3000
І тут ви можете бачити змодельовану комп'ютером голову.
04:58
pretty good -- attached to the body of an actor.
98
280000
3000
Вона досить непогана. Її приєднали до тіла актора.
05:01
And it worked. And it gave the studio great relief.
99
283000
3000
І це спрацювало. У студії з полегшенням зітхнули.
05:04
After many years of starts and stops on this project,
100
286000
3000
Після довгих років, коли за цей проект брались і відмовлялись від нього,
05:07
and making that tough decision,
101
289000
3000
вони нарешті
05:10
they finally decided to greenlight the movie.
102
292000
3000
дали зелене світло на зйомки фільму.
05:13
And I can remember, actually, when I got the phone call to congratulate us,
103
295000
3000
Пам'ятаю, як мені подзвонили, щоб привітати нас,
05:16
to say the movie was a go,
104
298000
2000
сказати, що фільм пройшов,
05:18
I actually threw up.
105
300000
2000
я ледве не знепритомнів.
05:20
(Laughter)
106
302000
2000
(Сміх)
05:22
You know, this is some tough stuff.
107
304000
2000
Знаєте, це не жарти.
05:24
So we started to have early team meetings,
108
306000
3000
Тож ми почали проводити зустрічі команди,
05:27
and we got everybody together,
109
309000
2000
де всі збиралися.
05:29
and it was really more like therapy in the beginning,
110
311000
3000
І на початку це більше було схожим на терапію,
05:32
convincing each other and reassuring each other that we could actually undertake this.
111
314000
3000
де ми переконували та запевняли одне одного, що в нас все вийде.
05:35
We had to hold up an hour of a movie with a character.
112
317000
3000
Нам потрібно було забезпечити гру персонажа протягом години фільму.
05:38
And it's not a special effects film; it has to be a man.
113
320000
3000
І це не фільм зі спецефектами, це має бути справжня людина.
05:41
We really felt like we were in a -- kind of a 12-step program.
114
323000
3000
У нас було відчуття, що нам потрібно працювати за програмою 12 кроків для алкоголіків.
05:44
And of course, the first step is: admit you've got a problem. (Laughter)
115
326000
3000
І звичайно, перший крок - це визнати, що в нас є проблема.
05:48
So we had a big problem:
116
330000
2000
Тож у нас була велика проблема.
05:50
we didn't know how we were going to do this.
117
332000
3000
Ми не знали, як ми будемо це робити.
05:53
But we did know one thing.
118
335000
2000
Але ми знали одну річ.
05:55
Being from the visual effects industry,
119
337000
3000
Працюючи в індустрії візуальних ефектів,
05:58
we, with David, believed that we now had enough time,
120
340000
3000
ми з Девідом вірили, що на даний момент у нас є достатньо часу,
06:01
enough resources, and, God, we hoped we had enough money.
121
343000
3000
достатньо ресурсів, і, дай Боже, ми сподівались, що і достатньо грошей.
06:04
And we had enough passion to will the processes and technology into existence.
122
346000
5000
У нас було достатньо бажання, щоб втілити ці методи та технології в життя.
06:09
So, when you're faced with something like that,
123
351000
2000
Тож, коли ви стикаєтесь з чимось подібним,
06:11
of course you've got to break it down.
124
353000
2000
звичайно, потрібно розділити роботу на частини.
06:13
You take the big problem and you break it down into smaller pieces
125
355000
2000
Берете велику проблему і розбиваєте її на маленькі завдання,
06:15
and you start to attack that.
126
357000
1000
і беретесь за їх виконання.
06:16
So we had three main areas that we had to focus on.
127
358000
2000
Тож у нас було три основних області, на яких слід було зосередитись.
06:18
We needed to make Brad look a lot older --
128
360000
2000
Нам потрібно було зробити Бреда набагато старшим.
06:20
needed to age him 45 years or so.
129
362000
2000
Він повинен був виглядати старшим приблизно на 45 років.
06:22
And we also needed to make sure that we could take Brad's idiosyncrasies,
130
364000
6000
І нам також потрібно було впевнитись, що ми могли відобразити риси обличчя Бреда,
06:28
his little tics, the little subtleties that make him who he is
131
370000
2000
його найдрібнішу міміку, що робить його тим, ким він є,
06:30
and have that translate through our process
132
372000
2000
і перенести це все в процесі роботи
06:32
so that it appears in Benjamin on the screen.
133
374000
3000
на Бенджаміна на екрані.
06:35
And we also needed to create a character
134
377000
2000
І нам потрібно було створити персонаж,
06:37
that could hold up under, really, all conditions.
135
379000
3000
який би витримував будь-які умови.
06:40
He needed to be able to walk in broad daylight,
136
382000
2000
Він міг би прогулюватись у сонячний день,
06:42
at nighttime, under candlelight,
137
384000
3000
вночі, при світлі свічки,
06:45
he had to hold an extreme close-up,
138
387000
2000
його можна було б знімати великим планом,
06:47
he had to deliver dialogue,
139
389000
1000
він міг би розмовляти,
06:48
he had to be able to run, he had to be able to sweat,
140
390000
2000
він міг би бігати, пітніти,
06:50
he had to be able to take a bath, to cry,
141
392000
2000
приймати ванну, плакати,
06:52
he even had to throw up.
142
394000
1000
і навіть блювати.
06:53
Not all at the same time --
143
395000
1000
Не все одразу, звісно.
06:54
but he had to, you know, do all of those things.
144
396000
2000
Але він повинен був, знаєте, робити всі ці речі.
06:56
And the work had to hold up for almost the first hour of the movie.
145
398000
3000
І наша робота повинна була протриматись цілу годину фільму.
06:59
We did about 325 shots.
146
401000
2000
Ми провели близько 325 кінопроб.
07:01
So we needed a system that would allow Benjamin
147
403000
3000
Нам була потрібна система, що дозволила б Бенджаміну
07:04
to do everything a human being can do.
148
406000
3000
робити все, що робить звичайна людина.
07:07
And we realized that there was a giant chasm
149
409000
3000
І ми усвідомили, що існувала велика прірва
07:10
between the state of the art of technology in 2004
150
412000
3000
між технологією 2004 року
07:13
and where we needed it to be.
151
415000
2000
та тим, що нам було потрібно.
07:15
So we focused on motion capture.
152
417000
3000
Тож ми зосередились на захопленні рухів.
07:18
I'm sure many of you have seen motion capture.
153
420000
2000
Я впевнений, що ви знаєте, що таке "захоплення руху".
07:20
The state of the art at the time
154
422000
2000
На той час великим досягненням було те,
07:22
was something called marker-based motion capture.
155
424000
2000
що називається захоплення руху за мітками.
07:24
I'll give you an example here.
156
426000
1000
Наведу приклад.
07:25
It's basically the idea of, you wear a leotard,
157
427000
2000
Ця ідея полягає у наступному: одягаєте трико,
07:27
and they put some reflective markers on your body,
158
429000
2000
а на тіло прикріплюєте мітки.
07:29
and instead of using cameras,
159
431000
2000
Замість камер
07:31
there're infrared sensors around a volume,
160
433000
2000
використовуються інфрачервоні датчики по периметру приміщення.
07:33
and those infrared sensors track the three-dimensional position
161
435000
2000
І ці інфрачервоні датчики відслідковують положення міток
07:35
of those markers in real time.
162
437000
2000
у тривимірному просторі.
07:37
And then animators can take the data of the motion of those markers
163
439000
3000
Потім мультиплікатори отримують інформацію про рух цих міток
07:40
and apply them to a computer-generated character.
164
442000
2000
і застосовують її до створеного на комп'ютері персонажа.
07:42
You can see the computer characters on the right
165
444000
3000
Справа ви можете бачити, як створені комп'ютером персонажі
07:45
are having the same complex motion as the dancers.
166
447000
3000
виконують такі ж складні рухи, як і танцівники.
07:48
But we also looked at numbers of other films at the time
167
450000
2000
Ми також переглянули ряд фільмів тих часів,
07:50
that were using facial marker tracking,
168
452000
2000
де використовувалось відстеження руху за мітками на обличчі,
07:52
and that's the idea of putting markers on the human face
169
454000
2000
і в нас виникла ідея розмістити маркери на обличчі
07:54
and doing the same process.
170
456000
1000
та зробити те ж саме.
07:55
And as you can see, it gives you a pretty crappy performance.
171
457000
4000
Але як бачите, вийшло досить паршиво.
07:59
That's not terribly compelling.
172
461000
3000
Не дуже вражає.
08:02
And what we realized
173
464000
2000
І ми усвідомили,
08:04
was that what we needed
174
466000
1000
що те, що нам потрібно -
08:05
was the information that was going on between the markers.
175
467000
2000
це інформація, що йде між мітками.
08:07
We needed the subtleties of the skin.
176
469000
3000
Нам потрібні були найдрібніші рухи шкіри.
08:10
We needed to see skin moving over muscle moving over bone.
177
472000
3000
Нам потрібно було передати рух шкіри разом з м'язами, разом з кісткою.
08:13
We needed creases and dimples and wrinkles and all of those things.
178
475000
2000
Нам потрібні були складки, ямочки та зморщечки і подібні речі.
08:15
Our first revelation was to completely abort and walk away from
179
477000
3000
Нашим першим досягненням стало те, що ми повністю відмовились від
08:18
the technology of the day, the status quo, the state of the art.
180
480000
3000
технології того часу, статусу кво, становища в мистецтві.
08:21
So we aborted using motion capture.
181
483000
3000
Тож ми відмовились від використання методу "захоплення руху".
08:24
And we were now well out of our comfort zone,
182
486000
3000
Таким чином ми вийшли за межі наших комфортних умов
08:27
and in uncharted territory.
183
489000
2000
і потрапили на незвідану територію.
08:29
So we were left with this idea
184
491000
3000
У нас була ідея,
08:32
that we ended up calling "technology stew."
185
494000
3000
яку ми згодом назвали "технологічна піч".
08:35
We started to look out in other fields.
186
497000
2000
Ми почали пошуки в інших областях,
08:37
The idea was that we were going to find
187
499000
3000
й ідея полягала, що ми знайдемо
08:40
nuggets or gems of technology
188
502000
2000
крихти чи зародки технології,
08:42
that come from other industries like medical imaging,
189
504000
2000
що прийде з інших індустрій, як, наприклад, медична візуалізація,
08:44
the video game space,
190
506000
1000
відеоігри,
08:45
and re-appropriate them.
191
507000
2000
а ми переробимо її.
08:47
And we had to create kind of a sauce.
192
509000
3000
Нам потрібно було створити щось на кшталт соусу.
08:50
And the sauce was code in software
193
512000
3000
І цей соус був програмним кодом,
08:53
that we'd written to allow these disparate pieces of technology
194
515000
3000
який ми написали для того, щоб ці різні шматки технологій
08:56
to come together and work as one.
195
518000
2000
об'єднались і працювали як одне ціле.
08:58
Initially, we came across some remarkable research
196
520000
2000
На початку ми натрапили на одне видатне дослідження,
09:00
done by a gentleman named Dr. Paul Ekman in the early '70s.
197
522000
3000
проведене паном Доктором Полом Екманом на початку 1970-х років.
09:03
He believed that he could, in fact,
198
525000
3000
Він вірив, що насправді можливо
09:06
catalog the human face.
199
528000
2000
каталогізувати людське обличчя.
09:08
And he came up with this idea of Facial Action Coding System, or FACS.
200
530000
3000
І йому прийшла ідея створити Систему Кодування Рухів Обличчя.
09:11
He believed that there were 70 basic poses
201
533000
3000
Він вважав, що існує 70 основних поз
09:14
or shapes of the human face,
202
536000
3000
чи форм людського обличчя,
09:17
and that those basic poses or shapes of the face
203
539000
3000
і що з цих основних поз і форм обличчя
09:20
can be combined to create infinite possibilities
204
542000
3000
можна, комбінуючи, створювати безліч варіантів
09:23
of everything the human face is capable of doing.
205
545000
2000
всього, на що здатне людське лице.
09:25
And of course, these transcend age, race, culture, gender.
206
547000
3000
І, звичайно, вони не пов'язані з віком, расою, культурою чи статтю.
09:28
So this became the foundation of our research as we went forward.
207
550000
4000
Тож це стало основою наших наступних досліджень.
09:32
And then we came across some remarkable technology
208
554000
3000
І згодом ми знайшли надзвичайну технологію,
09:35
called Contour.
209
557000
1000
що називається Контур.
09:36
And here you can see a subject having phosphorus makeup
210
558000
3000
Ось ви можете побачити людину з фосфорним гримом,
09:39
stippled on her face.
211
561000
2000
нанесеним на обличчя.
09:41
And now what we're looking at is really creating a surface capture
212
563000
3000
І тепер те, що ми бачимо, дійсно відтворює рух поверхні
09:44
as opposed to a marker capture.
213
566000
2000
на відміну від міток.
09:46
The subject stands in front of a computer array of cameras,
214
568000
2000
Суб'єкт стоїть перед великою кількістю камер,
09:48
and those cameras can, frame-by-frame,
215
570000
2000
і ці камери можуть кадр за кадром
09:50
reconstruct the geometry of exactly what the subject's doing at the moment.
216
572000
3000
точно відтворити геометрію того, що робить суб'єкт в даний момент.
09:53
So, effectively, you get 3D data in real time of the subject.
217
575000
5000
Тож ви отримуєте тривимірну інформацію про суб'єкта в реальному часі.
09:58
And if you look in a comparison,
218
580000
3000
Для порівняння,
10:01
on the left, we see what volumetric data gives us
219
583000
3000
зліва ми бачимо, який результат дає нам просторова інформація,
10:04
and on the right you see what markers give us.
220
586000
2000
а справа - інформація з міток.
10:07
So, clearly, we were in a substantially better place for this.
221
589000
2000
Тож безумовно, ми знайшли кращий варіант.
10:09
But these were the early days of this technology,
222
591000
2000
Проте це були перші дні зародження цієї технології,
10:11
and it wasn't really proven yet.
223
593000
2000
і вона ще була не до кінця доведеною.
10:13
We measure complexity and fidelity of data
224
595000
2000
Але ми вимірюємо складність і точність інформації
10:15
in terms of polygonal count.
225
597000
2000
в одиницях полігонального підрахунку.
10:17
And so, on the left, we were seeing 100,000 polygons.
226
599000
3000
Зліва ми бачили 100 000 полігонів.
10:20
We could go up into the millions of polygons.
227
602000
2000
Ми могли навіть дійти до мільйона полігонів.
10:22
It seemed to be infinite.
228
604000
2000
Здавалось, що процес безкінечний.
10:24
This was when we had our "Aha!"
229
606000
2000
Тут і пролунало наше: "Так!"
10:26
This was the breakthrough.
230
608000
1000
Це був прорив.
10:27
This is when we're like, "OK, we're going to be OK,
231
609000
2000
У цей момент ми подумали: "Добре. У нас все буде добре.
10:29
This is actually going to work."
232
611000
1000
Це дійсно спрацює".
10:30
And the "Aha!" was, what if we could take Brad Pitt,
233
612000
4000
І наше "Так!" полягало: а що, якби ми взяли Бреда Пітта
10:34
and we could put Brad in this device,
234
616000
3000
і помістили його в пристрій,
10:37
and use this Contour process,
235
619000
2000
і застосували контурування,
10:39
and we could stipple on this phosphorescent makeup
236
621000
2000
ми могли б нанести фосфорний грим
10:41
and put him under the black lights,
237
623000
1000
і помістити його під ультрафіолетові лампи,
10:42
and we could, in fact, scan him in real time
238
624000
3000
і ми насправді могли сканувати у реальному часі те,
10:45
performing Ekman's FACS poses.
239
627000
2000
як він виконував пози згідно системи Екмана щодо кодування рухів обличчя.
10:47
Right? So, effectively,
240
629000
2000
Тож насправді
10:49
we ended up with a 3D database
241
631000
2000
ми отримали тривимірну базу даних
10:51
of everything Brad Pitt's face is capable of doing.
242
633000
3000
всього, що здатне робити обличчя Бреда Пітта.
10:54
(Laughter)
243
636000
2000
(Сміх)
10:56
From there, we actually carved up those faces
244
638000
3000
Звідси ми буквально розділили ці лиця
10:59
into smaller pieces and components of his face.
245
641000
3000
на маленькі шматочки та компоненти його обличчя.
11:02
So we ended up with literally thousands and thousands and thousands of shapes,
246
644000
3000
Тож буквально ми отримали десятки тисяч форм.
11:05
a complete database of all possibilities
247
647000
3000
Повну базу даних всього,
11:08
that his face is capable of doing.
248
650000
3000
що його обличчя здатне зобразити.
11:11
Now, that's great, except we had him at age 44.
249
653000
3000
Це чудово, тільки в нас він був у віці 44.
11:14
We need to put another 40 years on him at this point.
250
656000
3000
Нам потрібно було зробити його старшим на 40 років на цій стадії.
11:17
We brought in Rick Baker,
251
659000
2000
Ми запросили Ріка Бейкера.
11:19
and Rick is one of the great makeup and special effects gurus
252
661000
2000
Рік - це гуру в області гриму та спецефектів
11:21
of our industry.
253
663000
1000
нашої індустрії.
11:22
And we also brought in a gentleman named Kazu Tsuji,
254
664000
3000
А ще ми запросили пана Казу Цуджі,
11:25
and Kazu Tsuji is one of the great photorealist sculptors of our time.
255
667000
3000
одного з кращих скульпторів-фотореалістів нашого часу.
11:28
And we commissioned them to make a maquette,
256
670000
3000
Ми попросили їх зробити макет,
11:31
or a bust, of Benjamin.
257
673000
2000
тобто бюст Бенджаміна.
11:33
So, in the spirit of "The Great Unveiling" -- I had to do this --
258
675000
3000
І в дусі урочистого відкриття, я мусив так зробити,
11:36
I had to unveil something.
259
678000
2000
я повинен вам щось показати.
11:38
So this is Ben 80.
260
680000
2000
Тож це Бен у віці 80 років.
11:40
We created three of these:
261
682000
2000
Ми створили три макети:
11:42
there's Ben 80, there's Ben 70, there's Ben 60.
262
684000
2000
Бен у 80, 70 і 60 років.
11:44
And this really became the template for moving forward.
263
686000
3000
І це дійсно стало шаблоном, від якого ми відштовхувались.
11:47
Now, this was made from a life cast of Brad.
264
689000
2000
Він зроблений на основі зліпка з Бреда.
11:49
So, in fact, anatomically, it is correct.
265
691000
3000
Тож насправді, з анатомічної точки зору, тут все правильно.
11:52
The eyes, the jaw, the teeth:
266
694000
3000
Очі, щелепа, зуби ...
11:55
everything is in perfect alignment with what the real guy has.
267
697000
3000
все повністю відповідає тому, що є в справжнього Бреда.
11:58
We have these maquettes scanned into the computer
268
700000
2000
Ми відсканували ці макети
12:00
at very high resolution --
269
702000
2000
при дуже високому розширенні.
12:02
enormous polygonal count.
270
704000
2000
Незчисленна кількість полігонів.
12:04
And so now we had three age increments of Benjamin
271
706000
4000
Тож тепер у нас були три Бенджаміна різного віку
12:08
in the computer.
272
710000
2000
в електронному варіанті.
12:10
But we needed to get a database of him doing more than that.
273
712000
3000
Але окрім цього нам потрібна була база даних того, що вони вміють робити.
12:13
We went through this process, then, called retargeting.
274
715000
3000
Ми провели таку процедуру, яку пізніше назвали переналаштуванням.
12:16
This is Brad doing one of the Ekman FACS poses.
275
718000
2000
Тут Бред виконує одну з поз за Екманом.
12:18
And here's the resulting data that comes from that,
276
720000
3000
А це інформація, яку ми ми отримуємо в результаті,
12:21
the model that comes from that.
277
723000
2000
модель, що ми отримуємо на основі цього.
12:23
Retargeting is the process of transposing that data
278
725000
3000
А переналаштування - це процес перенесення даних
12:26
onto another model.
279
728000
2000
на іншу модель.
12:28
And because the life cast, or the bust -- the maquette -- of Benjamin
280
730000
3000
І оскільки зліпок з натури, тобто бюст, макет Бенджаміна
12:31
was made from Brad,
281
733000
2000
було зроблено з Бреда,
12:33
we could transpose the data of Brad at 44
282
735000
3000
ми могли перенести дані з Бреда у віці 44
12:36
onto Brad at 87.
283
738000
2000
на Бреда у віці 87.
12:38
So now, we had a 3D database of everything Brad Pitt's face can do
284
740000
3000
Тож ми отримали тривимірну базу даних всього, що може робити обличчя Бреда Пітта
12:41
at age 87, in his 70s and in his 60s.
285
743000
4000
у віці 87, 70 та 60 років.
12:45
Next we had to go into the shooting process.
286
747000
3000
Далі ми повинні були перейти до процесу зйомки.
12:48
So while all that's going on,
287
750000
1000
І поки все це відбувається,
12:49
we're down in New Orleans and locations around the world.
288
751000
2000
ми потрапляємо до Нового Орлеану та інші місця у всьому світі.
12:51
And we shot our body actors,
289
753000
2000
Ми зняли наших дублерів.
12:53
and we shot them wearing blue hoods.
290
755000
2000
Всі вони були одягнені у блакитні капюшони.
12:55
So these are the gentleman who played Benjamin.
291
757000
2000
Ось чоловік, який виконував роль Бенджаміна.
12:57
And the blue hoods helped us with two things:
292
759000
2000
Ці блакитні капюшони допомогли нам у двох випадках:
12:59
one, we could easily erase their heads;
293
761000
2000
по-перше, ми легко могли витерти зображення їхніх облич.
13:01
and we also put tracking markers on their heads
294
763000
2000
Ми також встановили мітки, що відстежували рухи голови,
13:03
so we could recreate the camera motion
295
765000
2000
тож ми могли відтворити рух камери
13:05
and the lens optics from the set.
296
767000
2000
та оптичні ефекти.
13:07
But now we needed to get Brad's performance to drive our virtual Benjamin.
297
769000
3000
А тепер нам потрібна була акторська гра Бреда, щоб оживити нашого віртуального Бенджаміна.
13:10
And so we edited the footage that was shot on location
298
772000
2000
Тож ми відредагували відзнятий на місці матеріал,
13:12
with the rest of the cast and the body actors
299
774000
3000
де грав основний склад акторів і дублери.
13:15
and about six months later
300
777000
2000
А через півроку
13:17
we brought Brad onto a sound stage in Los Angeles
301
779000
3000
ми запросили Бреда на студію звукозапису в Лос Анджелесі, де
13:20
and he watched on the screen.
302
782000
3000
він дивися на екран
13:23
His job, then, was to become Benjamin.
303
785000
2000
і його завданням було стати Бенджаміном.
13:25
And so we looped the scenes.
304
787000
1000
Ми прокручували сцени.
13:26
He watched again and again.
305
788000
1000
Він переглядав їх знову і знову.
13:27
We encouraged him to improvise.
306
789000
2000
Ми заохочували його до імпровізації.
13:29
And he took Benjamin into interesting and unusual places
307
791000
3000
І він надав образу Бенджаміна багато цікавого та нового,
13:32
that we didn't think he was going to go.
308
794000
2000
такого, чого ми й не очікували.
13:34
We shot him with four HD cameras
309
796000
2000
Ми знімали його чотирма камерами високої роздільної здатності,
13:36
so we'd get multiple views of him
310
798000
1000
щоб отримати достатньо його зображень,
13:37
and then David would choose the take of Brad being Benjamin
311
799000
3000
а потім Девід міг вибрати кадри Бреда в ролі Бенджаміна,
13:40
that he thought best matched the footage
312
802000
3000
які на його думку найкраще підходили до відзнятого матеріалу
13:43
with the rest of the cast.
313
805000
1000
з рештою акторського складу.
13:44
From there we went into a process called image analysis.
314
806000
3000
З цього моменту ми вступили в процес, що називається "аналізом зображення".
13:47
And so here, you can see again, the chosen take.
315
809000
3000
І ось тут, подивіться ще раз, обраний кадр.
13:50
And you are seeing, now, that data being transposed on to Ben 87.
316
812000
3000
А зараз ми бачимо, як дані переносяться на Бена у віці 87.
13:53
And so, what's interesting about this is
317
815000
3000
І тут цікаве саме те,
13:56
we used something called image analysis,
318
818000
2000
що ми використовували аналіз зображення,
13:58
which is taking timings from different components of Benjamin's face.
319
820000
3000
що виконує синхронізацію різних компонентів обличчя Бенджаміна.
14:01
And so we could choose, say, his left eyebrow.
320
823000
3000
Ми могли розглянути, наприклад, його ліву брову.
14:04
And the software would tell us that, well,
321
826000
2000
І програма сказала б нам, що
14:06
in frame 14 the left eyebrow begins to move from here to here,
322
828000
2000
в кадрі 14 ліва брова рухається від цієї точки до цієї
14:08
and it concludes moving in frame 32.
323
830000
2000
і завершує рух у кадрі 32.
14:10
And so we could choose numbers of positions on the face
324
832000
2000
Таким чином ми могли обирати безліч позицій на обличчі
14:12
to pull that data from.
325
834000
2000
для отримання інформації.
14:14
And then, the sauce I talked about with our technology stew --
326
836000
2000
А тепер соус, про який я говорив, і нашу технологічну піч.
14:16
that secret sauce was, effectively, software that allowed us to
327
838000
3000
Цей секретний соус був насправді програмою, що дозволила нам
14:19
match the performance footage of Brad
328
841000
3000
узгодити відзнятий матеріал Бреда
14:22
in live action with our database of aged Benjamin,
329
844000
4000
з нашою базою даних старого Берджаміна,
14:26
the FACS shapes that we had.
330
848000
2000
формами із системи кодування рухів обличчя.
14:28
On a frame-by-frame basis,
331
850000
3000
Кадр за кадром
14:31
we could actually reconstruct a 3D head
332
853000
3000
ми змогли відтворити тривимірну голову,
14:34
that exactly matched the performance of Brad.
333
856000
3000
що повністю відповідала грі Бреда.
14:37
So this was how the finished shot appeared in the film.
334
859000
3000
Ось таким чином завершені кадри з'явились у фільмі.
14:40
And here you can see the body actor.
335
862000
2000
Тут ви можете побачити дублера.
14:42
And then this is what we called the "dead head," no reference to Jerry Garcia.
336
864000
3000
А тут те, що ми називаємо "мертвою головою". Це не має відношення до творчості Джеррі Гарсіа.
14:45
And then here's the reconstructed performance
337
867000
3000
А тут реконструйоване виконання,
14:48
now with the timings of the performance.
338
870000
3000
синхронізоване з діями Бреда.
14:51
And then, again, the final shot.
339
873000
2000
І знову, фінальний кадр.
14:54
It was a long process.
340
876000
2000
Це був довгий процес.
14:56
(Applause)
341
878000
3000
(Оплески)
15:07
The next section here, I'm going to just blast through this,
342
889000
2000
Наступний момент, дуже коротко,
15:09
because we could do a whole TEDTalk on the next several slides.
343
891000
4000
тому що можна зробити окремий виступ на TED на основі наступних кількох слайдів.
15:13
We had to create a lighting system.
344
895000
3000
Нам потрібно було також створити систему освітлення.
15:16
So really, a big part of our processes was creating a lighting environment
345
898000
3000
Насправді велика частина нашої роботи припадала на створення освітлення
15:19
for every single location that Benjamin had to appear
346
901000
2000
в кожному місці, де з'являвся Бенджамін.
15:21
so that we could put Ben's head into any scene
347
903000
3000
Потрібно було, щоб обличчя Бенджаміна у будь-якій сцені
15:24
and it would exactly match the lighting that's on the other actors
348
906000
3000
точно відповідало освітленню інших акторів
15:27
in the real world.
349
909000
1000
в реальному світі.
15:28
We also had to create an eye system.
350
910000
3000
Нам також потрібно було створити очі.
15:31
We found the old adage, you know,
351
913000
2000
Ми зрозуміли, що стара приказка
15:33
"The eyes are the window to the soul,"
352
915000
2000
"Очі - дзеркало душі"
15:35
absolutely true.
353
917000
1000
абсолютно відповідає дійсності.
15:36
So the key here was to keep everybody looking in Ben's eyes.
354
918000
2000
Тому важливим було зробити так, щоб всі дивились Бену в очі.
15:38
And if you could feel the warmth, and feel the humanity,
355
920000
2000
І якби ви відчули теплоту, людяність,
15:40
and feel his intent coming through the eyes,
356
922000
3000
рішучість в його очах,
15:43
then we would succeed.
357
925000
1000
це б означало, що ми досягнули своєї мети.
15:44
So we had one person focused on the eye system
358
926000
3000
Тому за очі в нас була відповідальна окрема людина
15:47
for almost two full years.
359
929000
2000
протягом майже двох років.
15:49
We also had to create a mouth system.
360
931000
2000
Нам також довелось створити ротову систему.
15:51
We worked from dental molds of Brad.
361
933000
2000
Ми працювали на основі зубних зліпків Бреда.
15:53
We had to age the teeth over time.
362
935000
2000
Нам довелось зістарити зуби.
15:55
We also had to create an articulating tongue that allowed him to enunciate his words.
363
937000
3000
Нам також довелось створити рухливий язик, що дозволив би йому чітко вимовляти слова.
15:58
There was a whole system written in software to articulate the tongue.
364
940000
2000
Було розроблено цілу програму, що відповідала суто за артикуляцію язика.
16:00
We had one person devoted to the tongue for about nine months.
365
942000
2000
Наш колега присвятив розробці язика дев'ять місяців.
16:02
He was very popular.
366
944000
2000
Він був дуже популярним.
16:04
Skin displacement: another big deal.
367
946000
3000
Рухи шкіри - ще одна велика проблема.
16:07
The skin had to be absolutely accurate.
368
949000
2000
Шкіра повинна була виглядати абсолютно природно.
16:09
He's also in an old age home, he's in a nursing home
369
951000
3000
А оскільки він знаходився в геріатричному центрі, в домі для престарілих,
16:12
around other old people,
370
954000
2000
в оточенні інших літніх людей,
16:14
so he had to look exactly the same as the others.
371
956000
2000
він повинен був мати точно такий вигляд, як і всі інші.
16:16
So, lots of work on skin deformation,
372
958000
1000
Тож над шкірою теж попрацювали.
16:17
you can see in some of these cases it works,
373
959000
1000
Бачите, в деяких випадках вийшло добре,
16:18
in some cases it looks bad.
374
960000
1000
в деяких - ні.
16:19
This is a very, very, very early test in our process.
375
961000
2000
Це перші тести в нашому процесі.
16:21
So, effectively we created a digital puppet
376
963000
3000
Тож по суті ми створили цифрову ляльку,
16:24
that Brad Pitt could operate with his own face.
377
966000
3000
якою Бред Пітт міг керувати з допомогою власного обличчя.
16:27
There were no animators necessary to come in and interpret behavior
378
969000
4000
Не потрібно було жодних мультиплікаторів для того, щоб передати його поведінку
16:31
or enhance his performance.
379
973000
2000
чи покращити його гру.
16:33
There was something that we encountered, though,
380
975000
3000
Однак ми зіткнулись з тим,
16:36
that we ended up calling "the digital Botox effect."
381
978000
3000
що в результаті назвали "ефектом цифрового ботоксу".
16:39
So, as things went through this process,
382
981000
3000
І під час процесу
16:42
Fincher would always say, "It sandblasts the edges off of the performance."
383
984000
3000
Фінчер іноді казав: "Це зменшує гостроту гри".
16:45
And thing our process and the technology couldn't do,
384
987000
3000
І єдина річ, яку наш процес і наші технології не змогли зробити,
16:48
is they couldn't understand intent,
385
990000
3000
це те, що вони не змогли зрозуміти намір,
16:51
the intent of the actor.
386
993000
2000
намір актора.
16:53
So it sees a smile as a smile.
387
995000
2000
Тобто усмішка сприймалась як просто усмішка.
16:55
It doesn't recognize an ironic smile, or a happy smile,
388
997000
3000
Не розпізнавалась іронічна усмішка чи щаслива усмішка,
16:58
or a frustrated smile.
389
1000000
1000
чи усмішка розчарування.
16:59
So it did take humans to kind of push it one way or another.
390
1001000
3000
Різні усмішки вимагають в людей різних дій.
17:02
But we ended up calling the entire process
391
1004000
3000
У результаті ми назвали весь процес
17:05
and all the technology "emotion capture,"
392
1007000
2000
і всю технологію "захопленням емоції",
17:07
as opposed to just motion capture.
393
1009000
1000
на противагу просто захопленню руху.
17:08
Take another look.
394
1010000
2000
Погляньте ще раз.
17:11
Brad Pitt: Well, I heard momma and Tizzy whisper,
395
1013000
2000
Бред Пітт: "Я чув як мама шепотілась з Тіззі.
17:13
and they said I was gonna die soon,
396
1015000
2000
вони казали, що я скоро помру,
17:15
but ... maybe not.
397
1017000
2000
але ... може й ні".
17:37
EU: That's how to create a digital human in 18 minutes.
398
1039000
3000
Ед Ульбріх: Ось так можна створити цифрову людину за 18 хвилин.
17:40
(Applause)
399
1042000
3000
(Оплески)
17:48
A couple of quick factoids;
400
1050000
2000
Декілька цікавих фактів.
17:50
it really took 155 people over two years,
401
1052000
4000
Над проектом працювало 155 людей понад два роки,
17:54
and we didn't even talk about 60 hairstyles and an all-digital haircut.
402
1056000
4000
не говорячи про 60 зачісок і повністю цифрові стрижки.
17:58
But, that is Benjamin. Thank you.
403
1060000
3000
Але так ми отримали Бенджаміна. Дякую.
ABOUT THE SPEAKER
Ed Ulbrich - Visual storytellerEd Ulbrich works at the leading edge of computer-generated visuals. On a recent project, filmmakers, artists, and technologists have been working at a breakthrough point where reality and digitally created worlds collide.
Why you should listen
Ed Ulbrich spoke at TED2009 representing a team of filmmakers, artists and technologists who've been working on a significant breakthrough in visual storytelling -- a startling blurring of the line between digital creation and actor.
Ulbrich was the long time executive VP of production at Digital Domain, for whom he executive-produced Academy Award-winning visual effects for Titanic, What Dreams May Come, Fight Club, Zodiac, Adaptation and other features, as well as music videos and more than 500 commercials. He has recently exited this position but has entered into a creative consultant arrangement with the company. In 2007, he was named to the Creativity 50 -- top innovators in advertising and design.
Ed Ulbrich | Speaker | TED.com