TED2018
Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them
Supasorn Suwajanakorn: Video falsi di persone reali - e come scoprirli
Filmed:
Readability: 4.6
1,453,308 views
Pensate di essere bravi a scoprire video falsi, dove gente famosa dice frasi mai dette nella vita reale? Guardate come vengono realizzati in questo sorprendente talk e demo tecnologica. Lo scienziato informatico Supasorn Suwajanakorn rivela come, da studente universitario, ha usato l'intelligenza artificiale e la rappresentazione 3D per creare video di persone, falsi ma realistici, sincronizzati con l'audio. Un intervento per saperne di più sia sulle implicazioni etiche, che sulle potenzialità di questa tecnologia, oltre che sui passi intrapresi per combatterne l'uso improprio.
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Double-click the English transcript below to play the video.
Guardate queste immagini.
00:12
Look at these images.
0
876
1151
00:14
Now, tell me which Obama here is real.
1
2051
2635
Ditemi quale Obama è reale.
00:16
(Video) Barack Obama: To help families
refinance their homes,
refinance their homes,
2
4710
2861
(Video) Barack Obama: Gli aiuti
alle famiglie per la casa,
alle famiglie per la casa,
00:19
to invest in things
like high-tech manufacturing,
like high-tech manufacturing,
3
7595
2647
gli investimenti per l'alta tecnologia,
00:22
clean energy
4
10266
1159
energia pulita
00:23
and the infrastructure
that creates good new jobs.
that creates good new jobs.
5
11449
2779
ed infrastrutture che creano
nuove opportunità di lavoro.
nuove opportunità di lavoro.
00:26
Supasorn Suwajanakorn: Anyone?
6
14647
1484
Supason Auwajanakorn: Qual è?
00:28
The answer is none of them.
7
16155
1874
La risposta è: neanche uno.
00:30
(Laughter)
8
18053
1114
(Risate)
00:31
None of these is actually real.
9
19191
1786
Neanche uno di questi è reale.
00:33
So let me tell you how we got here.
10
21001
1840
Lasciate che vi racconti
come ci siamo arrivati.
come ci siamo arrivati.
00:35
My inspiration for this work
11
23940
1578
L'ispirazione per questo lavoro
00:37
was a project meant to preserve our last
chance for learning about the Holocaust
chance for learning about the Holocaust
12
25542
5411
mi è venuta da un progetto volto
a preservare l'ultima chance
a preservare l'ultima chance
di approfondire l'Olocausto,
grazie al racconto dei sopravvissuti.
grazie al racconto dei sopravvissuti.
00:42
from the survivors.
13
30977
1768
00:44
It's called New Dimensions in Testimony,
14
32769
2627
Si chiama 'New Dimensions in Testimony'
00:47
and it allows you to have
interactive conversations
interactive conversations
15
35420
3126
e vi permette di conversare
00:50
with a hologram
of a real Holocaust survivor.
of a real Holocaust survivor.
16
38570
2556
con l'ologramma
di un reale superstite dell'Olocausto.
di un reale superstite dell'Olocausto.
(Video) Uomo: Com'è sopravvissuto
all'Olocausto?
all'Olocausto?
00:53
(Video) Man: How did you
survive the Holocaust?
survive the Holocaust?
17
41793
1966
00:55
(Video) Hologram: How did I survive?
18
43783
1668
(Video) Ologramma:
Come sono sopravvissuto?
Come sono sopravvissuto?
00:57
I survived,
19
45912
1807
Sono sopravvissuto,
01:00
I believe,
20
48419
1527
io credo,
01:01
because providence watched over me.
21
49970
3023
per un disegno della provvidenza.
01:05
SS: Turns out these answers
were prerecorded in a studio.
were prerecorded in a studio.
22
53573
3454
SS: Queste risposte erano state registrate
in precedenza in uno studio.
in precedenza in uno studio.
01:09
Yet the effect is astounding.
23
57051
2452
Eppure l'effetto è sorprendente.
01:11
You feel so connected to his story
and to him as a person.
and to him as a person.
24
59527
3619
Ci si sente davvero legati alla sua storia
e a lui come persona.
e a lui come persona.
01:16
I think there's something special
about human interaction
about human interaction
25
64011
3301
Penso che ci sia qualcosa di speciale
nelle interazioni umane
nelle interazioni umane
01:19
that makes it much more profound
26
67336
2757
che le rende più profonde
01:22
and personal
27
70117
2198
e intime
01:24
than what books or lectures
or movies could ever teach us.
or movies could ever teach us.
28
72339
3485
rispetto a quanto possano insegnare
libri, conferenze o film.
libri, conferenze o film.
Ho visto questo filmato
e ho cominciato a chiedermi:
e ho cominciato a chiedermi:
01:28
So I saw this and began to wonder,
29
76267
2425
possiamo creare una rappresentazione 3D
come questa per chiunque?
come questa per chiunque?
01:30
can we create a model
like this for anyone?
like this for anyone?
30
78716
2810
01:33
A model that looks, talks
and acts just like them?
and acts just like them?
31
81550
2975
Una rappresentazione 3D che vede,
parla e agisce come le persone?
parla e agisce come le persone?
Ho deciso di scoprire se lo si poteva fare
01:37
So I set out to see if this could be done
32
85573
2007
01:39
and eventually came up with a new solution
33
87604
2310
e alla fine sono arrivato
ad una nuova soluzione
ad una nuova soluzione
01:41
that can build a model of a person
using nothing but these:
using nothing but these:
34
89938
3220
che può creare un un modello di persona
usando nient'altro che questi:
usando nient'altro che questi:
01:45
existing photos and videos of a person.
35
93747
2214
foto e video esistenti di una persona.
Se si possono sfruttare
questo tipo di informazioni passive,
questo tipo di informazioni passive,
01:48
If you can leverage
this kind of passive information,
this kind of passive information,
36
96701
2617
01:51
just photos and video that are out there,
37
99342
2007
foto e video che sono in circolazione,
01:53
that's the key to scaling to anyone.
38
101373
2056
questo è il modo per riprodurre chiunque.
01:56
By the way, here's Richard Feynman,
39
104119
1777
A proposito, lui è Richard Feynman,
01:57
who in addition to being
a Nobel Prize winner in physics
a Nobel Prize winner in physics
40
105920
3413
che, oltre ad aver vinto
il premio Nobel per la fisica,
il premio Nobel per la fisica,
02:01
was also known as a legendary teacher.
41
109357
2453
era anche un insegnante leggendario.
Non sarebbe grandioso
se potessimo riportarlo indietro
se potessimo riportarlo indietro
02:05
Wouldn't it be great
if we could bring him back
if we could bring him back
42
113080
2198
02:07
to give his lectures
and inspire millions of kids,
and inspire millions of kids,
43
115302
3265
a tenere le sue lezioni
ed ispirare milioni di ragazzi,
ed ispirare milioni di ragazzi,
02:10
perhaps not just in English
but in any language?
but in any language?
44
118591
2992
non solo in lingua inglese
ma in tutte le altre lingue?
ma in tutte le altre lingue?
02:14
Or if you could ask our grandparents
for advice and hear those comforting words
for advice and hear those comforting words
45
122441
4602
O se potessimo chiedere consiglio ai nonni
e sentire le loro parole di conforto
e sentire le loro parole di conforto
02:19
even if they're no longer with us?
46
127067
1770
anche se non sono più con noi?
O forse, utilizzando questo strumento,
scrittori, vivi o no,
scrittori, vivi o no,
02:21
Or maybe using this tool,
book authors, alive or not,
book authors, alive or not,
47
129683
3396
02:25
could read aloud all of their books
for anyone interested.
for anyone interested.
48
133103
2937
potrebbero leggere tutti i loro libri
ad alta voce a chiunque fosse interessato.
ad alta voce a chiunque fosse interessato.
02:29
The creative possibilities
here are endless,
here are endless,
49
137199
2437
Le possibilità sono infinite
02:31
and to me, that's very exciting.
50
139660
1713
e, a mio parere,
la questione è appassionante.
la questione è appassionante.
02:34
And here's how it's working so far.
51
142595
2002
Ad oggi, funziona in questo modo.
Primo, introduciamo una nuova tecnica
02:36
First, we introduce a new technique
52
144621
1667
02:38
that can reconstruct a high-detailed
3D face model from any image
3D face model from any image
53
146312
4572
che può ricostruire un modello facciale 3D
altamente accurato da qualsiasi immagine
altamente accurato da qualsiasi immagine
02:42
without ever 3D-scanning the person.
54
150908
2119
senza mai eseguire
la scansione 3D della persona.
la scansione 3D della persona.
02:45
And here's the same output model
from different views.
from different views.
55
153890
2642
Questa è la stessa rappresentazione
partendo da differenti angolazioni.
partendo da differenti angolazioni.
02:49
This also works on videos,
56
157969
1502
Funziona anche con i video,
02:51
by running the same algorithm
on each video frame
on each video frame
57
159495
2852
eseguendo lo stesso algoritmo
su ogni fotogramma video
su ogni fotogramma video
02:54
and generating a moving 3D model.
58
162371
2222
e generando una rappresentazione 3D
in movimento.
in movimento.
02:57
And here's the same
output model from different angles.
output model from different angles.
59
165538
2772
Questa è la stessa rappresentazione
da diverse angolazioni.
da diverse angolazioni.
In effetti, tale tecnica
è molto complessa,
è molto complessa,
03:01
It turns out this problem
is very challenging,
is very challenging,
60
169933
2534
ma il fulcro è che andremo ad analizzare
03:04
but the key trick
is that we are going to analyze
is that we are going to analyze
61
172491
2525
03:07
a large photo collection
of the person beforehand.
of the person beforehand.
62
175040
2966
preliminarmente un grande numero
di immagini della persona.
di immagini della persona.
03:10
For George W. Bush,
we can just search on Google,
we can just search on Google,
63
178650
2539
Per George W. Bush,
basta cercare foto su Google
basta cercare foto su Google
e da quelle possiamo creare
un modello medio,
un modello medio,
03:14
and from that, we are able
to build an average model,
to build an average model,
64
182309
2499
una rappresentazione definita, iterativa
per recuperare l'espressione
per recuperare l'espressione
03:16
an iterative, refined model
to recover the expression
to recover the expression
65
184832
3111
03:19
in fine details,
like creases and wrinkles.
like creases and wrinkles.
66
187967
2336
nei minimi dettagli,
come grinze e rughe d'espressione.
come grinze e rughe d'espressione.
03:23
What's fascinating about this
67
191326
1403
Ciò che affascina
03:24
is that the photo collection
can come from your typical photos.
can come from your typical photos.
68
192753
3423
è che la raccolta fotografica
può derivare dalle vostre tipiche foto.
può derivare dalle vostre tipiche foto.
03:28
It doesn't really matter
what expression you're making
what expression you're making
69
196200
2603
Non è importante l'espressione
03:30
or where you took those photos.
70
198827
1885
o dove sono state scattate le foto.
03:32
What matters is
that there are a lot of them.
that there are a lot of them.
71
200736
2400
Ciò che importa è averne molte.
03:35
And we are still missing color here,
72
203160
1736
E qui non abbiamo ancora i colori,
quindi sviluppiamo
una nuova tecnica di fusione
una nuova tecnica di fusione
03:36
so next, we develop
a new blending technique
a new blending technique
73
204920
2348
03:39
that improves upon
a single averaging method
a single averaging method
74
207292
2836
che perfeziona il metodo a media singola
03:42
and produces sharp
facial textures and colors.
facial textures and colors.
75
210152
2818
e produce strutture facciali
e colori nitidi.
e colori nitidi.
03:45
And this can be done for any expression.
76
213779
2771
Ciò può essere fatto per ogni espressione.
Ora abbiamo il controllo
del modello di una persona
del modello di una persona
03:49
Now we have a control
of a model of a person,
of a model of a person,
77
217485
2499
03:52
and the way it's controlled now
is by a sequence of static photos.
is by a sequence of static photos.
78
220008
3795
che viene gestito
tramite una sequenza di foto statiche.
tramite una sequenza di foto statiche.
03:55
Notice how the wrinkles come and go,
depending on the expression.
depending on the expression.
79
223827
3126
Notate come le rughe vanno e vengono
in base all'espressione,
in base all'espressione,
Possiamo anche usare un video
per ottenere la rappresentazione 3D.
per ottenere la rappresentazione 3D.
04:00
We can also use a video
to drive the model.
to drive the model.
80
228109
2746
04:02
(Video) Daniel Craig: Right, but somehow,
81
230879
2593
(Video) Daniel Craig: Giusto,
ma in qualche modo,
ma in qualche modo,
04:05
we've managed to attract
some more amazing people.
some more amazing people.
82
233496
3771
siamo riusciti ad attrarre
persone più interessanti.
persone più interessanti.
04:10
SS: And here's another fun demo.
83
238021
1642
SS: Ecco un'altra demo divertente.
04:11
So what you see here
are controllable models
are controllable models
84
239687
2246
Quello che vedete qui
sono modelli controllabili di persone
sono modelli controllabili di persone
04:13
of people I built
from their internet photos.
from their internet photos.
85
241957
2444
che ho costruito dalle loro foto
su internet.
su internet.
04:16
Now, if you transfer
the motion from the input video,
the motion from the input video,
86
244425
2904
Trasferendo il movimento
dal video in ingresso,
dal video in ingresso,
04:19
we can actually drive the entire party.
87
247353
2152
possiamo gestire tutto il gruppo.
George W. Bush: È difficile
far approvare questa legge,
far approvare questa legge,
04:21
George W. Bush:
It's a difficult bill to pass,
It's a difficult bill to pass,
88
249529
2172
04:23
because there's a lot of moving parts,
89
251725
2303
perché ci sono troppi emendamenti,
04:26
and the legislative processes can be ugly.
90
254052
5231
e il percorso legislativo
può essere insidioso.
può essere insidioso.
04:31
(Applause)
91
259307
1630
(Applausi)
SS: Per fare un passo indietro,
04:32
SS: So coming back a little bit,
92
260961
1837
il nostro obiettivo ultimo, piuttosto,
è catturare le loro tipicità espressive
è catturare le loro tipicità espressive
04:34
our ultimate goal, rather,
is to capture their mannerisms
is to capture their mannerisms
93
262822
3191
04:38
or the unique way each
of these people talks and smiles.
of these people talks and smiles.
94
266037
3045
o il modo unico in cui ciascuna
di queste persone parla e sorride.
di queste persone parla e sorride.
04:41
So to do that, can we
actually teach the computer
actually teach the computer
95
269106
2313
Per farlo, possiamo insegnare ai computer
04:43
to imitate the way someone talks
96
271443
2222
a imitare il modo in cui uno parla
04:45
by only showing it
video footage of the person?
video footage of the person?
97
273689
2420
mostrando solo la ripresa video
di quella persona?
di quella persona?
04:48
And what I did exactly was,
I let a computer watch
I let a computer watch
98
276898
2577
Quello che ho fatto, è stato
far guardare al computer
far guardare al computer
04:51
14 hours of pure Barack Obama
giving addresses.
giving addresses.
99
279499
3277
14 ore di discorsi tenuti da Barack Obama.
04:55
And here's what we can produce
given only his audio.
given only his audio.
100
283443
3516
Questo è ciò che possiamo produrre
solo con il suo audio.
solo con il suo audio.
04:58
(Video) BO: The results are clear.
101
286983
1777
(Video) BO: I risultati sono chiari.
05:00
America's businesses have created
14.5 million new jobs
14.5 million new jobs
102
288784
4349
Le imprese americane hanno creato
14,5 milioni di nuovi posti di lavoro
14,5 milioni di nuovi posti di lavoro
05:05
over 75 straight months.
103
293157
2774
per 75 mesi di fila.
05:07
SS: So what's being synthesized here
is only the mouth region,
is only the mouth region,
104
295955
2905
SS: Qui abbiamo sintetizzato
solo la zona della bocca,
solo la zona della bocca,
05:10
and here's how we do it.
105
298884
1540
in questo modo.
Le sequenze lineari usano una rete neurale
05:12
Our pipeline uses a neural network
106
300764
1826
05:14
to convert and input audio
into these mouth points.
into these mouth points.
107
302614
2936
per convertire un input audio
in questi punti della labbra.
in questi punti della labbra.
05:18
(Video) BO: We get it through our job
or through Medicare or Medicaid.
or through Medicare or Medicaid.
108
306547
4225
(Video) BO: È grazie al nostro lavoro,
o grazie a Medicare, o Medicaid.
o grazie a Medicare, o Medicaid.
05:22
SS: Then we synthesize the texture,
enhance details and teeth,
enhance details and teeth,
109
310796
3420
SS: Dopo sintetizziamo la struttura,
miglioriamo dettagli e dentatura,
miglioriamo dettagli e dentatura,
05:26
and blend it into the head
and background from a source video.
and background from a source video.
110
314240
3074
e li uniamo alla testa e allo sfondo,
presi da un video sorgente.
presi da un video sorgente.
05:29
(Video) BO: Women can get free checkups,
111
317338
1905
(Video) BO: Per le donne checkup gratuiti,
05:31
and you can't get charged more
just for being a woman.
just for being a woman.
112
319267
2968
e non dovranno pagare di più
solo per il fatto di essere donne.
solo per il fatto di essere donne.
05:34
Young people can stay
on a parent's plan until they turn 26.
on a parent's plan until they turn 26.
113
322973
3306
I giovani potranno rimanere
a carico dei genitori fino a 26 anni.
a carico dei genitori fino a 26 anni.
05:39
SS: I think these results
seem very realistic and intriguing,
seem very realistic and intriguing,
114
327267
2952
SS: Penso che questi risultati
siano realistici ed intriganti,
siano realistici ed intriganti,
05:42
but at the same time
frightening, even to me.
frightening, even to me.
115
330243
3173
ma allo stesso tempo fanno paura,
persino a me.
persino a me.
05:45
Our goal was to build an accurate model
of a person, not to misrepresent them.
of a person, not to misrepresent them.
116
333440
4015
Il nostro obiettivo era un modello 3D
accurato, non una falsificazione.
accurato, non una falsificazione.
05:49
But one thing that concerns me
is its potential for misuse.
is its potential for misuse.
117
337956
3111
Ciò che mi preoccupa
è l'abuso che potrebbe derivarne.
è l'abuso che potrebbe derivarne.
05:53
People have been thinking
about this problem for a long time,
about this problem for a long time,
118
341958
2971
Le persone si occupano di questo
problema da molto tempo,
problema da molto tempo,
05:56
since the days when Photoshop
first hit the market.
first hit the market.
119
344953
2381
da quando Photoshop apparve
per la prima volta sul mercato.
per la prima volta sul mercato.
05:59
As a researcher, I'm also working
on countermeasure technology,
on countermeasure technology,
120
347862
3801
Come ricercatore, sto anche lavorando
su una tecnologia di contromisura,
su una tecnologia di contromisura,
06:03
and I'm part of an ongoing
effort at AI Foundation,
effort at AI Foundation,
121
351687
2942
e faccio parte di un progetto
in corso alla AI Foundation,
in corso alla AI Foundation,
06:06
which uses a combination
of machine learning and human moderators
of machine learning and human moderators
122
354653
3397
che usa un mix di apprendimento automatico
e moderatori umani
e moderatori umani
06:10
to detect fake images and videos,
123
358074
2144
per scoprire immagini e video falsi,
06:12
fighting against my own work.
124
360242
1514
combattendo contro il mio stesso lavoro.
06:14
And one of the tools we plan to release
is called Reality Defender,
is called Reality Defender,
125
362675
3190
Uno dei dispositivi prossimi al lancio
si chiama 'Reality Defender',
si chiama 'Reality Defender',
06:17
which is a web-browser plug-in
that can flag potentially fake content
that can flag potentially fake content
126
365889
4039
un'estensione delle funzioni del browser
in grado di segnalare contenuti falsi
in grado di segnalare contenuti falsi
06:21
automatically, right in the browser.
127
369952
2533
in automatico, direttamente nel browser.
06:24
(Applause)
128
372509
4228
(Applausi)
Nonostante questo, tuttavia,
06:28
Despite all this, though,
129
376761
1453
i video falsi
possono arrecare molti danni,
possono arrecare molti danni,
06:30
fake videos could do a lot of damage,
130
378238
1840
06:32
even before anyone has a chance to verify,
131
380102
3294
persino prima che qualcuno
abbia l'opportunità di verificarli,
abbia l'opportunità di verificarli,
06:35
so it's very important
that we make everyone aware
that we make everyone aware
132
383420
2722
quindi è molto importante
che rendiamo tutti consapevoli
che rendiamo tutti consapevoli
06:38
of what's currently possible
133
386166
2007
di ciò che è attualmente possibile
06:40
so we can have the right assumption
and be critical about what we see.
and be critical about what we see.
134
388197
3369
così da partire dal presupposto giusto
ed essere critici su ciò che vediamo.
ed essere critici su ciò che vediamo.
06:44
There's still a long way to go before
we can fully model individual people
we can fully model individual people
135
392423
5007
Manca ancora molto prima di poter
creare modelli completi di una persona
creare modelli completi di una persona
06:49
and before we can ensure
the safety of this technology.
the safety of this technology.
136
397454
2786
e prima di poter garantire
la sicurezza di questa tecnologia.
la sicurezza di questa tecnologia.
Ma sono pieno
di entusiasmo e speranza,
di entusiasmo e speranza,
06:53
But I'm excited and hopeful,
137
401097
1587
06:54
because if we use it right and carefully,
138
402708
3539
perché se usato bene e attentamente,
06:58
this tool can allow any individual's
positive impact on the world
positive impact on the world
139
406271
4309
questo strumento può far sì
che il nostro impatto positivo sul mondo
che il nostro impatto positivo sul mondo
07:02
to be massively scaled
140
410604
2190
possa essere fortemente accresciuto
e contribuire a plasmare il futuro
nel modo in cui vogliamo che sia.
nel modo in cui vogliamo che sia.
07:04
and really help shape our future
the way we want it to be.
the way we want it to be.
141
412818
2742
07:07
Thank you.
142
415584
1151
Grazie.
07:08
(Applause)
143
416759
5090
(Applausi)
ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientistSupasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.
Why you should listen
Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.
Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.
Supasorn Suwajanakorn | Speaker | TED.com