TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Come un computer impara a riconoscere gli oggetti istantaneamente
Filmed:
Readability: 4.5
2,471,805 views
Dieci anni fa, i ricercatori pensavano che sarebbe stato quasi impossibile per un computer riconoscere la differenza tra un gatto e un cane. Oggi, i sistemi di visione computerizzati lo fanno con una precisione superiore al 99%. Come?
Joseph Redmon lavora al sistema YOLO (You Only Look Once), un metodo di riconoscimento di oggetti open-source che può identificare immagini e video -- dalle zebre ai segnali di stop -- in un batter d'occhio. In una notevole live demo, Redmon sfoggia gli importanti passi avanti fatti, in ambiti come le auto senza pilota, la robotica e la diagnosi del cancro.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
Dieci anni fa,
00:12
Ten years ago,
0
825
1151
i ricercatori di visione artificiale
pensavano
pensavano
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
che fare in modo che un computer
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
riuscisse a differenziare
un gatto e un cane
un gatto e un cane
00:19
would be almost impossible,
3
7520
1976
sarebbe stato quasi impossibile,
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
nonostante il progresso significativo
nel campo dell'intelligenza artificiale.
nel campo dell'intelligenza artificiale.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Ora possiamo farlo a un livello
di precisione superiore al 99 per cento.
di precisione superiore al 99 per cento.
Questa è chiamata
classificazione d'immagini --
classificazione d'immagini --
00:29
This is called image classification --
6
17680
1856
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
dategli un'immagine,
etichettate quell'immagine --
etichettate quell'immagine --
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
e i computer riconoscono
anche migliaia di altre categorie.
anche migliaia di altre categorie.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
Sono un dottorando
della University of Washington,
della University of Washington,
00:41
and I work on a project called Darknet,
10
29600
1896
e lavoro su un progetto
chiamato Darknet,
chiamato Darknet,
00:43
which is a neural network framework
11
31520
1696
che è un framework di rete neurale
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
per sviluppare e testare
i modelli di visione artificiale.
i modelli di visione artificiale.
00:48
So let's just see what Darknet thinks
13
36080
2976
Quindi vediamo cosa ne pensa Darknet
00:51
of this image that we have.
14
39080
1760
di quest'immagine.
00:54
When we run our classifier
15
42520
2336
Quando eseguiamo il nostro classificatore
su quest'immagine,
00:56
on this image,
16
44880
1216
vediamo che non otteniamo solo
la previsione di un cane o di un gatto,
la previsione di un cane o di un gatto,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
ma la previsione
della razza specifica.
della razza specifica.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
Questo è il livello di precisione attuale.
01:05
And it's correct.
20
53160
1616
Ed è corretto.
01:06
My dog is in fact a malamute.
21
54800
1840
Infatti, il mio cane è
un Alaskan Malamute.
un Alaskan Malamute.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Abbiamo fatto dei passi da gigante
nella classificazione di immagini,
nella classificazione di immagini,
ma cosa succede quando passiamo
il nostro classificatore
il nostro classificatore
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
01:15
on an image that looks like this?
24
63424
1960
su un'immagine come questa?
01:19
Well ...
25
67080
1200
Beh...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Vediamo che il classificatore ritorna
con una predizione abbastanza simile.
con una predizione abbastanza simile.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
Ed è corretto,
c'è un Alaskan Malamute sull'immagine,
c'è un Alaskan Malamute sull'immagine,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
ma con questa sola etichetta,
non ne sappiamo poi molto
non ne sappiamo poi molto
di quello che succede nell'immagine.
01:35
about what's going on in the image.
29
83400
1667
Abbiamo bisogno di qualcosa
di più potente.
di più potente.
01:37
We need something more powerful.
30
85091
1560
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
Io lavoro su un problema
chiamato riconoscimento di oggetti,
chiamato riconoscimento di oggetti,
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
dove guardiamo un'immagine
e cerchiamo di trovare gli oggetti,
e cerchiamo di trovare gli oggetti,
01:44
put bounding boxes around them
33
92840
1456
li delimitiamo con dei "bounding boxes"
01:46
and say what those objects are.
34
94320
1520
e definiamo quegli oggetti.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Questo è quello che succede
quando passiamo un rilevatore
su quest'immagine.
su quest'immagine.
01:53
Now, with this kind of result,
36
101240
2256
Ora, con questo tipo di risultato,
possiamo fare molto di più
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
con i nostri algoritmi
di visione artificiale.
di visione artificiale.
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Vediamo che riconosce
che ci sono un gatto e un cane.
che ci sono un gatto e un cane.
02:01
It knows their relative locations,
39
109240
2256
Conosce la loro posizione,
02:03
their size.
40
111520
1216
la loro taglia.
Potrebbe addirittura conoscere
informazioni extra.
informazioni extra.
02:04
It may even know some extra information.
41
112760
1936
02:06
There's a book sitting in the background.
42
114720
1960
C'è un libro sullo sfondo.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
Se vuoi costruire un sistema
basato sulla visione artificiale,
basato sulla visione artificiale,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
diciamo un'auto senza pilota
o un sistema robotico,
o un sistema robotico,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
questo è il tipo di informazione che vuoi.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Vuoi qualcosa per poter interagire
con il mondo fisico.
con il mondo fisico.
Quando ho iniziato a lavorare
sul riconoscimento di oggetti,
sul riconoscimento di oggetti,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
servivano 20 secondi
per processare una sola immagine.
per processare una sola immagine.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
E per capire quanto è importante
la velocità in questo settore,
la velocità in questo settore,
02:33
here's an example of an object detector
50
141120
2536
ecco un esempio
di un rilevatore di oggetti
di un rilevatore di oggetti
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
che impiega due secondi
per processare un'immagine.
per processare un'immagine.
02:38
So this is 10 times faster
52
146120
2616
Quindi questo è 10 volte più veloce
02:40
than the 20-seconds-per-image detector,
53
148760
3536
del rilevatore a 20 secondi a immagine,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
e potete vedere che nel momento in cui
fa le sue predizioni
fa le sue predizioni
02:47
the entire state of the world has changed,
55
155000
2040
l'aspetto del mondo è cambiato,
02:49
and this wouldn't be very useful
56
157880
2416
e questo non sarebbe utile
02:52
for an application.
57
160320
1416
per un'applicazione.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Se velocizziamo di un altro fattore 10,
questo è un rilevatore che funziona
a cinque immagini al secondo.
a cinque immagini al secondo.
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
02:59
This is a lot better,
60
167120
1536
È molto meglio,
03:00
but for example,
61
168680
1976
ma, ad esempio,
03:02
if there's any significant movement,
62
170680
2296
se c'è un qualsiasi
movimento significativo,
movimento significativo,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
non vorrei un sistema come questo
mentre guido.
mentre guido.
Questo è il nostro sistema
di riconoscimento
di riconoscimento
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
in funzione in tempo reale
sul mio computer.
sul mio computer.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Quindi mi identifica senza problemi
mentre mi muovo sull'immagine,
mentre mi muovo sull'immagine,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
ed è efficace anche quando
cambiano la taglia,
cambiano la taglia,
03:21
pose,
67
189440
1200
la posa,
03:23
forward, backward.
68
191280
1856
avanti, indietro.
03:25
This is great.
69
193160
1216
È fantastico.
Questo è ciò di cui
abbiamo davvero bisogno
abbiamo davvero bisogno
03:26
This is what we really need
70
194400
1736
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
se vogliamo costruire sistemi
basati sulla visione artificiale.
basati sulla visione artificiale.
03:31
(Applause)
72
199080
4000
(Applausi)
03:36
So in just a few years,
73
204280
2176
Quindi in pochi anni,
03:38
we've gone from 20 seconds per image
74
206480
2656
siamo passati da 20 secondi a immagine
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
a 20 millisecondi a immagine,
mille volte più veloce.
mille volte più veloce.
03:44
How did we get there?
76
212720
1416
Come ci siamo riusciti?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
In passato, i sistemi
di riconoscimento di oggetti
di riconoscimento di oggetti
03:49
would take an image like this
78
217200
1936
avrebbero preso
un'immagine come questa
un'immagine come questa
03:51
and split it into a bunch of regions
79
219160
2456
e l'avrebbero divisa
in un insieme di regioni
in un insieme di regioni
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
e poi passato un classificatore
su ognuna di queste regioni,
su ognuna di queste regioni,
03:56
and high scores for that classifier
81
224920
2536
e punteggi elevati per quel classificatore
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
sarebbero stati considerati
come riconoscimenti nell'immagine.
come riconoscimenti nell'immagine.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Ma questo voleva dire
passare un classificatore
migliaia di volte su un'immagine,
migliaia di volte su un'immagine,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
migliaia di valutazioni di rete neurale
per produrre il riconoscimento.
per produrre il riconoscimento.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Invece, abbiamo allenato una singola rete
a fare tutto il riconoscimento per noi.
a fare tutto il riconoscimento per noi.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Produce tutti i bounding boxes
e ordina le probabilità simultaneamente.
e ordina le probabilità simultaneamente.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Con il nostro sistema, invece di guardare
un'immagine migliaia di volte
un'immagine migliaia di volte
04:24
to produce detection,
88
252200
1456
per ottenere il riconoscimento,
04:25
you only look once,
89
253680
1256
guardi una volta sola,
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
ed è per questo che lo chiamiamo
il metodo YOLO
del riconoscimento d'oggetti.
del riconoscimento d'oggetti.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Con questa velocità possiamo quindi
non limitarci alle immagini;
non limitarci alle immagini;
04:35
we can process video in real time.
92
263360
2416
ma possiamo processare video
in tempo reale.
in tempo reale.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
E ora, invece di vedere solo
il cane e il gatto,
il cane e il gatto,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
possiamo vederli muovere
e interagire tra loro.
e interagire tra loro.
04:46
This is a detector that we trained
95
274560
2056
Questo è un rilevatore
che abbiamo allenato
che abbiamo allenato
04:48
on 80 different classes
96
276640
4376
su 80 classi diverse
04:53
in Microsoft's COCO dataset.
97
281040
3256
nel dataset COCO di Microsoft.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Contiene di tutto come cucchiaio
e forchetta, ciotola,
e forchetta, ciotola,
04:59
common objects like that.
99
287680
1800
oggetti comuni come questi.
05:02
It has a variety of more exotic things:
100
290360
3096
Ma anche una varietà di cose più esotiche:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
animali, auto, zebre, giraffe.
05:08
And now we're going to do something fun.
102
296760
1936
E adesso facciamo qualcosa di divertente.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Ci metteremo in mezzo al pubblico
per vedere che tipo di oggetti
possiamo identificare.
possiamo identificare.
05:12
and see what kind of things we can detect.
104
300840
2016
05:14
Does anyone want a stuffed animal?
105
302880
1620
Qualcuno vuole un peluche?
05:18
There are some teddy bears out there.
106
306000
1762
Ci sono degli orsacchiotti lì in mezzo.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
E possiamo abbassare un po'
la nostra soglia di riconoscimento,
la nostra soglia di riconoscimento,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
così possiamo riconoscervi meglio
in mezzo al pubblico.
in mezzo al pubblico.
05:31
Let's see if we can get these stop signs.
109
319560
2336
Vediamo se riusciamo a trovare
dei segnali di stop.
dei segnali di stop.
05:33
We find some backpacks.
110
321920
1880
Troviamo degli zaini.
05:37
Let's just zoom in a little bit.
111
325880
1840
Facciamo uno zoom.
05:42
And this is great.
112
330320
1256
Ed è fantastico.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
E tutto il processo
avviene in tempo reale
avviene in tempo reale
05:46
on the laptop.
114
334800
1200
sul computer.
Ed è importante ricordare
05:49
And it's important to remember
115
337080
1456
che questo è un sistema
di riconoscimento di oggetti
di riconoscimento di oggetti
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
di uso generale,
05:53
so we can train this for any image domain.
117
341800
5000
quindi lo possiamo allenare
per qualsiasi settore di immagini.
per qualsiasi settore di immagini.
06:00
The same code that we use
118
348320
2536
Lo stesso codice che usiamo
06:02
to find stop signs or pedestrians,
119
350880
2456
per trovare segnali di stop o pedoni,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
biciclette in un veicolo
con pilota automatico,
con pilota automatico,
06:07
can be used to find cancer cells
121
355360
2856
può essere usato per trovare
cellule cancerose
cellule cancerose
06:10
in a tissue biopsy.
122
358240
3016
durante una biopsia.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
E ci sono ricercatori in tutto il mondo
che stanno già usando questa tecnologia
che stanno già usando questa tecnologia
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
per fare passi avanti in campi
come la medicina, la robotica.
come la medicina, la robotica.
06:21
This morning, I read a paper
125
369680
1376
Questa mattina, ho letto un articolo
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
in cui si parlava di un censimento
degli animali al Nairobi National Park
degli animali al Nairobi National Park
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
con YOLO integrato
nel sistema di riconoscimento.
nel sistema di riconoscimento.
06:30
And that's because Darknet is open source
128
378840
3096
Ed è perché Darknet è open source
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
ed è di dominio pubblico,
e chiunque può utilizzarlo liberamente.
e chiunque può utilizzarlo liberamente.
06:37
(Applause)
130
385600
5696
(Applausi)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Ma volevamo rendere il riconoscimento
ancora più accessibile e fruibile,
ancora più accessibile e fruibile,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
e attraverso una combinazione
di ottimizzazione del modello,
di ottimizzazione del modello,
06:52
network binarization and approximation,
133
400360
2296
binarizzazione di rete e approssimazione,
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
abbiamo un riconoscimento di oggetti
che funziona su un telefono.
che funziona su un telefono.
07:04
(Applause)
135
412800
5320
(Applausi)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
E sono davvero contento perché
abbiamo una soluzione piuttosto efficace
abbiamo una soluzione piuttosto efficace
07:16
to this low-level computer vision problem,
137
424040
2296
a questo problema di visione
di computer di basso livello,
di computer di basso livello,
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
e chiunque può prenderlo
e costruirci qualcosa.
e costruirci qualcosa.
07:22
So now the rest is up to all of you
139
430240
3176
Quindi il resto è nelle vostre mani
e in quelle delle persone nel mondo
che hanno accesso a questo software,
che hanno accesso a questo software,
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
e sono impaziente di vedere
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
cosa le persone faranno
con questa tecnologia.
con questa tecnologia.
07:32
Thank you.
142
440080
1216
Grazie.
07:33
(Applause)
143
441320
3440
(Applausi)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com