TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Jak komputer uczy się błyskawicznie rozpoznawać obiekty
Filmed:
Readability: 4.5
2,471,805 views
Dziesięć lat temu badacze sądzili, że właściwie nie da się nauczyć komputera rozróżniania kota od psa. Dzisiaj systemy rozpoznawania obrazów robią to z dokładnością większą niż 99 procent. Jak? Joseph Redmon pracuje nad systemem YOLO (You Only Look Once), open source'ową metodą wykrywania obiektów, która potrafi identyfikować obiekty na obrazach i plikach wideo, od zebr po znaki stopu, z prędkością błyskawicy. Podczas niesamowitej demonstracji na żywo Redmon prezentuje zastosowanie tej przełomowej technologii do celów takich jak samoprowadzące się auta, robotyka, czy nawet wykrywanie raka.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
Dziesięć lat temu
00:12
Ten years ago,
0
825
1151
badacze rozpoznawania obrazów
sądzili, że nauczenie komputera
sądzili, że nauczenie komputera
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
rozróżniania kota od psa
00:19
would be almost impossible,
3
7520
1976
jest prawie niemożliwe
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
nawet przy sporym postępie
rozwoju sztucznej inteligencji.
rozwoju sztucznej inteligencji.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Teraz jest to możliwe
z dokładnością większą niż 99%.
z dokładnością większą niż 99%.
00:29
This is called image classification --
6
17680
1856
Nazywamy to klasyfikacją obrazu:
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
dostarcz obraz,
przypisz do niego etykietę...
przypisz do niego etykietę...
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
komputery znają teraz
tysiące innych kategorii.
tysiące innych kategorii.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
Jestem doktorantem
na Uniwersytecie Waszyngtońskim
na Uniwersytecie Waszyngtońskim
00:41
and I work on a project called Darknet,
10
29600
1896
i pracuję nad projektem "Darknet",
który jest frameworkiem
sieci neuronowej
sieci neuronowej
00:43
which is a neural network framework
11
31520
1696
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
do ćwiczenia i testowana
modeli rozpoznawania obrazów.
modeli rozpoznawania obrazów.
00:48
So let's just see what Darknet thinks
13
36080
2976
Sprawdźmy więc, co "Darknet" sądzi
00:51
of this image that we have.
14
39080
1760
o tym obrazie.
00:54
When we run our classifier
15
42520
2336
Wprowadzenie tego obrazu do klasyfikatora
00:56
on this image,
16
44880
1216
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
nie tylko da nam prognozę,
czy to pies czy kot,
czy to pies czy kot,
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
ale nawet prognozę konkretnej rasy.
Taki poziom szczegółowości
jest teraz dostępny.
jest teraz dostępny.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
01:05
And it's correct.
20
53160
1616
I jest to poprawne rozpoznanie.
01:06
My dog is in fact a malamute.
21
54800
1840
Mój pies to naprawdę malamut.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Dokonaliśmy niesamowitego postępu
w klasyfikacji obrazów,
w klasyfikacji obrazów,
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
ale co się stanie,
jeśli wprowadzimy taki obraz?
jeśli wprowadzimy taki obraz?
01:15
on an image that looks like this?
24
63424
1960
01:19
Well ...
25
67080
1200
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Klasyfikator zwraca podobną prognozę
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
i jest poprawna - na zdjęciu jest malamut,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
ale na podstawie samej etykiety
nie można dowiedzieć się wiele
nie można dowiedzieć się wiele
na temat tego,
co dzieje się na zdjęciu.
co dzieje się na zdjęciu.
01:35
about what's going on in the image.
29
83400
1667
01:37
We need something more powerful.
30
85091
1560
Do tego potrzeba
czegoś bardziej zaawansowanego.
czegoś bardziej zaawansowanego.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
Pracuję nad wykrywaniem obiektów.
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
Patrzymy na obraz i próbujemy
znaleźć wszystkie obiekty,
znaleźć wszystkie obiekty,
01:44
put bounding boxes around them
33
92840
1456
wpisujemy je w bryły brzegowe
01:46
and say what those objects are.
34
94320
1520
i je nazywamy.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Oto co się dzieje, kiedy wprowadzimy
ten obraz do detektora.
ten obraz do detektora.
01:53
Now, with this kind of result,
36
101240
2256
Z tego rodzaju rezultatem
możemy zrobić znacznie więcej,
stosując nasze algorytmy.
stosując nasze algorytmy.
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Komputer wie,
że na zdjęciu jest kot i pies.
że na zdjęciu jest kot i pies.
02:01
It knows their relative locations,
39
109240
2256
Zna ich względne położenie,
02:03
their size.
40
111520
1216
ich wielkość.
02:04
It may even know some extra information.
41
112760
1936
Może też uzyskać dodatkowe informacje:
02:06
There's a book sitting in the background.
42
114720
1960
w tle leży książka.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
Żeby zbudować system
na rozpoznawaniu obrazu,
na rozpoznawaniu obrazu,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
powiedzmy samoprowadzący się pojazd
lub manipulator robotyczny,
lub manipulator robotyczny,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
potrzeba właśnie tego typu informacji.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Potrzeba czegoś do interakcji
ze światem fizycznym.
ze światem fizycznym.
Kiedy zacząłem pracować
nad wykrywaniem obiektów,
nad wykrywaniem obiektów,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
przetworzenie jednego obrazu
zajmowało 20 sekund.
zajmowało 20 sekund.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
Aby lepiej odczuć dlaczego prędkość
jest tak ważna w tej dziedzinie,
jest tak ważna w tej dziedzinie,
02:33
here's an example of an object detector
50
141120
2536
pokażę przykład detektora obiektów,
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
który przetwarza obraz w 2 sekundy.
02:38
So this is 10 times faster
52
146120
2616
To 10 razy szybciej
02:40
than the 20-seconds-per-image detector,
53
148760
3536
niż ten przetwarzający obraz w 20 sekund,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
a i tak można zaobserwować,
że zanim dokonał prognozy,
że zanim dokonał prognozy,
02:47
the entire state of the world has changed,
55
155000
2040
zmieniła się cała sytuacja,
02:49
and this wouldn't be very useful
56
157880
2416
a to nie byłoby zbyt użyteczne
w zastosowaniu.
w zastosowaniu.
02:52
for an application.
57
160320
1416
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Jeśli dziesięciokrotnie
przyspieszymy ten proces,
przyspieszymy ten proces,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
tak wygląda detektor
przy pięciu klatkach an sekundę.
przy pięciu klatkach an sekundę.
02:59
This is a lot better,
60
167120
1536
Wygląda to dużo lepiej,
03:00
but for example,
61
168680
1976
ale na przykład
03:02
if there's any significant movement,
62
170680
2296
w przypadku znacznego ruchu
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
nie chciałbym, żeby taki system
prowadził mój samochód.
prowadził mój samochód.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
Tak wygląda nasz system
działający w czasie rzeczywistym
działający w czasie rzeczywistym
na moim laptopie.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Płynnie śledzi mnie
w trakcie poruszania się w ramie
w trakcie poruszania się w ramie
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
i jest odporny na dużą
różnorodność zmian wielkości,
różnorodność zmian wielkości,
03:21
pose,
67
189440
1200
pozy,
03:23
forward, backward.
68
191280
1856
rotacji poziomej.
03:25
This is great.
69
193160
1216
O to chodziło.
03:26
This is what we really need
70
194400
1736
Tego właśnie potrzeba,
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
żeby budować systemy
na rozpoznawaniu obrazu.
na rozpoznawaniu obrazu.
03:31
(Applause)
72
199080
4000
(Brawa)
03:36
So in just a few years,
73
204280
2176
Zaledwie w kilka lat
03:38
we've gone from 20 seconds per image
74
206480
2656
przeszliśmy od 20 sekund na obraz
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
do 20 milisekund na obraz
- tysiąc razy szybciej.
- tysiąc razy szybciej.
03:44
How did we get there?
76
212720
1416
Jak to się stało?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
W przeszłości systemy wykrywania obiektów
03:49
would take an image like this
78
217200
1936
rozbiłyby ten obraz
03:51
and split it into a bunch of regions
79
219160
2456
na mnóstwo obszarów
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
i wprowadziłyby każdy z nich
do klasyfikatora,
do klasyfikatora,
03:56
and high scores for that classifier
81
224920
2536
a wysokie rezultaty klasyfikatora
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
byłyby uważane za wykrycie obiektów.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Ale to wymagało wprowadzenia obrazu
do klasyfikatora tysiące razy,
do klasyfikatora tysiące razy,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
tysięcy ewaluacji sieci neuronowych,
aby otrzymać wykrycie.
aby otrzymać wykrycie.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Zamiast tego nauczyliśmy pojedynczą sieć
całkowitego wykrywania.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Tworzy ona wszystkie bryły brzegowe
i prawdopodobieństwa klasowe jednocześnie.
i prawdopodobieństwa klasowe jednocześnie.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Nasz system, zamiast tysiąc razy
analizować obraz
analizować obraz
04:24
to produce detection,
88
252200
1456
do jednego wykrycia,
04:25
you only look once,
89
253680
1256
analizuje go tylko raz
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
i dlatego nazywamy to
metodą wykrywania obrazów YOLO.
metodą wykrywania obrazów YOLO.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Z tą prędkością nie musimy
ograniczać się jedynie do obrazów.
ograniczać się jedynie do obrazów.
04:35
we can process video in real time.
92
263360
2416
Możemy przetwarzać wideo
w czasie rzeczywistym.
w czasie rzeczywistym.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
Teraz zamiast kota i psa
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
można też obserwować
ich ruch i interakcję.
ich ruch i interakcję.
04:46
This is a detector that we trained
95
274560
2056
Trenowaliśmy ten detektor
04:48
on 80 different classes
96
276640
4376
na osiemdziesięciu różnych klasach
04:53
in Microsoft's COCO dataset.
97
281040
3256
w zbiorze danych Microsoft COCO.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Zawiera on różnorodne rzeczy,
na przykład łyżkę i widelec, miskę
na przykład łyżkę i widelec, miskę
04:59
common objects like that.
99
287680
1800
i podobne przedmioty codziennego użytku.
05:02
It has a variety of more exotic things:
100
290360
3096
Zawiera również
bardziej egzotyczne obrazy:
bardziej egzotyczne obrazy:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
zwierzęta, samochody, zebry, żyrafy.
05:08
And now we're going to do something fun.
102
296760
1936
Teraz zrobimy coś dla zabawy.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Skierujemy detektor na publiczność
05:12
and see what kind of things we can detect.
104
300840
2016
i zobaczymy, co się da wykryć.
05:14
Does anyone want a stuffed animal?
105
302880
1620
Czy ktoś chce pluszaka?
05:18
There are some teddy bears out there.
106
306000
1762
Mam tu kilka misiów.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
Możemy trochę obniżyć
nasz próg wykrywalności,
nasz próg wykrywalności,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
aby znaleźć więcej osób na widowni.
Zobaczmy, czy uda nam się
rozpoznać te znaki stopu.
rozpoznać te znaki stopu.
05:31
Let's see if we can get these stop signs.
109
319560
2336
05:33
We find some backpacks.
110
321920
1880
Widzimy kilka plecaków.
05:37
Let's just zoom in a little bit.
111
325880
1840
Zróbmy niewielkie zbliżenie.
05:42
And this is great.
112
330320
1256
Świetnie.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
Całe przetwarzanie ma miejsce
w czasie rzeczywistym
w czasie rzeczywistym
05:46
on the laptop.
114
334800
1200
na laptopie.
05:49
And it's important to remember
115
337080
1456
Należy pamiętać,
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
że jest to system wykrywania
obiektów do użytku ogólnego,
obiektów do użytku ogólnego,
05:53
so we can train this for any image domain.
117
341800
5000
więc możemy go wytrenować
dla dowolnej kategorii obrazów.
dla dowolnej kategorii obrazów.
06:00
The same code that we use
118
348320
2536
Ten sam kod, którego używamy
06:02
to find stop signs or pedestrians,
119
350880
2456
do znalezienia znaków stopu, pieszych,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
lub rowerów w autonomicznym pojeździe
06:07
can be used to find cancer cells
121
355360
2856
można wykorzystać
do znalezienia komórek rakowych
do znalezienia komórek rakowych
06:10
in a tissue biopsy.
122
358240
3016
w biopsji tkanki.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
Badacze na całym świece
używają już tej technologii
używają już tej technologii
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
do rozwoju w dziedzinach
takich jak medycyna, czy robotyka.
takich jak medycyna, czy robotyka.
06:21
This morning, I read a paper
125
369680
1376
Dziś rano czytałem pracę
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
omawiającą zliczanie zwierząt
w Parku Narodowym Nairobi
w Parku Narodowym Nairobi
przy wykorzystaniu YOLO jako
części systemu wykrywania obiektów.
części systemu wykrywania obiektów.
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
06:30
And that's because Darknet is open source
128
378840
3096
Jest to możliwe ponieważ "Darknet"
jest programem open source,
jest programem open source,
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
będącym własnością publiczną
do wolnego użytku.
do wolnego użytku.
06:37
(Applause)
130
385600
5696
(Brawa)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Chcieliśmy jednak, żeby wykrywanie
było bardziej przystępne i przydatne,
było bardziej przystępne i przydatne,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
więc poprzez połączenie
optymalizacji modelu,
optymalizacji modelu,
06:52
network binarization and approximation,
133
400360
2296
binaryzacji i aproksymacji sieci
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
otrzymaliśmy wykrywanie obiektów
działające na telefonie.
działające na telefonie.
07:04
(Applause)
135
412800
5320
(Brawa)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
Jestem bardzo podekscytowany,
bo mamy potężne rozwiązanie problemu
bo mamy potężne rozwiązanie problemu
rozpoznawania obrazów
na komputerach o niskiej wydajności
na komputerach o niskiej wydajności
07:16
to this low-level computer vision problem,
137
424040
2296
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
i każdy może je wykorzystać
i stworzyć coś przy jego użyciu.
i stworzyć coś przy jego użyciu.
07:22
So now the rest is up to all of you
139
430240
3176
Reszta zależy od was
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
i ludzi na całym świecie
z dostępem do tego oprogramowania.
z dostępem do tego oprogramowania.
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
Nie mogę się doczekać tego,
co ludzie stworzą
przy użyciu tej technologii.
przy użyciu tej technologii.
07:32
Thank you.
142
440080
1216
Dziękuję.
07:33
(Applause)
143
441320
3440
(Brawa)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com