TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Kaip kompiuteris išmoksta akimirksniu atpažinti objektus
Filmed:
Readability: 4.5
2,471,805 views
Prieš dešimt metų mokslininkai manė, kad tikriausiai niekuomet nebus įmanoma išmokyti kompiuterį atskirti katę nuo šuns. Šiandien kompiuterio regos programos pajėgia tai atlikti daugiau nei 99 proc. tikslumu. Kaip? Jeseph Redmon dirba su YOLO (You Only Look Once, angliškai: „tu pažiūri tik kartą“) - objektus aptinkančia atviro kodo programa, kuri žaibo greitumu atpažįsta objektus atvaizduose ir vaizdo įrašuose – nuo zebrų iki Stop ženklų. Nuostabiame demonstraciniame pasirodyme Redman išryškina šio žingsnio svarbą savarankiškai važiuojančių automobilių, robotikos, vėžio nustatymo ir kitose srityse.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
Prieš dešimt metų
00:12
Ten years ago,
0
825
1151
mokslininkai, tiriantys
kompiuterinę regą, manė,
kompiuterinę regą, manė,
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
kad išmokyti kompiuterį
atskirti katę nuo šuns
atskirti katę nuo šuns
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
00:19
would be almost impossible,
3
7520
1976
tikriausiai niekuomet nebus įmanoma,
netgi gerokai pažengus
dirbtinio intelekto srityje.
dirbtinio intelekto srityje.
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Šiandien galime tai atlikti daugiau
nei 99-ių procentų tikslumu.
nei 99-ių procentų tikslumu.
00:29
This is called image classification --
6
17680
1856
Tai vadinama vaizdų klasifikavimu –
imame vaizdą, priskiriame jam etiketę –
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
ir taip kompiuteriai išmoksta
tūkstančius kategorijų.
tūkstančius kategorijų.
Esu magistrantas Vašingtono Universitete
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
ir dirbu prie projekto pavadinimu
„Darknet“ (angl. „tamsusis tinklas“).
„Darknet“ (angl. „tamsusis tinklas“).
00:41
and I work on a project called Darknet,
10
29600
1896
00:43
which is a neural network framework
11
31520
1696
Tai – neuroninio tinklo sistema,
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
skirta mokyti ir testuoti
kompiuterinės regos modelius.
kompiuterinės regos modelius.
00:48
So let's just see what Darknet thinks
13
36080
2976
Pažiūrėkime ką „Darknet“ mano
00:51
of this image that we have.
14
39080
1760
apie šį mūsų turimą atvaizdą.
00:54
When we run our classifier
15
42520
2336
Kai paleidžiame klasifikatorių
pateikę jam šį atvaizdą,
00:56
on this image,
16
44880
1216
atgal gauname ne tik spėjimus
apie aptiktas kates ir šunis,
apie aptiktas kates ir šunis,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
bet ir specifines jų veisles.
Toks šiandieninis mūsų
pasiektas išsamumo lygis.
pasiektas išsamumo lygis.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
01:05
And it's correct.
20
53160
1616
Ir tai – tiesa,
01:06
My dog is in fact a malamute.
21
54800
1840
mano šuo iš tiesų yra malamutas.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Pasiekiemė įspūdingus tolius
vaizdų klasifikacijoje,
vaizdų klasifikacijoje,
tačiau kas nutinka,kai
paleidžiame klasifikatorių
paleidžiame klasifikatorių
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
01:15
on an image that looks like this?
24
63424
1960
pateikę atvaizdą, kuris atrodo taip?
01:19
Well ...
25
67080
1200
Na...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Klasifikatorius grąžina panašius spėjimus.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
Ir jis teisus – atvaizde yra malamutas,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
tačiau vien tik tokia etiketė
nesuteikia jokios informacijos
nesuteikia jokios informacijos
apie tai, kas vyksta šiame atvaizde.
01:35
about what's going on in the image.
29
83400
1667
01:37
We need something more powerful.
30
85091
1560
Mums reikia kažko galingesnio.
Aš dirbu prie problemos,
vadinamos objektų aptikimu.
vadinamos objektų aptikimu.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
Tai reiškia, kad žiūrėdami į atvaizdą
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
siekiame aptikti visus
jame esančius objektus,
jame esančius objektus,
01:44
put bounding boxes around them
33
92840
1456
apibrėžti jų ribas
01:46
and say what those objects are.
34
94320
1520
ir juos įvardinti.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Štai kas nutinka, kai paleidžiame
detektorių, pateikę jam šį atvaizdą.
detektorių, pateikę jam šį atvaizdą.
01:53
Now, with this kind of result,
36
101240
2256
Gavę tokį rezultatą,
galime atlikti kur kas daugiau su
mūsų kompiuterinės regos algoritmais.
mūsų kompiuterinės regos algoritmais.
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Programa žino, jog
atvaizde yra katė ir šuo.
atvaizde yra katė ir šuo.
02:01
It knows their relative locations,
39
109240
2256
Žino jų santykines vietas
02:03
their size.
40
111520
1216
ir jų dydį.
02:04
It may even know some extra information.
41
112760
1936
Galbūt žino ir dar daugiau.
02:06
There's a book sitting in the background.
42
114720
1960
Antrame vaizdo plane guli knyga.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
Jeigu norite sukurti sistemą,
pagrįstą kompiuterine rega,
pagrįstą kompiuterine rega,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
pavyzdžiui, savaeigę transporto
priemonę ar robotą,
priemonę ar robotą,
tai yra būtent tokio pobūdžio
informacija, kurios jums reikia.
informacija, kurios jums reikia.
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Jums reikia kažko, suteikiančio
galimybę bendrauti su fiziniu pasauliu.
galimybę bendrauti su fiziniu pasauliu.
Kai pradėjau dirbti prie objektų aptikimo,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
vieno atvaizdo apdorojimas
užtrukdavo 20 sekundžių.
užtrukdavo 20 sekundžių.
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
Kad suprastumėte, kodėl šioje
srityje greitis yra toks svarbus,
srityje greitis yra toks svarbus,
štai – detektoriaus pavyzdys,
02:33
here's an example of an object detector
50
141120
2536
kuriame vienas atvaizdas
apdorojamas per dvi sekundes.
apdorojamas per dvi sekundes.
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
02:38
So this is 10 times faster
52
146120
2616
Taigi, 10 kartų greičiau,
02:40
than the 20-seconds-per-image detector,
53
148760
3536
nei ankstesnis detektorius.
Galite matyti, kad kol sistema
galiausiai atlieka spėjimą,
galiausiai atlieka spėjimą,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
02:47
the entire state of the world has changed,
55
155000
2040
pasaulis aplink spėja pasikeisti.
02:49
and this wouldn't be very useful
56
157880
2416
Taigi, tai nebūtų labai naudinga
02:52
for an application.
57
160320
1416
realiam pritaikymui.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Jeigu pagreitintume procesą
dar 10-čia kartų,
dar 10-čia kartų,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
tai – detektorius, apdorojantis
penkis vaizdus per sekundę.
penkis vaizdus per sekundę.
02:59
This is a lot better,
60
167120
1536
Kur kas geriau,
03:00
but for example,
61
168680
1976
tačiau,
03:02
if there's any significant movement,
62
170680
2296
situacijoje, kurioje
vaizdas greitai keičiasi,
vaizdas greitai keičiasi,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
aš nenorėčiau, kad tokia sistema
vairuotų mano automobilį.
vairuotų mano automobilį.
Čia – mūsų objektų aptikimo sistema,
veikianti esamu laiku, mano kompiuteryje.
veikianti esamu laiku, mano kompiuteryje.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Ji sklandžiai seka mane kai judu
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
ir sparčiai prisitaiko prie staigių
pokyčių, tokių kaip dydis,
pokyčių, tokių kaip dydis,
03:21
pose,
67
189440
1200
poza,
03:23
forward, backward.
68
191280
1856
judesiai pirmyn, atgal.
03:25
This is great.
69
193160
1216
Tai – puiku.
03:26
This is what we really need
70
194400
1736
Štai ko mums iš tiesų reikia,
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
ketinant kurti sistemas,
pagrįstas kompiuterine rega.
pagrįstas kompiuterine rega.
03:31
(Applause)
72
199080
4000
(Plojimai.)
03:36
So in just a few years,
73
204280
2176
Taigi, tik per keletą metų
nuo 20 sekundžių vienam atvaizdui
03:38
we've gone from 20 seconds per image
74
206480
2656
perėjome iki 20 milisekundžių
vienam atvaizdui.
vienam atvaizdui.
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
Tai – tūkstantį kartų greičiau.
03:44
How did we get there?
76
212720
1416
Kaip tai padarėme?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
Praeityje objektų aptikimo sistemos
03:49
would take an image like this
78
217200
1936
pirmiausia padalindavo vaizdinį
03:51
and split it into a bunch of regions
79
219160
2456
į daugybę regionių,
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
o tuomet klasifikatorius
apdorodavo kiekvieną jų.
apdorodavo kiekvieną jų.
03:56
and high scores for that classifier
81
224920
2536
Aukšti klasifikatoriaus balai
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
reikšdavo objektų aptikimą atvaizde.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Klasikifatorius būdavo paleidžiamas
tūkstantį kartų kiekvienam vaizdui,
tūkstantį kartų kiekvienam vaizdui,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
reikėdavo tūkstančių neuroninių tinklų
analizių vienam objektui aptikti.
analizių vienam objektui aptikti.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Vietoj to, mes išmokėme vieną
neuroninį tinklą aptikti visus objektus.
neuroninį tinklą aptikti visus objektus.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Jis tuo pat metu apibrėžia objektus
ir suskaičiuoja jų tikimybes.
ir suskaičiuoja jų tikimybes.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Su mūsų sistema nereikia žiūrėti
į tą patį atvaizdą tūkstantį kartų,
į tą patį atvaizdą tūkstantį kartų,
kad aptiktume objektą.
04:24
to produce detection,
88
252200
1456
Užtenka pažiūrėti tik kartą,
04:25
you only look once,
89
253680
1256
todėl taip ir vadiname savo
objektų aptikimo metodą:
objektų aptikimo metodą:
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
YOLO (You only look once –
angl. „tu tik pažiūri kartą“).
angl. „tu tik pažiūri kartą“).
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Tokiu greičiu galime apdoroti
ne tik nuotraukas,
ne tik nuotraukas,
04:35
we can process video in real time.
92
263360
2416
bet ir vaizdo įrašus realiu laiku.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
Galime ne tik matyti šunis ir kates,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
bet ir sekti juos judant ir
sąveikaujant vienas su kitu.
sąveikaujant vienas su kitu.
04:46
This is a detector that we trained
95
274560
2056
Tai – detektorius, kurį išmokėme
80 skirtingų klasių,
80 skirtingų klasių,
04:48
on 80 different classes
96
276640
4376
04:53
in Microsoft's COCO dataset.
97
281040
3256
esančių „Microsoft“ „COCO“ duomenų bazėje.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Šioje bazėje pilna įvairių objektų,
pavyzdžiui, šaukštų, šakučių, lėkščių
pavyzdžiui, šaukštų, šakučių, lėkščių
04:59
common objects like that.
99
287680
1800
it kitų paprastų daiktų.
05:02
It has a variety of more exotic things:
100
290360
3096
Yra ir egzotiškesnių objektų:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
gyvūnų, automobilių, zebrų, žirafų.
05:08
And now we're going to do something fun.
102
296760
1936
O dabar pademonstruosime šį tą smagaus.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Nukreipsime detektorių į publiką
ir pažiūrėsime kokius
daiktus galime joje aptikti.
daiktus galime joje aptikti.
05:12
and see what kind of things we can detect.
104
300840
2016
05:14
Does anyone want a stuffed animal?
105
302880
1620
Ar kas nors nori pliušinio žaislo?
05:18
There are some teddy bears out there.
106
306000
1762
Ten kažkur mėtosi keletas
pliušinių meškinų.
pliušinių meškinų.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
Šiek tiek sumažinsime aptikimo slenkstį,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
kad aptiktume daugiau jūsų.
Pažiūrėkime, ar galime aptikti
šiuos „Stop“ ženklus.
šiuos „Stop“ ženklus.
05:31
Let's see if we can get these stop signs.
109
319560
2336
05:33
We find some backpacks.
110
321920
1880
Randame keletą kuprinių.
05:37
Let's just zoom in a little bit.
111
325880
1840
Šiek tiek priartinkime vaizdą.
05:42
And this is great.
112
330320
1256
Tai – puiku.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
Visas apdorojimas vyksta realiu laiku
05:46
on the laptop.
114
334800
1200
mano nešiojamame kompiuteryje.
05:49
And it's important to remember
115
337080
1456
Svarbu atminti,
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
kad tai – bendro naudojimo
objektų aptikimo sistema,
objektų aptikimo sistema,
05:53
so we can train this for any image domain.
117
341800
5000
kurią galima išmokyti visokiausių vaizdų.
06:00
The same code that we use
118
348320
2536
Tas pats kodas, kurį naudojame
06:02
to find stop signs or pedestrians,
119
350880
2456
surasti „Stop“ ženklus ar pėsčiuosius,
dviračius ar savieiges
transporto priemones,
transporto priemones,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
06:07
can be used to find cancer cells
121
355360
2856
gali būti naudojamas aptikti
vėžines ląsteles audinio biopsijoje.
vėžines ląsteles audinio biopsijoje.
06:10
in a tissue biopsy.
122
358240
3016
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
Daugybė mokslininkų visame pasaulyje
jau naudojasi šia technologija,
jau naudojasi šia technologija,
siekdami pasistūmėti tokiose srityse
kaip medicina ar robotų technika.
kaip medicina ar robotų technika.
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
Šįryt laikraštyje perskaičiau
06:21
This morning, I read a paper
125
369680
1376
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
apie tai, kad gyvūnai Nairobio
nacionaliniame parke buvo surašyti
nacionaliniame parke buvo surašyti
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
naudojant YOLO kaip
vieną iš sistemos dalių.
vieną iš sistemos dalių.
06:30
And that's because Darknet is open source
128
378840
3096
Nes „Darknet“ yra atviro kodo sistema,
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
patalpinta viešajame domene –
naudotis ja gali visi ir už dyką.
naudotis ja gali visi ir už dyką.
06:37
(Applause)
130
385600
5696
(Plojimai.)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Tačiau norėjome dar labiau padidinti
objektų aptikimo prieinamumą ir naudą,
objektų aptikimo prieinamumą ir naudą,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
taigi sujungę modelių optimizaciją,
06:52
network binarization and approximation,
133
400360
2296
tinklo binarizavimą ir derinimą
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
dabar turime objektų aptikimo modelį,
veikiantį mobiliajame telefone.
veikiantį mobiliajame telefone.
07:04
(Applause)
135
412800
5320
(Plojimai.)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
Aš labai džiaugiuosi, nes dabar
turime ganėtinai galingą sprendimą
turime ganėtinai galingą sprendimą
07:16
to this low-level computer vision problem,
137
424040
2296
šiai žemo lygio kompiuterinės
regos problemai,
regos problemai,
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
ir kiekvienas norintis gali pasiekti
šią sistemą ir kažką su ja sukurti.
šią sistemą ir kažką su ja sukurti.
07:22
So now the rest is up to all of you
139
430240
3176
Tad likusi dalis priklauso nuo visų jūsų
ir žmonių visame pasaulyje, turinčių
priėjimą prie šios programinės įrangos,
priėjimą prie šios programinės įrangos,
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
ir aš nekantrauju pamatyti, ką žmonės
sukurs, naudodamiesi šia technologija.
sukurs, naudodamiesi šia technologija.
07:32
Thank you.
142
440080
1216
Ačiū.
07:33
(Applause)
143
441320
3440
(Plojimai.)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com