TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Джозеф Редмон: Як комп'ютер вчиться миттєво визначати об'єкти
Filmed:
Readability: 4.5
2,471,805 views
Десять років тому дослідники вважали, що змусити комп'ютер визначити різницю мід кішкою та собакою буде майже неможливо. Сьогодні системи комп'ютерного зору роблять це з точністю понад 99 відсотків. Як? Джозеф Редмон працює над системою із відкритим доступом до коду YOLO ("You Only Look Once" - "Ви Дивитеся Тільки Один раз"). Цей метод розпізнавання вміє визначити об'єкти на зображеннях та відео — від зебр до знаків "стоп" — з блискавичною швидкістю. У вражаючому живому демо Редмон показує, який важливий шаг зроблено для побудови машин на автопілоті, робототехніки і навіть визначення ракових клітин.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
00:12
Ten years ago,
0
825
1151
Десять років тому
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
дослідники комп'ютерного зору
вважали, що навчити комп'ютер
вважали, що навчити комп'ютер
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
визначити різницю
між котом і собакою —
між котом і собакою —
00:19
would be almost impossible,
3
7520
1976
майже неможливо,
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
навіть зі значним розвитком
в галузі штучного інтелекту.
в галузі штучного інтелекту.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Зараз ми вміємо це робити
з точністю понад 99%.
з точністю понад 99%.
00:29
This is called image classification --
6
17680
1856
Це називається класифікація
зображень —
зображень —
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
маючи зображення,
назвати це зображення —
назвати це зображення —
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
і комп'ютери знають
тисячі таких категорій.
тисячі таких категорій.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
Я аспірант
Університету Вашингтона,
Університету Вашингтона,
00:41
and I work on a project called Darknet,
10
29600
1896
і я працюю над проектом
під назвою Даркнет,
під назвою Даркнет,
00:43
which is a neural network framework
11
31520
1696
це фреймворк для нейронної сітки,
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
який навчає і тестує
моделі комп'ютерного зору.
моделі комп'ютерного зору.
00:48
So let's just see what Darknet thinks
13
36080
2976
Дізнаймося, що думає Даркнет
00:51
of this image that we have.
14
39080
1760
про це наше зображення.
00:54
When we run our classifier
15
42520
2336
Коли ми запускаємо класифікатор
00:56
on this image,
16
44880
1216
для цього зображення,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
ми отримуємо не просто прогноз
щодо кішки чи собаки,
щодо кішки чи собаки,
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
насправді ми отримуємо
визначення породи.
визначення породи.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
Ось такий рівень точності
ми маємо зараз.
ми маємо зараз.
01:05
And it's correct.
20
53160
1616
І це так.
01:06
My dog is in fact a malamute.
21
54800
1840
Мій собака насправді маламут.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Тож ми досягли відчутного успіху
у класифікації зображень,
у класифікації зображень,
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
але що станеться, якщо запустити
класифікатор
класифікатор
01:15
on an image that looks like this?
24
63424
1960
на отакому зображенні?
01:19
Well ...
25
67080
1200
Ну...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Ми бачимо, що він повертається
з дуже подібним передбаченням.
з дуже подібним передбаченням.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
І це правда, на зображенні
є маламут,
є маламут,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
але через саму цю назву
ми небагато дізналися про те,
ми небагато дізналися про те,
01:35
about what's going on in the image.
29
83400
1667
що саме відбувається на зображенні.
01:37
We need something more powerful.
30
85091
1560
Нам потрібно щось потужніше.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
І я працюю над проблемою
під назвою визначення об'єктів,
під назвою визначення об'єктів,
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
ми дивимося на зображення
і намагаємося знайти усі об'єкти,
і намагаємося знайти усі об'єкти,
01:44
put bounding boxes around them
33
92840
1456
визначивши їхні межі
01:46
and say what those objects are.
34
94320
1520
і підписавши, що це таке.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Ось що трапиться, якщо запустити детектор
для цього зображення.
для цього зображення.
01:53
Now, with this kind of result,
36
101240
2256
З таким результатом ми можемо
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
зробити більше з нашими алгоритмами
комп'ютерного зору.
комп'ютерного зору.
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Ми бачимо, що він знає,
що це кіт і собака.
що це кіт і собака.
02:01
It knows their relative locations,
39
109240
2256
Він знає їхні приблизні локації,
02:03
their size.
40
111520
1216
їхній розмір.
02:04
It may even know some extra information.
41
112760
1936
Він може навіть знати деяку
додаткову інформацію.
додаткову інформацію.
02:06
There's a book sitting in the background.
42
114720
1960
Ось там на фоні книжка.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
І якщо ви хочете побудувати систему
на основі комп'ютерного зору,
на основі комп'ютерного зору,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
наприклад, машину на автопілоті
чи роботизовану систему,
чи роботизовану систему,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
ви потребуватимете
саме такої інформації.
саме такої інформації.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Ви хочете чогось, що дозволить
взаємодіяти з матеріальним світом.
взаємодіяти з матеріальним світом.
Коли я почав працювати над
визначенням об'єктітв,
визначенням об'єктітв,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
обробка зображення займала
20 секунд.
20 секунд.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
І щоб зрозуміти, чому швидкість
настільки важлива в цій галузі,
настільки важлива в цій галузі,
02:33
here's an example of an object detector
50
141120
2536
ось приклад детектора об'єктів,
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
що потребує 2 секунди
на обробку зображення.
на обробку зображення.
02:38
So this is 10 times faster
52
146120
2616
Тож він у десять разів швидший
02:40
than the 20-seconds-per-image detector,
53
148760
3536
за той 20-секундний детектор,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
але видно, що коли він робить
свій прогноз,
свій прогноз,
02:47
the entire state of the world has changed,
55
155000
2040
стан навколишнього світу
вже змінився.
вже змінився.
02:49
and this wouldn't be very useful
56
157880
2416
Тож це не дуже корисно
02:52
for an application.
57
160320
1416
для додатку.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Якщо ми прискоримо це
ще вдесятеро,
ще вдесятеро,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
ось детектор, що працює
на швидкості 5 кадрів на секунду.
на швидкості 5 кадрів на секунду.
02:59
This is a lot better,
60
167120
1536
Це набагато краще,
03:00
but for example,
61
168680
1976
але наприклад,
03:02
if there's any significant movement,
62
170680
2296
якщо відбувається помітний рух,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
я б не хотів, щоб така система
керувала моєю автівкою.
керувала моєю автівкою.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
Це наша система визначення,
що працює наживо на моєму лептопі.
що працює наживо на моєму лептопі.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Вона послідовно визначає моє місце,
поки я рухаюсь коло меж,
поки я рухаюсь коло меж,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
і вона стійка до різноманітних
змін розміру,
змін розміру,
03:21
pose,
67
189440
1200
пози,
03:23
forward, backward.
68
191280
1856
руху вперед і назад.
03:25
This is great.
69
193160
1216
Це чудово.
03:26
This is what we really need
70
194400
1736
Саме це нам і потрібно,
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
якщо ми хочемо будувати системи
на основі комп'ютерного зору.
на основі комп'ютерного зору.
03:31
(Applause)
72
199080
4000
(Оплески)
03:36
So in just a few years,
73
204280
2176
Тож лише за кілька років
03:38
we've gone from 20 seconds per image
74
206480
2656
ми пройшли від 20 секунд
на зображення
на зображення
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
до 20 мілісекунд на зображення,
у тисячу разів швидше.
у тисячу разів швидше.
03:44
How did we get there?
76
212720
1416
Як ми цього досягли?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
У минулому система визначення об'єктів
03:49
would take an image like this
78
217200
1936
взяла б подібне зображення
03:51
and split it into a bunch of regions
79
219160
2456
і поділила на безліч регіонів,
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
а потім запустила б класифікатор
для кожного регіону,
для кожного регіону,
03:56
and high scores for that classifier
81
224920
2536
і високі бали для такого класифікатора
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
вважалися б
за визначення зображення.
за визначення зображення.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Але це потребувало б запуску
класифікатора тисячі разів,
класифікатора тисячі разів,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
тисячі перевірок нейронної мережі,
щоб зробити визначення.
щоб зробити визначення.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Натомість ми натренували єдину мережу
робити усі визначення для нас.
робити усі визначення для нас.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Вона створює усі рамки
й сортує ймовірності одночасно.
й сортує ймовірності одночасно.
З нашою системою, замість того
щоб тисячі разів дивитися на зображення
щоб тисячі разів дивитися на зображення
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
для визначення,
ми дивимося один раз:
ми дивимося один раз:
04:24
to produce detection,
88
252200
1456
04:25
you only look once,
89
253680
1256
"you only look once".
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
і ми назвали наш метод
визначення об'єктів YOLO.
визначення об'єктів YOLO.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Тож з такою швидкістю
ми не обмежені зображеннями,
ми не обмежені зображеннями,
04:35
we can process video in real time.
92
263360
2416
ми можемо обробляти відео наживо.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
І тепер, замість того щоб бачити
тих кота і собаку,
тих кота і собаку,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
ми можемо бачити, як вони
рухаються і взаємодіють.
рухаються і взаємодіють.
04:46
This is a detector that we trained
95
274560
2056
Цей детектор ми тренували
04:48
on 80 different classes
96
276640
4376
на 80 різних класах
04:53
in Microsoft's COCO dataset.
97
281040
3256
з набору даних Microsoft СОСО.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Там були усі типи речей:
ложка і виделка, миска,
ложка і виделка, миска,
04:59
common objects like that.
99
287680
1800
подібні звичні речі.
05:02
It has a variety of more exotic things:
100
290360
3096
Там була й безліч незвичніших речей:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
тварини, авто, зебри, жирафи.
05:08
And now we're going to do something fun.
102
296760
1936
І зараз ми зробимо дещо цікаве.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Ми просто підемо у залу
05:12
and see what kind of things we can detect.
104
300840
2016
і побачимо, які речі зможемо
визначити.
визначити.
05:14
Does anyone want a stuffed animal?
105
302880
1620
Хтось хоче м'яку іграшку?
05:18
There are some teddy bears out there.
106
306000
1762
Тут є іграшкові ведмеді.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
І ми можемо трошки знизити
поріг розпізнавання,
поріг розпізнавання,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
щоб знайти більше вас
в аудиторії.
в аудиторії.
05:31
Let's see if we can get these stop signs.
109
319560
2336
Побачимо, чи ми визначаємо знаки "стоп".
05:33
We find some backpacks.
110
321920
1880
Ми знайшли наплечники.
05:37
Let's just zoom in a little bit.
111
325880
1840
Тепер наблизьмо трошки.
05:42
And this is great.
112
330320
1256
І це чудово.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
І уся обробка відбувається
в реальному часі
в реальному часі
05:46
on the laptop.
114
334800
1200
на лептопі.
05:49
And it's important to remember
115
337080
1456
І важливо пам'ятати,
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
що це система визначення
загального призначення,
загального призначення,
05:53
so we can train this for any image domain.
117
341800
5000
тож ми можемо натренувати її
для будь-якого типу зображень.
для будь-якого типу зображень.
06:00
The same code that we use
118
348320
2536
Той самий код, що використовується,
06:02
to find stop signs or pedestrians,
119
350880
2456
щоб знаходити знаки "стоп", пішоходів,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
велосипеди для машини на автопілоті,
06:07
can be used to find cancer cells
121
355360
2856
можна використати, щоб знаходити
ракові клітини
ракові клітини
06:10
in a tissue biopsy.
122
358240
3016
у біопсії тканини.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
І дослідники по всьому світу
вже використовують цю технологію,
вже використовують цю технологію,
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
щоб розвивати медицину
чи робототехніку.
чи робототехніку.
Цього ранку я прочитав статтю
06:21
This morning, I read a paper
125
369680
1376
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
про те, як підраховували тварин
в Національному парку Найробі,
в Національному парку Найробі,
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
використовуючи YOLO
як частину системи розпізнавання.
як частину системи розпізнавання.
06:30
And that's because Darknet is open source
128
378840
3096
А це тому, що Даркнет — проект з вікритим
кодом
кодом
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
у публічному доступі,
безкоштовний для використання.
безкоштовний для використання.
06:37
(Applause)
130
385600
5696
(Оплески)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Але ми хочемо зробити визначення
навіть доступнішим і зручнішим,
навіть доступнішим і зручнішим,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
тож завдяки оптимізації,
06:52
network binarization and approximation,
133
400360
2296
апроксимації та бінаризації мережі
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
наше визначення зображень
працює на телефоні.
працює на телефоні.
07:04
(Applause)
135
412800
5320
(Оплески)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
І я дуже схвильований, бо
зараз у нас є досить потужне розв'язання
зараз у нас є досить потужне розв'язання
07:16
to this low-level computer vision problem,
137
424040
2296
для низькорівневого комп'ютерного зору,
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
і кожен може взяти його
і щоб з цим побудувати.
і щоб з цим побудувати.
07:22
So now the rest is up to all of you
139
430240
3176
Тож решта залежить від вас усіх,
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
від людей по всьому світу,
які мають доступ до цієї програми,
які мають доступ до цієї програми,
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
і я із нетерпінням чекаю на речі,
які люди створять із цією технологією.
які люди створять із цією технологією.
07:32
Thank you.
142
440080
1216
Дякую.
07:33
(Applause)
143
441320
3440
(Оплески)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com