TED2017
Joseph Redmon: How computers learn to recognize objects instantly
ג'וזף רדמון: כיצד מחשב לומד לזהות אובייקטים באופן מיידי
Filmed:
Readability: 4.5
2,471,805 views
לפני עשר שנים, חוקרים חשבו שלגרום למחשב להבדיל בין חתול לכלב יהיה כמעט בלתי אפשרי. כיום, מערכות ראייה ממוחשבת עושות זאת עם למעלה מ 99 אחוזי דיוק. כיצד? ג'וזף רדמון עובד על מערכת YOLO (אתה רק רואה פעם אחת), שיטת קוד פתוח לזיהוי אובייקטים, שיכולה לזהות אובייקטים בתמונות ובווידאו - מזברות ועד סימני עצור - במהירות הבזק. בהדגמה חיה להפליא, רדמון מראה את הצעד החשוב הזה קדימה עבור יישומים כמו מכוניות בנהיגה עצמית, רובוטיקה, ואפילו גילוי סרטן.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
00:12
Ten years ago,
0
825
1151
לפני עשר שנים,
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
מדעני ראייה ממוחשבת חשבו שלגרום למחשב
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
להבדיל בין חתול לכלב
00:19
would be almost impossible,
3
7520
1976
יהיה כמעט בלתי אפשרי,
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
אפילו עם התקדמות משמעותית
במצב של הבינה המלאכותית.
במצב של הבינה המלאכותית.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
עכשיו אנחנו יכולים לעשות זאת
ברמת דיוק של למעלה מ 99 אחוז.
ברמת דיוק של למעלה מ 99 אחוז.
00:29
This is called image classification --
6
17680
1856
זה נקרא סיווג תמונה --
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
מעלים תמונה ושמים עליה תווית --
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
ומחשבים מכירים אלפי קטגוריות אחרות גם כן.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
אני סטודנט לתואר שני
באוניברסיטת וושינגטון,
באוניברסיטת וושינגטון,
00:41
and I work on a project called Darknet,
10
29600
1896
ואני עובד על פרויקט שנקרא "דארקנט",
00:43
which is a neural network framework
11
31520
1696
שהוא מסגרת של רשת עצבית
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
להכשרה ובדיקת מודלים של ראייה ממוחשבת.
00:48
So let's just see what Darknet thinks
13
36080
2976
אז בואו ונראה מה "דארקנט" חושבת
00:51
of this image that we have.
14
39080
1760
על תמונה זו שיש לנו.
00:54
When we run our classifier
15
42520
2336
כאשר אנו מפעילים את המסווג שלנו
00:56
on this image,
16
44880
1216
על התמונה הזו,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
רואים שלא רק מקבלים חיזוי של כלב או חתול,
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
אנחנו למעשה מקבלים תחזיות של גזע ספציפי.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
זוהי רמת הפירוט שיש לנו עכשיו.
01:05
And it's correct.
20
53160
1616
והיא נכונה.
01:06
My dog is in fact a malamute.
21
54800
1840
הכלב שלי למעשה הוא מלמוט.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
אז עשינו צעדים מדהימים בסיווג תמונות,
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
אבל מה קורה כשאנו מפעילים את המסווג
01:15
on an image that looks like this?
24
63424
1960
על תמונה שנראית כמו זו?
01:19
Well ...
25
67080
1200
טוב ...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
אנו רואים שהמסווג נותן תחזית די דומה.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
וזה נכון. יש מלמוט בתמונה.
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
אבל רק בהתחשב בתווית זו,
איננו ממש יודעים כל כך הרבה
איננו ממש יודעים כל כך הרבה
01:35
about what's going on in the image.
29
83400
1667
על מה שקורה בתמונה.
01:37
We need something more powerful.
30
85091
1560
אנחנו צריכים משהו חזק יותר.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
אני עובד על בעיה שנקראת זיהוי אובייקט,
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
שבה אנו מסתכלים על תמונה
ומנסים למצוא את כל האובייקטים,
ומנסים למצוא את כל האובייקטים,
01:44
put bounding boxes around them
33
92840
1456
שמים קופסאות תוחמות סביבם
01:46
and say what those objects are.
34
94320
1520
ואומרים מה הם אובייקטים אלה:
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
אז זה מה שקורה כשאנו מפעילים
גלאי על התמונה הזאת.
גלאי על התמונה הזאת.
01:53
Now, with this kind of result,
36
101240
2256
עכשיו, עם סוג זה של תוצאה,
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
נוכל לעשות הרבה יותר עם
האלגוריתמים של הראייה הממוחשבת.
האלגוריתמים של הראייה הממוחשבת.
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
אנחנו רואים שהוא מזהה שיש חתול וכלב.
02:01
It knows their relative locations,
39
109240
2256
הוא יודע את המקומות היחסיים שלהם,
02:03
their size.
40
111520
1216
את גודלם.
02:04
It may even know some extra information.
41
112760
1936
הוא אולי אפילו יודע עוד מידע נוסף כלשהו.
02:06
There's a book sitting in the background.
42
114720
1960
יש ספר שמונח ברקע.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
ואם רוצים לבנות שיטה על גבי ראייה ממוחשבת,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
למשל, רכב נהיגה עצמית או מערכת רובוטית,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
זה סוג המידע שמעונינים בו.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
רוצים משהו שיאפשר לתקשר עם העולם הפיזי.
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
עכשיו, כשהתחלתי לעבוד על זיהוי אובייקט,
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
לקח 20 שניות כדי לעבד תמונה בודדת.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
וכדי לקבל תחושה לסיבה שמהירות
כה חשובה בתחום זה,
כה חשובה בתחום זה,
02:33
here's an example of an object detector
50
141120
2536
הנה דוגמה של גלאי אובייקט
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
שלוקח לו שתי שניות לעבד תמונה.
02:38
So this is 10 times faster
52
146120
2616
אז זה פי 10 מהר יותר
02:40
than the 20-seconds-per-image detector,
53
148760
3536
מה20 שניות לתמונה של גלאי תמונה,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
ואתם יכולים לראות שעד שזה עושה תחזיות,
02:47
the entire state of the world has changed,
55
155000
2040
המצב כולו של העולם השתנה,
02:49
and this wouldn't be very useful
56
157880
2416
וזה לא יהיה מאוד שימושי
02:52
for an application.
57
160320
1416
עבור יישום.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
אם נאיץ את זה
לפי מקדם נוסף של 10,
לפי מקדם נוסף של 10,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
זה יהיה גלאי שרץ בחמש מסגרות לשנייה.
02:59
This is a lot better,
60
167120
1536
זה הרבה יותר טוב,
03:00
but for example,
61
168680
1976
אבל לדוגמה,
03:02
if there's any significant movement,
62
170680
2296
אם יש תנועה משמעותית,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
לא הייתי רוצה שמערכת כזו תנהג במכונית שלי.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
זוהי מערכת האיתור שלנו שרצה
בזמן אמת על המחשב הנייד שלי.
בזמן אמת על המחשב הנייד שלי.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
כך היא עוקבת אחרי בצורה חלקה
כשאני זז סביב המסגרת,
כשאני זז סביב המסגרת,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
והיא חסינה למגוון רחב של שינויים בגודל,
03:21
pose,
67
189440
1200
העמדה,
03:23
forward, backward.
68
191280
1856
קדימה, אחורה.
03:25
This is great.
69
193160
1216
זה נהדר.
03:26
This is what we really need
70
194400
1736
זה מה שאנחנו באמת צריכים
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
אם אנחנו הולכים לבנות מערכות
על גבי ראייה ממוחשבת.
על גבי ראייה ממוחשבת.
03:31
(Applause)
72
199080
4000
(מחיאות כפיים)
03:36
So in just a few years,
73
204280
2176
אז תוך שנים אחדות,
03:38
we've gone from 20 seconds per image
74
206480
2656
עברנו מ -20 שניות לתמונה
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
ל 20 אלפיות השנייה, פי אלף יותר מהר.
03:44
How did we get there?
76
212720
1416
איך הגענו לזה?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
בעבר, מערכות לאיתור אובייקטים
03:49
would take an image like this
78
217200
1936
היו לוקחות תמונה כמו זו
03:51
and split it into a bunch of regions
79
219160
2456
ומפצלות אותה לקבוצה של אזורים
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
ולאחר מכן מפעילות מסווג
על כל אחד מאזורים אלה,
על כל אחד מאזורים אלה,
03:56
and high scores for that classifier
81
224920
2536
וציונים גבוהים עבור מסווג זה
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
ייחשבו זיהויים בתמונה.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
אבל זה כרוך בהפעלת מסווג
אלפי פעמים על תמונה,
אלפי פעמים על תמונה,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
אלפי הערכות של רשת עצבית
כדי לייצר זיהוי.
כדי לייצר זיהוי.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
במקום זה, הכשרנו רשת אחת
לעשות את כל הזיהוי עבורנו.
לעשות את כל הזיהוי עבורנו.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
היא מייצרת את כל תיבות התחימה
ואת סוג ההסתברויות בו זמנית.
ואת סוג ההסתברויות בו זמנית.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
עם המערכת שלנו, במקום להסתכל
על תמונה אלפי פעמים
על תמונה אלפי פעמים
04:24
to produce detection,
88
252200
1456
כדי לייצר זיהוי,
04:25
you only look once,
89
253680
1256
מסתכלים רק פעם אחת,
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
ולכן אנחנו קוראים לזה
שיטת YOLO לזיהוי אובייקט.
שיטת YOLO לזיהוי אובייקט.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
אז עם מהירות זו, איננו מוגבלים רק לתמונות;
04:35
we can process video in real time.
92
263360
2416
אנו יכולים לעבד וידאו בזמן אמת.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
ועכשיו, במקום לראות רק
את החתול והכלב האלה,
את החתול והכלב האלה,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
אנחנו יכולים לראות אותם נעים סביב
ומתקשרים אחד עם השני.
ומתקשרים אחד עם השני.
04:46
This is a detector that we trained
95
274560
2056
זהו גלאי שאימנו
04:48
on 80 different classes
96
276640
4376
על 80 סוגים שונים
04:53
in Microsoft's COCO dataset.
97
281040
3256
במערך הנתונים COCO של מיקרוסופט.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
יש בו כל מיני דברים כמו כף ומזלג, קערה,
04:59
common objects like that.
99
287680
1800
חפצים רגילים כאלה.
05:02
It has a variety of more exotic things:
100
290360
3096
יש לו מגוון של דברים אקזוטיים יותר:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
חיות, מכוניות, זברות, ג'ירפות.
05:08
And now we're going to do something fun.
102
296760
1936
ועכשיו אנחנו הולכים לעשות משהו מהנה.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
אנחנו פשוט יוצאים אל הקהל
05:12
and see what kind of things we can detect.
104
300840
2016
כדי לראות איזה סוג של דברים
נוכל לזהות.
נוכל לזהות.
05:14
Does anyone want a stuffed animal?
105
302880
1620
האם מישהו רוצה בובת חיה?
05:18
There are some teddy bears out there.
106
306000
1762
יש כמה בובות דובי שם.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
ואנחנו יכול להנמיך מעט את סף הזיהוי שלנו,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
כדי שנוכל למצוא יותר אנשים מביניכם, בקהל.
05:31
Let's see if we can get these stop signs.
109
319560
2336
בואו ונראה אם נוכל לתפוס תמרורי עצור אלה.
05:33
We find some backpacks.
110
321920
1880
אנחנו מוצאים כמה תרמילי גב.
05:37
Let's just zoom in a little bit.
111
325880
1840
בואו פשוט נגדיל קצת.
05:42
And this is great.
112
330320
1256
וזה נהדר.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
וכל העיבוד קורה בזמן אמת
05:46
on the laptop.
114
334800
1200
על המחשב הנייד.
05:49
And it's important to remember
115
337080
1456
וחשוב לזכור
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
שזוהי מערכת זיהוי אובייקט למטרה כללית,
05:53
so we can train this for any image domain.
117
341800
5000
כך שנוכל להכשיר אותה עבור תמונה מכל תחום.
06:00
The same code that we use
118
348320
2536
אותו קוד שבו אנו משתמשים
06:02
to find stop signs or pedestrians,
119
350880
2456
כדי למצוא שלטי עצור או הולכי רגל,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
אופניים ברכב לנהיגה עצמית,
06:07
can be used to find cancer cells
121
355360
2856
יכול לשמש כדי למצוא תאים סרטניים
06:10
in a tissue biopsy.
122
358240
3016
בביופסיה של רקמה.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
ויש חוקרים ברחבי העולם
שכבר משתמשים בטכנולוגיה זו
שכבר משתמשים בטכנולוגיה זו
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
לקדם תחומים כמו רפואה, ורובוטיקה.
06:21
This morning, I read a paper
125
369680
1376
הבוקר קראתי עיתון
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
שבו ערכו מפקד של בעלי חיים
בפארק הלאומי של ניירובי
בפארק הלאומי של ניירובי
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
עם YOLO כחלק של מערכת זיהוי זו.
06:30
And that's because Darknet is open source
128
378840
3096
וזה בגלל ש "דארקנט" הוא קוד פתוח
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
עבור רשות הרבים, וללא תשלום,
לכל מי שרוצה להשתמש,
לכל מי שרוצה להשתמש,
06:37
(Applause)
130
385600
5696
(מחיאות כפיים)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
אבל רצינו לעשות את הזיהוי
לאפילו יותר נגיש ושמיש,
לאפילו יותר נגיש ושמיש,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
כך שבאמצעות שילוב
של אופטימיזציה של המודל,
של אופטימיזציה של המודל,
06:52
network binarization and approximation,
133
400360
2296
בינאריזציה ואומדנות של רשת,
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
יש לנו למעשה זיהוי אובייקט שרץ בטלפון.
07:04
(Applause)
135
412800
5320
(מחיאות כפיים)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
ואני באמת מתרגש כי
עכשיו יש לנו פתרון די חזק
עכשיו יש לנו פתרון די חזק
07:16
to this low-level computer vision problem,
137
424040
2296
לבעיית ראייה ממוחשבת ברמה נמוכה זו.
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
וכל אחד יכול לקחת את זה ולבנות עם זה משהו.
07:22
So now the rest is up to all of you
139
430240
3176
אז עכשיו כל השאר תלוי בכם
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
ובאנשים ברחבי העולם עם גישה לתוכנה זו,
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
ואני לא יכול לחכות לראות מה אנשים
יבנו עם טכנולוגיה זו.
יבנו עם טכנולוגיה זו.
07:32
Thank you.
142
440080
1216
תודה רבה.
07:33
(Applause)
143
441320
3440
(מחיאות כפיים)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com