TED2017
Joseph Redmon: How computers learn to recognize objects instantly
جوزيف ريدمود: كيف يتعلم الحاسوب التعرف على الأشياء فورًا؟
Filmed:
Readability: 4.5
2,471,805 views
قبل عشر سنوات، اعتقد الباحثون أن الحصول على جهاز كمبيوتر يمكنه التفريق بين القط والكلب سيكون من المستحيل تقريبًا. لكن اليوم، تستطيع الرؤية الحاسوبية فعل ذلك مع أكثر من 99 % من الدقة. كيف ذلك؟ يعمل جوزيف ريدمون على يولو (انظر مرة واحدة فقط)، وهي طريقة مفتوحة المصدر للكشف عن الكائنات في الصور والفيديو - من الحمر الوحشية وحتى إشارات التوقف - بسرعة البرق. وذلك في عرض حي ملحوظ، ويظهر يدمون قبالة هذه الخطوة الهامة إلى الأمام لتطبيقات مثل السيارات ذاتية القيادة وتصميم واستخدام الإنسان الآلي وحتى الكشف عن السرطان.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
00:12
Ten years ago,
0
825
1151
منذ عشر سنوات مضت،
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
اعتقد باحثوا رؤية الكمبيوتر أن الحصول
على جهاز كمبيوتر
على جهاز كمبيوتر
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
لمعرفة الفرق بين القط والكلب
00:19
would be almost impossible,
3
7520
1976
سيكون شبه مستحيل،
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
وحتى مع التقدم الكبير فى حالة
الذكاء الاصطناعي.
الذكاء الاصطناعي.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
يمكننا الآن أن نفعل ذلك بمستوى
دقة أعلى من 99%.
دقة أعلى من 99%.
00:29
This is called image classification --
6
17680
1856
وهذا ما يسمى بالتصنيف الصوري --
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
وإعطائها صورة،
ووضع تسمية لتلك الصورة --
ووضع تسمية لتلك الصورة --
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
وكذلك تعرف أجهزة الكمبيوتر الآلاف
من الفئات الأخرى.
من الفئات الأخرى.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
أنا طالب دراسات عليا فى جامعة واشنطن
00:41
and I work on a project called Darknet,
10
29600
1896
وأنا أعمل على مشروع يسمى "داركنيت"
00:43
which is a neural network framework
11
31520
1696
وهو إطار الشبكة العصبية
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
لتدريب واختبار نماذج رؤية الكمبيوتر.
00:48
So let's just see what Darknet thinks
13
36080
2976
ولذلك، دعونا نرى ماذا يفكر "داركنيت"
00:51
of this image that we have.
14
39080
1760
فى هذه الصورة لدينا.
00:54
When we run our classifier
15
42520
2336
عندما نقوم بتشغيل المصنف لدينا
00:56
on this image,
16
44880
1216
على هذه الصورة،
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
نجد أننا لا نحصل فقط على تنبؤ للكلب والقط،
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
نحن فى الواقع نحصل على
تنبؤات سلالة محددة.
تنبؤات سلالة محددة.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
ذلك هو مستوى التقسيمات المتوفر لنا الآن.
01:05
And it's correct.
20
53160
1616
وهو صحيح.
01:06
My dog is in fact a malamute.
21
54800
1840
في الحقيقة فإن كلبي هو "ملموت."
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
ولذلك فقد حقننا خطوة مذهلة فى
تصنيف الصورة،
تصنيف الصورة،
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
ولكن ماذا يحدث عندما
نشغّل المصنف لدينا
نشغّل المصنف لدينا
01:15
on an image that looks like this?
24
63424
1960
في صورة تبدو كهذه؟
01:19
Well ...
25
67080
1200
حسناً ...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
نرى أن المصنف يعود مع تنبؤ مماثل جداً.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
وهذا صحيح،
فهناك ملموت فى الصورة،
فهناك ملموت فى الصورة،
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
ولكن فقط نظراً لهذه التسمية،
فنحن حقاً لا نعرف الكثير
فنحن حقاً لا نعرف الكثير
01:35
about what's going on in the image.
29
83400
1667
عن ماذا يدور فى الصورة.
01:37
We need something more powerful.
30
85091
1560
ونحن بحاجة إلى شيء أكثر قوة.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
أنا أعمل على مشكلة
تسمى الكشف عن الكائن،
تسمى الكشف عن الكائن،
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
حيث ننظر إلى صورة
ونحاول العثور على كل الكائنات،
ونحاول العثور على كل الكائنات،
01:44
put bounding boxes around them
33
92840
1456
ووضع المربعات المحيطة بهم
01:46
and say what those objects are.
34
94320
1520
ونقول ما هي تلك الكائنات.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
وهنا ما يحدث عندما نقوم بتشغيل
المكشاف على هذه الصورة.
المكشاف على هذه الصورة.
01:53
Now, with this kind of result,
36
101240
2256
والآن، مع نتيجة من هذا النوع،
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
نستطيع فعل أكثر من ذللك بكثير
مع خوارزمياتنا لرؤية الكمبيوتر.
مع خوارزمياتنا لرؤية الكمبيوتر.
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
نجد أنه يعرف أن هناك قط وكلب.
02:01
It knows their relative locations,
39
109240
2256
ويعرف مواقعهم النسبية،
02:03
their size.
40
111520
1216
وحجمهم.
02:04
It may even know some extra information.
41
112760
1936
وربما يعرف معلومات إضافية.
02:06
There's a book sitting in the background.
42
114720
1960
يوجد كتاب فى الخلفية.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
وإذا أردت بناء نظام أعلى رؤية الكمبيوتر،
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
فلنقل سيارة ذاتية القيادة أو نظام روبوتية
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
هذا هو نوع المعلومات التي تريدها.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
تريد شيئًا بحيث يمكنك التفاعل
مع العالم المادي.
مع العالم المادي.
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
والآن، عندما بدأت العمل
في الكشف عن الكائنات،
في الكشف عن الكائنات،
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
فقد استغرق الأمر 20 ثانية
لمعالجة صورة واحدة.
لمعالجة صورة واحدة.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
وللحصول على شعور
لماذا السرعة مهمة جدًا فى هذا المجال،
لماذا السرعة مهمة جدًا فى هذا المجال،
02:33
here's an example of an object detector
50
141120
2536
هنا مثال للكشف عن كائن
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
والذي يستغرق تانيتين
لمعالجة صورة.
لمعالجة صورة.
02:38
So this is 10 times faster
52
146120
2616
لذا فهذا أسرع ب 10 مرات
02:40
than the 20-seconds-per-image detector,
53
148760
3536
من 20 تانية لكل كشف على صورة واحدة،
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
ويمكنك فى نفس الوقت أن ترى
أنه يقوم بتنبؤات،
أنه يقوم بتنبؤات،
02:47
the entire state of the world has changed,
55
155000
2040
فقد تغيّرت حالة العالم بأسرها،
02:49
and this wouldn't be very useful
56
157880
2416
وهذا لن يكون مفيدًا جدًا
02:52
for an application.
57
160320
1416
للتطبيق.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
إذا قمنا بتسريع هذا
بواسطة عامل آخر بمقدار 10
بواسطة عامل آخر بمقدار 10
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
فهذا كاشف يعمل
بمعدل خمسة إطارات فى الثانية الواحدة.
بمعدل خمسة إطارات فى الثانية الواحدة.
02:59
This is a lot better,
60
167120
1536
وهذا أفضل بكثير،
03:00
but for example,
61
168680
1976
ولكن على سبيل المثال،
03:02
if there's any significant movement,
62
170680
2296
فإذا كان هناك أي حركة كبيرة،
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
فلن أحتاج إلى نظام مثل قيادة سيارتي.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
هذا هو نظام الكشف لدينا المشغّل
فى الوقت الحقيقي على كمبيوتري المحمول.
فى الوقت الحقيقي على كمبيوتري المحمول.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
حيث يتتبعني بسلاسة
بينما أتحرك في جميع أنحاء الإطار،
بينما أتحرك في جميع أنحاء الإطار،
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
وهي قوى لمجموعة واسعة
من التغيرات في الحجم،
من التغيرات في الحجم،
03:21
pose,
67
189440
1200
والتشكيل،
03:23
forward, backward.
68
191280
1856
إلى الأمام وإلى الخلف.
03:25
This is great.
69
193160
1216
هذا عظيم.
03:26
This is what we really need
70
194400
1736
هذا هو حقًا ما نريده
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
إذا كنا سنبني أنظمة
على رأس رؤية الكمبيوتر.
على رأس رؤية الكمبيوتر.
03:31
(Applause)
72
199080
4000
(تصفيق)
03:36
So in just a few years,
73
204280
2176
بالتالي في بضع سنوات فقط،
03:38
we've gone from 20 seconds per image
74
206480
2656
فقد انتقلنا من 20 ثانية لكل صورة
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
إلى 20 جزء من ألف جزء من الثانية لكل صورة،
أسرع بألف مرة.
أسرع بألف مرة.
03:44
How did we get there?
76
212720
1416
كيف وصلنا إلى هناك؟
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
حسناً، في الماضي
كانت أنظمة الكشف عن الكائن
كانت أنظمة الكشف عن الكائن
03:49
would take an image like this
78
217200
1936
تأخذ صورة من هذا القبيل
03:51
and split it into a bunch of regions
79
219160
2456
وتقوم بتقسيمها إلى مجموعة من المناطق
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
ثم تقوم بتشغيل المصنف
على كلّ من تلك المناطق،
على كلّ من تلك المناطق،
03:56
and high scores for that classifier
81
224920
2536
ودرجات عالية من المصنف
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
ستعتبر بمثابة الكشف عن الصورة.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
ولكن هذا ينطوى على تشغيل المصنف
الآف المرات على الصورة،
الآف المرات على الصورة،
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
والآلاف من تقييم الشبكة العصبية
لإنتاج الكشف.
لإنتاج الكشف.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
وبدلاً من ذلك، فقد قمنا بتدريب شبكة واحدة
للقيام بالكشف كاملاً لنا.
للقيام بالكشف كاملاً لنا.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
فهي تنتج كافة المربعات المحيطة
وفئة الإحتمالات في آن واحد.
وفئة الإحتمالات في آن واحد.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
مع نظامنا، بدلاً من البحث
في الصورة لآلاف المرات
في الصورة لآلاف المرات
04:24
to produce detection,
88
252200
1456
لإنتاج كشفها،
04:25
you only look once,
89
253680
1256
فأنت تنظر مرة واحدة فقط،
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
ولهذا السبب نحن نسميها
طريقة الكشف عن كائن "يولو."
طريقة الكشف عن كائن "يولو."
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
لهذا بهذه السرعة
فنحن لا نقتصر فقط على الصور؛
فنحن لا نقتصر فقط على الصور؛
04:35
we can process video in real time.
92
263360
2416
بل نستطيع أن نعالج الفيديو في
الوقت الحقيقي.
الوقت الحقيقي.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
والآن، بدلاً من مجرد رؤية
ذلك القط والكلب،
ذلك القط والكلب،
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
نستطيع أن نرى تحركاتهم
وتفاعلهم تجاه بعضهم البعض.
وتفاعلهم تجاه بعضهم البعض.
04:46
This is a detector that we trained
95
274560
2056
وهذا هو جهاز الكشف الذي قمنا بتدريبه
04:48
on 80 different classes
96
276640
4376
في 80 فئة مختلفة
04:53
in Microsoft's COCO dataset.
97
281040
3256
في مجموعة بيانات "كوكو" ميكروسفت.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
لديها جميع أنواع االأشياء
مثل الملعقة والشوكة والسلطانية.
مثل الملعقة والشوكة والسلطانية.
04:59
common objects like that.
99
287680
1800
الأشياء الشائعة من هذا القبيل.
05:02
It has a variety of more exotic things:
100
290360
3096
لديها مجموعة متنوعة من أشياء أكثر غرابة:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
مثل الحيوانات والسيارات والحمر الوحشية
والزرافات
والزرافات
05:08
And now we're going to do something fun.
102
296760
1936
وسنقوم الآن بشيء مرح.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
سنستهدف الجمهور
05:12
and see what kind of things we can detect.
104
300840
2016
ونرى ما نوع الأشياء التي يمكننا
الكشف عنها.
الكشف عنها.
05:14
Does anyone want a stuffed animal?
105
302880
1620
هل من أحد يريد الحيوانات المحنطة؟
05:18
There are some teddy bears out there.
106
306000
1762
توجد بعض الدببة هناك.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
ويمكننا أن نخفض العتبة
لدينا للكشف عنه قليلاً،
لدينا للكشف عنه قليلاً،
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
لذا فنستطيع أن نجد عددًا أكبر يا رفاق
من ذلك الجمهور.
من ذلك الجمهور.
05:31
Let's see if we can get these stop signs.
109
319560
2336
لنرى إذا كان يمكننا الحصول
على علامات التوقف هذه.
على علامات التوقف هذه.
05:33
We find some backpacks.
110
321920
1880
نجد بعض حقائب الظهر.
05:37
Let's just zoom in a little bit.
111
325880
1840
دعونا فقط نكبّر قليلاً.
05:42
And this is great.
112
330320
1256
وهذا شيء عظيم.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
والتحويل يحدث كلياً
فى الوقت الحقيقي
فى الوقت الحقيقي
05:46
on the laptop.
114
334800
1200
على الكمبيوتر المحمول.
05:49
And it's important to remember
115
337080
1456
وهذا أمر هام للتذكّر
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
وهذا هو الغرض العام
لنظام الكشف عن الكائن،
لنظام الكشف عن الكائن،
05:53
so we can train this for any image domain.
117
341800
5000
نستطيع أن نُدرب هذا لأي نطاق للصورة.
06:00
The same code that we use
118
348320
2536
نفس التعليمات البرمجية التى نستخدمها
06:02
to find stop signs or pedestrians,
119
350880
2456
لإيجاد علامات التوقف أو المشاة،
06:05
bicycles in a self-driving vehicle,
120
353360
1976
والدراجات الهوائية في سيارة ذاتية القيادة
06:07
can be used to find cancer cells
121
355360
2856
يمكن استخدامها لإيجاد الخلايا السرطانية
06:10
in a tissue biopsy.
122
358240
3016
فى عينة من الأنسجة.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
وهناك باحثون حول العالم
يستخدمون هذه التكنولوجيا بالفعل
يستخدمون هذه التكنولوجيا بالفعل
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
للتقدم في أمور مثل الطب
وعلم الإنسان الآلي.
وعلم الإنسان الآلي.
06:21
This morning, I read a paper
125
369680
1376
فقد قرأت جريدة هذا الصباح
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
حيث أنهم يتخذون إجراء تعداد
للحيوانات فى حديقة وطنية في نيروبي
للحيوانات فى حديقة وطنية في نيروبي
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
مع "يولو" كجزء من نظام الكشف هذا.
06:30
And that's because Darknet is open source
128
378840
3096
وهذا لأن "داركنيت" هو المصدر المفتوح
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
وفى المجال العام،
كما أنه مجاناً لأي شخص ليستخدمه.
كما أنه مجاناً لأي شخص ليستخدمه.
06:37
(Applause)
130
385600
5696
(تصفيق)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
ولكننا أردنا جعل الوصول
إلى الكشف أكتر سهولة وكذلك استعماله،
إلى الكشف أكتر سهولة وكذلك استعماله،
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
وذلك من خلال الجمع بين النموذج الأمثل،
06:52
network binarization and approximation,
133
400360
2296
ووضغ البيانات على شكل ثنائي
والقيمة التقريبية،
والقيمة التقريبية،
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
ولدينا بالفعل كاشف مواد يعمل
على الهاتف المحمول.
على الهاتف المحمول.
07:04
(Applause)
135
412800
5320
(تصفيق)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
وأنا متحمس حقًا لأنه لدينا
الآن حل قوي جداً
الآن حل قوي جداً
07:16
to this low-level computer vision problem,
137
424040
2296
لمشكلة رؤية الكمبيوتر ذات المستوى المنخفض،
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
ويستطيع أي شخص أخذها
وبناء شيء باستخدامها.
وبناء شيء باستخدامها.
07:22
So now the rest is up to all of you
139
430240
3176
لذا، البقية الآن متروكة لكم جميعاً
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
والناس حول العالم ممن لهم إمكانية
وصول إلى هذا البرنامج،
وصول إلى هذا البرنامج،
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
ولا أستطيع الانتظار كي أرى ما سيبنيه
الناس باستخدام هذه التكنولوجيا.
الناس باستخدام هذه التكنولوجيا.
07:32
Thank you.
142
440080
1216
شكراً لكم.
07:33
(Applause)
143
441320
3440
(تصفيق)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com