TED2017
Joseph Redmon: How computers learn to recognize objects instantly
جوزف ردمون: چگونه یک کامپیوتر یاد می‌گیرد تا فورا یک شی را بازشناسی کند
Filmed:
Readability: 4.5
2,471,805 views
۱۰ سال قبل، محققان فکر می‌کردند که گفتن فرق بین یک گربه و یک سگ به یک کامپیوتر غیر ممکن است. امروزه، سیستم‌های بینایی کامپیوتر این را با دقت بهتر از ۹۹ درصد انجام می‌دهد. چگونه؟ جوزف ردمون روی یک سیتم YOLO(تو فقط یک بار نگاه کن) کار می‌کند، یک متد منبع آزاد برای یافتن اشیایی که می‌توانند در تصویر و ویدیو-- از گورخر تا علامت ایست-- با سرعت رعد و برق شناسایی شوند. در یک نمایش زنده قابل توجه، ردمون این پله مهم رو به جلو برای کاربردهایی مانند خودروهای خودران، رباتیک و حتی شناسایی سرطان به نمایش می‌گذارد
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
00:12
Ten years ago,
0
825
1151
۱۰ سال قبل
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
محققان بینایی ماشین فکر کردند که
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
گفتن فرق بین گربه و سگ به کامپیوتر
00:19
would be almost impossible,
3
7520
1976
تقریبا غیرممکن خواهد بود،
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
حتی با پیشرفت‌های قابل توجه در
هوش مصنوعی.
هوش مصنوعی.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
حالا ما میتوانیم این را با
دقت بیشتر از ۹۹ درصد انجام بدیم
دقت بیشتر از ۹۹ درصد انجام بدیم
00:29
This is called image classification --
6
17680
1856
این را دسته بندی تصویر می‌گویند--
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
یک تصویر بهش بده و یک برچسب به تصویر بزن--
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
و کامپیوترها هزاران دسته بندی دیگر را
نیز به خوبی می‌دانند.
نیز به خوبی می‌دانند.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
من دانشجوی ارشد از
دانشگاه واشنگتن هستم
دانشگاه واشنگتن هستم
00:41
and I work on a project called Darknet,
10
29600
1896
و مشغول کار روی پروژه
دارکنت (شبکه سیاه)
دارکنت (شبکه سیاه)
00:43
which is a neural network framework
11
31520
1696
که در چارچوب شبکه عصبی است
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
برای آموزش دادن و تست کردن
مدلهای بینایی کامیپوتر.
مدلهای بینایی کامیپوتر.
00:48
So let's just see what Darknet thinks
13
36080
2976
خب بیاید به چگونگی فکر کردن
دارکنت
دارکنت
00:51
of this image that we have.
14
39080
1760
به این تصاویری که داریم، نگاه کنیم.
00:54
When we run our classifier
15
42520
2336
وقتی طبقه بندیمان را روی این تصاویر
00:56
on this image,
16
44880
1216
اجرا می‌کنیم.
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
میبینیم که فقط پیش‌بینی
سگ یا گربه بودن نیست.
سگ یا گربه بودن نیست.
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
در واقع نژاد پیش‌بینی‌ها را نیز می‌گوییم.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
این سطح جزئیاتی است که الان داریم
01:05
And it's correct.
20
53160
1616
و صحیح است.
01:06
My dog is in fact a malamute.
21
54800
1840
سگ من در حقیقت مالاموت است.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
خب گام‌های حیرت آوری
در دسته بندی تصاویر ساخته‌ایم،
در دسته بندی تصاویر ساخته‌ایم،
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
اما چه اتفاقی میفتد
وقتی طبقه‌بندمان را
وقتی طبقه‌بندمان را
01:15
on an image that looks like this?
24
63424
1960
روی تصویری مثل
این اجرا می‌کنیم؟
این اجرا می‌کنیم؟
01:19
Well ...
25
67080
1200
خب...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
میبینیم که طبقه‌بند با یک
پیش‌بینی خیلی مشابه باز میگردد.
پیش‌بینی خیلی مشابه باز میگردد.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
و درسته،
یک مالاموت در تصویر وجود دارد،
یک مالاموت در تصویر وجود دارد،
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
اما فقط یک برچسب داده شده،
در واقع خیلی درباره
در واقع خیلی درباره
01:35
about what's going on in the image.
29
83400
1667
اینکه در تصویر
چه رخ داده نمیدانیم.
چه رخ داده نمیدانیم.
01:37
We need something more powerful.
30
85091
1560
به چیزی قویتری نیاز داریم.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
من روی یک مسئله کار می‌کنم که
یافتن اشیا نامیده می‌شود،
یافتن اشیا نامیده می‌شود،
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
وقتی به تصویری نگاه می کنیم
و سعی در یافتن تمام اشیا داریم،
و سعی در یافتن تمام اشیا داریم،
01:44
put bounding boxes around them
33
92840
1456
آنها را داخل مستطیلهای نمایش
گذاشته
گذاشته
01:46
and say what those objects are.
34
94320
1520
و می‌گوییم که این اشیا
چه هستند.
چه هستند.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
خب، این چیزی است که
وقتی یابنده را اجرا کنیم اتفاق میافتد.
وقتی یابنده را اجرا کنیم اتفاق میافتد.
01:53
Now, with this kind of result,
36
101240
2256
حالا، با این نتایج،
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
میتوانیم کمی بیشتربا الگوریتم
بینای کامپیوترمان کار کنیم.
بینای کامپیوترمان کار کنیم.
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
میبینیم همانطور که می‌دانید
یک گربه و یک سگ وجود دارد.
یک گربه و یک سگ وجود دارد.
02:01
It knows their relative locations,
39
109240
2256
و محلهای نسبی و اندازه
02:03
their size.
40
111520
1216
آنها را می‌داند.
02:04
It may even know some extra information.
41
112760
1936
حتی شاید کمی
اطلاعات اضافی نیز بدانیم.
اطلاعات اضافی نیز بدانیم.
02:06
There's a book sitting in the background.
42
114720
1960
در پس زمینه هم یک کتاب قرار دارد.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
و اگر شما بخواید یک سیستم
در صدر بینایی کامپیوتر بسازید،
در صدر بینایی کامپیوتر بسازید،
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
مثل یک خودروی خودران یا یک سیستم رباتیکی،
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
این نوع اطلاعاتی است که می‌خواهید.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
چیزی می‌خواهید که بین شما
و دنیای فیزیکی تعامل کند.
و دنیای فیزیکی تعامل کند.
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
حالا وقتی من یافتن اشیا را شروع کردم.
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
۲۰ ثانیه طول کشید
تا تصویر را پردازش کند.
تا تصویر را پردازش کند.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
و برای اینکه حس کنید چرا
سرعت در این حوزه خیلی مهم است،
سرعت در این حوزه خیلی مهم است،
02:33
here's an example of an object detector
50
141120
2536
اینجا یک مثال از یافتن اشیا داریم
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
که ۲ ثانیه طول می‌کشد
تا تصویری را پردازش کند.
تا تصویری را پردازش کند.
02:38
So this is 10 times faster
52
146120
2616
خب این ۱۰ برابر سریعتر
02:40
than the 20-seconds-per-image detector,
53
148760
3536
از یابنده ۲۰ ثانیه بر تصویر است.
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
و شما این پیش‌بینی‌ها را
می‌توانید همزمان ببینید،
می‌توانید همزمان ببینید،
02:47
the entire state of the world has changed,
55
155000
2040
کل جهان تغییر کرده است،
02:49
and this wouldn't be very useful
56
157880
2416
و این برای یک برنامه خیلی مفید
02:52
for an application.
57
160320
1416
نخواهد بود.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
اگر این را با یک فاکتور دیگر
۱۰ برابر سریعتر کنیم
۱۰ برابر سریعتر کنیم
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
این یابنده با ۵ فریم
بر ثانیه اجرا خواهد شد.
بر ثانیه اجرا خواهد شد.
02:59
This is a lot better,
60
167120
1536
این بسیار بهتر است،
03:00
but for example,
61
168680
1976
اما برای مثال،
03:02
if there's any significant movement,
62
170680
2296
اگر هر حرکت قابل توجهی وجود داشته باشد،
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
نمی‌خواهم که
سیستمی شبیه این، ماشینم را براند.
سیستمی شبیه این، ماشینم را براند.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
این سیستم یابنده ماست
که در زمان حقیقی روی لپ تاپ‌م اجرا می‌شود.
که در زمان حقیقی روی لپ تاپ‌م اجرا می‌شود.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
خب به آرامی من را دنبال می‌کند
بطوریکه من دور فریم حرکت می‌کنم،
بطوریکه من دور فریم حرکت می‌کنم،
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
و این شیوه مواجه با انواع
تغییرات در اندازه
تغییرات در اندازه
03:21
pose,
67
189440
1200
ژست،
03:23
forward, backward.
68
191280
1856
رو به جلو،رو به پشت است.
03:25
This is great.
69
193160
1216
این عالیه.
03:26
This is what we really need
70
194400
1736
این چیزیست که واقعا نیاز داریم
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
اگر بخواهیم سیستمی را
در صدر بینایی کامپیوترها بسازیم.
در صدر بینایی کامپیوترها بسازیم.
03:31
(Applause)
72
199080
4000
(تشویق)
03:36
So in just a few years,
73
204280
2176
خب، ظرف فقط چند سال،
03:38
we've gone from 20 seconds per image
74
206480
2656
ما از ۲۰ ثانیه درتصویر به
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
۲۰ میلی ثانیه بر تصویر رفتیم،
هزار بار سریعتر.
هزار بار سریعتر.
03:44
How did we get there?
76
212720
1416
چطور به اینجا رسیدیم؟
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
خب، در گذشته،
سیستم‌های یافتن اشیا
سیستم‌های یافتن اشیا
03:49
would take an image like this
78
217200
1936
تصویری شبیه این می‌گرفتند
03:51
and split it into a bunch of regions
79
219160
2456
و آن را به بسیاری از مناطق تقسیم می‌کردند
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
و سپس برای هر یک از این مناطق
یک دسته بند را اجرا می‌کردند
یک دسته بند را اجرا می‌کردند
03:56
and high scores for that classifier
81
224920
2536
و بالاترین امتیاز برای این دسته بندیها
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
به عنوان تصویر یافته شده
در نظر گرفته میشد.
در نظر گرفته میشد.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
اما این هزاران بار اجرا کردن یک دسته بند
روی یک تصویر را شامل میشد،
روی یک تصویر را شامل میشد،
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
هزاران شبکه عصبی ارزیابی می‌کردند تا
"یافتن" را تولید کنند.
"یافتن" را تولید کنند.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
درعوض، ما یک تک شبکه را آموزش دادیم
تا کل یافتنها را برای ما انجام دهد.
تا کل یافتنها را برای ما انجام دهد.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
همه باندهای محدود را تولید و
همه احتمالات را با هم کلاس بندی می‌کند.
همه احتمالات را با هم کلاس بندی می‌کند.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
با یک سیستم، به جای نگاه کردن
به یک تصویر برای هزاران بار
به یک تصویر برای هزاران بار
04:24
to produce detection,
88
252200
1456
برای تولید یافتن
04:25
you only look once,
89
253680
1256
شما فقط یک بار نگاه می‌کنید،
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
و به همین دلیل ما آن را
متد YOLO برای یافتن اشیا نامیدیم.
متد YOLO برای یافتن اشیا نامیدیم.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
خب، با این سرعت
ما فقط به یک تصویر محدود نیستیم:
ما فقط به یک تصویر محدود نیستیم:
04:35
we can process video in real time.
92
263360
2416
همچنین میتوانیم ویدیو را نیز همزمان
پردازش کنیم.
پردازش کنیم.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
و حالا، به جای نگاه کردن به گربه و سگ
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
میتوانیم حرکت و تعامل آنها
با یکدیگر را نیز ببینیم.
با یکدیگر را نیز ببینیم.
04:46
This is a detector that we trained
95
274560
2056
این یابنده‌ای است که ما
04:48
on 80 different classes
96
276640
4376
در ۸۰ کلاس مختلف دردر دیتاست
04:53
in Microsoft's COCO dataset.
97
281040
3256
coco مایکروسافت آموزش دادیم.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
انواع اشیاء مثل
قاشق، چنگال، کاسه را دارد
قاشق، چنگال، کاسه را دارد
04:59
common objects like that.
99
287680
1800
اشیا معمولی مانند این.
05:02
It has a variety of more exotic things:
100
290360
3096
تنوع عجیب و غریبی از اشیا را دارد:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
حیوانات، ماشین ها، گورخرها، زرافه‌ها.
05:08
And now we're going to do something fun.
102
296760
1936
و حالا میخواهیم یک کار مفرح انجام دهیم.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
فقط میخواهیم بیایم بیرون در بین مخاطبان
05:12
and see what kind of things we can detect.
104
300840
2016
و ببینیم چه چیزهایی را میتوانیم بیابیم.
05:14
Does anyone want a stuffed animal?
105
302880
1620
آیا کسی یک حیوان پر شده می‌خواهد؟
05:18
There are some teddy bears out there.
106
306000
1762
تعدادی خرس عروسکی اینجا هست.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
و ما میتوانیم آستانه خود
در یافتن را کمی کاهش دهیم،
در یافتن را کمی کاهش دهیم،
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
خب میتوانیم شما آقایان را در
بین مخاطبین پیدا کنیم.
بین مخاطبین پیدا کنیم.
05:31
Let's see if we can get these stop signs.
109
319560
2336
ببینیم آیا میتوان این
علامتهای ایست را یافت.
علامتهای ایست را یافت.
05:33
We find some backpacks.
110
321920
1880
ما تعدادی کوله پشتی یافتیم
05:37
Let's just zoom in a little bit.
111
325880
1840
بیاید فقط کمی زوم کنیم.
05:42
And this is great.
112
330320
1256
و این عالیه.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
و تمام این اتفاقات در زمان واقعی اتفاق میافتد.
05:46
on the laptop.
114
334800
1200
روی لپ تاپ.
05:49
And it's important to remember
115
337080
1456
و مهم است به خاطر داشته باشید
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
که این یک سیستم یابنده
اشیا همه منظوره است،
اشیا همه منظوره است،
05:53
so we can train this for any image domain.
117
341800
5000
خب ما میتوانیم این را
برای هر حوزه تصویری آموزش دهیم.
برای هر حوزه تصویری آموزش دهیم.
06:00
The same code that we use
118
348320
2536
همان کدی است که ما استفاده کردیم
06:02
to find stop signs or pedestrians,
119
350880
2456
تا علامت ایست یا عابرپیاده،
06:05
bicycles in a self-driving vehicle,
120
353360
1976
دوچرخه در یک خودروی خودران را پیدا کنیم،
06:07
can be used to find cancer cells
121
355360
2856
میتواند برای یافتن سلولهای سرطانی
06:10
in a tissue biopsy.
122
358240
3016
دریک نمونه برداری بافت استفاده شود.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
و محققانی در سراسر جهان وجود دارند
همچنین این سیستم را
همچنین این سیستم را
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
برای چیزهای پیشرفته مانند دارو
روباتیک استفاده می‌کنند.
روباتیک استفاده می‌کنند.
06:21
This morning, I read a paper
125
369680
1376
امروز صبح، مقاله‌ای خواندم.
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
جایی یک صحبتی بود از سرشماری حیوانات
پارک ملی نایروبی
پارک ملی نایروبی
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
با سیستم YOLO به عنوانی
بخشی از این سیستم یابنده.
بخشی از این سیستم یابنده.
06:30
And that's because Darknet is open source
128
378840
3096
و این به خاطر این است
که دارکنت منبع آزاد است
که دارکنت منبع آزاد است
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
ودر حوزه عمومی برای
استفاده همگان آزاد است.
استفاده همگان آزاد است.
06:37
(Applause)
130
385600
5696
(تشویق)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
اما میخواهیم یافتن را حتی
در دسترس‌تر و قابل استفاده‌تر کنیم
در دسترس‌تر و قابل استفاده‌تر کنیم
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
بنابراین ازطریق ترکیب مدلهای بهینه
06:52
network binarization and approximation,
133
400360
2296
شبکه تقسیم بندی شده و تقریبی
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
ما در واقع در حال اجرای
یافتن اشیا روی گوشی هستیم.
یافتن اشیا روی گوشی هستیم.
07:04
(Applause)
135
412800
5320
(تشویق)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
و من خیلی هیجان زده هستم
زیرا حالا یک راه حل خیلی قدرتمند
زیرا حالا یک راه حل خیلی قدرتمند
07:16
to this low-level computer vision problem,
137
424040
2296
برای این مسئله سطح پایین
بینایی کامپیوتر داریم.
بینایی کامپیوتر داریم.
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
و هرکسی میتواند این را بردارد
و یک چیزی با آن بسازد.
و یک چیزی با آن بسازد.
07:22
So now the rest is up to all of you
139
430240
3176
خب حالا دیگر بقیه آن به شما و مردم جهان
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
با دسترسی به این نرم افزار بستگی دارد.
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
و من نمی‌توانم صبر کنم ببینم
مردم با این تکنولوژی چه خواهند ساخت.
مردم با این تکنولوژی چه خواهند ساخت.
07:32
Thank you.
142
440080
1216
متشکرم.
07:33
(Applause)
143
441320
3440
(تشویق)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com