TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Cara komputer belajar mengenali objek secara langsung
Filmed:
Readability: 4.5
2,471,805 views
Sepuluh tahun lalu, peneliti menganggap bahwa memerintahkan komputer membedakan kucing dan anjing adalah hal yang hampir mustahil. Sekarang, sistem penglihatan komputer melakukannya dengan akurasi lebih dari 99 persen. Bagaimana bisa? Joseph Redmon mengerjakan sistem YOLO (You Only Look Once/Anda hanya melihat sekali), sebuah metode sumber terbuka deteksi objek yang dapat mengidentifikasi objek dalam gambar dan video -- mulai dari zebra hingga rambu tanda berhenti -- secepat kilat. Melalui demo langsung yang luar biasa, Redmon memamerkan kemajuan penting ini untuk aplikasi seperti mobil otonom (tanpa supir), robotika, dan bahkan deteksi kanker.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
00:12
Ten years ago,
0
825
1151
Sepuluh tahun lalu,
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
peneliti penglihatan komputer
merasa bahwa memerintahkan
merasa bahwa memerintahkan
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
komputer membedakan kucing dan anjing
00:19
would be almost impossible,
3
7520
1976
hampir dikatakan mustahil,
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
bahkan dengan kemajuan signifikan
dalam bidang kecerdasan buatan.
dalam bidang kecerdasan buatan.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Sekarang, kita dapat melakukannya
dengan akurasi lebih dari 99 persen.
dengan akurasi lebih dari 99 persen.
00:29
This is called image classification --
6
17680
1856
Inilah yang disebut klasifikasi gambar,
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
taruhlah satu gambar,
beri label gambar itu,
beri label gambar itu,
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
dan komputer juga akan tahu
ribuan kategori lainnya.
ribuan kategori lainnya.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
Saya mahasiswa pascasarjana
di University of Washington,
di University of Washington,
00:41
and I work on a project called Darknet,
10
29600
1896
dan sedang mengerjakan projek Darknet,
00:43
which is a neural network framework
11
31520
1696
yaitu kerangka kerja jaringan saraf
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
untuk melatih dan menguji
model penglihatan komputer.
model penglihatan komputer.
00:48
So let's just see what Darknet thinks
13
36080
2976
Mari kita lihat apa yang Darknet pikirkan
00:51
of this image that we have.
14
39080
1760
mengenai gambar ini.
00:54
When we run our classifier
15
42520
2336
Saat kita menjalankan alat klasifikasi
00:56
on this image,
16
44880
1216
pada gambar ini,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
kita melihat tidak hanya
prediksi anjing dan kucing,
prediksi anjing dan kucing,
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
tetapi juga prediksi turunannya
secara spesifik.
secara spesifik.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
Kita juga mendapat
prediksi lebih detail lagi.
prediksi lebih detail lagi.
01:05
And it's correct.
20
53160
1616
Yap, itu benar.
01:06
My dog is in fact a malamute.
21
54800
1840
Anjing saya memang
dari jenis malamute.
dari jenis malamute.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Kita sudah membuat langkah luar biasa
dalam klasifikasi gambar,
dalam klasifikasi gambar,
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
bagaimana jika alat klasifikasi dijalankan
01:15
on an image that looks like this?
24
63424
1960
pada gambar seperti ini?
01:19
Well ...
25
67080
1200
Mari kita lihat...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Alat klasifikasi memberikan
prediksi yang lumayan mirip.
prediksi yang lumayan mirip.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
Yap, itu benar, ada seekor malamute
dalam gambar,
dalam gambar,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
tapi jika hanya dari labelnya,
kita tidak tahu banyak tentang
kita tidak tahu banyak tentang
01:35
about what's going on in the image.
29
83400
1667
apa yang terjadi dalam gambar itu.
01:37
We need something more powerful.
30
85091
1560
Kita butuh lebih dari itu.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
Saya memikirkan satu persoalan
disebut deteksi objek,
disebut deteksi objek,
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
yaitu kita melihat gambar dan
mencoba mencari semua objek,
mencoba mencari semua objek,
01:44
put bounding boxes around them
33
92840
1456
membuat kotak pembatas,
01:46
and say what those objects are.
34
94320
1520
dan melabeli semua objek itu.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Jadi, seperti inilah jika detektor
dijalankan pada gambar.
dijalankan pada gambar.
01:53
Now, with this kind of result,
36
101240
2256
Dengan hasil seperti ini, banyak yang bisa
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
dilakukan dengan algoritme
penglihatan komputer.
penglihatan komputer.
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Bisa kita lihat bahwa komputer
tahu ada kucing dan anjing,
tahu ada kucing dan anjing,
02:01
It knows their relative locations,
39
109240
2256
tahu lokasi relatif dan juga
02:03
their size.
40
111520
1216
ukuran hewan-hewan itu.
02:04
It may even know some extra information.
41
112760
1936
Bahkan ia juga tahu informasi lainya.
02:06
There's a book sitting in the background.
42
114720
1960
Ada buku di belakang sana.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
Jika Anda ingin membuat sistem
berkekuatan penglihatan komputer,
berkekuatan penglihatan komputer,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
misalnya mobil otonom
atau sistem robotika,
atau sistem robotika,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
inilah jenis informasi
yang Anda inginkan.
yang Anda inginkan.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Ada tentu butuh sesuatu agar
dapat berinteraksi dengan dunia fisik.
dapat berinteraksi dengan dunia fisik.
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
Ketika mulai mengerjakan deteksi objek,
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
butuh waktu 20 detik untuk
memproses satu gambar.
memproses satu gambar.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
Agar Anda memahami alasan betapa kecepatan
sangat penting dalam domain ini,
sangat penting dalam domain ini,
02:33
here's an example of an object detector
50
141120
2536
inilah contoh pendeteksi objek
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
yang butuh waktu 2 detik
untuk memproses 1 gambar.
untuk memproses 1 gambar.
02:38
So this is 10 times faster
52
146120
2616
Proses ini 10 kali lebih cepat
02:40
than the 20-seconds-per-image detector,
53
148760
3536
daripada alat deteksi 20-detik-per-gambar,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
dan dapat Anda lihat bahwa selagi
komputer memprediksi,
komputer memprediksi,
02:47
the entire state of the world has changed,
55
155000
2040
keadaan lingkungan sekitarnya berubah,
02:49
and this wouldn't be very useful
56
157880
2416
tentu hal ini tidak akan berguna
02:52
for an application.
57
160320
1416
bagi aplikasi.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Jika kita tingkatkan kecepatan
hingga 10 kali lipat,
hingga 10 kali lipat,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
pendeteksi ini berjalan dengan
lima bingkai per detik.
lima bingkai per detik.
02:59
This is a lot better,
60
167120
1536
Dan menjadi jauh lebih baik,
03:00
but for example,
61
168680
1976
tetapi seandainya,
03:02
if there's any significant movement,
62
170680
2296
ada pergerakan yang signifikan,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
saya tidak ingin sistem ini
mengemudikan mobil saya.
mengemudikan mobil saya.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
Sistem deteksi kita ini beroperasi di
laptop dalam waktu nyata.
laptop dalam waktu nyata.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Dengan mulus ia melacak selagi
saya bergerak di sekitar bingkai,
saya bergerak di sekitar bingkai,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
dan cekatan dalam mendeteksi
berbagai perubahan ukuran,
berbagai perubahan ukuran,
03:21
pose,
67
189440
1200
pose,
03:23
forward, backward.
68
191280
1856
ke depan, ke belakang.
03:25
This is great.
69
193160
1216
Luar biasa.
03:26
This is what we really need
70
194400
1736
Ini yang sangat kita butuhkan
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
jika akan membuat sistem berkekuatan
penglihatan komputer.
penglihatan komputer.
03:31
(Applause)
72
199080
4000
(Tepuk tangan)
03:36
So in just a few years,
73
204280
2176
Hanya dalam beberapa tahun,
03:38
we've gone from 20 seconds per image
74
206480
2656
ada kemajuan dari 20 detik per gambar
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
menjadi 20 milidetik per gambar,
seribu kali lebih cepat.
seribu kali lebih cepat.
03:44
How did we get there?
76
212720
1416
Bagaimana bisa demikian?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
Dulu, sistem deteksi objek
03:49
would take an image like this
78
217200
1936
menggunakan gambar seperti ini
03:51
and split it into a bunch of regions
79
219160
2456
dan membaginya menjadi
sekelompok area
sekelompok area
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
lalu menjalankan alat klasifikasi
pada masing-masing area,
pada masing-masing area,
03:56
and high scores for that classifier
81
224920
2536
dan skor tinggi dari alat klasifikasi
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
dianggap sebagai deteksi dalam gambar.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Tetapi metode ini mengharuskan ribuan kali
deteksi pada satu gambar,
deteksi pada satu gambar,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
ribuan evaluasi kerangka saraf
untuk menghasilkan deteksi.
untuk menghasilkan deteksi.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Alih-alih, kami melatih satu jaringan
untuk melakukan semua deteksi.
untuk melakukan semua deteksi.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Jaringan itu memunculkan kotak pembatas
sekaligus probabilitas kelas.
sekaligus probabilitas kelas.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Dengan sistem ini, alih-alih melihat
satu gambar ribuan kali
satu gambar ribuan kali
04:24
to produce detection,
88
252200
1456
untuk menghasilkan deteksi,
04:25
you only look once,
89
253680
1256
Anda cukup lihat sekali,
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
oleh karena itulah kami menyebutnya
metode deteksi objek YOLO.
metode deteksi objek YOLO.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Dengan kecepatan seperti ini,
kita dapat memproses tidak hanya gambar,
kita dapat memproses tidak hanya gambar,
04:35
we can process video in real time.
92
263360
2416
tetapi juga video dalam waktu nyata.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
Sehingga, alih-alih hanya
melihat kucing dan anjing,
melihat kucing dan anjing,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
kita juga dapat melihat hewan ini
bergerak dan berinteraksi.
bergerak dan berinteraksi.
04:46
This is a detector that we trained
95
274560
2056
Inilah pendeteksi yang kami latih
04:48
on 80 different classes
96
276640
4376
pada 80 kelas berbeda
04:53
in Microsoft's COCO dataset.
97
281040
3256
dalam dataset COCO milik Microsoft.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Dataset ini memiliki semua jenis benda,
sendok dan garpu, mangkuk
sendok dan garpu, mangkuk
04:59
common objects like that.
99
287680
1800
benda-benda umum semacam itu.
05:02
It has a variety of more exotic things:
100
290360
3096
Juga ada beragam benda eksotik lainnya:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
binatang, mobil, zebra, jerapah.
05:08
And now we're going to do something fun.
102
296760
1936
Mari kita lakukan sesuatu yang menarik.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Saya akan mengarahkan kamera ke penonton
05:12
and see what kind of things we can detect.
104
300840
2016
dan lihatlah benda yang dapat terdeteksi.
05:14
Does anyone want a stuffed animal?
105
302880
1620
Ada yang mau boneka hewan?
05:18
There are some teddy bears out there.
106
306000
1762
Ada beberapa boneka beruang di sana.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
Kita dapat menurunkan
ambang pendeteksinya sedikit,
ambang pendeteksinya sedikit,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
agar ia dapat mendeteksi
lebih banyak penonton.
lebih banyak penonton.
05:31
Let's see if we can get these stop signs.
109
319560
2336
Ada rambu berhenti yang terdeteksi.
05:33
We find some backpacks.
110
321920
1880
Ada tas ransel.
05:37
Let's just zoom in a little bit.
111
325880
1840
Mari kita perbesar sedikit.
05:42
And this is great.
112
330320
1256
Luar biasa.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
Semua proses ini terjadi saat ini juga
05:46
on the laptop.
114
334800
1200
dengan laptop.
05:49
And it's important to remember
115
337080
1456
Penting untuk diingat bahwa
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
inilah tujuan umum
sistem deteksi objek,
sistem deteksi objek,
05:53
so we can train this for any image domain.
117
341800
5000
agar kami dapat melatihnya
pada domain gambar mana pun.
pada domain gambar mana pun.
06:00
The same code that we use
118
348320
2536
Kode yang sama yang kita pakai untuk
06:02
to find stop signs or pedestrians,
119
350880
2456
menemukan tanda berhenti
atau pejalan kaki,
atau pejalan kaki,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
sepeda dan mobil otonom,
06:07
can be used to find cancer cells
121
355360
2856
yang dapat dipakai untuk
menemukan sel kanker
menemukan sel kanker
06:10
in a tissue biopsy.
122
358240
3016
dalam biopsi jaringan.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
Ada banyak peneliti di seluruh dunia
yang sudah menggunakan teknologi ini
yang sudah menggunakan teknologi ini
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
untuk pengembangan dalam
obat-obatan, robotika.
obat-obatan, robotika.
06:21
This morning, I read a paper
125
369680
1376
Tadi pagi saya membaca koran
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
bahwa ada sensus binatang
di Taman Nasional Nairobi
di Taman Nasional Nairobi
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
menggunakan YOLO sebagai
bagian dari sistem deteksi ini.
bagian dari sistem deteksi ini.
06:30
And that's because Darknet is open source
128
378840
3096
Itu karena Darknet adalah sumber terbuka
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
ada di domain publik,
gratis untuk siapa saja.
gratis untuk siapa saja.
06:37
(Applause)
130
385600
5696
(Tepuk tangan)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Tapi kami ingin agar teknologi ini
lebih mudah diperoleh dan berguna,
lebih mudah diperoleh dan berguna,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
jadi melalui kombinasi
pengoptimalan model,
pengoptimalan model,
06:52
network binarization and approximation,
133
400360
2296
binarisasi dan pendekatan jaringan,
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
kita punya deteksi obyek yang
berjalan dalam ponsel.
berjalan dalam ponsel.
07:04
(Applause)
135
412800
5320
(Tepuk tangan)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
Dan saya sangat senang karena
sekarang ada solusi yang cukup kuat
sekarang ada solusi yang cukup kuat
07:16
to this low-level computer vision problem,
137
424040
2296
atas masalah penglihatan
komputer level rendah,
komputer level rendah,
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
dan siapa pun boleh mengambil dan
membuat sesuatu dengan memakainya.
membuat sesuatu dengan memakainya.
07:22
So now the rest is up to all of you
139
430240
3176
Selebihnya terserah Anda
dan orang-orang
dan orang-orang
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
di seluruh dunia yang mengakses
perangkat lunak ini,
perangkat lunak ini,
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
saya tidak sabar ingin melihat apa yang
mereka buat dengan teknologi ini.
mereka buat dengan teknologi ini.
07:32
Thank you.
142
440080
1216
Terima kasih.
07:33
(Applause)
143
441320
3440
(Tepuk tangan)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com