TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Wie ein Computer lernt, Objekte in Echtzeit zu erkennen
Filmed:
Readability: 4.5
2,471,805 views
Vor zehn Jahren dachten Forscher, es wäre fast unmöglich, einen Computer dazu zu bringen, den Unterschied zwischen einer Katze und einem Hund zu begreifen.
Heute erkennen die Systeme des Maschinellen Sehens diesen Unterschied mit einer Genauigkeit von mehr als 99%. Wie geht das?
Joseph Redmon arbeitet an YOLO (You Only Look Once), einem Open-Source-System zur Objekterkennung. YOLO kann blitzschnell Objekte in Bildern und Videos identifizieren - vom Zebra bis zum Stoppschild.
In einer bemerkenswerten Live-Demonstration zeigt Redmon, welch großer Schritt gemacht wurde in Richtung von Anwendungen wie selbstfahrenden Autos, Robotik und sogar der Erkennung von Krebs.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
00:12
Ten years ago,
0
825
1151
Vor zehn Jahren
gingen Forscher für
Maschinelles Sehen davon aus,
Maschinelles Sehen davon aus,
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
dass es für einen Computer
kaum möglich sei,
kaum möglich sei,
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
eine Katze von einem Hund
zu unterscheiden,
zu unterscheiden,
00:19
would be almost impossible,
3
7520
1976
trotz großer Fortschritte
auf dem Feld der Künstlichen Intelligenz.
auf dem Feld der Künstlichen Intelligenz.
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Mittlerweile ist das zu über 99% möglich.
Man nennt diese Aufgabe
"Bildklassifikation".
"Bildklassifikation".
00:29
This is called image classification --
6
17680
1856
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
Sie geben dem Computer ein Bild
mit einer expliziten Bezeichnung,
mit einer expliziten Bezeichnung,
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
und der Computer kennt zusätzlich
tausende weiterer Kategorien dafür.
tausende weiterer Kategorien dafür.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
Ich studiere an der Universität
von Washington
von Washington
und arbeite an einem
Projekt namens "Darknet",
Projekt namens "Darknet",
00:41
and I work on a project called Darknet,
10
29600
1896
00:43
which is a neural network framework
11
31520
1696
einem Framework für neurale Netzwerke,
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
mit dem Modelle zur Bilderkennung
trainiert und getestet werden.
trainiert und getestet werden.
00:48
So let's just see what Darknet thinks
13
36080
2976
Sehen wir mal, was Darknet
00:51
of this image that we have.
14
39080
1760
über das Bild denkt, das wir hier haben.
00:54
When we run our classifier
15
42520
2336
Wenn wir unseren Klassifikator
auf dieses Bild loslassen,
00:56
on this image,
16
44880
1216
sehen wir, dass nicht nur
"Hund" oder "Katze" vorausgesagt wird,
"Hund" oder "Katze" vorausgesagt wird,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
er gibt sogar eine Aussage
über die konkrete Rasse.
über die konkrete Rasse.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
Dieser Genauigkeitsgrad
ist im Moment möglich.
ist im Moment möglich.
01:05
And it's correct.
20
53160
1616
Und es stimmt --
01:06
My dog is in fact a malamute.
21
54800
1840
es handelt sich tatsächlich
um einen Alaskan Malamute.
um einen Alaskan Malamute.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Wir haben beachtliche Fortschritte
in der Bildklassifikation gemacht.
in der Bildklassifikation gemacht.
Was aber passiert,
wenn wir unserem Klassifikator
wenn wir unserem Klassifikator
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
01:15
on an image that looks like this?
24
63424
1960
ein solches Bild vorlegen?
01:19
Well ...
25
67080
1200
Nun ...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Wir sehen, dass der Klassifikator
so ziemlich das gleiche Ergebnis liefert.
so ziemlich das gleiche Ergebnis liefert.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
Und es stimmt wieder --
da ist ein Malamute abgebildet.
da ist ein Malamute abgebildet.
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
Doch mit dieser Aussage allein
wissen wir noch nicht viel darüber,
wissen wir noch nicht viel darüber,
was sich genau in dem Bild abspielt.
01:35
about what's going on in the image.
29
83400
1667
01:37
We need something more powerful.
30
85091
1560
Wir brauchen etwas Leisungsfähigeres.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
Ich arbeite an einer Aufgabe
namens "Objekterkennung".
namens "Objekterkennung".
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
Hier versuchen wir,
alle Objekte in einem Bild zu erkennen.
alle Objekte in einem Bild zu erkennen.
01:44
put bounding boxes around them
33
92840
1456
Wir ziehen um jedes Objekt
eine Markierungsbox
eine Markierungsbox
01:46
and say what those objects are.
34
94320
1520
und versehen sie mit einer Bezeichnung.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Jetzt sehen wir, was der Erkenner
über das Bild sagt.
über das Bild sagt.
01:53
Now, with this kind of result,
36
101240
2256
Mit dieser Art Ergebnis können wir
viel mehr mit den Algorithmen
des Maschinellen Sehens anfangen.
des Maschinellen Sehens anfangen.
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Wir sehen, dass eine Katze
und ein Hund erkannt wird.
und ein Hund erkannt wird.
Der Erkenner liefert ihre
relativen Positionen im Bild,
relativen Positionen im Bild,
02:01
It knows their relative locations,
39
109240
2256
02:03
their size.
40
111520
1216
ihre Größe,
02:04
It may even know some extra information.
41
112760
1936
und vielleicht sogar noch mehr:
02:06
There's a book sitting in the background.
42
114720
1960
Im Hintergrund ist ein Buch zu sehen.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
Wenn man das Maschinelle Sehen
in einem größeren System nutzen will,
in einem größeren System nutzen will,
etwa in einem selbstfahrenden Fahrzeug
oder einem Robotsystem,
oder einem Robotsystem,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
braucht man genau solche Informationen,
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
auf deren Basis man mit
der physischen Welt interagieren kann.
der physischen Welt interagieren kann.
Als ich damit anfing,
in der Objekterkennung zu arbeiten,
in der Objekterkennung zu arbeiten,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
dauerte die Verarbeitung
zwanzig Sekunden für jedes einzelne Bild.
zwanzig Sekunden für jedes einzelne Bild.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
Um ein Gefühl dafür zu bekommen,
warum Geschwindigkeit hier so wichtig ist,
warum Geschwindigkeit hier so wichtig ist,
02:33
here's an example of an object detector
50
141120
2536
zeige ich Ihnen einen Objekterkenner,
der zwei Sekunden braucht,
um ein Einzelbild zu verarbeiten --
um ein Einzelbild zu verarbeiten --
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
02:38
So this is 10 times faster
52
146120
2616
was bereits zehnmal schneller ist
02:40
than the 20-seconds-per-image detector,
53
148760
3536
als der Zwanzig-Sekunden-Klassifikator.
Bis dieser Erkenner
seine Voraussagen bekannt gibt,
seine Voraussagen bekannt gibt,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
02:47
the entire state of the world has changed,
55
155000
2040
hat sich der Zustand der Welt
bereits völlig verändert.
bereits völlig verändert.
02:49
and this wouldn't be very useful
56
157880
2416
Das wäre für die praktische Anwendung
02:52
for an application.
57
160320
1416
völlig ungeeignet.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Wenn wir ihn noch einmal
zehnmal schneller machen,
zehnmal schneller machen,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
verarbeitet der Erkenner
fünf Bilder pro Sekunde.
fünf Bilder pro Sekunde.
02:59
This is a lot better,
60
167120
1536
Das ist deutlich besser.
03:00
but for example,
61
168680
1976
Wenn jedoch beispielsweise
03:02
if there's any significant movement,
62
170680
2296
eine nennenswerte Bewegung stattfindet --
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
Ich würde nicht wollen, dass
ein solches System mein Auto steuert.
ein solches System mein Auto steuert.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
Das ist unser Erkennungssystem.
Es läuft in Echtzeit auf meinem Laptop.
Es läuft in Echtzeit auf meinem Laptop.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Es verfolgt mich flüssig,
während ich mich im Bildbereich bewege,
während ich mich im Bildbereich bewege,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
ist robust gegenüber
Veränderungen der Größe,
Veränderungen der Größe,
03:21
pose,
67
189440
1200
der Stellung,
03:23
forward, backward.
68
191280
1856
Vorder- oder Rückseite.
03:25
This is great.
69
193160
1216
Das ist großartig.
03:26
This is what we really need
70
194400
1736
So etwas brauchen wir,
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
wenn wir das Maschinelle Sehen
in Systeme einbauen wollen.
in Systeme einbauen wollen.
03:31
(Applause)
72
199080
4000
(Applaus)
03:36
So in just a few years,
73
204280
2176
In nur ein paar Jahren
03:38
we've gone from 20 seconds per image
74
206480
2656
haben wir es von zwanzig Sekunden pro Bild
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
zu zwanzig Millisekunden pro Bild
geschafft. Eintausendmal schneller.
geschafft. Eintausendmal schneller.
03:44
How did we get there?
76
212720
1416
Wie haben wir das gemacht?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
Nun, in der Vergangenheit
nahmen Objekterkenner
nahmen Objekterkenner
03:49
would take an image like this
78
217200
1936
ein solches Bild
03:51
and split it into a bunch of regions
79
219160
2456
und teilten es in viele
kleinere Bereiche ein.
kleinere Bereiche ein.
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
Der Klassifikator verarbeitete
jeden einzelnen dieser Bereiche.
jeden einzelnen dieser Bereiche.
03:56
and high scores for that classifier
81
224920
2536
Erreichte etwas
einen hohen Score im Klassifikator,
einen hohen Score im Klassifikator,
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
wurde es als erkanntes Objekt gewertet.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Dies bedeutete aber, den Klassifikator
tausende Male für ein Bild anzuwenden.
tausende Male für ein Bild anzuwenden.
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
Tausende von Auswertungen
neuraler Netzwerke für die Erkennung.
neuraler Netzwerke für die Erkennung.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Wir haben stattdessen ein einzelnes
neurales Netzwerk trainiert,
neurales Netzwerk trainiert,
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
das alle Markierungsboxen und
Wahrscheinlichkeiten simultan berechnet.
Wahrscheinlichkeiten simultan berechnet.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Unser System ermöglicht es,
statt tausende Male ein Bild anzusehen,
statt tausende Male ein Bild anzusehen,
um die Objekte darin zu erkennen,
04:24
to produce detection,
88
252200
1456
04:25
you only look once,
89
253680
1256
das Bild nur ein einziges Mal anzusehen.
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
Deswegen nennen wir unsere
Methode der Objekterkennung "YOLO".
Methode der Objekterkennung "YOLO".
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Mit einer solchen Geschwindigkeit
sind wir nicht auf Bilder beschränkt --
sind wir nicht auf Bilder beschränkt --
04:35
we can process video in real time.
92
263360
2416
wir können ganze Videos
in Echtzeit verarbeiten.
in Echtzeit verarbeiten.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
Statt nur eine Katze
und einen Hund zu sehen,
und einen Hund zu sehen,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
können wir beobachten, wie sie
sich bewegen und interagieren.
sich bewegen und interagieren.
04:46
This is a detector that we trained
95
274560
2056
Diesen Erkenner haben wir
04:48
on 80 different classes
96
276640
4376
auf 80 verschiedene Klassen
04:53
in Microsoft's COCO dataset.
97
281040
3256
aus Microsofts COCO-Daten trainiert.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Er kennt alle möglichen Objekte
wie Löffel, Gabel, Schüssel --
wie Löffel, Gabel, Schüssel --
04:59
common objects like that.
99
287680
1800
alltägliche Gegenstände,
05:02
It has a variety of more exotic things:
100
290360
3096
aber auch exotischere:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
Tiere, Autos, Zebras, Giraffen.
05:08
And now we're going to do something fun.
102
296760
1936
Jetzt machen wir etwas Lustiges.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Wir richten die Kamera auf das Publikum
05:12
and see what kind of things we can detect.
104
300840
2016
und sehen, was wir erkennen können.
05:14
Does anyone want a stuffed animal?
105
302880
1620
Möchte jemand ein Plüschtier?
05:18
There are some teddy bears out there.
106
306000
1762
Hier sind ein paar Teddybären.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
Wir können die Empfindlichkeit
des Erkenners ein wenig senken,
des Erkenners ein wenig senken,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
um mehr einzelne Personen
im Publikum zu erkennen.
im Publikum zu erkennen.
Lassen Sie uns sehen,
ob wir diese Stoppschilder bekommen.
ob wir diese Stoppschilder bekommen.
05:31
Let's see if we can get these stop signs.
109
319560
2336
05:33
We find some backpacks.
110
321920
1880
Wir sehen einige Rucksäcke ...
05:37
Let's just zoom in a little bit.
111
325880
1840
Wir zoomen etwas hinein ...
05:42
And this is great.
112
330320
1256
Das ist großartig.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
Die gesamte Verarbeitung
passiert in Echtzeit
passiert in Echtzeit
05:46
on the laptop.
114
334800
1200
auf dem Laptop.
05:49
And it's important to remember
115
337080
1456
Man darf nicht vergessen,
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
dass das ein ganz allgemeines
Objekterkennungssystem ist.
Objekterkennungssystem ist.
05:53
so we can train this for any image domain.
117
341800
5000
Wir können es also
für jede Art von Bildern trainieren.
für jede Art von Bildern trainieren.
Denselben Code, den wir benutzen,
06:00
The same code that we use
118
348320
2536
damit ein selbstfahrendes Fahrzeug
Stoppschilder, Fußgänger
Stoppschilder, Fußgänger
06:02
to find stop signs or pedestrians,
119
350880
2456
06:05
bicycles in a self-driving vehicle,
120
353360
1976
oder Fahrräder erkennen kann,
06:07
can be used to find cancer cells
121
355360
2856
kann man auch nutzen, um Krebszellen
06:10
in a tissue biopsy.
122
358240
3016
in einer Gewebeprobe ausfindig zu machen.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
Forscher auf der ganzen Welt
nutzen diese Technologie bereits,
nutzen diese Technologie bereits,
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
um Fortschritte auf Gebieten
wie Medizin oder Robotik zu erzielen.
wie Medizin oder Robotik zu erzielen.
Heute morgen habe ich
einen Fachartikel gelesen:
einen Fachartikel gelesen:
06:21
This morning, I read a paper
125
369680
1376
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
Im Nationalpark von Nairobi
wurde eine Zählung der Tiere vorgenommen,
wurde eine Zählung der Tiere vorgenommen,
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
mit YOLO als Teil des Erkennungssystems.
06:30
And that's because Darknet is open source
128
378840
3096
Das ist möglich, weil Darknet quelloffen,
frei zugänglich
und für alle verwendbar ist.
und für alle verwendbar ist.
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
06:37
(Applause)
130
385600
5696
(Applaus)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Aber wir wollten Bilderkennung
sogar noch leichter nutzbar machen.
sogar noch leichter nutzbar machen.
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
Daher haben wir durch Modelloptimierung,
Binarisierung des neuralen Netzes
und Approximation erreicht,
und Approximation erreicht,
06:52
network binarization and approximation,
133
400360
2296
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
dass die Objekterkennung
sogar auf einem Mobiltelefon läuft.
sogar auf einem Mobiltelefon läuft.
07:04
(Applause)
135
412800
5320
(Applaus)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
Das ist aufregend, weil wir
damit eine ziemlich mächtige Lösung
damit eine ziemlich mächtige Lösung
für dieses grundlegende Problem
des Maschinellen Sehens haben.
des Maschinellen Sehens haben.
07:16
to this low-level computer vision problem,
137
424040
2296
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
Jeder kann sie nutzen
und etwas damit bauen.
und etwas damit bauen.
07:22
So now the rest is up to all of you
139
430240
3176
Nun liegt es bei Ihnen
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
und allen Menschen auf der Welt
mit Zugang zu dieser Software.
mit Zugang zu dieser Software.
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
Ich bin gespannt zu sehen, welche Ideen
sie mit dieser Technologie umsetzen.
sie mit dieser Technologie umsetzen.
07:32
Thank you.
142
440080
1216
Vielen Dank.
07:33
(Applause)
143
441320
3440
(Applaus)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com