ABOUT THE SPEAKER
Peter Norvig - Computer scientist
Peter Norvig is a leading American computer scientist, expert on artificial intelligence and the Director of Research at Google Inc.

Why you should listen

Peter Norvig is a computer scientist and expert in both artificial intelligence and online search. Currently the Director of Research at Google Inc., Norvig was responsible for maintaining and improving the engine's core web search algorithms from 2002 to 2005. Prior to his work at Google, Norvig was NASA's chief computer scientist.

A fellow of the American Association for Artificial Intelligence and the author of the book Artificial Intelligence: A Modern Approach, Norvig (along with Sebastian Thrun) taught the Stanford University class "Introduction to Artificial Intelligence," which was made available to anyone in the world. More than 160,000 students from 209 countries enrolled.

Norvig is also known for penning the world's longest palindromic sentence.

More profile about the speaker
Peter Norvig | Speaker | TED.com
TED2012

Peter Norvig: The 100,000-student classroom

Peter Norvig: Een leslokaal met 100.000 studenten

Filmed:
1,166,568 views

In de herfst van 2011 gaf Peter Norvig samen met Sebastian Thrun een cursus Artificiële Intelligentie aan de universiteit van Stanford. Die werd in levende lijve bijgewoond door 175 studenten -- en ruim 100.000 via een interactieve webcast. Hij vertelt wat hij leerde over lesgeven aan een wereldwijd klaslokaal.
- Computer scientist
Peter Norvig is a leading American computer scientist, expert on artificial intelligence and the Director of Research at Google Inc. Full bio

Double-click the English transcript below to play the video.

00:17
EveryoneIedereen is bothbeide a learnerleerling
0
1135
1976
Iedereen is zowel student
00:19
and a teacherleraar.
1
3111
1512
als leraar.
00:20
This is me beingwezen inspiredgeinspireerd
2
4623
2456
Hier zie je me geïnspireerd worden
00:22
by my first tutorTutor,
3
7079
1191
door mijn eerste lerares,
00:24
my mommam,
4
8270
945
mijn moeder.
00:25
and this is me teachingonderwijs
5
9215
2623
Hier geef ik een cursus
00:27
IntroductionIntroductie to ArtificialKunstmatige IntelligenceIntelligentie
6
11838
1953
'Introductie tot de artificiële intelligentie'
00:29
to 200 studentsstudenten
7
13791
1240
aan 200 studenten
00:30
at StanfordStanford UniversityUniversiteit.
8
15031
1272
op de Universiteit van Stanford.
00:32
Now the studentsstudenten and I
9
16303
1456
De studenten en ik
00:33
enjoyedgenoten the classklasse,
10
17759
1176
genoten van de les,
00:34
but it occurredheeft plaatsgevonden to me
11
18935
1416
maar de gedachte kwam bij me op
00:36
that while the subjectonderwerpen matterer toe doen
12
20351
1711
dat het onderwerp van de les
00:37
of the classklasse is advancedgevorderd
13
22062
1289
dan geavanceerd mag zijn
00:39
and modernmodern,
14
23351
688
en modern,
00:39
the teachingonderwijs technologytechnologie isn't.
15
24039
2319
maar de lesmethode is dat niet.
00:42
In factfeit, I use basicallyeigenlijk
16
26358
2336
In feite gebruik ik
00:44
the samedezelfde technologytechnologie as
17
28694
2370
dezelfde technologie
00:46
this 14th-centuryth-eeuwse classroomklas.
18
31064
2630
als deze 14de-eeuwse schoolklas.
00:49
NoteOpmerking the textbookleerboek,
19
33694
2800
Je ziet het lesboek,
00:52
the sageSalie on the stagestadium,
20
36494
2944
de wijze aan het woord,
00:55
and the sleepingslapen guy
21
39438
1899
en de slapende leerling
00:57
in the back. (LaughterGelach)
22
41337
901
achterin. (Gelach)
00:58
Just like todayvandaag.
23
42238
2937
Net als tegenwoordig.
01:01
So my co-teachermede leraar,
24
45175
3111
Dus mijn co-leraar,
01:04
SebastianSebastian ThrunThrun, and I thought,
25
48286
1640
Sebastian Thrun, en ik dachten
01:05
there mustmoet be a better way.
26
49926
1774
dat dit beter kon.
01:07
We challengeduitgedaagd ourselvesonszelf
27
51700
1654
We daagden onszelf uit
01:09
to createcreëren an onlineonline classklasse
28
53354
1291
om een online-cursus te creëren
01:10
that would be equalGelijk or better
29
54645
1631
die gelijkwaardig of beter zou zijn
01:12
in qualitykwaliteit to our StanfordStanford classklasse,
30
56276
2336
dan onze Stanford-cursus,
01:14
but to bringbrengen it to anyoneiedereen
31
58612
2210
maar die de lessen gratis naar iedereen
01:16
in the worldwereld- for freegratis.
32
60822
1630
in de wereld zou brengen.
01:18
We announcedaangekondigd the classklasse on JulyJuli 29thth,
33
62452
2568
We kondigden de cursus aan op 29 juli
01:20
and withinbinnen two weeksweken, 50,000 people
34
65020
3209
en binnen 2 weken hadden zich
01:24
had signedondertekend up for it.
35
68229
1407
50.000 mensen aangemeld.
01:25
And that grewgroeide to 160,000 studentsstudenten
36
69636
3105
Dat groeide uit tot 160.000 studenten
01:28
from 209 countrieslanden.
37
72741
2064
uit 209 landen.
01:30
We were thrilledblij to have
38
74805
1808
We waren enorm blij
01:32
that kindsoort of audiencepubliek,
39
76613
1121
om zo'n groot publiek te hebben,
01:33
and just a bitbeetje terrifieddoodsbang that we
40
77734
2639
en enigszins benauwd omdat
01:36
hadn'thad niet finishedgeëindigd preparingvoorbereidingen treffen the classklasse yetnog. (LaughterGelach)
41
80373
2311
we de lessen nog niet af hadden. (Gelach)
01:38
So we got to work.
42
82684
1612
Dus we gingen aan het werk.
01:40
We studiedbestudeerd what othersanderen had donegedaan,
43
84296
1636
We bestudeerden wat anderen hadden gedaan,
01:41
what we could copykopiëren and what we could changeverandering.
44
85932
2323
wat we konden kopiëren en wat veranderen.
01:44
BenjaminBenjamin BloomBloom had showedtoonden
45
88255
2661
Benjamin Bloom had aangetoond
01:46
that one-on-oneOne-on-One tutoringbegeleiding workswerken bestbeste,
46
90916
1809
dat 1-op-1 lesgeven het beste werkt,
01:48
so that's what we triedbeproefd to emulateemuleren,
47
92725
2128
dus dat probeerden we na te bootsen,
01:50
like with me and my mommam,
48
94853
1440
net als met mij en mijn moeder,
01:52
even thoughhoewel we knewwist
49
96293
1505
zelfs al wisten we
01:53
it would be one-on-thousandséén-op-duizenden.
50
97798
1918
dat het één op duizenden zou zijn.
01:55
Here, an overheadoverhead videovideo- cameracamera
51
99716
2201
Hier neemt een camera
01:57
is recordingopname me as I'm talkingpratend
52
101917
1832
van boven op terwijl ik praat
01:59
and drawingtekening on a piecestuk of paperpapier.
53
103749
1679
en op een stuk papier teken.
02:01
A studentstudent said, "This classklasse feltvoelde
54
105428
2409
Een student zei: "Deze les voelde
02:03
like sittingzittend in a barbar
55
107837
1152
als in een café zitten
02:04
with a really smartslim friendvriend
56
108989
1479
met een heel slimme vriend
02:06
who'swie is explaininguitleggen something
57
110468
1204
die je iets uitlegt
02:07
you haven'thebben niet graspedbegrepen, but are about to."
58
111672
2301
dat je nu nog niet snapt, maar zometeen wel."
02:09
And that's exactlyprecies what we were aimingdie gericht zijn for.
59
113973
2116
Dat is precies waarop we doelden.
02:11
Now, from KhanKhan AcademyAcademie, we saw
60
116089
2788
Bij de Khan Academy zagen we
02:14
that shortkort 10-minute-minuut videosvideos
61
118877
1824
dat korte video's van 10 minuten
02:16
workedwerkte much better than tryingproberen
62
120701
1776
veel beter werkten dan proberen
02:18
to recordrecord an hour-longurenlange lecturelezing
63
122477
2071
om een les van een uur op te nemen
02:20
and put it on the small-formatklein-formaat screenscherm.
64
124548
2417
en die op een klein beeldscherm te tonen.
02:22
We decidedbeslist to go even shorterkortere
65
126965
2192
We besloten zelfs nog korter te gaan
02:25
and more interactiveinteractieve.
66
129157
1648
en nog interactiever.
02:26
Our typicaltypisch videovideo- is two minutesnotulen,
67
130805
2247
Onze gemiddelde video is 2 minuten,
02:28
sometimessoms shorterkortere, never more
68
133052
1752
soms korter, nooit meer dan zes,
02:30
than sixzes, and then we pausepauze for
69
134804
2689
waarna we pauzeren
02:33
a quizquiz questionvraag, to make it
70
137493
1367
voor een meerkeuzevraag, om het
02:34
feel like one-on-oneOne-on-One tutoringbegeleiding.
71
138860
1878
te doen voelen als 1-op-1 onderwijs.
02:36
Here, I'm explaininguitleggen how a computercomputer usestoepassingen
72
140738
2402
Hier leg ik uit hoe een computer
02:39
the grammargrammatica of EnglishEngels
73
143140
1248
de Engelse grammatica gebruikt
02:40
to parseparse sentenceszinnen, and here,
74
144388
2177
om zinnen te ontleden.
02:42
there's a pausepauze and the studentstudent
75
146565
2064
Hier is een pauze waarbij de student
02:44
has to reflectreflecteren, understandbegrijpen what's going on
76
148629
2237
moet nadenken, begrijpen wat er gebeurt
02:46
and checkcontroleren the right boxesdozen
77
150866
1640
en de juiste vakjes aankruisen
02:48
before they can continuevoortzetten.
78
152506
1417
voordat hij verder kan.
02:49
StudentsStudenten learnleren bestbeste when
79
153923
2448
Studenten leren het beste
02:52
they're activelyactief practicingbeoefenen.
80
156371
1248
wanneer ze actief oefenen.
02:53
We wanted to engagebezighouden them, to have them grappleGrApple
81
157619
2296
We wilden hun aandacht vasthouden, ze laten worstelen
02:55
with ambiguitydubbelzinnigheid and guidegids them to synthesizesynthetiseren
82
159915
2968
met tweeslachtigheid en ze begeleiden om de
02:58
the keysleutel ideasideeën themselveszich.
83
162883
1665
belangrijkste ideeën zelf te verwerken.
03:00
We mostlymeestal avoidvermijden questionsvragen
84
164548
1712
We vermeden vragen als:
03:02
like, "Here'sHier is a formulaformule, now
85
166260
1711
"Hier is een formule.
03:03
tell me the valuewaarde of Y
86
167971
1075
Wat is de waarde van Y
03:04
when X is equalGelijk to two."
87
169046
1212
als X gelijk is aan 2?"
03:06
We preferredvoorkeur open-endedvrijblijvend questionsvragen.
88
170258
1817
We gaven de voorkeur aan open vragen.
03:07
One studentstudent wroteschreef, "Now I'm seeingziend
89
172075
3178
Eén student schreef: "Nu zie ik
03:11
BayesBayes networksnetwerken and examplesvoorbeelden of
90
175253
1862
Bayes-netwerken en voorbeelden van
03:13
gamespel theorytheorie everywhereoveral I look."
91
177115
1568
speltheorie waar ik maar kijk."
03:14
And I like that kindsoort of responseantwoord.
92
178683
1738
Van dat soort respons houd ik.
03:16
That's just what we were going for.
93
180421
1806
Dat is precies waarnaar we streefden.
03:18
We didn't want studentsstudenten to memorizememoriseren the formulasformules;
94
182227
2194
We wilden niet dat studenten de formules van buiten leerden.
03:20
we wanted to changeverandering the way
95
184421
1190
We wilden de manier veranderen
03:21
they lookedkeek at the worldwereld-.
96
185611
1090
waarop ze naar de wereld keken.
03:22
And we succeededgeslaagd.
97
186701
1326
En dat lukte.
03:23
Or, I should say, the studentsstudenten succeededgeslaagd.
98
188027
2400
Of eigenlijk moet ik zeggen: het lukte de studenten.
03:26
And it's a little bitbeetje ironicIronisch
99
190427
1919
Het is een beetje ironisch
03:28
that we setreeks about to disruptontwrichten traditionaltraditioneel educationonderwijs,
100
192346
2913
dat we traditioneel onderwijs overhoop wilden gooien
03:31
and in doing so, we endedbeëindigde up
101
195259
2016
en we uiteindelijk
03:33
makingmaking our onlineonline classklasse
102
197275
1584
onze online-les
03:34
much more like a traditionaltraditioneel collegecollege classklasse
103
198859
2327
veel meer als traditionele lessen maakten
03:37
than other onlineonline classesklassen.
104
201186
1841
dan andere online-lessen.
03:38
MostDe meeste onlineonline classesklassen, the videosvideos are always availablebeschikbaar.
105
203027
3215
Bij de meeste online-lessen zijn de video's altijd beschikbaar.
03:42
You can watch them any time you want.
106
206242
1817
Je kan ze op elk gewenst moment bekijken.
03:43
But if you can do it any time,
107
208059
2287
Maar dat je het op elk moment kan doen,
03:46
that meansmiddelen you can do it tomorrowmorgen,
108
210346
1505
betekent dat je het morgen kan doen
03:47
and if you can do it tomorrowmorgen,
109
211851
1408
en als je het morgen kan doen,
03:49
well, you maymei not ever
110
213259
2162
is de kans groot
03:51
get around to it. (LaughterGelach)
111
215421
1758
dat het helemaal niet gebeurt. (Gelach)
03:53
So we broughtbracht back the innovationinnovatie
112
217179
2192
Dus herintroduceerden we de innovatie
03:55
of havingmet dueten gevolge datesdatums. (LaughterGelach)
113
219371
2087
van het hebben van vervaldata. (Gelach)
03:57
You could watch the videosvideos
114
221458
1312
Je kon deze video's bekijken
03:58
any time you wanted duringgedurende the weekweek,
115
222770
1912
gedurende de hele week,
04:00
but at the endeinde of the weekweek,
116
224682
1155
maar aan het eind van de week
04:01
you had to get the homeworkhuiswerk donegedaan.
117
225837
1717
moest je het huiswerk afhebben.
04:03
This motivatedgemotiveerd the studentsstudenten to keep going, and it alsoook
118
227554
1913
Dt motiveerde de studenten om door te gaan
04:05
meantbedoelde that everybodyiedereen was workingwerkend
119
229467
2856
en het betekende dat iedereen
04:08
on the samedezelfde thing at the samedezelfde time,
120
232323
1518
tegelijkertijd aan hetzelfde werkte.
04:09
so if you wentgegaan into a discussiondiscussie forumForum,
121
233841
1497
Als je dus naar een discussie-forum ging,
04:11
you could get an answerantwoord from a peerturen withinbinnen minutesnotulen.
122
235338
2704
kreeg je binnen enkele minuten een antwoord.
04:13
Now, I'll showtonen you some of the forumsforums, mostmeest of whichwelke
123
238042
2939
Ik zal één van de fora laten zien, die doorgaans
04:16
were self-organizedzelf georganiseerd by the studentsstudenten themselveszich.
124
240981
2766
georganiseerd worden door de studenten zelf.
04:19
From DaphneDaphne KollerKoller and AndrewAndrew NgNg, we learnedgeleerd
125
243747
3224
Van Daphne Koller en Andrew Ng leerden we
04:22
the conceptconcept of "flippingspiegelen" the classroomklas.
126
246971
1996
het concept van 'het klaslokaal omdraaien'.
04:24
StudentsStudenten watchedbekeken the videosvideos
127
248967
1295
Studenten bekeken de video's
04:26
on theirhun owneigen, and then they
128
250262
1588
in hun eentje en kwamen daarna
04:27
come togethersamen to discussbespreken them.
129
251850
1710
bijeen om ze te bespreken.
04:29
From EricEric MazurMazur, I learnedgeleerd about peerturen instructioninstructie,
130
253560
3157
Van Eric Mazur leerde ik over 'peer instruction',
04:32
that peerscollega 's can be the bestbeste teachersleraren,
131
256717
2624
dat je medestudenten de beste leraren kunnen zijn,
04:35
because they're the onesdegenen
132
259341
1432
omdat zij degenen zijn
04:36
that rememberonthouden what it's like to not understandbegrijpen.
133
260773
2848
die nog weten hoe het is om het niet te snappen.
04:39
SebastianSebastian and I have forgottenvergeten some of that.
134
263621
2681
Sebastian en ik zijn dat deels weer vergeten.
04:42
Of courseCursus, we couldn'tkon het niet have
135
266302
2399
Uiteraard konden we geen
04:44
a classroomklas discussiondiscussie with
136
268701
1632
klassikale discussie hebben
04:46
tenstientallen of thousandsduizenden of studentsstudenten,
137
270333
1546
met tienduizenden studenten,
04:47
so we encouragedaangemoedigd and nurturedgekoesterd these onlineonline forumsforums.
138
271879
3486
dus moedigden we deze online-fora aan.
04:51
And finallyTenslotte, from TeachLeren For AmericaAmerika,
139
275365
3048
Tenslotte: van Teach for America
04:54
I learnedgeleerd that a classklasse is not
140
278413
1481
leerden we dat een les
04:55
primarilyvoornamelijk about informationinformatie.
141
279894
1496
niet primair over informatie gaat.
04:57
More importantbelangrijk is motivationmotivatie and determinationbepaling.
142
281390
2831
Interessanter is motivatie en vastberadenheid.
05:00
It was crucialbeslissend that the studentsstudenten see
143
284221
1840
Het was cruciaal dat de studenten zagen
05:01
that we're workingwerkend hardhard for them and
144
286061
1800
dat we hard voor ze werken
05:03
they're all supportingondersteuning van eachelk other.
145
287861
1409
en dat ze elkaar allemaal steunen.
05:05
Now, the classklasse ranrende 10 weeksweken,
146
289270
2968
De lessen duurden 10 weken.
05:08
and in the endeinde, about halfvoor de helft of the 160,000 studentsstudenten watchedbekeken
147
292238
3911
Aan het eind keek ongeveer de helft van de 160.000 studenten
05:12
at leastminst one videovideo- eachelk weekweek,
148
296149
1563
minstens één video per week
05:13
and over 20,000 finishedgeëindigd all the homeworkhuiswerk,
149
297712
2693
en ruim 20.000 maakten alle huiswerk,
05:16
puttingzetten in 50 to 100 hoursuur.
150
300405
1664
wat 50 tot 100 uur kostte.
05:17
They got this statementuitspraak of accomplishmentprestatie.
151
302069
1553
Ze kregen dit attest van voltooiing.
05:19
So what have we learnedgeleerd?
152
303622
2119
Wat hebben we dus geleerd?
05:21
Well, we triedbeproefd some oldoud ideasideeën
153
305741
2816
Nou, we probeerden wat oude ideeën
05:24
and some newnieuwe and put them togethersamen,
154
308557
1657
en wat nieuwe en voegden ze samen,
05:26
but there are more ideasideeën to try.
155
310214
2082
maar er zijn er nog meer om te proberen.
05:28
Sebastian's-Sebastiaan teachingonderwijs anothereen ander classklasse now.
156
312296
1814
Sebastian verzorgt momenteel een nieuwe cursus.
05:30
I'll do one in the fallvallen.
157
314110
1368
Ik doe er eentje in de herfst.
05:31
StanfordStanford CourseraCoursera, UdacityUdacity, MITxMITx
158
315478
3760
Stanford Coursera, Udacity, MITx
05:35
and othersanderen have more classesklassen comingkomt eraan.
159
319238
2271
en anderen hebben meer lessen op stapel staan.
05:37
It's a really excitingopwindend time.
160
321509
1488
Het is een erg interessante tijd.
05:38
But to me, the mostmeest excitingopwindend
161
322997
1472
Maar voor mij is het meest interessante
05:40
partdeel of it is the datagegevens that we're gatheringbijeenkomst.
162
324469
2976
deel hiervan de data die we verzamelen.
05:43
We're gatheringbijeenkomst thousandsduizenden
163
327445
2696
We verzamelen duizenden
05:46
of interactionsinteracties perper studentstudent perper classklasse,
164
330141
1656
interacties per student per klas,
05:47
billionsmiljarden of interactionsinteracties altogetherover het geheel genomen,
165
331797
2208
miljarden interacties bij elkaar,
05:49
and now we can startbegin analyzinganalyseren that,
166
334005
2504
en nu kunnen we dat beginnen te analyseren.
05:52
and when we learnleren from that,
167
336509
1464
Als we daarvan leren
05:53
do experimentationsexperimenten,
168
337973
1241
en experimenten doen,
05:55
that's when the realecht revolutionrevolutie will come.
169
339214
2240
gaat de werkelijke revolutie komen.
05:57
And you'llje zult be ablein staat to see the resultsuitslagen from
170
341454
2776
Dan zul je de resultaten zien
06:00
a newnieuwe generationgeneratie of amazingverbazingwekkend studentsstudenten.
171
344230
2263
van een nieuwe generatie geweldige studenten.
06:02
(ApplauseApplaus)
172
346493
2253
(Applaus)
Translated by Axel Saffran
Reviewed by Els De Keyser

▲Back to top

ABOUT THE SPEAKER
Peter Norvig - Computer scientist
Peter Norvig is a leading American computer scientist, expert on artificial intelligence and the Director of Research at Google Inc.

Why you should listen

Peter Norvig is a computer scientist and expert in both artificial intelligence and online search. Currently the Director of Research at Google Inc., Norvig was responsible for maintaining and improving the engine's core web search algorithms from 2002 to 2005. Prior to his work at Google, Norvig was NASA's chief computer scientist.

A fellow of the American Association for Artificial Intelligence and the author of the book Artificial Intelligence: A Modern Approach, Norvig (along with Sebastian Thrun) taught the Stanford University class "Introduction to Artificial Intelligence," which was made available to anyone in the world. More than 160,000 students from 209 countries enrolled.

Norvig is also known for penning the world's longest palindromic sentence.

More profile about the speaker
Peter Norvig | Speaker | TED.com