TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
Ben Wellington: Hoe we de slechtste parkeerplekken in New York vonden - met big data
Filmed:
Readability: 3.7
1,055,247 views
Lokale overheden beschikken over een weelde aan gegevens en statistieken, waarin elk deel van het stadsleven is opgetekend. Gegevensanalist Ben Wellington suggereert in deze onderhoudende talk dat ze echter soms gewoon niet weten hoe ze die gegevens kunnen gebruiken. Hij laat zie hoe een combinatie van vragen die je niet zou verwachten en slimme gegevensverwerking verrassend bruikbare inzichten kan opleveren. Ook deelt hij tips over het vrijgeven van grote verzamelingen gegevens, zodat iedereen daarvan gebruik kan maken.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
Bijna 10.000 kilometer wegen,
00:15
600 miles of subway track,
1
3531
2203
zo'n 1000 kilometer metrolijnen,
bijna 650 kilometer fietspaden
00:17
400 miles of bike lanes
2
5734
1644
00:19
and a half a mile of tram track,
3
7378
1821
en 800 meter tramspoor --
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
die liggen op Roosevelt Island.
Dat is de infrastructuur
van de stad New York in cijfers.
van de stad New York in cijfers.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
De statistieken van onze infrastructuur.
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
Deze cijfers verschijnen
in rapporten van de lokale overheid.
in rapporten van de lokale overheid.
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
Afdeling Transport
kan je bijvoorbeeld vertellen
kan je bijvoorbeeld vertellen
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
hoeveel kilometer wegen ze onderhouden.
Openbaar Vervoer pocht
met kilometers metrolijnen.
met kilometers metrolijnen.
00:36
how many miles of road they maintain.
9
24010
1781
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
Afdelingen geven statistieken uit.
00:40
Most city agencies give us statistics.
11
28612
1807
Uit een rapport van vorig jaar
van de commissie voor taxiverkeer,
van de commissie voor taxiverkeer,
00:42
This is from a report this year
12
30419
1483
00:43
from the Taxi and Limousine Commission,
13
31902
1892
leren we dat er zo'n 13.500 taxi's
in New York rijden.
in New York rijden.
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
Dat is toch interessant?
00:49
Pretty interesting, right?
15
37070
1290
Maar waar komen
die cijfers vandaan?
die cijfers vandaan?
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
Op zo'n gemeentelijke afdeling
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
moet iemand bedacht hebben
welke cijfers ons interesseren.
welke cijfers ons interesseren.
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
Hier zit men op te wachten.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
Dus spitten ze in hun ruwe gegevens,
01:02
So they go back to their raw data,
20
50177
1830
tellen en calculeren
01:04
they count, they add, they calculate,
21
52007
1797
en brengen hun rapporten uit,
01:05
and then they put out reports,
22
53804
1467
waar dit soort cijfers in staan.
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
Maar hoe kennen ze al onze vragen?
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
We zitten vol met vragen.
01:11
We have lots of questions.
25
59988
1243
We kunnen waarschijnlijk
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
een eindeloos aantal
vragen stellen over onze stad.
vragen stellen over onze stad.
01:16
that we can ask about our city.
27
64571
1649
Teveel voor die afdelingen.
01:18
The agencies can never keep up.
28
66220
1475
Het model werkt dus niet,
en de beleidsmakers zien dat ook in,
en de beleidsmakers zien dat ook in,
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
want burgemeester Bloomberg heeft in 2012
een wet ondertekend, die hij beschreef
een wet ondertekend, die hij beschreef
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
als de meest ambitieuze en uitgebreide
'open data'-wetgeving in het land.
'open data'-wetgeving in het land.
01:31
In a lot of ways, he's right.
32
79547
1573
Op veel punten heeft hij gelijk.
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
De afgelopen twee jaar
gaf de stad 1000 gegevenssets vrij
gaf de stad 1000 gegevenssets vrij
01:35
on our open data portal,
34
83981
1610
op het open data-portaal.
01:37
and it's pretty awesome.
35
85591
1764
Dat is fantastisch.
01:39
So you go and look at data like this,
36
87355
1968
Je kunt in die gegevens duiken
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
en dan niet alleen de taxi's tellen,
maar ook andere vragen stellen.
01:43
we can start to ask different questions.
38
91612
1943
Ik had dus een vraag.
01:45
So I had a question.
39
93555
1200
Wanneer is de spits in New York?
01:46
When's rush hour in New York City?
40
94755
1701
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
Hoe laat begint de spits precies?
Toen dacht ik: een taxi
is niet alleen een nummer,
is niet alleen een nummer,
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
maar ook een gps-recorder
die door onze straten rijdt
die door onze straten rijdt
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
en elke rit vastlegt.
01:56
recording each and every ride they take.
44
104373
1913
Ik heb de gegevens ervan bekeken
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
en een diagram van de gemiddelde snelheid
van taxi's in New York gemaakt.
van taxi's in New York gemaakt.
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
Je ziet dan dat van middernacht
tot 5:18 uur 's ochtends
tot 5:18 uur 's ochtends
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
de snelheid toeneemt,
en dan afneemt.
en dan afneemt.
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
Dan gaan ze steeds langzamer rijden
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
tot ze om 8:35 uur 's ochtends
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
nog maar 18,5 km/u rijden.
De gemiddelde taxi rijdt dan
18,5 km/u op onze straten,
18,5 km/u op onze straten,
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
en dat blijft dan zo, gedurende...
02:21
and it turns out it stays that way
52
129761
1987
02:23
for the entire day.
53
131748
3368
de hele dag.
(Gelach)
02:27
(Laughter)
54
135116
1373
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
Er is dus geen spitsuur in New York.
Het is spitsdág.
02:31
There's just a rush day.
56
139669
1537
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
Dat klinkt logisch en is belangrijk.
Voor een transportplanner
is dat interessant.
is dat interessant.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
02:39
But if you want to get somewhere quickly,
59
147693
1975
Maar als je snel ergens moet zijn,
weet je nu dat je je wekker
op 4:45 uur moet zetten.
op 4:45 uur moet zetten.
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
New York, hè?
02:45
New York, right?
61
153136
1044
Die gegevens hebben een verhaal.
02:46
But there's a story behind this data.
62
154180
1762
Ze bleken niet zomaar beschikbaar.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
Hier was een aanvraag voor nodig
via de Wet openbaarheid van bestuur,
via de Wet openbaarheid van bestuur,
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
een Wob-aanvraag.
02:53
or a FOIL Request.
65
161746
1076
Het staat op de website
van de Commissie voor taxiverkeer.
van de Commissie voor taxiverkeer.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
Voor deze gegevens
heb je zo'n formulier nodig.
heb je zo'n formulier nodig.
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
Als je het invult, krijg je bericht.
03:01
fill it out, and they will notify you,
68
169114
1846
Chris Wong deed dit.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
Chris ging langs en ze zeiden:
03:05
Chris went down, and they told him,
70
173090
1890
"Breng een nieuwe harddisk
naar ons kantoor.
naar ons kantoor.
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
Vijf uur later staan de gegevens erop
en kun je hem ophalen."
en kun je hem ophalen."
Daar komen die gegevens vandaan.
03:13
And that's where this data came from.
73
181231
2032
Chris is zo iemand
die gegevens publiek wil delen,
die gegevens publiek wil delen,
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
en zo kwam het online te staan,
wat deze grafiek mogelijk heeft gemaakt.
wat deze grafiek mogelijk heeft gemaakt.
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
Fantastisch dat het beschikbaar is,
die GPS-recorders -- echt perfect.
die GPS-recorders -- echt perfect.
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
Maar dat burgers met een harddisk
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
bij afdelingen gegevens
op moeten halen om die te delen --
op moeten halen om die te delen --
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
als je erom vroeg, kreeg je ze,
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
maar het was 'openbaar', niet gedeeld.
03:33
but it was "public," it wasn't public.
80
201660
1812
Dat kunnen we als stad béter doen.
03:35
And we can do better than that as a city.
81
203472
1962
Onze burgers hoeven niet
rond te lopen met een harddisk.
rond te lopen met een harddisk.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
Niet voor alle gegevens
heb je de Wob nodig.
heb je de Wob nodig.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
Ik heb deze kaart gemaakt
van de gevaarlijkste kruisingen,
van de gevaarlijkste kruisingen,
03:46
based on cyclist accidents.
85
214329
1878
gebaseerd op fietsongelukken.
03:48
So the red areas are more dangerous.
86
216207
1939
De rode gebieden zijn dus gevaarlijker.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
Je ziet dat er in
het oosten van Manhattan,
het oosten van Manhattan,
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
vooral het zuidoosten,
meer fietsongelukken zijn.
meer fietsongelukken zijn.
03:56
That might make sense
89
224310
1019
Logisch, omdat daar meer fietsers
van de bruggen af komen.
van de bruggen af komen.
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
Maar je ziet ook
andere gevaarlijke plekken,
andere gevaarlijke plekken,
04:00
But there's other hotspots worth studying.
91
228225
2014
zoals Williamsburg
en Roosevelt Avenue in Queens.
en Roosevelt Avenue in Queens.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
Dit soort gegevens
zoeken we voor Vision Zero.
zoeken we voor Vision Zero.
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
Precies wat we zoeken.
04:07
This is exactly what we're looking for.
94
235760
1990
Maar ook deze gegevens hebben een verhaal.
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
04:11
This data didn't just appear.
96
239885
2067
Ze kwamen niet zomaar aandrijven.
Kennen jullie dit logo?
04:13
How many of you guys know this logo?
97
241952
2391
Ik zie mensen knikken.
04:16
Yeah, I see some shakes.
98
244343
1352
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
Weleens geprobeerd om gegevens
van een pdf te kopiëren
van een pdf te kopiëren
en daar wijs uit te worden?
04:20
and make sense of it?
100
248350
1357
Ik zie meer knikken.
04:21
I see more shakes.
101
249707
1060
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
Meer die hebben geprobeerd te kopiëren,
dan die het logo kennen. Leuk.
dan die het logo kennen. Leuk.
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
Deze gegevens stonden dus in een pdf.
Een pdf van honderden pagina's lang,
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
gepubliceerd door de NYPD [politie].
04:32
put out by our very own NYPD,
105
260727
2159
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
Om dat te gebruiken
moest je dus
honderden uren gaan kopiëren,
honderden uren gaan kopiëren,
04:38
for hundreds and hundreds of hours,
107
266038
1726
of John Krauss zijn.
04:39
or you could be John Krauss.
108
267764
1344
04:41
John Krauss was like,
109
269108
1043
John Krauss dacht:
ik kopieer die gegevens niet,
maar schrijf een programma.
maar schrijf een programma.
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
Het heet de 'NYPD-
ongevallen-gegevens-pleister'.
ongevallen-gegevens-pleister'.
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
Het haalt pdf's van de website
van de NYPD af.
van de NYPD af.
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
Elke nacht start het een zoekopdracht;
downloadt gevonden pdf's,
downloadt gevonden pdf's,
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
en bewerkt die
zodat je losse tekst krijgt,
zodat je losse tekst krijgt,
04:56
and out would come the text,
115
284260
1336
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
die op het internet wordt geplaatst,
zodat je dit soort kaarten kunt maken.
zodat je dit soort kaarten kunt maken.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
En het feit dat die gegevens
voor ons beschikbaar zijn --
voor ons beschikbaar zijn --
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
Ieder ongeluk is trouwens
een rij in deze tabel.
een rij in deze tabel.
05:07
You can imagine how many PDFs that is.
119
295040
1836
Stel je voor hoeveel pdf's dat zijn --
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
Prachtig dat we die gegevens hebben,
05:11
but let's not release it in PDF form,
121
299083
2110
maar laten we geen pdf's maken,
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
anders moeten burgers
bewerkingsprogramma's maken.
bewerkingsprogramma's maken.
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
Zonde van de tijd.
Als stad kunnen we dat béter oplossen.
05:18
and we as a city can do better than that.
124
306008
2004
Gelukkig zijn onder
burgemeester de Blasio
burgemeester de Blasio
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
recentelijk deze gegevens vrijgegeven,
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
zodat we er gewoon bij kunnen.
Maar veel gegevens staan
nog steeds ingepakt in pdf.
nog steeds ingepakt in pdf.
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
Misdaadgegevens krijg je
bijvoorbeeld alleen in pdf.
bijvoorbeeld alleen in pdf.
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
Niet alleen misdaadgegevens,
maar ook de begroting van de stad.
maar ook de begroting van de stad.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
De begroting van de stad
is alleen in een pdf te lezen.
is alleen in een pdf te lezen.
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
Niet alleen wij hebben daar last van --
onze eigen wetgevers
die over de begroting beslissen
die over de begroting beslissen
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
05:45
also only get it in PDF.
134
333751
1943
krijgen het ook alleen in pdf.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
Onze wetgevers kunnen de begroting
waarover ze beslissen dus niet analyseren.
waarover ze beslissen dus niet analyseren.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
Dat moeten we als stad
toch ook beter kunnen doen.
toch ook beter kunnen doen.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
Veel gegevens staan niet verborgen in pdf.
05:57
This is an example of a map I made,
138
345634
1700
Hier heb ik een kaart gemaakt
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
van de smerigste vaarwaters
in de stad New York.
in de stad New York.
06:02
Now, how do I measure dirty?
140
350260
1509
Maar hoe meet ik smerigheid?
06:03
Well, it's kind of a little weird,
141
351769
1857
Dat is misschien een beetje vreemd;
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
ik keek naar het aandeel darmbacterieën,
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
waardoor je ontlasting
in onze vaarwaters kunt meten.
in onze vaarwaters kunt meten.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
Hoe groter de cirkel is,
hoe viezer het water.
hoe viezer het water.
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
Grote cirkels duiden op vies water,
kleinere op schoner water.
kleinere op schoner water.
06:17
What you see is inland waterways.
146
365876
1644
Dat is binnenwater.
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
Dit zijn alle gegevens die de stad
de laatste vijf jaar verzamelde.
de laatste vijf jaar verzamelde.
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
Binnenwater is meestal viezer.
06:25
That makes sense, right?
149
373618
1218
Logisch toch?
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
Ik concludeer allereerst:
zwem niet waar de naam
eindigt op 'creek' of 'canal'.
eindigt op 'creek' of 'canal'.
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
Maar ten tweede: ik vond
de smerigste vaarweg in de stad New York,
de smerigste vaarweg in de stad New York,
06:37
by this measure, one measure.
153
385692
1834
volgens deze meting althans.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
Het is Coney Island Creek --
niet waar we zwemmen bij Coney Island --
niet waar we zwemmen bij Coney Island --
maar aan de andere kant.
06:43
It's on the other side.
155
391174
1158
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
De afgelopen vijf jaar had 94 procent
van de monsters uit Coney Island Creek
van de monsters uit Coney Island Creek
06:48
have had fecal levels so high
157
396210
2157
zulke hoge sporen van ontlasting
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
dat het illegaal zou zijn
om daar te zwemmen.
om daar te zwemmen.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
Dat is zo'n feitje
waar ze niet mee opscheppen
waar ze niet mee opscheppen
06:56
boasted in a city report, right?
160
404189
1537
in de gemeentelijke rapporten.
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
Dat staat niet prominent op nyc.gov.
Daar vind je het niet,
06:59
You're not going to see it there,
162
407976
1580
maar het is prachtig
dat we die gegevens hebben.
dat we die gegevens hebben.
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
Maar ook dit was geen eitje.
07:04
But once again, it wasn't super easy,
164
412074
1773
Het stond niet in de
open data-portal.
open data-portal.
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
07:08
If you were to go to the open data portal,
166
416205
2013
Daar vind je maar een deel:
een jaar en wat maanden.
een jaar en wat maanden.
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
Het stond op de website
van de afdeling Milieubeheer.
van de afdeling Milieubeheer.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
Iedere link is een Excel-bestand.
En ieder Excel-bestand is verschillend.
(Gelach)
(Gelach)
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
De koppen zijn anders.
Je moet kopiëren en reorganiseren.
Je moet kopiëren en reorganiseren.
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
Als je de moeite neemt,
kun je een kaart maken,
kun je een kaart maken,
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
maar dat kan beter als stad,
door het glad te strijken.
door het glad te strijken.
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
En het gaat steeds beter,
want Socrata heeft een website:
want Socrata heeft een website:
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
de 'Open Data Portal NYC'.
Hierop staan al 1100 gegevenssets
07:32
called the Open Data Portal NYC.
174
440034
1541
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
zonder de problemen die ik noemde,
en gelukkig groeit dat aantal.
07:35
from the things I just told you live,
176
443832
1781
Je kunt gegevens in elk formaat
downloaden, zoals csv, pdf of Excel.
downloaden, zoals csv, pdf of Excel.
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
Wat je ook wilt,
je kan het downloaden hoe je wilt.
je kan het downloaden hoe je wilt.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
Het enige probleem is,
07:45
The problem is, once you do,
180
453720
1352
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
dat elke afdeling een andere opmaak
voor adressen gebruikt.
voor adressen gebruikt.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
Dus op straatnaam, kruising,
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
straat, wijk, adres/gebouw, gebouw/adres.
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
Je bent dus weer veel tijd kwijt,
zelfs met deze portal,
zelfs met deze portal,
om de adresvelden gelijk te trekken.
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
Dat willen burgers niet.
Als stad kunnen we dat beter doen.
08:03
We can do better than that as a city.
187
471599
1796
08:05
We can standardize our addresses,
188
473395
1645
Adressen in een standaardopmaak,
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
zodat we meer kaarten
kunnen maken zoals deze.
kunnen maken zoals deze.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
Dit is een kaart
van brandkranen in New York,
van brandkranen in New York,
08:11
but not just any fire hydrants.
191
479510
1531
maar niet zomaar brandkranen.
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
Dit zijn de 250 brandkranen
die de meeste parkeerboetes opleveren.
die de meeste parkeerboetes opleveren.
08:17
(Laughter)
193
485767
1986
(Gelach)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
Ik heb geleerd van deze kaart,
die ik erg leuk vind.
die ik erg leuk vind.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
Ten eerste, parkeer nooit
in de Upper East Side.
in de Upper East Side.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
Gewoon niet doen want
je krijgt overal een brandkraanbekeuring.
je krijgt overal een brandkraanbekeuring.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
Ten tweede, ik heb de twee kranen gevonden
die het meeste opbrengen in New York,
die het meeste opbrengen in New York,
08:33
and they're on the Lower East Side,
198
501253
1886
in de Lower East Side.
Die brengen ieder jaar 50.000 euro
aan parkeerboetes binnen.
aan parkeerboetes binnen.
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
Dat vond ik een beetje vreemd,
dus ging ik graven en ontdekte
dat hier een brandkraan stond
dat hier een brandkraan stond
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
naast een 'stoepverbreding':
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
zo'n twee meter extra loopruimte.
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
Dan een parkeerplaats.
08:50
and then a parking spot.
204
518299
1156
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
Automobilisten zagen de brandkraan --
"Die staat ver weg, geen probleem".
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
Er was zelfs een mooie
parkeerplaats getekend.
parkeerplaats getekend.
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
Dus ze parkeerden,
maar de politie dacht daar anders over
maar de politie dacht daar anders over
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
en gaf je een bon.
Ik ben niet de enige
die dit opmerkte.
die dit opmerkte.
09:02
and would ticket them.
209
530249
1058
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
Hier fotografeert de
Streetview-auto van Google
Streetview-auto van Google
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
diezelfde parkeerboete. (Gelach)
09:07
finding the same parking ticket.
212
535797
1617
Ik schreef erover op mijn blog I Quant NY,
en kreeg antwoord van de afdeling Verkeer,
en kreeg antwoord van de afdeling Verkeer,
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
die zeiden:
09:13
and they said,
214
541918
1020
"Hoewel we nooit klachten
over deze locatie hebben gehad,
over deze locatie hebben gehad,
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
zullen we de markeringen bekijken
en noodzakelijke wijzigingen aanbrengen."
en noodzakelijke wijzigingen aanbrengen."
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
Typisch antwoord van de overheid,
dacht ik nog,
dacht ik nog,
09:25
all right, moved on with my life.
218
553849
1881
en ik ging verder met mijn leven.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
Maar een paar weken later
was er iets ongelooflijks gebeurd.
was er iets ongelooflijks gebeurd.
09:31
They repainted the spot,
220
559700
2520
Ze hadden nieuwe lijnen
op die plek getekend,
op die plek getekend,
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
en even zag ik
de toekomst van open data.
de toekomst van open data.
09:36
because think about what happened here.
222
564910
2000
Wat is hier namelijk gebeurd?
Vijf jaar lang werden hier boetes
uitgedeeld op een onduidelijke plek,
uitgedeeld op een onduidelijke plek,
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
totdat een burger iets vond
wat hij meldde aan de gemeente,
wat hij meldde aan de gemeente,
en binnen een paar weken
was het probleem opgelost.
was het probleem opgelost.
09:48
the problem was fixed.
225
576316
1294
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
Fantastisch. Veel mensen zien
open data als een bedreiging.
open data als een bedreiging.
09:52
It's not, it's about being a partner.
227
580810
1772
Maar ze kunnen ons juist helpen.
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
Je kan burgers laten
meedenken met de overheid.
meedenken met de overheid.
09:57
and it's not that hard.
229
585720
1881
Dat is niet zo moeilijk.
09:59
All we need are a few changes.
230
587601
1459
Dat vraagt om wat aanpassingen.
10:01
If you're FOILing data,
231
589060
1107
Als je wob-aanvragen hebt,
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
en dezelfde gegevens
worden telkens opgevraagd,
worden telkens opgevraagd,
deel die dan gewoon,
dat willen mensen blijkbaar weten.
dat willen mensen blijkbaar weten.
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
En als een overheidsdienst
een pdf uitbrengt,
een pdf uitbrengt,
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
zou ze wettelijk verplicht moeten zijn
de onderliggende gegevens te geven,
de onderliggende gegevens te geven,
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
want die komen ergens vandaan.
Je kan ze vrijgeven via diezelfde pdf.
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
10:19
and you can release it with the PDF.
238
607249
1725
En laten we standaarden gaan gebruiken.
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
Als eerste voor de adressen in New York.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
Altijd dezelfde adresopmaak.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
Want ondanks dit alles
loopt New York voorop in open data,
loopt New York voorop in open data,
10:27
Because New York is a leader in open data.
242
615940
2062
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
en als wij beginnen met
een open data-standaard,
een open data-standaard,
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
dan volgt de rest.
Eerst de staat en misschien
zelfs de federale overheid.
zelfs de federale overheid.
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
Vervolgens andere landen,
zodat je in de nabije toekomst
één programma kunt schrijven
één programma kunt schrijven
10:39
Other countries could follow,
246
627546
1445
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
om informatie uit 100 landen
inzichtelijk te maken.
inzichtelijk te maken.
10:44
and map information from 100 countries.
248
632402
1890
Dat is geen sciencefiction.
We zijn al dichtbij.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
Wie doen we daar een plezier mee?
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
Niet alleen John Kraus en Chris Wong.
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
Er zijn momenteel honderden
burgerinitiatieven in New York,
burgerinitiatieven in New York,
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
actieve bijeenkomsten.
10:57
active meetups.
253
645119
1025
Duizenden mensen zijn daarbij betrokken.
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
Die mensen ontmoeten elkaar
na werktijd en in het weekend
na werktijd en in het weekend
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
om door middel van open data
onze stad te verbeteren.
11:05
and make our city a better place.
257
653720
1640
BetaNYC heeft vorige week bijvoorbeeld
citygram.nyc geopenbaard
citygram.nyc geopenbaard
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
zodat je meldingen kunt krijgen
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
van klachten in je omgeving.
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
Vul je adres in en je ziet
klachten uit de omgeving.
klachten uit de omgeving.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
En niet alleen it'ers
houden zich hier mee bezig.
houden zich hier mee bezig.
Ook stadsplanners,
zoals mijn studenten op Pratt.
zoals mijn studenten op Pratt.
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
Beleidsvoorstanders, echt iedereen,
11:24
It's policy advocates, it's everyone,
264
672071
1919
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
burgers met verschillende achtergronden.
11:28
And with some small, incremental changes,
266
676553
2786
Met kleine stap-voor-stap-veranderingen
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
geven we burgers de inspiratie
en de mogelijkheden
en de mogelijkheden
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
om met behulp van open data
onze stad te verbeteren.
onze stad te verbeteren.
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
Elke set gegevens -- of parkeerplaats --
draagt daaraan bij.
draagt daaraan bij.
11:41
Thank you.
270
689346
2322
Dank jullie wel.
(Applaus)
11:43
(Applause)
271
691668
3305
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com