TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
Ben Wellington: Como conseguimos encontrar o pior lugar para estacionar em Nova York usando uma enorme base de dados
Filmed:
Readability: 3.7
1,055,247 views
Os órgãos municipais têm acesso a uma riqueza de dados e estatísticas que retratam cada um dos aspectos da vida urbana. No entanto, como o analista de dados Ben Wellington sugere nessa espirituosa palestra, algumas vezes eles simplesmente não sabem o que fazer com tantos dados. Assim, ele mostra como a combinação de perguntas surpreendentes com uma consulta inteligente aos dados consegue produzir percepções curiosamente úteis, e compartilha dicas sobre como divulgar grandes volumes de dados, de modo que qualquer pessoa consiga usá-los.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
Dez mil quilômetros de estradas,
00:15
600 miles of subway track,
1
3531
2203
mil quilômetros de trilhos de metrô,
00:17
400 miles of bike lanes
2
5734
1644
650 quilômetros de ciclovias,
00:19
and a half a mile of tram track,
3
7378
1821
e 800 metros de bonde elétrico
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
se já esteve em Roosevelt Island.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
Esses são os números relativos
à infraestrutura de Nova York.
à infraestrutura de Nova York.
São estatísticas da nossa infraestrutura.
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
Números divulgados em relatórios
de órgãos municipais,
de órgãos municipais,
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
como a Secretaria de Transporte,
que orgulhosamente informa
que orgulhosamente informa
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
quantos quilômetros de estradas mantém.
O "MTA" vai se gabar da extensão
das linhas do metrô.
das linhas do metrô.
00:36
how many miles of road they maintain.
9
24010
1781
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
A maioria desses órgãos
fornece estatísticas.
fornece estatísticas.
00:40
Most city agencies give us statistics.
11
28612
1807
Estas são de um relatório deste ano
00:42
This is from a report this year
12
30419
1483
da Comissão de Táxis e Limusines,
00:43
from the Taxi and Limousine Commission,
13
31902
1892
em que descobrimos que há cerca
de 13.500 táxis aqui em Nova York.
de 13.500 táxis aqui em Nova York.
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
Bem interessante, né?
00:49
Pretty interesting, right?
15
37070
1290
Mas já se perguntaram
de onde esses números vêm?
de onde esses números vêm?
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
Pois, para esses números
existirem, alguém na prefeitura
existirem, alguém na prefeitura
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
precisa parar e dizer: eis aqui um número
que alguém pode querer saber.
que alguém pode querer saber.
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
Eis um número que os cidadãos
querem saber.
querem saber.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
Daí, voltam para seus dados brutos,
01:02
So they go back to their raw data,
20
50177
1830
eles contam, adicionam, calculam
01:04
they count, they add, they calculate,
21
52007
1797
e aí publicam relatórios,
01:05
and then they put out reports,
22
53804
1467
e esses relatórios têm números assim.
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
O problema é: como eles
conhecem todas nossas dúvidas?
conhecem todas nossas dúvidas?
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
Temos muitas perguntas.
01:11
We have lots of questions.
25
59988
1243
De fato, há literalmente
um número infinito de perguntas
um número infinito de perguntas
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
que podemos fazer sobre a cidade.
01:16
that we can ask about our city.
27
64571
1649
Os órgãos do governo não dão conta.
01:18
The agencies can never keep up.
28
66220
1475
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
Assim, o paradigma não funciona, e acho
que nossos urbanistas percebem isso,
que nossos urbanistas percebem isso,
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
pois, em 2012, o prefeito Bloomberg
sancionou uma lei que chamou
sancionou uma lei que chamou
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
de a mais ambiciosa e abrangente
legislação de dados abertos do país.
legislação de dados abertos do país.
01:31
In a lot of ways, he's right.
32
79547
1573
Ele está mesmo certo.
Nos últimos dois anos, a cidade divulgou
mil arquivos de dados nesse portal,
mil arquivos de dados nesse portal,
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
01:35
on our open data portal,
34
83981
1610
01:37
and it's pretty awesome.
35
85591
1764
e é bem impressionante.
01:39
So you go and look at data like this,
36
87355
1968
Então, vamos lá e vemos dados como estes
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
e, em vez de só contar o número de táxis,
01:43
we can start to ask different questions.
38
91612
1943
podemos fazer diversas perguntas.
Eu tinha uma pergunta:
01:45
So I had a question.
39
93555
1200
qual é o horário de pico em Nova York?
01:46
When's rush hour in New York City?
40
94755
1701
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
Que é uma coisa bem chata.
Qual é o horário de pico?
Qual é o horário de pico?
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
E pensei comigo mesmo,
esses táxis não são só números,
esses táxis não são só números,
são registros de GPS
rodando por nossas ruas,
rodando por nossas ruas,
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
registrando cada corrida que fazem.
01:56
recording each and every ride they take.
44
104373
1913
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
Há dados aí, e olhei para esses dados
e calculei a velocidade média
dos táxis em Nova York durante o dia.
dos táxis em Nova York durante o dia.
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
Dá para ver que, da meia-noite
até cerca das 5h18 da manhã,
até cerca das 5h18 da manhã,
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
a velocidade aumenta e, a partir daí,
as coisas se invertem,
as coisas se invertem,
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
e eles ficam cada vez mais lentos
até cerca das 8h35 da manhã,
até cerca das 8h35 da manhã,
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
quando acabam rodando
em torno dos 17 km/h.
em torno dos 17 km/h.
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
O táxi comum roda a 17 km/h
nas ruas da cidade,
nas ruas da cidade,
e acontece de ficar assim
02:21
and it turns out it stays that way
52
129761
1987
02:23
for the entire day.
53
131748
3368
o dia inteiro.
02:27
(Laughter)
54
135116
1373
(Risos)
Daí pensei, acho que não
existe horário de pico em Nova York,
existe horário de pico em Nova York,
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
existe apenas dia de pico.
02:31
There's just a rush day.
56
139669
1537
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
Faz sentido, e isso é importante
por diversas razões.
por diversas razões.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
Para um gestor de transportes,
deve ser bem interessante saber isso.
deve ser bem interessante saber isso.
02:39
But if you want to get somewhere quickly,
59
147693
1975
Mas, se quiser chegar
a um lugar rápido,
a um lugar rápido,
agora sabe que basta ajustar o alarme
para 4h45 da manhã, e pronto.
para 4h45 da manhã, e pronto.
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
É Nova York, certo?
02:45
New York, right?
61
153136
1044
Mas há uma história aí.
02:46
But there's a story behind this data.
62
154180
1762
Esses dados não estavam
disponíveis dessa forma.
disponíveis dessa forma.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
Na verdade, vieram da chamada
legislação sobre liberdade de informação,
legislação sobre liberdade de informação,
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
ou solicitação de informação.
02:53
or a FOIL Request.
65
161746
1076
Este é um formulário no site
da Comissão de Táxis e Limusines.
da Comissão de Táxis e Limusines.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
Para acessar os dados, é preciso
pegar este formulário,
pegar este formulário,
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
preenchê-lo, e depois eles te notificam.
03:01
fill it out, and they will notify you,
68
169114
1846
Daí, um cara chamado Chris Whong
fez exatamente isso.
fez exatamente isso.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
03:05
Chris went down, and they told him,
70
173090
1890
Chris foi lá, e disseram para ele:
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
"Traga um HD novinho em folha
ao nosso escritório,
ao nosso escritório,
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
deixe-o aqui por cinco horas, copiamos
os dados e você busca-o de volta".
os dados e você busca-o de volta".
03:13
And that's where this data came from.
73
181231
2032
E foi daí que vieram esses dados.
Chris é o tipo de cara que quer
tornar públicos esses dados,
tornar públicos esses dados,
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
para estarem on-line para todos,
e esse gráfico veio daí.
e esse gráfico veio daí.
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
E o fato disso existir é incrível.
Esses registros de GP: muito legais.
Esses registros de GP: muito legais.
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
Mas os cidadãos precisarem
andar por aí com HDs,
andar por aí com HDs,
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
coletando esses dados
para torná-los públicos,
para torná-los públicos,
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
quando já eram meio
que públicos, acessíveis,
que públicos, acessíveis,
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
mas não eram públicos, eram "públicos".
03:33
but it was "public," it wasn't public.
80
201660
1812
O governo pode fazer melhor que isso.
03:35
And we can do better than that as a city.
81
203472
1962
Não faz sentido nossos cidadãos
andando por aí com HDs.
andando por aí com HDs.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
Mas nem todos os dados dependem
de uma solicitação de informação.
de uma solicitação de informação.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
Eis um mapa que fiz dos cruzamentos
mais perigosos de Nova York,
mais perigosos de Nova York,
03:46
based on cyclist accidents.
85
214329
1878
baseado em acidentes com ciclistas.
03:48
So the red areas are more dangerous.
86
216207
1939
As áreas vermelhas são as mais perigosas.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
E a primeira a aparecer
é o East Side de Manhattan,
é o East Side de Manhattan,
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
especialmente a área mais baixa,
com maior número de acidentes.
com maior número de acidentes.
03:56
That might make sense
89
224310
1019
Isso faz sentido, pois ali há
mais ciclistas vindo das pontes.
mais ciclistas vindo das pontes.
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
Mas há outros lugares dignos de atenção,
04:00
But there's other hotspots worth studying.
91
228225
2014
como Williamsburg
e a Avenida Roosevelt, no Queens.
e a Avenida Roosevelt, no Queens.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
E é exatamente o tipo de dado
que precisamos para o "Vision Zero".
que precisamos para o "Vision Zero".
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
É exatamente o que estamos procurando.
04:07
This is exactly what we're looking for.
94
235760
1990
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
Há uma história atrás desses dados também.
04:11
This data didn't just appear.
96
239885
2067
Eles não surgiram do nada.
04:13
How many of you guys know this logo?
97
241952
2391
Quantos aqui conhecem essa logomarca?
04:16
Yeah, I see some shakes.
98
244343
1352
É, algumas mãos levantadas.
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
Já tentaram copiar e colar
dados de um arquivo PDF
dados de um arquivo PDF
04:20
and make sense of it?
100
248350
1357
e depois decifrá-los?
04:21
I see more shakes.
101
249707
1060
Mais mãos agora.
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
Mais pessoas tentam copiar e colar
do que conhecem a logomarca. Gostei!
do que conhecem a logomarca. Gostei!
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
Na verdade, os dados que acabaram
de ver estavam em PDF.
de ver estavam em PDF.
De fato, centenas e centenas
de páginas em PDF
de páginas em PDF
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
04:32
put out by our very own NYPD,
105
260727
2159
disponibilizadas pela nossa polícia
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
e, para acessar, ou copiam e colam
04:38
for hundreds and hundreds of hours,
107
266038
1726
durante centenas de horas,
ou fazem como John Krauss.
04:39
or you could be John Krauss.
108
267764
1344
04:41
John Krauss was like,
109
269108
1043
John Krauss pensou:
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
"Não vou copiar e colar esses dados.
Vou escrever um programa."
Vou escrever um programa."
Ele se chama "NYPD Crash Data Band-Aid",
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
e vai no site da polícia e baixa os PDFs.
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
Todos os dias o programa procura;
se encontrar um PDF, ele baixa,
se encontrar um PDF, ele baixa,
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
roda um programa que extrai
os dados do PDF,
os dados do PDF,
04:56
and out would come the text,
115
284260
1336
produz um texto
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
e coloca na Internet, para que
as pessoas possam fazer mapas assim.
as pessoas possam fazer mapas assim.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
E o fato de os dados estarem aqui,
o fato de termos acesso a eles...
o fato de termos acesso a eles...
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
Aliás, cada linha dessa
tabela é um acidente.
tabela é um acidente.
Imaginem quantos PDFs há aqui.
05:07
You can imagine how many PDFs that is.
119
295040
1836
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
O fato de termos acesso a isso é ótimo,
05:11
but let's not release it in PDF form,
121
299083
2110
mas vamos parar de liberar em PDF,
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
pois daí nossos cidadãos vão
ter de extrair dados do PDF.
ter de extrair dados do PDF.
E isso é desperdício
do tempo dos cidadãos,
do tempo dos cidadãos,
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
e a prefeitura pode fazer melhor que isso.
05:18
and we as a city can do better than that.
124
306008
2004
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
Bem, a boa notícia
é que a administração Blasio
é que a administração Blasio
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
liberou esses dados poucos meses atrás,
e agora então podemos de fato acessá-los,
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
mas ainda há uma porção
de dados escondidos em PDF.
de dados escondidos em PDF.
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
Por exemplo, nossos dados criminais
estão disponíveis apenas em PDF.
estão disponíveis apenas em PDF.
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
E não apenas os dados criminais,
o próprio orçamento do município.
o próprio orçamento do município.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
Nosso orçamento é legível
apenas no formato PDF.
apenas no formato PDF.
Não somos os únicos
a não conseguir analisá-los.
a não conseguir analisá-los.
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
Nossos legisladores,
que votam o orçamento,
que votam o orçamento,
05:45
also only get it in PDF.
134
333751
1943
também apenas o acessam em PDF.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
Daí, nossos legisladores não conseguem
analisar o orçamento que estão votando.
analisar o orçamento que estão votando.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
E acho que a cidade pode fazer
um pouco melhor que isso.
um pouco melhor que isso.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
Mas há uma porção de dados
não escondidos em PDFs.
não escondidos em PDFs.
05:57
This is an example of a map I made,
138
345634
1700
Eis um exemplo de um mapa que fiz
com as hidrovias mais sujas de Nova York.
com as hidrovias mais sujas de Nova York.
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
06:02
Now, how do I measure dirty?
140
350260
1509
Bem, como medi essa sujeira?
06:03
Well, it's kind of a little weird,
141
351769
1857
Foi de um jeito um pouco estranho,
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
mas olhei o nível dos coliformes fecais,
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
que é uma medida da matéria fecal
em cada uma das nossas hidrovias.
em cada uma das nossas hidrovias.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
Quanto maior o círculo, mais suja a água,
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
Assim, os círculos grandes são água suja,
e os menores, mais limpa.
e os menores, mais limpa.
06:17
What you see is inland waterways.
146
365876
1644
O que veem são hidrovias internas.
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
Todos esses dados foram coletados
pela prefeitura nos últimos cinco anos.
pela prefeitura nos últimos cinco anos.
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
E as hidrovias internas são,
em geral, mais sujas.
em geral, mais sujas.
06:25
That makes sense, right?
149
373618
1218
Faz sentido, não é mesmo?
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
Os círculos maiores são sujos.
E concluí algumas coisas daí.
E concluí algumas coisas daí.
Primeira, nunca nadem em algo
que termine com "creek" ou "canal".
que termine com "creek" ou "canal".
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
Segundo, também descobri a hidrovia
mais suja de Nova York
mais suja de Nova York
06:37
by this measure, one measure.
153
385692
1834
com essa medida, uma medida.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
Em Coney Island Creek,
que não é a Coney Island onde nadam,
felizmente, é do outro lado,
felizmente, é do outro lado,
06:43
It's on the other side.
155
391174
1158
mas 94% das amostras coletadas lá
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
nos últimos cinco anos
tinham níveis fecais tão altos
tinham níveis fecais tão altos
06:48
have had fecal levels so high
157
396210
2157
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
que deveria ser contra a lei
nadar naquela água.
nadar naquela água.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
E esse não é o tipo de fato que se vê
divulgado num relatório municipal, né?
divulgado num relatório municipal, né?
06:56
boasted in a city report, right?
160
404189
1537
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
Não vai estar na primeira
página do nyc.gov.
página do nyc.gov.
Não vão ver isso lá,
06:59
You're not going to see it there,
162
407976
1580
mas o fato de podermos
acessar esses dados é incrível.
acessar esses dados é incrível.
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
Mas, repito, não foi superfácil,
07:04
But once again, it wasn't super easy,
164
412074
1773
pois não estavam no portal aberto.
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
No portal dos dados abertos,
07:08
If you were to go to the open data portal,
166
416205
2013
havia apenas parte deles,
um ano ou poucos meses.
um ano ou poucos meses.
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
Eles estavam no site
da Secretaria do Meio Ambiente.
da Secretaria do Meio Ambiente.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
E cada um desses links é uma planilha
Excel, e cada planilha é diferente.
Excel, e cada planilha é diferente.
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
Cada cabeçalho é diferente:
você copia, cola, reorganiza.
você copia, cola, reorganiza.
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
E aí pode fazer mapas, o que é ótimo,
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
mas a cidade pode fazer melhor,
padronizando os dados.
padronizando os dados.
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
E estamos chegando lá, pois
há este site feito pela Socrata,
há este site feito pela Socrata,
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
chamado "Open Data Portal NYC".
Aqui é onde ficam 1.100 arquivos
sem esses problemas que mencionei,
sem esses problemas que mencionei,
07:32
called the Open Data Portal NYC.
174
440034
1541
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
e esse número está crescendo,
o que é ótimo.
o que é ótimo.
07:35
from the things I just told you live,
176
443832
1781
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
Vocês podem baixar dados em qualquer
formato, CSV, PDF ou Excel.
formato, CSV, PDF ou Excel.
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
O que quiserem, podem baixar
do jeito que for melhor.
do jeito que for melhor.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
O problema é, uma vez feito isso,
07:45
The problem is, once you do,
180
453720
1352
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
vão descobrir que cada órgão codifica
os endereços de forma diferente.
os endereços de forma diferente.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
Assim, podemos ter
nome da rua, cruzamento,
nome da rua, cruzamento,
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
rua, bairro, endereço, edifício,
endereço do prédio.
endereço do prédio.
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
Então, gasta-se muito tempo,
mesmo tendo o portal,
mesmo tendo o portal,
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
gasta-se tempo padronizando
nossos campos de endereço.
nossos campos de endereço.
E esta não é a melhor forma
de usarmos nosso tempo.
de usarmos nosso tempo.
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
Podemos fazer melhor como cidade.
08:03
We can do better than that as a city.
187
471599
1796
08:05
We can standardize our addresses,
188
473395
1645
Podemos padronizar
nossos endereços
nossos endereços
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
e, assim, vamos ter mais mapas como este.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
Este é um mapa de hidrantes de Nova York,
08:11
but not just any fire hydrants.
191
479510
1531
mas não de quaisquer hidrantes.
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
Estes são os 250 hidrantes
campeões de multas de trânsito.
campeões de multas de trânsito.
08:17
(Laughter)
193
485767
1986
(Risos)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
Assim, aprendi algumas coisas
com este mapa, e realmente gosto dele.
com este mapa, e realmente gosto dele.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
Primeiro, não estacione
no Upper East Side.
no Upper East Side.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
De jeito nenhum. Não importa onde
parar, vai levar uma multa de hidrante.
parar, vai levar uma multa de hidrante.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
Segundo, descobri os hidrantes
campeões de multa em Nova York.
campeões de multa em Nova York.
08:33
and they're on the Lower East Side,
198
501253
1886
Eles estão no Lower East Side
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
e arrecadam mais de US$ 55 mil por ano
em multas de estacionamento proibido.
em multas de estacionamento proibido.
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
E achei estranho quando vi isso.
Então pesquisei um pouco mais,
e acontece que há um hidrante
e acontece que há um hidrante
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
e algo chamado extensão da calçada,
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
um lugar de uns dois metros para andar,
e depois um lugar para estacionar.
e depois um lugar para estacionar.
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
08:50
and then a parking spot.
204
518299
1156
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
Então os carros chegam e veem o hidrante:
"A vaga vai até lá, estou bem",
"A vaga vai até lá, estou bem",
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
na verdade, a vaga está
lá demarcada bonitinha.
lá demarcada bonitinha.
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
Daí, estacionam ali, mas a polícia
discorda dessa marcação e multa.
discorda dessa marcação e multa.
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
09:02
and would ticket them.
209
530249
1058
E não fui o único a levar uma multa.
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
Vejam só o carro do Street View do Google
ali com a mesma multa de trânsito.
ali com a mesma multa de trânsito.
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
09:07
finding the same parking ticket.
212
535797
1617
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
Daí, escrevi sobre isso no meu blog,
"I Quant NY", e o "DOT" respondeu:
"I Quant NY", e o "DOT" respondeu:
09:13
and they said,
214
541918
1020
"Apesar de o 'DOT' não ter recebido
qualquer reclamação sobre esse lugar,
qualquer reclamação sobre esse lugar,
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
vamos rever a marcação na pista
e fazer as alterações necessárias."
e fazer as alterações necessárias."
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
E pensei cá comigo:
resposta típica do governo,
resposta típica do governo,
09:25
all right, moved on with my life.
218
553849
1881
tudo bem, vou cuidar da minha vida.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
Mas, aí, poucas semanas depois,
algo incrível aconteceu.
algo incrível aconteceu.
09:31
They repainted the spot,
220
559700
2520
Repintaram o lugar,
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
e por um segundo vislumbrei
o futuro dos dados abertos,
o futuro dos dados abertos,
09:36
because think about what happened here.
222
564910
2000
pois vejam só o que aconteceu aqui.
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
Durante cinco anos, nesse lugar
levamos multas, e era confuso,
levamos multas, e era confuso,
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
daí, um cidadão descobriu isso,
avisou à prefeitura e, em poucas semanas,
avisou à prefeitura e, em poucas semanas,
09:48
the problem was fixed.
225
576316
1294
o problema foi resolvido. Incrível!
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
E há quem veja isso como um vigia.
Não é, tem a ver com parceria.
Não é, tem a ver com parceria.
09:52
It's not, it's about being a partner.
227
580810
1772
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
Empoderar os cidadãos para serem
melhores parceiros do governo.
melhores parceiros do governo.
E não é tão difícil assim,
só precisamos de algumas mudanças.
só precisamos de algumas mudanças.
09:57
and it's not that hard.
229
585720
1881
09:59
All we need are a few changes.
230
587601
1459
Se camuflarem os dados, e os cidadãos
tiverem de requisitá-los todas as vezes,
tiverem de requisitá-los todas as vezes,
10:01
If you're FOILing data,
231
589060
1107
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
melhor liberá-los, é sinal de que é
preciso torná-los públicos.
preciso torná-los públicos.
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
E, se você é um órgão do governo
liberando um PDF,
liberando um PDF,
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
vamos aprovar legislação que exija
publicar isso com os dados originais,
publicar isso com os dados originais,
pois esses dados vêm de algum lugar,
não sei de onde,
não sei de onde,
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
mas vêm, e depois podem
publicá-los em PDF.
publicá-los em PDF.
10:19
and you can release it with the PDF.
238
607249
1725
E adotar e compartilhar
padrões de dados abertos.
padrões de dados abertos.
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
Vamos começar com nossos
endereços aqui em Nova York.
endereços aqui em Nova York.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
Vamos padronizar nossos endereços,
pois somos referência nos dados abertos.
pois somos referência nos dados abertos.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
10:27
Because New York is a leader in open data.
242
615940
2062
Apesar desses problemas,
somos líderes absolutos nisso.
somos líderes absolutos nisso.
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
Se estabelecermos um padrão
para os dados, outros vão nos seguir.
para os dados, outros vão nos seguir.
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
O resto do estado e talvez
o governo federal.
o governo federal.
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
Sei que parece loucura,
mas outros países poderiam seguir,
mas outros países poderiam seguir,
e não estamos tão longe assim
de escrever um programa
de escrever um programa
10:39
Other countries could follow,
246
627546
1445
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
para mapear informação de 100 países.
10:44
and map information from 100 countries.
248
632402
1890
Não é ficção científica.
Estamos bem perto disso, na verdade.
Estamos bem perto disso, na verdade.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
E, a propósito, quem estamos
empoderando com isso?
empoderando com isso?
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
Não é apenas John Krauss ou Chris Whong.
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
Há centenas de reuniões acontecendo
em Nova York agora mesmo.
em Nova York agora mesmo.
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
Reuniões ativas, com milhares
de pessoas participando
de pessoas participando
10:57
active meetups.
253
645119
1025
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
depois do trabalho e nos finais de semana,
analisando dados abertos,
analisando dados abertos,
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
para tornar nossa cidade melhor.
11:05
and make our city a better place.
257
653720
1640
Grupos como "BetaNYC", que semana
passada lançou o citygram.nyc,
passada lançou o citygram.nyc,
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
que dá acesso às reclamações feitas
no site da prefeitura, por região.
no site da prefeitura, por região.
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
É só colocar o endereço
e acessar as reclamações.
e acessar as reclamações.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
E não é apenas a comunidade tecnológica
que está atrás dessas coisas.
que está atrás dessas coisas.
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
São os gestores urbanos,
como meus alunos em Pratt,
como meus alunos em Pratt,
11:24
It's policy advocates, it's everyone,
264
672071
1919
agentes de políticas públicas, todo mundo,
cidadãos de diversos segmentos.
cidadãos de diversos segmentos.
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
11:28
And with some small, incremental changes,
266
676553
2786
E, com algumas mudanças
pequenas, graduais,
pequenas, graduais,
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
podemos estimular a paixão
e a habilidade de nossos cidadãos
e a habilidade de nossos cidadãos
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
para usar os dados disponíveis
e tornar nossa cidade ainda melhor,
e tornar nossa cidade ainda melhor,
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
seja com um arquivo de dados,
ou com um lugar para estacionar.
ou com um lugar para estacionar.
11:41
Thank you.
270
689346
2322
Obrigado.
(Aplausos)
11:43
(Applause)
271
691668
3305
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com