TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
Бен Веллингтон: Как найти худшее место для парковки в Нью-Йорке, оперируя данными
Filmed:
Readability: 3.7
1,055,247 views
Городские службы имеют доступ к огромному количеству данных и статистике по каждой части города. И как предполагает Бен Веллингтон, аналитик, работающий с большими данными, они частенько не знают, что с ними делать. Он показывает нам, как комбинация неожиданных вопросов и толковой работы с данными может привести к любоптным и полезным выводам, и делится с нами советами о том, как нужно публиковать большие массивы информации, чтобы ими мог воспользоваться любой из нас.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
Десять тысяч километров дорог,
00:15
600 miles of subway track,
1
3531
2203
тысяча километров метро,
00:17
400 miles of bike lanes
2
5734
1644
600 километров велодорожек
00:19
and a half a mile of tram track,
3
7378
1821
и почти километр трамвайных путей,
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
если вы бывали на острове Рузвельта.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
Это цифры, из которых состоит
инфраструктура Нью-Йорка.
инфраструктура Нью-Йорка.
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
Это статистические данные
нашей инфраструктуры.
нашей инфраструктуры.
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
Именно эти данные вы можете
увидеть в отчётах городских служб.
увидеть в отчётах городских служб.
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
К примеру, в Департаменте
транспорта вам наверняка скажут,
транспорта вам наверняка скажут,
00:36
how many miles of road they maintain.
9
24010
1781
сколько километров дорог
они обслуживают.
они обслуживают.
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
MTA похвастается, как много
километров подземки в городе.
километров подземки в городе.
00:40
Most city agencies give us statistics.
11
28612
1807
Многие службы делятся статистикой.
00:42
This is from a report this year
12
30419
1483
Из отчёта этого года
00:43
from the Taxi and Limousine Commission,
13
31902
1892
от Комиссии по такси и лимузинам
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
мы узнаём, что в Нью-Йорке
около 13 500 такси.
около 13 500 такси.
00:49
Pretty interesting, right?
15
37070
1290
Интересно, не так ли?
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
А вы не задумывались,
откуда берутся эти цифры?
откуда берутся эти цифры?
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
Ведь чтобы их опубликовать,
кто-то должен был подумать:
кто-то должен был подумать:
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
«Хм, а вот это может быть
кому-то интересно.
кому-то интересно.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
Это цифры, которые могут
понадобиться горожанам».
понадобиться горожанам».
01:02
So they go back to their raw data,
20
50177
1830
А потом вернуться к исходным данным,
01:04
they count, they add, they calculate,
21
52007
1797
посчитать, сложить, подвести итог
01:05
and then they put out reports,
22
53804
1467
и выложить отчёт,
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
один из многих отчётов
с подобной статистикой.
с подобной статистикой.
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
Проблема вот в чём:
откуда им знать все наши вопросы?
откуда им знать все наши вопросы?
01:11
We have lots of questions.
25
59988
1243
А у нас много вопросов.
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
На самом деле, у нас буквально
бесконечное количество вопросов,
бесконечное количество вопросов,
01:16
that we can ask about our city.
27
64571
1649
связанных с городом.
Городским службам не угадать их все.
01:18
The agencies can never keep up.
28
66220
1475
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
Этот подход не работает и, я полагаю,
должностные лица это понимают,
должностные лица это понимают,
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
поскольку в 2012 году мэр Блумберг
утвердил закон, который он назвал
утвердил закон, который он назвал
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
самым амбициозным и исчерпывающим
законопроектом об открытых данных в стране.
законопроектом об открытых данных в стране.
01:31
In a lot of ways, he's right.
32
79547
1573
Во многом он прав.
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
За последние два года город разместил
1 000 массивов данных
1 000 массивов данных
01:35
on our open data portal,
34
83981
1610
на портале открытых данных,
01:37
and it's pretty awesome.
35
85591
1764
и это очень круто.
Вы заходите и смотрите на эти данные,
01:39
So you go and look at data like this,
36
87355
1968
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
и вместо того, чтобы просто считать такси,
01:43
we can start to ask different questions.
38
91612
1943
вы можете задавать самые разные вопросы.
01:45
So I had a question.
39
93555
1200
У меня был такой вопрос.
01:46
When's rush hour in New York City?
40
94755
1701
Когда в Нью-Йорке час пик?
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
Ведь пробки всех достают.
Так когда наступает час пик?
Так когда наступает час пик?
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
И я подумал, ведь такси —
это не просто циферки,
это не просто циферки,
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
это GPS-устройства,
которые разъежают по улицам города
которые разъежают по улицам города
01:56
recording each and every ride they take.
44
104373
1913
и записывают каждую поездку.
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
Эти данные доступны,
я их проанализировал
я их проанализировал
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
и нарисовал диаграмму средней скорости
такси в Нью-Йорке в течение дня.
такси в Нью-Йорке в течение дня.
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
Вы видите, что где-то
с полуночи до 5:18 утра
с полуночи до 5:18 утра
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
скорость растёт, а потом — наоборот,
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
движение всё замедляется и замедляется,
вплоть до 8:35 утра,
вплоть до 8:35 утра,
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
когда скорость падает до 18,5 км/ч.
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
Среднестатистическое такси ездит по городу
со скоростью 18,5 км/ч,
со скоростью 18,5 км/ч,
02:21
and it turns out it stays that way
52
129761
1987
и выясняется, что эта скорость держится
02:23
for the entire day.
53
131748
3368
на протяжении всего дня.
02:27
(Laughter)
54
135116
1373
(Смех)
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
И я подумал:
«Кажется, в Нью-Йорке нет часа пик.
«Кажется, в Нью-Йорке нет часа пик.
02:31
There's just a rush day.
56
139669
1537
Есть только день пик».
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
Так и есть. И это важно по ряду причин.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
Если вы занимаетесь схемой уличного
движения, это должно быть вам интересно.
движения, это должно быть вам интересно.
Но если вы хотите быстро
куда-то добраться,
куда-то добраться,
02:39
But if you want to get somewhere quickly,
59
147693
1975
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
заводите будильник на 4:45 и вперёд.
02:45
New York, right?
61
153136
1044
Это же Нью-Йорк.
С этими данными связана одна история.
02:46
But there's a story behind this data.
62
154180
1762
Их было не так просто получить.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
Для этого пришлось сделать запрос
в рамках Закона о свободе информации,
в рамках Закона о свободе информации,
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
запрос FOIL.
02:53
or a FOIL Request.
65
161746
1076
Бланк можно найти на сайте
Комиссии по такси и лимузинам.
Комиссии по такси и лимузинам.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
Чтобы получить доступ к данным,
вам надо получить этот бланк,
вам надо получить этот бланк,
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
заполнить его и ждать ответа;
03:01
fill it out, and they will notify you,
68
169114
1846
и один парень, Крис Вонг,
всё это сделал.
всё это сделал.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
Крис связался с ними, и они ответили:
03:05
Chris went down, and they told him,
70
173090
1890
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
«Принóсите новый жёсткий диск,
оставляете его на 5 часов, мы копируем
туда все данные и отдаём диск вам».
туда все данные и отдаём диск вам».
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
03:13
And that's where this data came from.
73
181231
2032
Вот откуда вся эта информация.
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
Крис — из тех, кто стремится сделать
информацию публичной,
информацию публичной,
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
поэтому данные оказались в общем доступе
в Интернете, и появился этот график.
в Интернете, и появился этот график.
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
И то, что он существует, — круто.
Эти GPS-устройства — классная вещь.
Эти GPS-устройства — классная вещь.
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
Но то, что горожанам приходится
ходить с жёсткими дисками
ходить с жёсткими дисками
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
и собирать данные из агентств,
чтобы опубликовать их —
чтобы опубликовать их —
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
хотя они уже «публичны» —
их же можно получить,
их же можно получить,
03:33
but it was "public," it wasn't public.
80
201660
1812
на деле это лишь видимость открытости.
03:35
And we can do better than that as a city.
81
203472
1962
Наш город способен на большее.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
Нельзя заставлять людей расхаживать
с жёсткими дисками.
с жёсткими дисками.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
Не все данные спрятаны за формой FOIL.
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
Я сделал карту самых опасных
перекрёстков в Нью-Йорке
перекрёстков в Нью-Йорке
03:46
based on cyclist accidents.
85
214329
1878
по количеству ДТП с велосипедистами.
03:48
So the red areas are more dangerous.
86
216207
1939
Красные зоны — самые опасные.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
В первую очередь, на востоке Манхэттена,
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
а в особенности — в нижней его части,
множество ДТП с велосипедистами.
множество ДТП с велосипедистами.
03:56
That might make sense
89
224310
1019
Кажется, это логично,
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
ведь там больше велосипедистов
спускаются с мостов.
спускаются с мостов.
04:00
But there's other hotspots worth studying.
91
228225
2014
Но есть и другие интересные места.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
Уильямсбург. Рузвельт-авеню в Куинсе.
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
Именно такие данные нужны нам
в рамках программы Vision Zero.
в рамках программы Vision Zero.
04:07
This is exactly what we're looking for.
94
235760
1990
Это как раз то, что мы искали.
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
Но и у этих данных есть своя история.
04:11
This data didn't just appear.
96
239885
2067
Эти данные появились не просто так.
04:13
How many of you guys know this logo?
97
241952
2391
Кто из вас узнаёт этот логотип?
04:16
Yeah, I see some shakes.
98
244343
1352
Вижу, кто-то кивает.
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
Вы когда-нибудь пытались
скопировать данные из PDF так,
скопировать данные из PDF так,
чтобы они не стали бессмыслицей?
04:20
and make sense of it?
100
248350
1357
04:21
I see more shakes.
101
249707
1060
Мотаете головой.
Многие знают, что такое копировать данные
из PDF, но не узнают логотип.
из PDF, но не узнают логотип.
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
Так вот, данные, которые вы
только что видели, были в формате PDF.
только что видели, были в формате PDF.
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
Сотни и сотни страниц PDF-файлов,
опубликованных Департаментом
полиции Нью-Йорка,
полиции Нью-Йорка,
04:32
put out by our very own NYPD,
105
260727
2159
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
и чтобы получить доступ к данным,
вам нужно или копировать их вручную
вам нужно или копировать их вручную
04:38
for hundreds and hundreds of hours,
107
266038
1726
на протяжении сотен часов,
04:39
or you could be John Krauss.
108
267764
1344
или быть Джоном Крауссом.
04:41
John Krauss was like,
109
269108
1043
Джон Краусс подумал:
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
«Не буду я копировать данные вручную.
Лучше я напишу программу».
Лучше я напишу программу».
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
Он назвал её NYPD Crash Data Band-Aid,
она заходила на сайт Департамента полиции
и скачивала PDF-файлы.
и скачивала PDF-файлы.
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
Каждый день она искала PDF-файлы
и, если находила, скачивала их,
и, если находила, скачивала их,
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
а затем запускала программу разбора PDF,
04:56
and out would come the text,
115
284260
1336
извлекала текст,
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
загружала данные в Интернет, и в итоге
люди могли делать подобные карты.
люди могли делать подобные карты.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
И то, что у нас есть эти данные,
что мы можем работать с ними...
что мы можем работать с ними...
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
Кстати, каждое ДТП —
строка в этой таблице.
строка в этой таблице.
05:07
You can imagine how many PDFs that is.
119
295040
1836
Представьте, сколько это PDF-файлов.
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
У нас есть доступ к данным —
это отлично,
это отлично,
05:11
but let's not release it in PDF form,
121
299083
2110
но не нужно публиковать их в формате PDF
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
и заставлять горожан писать
программы разбора PDF-файлов.
программы разбора PDF-файлов.
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
Это не лучший способ
задействовать горожан,
задействовать горожан,
05:18
and we as a city can do better than that.
124
306008
2004
и мы, как город,
можем улучшить ситуацию.
можем улучшить ситуацию.
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
Есть и хорошая новость —
администрация де Блазио
администрация де Блазио
недавно опубликовала эти данные,
несколько месяцев назад,
несколько месяцев назад,
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
и теперь у нас есть
нормальный доступ к ним,
нормальный доступ к ним,
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
но множество данных по-прежнему
сокрыто в PDF-файлах.
сокрыто в PDF-файлах.
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
Например, данные по преступности
доступны только в формате PDF.
доступны только в формате PDF.
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
И не только. Даже бюджет города.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
Бюджет города доступен
только в формате PDF.
только в формате PDF.
И не только мы с вами не можем
проанализировать его,
проанализировать его,
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
но и сами законодатели,
которые голосуют за бюджет,
которые голосуют за бюджет,
05:45
also only get it in PDF.
134
333751
1943
тоже получают его только в формате PDF.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
Законодатели не могут проанализировать
бюджет, за который голосуют.
бюджет, за который голосуют.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
И я думаю, что мы можем
организовать всё гораздо лучше.
организовать всё гораздо лучше.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
Есть множество данных,
не похороненных в PDF-файлах.
не похороненных в PDF-файлах.
05:57
This is an example of a map I made,
138
345634
1700
Вот ещё одна из таких карт —
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
самая грязная вода в Нью-Йорке.
Как измерить загрязнённость воды?
06:02
Now, how do I measure dirty?
140
350260
1509
06:03
Well, it's kind of a little weird,
141
351769
1857
Это покажется немного странным,
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
но я смотрел на уровень
фекальных бактерий,
фекальных бактерий,
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
который по сути отражает
количество экскрементов в воде.
количество экскрементов в воде.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
Чем больше круг, тем грязнее вода,
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
большие круги — грязная вода,
маленькие — вода почище.
маленькие — вода почище.
06:17
What you see is inland waterways.
146
365876
1644
Вы видите, что каналы на суше —
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
эти данные собирались в течение
последних пяти лет —
последних пяти лет —
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
каналы на суше, в общем случае, грязнее.
06:25
That makes sense, right?
149
373618
1218
Логично, не так ли?
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
Больше круг — грязнее вода.
Из этой карты я сделал несколько выводов.
Из этой карты я сделал несколько выводов.
Первое: никогда не купаться в том,
что называется «сток» или «канал».
что называется «сток» или «канал».
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
Второе: я также нашёл грязнейший
водосток в Нью-Йорке.
водосток в Нью-Йорке.
06:37
by this measure, one measure.
153
385692
1834
Но только по этому параметру.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
В Кони-Айленд Крик — это не тот
Кони-Айленд, где вы купаетесь, к счастью.
Кони-Айленд, где вы купаетесь, к счастью.
06:43
It's on the other side.
155
391174
1158
Это с другой стороны.
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
Но в Кони-Айленд Крик
в 94% образцов, взятых за пять лет,
в 94% образцов, взятых за пять лет,
06:48
have had fecal levels so high
157
396210
2157
был настолько повышенный
уровень экскрементов,
уровень экскрементов,
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
что плавать там было просто незаконно.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
Подобными вещами не хвалятся
06:56
boasted in a city report, right?
160
404189
1537
в городских отчётах, верно?
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
Этого не будет на домашней
странице nyc.gov.
странице nyc.gov.
06:59
You're not going to see it there,
162
407976
1580
Там вы этого не увидите,
но то, что мы можем получить
эти данные,— это очень круто.
эти данные,— это очень круто.
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
07:04
But once again, it wasn't super easy,
164
412074
1773
Но опять же это было непросто,
потому что этого не было
на портале открытых данных.
на портале открытых данных.
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
07:08
If you were to go to the open data portal,
166
416205
2013
Если бы вы зашли
на портал открытых данных,
на портал открытых данных,
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
вы бы увидели данные
за год или за пару месяцев.
за год или за пару месяцев.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
Полный массив находился на сайте
Департамента охраны окружающей среды.
Департамента охраны окружающей среды.
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
И каждая из этих ссылок — лист Excel,
все эти листы Excel — разные.
все эти листы Excel — разные.
Разные заголовки, их приходится
копировать, всё переделывать.
копировать, всё переделывать.
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
В итоге вы можете рисовать
такие карты, и это хорошо,
такие карты, и это хорошо,
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
но можно организовать это получше,
стандартизировать форму.
стандартизировать форму.
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
И мы движемся в этом направлении,
есть один сайт от Socrata,
есть один сайт от Socrata,
«Портал открытых данных Нью-Йорка».
07:32
called the Open Data Portal NYC.
174
440034
1541
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
Это около 1 100 массивов данных
без тех недостатков,
без тех недостатков,
07:35
from the things I just told you live,
176
443832
1781
о которых я говорил.
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
Сайт постоянно растёт,
и это прекрасно.
и это прекрасно.
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
Вы можете скачать данные в любом формате,
будь то CSV, PDF или Excel.
будь то CSV, PDF или Excel.
Вы можете скачать всё, что захотите,
в удобном формате.
в удобном формате.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
07:45
The problem is, once you do,
180
453720
1352
Но даже тут есть одна проблема:
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
каждое агенство по-разному
кодирует адреса.
кодирует адреса.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
Где-то есть названия
пересекающихся улиц,
пересекающихся улиц,
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
улица, боро, адрес,
номер дома, адрес дома.
номер дома, адрес дома.
И вы снова вынуждены тратить своё время,
даже используя этот портал,
даже используя этот портал,
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
вы тратите время, нормализуя
данные в адресных полях.
данные в адресных полях.
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
Это не лучший способ
использовать время горожан.
использовать время горожан.
08:03
We can do better than that as a city.
187
471599
1796
Мы можем улучшить ситуацию.
08:05
We can standardize our addresses,
188
473395
1645
Мы можем стандартизировать адреса,
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
и сделав это, мы получим
больше таких карт.
больше таких карт.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
Это карта пожарных гидрантов Нью-Йорка,
08:11
but not just any fire hydrants.
191
479510
1531
но не всех подряд.
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
Это 250 гидрантов, лидирующих по прибыли
за счёт штрафов за неправильную парковку.
за счёт штрафов за неправильную парковку.
08:17
(Laughter)
193
485767
1986
(Смех)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
Я кое-что узнал благодаря этой карте,
мне она очень нравится.
мне она очень нравится.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
Первое: не паркуйтесь в Верхнем Ист-Сайде.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
Просто не надо. Не важно, где вы встали,
вы заплатите за парковку у гидранта.
вы заплатите за парковку у гидранта.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
Второе: есть два самых прибыльных
гидранта во всем Нью-Йорке,
гидранта во всем Нью-Йорке,
08:33
and they're on the Lower East Side,
198
501253
1886
они находятся в Нижнем Ист-Сайде
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
и собирают более 55 000 долларов
в год в виде штрафов за парковку.
в год в виде штрафов за парковку.
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
Мне это показалось немного странным,
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
я копнул глубже и увидел вот что:
гидрант на краю тротуара,
гидрант на краю тротуара,
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
потом расширение тротуара, что-то вроде
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
двухметровой полосы для пешеходов,
08:50
and then a parking spot.
204
518299
1156
а затем парковочные места.
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
Люди приезжали, видели гидрант... Думали:
«Гидрант далеко, вон там, всё в порядке».
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
И плюс ко всему, там была разметка,
обозначающая парковочное место.
обозначающая парковочное место.
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
Люди парковались там, а полиция
Нью-Йорка не соглашалась с этой разметкой
Нью-Йорка не соглашалась с этой разметкой
09:02
and would ticket them.
209
530249
1058
и штрафовала их.
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
И не только я видел
эти штрафы за парковку.
эти штрафы за парковку.
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
Вот машина Google Street
View проезжает там
View проезжает там
09:07
finding the same parking ticket.
212
535797
1617
и снимает тот же самый штраф.
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
Я написал об этом в своём блоге I Quant NY,
и мне ответили из Департамента транспорта,
и мне ответили из Департамента транспорта,
09:13
and they said,
214
541918
1020
они написали:
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
«Хотя Департамент транспорта и не получал
жалоб по поводу этого места,
жалоб по поводу этого места,
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
мы пересмотрим разметку
и внесём необходимые изменения».
и внесём необходимые изменения».
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
Я подумал:
«Типичная государственная отписка».
«Типичная государственная отписка».
09:25
all right, moved on with my life.
218
553849
1881
Ну и ладно, и забыл об этом.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
Но спустя несколько недель
случилось кое-что невообразимое.
случилось кое-что невообразимое.
09:31
They repainted the spot,
220
559700
2520
Они переделали разметку,
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
и в тот момент я увидел будущее,
эпоху открытых данных.
эпоху открытых данных.
09:36
because think about what happened here.
222
564910
2000
Только подумайте, что произошло.
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
На протяжении пяти лет тут выписывали
штрафы, разметка была неоднозначной,
штрафы, разметка была неоднозначной,
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
а потом горожанин заметил это, сообщил
городу, и в течение нескольких недель
городу, и в течение нескольких недель
09:48
the problem was fixed.
225
576316
1294
проблема была решена.
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
Потрясающе. Многие смотрят на открытые
данные как на механизм контроля.
данные как на механизм контроля.
09:52
It's not, it's about being a partner.
227
580810
1772
Это не так, суть в партнёрстве.
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
Мы даём гражданам возможность
работать рука об руку с государством,
работать рука об руку с государством,
09:57
and it's not that hard.
229
585720
1881
и это не так уж сложно.
Всё, что нужно, — пара изменений.
09:59
All we need are a few changes.
230
587601
1459
10:01
If you're FOILing data,
231
589060
1107
Если вы предоставляете
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
данные по запросу FOIL и видите,
что их запрашивают постоянно,
что их запрашивают постоянно,
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
просто выложите их в общий доступ,
вы ведь видите, что они востребованы.
вы ведь видите, что они востребованы.
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
Если вы агентство,
которое публикует PDF-файлы,
которое публикует PDF-файлы,
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
нужен закон, обязующий вас публиковать
данные, лежащие в основе PDF-файлов,
данные, лежащие в основе PDF-файлов,
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
ведь вы получаете их каким-то образом.
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
Я не знаю откуда,
но где-то вы их берёте, а значит,
но где-то вы их берёте, а значит,
можете опубликовать вместе с PDF-ками.
10:19
and you can release it with the PDF.
238
607249
1725
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
Давайте примем и внедрим
стандарты открытых данных.
стандарты открытых данных.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
Начнём с адресов в Нью-Йорке.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
Стандартизируем формат адреса.
10:27
Because New York is a leader in open data.
242
615940
2062
Нью-Йорк — лидер в области
открытых данных.
открытых данных.
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
Несмотря на всё это, мы лидеры
в области открытых данных,
в области открытых данных,
и если мы займёмся нормализацией,
стандартизацией открытых данных,
стандартизацией открытых данных,
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
нашему примеру последует и штат,
и, может быть, федеральное правительство.
и, может быть, федеральное правительство.
10:39
Other countries could follow,
246
627546
1445
За нами пойдут и другие страны,
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
мы не так далеко от момента, когда кто-то
сможет написать программу,
сможет написать программу,
10:44
and map information from 100 countries.
248
632402
1890
наносящую на карту данные из 100 стран.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
Это не научная фантастика.
Мы довольно-таки близко.
Мы довольно-таки близко.
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
Кстати, а кто всем этим занимается?
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
Это не только Джон Краусс и Крис Вонг.
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
В Нью-Йорке проходят сотни встреч,
оживлённых встреч.
10:57
active meetups.
253
645119
1025
Тысячи людей приходят на эти собрания.
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
Люди приходят после работы,
на выходных,
на выходных,
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
они собираются, чтобы взглянуть
на открытые данные
на открытые данные
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
и сделать наш город лучше.
11:05
and make our city a better place.
257
653720
1640
Есть группы вроде BetaNYC, которая
недавно создала сайт www.citygram.nyc,
недавно создала сайт www.citygram.nyc,
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
где вы можете подписаться
на жалобы в службу «3-1-1»
на жалобы в службу «3-1-1»
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
рядом с домом или местом работы.
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
Ввóдите свой адрес и видите
жалобы в окрестностях.
жалобы в окрестностях.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
Этим занимаются не только технари.
Градостроители, студенты,
которых я учу в Институте Пратта.
которых я учу в Институте Пратта.
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
11:24
It's policy advocates, it's everyone,
264
672071
1919
Правозащитники — да все подряд,
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
горожане с самым разным опытом.
11:28
And with some small, incremental changes,
266
676553
2786
Путём небольших,
постепенных изменений
постепенных изменений
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
мы можем разбудить страсть
и дать горожанам возможность
и дать горожанам возможность
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
использовать открытые данные
и улучшать наш город,
и улучшать наш город,
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
не важно, идёт речь о целом массиве данных
или об одном парковочном месте.
или об одном парковочном месте.
11:41
Thank you.
270
689346
2322
Спасибо.
11:43
(Applause)
271
691668
3305
(Аплодисменты)
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com