TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
Бен Веллінґтон: Як ми знайшли найгірше місце для паркування у Нью-Йорку - завдяки відкритим даним
Filmed:
Readability: 3.7
1,055,247 views
Міські служби мають доступ до гігантських масивів даних і статистики, що відображають кожну складову міського життя. Але, як запевняє аналітик даних Бен Веллінґтон у своїй іронічній промові, часом вони просто не знають, що з цим всім робити. Він розповідає, як поєднання несподіваних запитань і розумного аналізу даних дає на диво корисні результати. І радить, як публікувати великі масиви даних, щоб ними міг скористатися кожен.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
10 000 кілометрів доріг,
00:15
600 miles of subway track,
1
3531
2203
1 000 кілометрів колій метро,
00:17
400 miles of bike lanes
2
5734
1644
600 кілометрів велодоріжок,
00:19
and a half a mile of tram track,
3
7378
1821
і 700 метрів трамвайної колії,
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
якщо ви колись бували
на острові Рузвельта.
на острові Рузвельта.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
Ось з таких цифр складається
інфраструктура Нью-Йорка.
інфраструктура Нью-Йорка.
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
Ось такі статистичні дані
нашої інфраструктури.
нашої інфраструктури.
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
Їх публікують у звітах міських служб.
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
Наприклад, відділ транспорту
розповість вам,
розповість вам,
00:36
how many miles of road they maintain.
9
24010
1781
скільки кілометрів доріг він утримує.
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
Управління міського транспорту похизується,
на скільки миль простягається міська підземка.
на скільки миль простягається міська підземка.
00:40
Most city agencies give us statistics.
11
28612
1807
Міські служби зазвичай
годують нас статистикою.
годують нас статистикою.
00:42
This is from a report this year
12
30419
1483
Це дані з торішнього звіту
00:43
from the Taxi and Limousine Commission,
13
31902
1892
Комісії з таксі й лімузинів,
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
які повідомляють нам, що в Нью-Йорку
є близько 13 500 таксі.
є близько 13 500 таксі.
00:49
Pretty interesting, right?
15
37070
1290
Досить цікаво, еге ж?
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
Але ви колись задумувались,
звідки беруться ці цифри?
звідки беруться ці цифри?
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
Бо щоб вони з'явились на світ,
хтось із міської служби
хтось із міської служби
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
мусить зупинитись і подумати - гм,
ось цифра, яку хтось хотів би дізнатись.
ось цифра, яку хтось хотів би дізнатись.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
Ось число, яке хотіли б
дізнатись наші громадяни.
дізнатись наші громадяни.
01:02
So they go back to their raw data,
20
50177
1830
Тоді ця людина вертається до своїх
необроблених даних,
необроблених даних,
01:04
they count, they add, they calculate,
21
52007
1797
рахує, додає, обчислює,
01:05
and then they put out reports,
22
53804
1467
а тоді складає звіт,
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
і той звіт містить ось такі цифри.
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
Але є одна проблема - хіба їм
відомі всі наші запитання?
відомі всі наші запитання?
01:11
We have lots of questions.
25
59988
1243
У нас чимало запитань.
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
Можна сказати, що існує
безмежна кількість запитань,
безмежна кількість запитань,
01:16
that we can ask about our city.
27
64571
1649
які ми б могли запитати
про наше місто.
про наше місто.
01:18
The agencies can never keep up.
28
66220
1475
Служби не дадуть з ними всіма ради.
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
Тож ця схема поганенько працює,
і, по-моєму, державні службовці в курсі,
і, по-моєму, державні службовці в курсі,
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
бо року 2012 мер міста Блумберґ
підписав постанову, яку він назвав
підписав постанову, яку він назвав
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
найамбітнішим і найвичерпнішим в країні
законом про відкриті дані.
законом про відкриті дані.
01:31
In a lot of ways, he's right.
32
79547
1573
До певної міри, він має рацію.
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
За останні два роки місто
опублікувало 1 000 масивів даних
опублікувало 1 000 масивів даних
01:35
on our open data portal,
34
83981
1610
на нашому порталі з
відкритими даними.
відкритими даними.
01:37
and it's pretty awesome.
35
85591
1764
Круто.
01:39
So you go and look at data like this,
36
87355
1968
Можна зайти туди й подивись
на ось такі дані,
на ось такі дані,
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
і замість того, щоб просто
рахувати таксі,
рахувати таксі,
01:43
we can start to ask different questions.
38
91612
1943
почати ставити інші запитання.
01:45
So I had a question.
39
93555
1200
Одне з них виникло й у мене.
01:46
When's rush hour in New York City?
40
94755
1701
Коли в Нью-Йорку година-пік?
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
Мене дратує стояти в заторах, тому я хочу
дізнатись, коли саме настає година-пік?
дізнатись, коли саме настає година-пік?
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
І мені спало на думку, що ці таксі -
то не просто цифри,
то не просто цифри,
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
це GPS-рекордери,
які їздять вулицями міста
які їздять вулицями міста
01:56
recording each and every ride they take.
44
104373
1913
й записують кожнісінький свій маршрут.
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
Я подивився на ті дані
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
і склав графік середньої швидкості
таксі в Нью-Йорку за день.
таксі в Нью-Йорку за день.
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
Як бачите, від півночі до
близько 5:18 ранку
близько 5:18 ранку
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
швидкість зростає, а в цій точці
все змінюється навпаки:
все змінюється навпаки:
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
таксі їдуть повільніше й повільніше,
аж поки о 8:35 ранку
аж поки о 8:35 ранку
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
починають повзти зі швидкістю
18 кілометрів за годину.
18 кілометрів за годину.
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
Пересічне таксі рухається вулицями міста
зі швидкістю 18 кілометрів за годину.
зі швидкістю 18 кілометрів за годину.
02:21
and it turns out it stays that way
52
129761
1987
І виявляється, що так триває
02:23
for the entire day.
53
131748
3368
цілісінький день.
02:27
(Laughter)
54
135116
1373
(Сміх)
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
Тому я вирішив, що в Нью-Йорку
немає години-пік.
немає години-пік.
02:31
There's just a rush day.
56
139669
1537
В нас просто день-пік.
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
Розумне рішення. Поясню чому.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
Особливо цікаво це буде тим,
хто складає схеми вуличного руху.
хто складає схеми вуличного руху.
02:39
But if you want to get somewhere quickly,
59
147693
1975
А от якщо вам треба швидко
кудись дістатись,
кудись дістатись,
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
то наставляйте будильник на 4:45 ранку,
і ви точно встигнете.
і ви точно встигнете.
02:45
New York, right?
61
153136
1044
Нью-Йорк, так?
Але з цими даними пов'язана
одна історія.
одна історія.
02:46
But there's a story behind this data.
62
154180
1762
Виявляється, вони
з'явились не просто так.
з'явились не просто так.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
Вони надійшли в результаті
так званого запиту
так званого запиту
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
згідно з Законом про
свободу інформації.
свободу інформації.
02:53
or a FOIL Request.
65
161746
1076
Цю форму можна знайти на сайті
Комісії з таксі й лімузинів.
Комісії з таксі й лімузинів.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
Щоб отримати ці дані,
треба дістати цю форму,
треба дістати цю форму,
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
заповнити її, а тоді
вам надішлють відповідь.
вам надішлють відповідь.
03:01
fill it out, and they will notify you,
68
169114
1846
Саме так зробив один
хлопчина на ім'я Кріс Вонґ.
хлопчина на ім'я Кріс Вонґ.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
Він зайшов на їхній сайт,
а йому відповіли:
а йому відповіли:
03:05
Chris went down, and they told him,
70
173090
1890
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
"Просто принесіть у наш офіс
новий вінчестер,
новий вінчестер,
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
залиште його в нас на п'ять хвилин,
ми скопіюємо дані, і тоді його заберете".
ми скопіюємо дані, і тоді його заберете".
03:13
And that's where this data came from.
73
181231
2032
Ось звідки з'явились ці дані.
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
Але Кріс з тих людей, які виступають
за публічний доступ до інформації,
за публічний доступ до інформації,
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
тому дані опинилися у вільному доступі,
і саме звідти ми взяли цей графік.
і саме звідти ми взяли цей графік.
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
Дуже круто, що він існує.
Круто, що є GPS-рекордери.
Круто, що є GPS-рекордери.
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
Але не круто, що громадяни
досі мусять носити з собою вінчестери,
досі мусять носити з собою вінчестери,
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
щоб отримати дані від міських служб
і зробити їх публічними.
і зробити їх публічними.
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
Вони й так, в принципі, публічні,
раз їх можна отримати,
раз їх можна отримати,
03:33
but it was "public," it wasn't public.
80
201660
1812
але скоріше "публічні" в лапках.
03:35
And we can do better than that as a city.
81
203472
1962
Але ж міська рада може
поліпшити ситуацію.
поліпшити ситуацію.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
Не треба, щоб громадяни
носились з вінчестерами.
носились з вінчестерами.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
Крім того, не всі дані доступні
за таким запитом.
за таким запитом.
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
Я склав карту найнебезпечніших
перехресть у Нью-Йорку
перехресть у Нью-Йорку
03:46
based on cyclist accidents.
85
214329
1878
на підставі даних про кількість
ДТП за участю велосипедистів.
ДТП за участю велосипедистів.
03:48
So the red areas are more dangerous.
86
216207
1939
Червоні ділянки - найнебезпечніші.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
Як бачимо, найбільше аварій
за участю велосипедистів
за участю велосипедистів
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
відбувається у східній дільниці
Мангеттена, особливо внизу, на півдні.
Мангеттена, особливо внизу, на півдні.
03:56
That might make sense
89
224310
1019
Логічно,
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
бо там багато велосипедистів
з'їжджають з мостів.
з'їжджають з мостів.
04:00
But there's other hotspots worth studying.
91
228225
2014
Але є й інші гарячі точки.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
Наприклад, район Вільямсбурґ
або Рузвельт-авеню в Квінсі.
або Рузвельт-авеню в Квінсі.
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
Саме таких даних ми потребуємо для
проекту безпеки дорожнього руху Vision Zero.
проекту безпеки дорожнього руху Vision Zero.
04:07
This is exactly what we're looking for.
94
235760
1990
Саме їх ми давно шукали.
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
Але з цими даними теж пов'язана
одна історія.
одна історія.
04:11
This data didn't just appear.
96
239885
2067
Вони не впали з неба.
04:13
How many of you guys know this logo?
97
241952
2391
Хто з вас бачив цей логотип?
04:16
Yeah, I see some shakes.
98
244343
1352
Бачу, багато хто.
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
А ви колись пробували копіювати
й вставляти дані з файлу в форматі PDF
й вставляти дані з файлу в форматі PDF
04:20
and make sense of it?
100
248350
1357
і потім їх читати?
04:21
I see more shakes.
101
249707
1060
Бачу, що так.
Тих, хто копіював і вставляв, більше
ніж тих, кому відомий логотип. Супер.
ніж тих, кому відомий логотип. Супер.
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
Отож, дані, які ви тільки що побачили,
були в PDF-файлі.
були в PDF-файлі.
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
Взагалі, Поліцейське управління Нью-Йорка
04:32
put out by our very own NYPD,
105
260727
2159
генерує сотні, тисячі сторінок PDF.
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
І щоб доступитись до цих даних,
треба або копіювати й вставляти
треба або копіювати й вставляти
04:38
for hundreds and hundreds of hours,
107
266038
1726
сотні, тисячі годин,
04:39
or you could be John Krauss.
108
267764
1344
або зробити як Джон Краусс.
04:41
John Krauss was like,
109
269108
1043
Джон Краусс сказав собі:
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
"Ні, я не збираюсь копіювати й вставляти ці дані.
Я напишу програму".
Я напишу програму".
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
Вона має назву NYPD Crash Data Band-Aid.
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
Програма доступається до сайту Поліцейського управління Нью-Йорка і завантажує звідти PDF.
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
Вона шукає щодня:
якщо знаходить PDF, то завантажує його,
якщо знаходить PDF, то завантажує його,
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
а тоді запускає програму,
04:56
and out would come the text,
115
284260
1336
яка витягує звідти текст,
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
і, насамкінець, публікує ці дані в Інтернеті,
щоб люди могли створювати ось такі карти.
щоб люди могли створювати ось такі карти.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
І вже сам факт, що ці дані тут,
що ми маємо до них доступ -
що ми маємо до них доступ -
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
до речі, кожна аварія -
окремий рядок у цій таблиці.
окремий рядок у цій таблиці.
05:07
You can imagine how many PDFs that is.
119
295040
1836
Можете собі уявити, скільки там PDF.
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
Чудово, що ми маємо доступ
до цих даних,
до цих даних,
05:11
but let's not release it in PDF form,
121
299083
2110
але не варто публікувати їх
у PDF форматі,
у PDF форматі,
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
бо тоді наші громадяни мусять писати програми,
які витягують звідти текст.
які витягують звідти текст.
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
Громадяни можуть скористатись
своїм вільним часом у кращий спосіб,
своїм вільним часом у кращий спосіб,
05:18
and we as a city can do better than that.
124
306008
2004
а міська влада теж може
працювати по-іншому.
працювати по-іншому.
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
Є добра новина - адміністрація
мера Нью-Йорка де Бласіо
мера Нью-Йорка де Бласіо
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
опублікувала ці дані
якихось кілька місяців тому,
якихось кілька місяців тому,
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
і ми вже маємо до неї доступ.
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
Проте сила-силенна даних
досі "заковані" в PDF.
досі "заковані" в PDF.
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
Наприклад, інформація про злочини
досі доступна лише в PDF.
досі доступна лише в PDF.
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
І не тільки ця інформація,
а ще й бюджет нашого міста.
а ще й бюджет нашого міста.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
Бюджет нашого міста
доступний тільки в PDF.
доступний тільки в PDF.
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
І проаналізувати його не можемо
не лише ми,
не лише ми,
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
а й депутати, які голосують
за цей бюджет.
за цей бюджет.
05:45
also only get it in PDF.
134
333751
1943
Вони теж отримують його в PDF.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
Виходить, наші депутати не можуть
проаналізувати бюджет, за який вони голосують.
проаналізувати бюджет, за який вони голосують.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
Я впевнений, що ситуацію можна виправити.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
Існує чимало даних,
не прихованих у PDF.
не прихованих у PDF.
05:57
This is an example of a map I made,
138
345634
1700
Ось карта, яку я створив.
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
Найбрудніші водоканали в Нью-Йорку.
06:02
Now, how do I measure dirty?
140
350260
1509
Як я вимірював, брудні вони
чи чисті?
чи чисті?
06:03
Well, it's kind of a little weird,
141
351769
1857
Звучить трохи дивно,
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
але я дивився на кількість
фекальних коліформних бактерій,
фекальних коліформних бактерій,
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
які свідчать про кількість фекалій
в водоканалах.
в водоканалах.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
Що більший кружечок,
то брудніша вода.
то брудніша вода.
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
Великі кружечки - брудна вода,
маленькі - чистіша.
маленькі - чистіша.
06:17
What you see is inland waterways.
146
365876
1644
Перед вами - внутрішні водні шляхи.
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
Це всі дані, зібрані міською владою
за останні п'ять років.
за останні п'ять років.
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
Внутрішні водні шляхи,
як правило, брудніші.
як правило, брудніші.
06:25
That makes sense, right?
149
373618
1218
Ви розумієте, про що мова, правда ж?
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
А більші кружечки позначають брудну воду.
З цього я зробив кілька висновків.
З цього я зробив кілька висновків.
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
Номер один: ніколи не плавайте у водоймі,
яка має в своїй назві слово "протока" або "канал".
яка має в своїй назві слово "протока" або "канал".
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
І номер два: я знайшов ще й
найбрудніший водоканал у Нью-Йорку,
найбрудніший водоканал у Нью-Йорку,
06:37
by this measure, one measure.
153
385692
1834
за допомогою цього
одного-єдиного показника.
одного-єдиного показника.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
У протоці Коні Айленд - на щастя,
це не той острів Коні Айленд, де ви плаваєте.
це не той острів Коні Айленд, де ви плаваєте.
06:43
It's on the other side.
155
391174
1158
Він по інший бік.
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
А от 94 відсотки зразків, узятих
з протоки Коні Айленд за останні п'ять років,
з протоки Коні Айленд за останні п'ять років,
06:48
have had fecal levels so high
157
396210
2157
мали такий високий вміст фекалій,
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
що плавати в тій воді мало б
бути заборонено законом.
бути заборонено законом.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
Міська влада навряд чи хизуватиметься
06:56
boasted in a city report, right?
160
404189
1537
такими даними в своєму звіті, правда?
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
Їх не опублікують на головній
сторінці nyc.gov.
сторінці nyc.gov.
06:59
You're not going to see it there,
162
407976
1580
Ви їх там не побачите,
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
але круто, що ми таки можемо
ці дані отримати.
ці дані отримати.
07:04
But once again, it wasn't super easy,
164
412074
1773
Знову ж таки, то було нелегко,
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
бо вони не були доступні
на порталі з відкритими даними.
на порталі з відкритими даними.
07:08
If you were to go to the open data portal,
166
416205
2013
На тому порталі можна знайти
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
щонайбільше якусь невелику частину,
дані за рік чи кілька місяців.
дані за рік чи кілька місяців.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
Я знайшов їх на сайті Управління
охорони довкілля.
охорони довкілля.
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
За кожним посиланням - табличка Excel,
і кожна табличка - різна.
і кожна табличка - різна.
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
Кожен заголовок - різний,
треба копіювати, вставляти, міняти місцями.
треба копіювати, вставляти, міняти місцями.
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
Після цього можна створювати карти.
Супер, але знову ж таки -
Супер, але знову ж таки -
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
місто може змінити ситуацію на краще.
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
І ми до цього рухаємось, бо вже є
один сайт - його робить компанія Socrata -
один сайт - його робить компанія Socrata -
07:32
called the Open Data Portal NYC.
174
440034
1541
під назвою Open Data Portal NYC.
[Портал відкритих даних Нью-Йорка]
[Портал відкритих даних Нью-Йорка]
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
Там живе 1 100 масивів даних,
які не страждають
які не страждають
07:35
from the things I just told you live,
176
443832
1781
від речей, про які я вам
щойно розповів.
щойно розповів.
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
Їх стає щораз більше,
І це класно.
І це класно.
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
Ви можете завантажити дані в будь-якому
форматі: CSV, PDF чи Excel.
форматі: CSV, PDF чи Excel.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
Хоч які дані вам треба,
ви всіх їх можете завантажити.
ви всіх їх можете завантажити.
07:45
The problem is, once you do,
180
453720
1352
Але потім виникає одна проблема.
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
Кожна служба записує адреси
по-різному.
по-різному.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
Наприклад, назва вулиці,
назва вулиці, що з нею перетинається,
назва вулиці, що з нею перетинається,
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
вулиця, район, адреса, будинок,
адреса будинку.
адреса будинку.
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
І ви знову тратите свій час -
навіть користуючись таким порталом! -
навіть користуючись таким порталом! -
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
знову марнуєте час,
щоб упорядкувати поля з адресою.
щоб упорядкувати поля з адресою.
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
Не найкращий спосіб використання
громадянами свого вільного часу.
громадянами свого вільного часу.
08:03
We can do better than that as a city.
187
471599
1796
І місто могло б це змінити.
08:05
We can standardize our addresses,
188
473395
1645
Ми можемо стандартизувати
наші адреси
наші адреси
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
і тоді отримати ще більше
таких карт, як ця.
таких карт, як ця.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
Це - карта пожежних гідрантів
у Нью-Йорку.
у Нью-Йорку.
08:11
but not just any fire hydrants.
191
479510
1531
Але не простих гідрантів,
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
а тих 250, які дають найбільший прибуток,
бо включені до вартості паркування.
бо включені до вартості паркування.
08:17
(Laughter)
193
485767
1986
(Сміх)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
Я дізнався багато нового з цієї карти,
і тому вона мені дуже подобається.
і тому вона мені дуже подобається.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
Номер один: просто не паркуйтесь
у Верхньому східному Мангеттені.
у Верхньому східному Мангеттені.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
Не треба. Хоч де ви там припаркуєтесь,
ви заплатите за пожежний кран.
ви заплатите за пожежний кран.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
Номер два. Я знайшов два
найприбутковіших гідранти в Нью-Йорку.
найприбутковіших гідранти в Нью-Йорку.
08:33
and they're on the Lower East Side,
198
501253
1886
Вони розташовані
в Нижньому східному Мангеттені
в Нижньому східному Мангеттені
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
й приносять 55,000 доларів прибутку на рік
у формі штрафів за паркування.
у формі штрафів за паркування.
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
Мені це видалось трохи дивним,
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
тому я провів невелику розвідку
і виявив, що ось тут стоїть гідрант,
і виявив, що ось тут стоїть гідрант,
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
потім йде так званий розширений бордюр -
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
тобто додаткових два метри тротуару -
08:50
and then a parking spot.
204
518299
1156
а за ним - місце для паркування.
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
Під'їжджають машини,
водій дивиться на гідрант і думає:
водій дивиться на гідрант і думає:
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
"Та, він аж там далеко, все добре".
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
Та й, крім того, там було намальовано
місце для парковки.
місце для парковки.
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
Водій паркується, а тоді приїжджає
поліція, якій це не подобається,
поліція, якій це не подобається,
09:02
and would ticket them.
209
530249
1058
і виписує йому штраф.
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
І то не тільки я дістав штраф.
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
Машину, яка знімає панорами Google,
09:07
finding the same parking ticket.
212
535797
1617
теж оштрафували.
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
Я написав про це в своєму блозі,
I Quant NY, і Управління транспорту відповіло.
I Quant NY, і Управління транспорту відповіло.
09:13
and they said,
214
541918
1020
Вони написали:
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
"Хоча Управління транспорту не отримувало
ніяких скарг про це місце,
ніяких скарг про це місце,
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
ми переглянемо дорожню розмітку
й внесемо відповідні зміни".
й внесемо відповідні зміни".
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
Звичайна бюрократична відповідь,
подумав я,
подумав я,
09:25
all right, moved on with my life.
218
553849
1881
зітхнув і повернувся до своїх справ.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
Але за кілька тижнів
сталось щось неймовірне.
сталось щось неймовірне.
09:31
They repainted the spot,
220
559700
2520
Розмітку перемалювали.
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
В цю мить я подумав,
що бачу майбутнє відкритих даних.
що бачу майбутнє відкритих даних.
09:36
because think about what happened here.
222
564910
2000
Подумайте тільки, що тут сталось.
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
Впродовж п'яти років за паркування
на цьому місці штрафували. Це збивало з пантелику.
на цьому місці штрафували. Це збивало з пантелику.
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
Аж раптом якийсь громадянин щось знайшов,
розказав про це міській владі - і за кілька тижнів
розказав про це міській владі - і за кілька тижнів
09:48
the problem was fixed.
225
576316
1294
проблему залагодили.
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
Дивовижно. Водночас, багато людей вважають
відкриті дані засобом контролю.
відкриті дані засобом контролю.
09:52
It's not, it's about being a partner.
227
580810
1772
Це не так. Вони дають змогу
бути партнерами.
бути партнерами.
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
Ми можемо дати нашим громадянам
змогу стати партнерами влади,
змогу стати партнерами влади,
09:57
and it's not that hard.
229
585720
1881
і це не так важко.
09:59
All we need are a few changes.
230
587601
1459
Треба всього лиш зробити
кілька змін.
кілька змін.
10:01
If you're FOILing data,
231
589060
1107
Якщо ви бачите, що на ваші дані
присилають запити,
присилають запити,
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
що їх запитують
знову й знову,
знову й знову,
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
то зробіть їх публічними.
Це ж знак, що пора їх опублікувати.
Це ж знак, що пора їх опублікувати.
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
А якщо ви державна установа,
яка публікує PDF,
яка публікує PDF,
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
приймімо закон, який вимагатиме публікувати
не тільки PDF, а й дані, що лягли в його основу,
не тільки PDF, а й дані, що лягли в його основу,
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
бо ж ті дані звідкись беруться.
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
Не знаю, звідки саме,
але точно не з неба.
але точно не з неба.
10:19
and you can release it with the PDF.
238
607249
1725
І їх можна опублікувати
разом з PDF.
разом з PDF.
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
І ще треба прийняти й поширити
якісь стандарти в галузі відкритих даних.
якісь стандарти в галузі відкритих даних.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
Почнімо з адрес тут, у Нью-Йорку.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
Впорядкуймо спочатку
наші адреси.
наші адреси.
10:27
Because New York is a leader in open data.
242
615940
2062
Адже Нью-Йорк - лідер
у сфері відкритих даних.
у сфері відкритих даних.
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
Попри все, ми - абсолютний
лідер у галузі відкритих даних,
лідер у галузі відкритих даних,
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
і якщо ми почнемо впорядковувати
й встановлювати стандарти в сфері відкритих даних,
й встановлювати стандарти в сфері відкритих даних,
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
інші візьмуть з нас приклад. Державні органи
і, може, федеральний уряд.
і, може, федеральний уряд.
10:39
Other countries could follow,
246
627546
1445
За ними - інші країни,
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
і вже близько той час, коли можна буде
написати одну програму
написати одну програму
10:44
and map information from 100 countries.
248
632402
1890
і створити карту з інформацією,
отриманої зі ста країн.
отриманої зі ста країн.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
Це не наукова фантастика.
Дуже скоро так і буде.
Дуже скоро так і буде.
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
І до речі - кого ми надихаємо
до дій у такому випадку?
до дій у такому випадку?
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
Не тільки Джона Краусса
й Кріса Вонґа.
й Кріса Вонґа.
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
У Нью-Йорку просто зараз
відбуваються сотні зустрічей,
відбуваються сотні зустрічей,
10:57
active meetups.
253
645119
1025
зустрічей активістів.
На ці зустрічі приходять
тисячі людей.
тисячі людей.
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
Вони йдуть туди після роботи
і на вихідних,
і на вихідних,
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
і відвідують ці зустрічі,
щоб подивитись на відкриті дані
щоб подивитись на відкриті дані
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
й зробити наше місто кращим.
11:05
and make our city a better place.
257
653720
1640
Наприклад, група активістів BetaNYC
минулого тижня запустила проект citygram.nyc,
минулого тижня запустила проект citygram.nyc,
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
який дає вам змогу підписатися
й стежити за 311 скаргами
й стежити за 311 скаргами
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
у районі свого будинку чи офісу.
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
Вводите свою адресу -
і бачите скарги від місцевих мешканців.
і бачите скарги від місцевих мешканців.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
І ці речі цікавлять не лише
технологічну спільноту.
технологічну спільноту.
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
А й містобудівників, як-от студентів,
яким я викладаю в Інституті Пратта.
яким я викладаю в Інституті Пратта.
11:24
It's policy advocates, it's everyone,
264
672071
1919
Політичних активістів, інших людей.
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
Громадян з усіх
прошарків суспільства.
прошарків суспільства.
11:28
And with some small, incremental changes,
266
676553
2786
А маленькі, поступові зміни
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
сповнять наших громадян запалом
і дадуть їм можливість
і дадуть їм можливість
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
скористатися відкритими даними
й зробити наше місто ще кращим.
й зробити наше місто ще кращим.
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
Треба тільки почати. З одного масиву даних.
З одного паркомісця.
З одного паркомісця.
11:41
Thank you.
270
689346
2322
Дякую.
11:43
(Applause)
271
691668
3305
(Оплески)
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com