TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
ベン・ウェリントン: ビックデータを使ったNYCでの最悪な駐車場の見つけ方
Filmed:
Readability: 3.7
1,055,247 views
市の各課は都市生活を反映している多くのデータや統計にアクセスしています。しかし、データ分析者のベン・ウェリントンはこの面白いトークの中で、時としてそのデータを使ってやるべきことが分かっていないと示唆しています。ウェリントンは予期せぬ質問とスマート・データ・クランチングを組み合わせると、不思議と役立つ洞察力が生じることを示し、大量のデータを公表することで誰でも使えるようになる秘訣を共有しています。
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
道路なら６千マイル
00:15
600 miles of subway track,
1
3531
2203
地下鉄なら600マイル
00:17
400 miles of bike lanes
2
5734
1644
自転車専用道路なら400マイル
00:19
and a half a mile of tram track,
3
7378
1821
トラムウェイなら0.5マイル
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
ルーズベルト島に行ったらわかりますね
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
これはニューヨーク市(NYC)のインフラを表す数字です
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
インフラを統計的にまとめ
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
市の各部局が公表した報告書の数字です
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
例えば交通課では
保守管理した道路の距離を
保守管理した道路の距離を
00:36
how many miles of road they maintain.
9
24010
1781
報告するかもしれませんし
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
都市交通局は誇らしげに地下鉄の路線の距離を
示すでしょう
示すでしょう
00:40
Most city agencies give us statistics.
11
28612
1807
市の部局の大半が統計を使います
00:42
This is from a report this year
12
30419
1483
今年の報告書や
00:43
from the Taxi and Limousine Commission,
13
31902
1892
タクシー・リムジン委員会(TLC)によると
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
ここNYCには約13,500台のタクシーがいます
00:49
Pretty interesting, right?
15
37070
1290
とても面白いでしょう？
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
でも これらの数字はどこから来たのでしょうか？
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
こういう数字が存在するためには
市の職員の誰かがふと
市の職員の誰かがふと
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
「これは誰かが知りたがっている数字だ」と
気づかなければなりません
気づかなければなりません
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
これが市民が知りたがっている数字なのです
01:02
So they go back to their raw data,
20
50177
1830
そのため 加工していないデータを
01:04
they count, they add, they calculate,
21
52007
1797
数えたり 足したり 計算して
01:05
and then they put out reports,
22
53804
1467
報告書を発行するので
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
報告書には このような数字があるのです
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
問題は 私たちが聞きたい質問をどのように知るのか？
01:11
We have lots of questions.
25
59988
1243
様々な質問があるのです
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
実際ある意味では 市民には文字通り
01:16
that we can ask about our city.
27
64571
1649
市に関する質問が無数にあり
01:18
The agencies can never keep up.
28
66220
1475
各部局は対応しきれません
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
パラダイムは上手く機能しておらず
政治家もそれに気付いていると思います
政治家もそれに気付いていると思います
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
2012年ブルームバーグ市長は
アメリカで最も熱望され
アメリカで最も熱望され
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
包括的なオープンデータ法案を
成立させたからです
成立させたからです
01:31
In a lot of ways, he's right.
32
79547
1573
多くの意味で市長は正しいのです
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
過去２年間NYCは
オープンデータポータルのデータセットを
オープンデータポータルのデータセットを
01:35
on our open data portal,
34
83981
1610
1,000件公表しました
01:37
and it's pretty awesome.
35
85591
1764
物凄いことですよね
01:39
So you go and look at data like this,
36
87355
1968
だから タクシーの数を数えなくても
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
このようにデータを見られるので
01:43
we can start to ask different questions.
38
91612
1943
違う質問もできるのです
01:45
So I had a question.
39
93555
1200
そこで 私は質問しました
01:46
When's rush hour in New York City?
40
94755
1701
NYCのラッシュアワーはいつ？
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
厄介ですよね
正確なラッシュアワーの時間帯は？
正確なラッシュアワーの時間帯は？
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
私はタクシーがただの数字
ではないと考えたのです
ではないと考えたのです
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
市内の路上を走り回る
GPSレコーダーであり
GPSレコーダーであり
01:56
recording each and every ride they take.
44
104373
1913
乗客を乗せる度に記録しています
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
そこにデータがあるのです
私はそのデータを調べて
私はそのデータを調べて
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
１日のNYCのタクシーの
平均スピードを策定しました
平均スピードを策定しました
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
ご覧のとおり 真夜中から朝の5時18分まで
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
スピードは速くなり
そこからスピードが落ちていきます
そこからスピードが落ちていきます
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
だんだん遅くなり 朝の8時35分には
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
時速11.5マイルになります
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
路上を走る平均的なタクシーのスピードは
時速11.5マイルです
時速11.5マイルです
02:21
and it turns out it stays that way
52
129761
1987
日中の時速は変わらないのです
02:23
for the entire day.
53
131748
3368
日中の時速は変わらないのです
02:27
(Laughter)
54
135116
1373
(笑)
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
私はNYCにラッシュアワーが
ないのだと思いました
ないのだと思いました
02:31
There's just a rush day.
56
139669
1537
ただラッシュデイがあるのです
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
なるほど
これは２つの理由で重要です
これは２つの理由で重要です
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
あなたが交通プランナーなら
とても知りたいかもしれませんよね
とても知りたいかもしれませんよね
02:39
But if you want to get somewhere quickly,
59
147693
1975
どこかに早く着きたければ
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
目覚まし時計を
朝の4時45分にセットすればいいのです
朝の4時45分にセットすればいいのです
02:45
New York, right?
61
153136
1044
NYのことですよ
02:46
But there's a story behind this data.
62
154180
1762
でも このデータには裏話があります
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
こんなデータは
入手できなかったのです
入手できなかったのです
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
実際 出所は情報公開法による請求でした
02:53
or a FOIL Request.
65
161746
1076
実際 出所は情報公開法による請求でした
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
これはTLCのホームページにあるフォームです
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
データにアクセスするため
このフォームをダウンロードして
このフォームをダウンロードして
03:01
fill it out, and they will notify you,
68
169114
1846
記入すると 情報が得られます
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
クリス・ウォンという男性が
それをしました
それをしました
03:05
Chris went down, and they told him,
70
173090
1890
クリスが行くと
新品のハードディスクを
新品のハードディスクを
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
事務所に持って来るよう
職員から言われました
職員から言われました
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
「５時間後にデータをコピーしてお返しします」
03:13
And that's where this data came from.
73
181231
2032
そうやってこのデータを取得したのです
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
さて クリスはデータを公表するタイプなので
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
ネット上で誰でも利用できるようにしました
そうやってこのグラフが作られました
そうやってこのグラフが作られました
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
存在自体が驚きですね
GPSレコーダーの記録 すごいです
GPSレコーダーの記録 すごいです
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
ではデータを公表するために
役所にハードディスクを持って行き
役所にハードディスクを持って行き
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
データを受取る市民がいるという事実はどうでしょう
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
もともと公的データで
得られてしかるべきものでした
得られてしかるべきものでした
03:33
but it was "public," it wasn't public.
80
201660
1812
「公」のデータでしたが
非公開でした
非公開でした
03:35
And we can do better than that as a city.
81
203472
1962
市として もっと上手いやり方があります
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
市民がハードディスクを
持って歩かなくてもいいのです
持って歩かなくてもいいのです
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
情報公開で得られないデータセットもあります
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
これは自転車事故に基づいて作成した
03:46
based on cyclist accidents.
85
214329
1878
NYCで最も危険な交差点の地図です
03:48
So the red areas are more dangerous.
86
216207
1939
赤のエリアはより危険です
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
地図によると まずマンハッタンの東側
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
特にロワー・マンハッタン地域で
自転車事故が多発しています
自転車事故が多発しています
03:56
That might make sense
89
224310
1019
多くのサイクリストが
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
そこで橋を渡ってくるので
納得できますよね
納得できますよね
04:00
But there's other hotspots worth studying.
91
228225
2014
しかし他の危険地域も調査の価値ありです
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
ウィリアムズバーグと
クイーンズ州ルーズベルト・アベニューです
クイーンズ州ルーズベルト・アベニューです
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
これこそが ビジョン・ゼロに求めるデータで
04:07
This is exactly what we're looking for.
94
235760
1990
まさに 私たちが探し求めているものです
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
しかし このデータを入手するにも
04:11
This data didn't just appear.
96
239885
2067
工夫が必要だったのです
04:13
How many of you guys know this logo?
97
241952
2391
このロゴを知っている人は？
04:16
Yeah, I see some shakes.
98
244343
1352
何人か手を上げていますね
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
PDFをコピー・ペーストして
文書を作成しようと
文書を作成しようと
04:20
and make sense of it?
100
248350
1357
したことがありますか？
04:21
I see more shakes.
101
249707
1060
更に手が上がりました
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
ロゴを知らなくてもコピー・ペーストしてみる
いいですね
いいですね
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
つまり お見せしたのは PDFだったのです
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
実際 物凄い数のPDFを
ニューヨーク市警は公開しました
ニューヨーク市警は公開しました
実際 物凄い数のPDFを
ニューヨーク市警は公開しました
ニューヨーク市警は公開しました
04:32
put out by our very own NYPD,
105
260727
2159
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
それにアクセスする方法は
物凄い時間をかけて
物凄い時間をかけて
04:38
for hundreds and hundreds of hours,
107
266038
1726
コピー・ペーストするか
04:39
or you could be John Krauss.
108
267764
1344
ジョン・クラウスのようにするかです
04:41
John Krauss was like,
109
269108
1043
ジョン・クラウスは
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
ニューヨーク市警クラッシュデータ・バンドエイド
というプログラムを書き
というプログラムを書き
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
コピー・ペーストを不要にしました
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
ニューヨーク市警のホームページから
PDFをダウンロードします
PDFをダウンロードします
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
データを収集するプログラムを実行し
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
PDFの保護を解除するプログラムを実行し
04:56
and out would come the text,
115
284260
1336
編集できるテキストに戻し
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
ネット上に上げるのです
だから誰でも地図も作れるのです
だから誰でも地図も作れるのです
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
ここにデータがあり
それにアクセスできるのです
それにアクセスできるのです
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
ところで この表では
事故毎に一列になっています
事故毎に一列になっています
05:07
You can imagine how many PDFs that is.
119
295040
1836
PDFの量はどのくらいだと思いますか
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
アクセスできることは素晴らしいのですが
05:11
but let's not release it in PDF form,
121
299083
2110
PDF以外にして欲しいものです
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
市民がデータ読み取りプログラムを
書くはめになるからです
書くはめになるからです
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
市民は時間の有効利用できませんし
05:18
and we as a city can do better than that.
124
306008
2004
市として もっと良くやれるのです
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
さて 良いニュースは
デブラシオの行政が数か月前に
デブラシオの行政が数か月前に
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
このデータを公表したことで
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
私たちはアクセスできるようになりました
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
しかしまだ 多くのデータがPDFのままです
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
例えば 犯罪データはPDFしかありません
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
また犯罪データだけでなく
市の予算もです
市の予算もです
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
市の予算はPDFでしか読めません
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
私たちがデータ分析を出来ないだけでなく
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
予算に賛成票を投じる議員も
05:45
also only get it in PDF.
134
333751
1943
PDFしか使えません
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
そのため 議員は賛成する
予算の分析できないのです
予算の分析できないのです
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
市の行政として
私たちはそれよりも少しましだと思うのです
私たちはそれよりも少しましだと思うのです
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
さて PDFではないデータもたくさんあります
05:57
This is an example of a map I made,
138
345634
1700
私の作った地図を例にとると
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
これはNYCで一番汚い河川です
06:02
Now, how do I measure dirty?
140
350260
1509
どうやって汚さを測るのか？
06:03
Well, it's kind of a little weird,
141
351769
1857
ちょっと変なんですけど
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
糞便性大腸菌のレベルを
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
つまり 河川ごとの糞便物質の指標を調べました
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
円が大きいほど
水が汚れているのです
水が汚れているのです
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
大きな円が汚水で
小さな円がきれいな水です
小さな円がきれいな水です
06:17
What you see is inland waterways.
146
365876
1644
ご覧のものは 陸地の河川です
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
これは過去５年間に
市が採取した全データなのです
市が採取した全データなのです
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
陸地の河川は一般的により汚いのです
06:25
That makes sense, right?
149
373618
1218
納得ですか？
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
より大きな円は汚いのです
こんなことがわかります
こんなことがわかります
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
その１： 河口で泳がないこと
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
その２： NYCに一番汚い河川があること
06:37
by this measure, one measure.
153
385692
1834
が測定から判明しました
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
コニー・アイランド・クリークです
コニーアイランドの海水浴場ではなく
コニーアイランドの海水浴場ではなく
06:43
It's on the other side.
155
391174
1158
対岸です
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
しかし ５年間に渡り
コニー・アイランド・クリークで採取した試料の94％では
コニー・アイランド・クリークで採取した試料の94％では
06:48
have had fecal levels so high
157
396210
2157
糞便性大腸菌のレベルがとても高く
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
河川で泳ぐことは州法に触れます
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
市の報告書で強調されるような
06:56
boasted in a city report, right?
160
404189
1537
成果とは言えませんね
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
nyc.govのトップ・ページに載ったりもしません
06:59
You're not going to see it there,
162
407976
1580
そうやって見せようとしていなくても
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
そういうデータに到達したことが凄いのです
07:04
But once again, it wasn't super easy,
164
412074
1773
でも データがオープン・データ・ポータルに
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
掲載されていなかったので
超簡単とは言えませんでした
超簡単とは言えませんでした
07:08
If you were to go to the open data portal,
166
416205
2013
オープン・データ・ポータルで探しても
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
部分的な数か月か１年分しか見つかりません
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
実際 環境保護課のホームページにありました
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
リンクは全てエクセルで
全て違う形式でした
全て違う形式でした
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
見出しも全て違うので
コピー・ペーストして 編集します
コピー・ペーストして 編集します
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
それでようやく 地図が作れます
素晴らしいことですが ここでもまた
素晴らしいことですが ここでもまた
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
市としてはもっと上手なやり方があり
標準化できるのです
標準化できるのです
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
Socrata のオープンデータポータルNYC
というホームページで
というホームページで
07:32
called the Open Data Portal NYC.
174
440034
1541
目的を果たせそうです
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
ここにある1100個のデータセットは
今話したような問題がなく
今話したような問題がなく
07:35
from the things I just told you live,
176
443832
1781
ここにある1100個のデータセットは
今話したような問題がなく
今話したような問題がなく
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
その数が増えていくのは
素晴らしいことです
素晴らしいことです
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
CSV､PDF､エクセルなどに
データをダウンロードできるのです
データをダウンロードできるのです
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
どんなデータであれ
ダウンロードできるのです
ダウンロードできるのです
07:45
The problem is, once you do,
180
453720
1352
問題は ダウンロードする時
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
部署ごとに住所の切れ目がバラバラなことです
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
街路名､交差点の通り、通り、区
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
住所、建物、建物の住所などです
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
だから このポータルを使ってもまだ
時間がかかるのです
時間がかかるのです
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
住所のフィールドを標準化するのに
時間をかけるので
時間をかけるので
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
市民の時間の
有効活用になりません
有効活用になりません
08:03
We can do better than that as a city.
187
471599
1796
私たちは市として上手にできるのです
08:05
We can standardize our addresses,
188
473395
1645
私たちは住所を標準化できます
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
そうすれば
こんな地図がもっと増えます
こんな地図がもっと増えます
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
これはNYCの消火栓の地図ですが
08:11
but not just any fire hydrants.
191
479510
1531
ただの消火栓ではないのです
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
駐車違反切符に関して
トップ250の消火栓なのです
トップ250の消火栓なのです
08:17
(Laughter)
193
485767
1986
(笑)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
この地図には学べることがあったので
私のお気に入りです
私のお気に入りです
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
その１
アッパー・イースト・サイドに駐車しないこと
アッパー・イースト・サイドに駐車しないこと
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
だめですよ どこに駐車しても
消火栓の違反切符をもらいますよ
消火栓の違反切符をもらいますよ
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
その２
NYCの中で上位２位の消火栓を特定しました
NYCの中で上位２位の消火栓を特定しました
08:33
and they're on the Lower East Side,
198
501253
1886
ロワー・イースト・サイドにあり
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
駐車違反切符で年間55,000ドルを超える
収益を上げていました
収益を上げていました
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
そのことに気付いた時
私はちょっと変な感じがしました
私はちょっと変な感じがしました
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
ちょっと調べて分かったのですが
消火栓があって
消火栓があって
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
脇に縁石に囲まれた路側帯があります
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
幅7フィートで歩ける場所です
08:50
and then a parking spot.
204
518299
1156
駐車する場所はその隣です
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
だから 駐車する車が現れても
消火栓がずっと
消火栓がずっと
向こうにあるので 大丈夫と思うのです
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
実際 駐車スペースはきれいに塗ってあります
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
そこに駐車すると
ニューヨーク市警はこれは困ると
ニューヨーク市警はこれは困ると
09:02
and would ticket them.
209
530249
1058
違反切符を貼るのです
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
駐車違反切符を見つけたのは
私だけではありません
私だけではありません
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
Googleストリート・ビューカーも
09:07
finding the same parking ticket.
212
535797
1617
駐車違反切符を撮影していたのです
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
私が I Quant NYというブログに
このことを書くと 交通課が
このことを書くと 交通課が
09:13
and they said,
214
541918
1020
回答を寄せました
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
「この場所について 交通課は
苦情を言われたことはありませんが
苦情を言われたことはありませんが
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
道路標示を検討し
適切なものに変更します」
適切なものに変更します」
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
定型的な行政の反応だと
私は内心思いました
私は内心思いました
09:25
all right, moved on with my life.
218
553849
1881
半ば諦めてもいたのです
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
数週間後 信じられないようなことが
起こりました
起こりました
09:31
They repainted the spot,
220
559700
2520
交通課はその場所を塗り直しました
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
一瞬 私はオープンデータの
未来を見たと思いました
未来を見たと思いました
09:36
because think about what happened here.
222
564910
2000
ここで起きたことを考えてみてください
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
５年間 この場所は
駐車違反切符でだらけでした
駐車違反切符でだらけでした
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
市民が何かを見つけ 市に話すと
数週間以内に
数週間以内に
09:48
the problem was fixed.
225
576316
1294
問題が解決したのです
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
素晴らしい
多くの人がオープンデータが番犬になると考えますが
多くの人がオープンデータが番犬になると考えますが
09:52
It's not, it's about being a partner.
227
580810
1772
むしろパートナーと見るべきなのです
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
市民に行政のより良いパートナーになる
力を与えます
力を与えます
09:57
and it's not that hard.
229
585720
1881
そんなに難しいことではありません
09:59
All we need are a few changes.
230
587601
1459
必要なのは 少しの変化です
10:01
If you're FOILing data,
231
589060
1107
公開要請のデータがあり
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
何度となく公開を求められるなら
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
データを公開しましょう
それは公開すべきという合図なのです
それは公開すべきという合図なのです
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
そして PDFを公開する部局のみなさん
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
基礎資料をデータと一緒に掲載する
規則にしてください
規則にしてください
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
そのデータは どこかから来ているからです
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
どこかは分かりませんが
どこかから来ているのです
どこかから来ているのです
10:19
and you can release it with the PDF.
238
607249
1725
それをPDFと共に公開できるのです
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
そしてオープンデータの基準を
採用し共有しましょう
採用し共有しましょう
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
ここNYCの住所から始めましょう
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
まず住所を標準化することから
始めるのです
始めるのです
10:27
Because New York is a leader in open data.
242
615940
2062
NYはオープンデータのリーダーだからです
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
問題があっても オープンデータの
絶対的なリーダーです
絶対的なリーダーです
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
標準化に着手し
オープンデータの基準を作るなら
オープンデータの基準を作るなら
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
自治体も州も おそらく連邦政府も倣うでしょう
10:39
Other countries could follow,
246
627546
1445
他国も倣うかもしれません
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
プログラムや100か国の地図情報を
書いた時から
書いた時から
10:44
and map information from 100 countries.
248
632402
1890
そんなに時間が経っていないのです
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
SFではありません
実際つい最近のことです
実際つい最近のことです
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
ところで これにより得するのは誰でしょう？
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
ジョン・クラウスや
クリス・ウォンだけではありません
クリス・ウォンだけではありません
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
NYCでは現在 何百もの
10:57
active meetups.
253
645119
1025
活発な会合があります
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
それらの会合に何千人が出席します
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
彼らは仕事の後や週末に集まります
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
オープンデータを調べ
都市をより住みやすくするために
都市をより住みやすくするために
11:05
and make our city a better place.
257
653720
1640
会合に参加するのです
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
BetaNYCのような団体は先週
citygram.nycを公表し
citygram.nycを公表し
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
自宅や職場に関する311への苦情の
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
定期購読を可能にしました
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
住所を入力し
地元の苦情を検索します
地元の苦情を検索します
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
これらの情報を求めているのは
技術者コミュニティーだけではありません
技術者コミュニティーだけではありません
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
私がプラットで教えている学生の
都市プランナーも
都市プランナーも
11:24
It's policy advocates, it's everyone,
264
672071
1919
政策支持者も 皆もです
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
様々な背景の市民もです
11:28
And with some small, incremental changes,
266
676553
2786
小さな変化の積み重ねで
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
オープンデータを利用し
より良い都市を作るため
より良い都市を作るため
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
市民の情熱や能力を解き放つのです
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
変化は１つのデータセットや１か所の駐車場からです
11:41
Thank you.
270
689346
2322
ありがとう
11:43
(Applause)
271
691668
3305
(拍手)
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com