TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
벤 웰링턴(Ben Wellington): 뉴욕시에서 가장 최악의 주차공간을 알아낸 방법 ㅡ 빅데이터를 이용해서
Filmed:
Readability: 3.7
1,055,247 views
시 공무원들은 도시 삶의 모든 방면의 축적된 데이터와 통계값에 대한 접근권한을 가지고 있습니다. 하지만 데이터 분석가인 벤 웰링턴은 이 흥미로운 이야기를 통해서 그들이 그 데이터로 무엇을 할지를 모르는 것 같다고 말합니다. 그는 기발한 물음과 데이터 가공 스킬을 통해서 놀라운 결과를 만드는 방법과 많은 데이터를 모두가 공유하는 좋은 팁을 이야기 합니다.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
6,000 마일의 도로와
00:15
600 miles of subway track,
1
3531
2203
600 마일의 지하철 노선,
00:17
400 miles of bike lanes
2
5734
1644
400 마일의 자전거 도로,
00:19
and a half a mile of tram track,
3
7378
1821
그리고 0.5마일의 트램노선.
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
루즈벨트 아일랜드에 가보셨는지요.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
저 숫자는 뉴욕시의 기간시설을
구성하는 숫자들입니다.
구성하는 숫자들입니다.
우리 사회기반시설의 통계치인 것이죠.
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
시당국이 발간하는 보고서에서
찾아볼 수 있는 숫자들입니다.
찾아볼 수 있는 숫자들입니다.
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
예를 들어, 교통국에서는
그들이 얼마나 긴 길이의 도로를
그들이 얼마나 긴 길이의 도로를
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
유지 관리하는지를 발표하죠.
MTA는 지하철 노선이
얼마나 긴지를 과시합니다.
얼마나 긴지를 과시합니다.
00:36
how many miles of road they maintain.
9
24010
1781
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
대부분의 시정 기관들은
여러 통계자료를 제공하죠.
여러 통계자료를 제공하죠.
00:40
Most city agencies give us statistics.
11
28612
1807
이건 택시 리무진 위원회가
00:42
This is from a report this year
12
30419
1483
올해 발표한 보고서의 자료입니다.
00:43
from the Taxi and Limousine Commission,
13
31902
1892
이곳 뉴욕시에는 약 13,500대의
택시가 있다는군요.
택시가 있다는군요.
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
꽤 흥미롭죠?
00:49
Pretty interesting, right?
15
37070
1290
그런데 이 숫자들이 어떻게
나왔는지 생각해 보셨나요?
나왔는지 생각해 보셨나요?
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
이런 숫자들을 만들면서,
어떤 공무원이
어떤 공무원이
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
'흠. 이 수치를 궁금해 하겠군'
이렇게 말했겠죠.
이렇게 말했겠죠.
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
시민들이 알고 싶어하는
어떤 수치가 있다 치죠.
어떤 수치가 있다 치죠.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
그러면 공무원들은
기초 자료를 찾아서
기초 자료를 찾아서
01:02
So they go back to their raw data,
20
50177
1830
숫자를 세고, 더하고, 계산을 하죠.
01:04
they count, they add, they calculate,
21
52007
1797
그리곤 보고서를 내놓습니다.
01:05
and then they put out reports,
22
53804
1467
그 보고서에 이런 숫자들이 있겠죠.
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
문제는, 우리의 질문을
어떻게 다 아냐는 거죠.
어떻게 다 아냐는 거죠.
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
우린 궁금한 게 많습니다.
01:11
We have lots of questions.
25
59988
1243
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
사실, 우리 도시에 관한 질문들이
말 그대로 무궁무진 할겁니다.
01:16
that we can ask about our city.
27
64571
1649
기관들이 감당하지 못할 정도로요.
01:18
The agencies can never keep up.
28
66220
1475
기본 개념이 잘못 되었다는 걸
정책가들도 알고 있을 겁니다.
정책가들도 알고 있을 겁니다.
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
왜냐하면 2012년 블룸버그 시장은
미국에서 가장 야심차고 광범위한
미국에서 가장 야심차고 광범위한
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
개방형 데이터 법률안에
서명을 하였습니다.
서명을 하였습니다.
01:31
In a lot of ways, he's right.
32
79547
1573
여러 측면에서, 옳은 결정을 했죠.
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
지난 2년 동안, 뉴욕시는
1000개의 정보 자료를
1000개의 정보 자료를
01:35
on our open data portal,
34
83981
1610
개방형 자료 포털사이트에 공개했습니다.
01:37
and it's pretty awesome.
35
85591
1764
꽤 잘한 일이죠.
01:39
So you go and look at data like this,
36
87355
1968
이런 데이터를 찾아 보다 보면
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
단순히 택시 숫자만 세어 보는 대신에
01:43
we can start to ask different questions.
38
91612
1943
다른 질문들을 하기 시작할 겁니다.
저도 묻고 싶은 게 있어요.
01:45
So I had a question.
39
93555
1200
01:46
When's rush hour in New York City?
40
94755
1701
뉴욕에서 가장 붐비는 시간대는 언제죠?
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
좀 귀찮은 질문일 수 있겠지만,
정확히 언제입니까?
정확히 언제입니까?
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
생각해 봤는데, 이 택시들은
단순한 숫자가 아니에요.
단순한 숫자가 아니에요.
뉴욕시 도로를 다니는
차들의 GPS 기록들입니다.
차들의 GPS 기록들입니다.
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
택시를 타고 내리는
모든 이력이 기록되죠.
모든 이력이 기록되죠.
01:56
recording each and every ride they take.
44
104373
1913
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
그런 데이터가 있었습니다.
제가 찾아 봤어요.
제가 찾아 봤어요.
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
그래서 제가 뉴욕시 택시들의
일일 평균속도를 그려 봤습니다.
일일 평균속도를 그려 봤습니다.
자정에서 아침 5:18까지는
속도가 증가하는 게 보이시죠.
속도가 증가하는 게 보이시죠.
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
속도가 증가하다가,
그 시점부터는 양상이 바뀝니다.
그 시점부터는 양상이 바뀝니다.
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
아침 8시 35분까지는
계속 점점 느려지다가
계속 점점 느려지다가
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
시속 11.5 마일까지 내려갑니다.
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
평균적으로 택시들이 시내에서
시속 11.5마일로 다니고,
시속 11.5마일로 다니고,
02:21
and it turns out it stays that way
52
129761
1987
하루 종일 그 정도로
02:23
for the entire day.
53
131748
3368
다닌다는 걸 알았죠.
02:27
(Laughter)
54
135116
1373
(웃음)
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
제 생각에, 뉴욕에는
러시 아워는 없는 거 같아요.
러시 아워는 없는 거 같아요.
그냥 러시 데이인거죠.
02:31
There's just a rush day.
56
139669
1537
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
맞는 말이죠. 이게 중요한
몇가지 이유가 있습니다.
몇가지 이유가 있습니다.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
여러분이 교통 계획자라면
꽤 흥미를 가졌을 거에요.
꽤 흥미를 가졌을 거에요.
02:39
But if you want to get somewhere quickly,
59
147693
1975
어떤 장소에
빨리 도착하고 싶다면,
빨리 도착하고 싶다면,
새벽 4시 45분에 알람을
맞춰 놓기만 하면 됩니다.
맞춰 놓기만 하면 됩니다.
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
뉴욕에서는요. 그렇죠?
02:45
New York, right?
61
153136
1044
이 데이터에는 다른
이야기가 숨어 있습니다.
이야기가 숨어 있습니다.
02:46
But there's a story behind this data.
62
154180
1762
알고 보면, 이 데이터는
그냥 얻을 수 없어요.
그냥 얻을 수 없어요.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
사실 이 자료는 정보공개 요청을
통해서 얻었습니다.
통해서 얻었습니다.
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
FOIL 요청서라고도 하는데요.
02:53
or a FOIL Request.
65
161746
1076
이것은 택시리무진 위원회 웹사이트에
있는 신청서 양식입니다.
있는 신청서 양식입니다.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
이 자료를 얻으려면
이런 신청서를 받아서
이런 신청서를 받아서
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
작성을 하면 알려줄 겁니다.
03:01
fill it out, and they will notify you,
68
169114
1846
크리스 왕이라는 사람이
실제로 그렇게 했죠.
실제로 그렇게 했죠.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
크리스가 갔을 때, 거기서 말하길
03:05
Chris went down, and they told him,
70
173090
1890
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
"새 하드 디스크를 가지고
사무실로 오세요"
사무실로 오세요"
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
"5시간 동안 맡겨 두시면
데이터를 복사해 둘테니, 찾아가세요"
데이터를 복사해 둘테니, 찾아가세요"
03:13
And that's where this data came from.
73
181231
2032
그렇게 해서 이 데이터가 나온 겁니다.
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
크리스는 데이터를 공개하고 싶었습니다.
그래서 모두가 사용할 수 있게 인터넷에
올렸고, 결국 이 그래프가 만들어졌죠.
올렸고, 결국 이 그래프가 만들어졌죠.
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
이런 게 존재한다는 사실이 놀랍습니다.
이런 GPS기록이요. 정말 대단하죠.
이런 GPS기록이요. 정말 대단하죠.
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
하지만 실상은, 시민들이
하드디스크를 들고 다니며
하드디스크를 들고 다니며
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
시 당국에서 데이터를 얻어 와야만
대중에 공개된다는 거죠.
대중에 공개된다는 거죠.
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
데이터는 이미 공공재입니다.
여러분도 얻을 수 있어요.
여러분도 얻을 수 있어요.
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
하지만 공개되지 않은
"공공재"였던 거죠.
"공공재"였던 거죠.
03:33
but it was "public," it wasn't public.
80
201660
1812
더 잘할 수 있습니다.
03:35
And we can do better than that as a city.
81
203472
1962
시민들이 하드 드라이브를
들고 다닐 필요가 없죠.
들고 다닐 필요가 없죠.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
정보공개 요청으로 모든
데이터를 얻을 수는 없습니다.
데이터를 얻을 수는 없습니다.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
이건 제가 만든 뉴욕시에서
가장 위험한 교차로 지도입니다.
가장 위험한 교차로 지도입니다.
03:46
based on cyclist accidents.
85
214329
1878
자전거 사고를 기초로 만든거죠.
03:48
So the red areas are more dangerous.
86
216207
1939
붉은 지역이 더 위험한 곳입니다.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
맨하탄 동쪽이 먼저 눈에 띄는데요.
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
특히 맨하탄 하부 지역에서
자전거 사고가 더 많이 일어나죠.
자전거 사고가 더 많이 일어나죠.
03:56
That might make sense
89
224310
1019
이해가 되는 것이
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
저 다리 쪽에서 오는 자전거들이
더 많기 때문이죠.
더 많기 때문이죠.
04:00
But there's other hotspots worth studying.
91
228225
2014
다른 장소도 연구해 볼 만합니다.
윌리엄스버그 거리와
퀸즈에 루즈벨트 거리입니다.
퀸즈에 루즈벨트 거리입니다.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
이것이 "무사고 정책"을 위해
필요한 데이터들입니다.
필요한 데이터들입니다.
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
바로 우리가 찾던 것이죠.
04:07
This is exactly what we're looking for.
94
235760
1990
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
하지만 이 데이터도 뒷이야기가 있어요.
04:11
This data didn't just appear.
96
239885
2067
이 데이터가 그냥 생긴 게 아닙니다.
04:13
How many of you guys know this logo?
97
241952
2391
이 로고를 아시나요?
04:16
Yeah, I see some shakes.
98
244343
1352
몇 분이 고개를 끄덕이시네요.
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
PDF 데이터를 복사해서
붙여넣기 해본 적이 있나요?
붙여넣기 해본 적이 있나요?
04:20
and make sense of it?
100
248350
1357
이해가 되십니까?
04:21
I see more shakes.
101
249707
1060
더 많은 분이 고개를 끄덕거리는군요.
붙여넣기를 해보신 분이 더 많으시군요.
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
지금 막 보신 저 데이터는
사실 PDF 형태입니다.
사실 PDF 형태입니다.
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
사실, 수백, 수백, 수백 쪽의
PDF 형태의 보고서를
PDF 형태의 보고서를
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
04:32
put out by our very own NYPD,
105
260727
2159
우리 뉴욕시 경찰청이 발간하고 있습니다.
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
그 자료를 다루려면
엄청난 시간들을 들여서
엄청난 시간들을 들여서
복사해서 붙이기를 해야 하죠.
04:38
for hundreds and hundreds of hours,
107
266038
1726
아니면 존 크로스처럼 하면 됩니다.
04:39
or you could be John Krauss.
108
267764
1344
04:41
John Krauss was like,
109
269108
1043
존 크로스는
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
데이터를 복사해서 붙이지 않고
프로그램을 만들었습니다.
프로그램을 만들었습니다.
'NYPD 사고 데이터 반창고'라는
이름을 붙였습니다.
이름을 붙였습니다.
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
이 프로그램이 뉴욕경찰청 홈페이지에
접속해서 PDF를 내려받습니다.
접속해서 PDF를 내려받습니다.
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
매일 검색하고 있다가,
PDF를 찾으면 다운로드하죠.
PDF를 찾으면 다운로드하죠.
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
그리고는 스크랩 프로그램을 실행합니다.
04:56
and out would come the text,
115
284260
1336
그러면 텍스트를 뽑아 내고,
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
인터넷에 업로드하면,
누구나 저런 지도를 만들 수 있죠.
누구나 저런 지도를 만들 수 있죠.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
데이터가 여기 존재하고,
우리는 그 데이터를 찾아내고,
우리는 그 데이터를 찾아내고,
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
이런 식으로 모든 사고자료가
표 안의 행에 표시됩니다.
표 안의 행에 표시됩니다.
05:07
You can imagine how many PDFs that is.
119
295040
1836
PDF가 얼마나 많은지 상상이 되나요?
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
그것에 접근할 수 있다는
사실이야말로 대단한거죠.
사실이야말로 대단한거죠.
05:11
but let's not release it in PDF form,
121
299083
2110
하지만 그걸 PDF로 공개하지는
않았으면 합니다.
않았으면 합니다.
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
시민들이 PDF를 스크랩해야 하잖아요.
우리 시민들의 시간을 낭비하는 겁니다.
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
더 잘할 수 있는 방법이 있는데도 말이죠.
05:18
and we as a city can do better than that.
124
306008
2004
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
희소식은 디 블라지오 행정부가
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
사실 몇 달 전에
데이터들을 공개했습니다.
데이터들을 공개했습니다.
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
이제 그 자료에 접근할 수 있죠.
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
하지만 아직도 많은 데이터들이
PDF로 만들어집니다.
PDF로 만들어집니다.
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
예를 들어, 범죄 데이터는
여전히 PDF로만 공개됩니다.
여전히 PDF로만 공개됩니다.
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
범죄 데이터뿐 아니라
시예산 자료도 마찬가지죠.
시예산 자료도 마찬가지죠.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
시예산 자료는 지금 현재로서는
PDF로만 볼 수 있습니다.
PDF로만 볼 수 있습니다.
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
우리만 그걸 분석할 수 없는 게 아니라
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
시예산을 승인한 시의원들도 역시
05:45
also only get it in PDF.
134
333751
1943
PDF로만 자료를 받고 있죠.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
그래서 시의원들도 자신들이 의결한
시예산을 살펴 보지 못합니다.
시예산을 살펴 보지 못합니다.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
그 보다 더 나은 방법을 생각했어요.
PDF 속에는 많은
자료들이 드러나 있습니다.
자료들이 드러나 있습니다.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
05:57
This is an example of a map I made,
138
345634
1700
그 예로 이 지도를 만들었습니다.
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
이건 뉴욕시 수로의
오염도를 나타낸 것입니다.
오염도를 나타낸 것입니다.
06:02
Now, how do I measure dirty?
140
350260
1509
어떻게 측정했냐구요?
06:03
Well, it's kind of a little weird,
141
351769
1857
좀 특이하지만,
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
분변계 대장균 수치를 알아봤어요.
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
각 수로에서 측정된 분변을 의미하죠.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
원이 클수록 물이 더 더럽습니다.
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
큰 원일수록 더러운 물이고
작은 원일수록 깨끗합니다.
작은 원일수록 깨끗합니다.
06:17
What you see is inland waterways.
146
365876
1644
이것은 내륙 수로입니다.
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
이것은 뉴욕시가 지난 5년간
측정한 모든 데이터들입니다.
측정한 모든 데이터들입니다.
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
내륙 수로들은 보통 더 더럽죠.
06:25
That makes sense, right?
149
373618
1218
이해가 되시죠?
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
원이 크면 더러운거죠.
이걸로 알게 된 것이 있어요.
이걸로 알게 된 것이 있어요.
하나. 개천이나 운하가 끝나는
곳에서는 절대 수영을 하지 마세요.
곳에서는 절대 수영을 하지 마세요.
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
둘. 뉴욕시에서 가장 더러운 수로가
어딘 지를 제가 알아냈습니다.
어딘 지를 제가 알아냈습니다.
06:37
by this measure, one measure.
153
385692
1834
이 측정값으로 말이죠, 이것만 가지고요.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
코니 아일랜드는 다행히도
사람들이 수영하는 곳은 아니에요.
사람들이 수영하는 곳은 아니에요.
그 반대 쪽이죠.
06:43
It's on the other side.
155
391174
1158
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
하지만 지난 5년 동안 거기에서
얻은 94%의 견본들에서
얻은 94%의 견본들에서
06:48
have had fecal levels so high
157
396210
2157
분변 수치가 매우 높았습니다.
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
그런 물에서 수영을 하는 건
법에 어긋날 겁니다.
법에 어긋날 겁니다.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
이런 사실을 시정 보고서에
자랑으로 내세우진 않겠죠?
06:56
boasted in a city report, right?
160
404189
1537
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
홈페이지에 이런 걸
올리지는 않을 겁니다.
올리지는 않을 겁니다.
거기에는 없어요.
06:59
You're not going to see it there,
162
407976
1580
하지만, 자료를 얻을 수
있다는 건 대단합니다.
있다는 건 대단합니다.
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
완전히 쉽지는 않아요.
07:04
But once again, it wasn't super easy,
164
412074
1773
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
이런 건 데이터 포털에는 없어요.
공개 데이터 포털에 들어가 보면
07:08
If you were to go to the open data portal,
166
416205
2013
아마 1년 전이나 몇 달 전에 나온
단편적 자료는 보실 수 있을겁니다.
단편적 자료는 보실 수 있을겁니다.
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
실제로 환경보호국
웹사이트에는 나와 있어요.
웹사이트에는 나와 있어요.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
이 각각의 링크가 엑셀로 연결되고,
각 엑셀시트 내용도 다릅니다.
각 엑셀시트 내용도 다릅니다.
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
각 머릿글도 달라요.
복사하고 붙이고 재정리해서
복사하고 붙이고 재정리해서
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
이런 훌륭한 지도를 만들 수 있습니다.
다시 말씀드리지만,
다시 말씀드리지만,
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
뉴욕시보다 더 잘 할 수 있고,
표준화할 수 있어요.
표준화할 수 있어요.
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
소크라타가 만든 웹사이트를 보면
그걸 잘 이해할 수 있어요.
그걸 잘 이해할 수 있어요.
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
'공개 자료 포털 뉴욕시'라는
웹사이트인데요.
웹사이트인데요.
이곳의 1,100개의 자료는
귀찮지 않아요
귀찮지 않아요
07:32
called the Open Data Portal NYC.
174
440034
1541
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
방금 설명한 방법으로 만들었죠.
자료수는 계속 늘어나고 있어요.
07:35
from the things I just told you live,
176
443832
1781
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
어떤 형식으로든 받을 수 있습니다.
CSV, PDF, 엑셀로도요.
CSV, PDF, 엑셀로도요.
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
여러분이 원하는 자료를
받아볼 수 있습니다.
받아볼 수 있습니다.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
문제는, 자료를 보다보면
07:45
The problem is, once you do,
180
453720
1352
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
각 기관들이 주소를 다르게
규정하는 걸 알게될 겁니다.
규정하는 걸 알게될 겁니다.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
어떤 건 도로명이고, 교차로,
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
거리, 군, 주소, 건물,
건물 주소를 쓰고 있죠.
건물 주소를 쓰고 있죠.
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
역시나, 이 포탈이 있어도
시간을 들여야 할 겁니다.
시간을 들여야 할 겁니다.
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
시간을 들여서 주소를 정리해야 하죠.
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
이건 시민들의 시간을 낭비하는 거에요.
우리는 더 잘 할 수 있습니다.
08:03
We can do better than that as a city.
187
471599
1796
08:05
We can standardize our addresses,
188
473395
1645
주소 체계를 표준화하면
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
이런 지도를 쉽게 만들 수 있습니다.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
이것은 뉴욕의 소화전 지도입니다.
08:11
but not just any fire hydrants.
191
479510
1531
일반적인 소화전이 아니고
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
주차위반 딱지로 흥행을 거둔
상위 250개의 소화전 입니다.
상위 250개의 소화전 입니다.
08:17
(Laughter)
193
485767
1986
(웃음)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
이 지도에서도 몇가지를 배웠고
전 정말 이 지도를 좋아해요.
전 정말 이 지도를 좋아해요.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
첫째, 맨하탄 북동쪽에는
절대로 주차하지 마세요.
절대로 주차하지 마세요.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
어디에 주차를 하든
주차 딱지를 떼일거니까요.
주차 딱지를 떼일거니까요.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
둘째, 뉴욕시에서 두번째로
소화전이 많은 곳을 찾았는데요.
소화전이 많은 곳을 찾았는데요.
08:33
and they're on the Lower East Side,
198
501253
1886
맨하탄 하부 동쪽입니다.
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
주차딱지로 1년에 5만 5천달러가
넘는 세금을 벌어들입니다.
넘는 세금을 벌어들입니다.
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
그걸 알아냈을 때 뭔가 이상했어요.
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
좀 더 알아내서 나온 게 소화전이었고
경계석 확장 영역이
있다는 것을 알았습니다.
있다는 것을 알았습니다.
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
보행자를 위한 2m 정도의 공간이죠.
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
그리고 주차 공간도 있어요.
08:50
and then a parking spot.
204
518299
1156
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
이 차들이 늘어서 있고
소화전도 있어요.
소화전도 있어요.
"소화전은 저기 있으니까,
주차해도 괜찮을거야."
주차해도 괜찮을거야."
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
사실 저기에 예쁘게 표시된
주차공간이 있어요.
주차공간이 있어요.
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
거기에 주차를 하면, 뉴욕경찰은
이 곳은 지정된 공간이 아니라고 하면서
이 곳은 지정된 공간이 아니라고 하면서
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
주차위반 딱지를 끊겠죠.
09:02
and would ticket them.
209
530249
1058
저만 주차위반 딱지를 본 게 아니구요.
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
이건 구글 스트릿뷰에
찍힌 자동차 모습인데
찍힌 자동차 모습인데
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
역시 주차위반 딱지를 받았습니다.
09:07
finding the same parking ticket.
212
535797
1617
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
이걸 제 블로그에 올렸더니
아이콴트 뉴욕과 교통부에서 답을 했죠.
아이콴트 뉴욕과 교통부에서 답을 했죠.
09:13
and they said,
214
541918
1020
그들이 말하기를,
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
"교통부는 이 지역에 관한
어떤 항의도 받지 않았지만,
어떤 항의도 받지 않았지만,
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
길 표지를 다시 확인하고
적당한 교체를 할 것입니다. "
적당한 교체를 할 것입니다. "
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
전 속으로 저건 틀에 박힌
대답이라고 생각했어요.
대답이라고 생각했어요.
09:25
all right, moved on with my life.
218
553849
1881
그래요, 무시하기로 했어요.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
하지만, 몇주일 후,
정말 놀라운 일이 일어났습니다.
정말 놀라운 일이 일어났습니다.
09:31
They repainted the spot,
220
559700
2520
그 공간에 다시 페인트칠을 한겁니다.
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
잠깐이지만 오픈 데이터의
미래를 봤다는 생각을 했어요.
미래를 봤다는 생각을 했어요.
09:36
because think about what happened here.
222
564910
2000
여기에서 일어난 일을 생각해보세요.
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
5년 동안 그 곳은 유명한
단속장소였는데,
단속장소였는데,
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
시민 한명이 무언가를 찾았고,
시 당국에 알리고, 몇 주 후에
시 당국에 알리고, 몇 주 후에
09:48
the problem was fixed.
225
576316
1294
문제가 해결된 거에요.
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
그리고 다들 오픈 데이터를
감시견으로 생각하는데
감시견으로 생각하는데
09:52
It's not, it's about being a partner.
227
580810
1772
이건 파트너에 가깝습니다.
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
우리 시민은 정부의 훌륭한
파트너가 될 수 있어요.
파트너가 될 수 있어요.
09:57
and it's not that hard.
229
585720
1881
어려운 일이 아닙니다.
필요한 건 작은 변화입니다.
09:59
All we need are a few changes.
230
587601
1459
10:01
If you're FOILing data,
231
589060
1107
자료 공개를 요청하고,
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
구한 자료를 계속 살펴 보고,
대중에게 알리는 겁니다.
공개하라는 신호를 보내는거죠.
공개하라는 신호를 보내는거죠.
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
정부기관의 PDF 발행을
담당하는 분이 계시다면
담당하는 분이 계시다면
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
기초 데이터 배포에 필요한
법안을 통과시켜 주세요.
법안을 통과시켜 주세요.
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
왜냐하면 그런 데이터가
어디선가 나오잖아요.
어디선가 나오잖아요.
저는 모르지만,
어디선가 나오니까
어디선가 나오니까
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
PDF로 배포하는 거겠죠.
10:19
and you can release it with the PDF.
238
607249
1725
그리고 이 데이터의 표준을
만들고 공유해 주세요.
만들고 공유해 주세요.
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
이곳 뉴욕시에서 우리의
주소체계를 시작해 주세요.
주소체계를 시작해 주세요.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
우리의 주소체계를 표준화해 주세요.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
뉴욕시는 오픈 데이터의 선두주자니까요.
10:27
Because New York is a leader in open data.
242
615940
2062
이 모든 것에도 불구하고, 우리는
오픈 데이터 영역의 선구자입니다.
오픈 데이터 영역의 선구자입니다.
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
그리고 만약 우리가
표준화 작업을 시작하면,
표준화 작업을 시작하면,
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
다른 지역, 다른 주,
연방정부도 따라 할 겁니다.
연방정부도 따라 할 겁니다.
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
다른 나라들도 따라 하겠죠.
프로그램 하나로 100개 국가의
정보를 지도로 만들 날이
정보를 지도로 만들 날이
10:39
Other countries could follow,
246
627546
1445
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
그리 머지 않았습니다.
10:44
and map information from 100 countries.
248
632402
1890
이건 공상과학 소설이 아니며
실제로 가능합니다.
실제로 가능합니다.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
그런데, 그럴 자격은 누구에게 있죠?
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
존 크로스도 아니고
크리스 왕도 아닙니다.
크리스 왕도 아닙니다.
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
뉴욕시에만도 수 백개의
소모임이 있습니다.
소모임이 있습니다.
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
왕성하게 활동중이죠.
10:57
active meetups.
253
645119
1025
수 천 명의 사람들이
이 모임에 참여합니다.
이 모임에 참여합니다.
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
퇴근 후나 주말이 되면
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
모임에 참여해서
공개된 자료를 분석합니다.
공개된 자료를 분석합니다.
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
더 나은 도시를 만들자는 생각으로요.
11:05
and make our city a better place.
257
653720
1640
베타NYC 단체는 지난 주에
citygram.nyc 라는 사이트를 열었습니다.
citygram.nyc 라는 사이트를 열었습니다.
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
여러분 집이나 사무실 주변의
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
311 불편신고 내용을 구독할 수 있죠.
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
집주소를 입력하면,
지역 민원 내용을 알려줍니다.
지역 민원 내용을 알려줍니다.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
이건 기술 동호회만의 몫이 아닙니다.
제가 가르치는 학생들같은 도시계획가.
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
11:24
It's policy advocates, it's everyone,
264
672071
1919
정책입안자, 그리고 우리 모두.
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
다양한 배경을 가진 시민들의 몫입니다.
11:28
And with some small, incremental changes,
266
676553
2786
이런 작고, 점진적인 변화를 통해서
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
시민으로서의 열정과 능력을 드러내고
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
오픈 데이터를 이용해
더 나은 도시를 만들 수 있습니다.
더 나은 도시를 만들 수 있습니다.
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
하나의 데이터든, 작은
주차공간이든, 뭐든지 말이죠.
주차공간이든, 뭐든지 말이죠.
11:41
Thank you.
270
689346
2322
감사합니다.
11:43
(Applause)
271
691668
3305
(박수)
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com