TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
בן ווילינגטון: איך מצאנו את המקום הכי גרוע לחנות בניו יורק -- בשימוש בביג דאטה
Filmed:
Readability: 3.7
1,055,247 views
לסוכניות עירוניות יש גישה לעושר של מידע וסטטיסטיקות שמשקפות כל חלק של החיים הערוניים. אבל כמו שמנתח המידע בן ווילינגטון מציע בהרצאה המעניינת שלו, לפעמים הם פשוט לא יודעים מה לעשות איתו. הוא מראה איך שילוב של שאלות לא צפויות עיבוד מידע חכם יכול ליצר תובנות שימושיות באופן מפתיע, וחולק טיפים לאיך לשחרר סטים גדולים של מידע כך שכל אחד יוכל להשתמש בהם.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
9,600 קילומטרים של כביש,
00:15
600 miles of subway track,
1
3531
2203
965 קילומטר של מסילות תחתית,
00:17
400 miles of bike lanes
2
5734
1644
650 קילומטר של נתיבי אופניים
00:19
and a half a mile of tram track,
3
7378
1821
וכמעט קילומטר של מסילת רכבת קלה,
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
אם אי פעם הייתם באי רוזוולט.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
אלה המספרים שיוצרים
את התשתית של העיר ניו יורק.
את התשתית של העיר ניו יורק.
אלה הסטטיסטיקות של התשתיות שלנו.
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
הם סוג המספרים שאתם יכולים למצוא
משוחררים בדוחות של סוכנויות עירוניות.
משוחררים בדוחות של סוכנויות עירוניות.
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
לדוגמה, המחלקה לתחבורה כנראה תגיד לכם
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
כמה קילומטרים של כביש הם מתחזקים.
ה MTA יתגאו בכמה קילומטרים
של רכבת תחתית יש.
של רכבת תחתית יש.
00:36
how many miles of road they maintain.
9
24010
1781
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
רוב הסוכניויות העירוניות
נותנות מידע סטטיסטי.
נותנות מידע סטטיסטי.
00:40
Most city agencies give us statistics.
11
28612
1807
זה דוח מהשנה
00:42
This is from a report this year
12
30419
1483
מנציבות המוניות והלימוזינות,
00:43
from the Taxi and Limousine Commission,
13
31902
1892
ממנו אנחנו לומדים שיש בערך
13,500 מוניות בעיר ניו יורק.
13,500 מוניות בעיר ניו יורק.
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
די מעניין, נכון?
00:49
Pretty interesting, right?
15
37070
1290
אבל האם אי פעם חשבתם על
המקום ממנו מגיעים המספרים האלו?
המקום ממנו מגיעים המספרים האלו?
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
מפני שכדי שהמספרים האלה יהיו קיימים,
מישהו בסוכנות עירונית
מישהו בסוכנות עירונית
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
היה צריך לעצור ולהגיד,
הנה מספר שמישהו אולי ירצה לדעת.
הנה מספר שמישהו אולי ירצה לדעת.
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
הנה מספר שהאזרחים שלנו ירצו לדעת.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
אז הם חוזרים למידע הגולמי שלהם,
01:02
So they go back to their raw data,
20
50177
1830
הם סופרים, הם מוסיפים, הם מחשבים,
01:04
they count, they add, they calculate,
21
52007
1797
ואז הם מוצאים דו"חות,
01:05
and then they put out reports,
22
53804
1467
ובדו"חות האלו יהיו מספרים כאלו.
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
הבעיה היא, איך הם יודעים
את כל השאלות שלנו?
את כל השאלות שלנו?
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
יש לנו הרבה שאלות.
01:11
We have lots of questions.
25
59988
1243
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
למעשה, בדרכים מסויימות
יש ממש מספר אין סופי של שאלות.
יש ממש מספר אין סופי של שאלות.
שאנחנו יכולים לשאול על העיר שלנו.
01:16
that we can ask about our city.
27
64571
1649
אז הסוכנויות לעולם לא יעמדו בקצב.
01:18
The agencies can never keep up.
28
66220
1475
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
אז הפרדיגמה לא בדיוק עובדת,
ואני חושב שקובעי המדיניות שלנו מבינים את זה,
ואני חושב שקובעי המדיניות שלנו מבינים את זה,
מפני שב 2012, ראש העיר בלומברג
חתם לחוק מה שהוא קרא לו
חתם לחוק מה שהוא קרא לו
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
חקיקת המידע הפתוח
הכי שאפתנית ומקיפה במדינה.
הכי שאפתנית ומקיפה במדינה.
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
01:31
In a lot of ways, he's right.
32
79547
1573
בהרבה דרכים, הוא צודק.
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
בשנתיים האחרונות,
העיר שיחררה 1,000 מערכי מידע
העיר שיחררה 1,000 מערכי מידע
01:35
on our open data portal,
34
83981
1610
בפורטל המידע הפתוח שלנו,
01:37
and it's pretty awesome.
35
85591
1764
וזה די מגניב.
01:39
So you go and look at data like this,
36
87355
1968
אז אתם חוזרים להביט במידע כך,
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
ובמקום רק לסמוך על מספר המוניות,
01:43
we can start to ask different questions.
38
91612
1943
אנחנו יכולים להתחיל ולשאול שאלות שונות.
01:45
So I had a question.
39
93555
1200
אז היתה לי שאלה,
01:46
When's rush hour in New York City?
40
94755
1701
מתי שעת העומס בניו יורק?
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
זה יכול להיות מאוד מעייף.
מתי בדיוק שעת העומס?
מתי בדיוק שעת העומס?
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
וחשבתי לעצמי,
המוניות האלו הן לא רק מספרים,
המוניות האלו הן לא רק מספרים,
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
אלה מקלטי GPS שנוסעים ברחובות העיר שלנו
מקליטים כל נסיעה שהם עושים.
01:56
recording each and every ride they take.
44
104373
1913
יש שם מידע, והבטתי במידע הזה,
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
ושמתי אותו על גרף של מהירות ממוצעת
של מוניות בניו יורק במהלך היום.
של מוניות בניו יורק במהלך היום.
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
אתם יכולים לראות שמחצות לבערך 5:18 בבוקר,
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
מהירויות עולות, ובנקודה הזו,
דברים מתהפכים,
דברים מתהפכים,
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
והם מאיטים ומאיטים ומאיטים
עד בערך 8:35 בבוקר.
עד בערך 8:35 בבוקר.
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
כשהם מגיעים למהירות של 18.5 קילומטר בשעה.
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
המונית הממוצעת נעה
ב 18.5 קמ"ש ברחובות העיר,
ב 18.5 קמ"ש ברחובות העיר,
02:21
and it turns out it stays that way
52
129761
1987
ומסתבר שזה נשאר כך
02:23
for the entire day.
53
131748
3368
כל היום.
02:27
(Laughter)
54
135116
1373
(צחוק)
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
אז אמרתי לעצמי, אני מניח
שאין שעת עומס בניו יורק.
שאין שעת עומס בניו יורק.
יש פשוט יום עומס.
02:31
There's just a rush day.
56
139669
1537
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
נשמע הגיוני, וזה חשוב מכמה סיבות.
אם אתם מתכנני תעבורה, זה אולי מעניין לדעת.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
02:39
But if you want to get somewhere quickly,
59
147693
1975
אבל אם אתם רוצים להגיע למקום במהירות,
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
אתם יודעים עכשיו לכוון את השעון המעורר
ל 4:45 בבוקר ואתם מסודרים.
ל 4:45 בבוקר ואתם מסודרים.
ניו יורק, נכון?
02:45
New York, right?
61
153136
1044
אבל יש סיפור מאחורי המידע.
02:46
But there's a story behind this data.
62
154180
1762
המידע הזה לא היה זמין, מסתבר.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
זה למעשה הגיע ממשהו שנקרא
בקשה בהתאם לחוק חופש המידע,
בקשה בהתאם לחוק חופש המידע,
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
או בקשך FOIL.
02:53
or a FOIL Request.
65
161746
1076
זה טופס שאתם יכולים למצוא
באתר נציבות המוניות והלימוזינות.
באתר נציבות המוניות והלימוזינות.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
כדי לגשת למידע,
אתר צריכים להגיע לטופס הזה,
אתר צריכים להגיע לטופס הזה,
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
למלא אותו, והם יודיעו לכם,
03:01
fill it out, and they will notify you,
68
169114
1846
ובחור בשם כריס וונג עשה בדיוק את זה.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
כריס הלך, והם אמרו לו,
03:05
Chris went down, and they told him,
70
173090
1890
"פשוט תביא כונן קשיח חדש למשרד שלנו,
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
תשאיר אותו כמה שעות,
אנחנו נעתיק את המידע ותיקח אותו."
אנחנו נעתיק את המידע ותיקח אותו."
ומשם הגיע המידע.
03:13
And that's where this data came from.
73
181231
2032
עכשיו, כריס הוא סוג הבחור
שרוצה להפוך את המידע לציבורי,
שרוצה להפוך את המידע לציבורי,
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
וכך הוא הגיע לרשת לשימוש כולם,
ומשם הגיע הגרף.
ומשם הגיע הגרף.
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
והעובדה שזה קיים היא מדהימה.
מקלטי ה GPS האלה -- באמת מגניב.
מקלטי ה GPS האלה -- באמת מגניב.
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
אבל העובדה שיש לנו אזרחים
שמסתובבים עם כוננים קשיחים
שמסתובבים עם כוננים קשיחים
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
לקחת את המידע מסוכנות עירונית
כדי להפוך אות לציבורי --
כדי להפוך אות לציבורי --
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
זה היה כבר סוג של ציבורי,
יכולתם להגיע אליו,
יכולתם להגיע אליו,
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
זה היה "ציבורי," זה לא היה ציבורי.
03:33
but it was "public," it wasn't public.
80
201660
1812
ואנחנו יכולים לעשות יותר מזה כעיר.
03:35
And we can do better than that as a city.
81
203472
1962
אנחנו לא צריכים שהאזרחים שלנו
ילכו עם כוננים קשיחים.
ילכו עם כוננים קשיחים.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
עכשיו, לא כל סט מידע
נמצא מאחורי טופס FOIL.
נמצא מאחורי טופס FOIL.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
הנה מפה שיצרתי עם רוב
הצמתים המסוכנות בניו יורק
הצמתים המסוכנות בניו יורק
03:46
based on cyclist accidents.
85
214329
1878
בהתבסס על תאונות אופניים.
03:48
So the red areas are more dangerous.
86
216207
1939
אז האזורים האדומים הם יותר מסוכנים.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
ומה שהיא מראה זה ראשית
זה שבצד המזרחי של מנהטן,
זה שבצד המזרחי של מנהטן,
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
בעיקר החלק התחתון של מנהטן,
יש יותר תאונות אופניים,
יש יותר תאונות אופניים,
03:56
That might make sense
89
224310
1019
זה אולי הגיוני
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
מפני שיש יותר רוכבי אופניים
שמגיעים מהגשר שם.
שמגיעים מהגשר שם.
אבל יש נקודות חמות אחרות שכדאי לחקור.
04:00
But there's other hotspots worth studying.
91
228225
2014
הנה וויליאמסבורג.
יש את שדרת רוזוולט בקווינס.
יש את שדרת רוזוולט בקווינס.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
וזה בדיוק סוג המידע
שאנחנו צריכים בשביל חזון אפס.
שאנחנו צריכים בשביל חזון אפס.
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
זה בדיוק מה חיפשנו.
04:07
This is exactly what we're looking for.
94
235760
1990
אבל גם יש סיפור מאחורי המידע.
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
04:11
This data didn't just appear.
96
239885
2067
המידע הזה לא פשוט הופיע.
04:13
How many of you guys know this logo?
97
241952
2391
כמה מכם מכירים את הלוגו הזה?
04:16
Yeah, I see some shakes.
98
244343
1352
כן, אני רואה כמה הנהונים.
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
האם אי פעם ניסיתם להעתיק
ולהדביק מידע מקובץ PDF
ולהדביק מידע מקובץ PDF
04:20
and make sense of it?
100
248350
1357
ולהבין אותו?
04:21
I see more shakes.
101
249707
1060
אני רואה עוד הנהונים.
יותר מכם ניסו להעתיק ולהדביק
משהכירו את הלוגו הזה. אני אוהב את זה.
משהכירו את הלוגו הזה. אני אוהב את זה.
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
אז מה שקרה זה,
המידע שראיתם עכשיו היה למעשה ב PDF.
המידע שראיתם עכשיו היה למעשה ב PDF.
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
למעשה, מאות ומאות ומאות של דפים של PDF
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
ששוחררו על ידי משטרת ניו יורק שלנו,
04:32
put out by our very own NYPD,
105
260727
2159
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
וכדי לגשת אליו, הייתם צריכים
או להעתיק ולהדביק
או להעתיק ולהדביק
מאות על מאות של שעות,
04:38
for hundreds and hundreds of hours,
107
266038
1726
או שהייתם יכולים להיות ג'ון קראוס.
04:39
or you could be John Krauss.
108
267764
1344
04:41
John Krauss was like,
109
269108
1043
ג'ון קראוס היה כאילו,
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
אני לא עומד להעתיק ולהדביק
את המידע הזה, אני אכתוב תוכנה.
את המידע הזה, אני אכתוב תוכנה.
היא נקראת פלסטר ריסוק המידע
של משטרת ניו יורק,
של משטרת ניו יורק,
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
והיא נכנסת לאתר
משטרת ניו יורק ומורידה פי.די.אפים.
משטרת ניו יורק ומורידה פי.די.אפים.
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
כל יום היא היתה מחפשת;
אם היא מצאה PDF, היא היתה מורידה אותו
אם היא מצאה PDF, היא היתה מורידה אותו
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
ואז היא היתה מריצה תוכנת קריאת PDF,
04:56
and out would come the text,
115
284260
1336
והיה יוצא טקסט,
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
וזה היה עולה לאינטרנט,
ואז אנשים יכלו ליצור מפות כאלו.
ואז אנשים יכלו ליצור מפות כאלו.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
והעובדה שהמידע שם,
העובדה שיש לנו גישה אליו --
העובדה שיש לנו גישה אליו --
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
כל תאונה, דרך אגב, היא שורה בטבלה הזו.
05:07
You can imagine how many PDFs that is.
119
295040
1836
אתם יכולים לדמיין כמה קבצי PDF זה.
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
העובדה שיש לנו גישה לזה היא מעולה,
05:11
but let's not release it in PDF form,
121
299083
2110
אבל בואו לא נשחרר את זה בצורה של PDF,
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
מפני שאז אזרחים שלנו
יכתבו תוכנות קריאת PDF.
יכתבו תוכנות קריאת PDF.
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
זה לא השימוש הכי טוב לזמן האזרחים שלנו,
05:18
and we as a city can do better than that.
124
306008
2004
ואנחנו כעיר יכולים
לעשות את זה טוב יותר.
לעשות את זה טוב יותר.
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
עכשיו, החדשות הטובות הן
שהאדמיניסטרציה של דה בלאזיו
שהאדמיניסטרציה של דה בלאזיו
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
למעשה שחררה לאחרונה
את המידע הזה לפני כמה חודשים,
את המידע הזה לפני כמה חודשים,
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
וכך אנחנו יכולים למעשה לקבל גישה אליו,
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
אבל יש הרבה מידע שעדיין מוטמע ב PDF.
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
לדוגמה, מידע הפשיעה שלנו
עדיין זמין רק ב PDF,
עדיין זמין רק ב PDF,
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
ולא רק מידע פשיעה, תקציב העיר שלנו.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
תקציב העיר שלנו קריא כרגע רק ב PDF.
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
וזה לא רק אנחנו שלא יכולים לנתח אותו --
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
המחוקקים שלנו שמצביעים על התקציב
05:45
also only get it in PDF.
134
333751
1943
גם מקבלים אותו רק ב PDF.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
אז המחוקקים שלנו לא יכולים
לנתח את התקציב שהם מצביעים עליו.
לנתח את התקציב שהם מצביעים עליו.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
ואני חושב שכעיר אנחנו יכולים
לעשות גם מעט יותר מזה.
לעשות גם מעט יותר מזה.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
עכשיו, יש הרבה מידע שלא חבוי בפי.די.אפים.
05:57
This is an example of a map I made,
138
345634
1700
זו דוגמה למפה שיצרתי,
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
ואלו דרכי המים המלוכלכות ביותר בניו יורק.
06:02
Now, how do I measure dirty?
140
350260
1509
עכשיו, איך אתם מודדים לכלוך?
06:03
Well, it's kind of a little weird,
141
351769
1857
ובכן, זה סוג של מעט מוזר,
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
אבל הבטתי ברמה של קוליפורמים צואתיים,
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
שזה המידה של חומר צואתי
בכל אחת מדרכי המים שלנו.
בכל אחת מדרכי המים שלנו.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
ככל שהמעגל גדול יותר, גוף המים מזוהם יותר,
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
אז המעגלים הגדולים הם מים מלוכלכים,
העיגולים הקטנים נקיים יותר.
העיגולים הקטנים נקיים יותר.
06:17
What you see is inland waterways.
146
365876
1644
מה שאתם רואים הם דרכי מים פנימיות.
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
זה כל המידע שנדגם על ידי העיר
במהלך חמש השנים האחרונות.
במהלך חמש השנים האחרונות.
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
ודרכי מים פנימיות הן, באופן כללי,
מלוכלכות יותר.
מלוכלכות יותר.
06:25
That makes sense, right?
149
373618
1218
זה הגיוני, נכון?
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
והעיגולים הגדולים מלוכלכים יותר.
ולמדתי כמה דברים מזה.
ולמדתי כמה דברים מזה.
מספר אחת: לעולם אל תשחו בשום דבר
שמסתיים ב"ערוץ" או "תעלה."
שמסתיים ב"ערוץ" או "תעלה."
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
אבל מספר שתיים: מצאתי גם
את מעבר המים הכי מלוכלך בניו יורק,
את מעבר המים הכי מלוכלך בניו יורק,
06:37
by this measure, one measure.
153
385692
1834
לפי המידה הזו, מידה אחת.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
בערוץ אי קוני, שהוא לא אי קוני
שאתם שוחים בו, למרבה המזל.
שאתם שוחים בו, למרבה המזל.
זה בצד השני.
06:43
It's on the other side.
155
391174
1158
אבל ערוץ האי קוני, 94 אחוז מהדגימות
שנלקחו במשך חמש השנים האחרונות
שנלקחו במשך חמש השנים האחרונות
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
06:48
have had fecal levels so high
157
396210
2157
הכילו רמות גבוהות כל כך של חומר צואתי
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
שזה היה מנוגד לחוקי המדינה לשחות במים.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
וזה לא סוג של עובדה שאתם תראו
06:56
boasted in a city report, right?
160
404189
1537
שמתגאים בה בדו"ח העירוני, נכון?
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
זה לא יהיה בעמוד הראשון של nyc.gov.
06:59
You're not going to see it there,
162
407976
1580
אתם לא תראו את זה שם,
אבל העובדה שאנחנו יכולים לקבל
את המידע הזה היא מדהימה.
את המידע הזה היא מדהימה.
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
07:04
But once again, it wasn't super easy,
164
412074
1773
אבל שוב, זה לא היה סופר קל,
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
מפני שהמידע הזה לא היה
בפורטל המידע הפתוח.
בפורטל המידע הפתוח.
אם הייתם הולכים
לפורטל המידע הפתוח,
לפורטל המידע הפתוח,
07:08
If you were to go to the open data portal,
166
416205
2013
הייתם רואים רק חלקים מזה,
שנה או כמה חודשים.
שנה או כמה חודשים.
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
זה היה למעשה באתר המחלקה להגנה על הסביבה.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
וכל אחד מהקישורים האלה
הוא דף אקסל, וכל דף אקסל שונה.
הוא דף אקסל, וכל דף אקסל שונה.
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
כל כותרת שונה: אתם מעתיקים,
מדביקים, מארגנים מחדש.
מדביקים, מארגנים מחדש.
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
כשאתם עושים את זה אתם יכולים
ליצור מפות וזה מעולה, אבל שוב,
ליצור מפות וזה מעולה, אבל שוב,
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
אנחנו יכלים לעשות יותר טוב מזה כעיר,
אנחנו יכולים לנרמל את הדברים.
אנחנו יכולים לנרמל את הדברים.
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
ואנחנו מגיעים לשם, מפני שיש
את האתר הזה שסוקרטה עושים
את האתר הזה שסוקרטה עושים
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
שנקרא פורטל המידע הפתוח של העיר ניו יורק.
פה יש 1100 מערכי מידע שלא סובלים
07:32
called the Open Data Portal NYC.
174
440034
1541
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
מהדברים שכרגע סיפרתי לכם עליהם,
והמספר הזה גדל וזה מעולה.
07:35
from the things I just told you live,
176
443832
1781
אתם יכולים להוריד מידע בכל פורמט,
אם זה CSV או PDF או אקסל.
אם זה CSV או PDF או אקסל.
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
מה שאתם רוצים, אתם יכולים
להוריד את המידע כך.
להוריד את המידע כך.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
הבעיה היא, ברגע שאתם עושים זאת,
07:45
The problem is, once you do,
180
453720
1352
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
אתם מגלים שכל סוכנות מקודדת
את הכתובות שלהם באופן שונה.
את הכתובות שלהם באופן שונה.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
אז שם אחד של רחוב, רחוב צומת,
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
רחוב, רובע, כתובת, בניין, כתובת של בנין.
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
אז שוב, אתם מבלים זמן,
אפילו כשיש לנו את הפורטל הזה,
אפילו כשיש לנו את הפורטל הזה,
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
אתם מבלים זמן בלנרמל את שדות הכתובת.
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
וזה לא השימוש הכי טוב
בזמן של האזרחים שלנו.
בזמן של האזרחים שלנו.
08:03
We can do better than that as a city.
187
471599
1796
אנחנו יכולים לעשות טוב יותר מזה כעיר.
08:05
We can standardize our addresses,
188
473395
1645
אנחנו יכולים לעשות תקן של כתובות,
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
ואם נעשה זאת, אנחנו יכולים
לקבל עוד מפות כמו זו.
לקבל עוד מפות כמו זו.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
זו מפה של ברזי הכיבוי בעיר ניו יורק.
08:11
but not just any fire hydrants.
191
479510
1531
אבל לא סתם ברזי כיבוי.
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
אלה 250 ברזי הכיבוי עם מירב דו"חות החנייה.
08:17
(Laughter)
193
485767
1986
(צחוק)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
אז למדתי כמה דברים מהמפה הזו,
ואני באמת אוהב את המפה הזו.
ואני באמת אוהב את המפה הזו.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
מספר אחת, פשוט על תחנו בחלק העליון המזרחי.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
פשוט אל. זה לא משנה איפה אתם חונים,
אתם תקבלו דו"ח על ברז כיבוי.
אתם תקבלו דו"ח על ברז כיבוי.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
מספר שתיים, מצאתי את שני ברזי הכיבוי
עם הממוצע הכי גבוה בכל העיר ניו יורק.
עם הממוצע הכי גבוה בכל העיר ניו יורק.
08:33
and they're on the Lower East Side,
198
501253
1886
והם בחלק התחתון המזרחי,
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
והם הכניסו יותר מ 55,000 דולר
כל שנה מדו"חות חניה.
כל שנה מדו"חות חניה.
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
וזה נראה לי מעט משונה כשהבחנתי בזה,
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
אז עשיתי מחקר קטן ומסתבר
שמה שיש לכם זה ברז כיבוי
שמה שיש לכם זה ברז כיבוי
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
ואז משהו שנקרא הרחבת מדרכה,
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
וזה משהו כמו שני מטר ללכת עליו,
08:50
and then a parking spot.
204
518299
1156
ואז מקום חניה.
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
וכך המכוניות מגיעות, וברז הכיבוי --
"הוא שם רחוק, אני בסדר,"
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
והיה למעשה מקום חניה צבוע יפה בשבילם.
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
הם היו חונים שם, ומשטרת ניו יורק
לא הסכימה עם ההגדרה
לא הסכימה עם ההגדרה
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
והיתה נותנת להם דו"ח.
וז לא רק אני שמצאתי דו"ח חניה.
09:02
and would ticket them.
209
530249
1058
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
זה גוגל סטריט וויו של מכונית שעברה
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
ומצאה את אותו דו"ח חניה.
09:07
finding the same parking ticket.
212
535797
1617
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
אז כתבתי על זה בבלוג שלי,
ב I Quant NY, ומחלקת התבורה הגיבה,
ב I Quant NY, ומחלקת התבורה הגיבה,
09:13
and they said,
214
541918
1020
והם אמרו,
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
"בעוד מחלקת התחבורה
לא קיבלה כל תלונה על המיקום הזה,
לא קיבלה כל תלונה על המיקום הזה,
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
אנחנו נבדוק את סימוני הכביש
ונעשה את השינויים הדרושים."
ונעשה את השינויים הדרושים."
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
וחשבתי לעצמי, תגובה ממשלתית טיפוסית,
09:25
all right, moved on with my life.
218
553849
1881
בסדר, והמשכתי בחיי.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
אבל אז, כמה שבועות מאוחר יותר,
משהו מדהים קרה.
משהו מדהים קרה.
09:31
They repainted the spot,
220
559700
2520
הם צבעו מחדש את הנקודה,
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
ולשניה חשבתי שראיתי
את העתיד של המידע הפתוח,
את העתיד של המידע הפתוח,
09:36
because think about what happened here.
222
564910
2000
מפני שחשבו על מה שקרה פה.
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
במשך חמש שנים, המיקום הזה
קיבל דו"חות, והיה מבלבל,
קיבל דו"חות, והיה מבלבל,
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
ואז אזרח מצא משהו,
אמר לעיר, ותוך כמה שבועות
אמר לעיר, ותוך כמה שבועות
09:48
the problem was fixed.
225
576316
1294
הבעיה נפתרה.
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
זה מדהים. והרבה אנשים רואים
מידע פתוח ככלב השמירה.
מידע פתוח ככלב השמירה.
09:52
It's not, it's about being a partner.
227
580810
1772
זה לא, זה להיות שותף.
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
אנחנו יכולים לתת כוח לאזרחים שלנו
להיות שותפים טובים יותר של הממשל,
להיות שותפים טובים יותר של הממשל,
09:57
and it's not that hard.
229
585720
1881
וזה לא כזה קשה.
09:59
All we need are a few changes.
230
587601
1459
כל מה שאנחנו צריכים זה כמה שינויים.
10:01
If you're FOILing data,
231
589060
1107
אם אתם משתמשים במידע של ,FOIL
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
אם אתם רואים את המידע שלכם
בשימוש FOIL שוב ושוב,
בשימוש FOIL שוב ושוב,
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
בואו נשחרר אותו לציבור,
זה סימן שהוא צריך להיות זמין לציבור.
זה סימן שהוא צריך להיות זמין לציבור.
ואם אתם סוכנות ממשלתית שמשרחררת PDF,
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
בואו נעביר חקיקה שדורשת מכם
לשחרר את המידע המקורי,
לשחרר את המידע המקורי,
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
מפני שהמידע הזה מגיע מהיכן שהוא.
אני לא יודע מאיפה,
אבל זה מגיע ממקום כלשהו,
אבל זה מגיע ממקום כלשהו,
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
ואתם יכולים לשחרר אותו עם PDF.
10:19
and you can release it with the PDF.
238
607249
1725
ובואו נאמץ ונחלוק כמה מהסטנדרטים
של המידע הפתוח.
של המידע הפתוח.
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
בואו נתחיל עם הכתובות שלנו
פה בעיר ניו יורק.
פה בעיר ניו יורק.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
בואו פשוט נתחיל לנרמל את הכתובות.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
מפני שניו יורק היא מובילה במידע פתוח.
10:27
Because New York is a leader in open data.
242
615940
2062
למרות כל זה,
אנחנו לגמרי מובילים במידע פתוח,
אנחנו לגמרי מובילים במידע פתוח,
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
ואם נתחיל לנרמל דברים
ונקבע סטנדרט מידע פתוח,
ונקבע סטנדרט מידע פתוח,
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
אחרים יעקבו. המדינה תעקוב אחרינו,
ואולי אפילו הממשל הפדרלי.
ואולי אפילו הממשל הפדרלי.
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
ואני יודע שזה מטורף אבל
מדינות אחרות יכולות ללכת בעקבותינו,
מדינות אחרות יכולות ללכת בעקבותינו,
ואנחנו לא כל כך רחוקים מהזמן
בו תוכלו לכתוב תוכנה אחת
בו תוכלו לכתוב תוכנה אחת
10:39
Other countries could follow,
246
627546
1445
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
ולמפות מידע מ 100 מדינות.
10:44
and map information from 100 countries.
248
632402
1890
זה לא מדע בדיוני. אנחנו למעשה די קרובים.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
ודרך אגב, למי אנחנו נותנים כוח עם זה?
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
מפני שזה לא רק ג'ון קראוס
וזה לא רק כריס וונג.
וזה לא רק כריס וונג.
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
יש מאות מפגשים שמתרחשים בניו יורק עכשיו,
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
מפגשים אקטיביים.
10:57
active meetups.
253
645119
1025
יש אלפי אנשים שמשתתפים במפגשים האלה.
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
האנשים האלה באים אחרי העבודה ובסופי שבוע,
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
והם משתתפים במפגשים האלה
כדי להביט במידע פתוח
כדי להביט במידע פתוח
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
ולהפוך את העיר שלנו למקום טוב יותר.
11:05
and make our city a better place.
257
653720
1640
קבוצות כמו BetaNYC, שרק שבוע שעבר
שיחררו משהו שנקרא citygram.nyc
שיחררו משהו שנקרא citygram.nyc
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
שמאפשר לכם להרשם ל 311 תלונות
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
מסביב לבית שלכם, או מסביב למשרד שלכם.
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
אם תשימו את הכתובת שלכם,
תקבלו תלונות מקומיות.
תקבלו תלונות מקומיות.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
וזה לא רק הקהילה הטכנולוגית
שעוקבות אחרי הדברים האלה.
שעוקבות אחרי הדברים האלה.
זה מתכננים עירוניים כמו
הסטודנטים שאני מלמד בפראט.
הסטודנטים שאני מלמד בפראט.
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
זה עורכי דין של מדיניות, זה כולם,
11:24
It's policy advocates, it's everyone,
264
672071
1919
זה אזרחים מסט מגוון של רקעים.
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
11:28
And with some small, incremental changes,
266
676553
2786
ועם כמה שינויים מוספים קטנים,
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
אנחנו יכולים לשחרר את התשוקה
והיכולת של האזרחים שלנו
והיכולת של האזרחים שלנו
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
לרתום מידע פתוח ולהפוך
את העיר שלנו לאפילו טובה יותר,
את העיר שלנו לאפילו טובה יותר,
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
בין אם זה סט מידע, או מקום חניה כל פעם.
11:41
Thank you.
270
689346
2322
תודה לכם.
11:43
(Applause)
271
691668
3305
(מחיאות כפיים)
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com