TEDxNewYork
Ben Wellington: How we found the worst place to park in New York City -- using big data
بين ويلينقتون: كيف اكتشفنا أسوء موقف سيارات في مدينة نيويورك باستخدام البيانات مفتوحة المصدر.
Filmed:
Readability: 3.7
1,055,247 views
وكالات المدينة تستطيع الوصول الى بيانات واحصائيات غنية عن أي جزء في الحياة المتحضرة. ولكن كما يقترح محلل البيانات بين ويلينقتنون في هذا الحديث المسلي، أحياناً هم لا يعرفون ماذا يفعلون بهذه البيانات. يستعرض بين كيف أن مجموعة من الأسئلة الغير متوقعة و هضم ذكي لهكذا بيانات يمكن أن يؤدي بشكل غير متوقع الى رؤية ونصائح تتم مشاركتها عن كيفة نشر البيانات الضخمة بطريقه تتيح لأي أحد الإستفادة منها.
Ben Wellington - Data scientist
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Ben Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data. Full bio
Double-click the English transcript below to play the video.
00:12
Six thousand miles of road,
0
711
2820
ستة آلاف ميل من الطرق،
00:15
600 miles of subway track,
1
3531
2203
ستمائة ميل من سكك قطارات الأنفاق،
00:17
400 miles of bike lanes
2
5734
1644
أربعمائة ميل من مسارات للدراجات
00:19
and a half a mile of tram track,
3
7378
1821
ونصف ميل من سكة الترام
00:21
if you've ever been to Roosevelt Island.
4
9199
1953
إذا قمت بزيارة جزيرة روزفيلت من قبل.
00:23
These are the numbers that make up
the infrastructure of New York City.
the infrastructure of New York City.
5
11152
3334
تمثل هذه الأرقام
البنية التحتية لمدينة نيويورك
البنية التحتية لمدينة نيويورك
00:26
These are the statistics
of our infrastructure.
of our infrastructure.
6
14486
2619
هذه هي إحصائيات البنية التحتية لمدينتنا.
00:29
They're the kind of numbers you can find
released in reports by city agencies.
released in reports by city agencies.
7
17105
3706
وهي الأرقام التي تَنشر
في التقارير الحكومية.
في التقارير الحكومية.
00:32
For example, the Department
of Transportation will probably tell you
of Transportation will probably tell you
8
20811
3199
مثلاً مكتب المواصلات قد يخبرك عن
00:36
how many miles of road they maintain.
9
24010
1781
عدد الأميال التي يتم صيانتها.
00:37
The MTA will boast how many miles
of subway track there are.
of subway track there are.
10
25791
2821
إدارة النقل ستتفاخر بطول سكة الأنفاق.
00:40
Most city agencies give us statistics.
11
28612
1807
معظم إدارات المدينة تزودنا بالإحصائيات
00:42
This is from a report this year
12
30419
1483
هذا من تقرير السنة الحالية
00:43
from the Taxi and Limousine Commission,
13
31902
1892
من لجنة سيارات الأجرة
00:45
where we learn that there's about
13,500 taxis here in New York City.
13,500 taxis here in New York City.
14
33794
3276
حيث نجد ان هنالك حوالي 13,500 سيارة أجرة
هنا في نيويورك
هنا في نيويورك
00:49
Pretty interesting, right?
15
37070
1290
مثير للإهتمام, صحيح؟
00:50
But did you ever think about
where these numbers came from?
where these numbers came from?
16
38360
2784
لكن هل حدث و أن تساءلتم
عن مصدر هذه الأرقام؟
عن مصدر هذه الأرقام؟
00:53
Because for these numbers to exist,
someone at the city agency
someone at the city agency
17
41144
2903
حتى توجد مثل هذه الأرقام، لابد
لشخص ما في مكتب المدينة
لشخص ما في مكتب المدينة
00:56
had to stop and say, hmm, here's a number
that somebody might want want to know.
that somebody might want want to know.
18
44047
3880
أن يتفكر في لحظة و يقول، "مممم، هذا رقم
قد يرغب البعض بمعرفته.
قد يرغب البعض بمعرفته.
00:59
Here's a number
that our citizens want to know.
that our citizens want to know.
19
47927
2250
هذا رقم يريد سكان مدينتنا الإلمام به."
01:02
So they go back to their raw data,
20
50177
1830
فيعودون للبيانات الأولية،
01:04
they count, they add, they calculate,
21
52007
1797
فيحصون ويضيفون و يحسبون،
01:05
and then they put out reports,
22
53804
1467
و من ثم يحررون التقارير،
01:07
and those reports
will have numbers like this.
will have numbers like this.
23
55271
2177
وهذه التقارير تحوي أرقاماً كهذه.
01:09
The problem is, how do they know
all of our questions?
all of our questions?
24
57448
2540
المشكلة هي كيف يعلمون بكل أسئلتنا؟
01:11
We have lots of questions.
25
59988
1243
لدينا الكثير من الأسئلة.
01:13
In fact, in some ways there's literally
an infinite number of questions
an infinite number of questions
26
61231
3340
في الحقيقة و بشكل ما هناك حرفيا
عدد لا نهائي من الأسئلة
عدد لا نهائي من الأسئلة
01:16
that we can ask about our city.
27
64571
1649
التي يمكن أن نسألها عن مدينتا.
01:18
The agencies can never keep up.
28
66220
1475
لا تستطيع الإدارات مجاراتها.
01:19
So the paradigm isn't exactly working,
and I think our policymakers realize that,
and I think our policymakers realize that,
29
67695
4056
إذاً هذا النموذج غير ناجح،
واعتقد أن صانعي القرار يعلمون ذلك،
واعتقد أن صانعي القرار يعلمون ذلك،
01:23
because in 2012, Mayor Bloomberg
signed into law what he called
signed into law what he called
30
71751
3959
في عام 2012 وقع العمدة
بلومبيرج قانونا ما سماه
بلومبيرج قانونا ما سماه
01:27
the most ambitious and comprehensive
open data legislation in the country.
open data legislation in the country.
31
75710
3837
تشريع البيانات المفتوحة
الأكثر طموحا وشمولا في البلد.
الأكثر طموحا وشمولا في البلد.
01:31
In a lot of ways, he's right.
32
79547
1573
وهو على حق في أغلب النواحي.
01:33
In the last two years,
the city has released 1,000 datasets
the city has released 1,000 datasets
33
81120
2861
في السنتين الماضيتين نشرت المدينة
1000 مجموعة بيانات
1000 مجموعة بيانات
01:35
on our open data portal,
34
83981
1610
متاحة على بوابة إلكترونية مفتوحة،
01:37
and it's pretty awesome.
35
85591
1764
وهو شيء رائع جداً.
01:39
So you go and look at data like this,
36
87355
1968
فيكون بمقدورك الإطلاع على هكذا بيانات،
01:41
and instead of just counting
the number of cabs,
the number of cabs,
37
89323
2289
و بدلا عن مجرد حساب عدد سيارات الأجرة،
01:43
we can start to ask different questions.
38
91612
1943
يمكننا أن نسأل أسئلة مختلفة.
01:45
So I had a question.
39
93555
1200
فخطر لي سؤال.
01:46
When's rush hour in New York City?
40
94755
1701
متى تكون ساعة الذروة في نيويورك؟
01:48
It can be pretty bothersome.
When is rush hour exactly?
When is rush hour exactly?
41
96456
2581
وهو ماقد يزعج البعض
متى ساعة الذروة بالضبط؟
متى ساعة الذروة بالضبط؟
01:51
And I thought to myself,
these cabs aren't just numbers,
these cabs aren't just numbers,
42
99037
2625
وفكرت بأن سيارات الاجرة
هذه ليست مجرد أرقام
هذه ليست مجرد أرقام
01:53
these are GPS recorders
driving around in our city streets
driving around in our city streets
43
101662
2711
إنها بمثابة خرائط ملاحة
تسير في شوارع مدينتا
تسير في شوارع مدينتا
01:56
recording each and every ride they take.
44
104373
1913
سجلات تحوي كل طريق يسلكونه
01:58
There's data there,
and I looked at that data,
and I looked at that data,
45
106286
2322
إنها بيانات،
و قد نظرت الى تلك البيانات،
و قد نظرت الى تلك البيانات،
02:00
and I made a plot of the average speed of
taxis in New York City throughout the day.
taxis in New York City throughout the day.
46
108608
3961
ودونت معدل سرعة
سيارة الاجرة في مدينة نيويورك طوال اليوم.
سيارة الاجرة في مدينة نيويورك طوال اليوم.
02:04
You can see that from about midnight
to around 5:18 in the morning,
to around 5:18 in the morning,
47
112569
3412
تشاهدون أنه تقريبا
من منتصف الليل الى 5:18 صباحا،
من منتصف الليل الى 5:18 صباحا،
02:07
speed increases, and at that point,
things turn around,
things turn around,
48
115981
3563
تزداد السرعة،
وعند هذه النقطة، تنعكس القراءة
وعند هذه النقطة، تنعكس القراءة
02:11
and they get slower and slower and slower
until about 8:35 in the morning,
until about 8:35 in the morning,
49
119544
3962
حيث تقل السرعة تدريجياً حتى 8:35 صباحاً،
02:15
when they end up at around
11 and a half miles per hour.
11 and a half miles per hour.
50
123506
2693
حيث يقل المعدل ليصل إلى 11.5 ميل/الساعة.
02:18
The average taxi is going 11 and a half
miles per hour on our city streets,
miles per hour on our city streets,
51
126199
3562
متوسط سرعة سيارات الأجرة في شوارع مدينتا
هو 11.5 ميل في الساعة،
هو 11.5 ميل في الساعة،
02:21
and it turns out it stays that way
52
129761
1987
ويتضح أن ذلك المعدل يبقى ثابتاً
02:23
for the entire day.
53
131748
3368
لبقية اليوم.
02:27
(Laughter)
54
135116
1373
(ضحك)
02:28
So I said to myself, I guess
there's no rush hour in New York City.
there's no rush hour in New York City.
55
136489
3180
فقلت لنفسي أعتقد أنه لا توجد
ساعة ذروة في نيويورك.
ساعة ذروة في نيويورك.
02:31
There's just a rush day.
56
139669
1537
بل هناك يوم ذروة.
02:33
Makes sense. And this is important
for a couple of reasons.
for a couple of reasons.
57
141206
2850
ذلك منطقي. وهذا شي ضروري لسببين.
02:36
If you're a transportation planner,
this might be pretty interesting to know.
this might be pretty interesting to know.
58
144056
3637
لو كنت مسؤول تخطيط في النقل
سيبدو ذلك مهماً لمعرفته.
سيبدو ذلك مهماً لمعرفته.
02:39
But if you want to get somewhere quickly,
59
147693
1975
ولكن إذا ما أردت الذهاب سريعاً لمكان ما،
02:41
you now know to set your alarm for
4:45 in the morning and you're all set.
4:45 in the morning and you're all set.
60
149668
3468
الآن تعرف أنه يجب ضبط المنبة
الساعة 4:45 صباحاً لتكون مستعداً.
الساعة 4:45 صباحاً لتكون مستعداً.
02:45
New York, right?
61
153136
1044
نيويورك، أليس كذلك؟
02:46
But there's a story behind this data.
62
154180
1762
ولكن هناك قصة وراء هذه البيانات.
02:47
This data wasn't
just available, it turns out.
just available, it turns out.
63
155942
2185
إتضح أن هذه البيانات ليست متاحة.
02:50
It actually came from something called
a Freedom of Information Law Request,
a Freedom of Information Law Request,
64
158127
3619
في الواقع هي تأتي من
قانون طلب تحرير المعلومات،
قانون طلب تحرير المعلومات،
02:53
or a FOIL Request.
65
161746
1076
أو يختصر إلى FOIL.
02:54
This is a form you can find on the
Taxi and Limousine Commission website.
Taxi and Limousine Commission website.
66
162822
3466
هذا نموذج متوفر
على موقع لجنة سيارات الأجرة والليموزين.
على موقع لجنة سيارات الأجرة والليموزين.
02:58
In order to access this data,
you need to go get this form,
you need to go get this form,
67
166288
2826
لتحصل على معلومات كهذه
يجب عليك ملء هذا النموذج،
يجب عليك ملء هذا النموذج،
03:01
fill it out, and they will notify you,
68
169114
1846
وتقديم الطلب، وهم سيبلغونك لاحقاً.
03:02
and a guy named Chris Whong
did exactly that.
did exactly that.
69
170960
2130
وهناك شاب إسمه كريس وونق
قام تماماً بذلك.
قام تماماً بذلك.
03:05
Chris went down, and they told him,
70
173090
1890
كريس قدم الطلب وردوا عليه،
03:06
"Just bring a brand new hard drive
down to our office,
down to our office,
71
174980
2827
فقط أحضر معك قرصا
صلبا جديدا إلى مكتبنا
صلبا جديدا إلى مكتبنا
03:09
leave it here for five hours,
we'll copy the data and you take it back."
we'll copy the data and you take it back."
72
177807
3424
أتركه لمدة 5 ساعات،
سنقوم بنسخ البيانات و من ثم نعيده لك".
سنقوم بنسخ البيانات و من ثم نعيده لك".
03:13
And that's where this data came from.
73
181231
2032
ومن هنا، أتت هذه البيانات.
03:15
Now, Chris is the kind of guy
who wants to make the data public,
who wants to make the data public,
74
183263
3005
كريس هو ممن يريدون
إتاحة هذه البيانات للعامة.
إتاحة هذه البيانات للعامة.
03:18
and so it ended up online for all to use,
and that's where this graph came from.
and that's where this graph came from.
75
186268
3784
تم نشر هذه البيانات على الإنترنت للعامة،
ومنها تم رسم هذا المخطط..
ومنها تم رسم هذا المخطط..
03:22
And the fact that it exists is amazing.
These GPS recorders -- really cool.
These GPS recorders -- really cool.
76
190052
3518
كون هذه المعلومات متاحة شيء مذهل.
مسجلات المواقع الملاحية هذه رائعة حقا.
مسجلات المواقع الملاحية هذه رائعة حقا.
03:25
But the fact that we have citizens
walking around with hard drives
walking around with hard drives
77
193570
3118
ولكن كون هناك مواطنين
يتجولون حاملين أقراص صلبه،
يتجولون حاملين أقراص صلبه،
03:28
picking up data from city agencies
to make it public --
to make it public --
78
196688
2582
يجمعون البيانات
من وكالات المدينة بغرض نشرها للعامة،
من وكالات المدينة بغرض نشرها للعامة،
03:31
it was already kind of public,
you could get to it,
you could get to it,
79
199270
2390
والتي أساسا هي بيانات عامة
يمكنك الوصول إليها،
يمكنك الوصول إليها،
03:33
but it was "public," it wasn't public.
80
201660
1812
ولكنها "عامة"، ولكن ليس تماماً.
03:35
And we can do better than that as a city.
81
203472
1962
ونستطيع تقديم أفضل من ذلك كمدينة.
03:37
We don't need our citizens
walking around with hard drives.
walking around with hard drives.
82
205434
2756
لا نحتاج إلى مواطنينا
يتجولون حاملين أقراص صلبة.
يتجولون حاملين أقراص صلبة.
03:40
Now, not every dataset
is behind a FOIL Request.
is behind a FOIL Request.
83
208190
2337
الآن، ليست كل البيانات متاحة
من خلال نموذج الطلب FOIL.
من خلال نموذج الطلب FOIL.
03:42
Here is a map I made with the most
dangerous intersections in New York City
dangerous intersections in New York City
84
210527
3802
هنا خريطة قمت بإنشائها توضح
أكثر التقاطعات خطورة في نيويورك
أكثر التقاطعات خطورة في نيويورك
03:46
based on cyclist accidents.
85
214329
1878
إٍستنادا على حوادث الدراجات الهوائية.
03:48
So the red areas are more dangerous.
86
216207
1939
حيث أن النقاط الحمراء هي الأكثر خطورة.
03:50
And what it shows is first
the East side of Manhattan,
the East side of Manhattan,
87
218146
2553
و ما توضحه هو،
الجانب الشرقي من مدينة "مانهاتن"
الجانب الشرقي من مدينة "مانهاتن"
03:52
especially in the lower area of Manhattan,
has more cyclist accidents.
has more cyclist accidents.
88
220699
3611
خصوصا الجانب السفلي من "مانهاتن"،
يحوي الجزء الأكبر من حوادث الدراجات.
يحوي الجزء الأكبر من حوادث الدراجات.
03:56
That might make sense
89
224310
1019
قد يبدو ذلك منطقياً.
03:57
because there are more cyclists
coming off the bridges there.
coming off the bridges there.
90
225329
2896
لأن هناك دراجات أكثر تعبر الجسور هناك.
04:00
But there's other hotspots worth studying.
91
228225
2014
ولكن هناك نقطة حرجة أخرى تستحق الدراسة.
04:02
There's Williamsburg.
There's Roosevelt Avenue in Queens.
There's Roosevelt Avenue in Queens.
92
230239
2669
توجد ويليامسبيرغ وجادة روزفيلت في كوينز.
04:04
And this is exactly the kind of data
we need for Vision Zero.
we need for Vision Zero.
93
232908
2852
وهذا تحديداً مانحتاجه كرؤية مبدئية.
04:07
This is exactly what we're looking for.
94
235760
1990
هذا هو تماماً ما نبحث عنه.
04:09
But there's a story
behind this data as well.
behind this data as well.
95
237750
2135
و لكن توجد قصة لهذه البيانات كذلك.
04:11
This data didn't just appear.
96
239885
2067
هذه البيانات لم تظهر بالصدفة.
04:13
How many of you guys know this logo?
97
241952
2391
كم منكم يعرف هذا الشعار؟
04:16
Yeah, I see some shakes.
98
244343
1352
نعم، أرى البعض يهز رأسه موافقاً.
04:17
Have you ever tried to copy
and paste data out of a PDF
and paste data out of a PDF
99
245695
2655
هل حاولت نسخ ولصق بيانات من ملف بصيغة PDF
04:20
and make sense of it?
100
248350
1357
لتعرضها بشكل منطقي أكثر؟.
04:21
I see more shakes.
101
249707
1060
أرى المزيد ممن يوافق.
04:22
More of you tried copying and pasting
than knew the logo. I like that.
than knew the logo. I like that.
102
250767
3345
الكثير منكم جربوا النسخ و اللصق
أكثر من معرفة الشعار. أحب ذلك.
أكثر من معرفة الشعار. أحب ذلك.
04:26
So what happened is, the data
that you just saw was actually on a PDF.
that you just saw was actually on a PDF.
103
254112
3510
ما حدث هو أن البيانات التي رأيتموها
كانت في الأساس بصيغة بي دي إف.
كانت في الأساس بصيغة بي دي إف.
04:29
In fact, hundreds and hundreds
and hundreds of pages of PDF
and hundreds of pages of PDF
104
257622
3105
في الحقيقة، المئات و المئات و المئات
من صفحات البي دي إف
من صفحات البي دي إف
04:32
put out by our very own NYPD,
105
260727
2159
يتم نشرها بواسطة قسم شرطة نيوروك لوحده.
04:34
and in order to access it,
you would either have to copy and paste
you would either have to copy and paste
106
262886
3152
ولكي تحصل عليها، إما عليك النسخ واللصق
04:38
for hundreds and hundreds of hours,
107
266038
1726
لعدة مئات من الساعات.
أو يمكنكم أن تكونوا كجوهن كراوس.
04:39
or you could be John Krauss.
108
267764
1344
04:41
John Krauss was like,
109
269108
1043
قال جون كراوس،
04:42
I'm not going to copy and paste this data.
I'm going to write a program.
I'm going to write a program.
110
270151
3413
أنا لن يقوم بنسخ ولصق هذه البيانات،
ولكن سأقوم بانشاء تطبيق.
ولكن سأقوم بانشاء تطبيق.
04:45
It's called the NYPD Crash Data Band-Aid,
111
273564
2288
حيث يدعى المساعد في تفكيك
بيانات شرطة نيويورك.
بيانات شرطة نيويورك.
يذهب البرنامج لموقع شرطة نيويورك
الإلكتروني، ويقوم بتحميل ملفات بي دي إف.
الإلكتروني، ويقوم بتحميل ملفات بي دي إف.
04:47
and it goes to the NYPD's website
and it would download PDFs.
and it would download PDFs.
112
275852
3032
04:50
Every day it would search;
if it found a PDF, it would download it
if it found a PDF, it would download it
113
278884
3126
يبحث التطبيق يوميا و في حالة وجود ملف
بي دي إف يقوم البرنامج بتحميله.
بي دي إف يقوم البرنامج بتحميله.
04:54
and then it would run
some PDF-scraping program,
some PDF-scraping program,
114
282010
2250
وحينها يقوم التطبيق بتنفيذ مسح،
04:56
and out would come the text,
115
284260
1336
والمخرجات تكون عباره عن نص
04:57
and it would go on the Internet,
and then people could make maps like that.
and then people could make maps like that.
116
285596
3565
وينشره على الإنترنت.
حينها نستطيع عمل خرائط كهذه.
حينها نستطيع عمل خرائط كهذه.
05:01
And the fact that the data's here,
the fact that we have access to it --
the fact that we have access to it --
117
289161
3429
وبالمناسبة هذه البيانات التي حصلنا عليها
05:04
Every accident, by the way,
is a row in this table.
is a row in this table.
118
292590
2450
بالمناسبة، كل الحوادث مرتبة بطريقة أفقية
05:07
You can imagine how many PDFs that is.
119
295040
1836
ويمكن تخيل كمية الملفات بصيغة بي دي إف
05:08
The fact that we
have access to that is great,
have access to that is great,
120
296876
2207
حقيقة أنه يمكننا
الوصول لهذه البيانات لهو شيء عظيم،
الوصول لهذه البيانات لهو شيء عظيم،
05:11
but let's not release it in PDF form,
121
299083
2110
ولكن لنتوقف عن نشرها بملفات بي دي إف،
05:13
because then we're having our citizens
write PDF scrapers.
write PDF scrapers.
122
301193
2739
لأنه سيتوجب على المواطنين كتابة
برمجيات لهذه الملفات.
برمجيات لهذه الملفات.
05:15
It's not the best use
of our citizens' time,
of our citizens' time,
123
303932
2076
وهذا ليس الخيار الأفضل لوقت المواطنين،
05:18
and we as a city can do better than that.
124
306008
2004
كما أنه يمكننا كمدينة تقديم أفضل من ذلك.
05:20
Now, the good news is that
the de Blasio administration
the de Blasio administration
125
308012
2736
الآن، الخبر الجيد أن إدارة دي بلاسيو
05:22
actually recently released this data
a few months ago,
a few months ago,
126
310748
2532
أصدرت منذ فترة قريبة هذه البيانات،
05:25
and so now we can
actually have access to it,
actually have access to it,
127
313280
2158
والآن يمكننا الوصول إليها،
05:27
but there's a lot of data
still entombed in PDF.
still entombed in PDF.
128
315438
2536
ولكن هناك الكثير من البيانات
مدفونة في ملف بي دي إف.
مدفونة في ملف بي دي إف.
05:29
For example, our crime data
is still only available in PDF.
is still only available in PDF.
129
317974
3197
على سبيل المثال، سجل الجرائم
ما زال متوفرا فقط بصيغة بي دي إف.
ما زال متوفرا فقط بصيغة بي دي إف.
05:33
And not just our crime data,
our own city budget.
our own city budget.
130
321171
3755
وليس سجل الجرائم فقط
بل ميزانية المدينة أيضاً.
بل ميزانية المدينة أيضاً.
05:36
Our city budget is only readable
right now in PDF form.
right now in PDF form.
131
324926
3729
ميزانية المدينة يمكن قراءتها
فقط بصيغة بي دي إف.
فقط بصيغة بي دي إف.
05:40
And it's not just us
that can't analyze it --
that can't analyze it --
132
328655
2141
ولسنا الوحيدين الذين لا نستطيع تحليلها...
05:42
our own legislators
who vote for the budget
who vote for the budget
133
330796
2955
بل حتى المشرعين
الذين صوتوا على هذه الميزانية
الذين صوتوا على هذه الميزانية
05:45
also only get it in PDF.
134
333751
1943
أيضا تصلهم بصيغة بي دي إف فقط.
05:47
So our legislators cannot analyze
the budget that they are voting for.
the budget that they are voting for.
135
335694
3844
إذن، المشرعون لا يمكنهم
فهم الميزانية التي يصوتون عليها.
فهم الميزانية التي يصوتون عليها.
05:51
And I think as a city we can do
a little better than that as well.
a little better than that as well.
136
339538
3608
وحين أفكر كمدينة
يمكننا تحسين ذلك قليلاً بالطبع.
يمكننا تحسين ذلك قليلاً بالطبع.
05:55
Now, there's a lot of data
that's not hidden in PDFs.
that's not hidden in PDFs.
137
343146
2488
هناك العديد من البيانات
الغير محصورة بملفات بي دي إف.
الغير محصورة بملفات بي دي إف.
05:57
This is an example of a map I made,
138
345634
1700
هذا مثال لخريطة قمت بإنشائها،
05:59
and this is the dirtiest waterways
in New York City.
in New York City.
139
347334
2926
وهي تمثل
الممرات المائية الأقذر في نيويورك.
الممرات المائية الأقذر في نيويورك.
06:02
Now, how do I measure dirty?
140
350260
1509
الآن، كيف قمت بحساب تلوثها؟
06:03
Well, it's kind of a little weird,
141
351769
1857
ذلك يبدو غريباً بعض الشيء،
06:05
but I looked at the level
of fecal coliform,
of fecal coliform,
142
353626
2113
ولكنني بحثت في معدلات بيكتريا القولون،
06:07
which is a measurement of fecal matter
in each of our waterways.
in each of our waterways.
143
355739
3506
والتي تقيس معدل القاذورات
في كل من هذه الممرات.
في كل من هذه الممرات.
06:11
The larger the circle,
the dirtier the water,
the dirtier the water,
144
359245
3274
الدائرة الأكبر، تعني تلوث أكثر.
06:14
so the large circles are dirty water,
the small circles are cleaner.
the small circles are cleaner.
145
362519
3357
الدائرة الأكبر تمثل المياه الأكثر تلوثاً،
والأصغر هي أقل تلوثاً.
والأصغر هي أقل تلوثاً.
06:17
What you see is inland waterways.
146
365876
1644
ما ترونه هي الممرات الداخلية.
06:19
This is all data that was sampled
by the city over the last five years.
by the city over the last five years.
147
367520
3404
هذه البيانات أستخرجت من فحص عينات
قامت بها المدينة خلال 5 سنوات.
قامت بها المدينة خلال 5 سنوات.
06:22
And inland waterways are,
in general, dirtier.
in general, dirtier.
148
370924
2694
والممرات الداخلية تعتبر أكثر تلوثا.
06:25
That makes sense, right?
149
373618
1218
وذلك منطقي. أليس كذلك؟
06:26
And the bigger circles are dirty.
And I learned a few things from this.
And I learned a few things from this.
150
374836
3374
بالنسبة للدوائر الأكبر فهي ملوثة.
و قد تعلمت عدة أمور من هذه البيانات.
و قد تعلمت عدة أمور من هذه البيانات.
06:30
Number one: Never swim in anything
that ends in "creek" or "canal."
that ends in "creek" or "canal."
151
378210
3164
أولاً: لا تسبح في أي شيء
ينتهي بقناة أو جدول مائي.
ينتهي بقناة أو جدول مائي.
06:33
But number two: I also found
the dirtiest waterway in New York City,
the dirtiest waterway in New York City,
152
381374
4318
ولكن ثانياً:
وجدت أن أقذر ممر مائي في نيوروك،
وجدت أن أقذر ممر مائي في نيوروك،
06:37
by this measure, one measure.
153
385692
1834
من خلال هذه العينات.
06:39
In Coney Island Creek, which is not
the Coney Island you swim in, luckily.
the Coney Island you swim in, luckily.
154
387526
3648
في جدول كوني أيلند
وهو ليس الذي تسبحون فيه، لحسن الحظ.
وهو ليس الذي تسبحون فيه، لحسن الحظ.
06:43
It's on the other side.
155
391174
1158
إنه في الجهة المقابلة.
06:44
But Coney Island Creek, 94 percent
of samples taken over the last five years
of samples taken over the last five years
156
392332
3878
بالمناسبة 94٪ من العينات المأخوذة من
هذا الجدول خلال السنوات الخمس الماضية
هذا الجدول خلال السنوات الخمس الماضية
06:48
have had fecal levels so high
157
396210
2157
تحتوي على مستويات عالية جداً
06:50
that it would be against state law
to swim in the water.
to swim in the water.
158
398367
3093
مخالفة للقوانين
من حيث المستويات المسموح السباحة فيها.
من حيث المستويات المسموح السباحة فيها.
06:53
And this is not the kind of fact
that you're going to see
that you're going to see
159
401460
2729
وهذه ليست إحدى الحقائق التي يمكن أن تجدها
06:56
boasted in a city report, right?
160
404189
1537
في تقارير المدينة، أليس كذلك؟
06:57
It's not going to be
the front page on nyc.gov.
the front page on nyc.gov.
161
405726
2250
لن تجدها في موقع المدينة على الإنترنت.
06:59
You're not going to see it there,
162
407976
1580
سوف لن تجدها هناك،
07:01
but the fact that we can get
to that data is awesome.
to that data is awesome.
163
409556
2518
ولكن من الجيد أن نصل لهذه البيانات.
07:04
But once again, it wasn't super easy,
164
412074
1773
ولكن مرة أخرى، ذلك ليس سهلاً أبداً.
07:05
because this data was not
on the open data portal.
on the open data portal.
165
413847
2358
لأن هذه البيانات
ليست ضمن مصدر بيانات مفتوح.
ليست ضمن مصدر بيانات مفتوح.
07:08
If you were to go to the open data portal,
166
416205
2013
لو ذهبت الى البيانات العامة
07:10
you'd see just a snippet of it,
a year or a few months.
a year or a few months.
167
418218
2613
ستجد قصاصة منها، سنة أو عدة أشهر.
07:12
It was actually on the Department
of Environmental Protection's website.
of Environmental Protection's website.
168
420831
3390
في الواقع هذه البيانات
كانت في موقع إدارة حماية البيئة.
كانت في موقع إدارة حماية البيئة.
07:16
And each one of these links is an Excel
sheet, and each Excel sheet is different.
sheet, and each Excel sheet is different.
169
424221
3878
وكل هذه الروابط عباره عن ملفات
جداول حسابية وكل ملف مختلف.
جداول حسابية وكل ملف مختلف.
07:20
Every heading is different:
you copy, paste, reorganize.
you copy, paste, reorganize.
170
428099
2630
كل عنوان مختلف.
تقوم بنسخ ولسق وترتيب البيانات.
تقوم بنسخ ولسق وترتيب البيانات.
07:22
When you do you can make maps
and that's great, but once again,
and that's great, but once again,
171
430729
2952
حينها تستطيع عمل خرائط وهذا شيء عظيم.
ولكن أيضاً،
ولكن أيضاً،
07:25
we can do better than that
as a city, we can normalize things.
as a city, we can normalize things.
172
433681
2969
يمكن تقديم أقضل من ذلك.
يمكننا تعميم الأشياء.
يمكننا تعميم الأشياء.
07:28
And we're getting there, because
there's this website that Socrata makes
there's this website that Socrata makes
173
436650
3384
ونحن ندفع لذلك،
بسبب الموقع الذي أسسه ساكروتا
بسبب الموقع الذي أسسه ساكروتا
و يعرف بإسم بوابة البيانات
العامة لمدينة نيويورك.
العامة لمدينة نيويورك.
07:32
called the Open Data Portal NYC.
174
440034
1541
07:33
This is where 1,100 data sets
that don't suffer
that don't suffer
175
441575
2257
حيث توجد 1100 مجموعة بيانات خالية
07:35
from the things I just told you live,
176
443832
1781
من العيوب التي أخبرتكم بها مباشرة.
07:37
and that number is growing,
and that's great.
and that's great.
177
445613
2148
وهذا الرقم بازدياد، وهذا شيء عظيم.
07:39
You can download data in any format,
be it CSV or PDF or Excel document.
be it CSV or PDF or Excel document.
178
447761
3412
يمكنكم تحميل البيانات بأي صيغة،
سي إس في أو بي دي إف أو جداول.
سي إس في أو بي دي إف أو جداول.
07:43
Whatever you want,
you can download the data that way.
you can download the data that way.
179
451173
2547
أيها تريد، يمكنك الحصول على
البيانات بتلك الطريقة.
البيانات بتلك الطريقة.
07:45
The problem is, once you do,
180
453720
1352
المشكلة هي، حين تفعل ذلك،
07:47
you will find that each agency
codes their addresses differently.
codes their addresses differently.
181
455072
3686
ستجد أن كل إدارة لديها
ترميز مختلف لعناوينها.
ترميز مختلف لعناوينها.
07:50
So one is street name,
intersection street,
intersection street,
182
458758
2141
حيث مرة يكون اسم الشارع وتقاطع الشوارع
07:52
street, borough, address, building,
building address.
building address.
183
460899
2491
الشارع والبلدة والعنوان
والمبنى وعنوان المبنى.
والمبنى وعنوان المبنى.
07:55
So once again, you're spending time,
even when we have this portal,
even when we have this portal,
184
463390
3180
إذن مرة أخرى
ستقضي الوقت رغم توفر هذه البوابة
ستقضي الوقت رغم توفر هذه البوابة
07:58
you're spending time
normalizing our address fields.
normalizing our address fields.
185
466570
2606
تقضي الوقت لتسوية خانات العنوان.
08:01
And that's not the best use
of our citizens' time.
of our citizens' time.
186
469176
2423
و هذا تضييع لوقت المواطنين.
08:03
We can do better than that as a city.
187
471599
1796
يمكننا فعل أفضل من ذلك كمدينة.
08:05
We can standardize our addresses,
188
473395
1645
يمكننا توحيد العناوين.
08:07
and if we do,
we can get more maps like this.
we can get more maps like this.
189
475040
2185
حينها يمكننا الحصول على خرائط أكثر كهذه.
08:09
This is a map of fire hydrants
in New York City,
in New York City,
190
477225
2285
هذه خرائط لحنفيات الحريق في نيويورك،
08:11
but not just any fire hydrants.
191
479510
1531
ولكن ليس كل الحنفيات.
08:13
These are the top 250 grossing fire
hydrants in terms of parking tickets.
hydrants in terms of parking tickets.
192
481041
4726
هذه أعلى 250 حنفية على الاطلاق
من حيث مخالفات مواقف السيارات.
من حيث مخالفات مواقف السيارات.
08:17
(Laughter)
193
485767
1986
(ضحك)
08:19
So I learned a few things from this map,
and I really like this map.
and I really like this map.
194
487753
3358
لقد تعلمت عدة أشياء من هذه الخريطة.
08:23
Number one, just don't park
on the Upper East Side.
on the Upper East Side.
195
491111
2402
أولاً: لا تركن السيارة في
الجزء الشمالي الشرقي.
الجزء الشمالي الشرقي.
08:25
Just don't. It doesn't matter where
you park, you will get a hydrant ticket.
you park, you will get a hydrant ticket.
196
493513
3587
فقط لاتفعل. لا يهم أين توقف سيارتك سوف
تحصل على مخالفة متعلقه بحنفيات الحريق.
تحصل على مخالفة متعلقه بحنفيات الحريق.
08:29
Number two, I found the two highest
grossing hydrants in all of New York City,
grossing hydrants in all of New York City,
197
497100
4153
ثانياً: وجدت أكثر حنفيتان على
الإطلاق في نيويورك
الإطلاق في نيويورك
08:33
and they're on the Lower East Side,
198
501253
1886
وتقعان في الجنوب الشرقي من المدينة،
08:35
and they were bringing in over
55,000 dollars a year in parking tickets.
55,000 dollars a year in parking tickets.
199
503139
5098
وقد جلبتا أكثر من 55 ألف
دولار سنوياً كمخالفات.
دولار سنوياً كمخالفات.
08:40
And that seemed a little strange
to me when I noticed it,
to me when I noticed it,
200
508237
2738
ويبدو ذلك غريباً لي
بعض الشيء حيث لاحظت ذلك.
بعض الشيء حيث لاحظت ذلك.
08:42
so I did a little digging and it turns out
what you had is a hydrant
what you had is a hydrant
201
510975
3269
ثم قمت بالمزيد من البحث
وأتضح أنه ما يبدو أنه طفاية حريق
وأتضح أنه ما يبدو أنه طفاية حريق
08:46
and then something called
a curb extension,
a curb extension,
202
514244
1996
هو في الحقيقة تمديد لممر مشاة،
08:48
which is like a seven-foot
space to walk on,
space to walk on,
203
516240
2059
وهو عبارة عن ممر يعرض 7 أقدام للعبور عليه
08:50
and then a parking spot.
204
518299
1156
و يمر بمنطقة مواقف.
08:51
And so these cars came along,
and the hydrant --
and the hydrant --
205
519455
2254
حيث تأتي هذه السيارات على طول الطريق،
و الحنفية
و الحنفية
08:53
"It's all the way over there, I'm fine,"
206
521709
1911
" الحنفية ليست قريبة، سأركن هنا"
08:55
and there was actually a parking spot
painted there beautifully for them.
painted there beautifully for them.
207
523620
3474
و في الواقع يكون الموقف متاحا و قد تم
طلاؤه بشكل جميل لذلك.
طلاؤه بشكل جميل لذلك.
فيوقفون سياراتهم هناك أما شرطة نيويورك
فتخالفهم الرأي بمسمى هذه الموقف،
فتخالفهم الرأي بمسمى هذه الموقف،
08:59
They would park there, and the NYPD
disagreed with this designation
disagreed with this designation
208
527094
3155
09:02
and would ticket them.
209
530249
1058
و قد تخالفهم.
09:03
And it wasn't just me
who found a parking ticket.
who found a parking ticket.
210
531307
2344
وأنا لست الوحيد الذي حصل على مخالفة.
09:05
This is the Google
Street View car driving by
Street View car driving by
211
533651
2146
هذه سيارة تصوير الشوارع لقوقل
09:07
finding the same parking ticket.
212
535797
1617
وقد حصلت على نفس المخالفة.
09:09
So I wrote about this on my blog,
on I Quant NY, and the DOT responded,
on I Quant NY, and the DOT responded,
213
537414
4504
حينها قمت بالكتابة عن ذلك في مدونتي
الخاصة فقامت إدارة المواصلات بالرد،
الخاصة فقامت إدارة المواصلات بالرد،
09:13
and they said,
214
541918
1020
و قالوا،
09:14
"While the DOT has not received
any complaints about this location,
any complaints about this location,
215
542938
3410
" بما أن الإدارة لم تتلقى
أي شكاوى عن هذا الموقع،
أي شكاوى عن هذا الموقع،
09:18
we will review the roadway markings
and make any appropriate alterations."
and make any appropriate alterations."
216
546348
4542
سنقوم بإعادة النظر لهذا الممر
و إجراء أي تعديلات بديلة."
و إجراء أي تعديلات بديلة."
09:22
And I thought to myself,
typical government response,
typical government response,
217
550890
2959
فقلت لنفسي، رد نموذجي من جهة حكومية،
09:25
all right, moved on with my life.
218
553849
1881
حسناً، سأتغاضى عن ذلك.
09:27
But then, a few weeks later,
something incredible happened.
something incredible happened.
219
555730
3970
ولكن بعد عدة أسابيع، حدث شيء لا يصدق.
09:31
They repainted the spot,
220
559700
2520
فقد قاموا بإعادة طلاء المنطقة،
09:34
and for a second I thought I saw
the future of open data,
the future of open data,
221
562220
2690
ولثانية، كأني رأيت مستقبل البيانات العامة،
09:36
because think about what happened here.
222
564910
2000
فكّروا بما حدث هنا.
09:38
For five years, this spot was being
ticketed, and it was confusing,
ticketed, and it was confusing,
223
566910
5100
لخمس سنوات كان يتم المخالفة في هذه النقطة
وكانت ذلك محيراً،
وكانت ذلك محيراً،
09:44
and then a citizen found something,
they told the city, and within a few weeks
they told the city, and within a few weeks
224
572010
4306
ولكن مواطنا عثر على شيء ما
وأخبر المدينة، وخلال أسابيع قليلة
وأخبر المدينة، وخلال أسابيع قليلة
09:48
the problem was fixed.
225
576316
1294
تم إصلاح المشكلة.
09:49
It's amazing. And a lot of people
see open data as being a watchdog.
see open data as being a watchdog.
226
577610
3200
ذلك مذهل. و الكثير من الناس
يرون أن البيانات العامة هي الحارس.
يرون أن البيانات العامة هي الحارس.
09:52
It's not, it's about being a partner.
227
580810
1772
ليس الأمر كذلك و لكنها ستكون كشريك.
09:54
We can empower our citizens
to be better partners for government,
to be better partners for government,
228
582582
3138
نستطيع حث المواطنين
ليكونوا شركاء أفضل للحكومة،
ليكونوا شركاء أفضل للحكومة،
09:57
and it's not that hard.
229
585720
1881
وذلك ليس صعباً.
09:59
All we need are a few changes.
230
587601
1459
كل ما نحتاجه هو بعض التغيرات.
10:01
If you're FOILing data,
231
589060
1107
اذا كنت تصيغ بيانات للعامة،
10:02
if you're seeing your data
being FOILed over and over again,
being FOILed over and over again,
232
590167
2867
و رأيت أن بياناتك
تم نشرها للعامة،
تم نشرها للعامة،
10:05
let's release it to the public, that's
a sign that it should be made public.
a sign that it should be made public.
233
593034
3574
إذن لننشرها بحيث تكون مصممة للعامة.
10:08
And if you're a government agency
releasing a PDF,
releasing a PDF,
234
596608
2482
وإذا كنت جهة حكومية
تنشر بياناتك بصيغه بي دي إف،
تنشر بياناتك بصيغه بي دي إف،
10:11
let's pass legislation that requires you
to post it with the underlying data,
to post it with the underlying data,
235
599090
3649
لنقر تشريع يطلب منك
نشرها بالبيانات الدقيقة،
نشرها بالبيانات الدقيقة،
10:14
because that data
is coming from somewhere.
is coming from somewhere.
236
602739
2028
وذلك لأن هذه البيانات أتت من مصدر ما.
10:16
I don't know where, but it's
coming from somewhere,
coming from somewhere,
237
604767
2482
لا أعرف من أين، ولكنها أتت من مصدر ما،
10:19
and you can release it with the PDF.
238
607249
1725
ويمكن نشرها بصيغة بي دي إف حينها.
10:20
And let's adopt and share
some open data standards.
some open data standards.
239
608974
2411
ولنتبنى بعض معايير
البيانات المفتوحة للعامة.
البيانات المفتوحة للعامة.
10:23
Let's start with our addresses
here in New York City.
here in New York City.
240
611385
2481
لنبدأ بعنوانيننا هنا في مدينة نيويورك.
10:25
Let's just start
normalizing our addresses.
normalizing our addresses.
241
613866
2074
لنبدأ بتعميم عنوانيننا.
10:27
Because New York is a leader in open data.
242
615940
2062
لأن نيويورك رائدة
في نشر البيانات المفتوحة.
في نشر البيانات المفتوحة.
10:30
Despite all this, we are absolutely
a leader in open data,
a leader in open data,
243
618002
2789
بغض النظر عن أن لنا الطليعة
في البيانات المفتوحة
في البيانات المفتوحة
10:32
and if we start normalizing things,
and set an open data standard,
and set an open data standard,
244
620791
3121
ولو بدأنا بتعميم الأشياء و
وضع معايير للبيانات المفتوحة،
وضع معايير للبيانات المفتوحة،
10:35
others will follow. The state will follow,
and maybe the federal government,
and maybe the federal government,
245
623912
3634
سيتبعنا آخرون، و ستتبعنا الدولة
أو ربما الحكومة الفيدرالية.
أو ربما الحكومة الفيدرالية.
10:39
Other countries could follow,
246
627546
1445
وقد تحذوا بلدان أخرى نفس الحذو
10:40
and we're not that far off from a time
where you could write one program
where you could write one program
247
628991
3411
ونحن لسن بعيدين عن الوقت
حيث تستطيع كتابة برنامج مشترك
حيث تستطيع كتابة برنامج مشترك
10:44
and map information from 100 countries.
248
632402
1890
وانشاء خريطة معلومات من 100 دولة.
10:46
It's not science fiction.
We're actually quite close.
We're actually quite close.
249
634292
2487
هذا ليس خيالا علميا.
نحن قريبون من ذلك حقاً.
نحن قريبون من ذلك حقاً.
10:48
And by the way, who are we
empowering with this?
empowering with this?
250
636779
2240
وبالمناسبة، من هو المستفيد من هذا؟
10:51
Because it's not just John Krauss
and it's not just Chris Whong.
and it's not just Chris Whong.
251
639019
3005
لأن ذلك لا يخص
جوهن كراوس او كريس وونج فقط
جوهن كراوس او كريس وونج فقط
10:54
There are hundreds of meetups
going on in New York City right now,
going on in New York City right now,
252
642024
3095
هناك المئات من اللقاءات التي
تجري في نيويورك حاليا،
تجري في نيويورك حاليا،
10:57
active meetups.
253
645119
1025
لقاءات نشطة.
10:58
There are thousands of people
attending these meetups.
attending these meetups.
254
646144
2572
هناك آلاف الناس تحضر هذه اللقاءات.
11:00
These people are going after work
and on weekends,
and on weekends,
255
648716
2368
هولاء الناس يذهبون
بعد العمل وفي عطلة الأسبوع،
بعد العمل وفي عطلة الأسبوع،
11:03
and they're attending these meetups
to look at open data
to look at open data
256
651084
2636
ويحضرون ليطلعوا على هذه البيانات المفتوحة.
11:05
and make our city a better place.
257
653720
1640
وليجعلوا مدينتنا أفضل.
11:07
Groups like BetaNYC, who just last week
released something called citygram.nyc
released something called citygram.nyc
258
655360
4073
مجموعات مثل نيويورك بيتا، و التي
أطلقت الأسبوع الماضي موقع شكاوى نيويورك.
أطلقت الأسبوع الماضي موقع شكاوى نيويورك.
11:11
that allows you to subscribe
to 311 complaints
to 311 complaints
259
659433
2147
يتيح الأشتراك بنحو ٣١١ شكوى
11:13
around your own home,
or around your office.
or around your office.
260
661580
2068
قريبة من منزلك أو مكتبك.
11:15
You put in your address,
you get local complaints.
you get local complaints.
261
663648
2427
تضع عنوانك وتحصل على الشكاوى المحلية.
11:18
And it's not just the tech community
that are after these things.
that are after these things.
262
666075
3374
كما أن المختصّون ليسوا وحدهم
خلف هذا المشروع،
خلف هذا المشروع،
11:21
It's urban planners like
the students I teach at Pratt.
the students I teach at Pratt.
263
669449
2622
ولكن مخططي المدن، كطلابي في معهد برات.
11:24
It's policy advocates, it's everyone,
264
672071
1919
إنها مهمة الناشطين السياسيين، و الجميع.
11:25
it's citizens from a diverse
set of backgrounds.
set of backgrounds.
265
673990
2563
إنهم مجموعة من المواطنين
من مختلف الأعراق.
من مختلف الأعراق.
11:28
And with some small, incremental changes,
266
676553
2786
ومع بعض التغييرات التدريجية،
11:31
we can unlock the passion
and the ability of our citizens
and the ability of our citizens
267
679339
3225
يمكننا اطلاق شغف وقدرة المواطنيين
11:34
to harness open data
and make our city even better,
and make our city even better,
268
682564
3156
لتسخير البيانات المفتوحة
لجعل مدينتا أفضل،
لجعل مدينتا أفضل،
11:37
whether it's one dataset,
or one parking spot at a time.
or one parking spot at a time.
269
685720
3626
سواء كانت مجموعة بيانات واحدة،
أو موقف سيارات وحيد.
أو موقف سيارات وحيد.
11:41
Thank you.
270
689346
2322
شكرا لكم.
11:43
(Applause)
271
691668
3305
(تصفيق)
ABOUT THE SPEAKER
Ben Wellington - Data scientistBen Wellington blends his love of statistics, the city, and comedy in his entertaining analysis of the story of New York City, told through data.
Why you should listen
Ben Wellington runs the I Quant NY blog, in which he crunches city-released data to find out what's really going on in the Big Apple. To date he has tackled topics such as measles outbreaks in New York City schools, analyzed how companies like Airbnb are really doing in NYC, and asked questions such as "does gentrification cause a reduction in laundromats?" (Answer: inconclusive.)
Ben is a visiting assistant professor in the City & Regional Planning program at the Pratt Institute in Brooklyn; his day job involves working as a quantitative analyst at the investment management firm, Two Sigma. A budding comedian and performer, he also teaches team building workshops through Cherub Improv, a non-profit that uses improv comedy for social good.
Ben Wellington | Speaker | TED.com