TEDNYC
Mona Chalabi: 3 ways to spot a bad statistic
모나 찰라비(Mona Chalabi): 잘못된 통계를 알아내는 세 가지 방법
Filmed:
Readability: 4.2
1,888,599 views
때로는 어떤 통계가 신뢰할만한 통계인지 아는 것이 어렵습니다. 하지만 그렇다고 통계 일체를 배제하면 안 됩니다. 대신에 통계 이면을 보는 방법을 배워야 합니다. 이 유쾌하고 재미있는 강연을 통해 테이터 기자인 모나 찰라비가 숫자가 정말로 무엇을 말하고 있는지를 해석하고 이해하거나 질문에 답하는 데 유용한 팁을 알려드립니다.
Mona Chalabi - Data journalist
Mona Chalabi tries to take the numb out of numbers. She's left with lots of "ers." Full bio
Mona Chalabi tries to take the numb out of numbers. She's left with lots of "ers." Full bio
Double-click the English transcript below to play the video.
00:12
Now, I'm going to be talking
about statistics today.
about statistics today.
0
884
2763
오늘은 통계에 대해 말씀드릴 거예요.
00:15
If that makes you immediately feel
a little bit wary, that's OK,
a little bit wary, that's OK,
1
3671
3138
약간 불안해하셔도 괜찮아요.
00:18
that doesn't make you some
kind of crazy conspiracy theorist,
kind of crazy conspiracy theorist,
2
6833
2859
그렇다고 해서 정신나간
음모론자인 것이 아니라
음모론자인 것이 아니라
00:21
it makes you skeptical.
3
9716
1296
단지 회의적인 분인 것이니까요.
00:23
And when it comes to numbers,
especially now, you should be skeptical.
especially now, you should be skeptical.
4
11036
3886
숫자에 관해서는, 특히나 지금은
의심을 하셔야 합니다.
의심을 하셔야 합니다.
00:26
But you should also be able to tell
which numbers are reliable
which numbers are reliable
5
14946
3011
하지만 어떤 숫자를 신뢰해도 되고
어떤 숫자를 신뢰하면 안 되는지를
어떤 숫자를 신뢰하면 안 되는지를
00:29
and which ones aren't.
6
17981
1160
구분할 줄 알아야 해요.
00:31
So today I want to try to give you
some tools to be able to do that.
some tools to be able to do that.
7
19165
3206
그래서 구분할 수 있게 해주는
몇 가지 방법을 알려드리려고 해요.
몇 가지 방법을 알려드리려고 해요.
00:34
But before I do,
8
22395
1169
하지만 그 전에
00:35
I just want to clarify which numbers
I'm talking about here.
I'm talking about here.
9
23588
2839
제가 말씀드릴 숫자들이
어떤 건지 명확히 짚고 넘어갈게요.
어떤 건지 명확히 짚고 넘어갈게요.
00:38
I'm not talking about claims like,
10
26451
1635
"10명 중 9명의 여성이
00:40
"9 out of 10 women recommend
this anti-aging cream."
this anti-aging cream."
11
28110
2449
안티에이징 크림을 추천한다."같은 걸
말하는 게 아니에요.
말하는 게 아니에요.
00:42
I think a lot of us always
roll our eyes at numbers like that.
roll our eyes at numbers like that.
12
30583
2972
그런 숫자를 보면 많은 분들이
눈을 굴리시죠.
눈을 굴리시죠.
00:45
What's different now is people
are questioning statistics like,
are questioning statistics like,
13
33579
2984
요새 와서 달라진 건 사람들이
이런 통계에 의문을 갖게 된 겁니다.
이런 통계에 의문을 갖게 된 겁니다.
00:48
"The US unemployment
rate is five percent."
rate is five percent."
14
36587
2014
"미국의 실업률은 5%다."
00:50
What makes this claim different is
it doesn't come from a private company,
it doesn't come from a private company,
15
38625
3516
이 주장이 특별한 이유는
사기업이 하는 말이 아니라
사기업이 하는 말이 아니라
00:54
it comes from the government.
16
42165
1388
정부가 한 말이기 때문입니다.
00:55
About 4 out of 10 Americans
distrust the economic data
distrust the economic data
17
43577
3336
미국인 10명 중 4명이
정부에서 보고하는 경제적 데이터를
정부에서 보고하는 경제적 데이터를
00:58
that gets reported by government.
18
46937
1573
신뢰하지 않습니다.
01:00
Among supporters of President Trump
it's even higher;
it's even higher;
19
48534
2491
이 비율은 트럼프 대통령
지지자들의 경우에는 더 높습니다.
지지자들의 경우에는 더 높습니다.
01:03
it's about 7 out of 10.
20
51049
1633
10명 중에 7명이에요.
01:04
I don't need to tell anyone here
21
52706
1804
제가 굳이 말씀드리지 않아도
01:06
that there are a lot of dividing lines
in our society right now,
in our society right now,
22
54534
3011
지금 사회에 나누어진 선들이
많다는 건 다들 알고 있습니다.
많다는 건 다들 알고 있습니다.
01:09
and a lot of them start to make sense,
23
57569
1825
정부의 수치와 사람들 간의 관계를
01:11
once you understand people's relationships
with these government numbers.
with these government numbers.
24
59418
3687
이해하고나면 그 선들이
많이 말이 되기 시작합니다.
많이 말이 되기 시작합니다.
01:15
On the one hand, there are those who say
these statistics are crucial,
these statistics are crucial,
25
63129
3336
반면에 통계가 매우 중요하다고
말하는 사람들도 있습니다.
말하는 사람들도 있습니다.
01:18
that we need them to make sense
of society as a whole
of society as a whole
26
66489
2630
사회를 전체적으로 이해하려면
필요하다고 말합니다.
필요하다고 말합니다.
01:21
in order to move beyond
emotional anecdotes
emotional anecdotes
27
69143
2164
감정적인 진술들을 넘어
01:23
and measure progress in a subjective way.
28
71331
2410
발전을 객관적으로 측정하기 위해서요.
01:25
And then there are the others,
29
73765
1467
그리고 또 다른 집단도 있습니다.
01:27
who say that these statistics are elitist,
30
75256
2156
통계는 엘리트주의적이며
01:29
maybe even rigged;
31
77436
1208
조작됐다고까지도 말하고
01:30
they don't make sense
and they don't really reflect
and they don't really reflect
32
78668
2394
말도 안 되며
사람들의 일상에서 일어나는
사람들의 일상에서 일어나는
01:33
what's happening
in people's everyday lives.
in people's everyday lives.
33
81086
2296
일들을 반영하지 않는다고 합니다.
01:35
It kind of feels like that second group
is winning the argument right now.
is winning the argument right now.
34
83406
3487
두 번째 부류의 사람들의 주장이
이기고 있는 것 같긴 해요.
이기고 있는 것 같긴 해요.
01:38
We're living in a world
of alternative facts,
of alternative facts,
35
86917
2108
우린 대안적 사실의 세상에 살고 있고
01:41
where people don't find statistics
this kind of common ground,
this kind of common ground,
36
89049
2935
사람들은 통계를 공동 전제나
토론의 시작점으로
토론의 시작점으로
01:44
this starting point for debate.
37
92008
1636
여기지 않습니다.
01:45
This is a problem.
38
93668
1286
이건 문제입니다.
01:46
There are actually
moves in the US right now
moves in the US right now
39
94978
2067
사실 일부 정부 통계를
아예 없애자는 움직임이
아예 없애자는 움직임이
01:49
to get rid of some government
statistics altogether.
statistics altogether.
40
97069
2861
지금 존재합니다.
01:51
Right now there's a bill in congress
about measuring racial inequality.
about measuring racial inequality.
41
99954
3387
지금 의회에 인종 차별을 측정하는
것에 대한 법안이 있습니다.
것에 대한 법안이 있습니다.
01:55
The draft law says that government
money should not be used
money should not be used
42
103365
2801
초안에 따르면 국고가
인종차별에 관한 데이터를 수집하는 데
인종차별에 관한 데이터를 수집하는 데
01:58
to collect data on racial segregation.
43
106190
1902
쓰이면 안 된다고 하고 있습니다.
02:00
This is a total disaster.
44
108116
1885
정말 끔찍한 일이에요.
02:02
If we don't have this data,
45
110025
1748
데이터 없이 어떻게
차별을 관찰할 수 있죠?
차별을 관찰할 수 있죠?
02:03
how can we observe discrimination,
46
111797
1778
02:05
let alone fix it?
47
113599
1278
게다가 어떻게 시정하죠?
02:06
In other words:
48
114901
1188
다시 말하면
02:08
How can a government create fair policies
49
116113
2059
정부가 현재의 불공정의 정도를
02:10
if they can't measure
current levels of unfairness?
current levels of unfairness?
50
118196
2771
측정할 수 없으면 어떻게 공정한
정책을 만들 수 있죠?
정책을 만들 수 있죠?
02:12
This isn't just about discrimination,
51
120991
1794
비단 차별만 문제인 것이 아닙니다.
02:14
it's everything -- think about it.
52
122809
1670
모든 게 문제예요. 생각해보세요.
02:16
How can we legislate on health care
53
124503
1690
보건과 건강에 대한
양질의 데이터가 없으면
양질의 데이터가 없으면
02:18
if we don't have good data
on health or poverty?
on health or poverty?
54
126217
2271
어떻게 의료보험 법을 제정할 수 있죠?
02:20
How can we have public debate
about immigration
about immigration
55
128512
2198
얼마나 많은 사람들이
이 나라에 들어오고
이 나라에 들어오고
02:22
if we can't at least agree
56
130734
1250
나가는지에 대해서도
02:24
on how many people are entering
and leaving the country?
and leaving the country?
57
132008
2643
의견이 일치하지 않는데 어떻게
공개 토론이 이루어질 수 있죠?
공개 토론이 이루어질 수 있죠?
02:26
Statistics come from the state;
that's where they got their name.
that's where they got their name.
58
134675
3058
통계는 국가에서부터 나옵니다.
그게 통계의 어원이에요.
그게 통계의 어원이에요.
02:29
The point was to better
measure the population
measure the population
59
137757
2157
국민을 더 잘 섬기기 위해
더 잘 측정하는 것이
더 잘 측정하는 것이
02:31
in order to better serve it.
60
139938
1357
목적이었습니다.
02:33
So we need these government numbers,
61
141319
1725
그래서 정부의 수치가 필요합니다.
02:35
but we also have to move
beyond either blindly accepting
beyond either blindly accepting
62
143068
2647
하지만 맹목적으로
받아들이거나 반대하는 건
받아들이거나 반대하는 건
02:37
or blindly rejecting them.
63
145739
1268
넘어서야 합니다.
02:39
We need to learn the skills
to be able to spot bad statistics.
to be able to spot bad statistics.
64
147031
2997
잘못된 통계를 잡아내는
방법을 알아야 합니다.
방법을 알아야 합니다.
02:42
I started to learn some of these
65
150052
1528
저는 그 중 일부를
02:43
when I was working
in a statistical department
in a statistical department
66
151604
2166
UN산하의 통계부서에서
일하면서 배웠습니다.
일하면서 배웠습니다.
02:45
that's part of the United Nations.
67
153794
1643
02:47
Our job was to find out how many Iraqis
had been forced from their homes
had been forced from their homes
68
155461
3406
저희 일은 이라크 전쟁으로 얼마나 많은
이라크인이 피난을 갔는지와
이라크인이 피난을 갔는지와
02:50
as a result of the war,
69
158891
1158
무엇을 필요로 하는지를
02:52
and what they needed.
70
160073
1158
알아내는 것이었습니다.
02:53
It was really important work,
but it was also incredibly difficult.
but it was also incredibly difficult.
71
161255
3178
정말 중요한 일이었는데
동시에 매우 어려운 일이었습니다.
동시에 매우 어려운 일이었습니다.
02:56
Every single day, we were making decisions
72
164457
2018
매일 우리는 수치의 정확도에
영향을 미치는 결정들을 내렸습니다.
영향을 미치는 결정들을 내렸습니다.
02:58
that affected the accuracy
of our numbers --
of our numbers --
73
166499
2157
03:00
decisions like which parts
of the country we should go to,
of the country we should go to,
74
168680
2744
이라크의 어느 지역을 가야 할지
03:03
who we should speak to,
75
171448
1156
누구와 얘기할지
03:04
which questions we should ask.
76
172628
1568
어떤 질문을 물어야할지를요.
03:06
And I started to feel
really disillusioned with our work,
really disillusioned with our work,
77
174220
2680
그런데 저는 우리의 일에
환멸을 느끼기 시작했습니다.
환멸을 느끼기 시작했습니다.
03:08
because we thought we were doing
a really good job,
a really good job,
78
176924
2518
우리는 일을 잘하고
있다고 생각했었어요.
있다고 생각했었어요.
03:11
but the one group of people
who could really tell us were the Iraqis,
who could really tell us were the Iraqis,
79
179466
3278
그런데 그걸 정말 확인시켜줄 수 있는
사람은 이라크인들 뿐인데
사람은 이라크인들 뿐인데
03:14
and they rarely got the chance to find
our analysis, let alone question it.
our analysis, let alone question it.
80
182768
3540
그들은 우리 분석에 의문을 제기하는 건
고사하고 볼 기회도 거의 없었어요.
고사하고 볼 기회도 거의 없었어요.
03:18
So I started to feel really determined
81
186332
1831
그래서 저는 수치를 더 정확하게
만들어 줄 유일한 방법이
만들어 줄 유일한 방법이
03:20
that the one way to make
numbers more accurate
numbers more accurate
82
188187
2311
03:22
is to have as many people as possible
be able to question them.
be able to question them.
83
190522
3053
최대한 많은 사람들이 의문을 제기하게
하는 거라고 생각하게 됐어요.
하는 거라고 생각하게 됐어요.
03:25
So I became a data journalist.
84
193599
1434
그래서 저는 데이터 기자가 됐습니다.
03:27
My job is finding these data sets
and sharing them with the public.
and sharing them with the public.
85
195057
3904
제 일은 데이터 집합들을 찾아
대중에게 공유하는 것입니다.
대중에게 공유하는 것입니다.
03:30
Anyone can do this,
you don't have to be a geek or a nerd.
you don't have to be a geek or a nerd.
86
198985
3173
공부벌레나 괴짜가 아니어도
누구나 할 수 있는 일이에요.
누구나 할 수 있는 일이에요.
03:34
You can ignore those words;
they're used by people
they're used by people
87
202182
2355
이 단어들은 무시하세요.
겸손한 척 하면서
겸손한 척 하면서
03:36
trying to say they're smart
while pretending they're humble.
while pretending they're humble.
88
204561
2822
자기가 똑똑하다는 걸 말하려는
사람들이 쓰는 단어들이에요.
사람들이 쓰는 단어들이에요.
03:39
Absolutely anyone can do this.
89
207407
1589
정말 누구나 할 수 있어요.
03:41
I want to give you guys three questions
90
209020
2067
잘못된 통계를 잡아내는 걸 도와주는
03:43
that will help you be able to spot
some bad statistics.
some bad statistics.
91
211111
3005
세 가지 질문을 여러분께
드리고 싶어요.
드리고 싶어요.
03:46
So, question number one
is: Can you see uncertainty?
is: Can you see uncertainty?
92
214140
3507
첫 번째 질문, 불확실성이 보이시나요?
03:49
One of things that's really changed
people's relationship with numbers,
people's relationship with numbers,
93
217671
3364
사람과 숫자의 관계와,
사람들의 미디어에 대한 신뢰를
사람들의 미디어에 대한 신뢰를
03:53
and even their trust in the media,
94
221059
1641
바꾸어놓은 것 중 하나는
03:54
has been the use of political polls.
95
222724
2258
정치 분야의 여론조사입니다.
03:57
I personally have a lot of issues
with political polls
with political polls
96
225006
2538
저는 개인적으로
여론조사에 불만이 많아요.
여론조사에 불만이 많아요.
03:59
because I think the role of journalists
is actually to report the facts
is actually to report the facts
97
227568
3376
기자의 역할은 사실을 보도하는 거지
예측하는 게 아니라고 생각하거든요.
예측하는 게 아니라고 생각하거든요.
04:02
and not attempt to predict them,
98
230968
1553
04:04
especially when those predictions
can actually damage democracy
can actually damage democracy
99
232545
2996
특히나 그 예측들이
사람들에게 이런 신호를 주어
사람들에게 이런 신호를 주어
민주주의를 훼손할 수 있는 경우에는요.
04:07
by signaling to people:
don't bother to vote for that guy,
don't bother to vote for that guy,
100
235565
2732
"저 사람한테 투표할 필요 없어.
가망이 없거든."
가망이 없거든."
04:10
he doesn't have a chance.
101
238321
1205
04:11
Let's set that aside for now and talk
about the accuracy of this endeavor.
about the accuracy of this endeavor.
102
239550
3654
하지만 그건 제쳐두고
여론조사의 정확성에 대해 얘기해봅시다.
여론조사의 정확성에 대해 얘기해봅시다.
04:15
Based on national elections
in the UK, Italy, Israel
in the UK, Italy, Israel
103
243228
4608
영국, 이탈리아, 이스라엘의 총선과
04:19
and of course, the most recent
US presidential election,
US presidential election,
104
247860
2764
가장 최근에 있었던 미국 대선에
기반해서 볼 때
기반해서 볼 때
04:22
using polls to predict electoral outcomes
105
250648
2137
선거의 결과를 여론조사로 예측하는 건
04:24
is about as accurate as using the moon
to predict hospital admissions.
to predict hospital admissions.
106
252809
3812
달로 병원의 입원자 수를 점치는
것만큼이나 부정확합니다.
것만큼이나 부정확합니다.
04:28
No, seriously, I used actual data
from an academic study to draw this.
from an academic study to draw this.
107
256645
4200
아니 정말 제가 학술 연구의
데이터로 도출한 결론이에요.
데이터로 도출한 결론이에요.
04:32
There are a lot of reasons why
polling has become so inaccurate.
polling has become so inaccurate.
108
260869
3727
여론조사가 부정확해진 데에는
많은 이유가 있습니다.
많은 이유가 있습니다.
04:36
Our societies have become really diverse,
109
264620
1970
우리 사회가 매우 다양해져서
04:38
which makes it difficult for pollsters
to get a really nice representative sample
to get a really nice representative sample
110
266614
3821
여론조사원들이 여론 조사의
모집단에서 정말로 대표성 있는 표본을
모집단에서 정말로 대표성 있는 표본을
04:42
of the population for their polls.
111
270459
1627
얻기가 매우 힘들어졌어요.
04:44
People are really reluctant to answer
their phones to pollsters,
their phones to pollsters,
112
272110
3006
사람들은 여론조사원들의
전화를 받기 꺼려하고
전화를 받기 꺼려하고
04:47
and also, shockingly enough,
people might lie.
people might lie.
113
275140
2276
놀랍게도 거짓으로 답할 수도 있습니다.
04:49
But you wouldn't necessarily
know that to look at the media.
know that to look at the media.
114
277440
2811
하지만 사람들은 보도자료를 볼 때
그걸 의식하진 않죠.
그걸 의식하진 않죠.
04:52
For one thing, the probability
of a Hillary Clinton win
of a Hillary Clinton win
115
280275
2761
힐러리 클린턴이 우승할 확률은
04:55
was communicated with decimal places.
116
283060
2791
소수점까지 계산됐었어요.
04:57
We don't use decimal places
to describe the temperature.
to describe the temperature.
117
285875
2621
소수점은 기온을 나타낼 때도 안 써요.
05:00
How on earth can predicting the behavior
of 230 million voters in this country
of 230 million voters in this country
118
288520
4228
그런데 어떻게 미국의 2억3천만
유권자의 행동을 예측하는 게
유권자의 행동을 예측하는 게
05:04
be that precise?
119
292772
1829
그렇게 정확할 수 있죠?
05:06
And then there were those sleek charts.
120
294625
2002
번지르르한 도표도 있었죠.
05:08
See, a lot of data visualizations
will overstate certainty, and it works --
will overstate certainty, and it works --
121
296651
3973
데이터를 시각화한 도표들은 많이들
확실성을 과장해요. 효과도 있고요.
확실성을 과장해요. 효과도 있고요.
05:12
these charts can numb
our brains to criticism.
our brains to criticism.
122
300648
2620
차트들은 비판을
무디게 할 수 있습니다.
무디게 할 수 있습니다.
05:15
When you hear a statistic,
you might feel skeptical.
you might feel skeptical.
123
303292
2558
통계를 들으면 의심을 품을 수도 있지만
05:17
As soon as it's buried in a chart,
124
305874
1635
차트로 나타내어지는 순간
05:19
it feels like some kind
of objective science,
of objective science,
125
307533
2129
객관적인 과학같이 느껴집니다.
05:21
and it's not.
126
309686
1249
그렇지 않은데도요.
05:22
So I was trying to find ways
to better communicate this to people,
to better communicate this to people,
127
310959
3103
그래서 저는 이 이야기를 사람들에게
더 잘 전달할 수 있고
더 잘 전달할 수 있고
05:26
to show people the uncertainty
in our numbers.
in our numbers.
128
314086
2504
숫자의 불확실성을 보여줄 수 있는
방법을 찾으려 했어요.
방법을 찾으려 했어요.
05:28
What I did was I started taking
real data sets,
real data sets,
129
316614
2246
그래서 저는 실제 데이터 모음을 갖다가
05:30
and turning them into
hand-drawn visualizations,
hand-drawn visualizations,
130
318884
2652
손으로 그린 도표로 변환시켰어요.
05:33
so that people can see
how imprecise the data is;
how imprecise the data is;
131
321560
2672
사람들이 데이터가 얼마나
부정확한지 볼 수 있게요.
부정확한지 볼 수 있게요.
05:36
so people can see that a human did this,
132
324256
1996
인간이 이걸 그렸고
05:38
a human found the data and visualized it.
133
326276
1972
인간이 데이터를 찾고 시각화했다고요.
05:40
For example, instead
of finding out the probability
of finding out the probability
134
328272
2672
일례로 감기에 걸릴
월별 확률을 보는 것 대신에
월별 확률을 보는 것 대신에
05:42
of getting the flu in any given month,
135
330968
2126
05:45
you can see the rough
distribution of flu season.
distribution of flu season.
136
333118
2792
독감이 유행하는 철이 언젠지를
대략적으로 알 수 있죠.
대략적으로 알 수 있죠.
05:47
This is --
137
335934
1167
이것은...
05:49
(Laughter)
138
337125
1018
(웃음)
05:50
a bad shot to show in February.
139
338167
1486
2월에 보여주기 나쁜 이미지죠.
05:51
But it's also more responsible
data visualization,
data visualization,
140
339677
2455
하지만 동시에 더 책임감있는 도표예요.
05:54
because if you were to show
the exact probabilities,
the exact probabilities,
141
342156
2455
정확한 확률로 보여주면
05:56
maybe that would encourage
people to get their flu jabs
people to get their flu jabs
142
344635
2592
사람들이 잘못된 시기에
독감 예방주사를 맞도록
독감 예방주사를 맞도록
05:59
at the wrong time.
143
347251
1456
장려할 수 있으니까요.
06:01
The point of these shaky lines
144
349163
1693
구불구불한 선으로 그린 이유는
06:02
is so that people remember
these imprecisions,
these imprecisions,
145
350880
2911
사람들이 이 통계가
정확하진 않다는 걸 알게 하고
정확하진 않다는 걸 알게 하고
06:05
but also so they don't necessarily
walk away with a specific number,
walk away with a specific number,
146
353815
3227
특정 숫자가 아닌
중요한 사실을 기억하도록
중요한 사실을 기억하도록
06:09
but they can remember important facts.
147
357066
1866
하기 위해서입니다.
06:10
Facts like injustice and inequality
leave a huge mark on our lives.
leave a huge mark on our lives.
148
358956
4024
불의와 불평등같은 사실들은
우리 인생에 큰 자국을 남깁니다.
우리 인생에 큰 자국을 남깁니다.
06:15
Facts like Black Americans and Native
Americans have shorter life expectancies
Americans have shorter life expectancies
149
363004
4189
흑인 미국인과 북미 원주민들이
다른 인종보다
다른 인종보다
06:19
than those of other races,
150
367217
1400
수명이 더 짧으며,
06:20
and that isn't changing anytime soon.
151
368641
2138
이건 빠른 시일 내에 변하지
않을 거라는 사실도요.
않을 거라는 사실도요.
06:22
Facts like prisoners in the US
can be kept in solitary confinement cells
can be kept in solitary confinement cells
152
370803
3901
미국의 죄수들이 주차장의
일반적인 크기보다
일반적인 크기보다
06:26
that are smaller than the size
of an average parking space.
of an average parking space.
153
374728
3342
더 작은 독방에 수감될 수
있다는 사실도요.
있다는 사실도요.
06:30
The point of these visualizations
is also to remind people
is also to remind people
154
378535
3335
이 도표들의 또 다른 요점은
사람들에게 매우 중요한
사람들에게 매우 중요한
06:33
of some really important
statistical concepts,
statistical concepts,
155
381894
2350
몇 가지 통계적 개념을
알려주기 위해서입니다.
알려주기 위해서입니다.
06:36
concepts like averages.
156
384268
1636
평균같은 개념이요.
06:37
So let's say you hear a claim like,
157
385928
1668
이런 주장을 듣는다고 생각해보세요.
06:39
"The average swimming pool in the US
contains 6.23 fecal accidents."
contains 6.23 fecal accidents."
158
387620
4434
"미국의 수영장에는 평균적으로
6.23건의 배설물 사고가 일어난다."
6.23건의 배설물 사고가 일어난다."
06:44
That doesn't mean every single
swimming pool in the country
swimming pool in the country
159
392078
2797
이건 국내의 모든 수영장에
정확히 6.23개의 똥이
정확히 6.23개의 똥이
06:46
contains exactly 6.23 turds.
160
394899
2194
들어있다는 걸 의미하는 게 아닙니다.
06:49
So in order to show that,
161
397117
1417
그걸 증명하기 위해서
06:50
I went back to the original data,
which comes from the CDC,
which comes from the CDC,
162
398558
2841
저는 미국 질병관리본부 출저의
47개 수영시설을 조사한
47개 수영시설을 조사한
06:53
who surveyed 47 swimming facilities.
163
401423
2065
데이터 원본으로 돌아가서
06:55
And I just spent one evening
redistributing poop.
redistributing poop.
164
403512
2391
하룻밤 꼬박 똥을 재분배했어요.
06:57
So you can kind of see
how misleading averages can be.
how misleading averages can be.
165
405927
2682
평균이 얼마나 사람들을
오도할 수 있는지 볼 수 있죠.
오도할 수 있는지 볼 수 있죠.
07:00
(Laughter)
166
408633
1282
(웃음)
07:01
OK, so the second question
that you guys should be asking yourselves
that you guys should be asking yourselves
167
409939
3901
잘못된 숫자를 발견하기 위해
스스로에게 물어야 할
스스로에게 물어야 할
07:05
to spot bad numbers is:
168
413864
1501
두 번째 질문은 이겁니다.
07:07
Can I see myself in the data?
169
415389
1967
데이터 속에서 나를 볼 수 있는가?
07:09
This question is also
about averages in a way,
about averages in a way,
170
417380
2913
어떻게 보면 이 질문도
평균에 관한 거예요.
평균에 관한 거예요.
07:12
because part of the reason
why people are so frustrated
why people are so frustrated
171
420317
2605
사람들이 국가적 통계에 대해
불만을 느끼는 이유 중의 하나가
불만을 느끼는 이유 중의 하나가
07:14
with these national statistics,
172
422946
1495
07:16
is they don't really tell the story
of who's winning and who's losing
of who's winning and who's losing
173
424465
3273
국가 정책으로 누가 이득을 얻고 있고
누가 손해를 보고 있는지 알 수가
누가 손해를 보고 있는지 알 수가
07:19
from national policy.
174
427762
1156
없다는 것이니까요.
07:20
It's easy to understand why people
are frustrated with global averages
are frustrated with global averages
175
428942
3318
사람들이 전세계 평균이
자신의 경험과 맞지 않을 때
자신의 경험과 맞지 않을 때
07:24
when they don't match up
with their personal experiences.
with their personal experiences.
176
432284
2679
왜 불만스러워하는지는
쉽게 이해됩니다.
쉽게 이해됩니다.
07:26
I wanted to show people the way
data relates to their everyday lives.
data relates to their everyday lives.
177
434987
3263
저는 데이터가 사람들의 일상에
어떻게 관련있는지를 보여주기 위해
어떻게 관련있는지를 보여주기 위해
07:30
I started this advice column
called "Dear Mona,"
called "Dear Mona,"
178
438274
2246
"모나에게"라는
고민 상담란을 만들었어요.
고민 상담란을 만들었어요.
07:32
where people would write to me
with questions and concerns
with questions and concerns
179
440544
2726
사람들이 제게 질문과 걱정을 적어보내면
07:35
and I'd try to answer them with data.
180
443294
1784
저는 데이터로 답을 해주었습니다.
07:37
People asked me anything.
181
445102
1200
제게 뭐든지 물어봤어요.
07:38
questions like, "Is it normal to sleep
in a separate bed to my wife?"
in a separate bed to my wife?"
182
446326
3261
"아내와 다른 침대에서
자는 게 정상인가요?"
자는 게 정상인가요?"
07:41
"Do people regret their tattoos?"
183
449611
1591
"사람들은 문신 새긴 걸 후회하나요?"
07:43
"What does it mean to die
of natural causes?"
of natural causes?"
184
451226
2164
"자연사했다는 게 무슨 뜻이죠?"
07:45
All of these questions are great,
because they make you think
because they make you think
185
453414
2966
다 좋은 질문들이에요.
이 수치들과 소통할
이 수치들과 소통할
07:48
about ways to find
and communicate these numbers.
and communicate these numbers.
186
456404
2336
방법에 대해 생각해보게 하니까요.
07:50
If someone asks you,
"How much pee is a lot of pee?"
"How much pee is a lot of pee?"
187
458764
2503
누군가가 "얼만큼이 오줌을
많이 싸는 건가요?"라고 물으면
많이 싸는 건가요?"라고 물으면
07:53
which is a question that I got asked,
188
461291
2458
실제로 제가 받았던 질문인데
07:55
you really want to make sure
that the visualization makes sense
that the visualization makes sense
189
463773
2980
그래프가 최대한 많은 사람들에게
이해되도록 노력해야 합니다.
이해되도록 노력해야 합니다.
07:58
to as many people as possible.
190
466777
1747
08:00
These numbers aren't unavailable.
191
468548
1575
이 수치들은 찾을 수 있어요.
08:02
Sometimes they're just buried
in the appendix of an academic study.
in the appendix of an academic study.
192
470147
3507
때로는 학술 연구의 부록에 묻혀있죠.
08:05
And they're certainly not inscrutable;
193
473678
1839
그리고 절대 불가해하지 않아요.
08:07
if you really wanted to test
these numbers on urination volume,
these numbers on urination volume,
194
475541
2975
이 수치를 소변의 양에
테스트해보고 싶으면
테스트해보고 싶으면
08:10
you could grab a bottle
and try it for yourself.
and try it for yourself.
195
478540
2257
그냥 병을 가져다 직접 해보세요.
08:12
(Laughter)
196
480821
1008
(웃음)
08:13
The point of this isn't necessarily
197
481853
1694
이것의 요지는 모든 데이터 집단이
08:15
that every single data set
has to relate specifically to you.
has to relate specifically to you.
198
483571
2877
여러분과 특정한 연관성이
있어야 한다는 것이 아닙니다.
있어야 한다는 것이 아닙니다.
08:18
I'm interested in how many women
were issued fines in France
were issued fines in France
199
486472
2880
저는 프랑스에서 얼마나 많은 여성이
니캅을 쓴 것 때문에
니캅을 쓴 것 때문에
08:21
for wearing the face veil, or the niqab,
200
489376
1959
벌금을 물었는지에 관심이 있어요.
08:23
even if I don't live in France
or wear the face veil.
or wear the face veil.
201
491359
2618
제가 프랑스에 살고 있지 않고
니캅도 쓰지 않는데도요.
니캅도 쓰지 않는데도요.
08:26
The point of asking where you fit in
is to get as much context as possible.
is to get as much context as possible.
202
494001
3835
내가 어디에 들어맞는지를 묻는 이유는
최대한 많은 맥락을 얻기 위해서입니다.
최대한 많은 맥락을 얻기 위해서입니다.
08:29
So it's about zooming out
from one data point,
from one data point,
203
497860
2191
그래서 한 데이터 지점으로부터
멀리 떨어져서 봐야 합니다.
멀리 떨어져서 봐야 합니다.
08:32
like the unemployment rate
is five percent,
is five percent,
204
500075
2104
일례로 실업률이 5%라면
08:34
and seeing how it changes over time,
205
502203
1757
이게 시간이 갈수록 어떻게 변하는지
08:35
or seeing how it changes
by educational status --
by educational status --
206
503984
2650
학력에 따라 어떻게 변하는지
08:38
this is why your parents always
wanted you to go to college --
wanted you to go to college --
207
506658
3104
참고로, 그래서 부모님들이
대학에 가라고 하는 겁니다.
대학에 가라고 하는 겁니다.
08:41
or seeing how it varies by gender.
208
509786
2032
또는 젠더에 따라 어떻게
다른지를 봐야하죠.
다른지를 봐야하죠.
08:43
Nowadays, male unemployment rate is higher
209
511842
2127
요즘은 남성 실업률이
여성 실업률보다 높습니다.
여성 실업률보다 높습니다.
08:45
than the female unemployment rate.
210
513993
1700
08:47
Up until the early '80s,
it was the other way around.
it was the other way around.
211
515717
2695
80년대 초반까지는 반대였어요.
08:50
This is a story of one
of the biggest changes
of the biggest changes
212
518436
2117
이건 미국 사회에 일어난
08:52
that's happened in American society,
213
520577
1720
가장 큰 변화 중 하나입니다.
08:54
and it's all there in that chart,
once you look beyond the averages.
once you look beyond the averages.
214
522321
3276
평균 너머를 보게 되면
도표 안에 다 들어있는 것입니다.
도표 안에 다 들어있는 것입니다.
08:57
The axes are everything;
215
525621
1165
X축과 Y축이 전부예요.
08:58
once you change the scale,
you can change the story.
you can change the story.
216
526810
2669
규모를 바꾸면 이야기가 달라집니다.
09:01
OK, so the third and final question
that I want you guys to think about
that I want you guys to think about
217
529503
3380
통계를 볼 때
여러분이 생각해보길 바라는
여러분이 생각해보길 바라는
09:04
when you're looking at statistics is:
218
532907
1819
세 번째이자 마지막 질문은 이겁니다.
09:06
How was the data collected?
219
534750
1873
어떻게 데이터를 수집했지?
09:09
So far, I've only talked about the way
data is communicated,
data is communicated,
220
537667
2939
여태까지 저는 데이터가 전달되는
방식에 대해서만 말했어요.
방식에 대해서만 말했어요.
09:12
but the way it's collected
matters just as much.
matters just as much.
221
540630
2276
하지만 수집되는 방식도
똑같이 중요합니다.
똑같이 중요합니다.
09:14
I know this is tough,
222
542930
1167
이게 어렵다는 거 알아요.
09:16
because methodologies can be opaque
and actually kind of boring,
and actually kind of boring,
223
544121
3081
방법론이 불분명하거나
사실 약간 지루할 수 있거든요.
사실 약간 지루할 수 있거든요.
09:19
but there are some simple steps
you can take to check this.
you can take to check this.
224
547226
2873
하지만 이걸 확인하는 데 쓸 수 있는
간단한 방법이 있습니다.
간단한 방법이 있습니다.
09:22
I'll use one last example here.
225
550123
1839
마지막 예시를 여기서 들게요.
09:24
One poll found that 41 percent of Muslims
in this country support jihad,
in this country support jihad,
226
552309
3887
한 여론조사에서 국내 무슬림의 41%가
지하드를 지지한다는 걸 발견했어요.
지하드를 지지한다는 걸 발견했어요.
09:28
which is obviously pretty scary,
227
556220
1525
매우 무서운 일이죠.
09:29
and it was reported everywhere in 2015.
228
557769
2642
2015년에 전국적으로 발표됐어요.
09:32
When I want to check a number like that,
229
560435
2615
이런 수치를 체크해보고 싶을 때
09:35
I'll start off by finding
the original questionnaire.
the original questionnaire.
230
563074
2501
저는 먼저 설문지 원본을 찾아보아요.
09:37
It turns out that journalists
who reported on that statistic
who reported on that statistic
231
565599
2926
이 통계를 보고한 기자들은
설문지 하단에 위치한
설문지 하단에 위치한
09:40
ignored a question
lower down on the survey
lower down on the survey
232
568549
2231
응답자에게 자신이 "지하드"를
어떻게 정의하는지를
어떻게 정의하는지를
09:42
that asked respondents
how they defined "jihad."
how they defined "jihad."
233
570804
2346
물어본 질문을 무시했더군요.
09:45
And most of them defined it as,
234
573174
1981
대부분의 사람들이 이렇게 정의했어요.
09:47
"Muslims' personal, peaceful struggle
to be more religious."
to be more religious."
235
575179
3942
"더 독실해지기 위한
무슬림의 개인적이고 평화적인 투쟁."
무슬림의 개인적이고 평화적인 투쟁."
09:51
Only 16 percent defined it as,
"violent holy war against unbelievers."
"violent holy war against unbelievers."
236
579145
4194
16%만이 이렇게 정의했어요.
"이교도들과의 폭력적인 성전."
"이교도들과의 폭력적인 성전."
09:55
This is the really important point:
237
583363
2430
이게 진짜 중요한 사실인데요.
09:57
based on those numbers,
it's totally possible
it's totally possible
238
585817
2155
이 통계에 기반했을 때
설문지에서 지하드를
설문지에서 지하드를
09:59
that no one in the survey
who defined it as violent holy war
who defined it as violent holy war
239
587996
3105
폭력적인 성전이라고 답한 사람 중
그 누구도 그걸 지지한다고 하지 않았을
그 누구도 그걸 지지한다고 하지 않았을
10:03
also said they support it.
240
591125
1332
가능성이 존재해요.
10:04
Those two groups might not overlap at all.
241
592481
2208
두 집합의 교집합이
아예 없을 수 있어요.
아예 없을 수 있어요.
10:07
It's also worth asking
how the survey was carried out.
how the survey was carried out.
242
595122
2637
설문조사가 어떻게 실행됐는지를
물어보는 것도 좋습니다.
물어보는 것도 좋습니다.
10:09
This was something called an opt-in poll,
243
597783
1998
이건 옵트인 설문조사였어요.
10:11
which means anyone could have found it
on the internet and completed it.
on the internet and completed it.
244
599805
3402
누구나 인터넷에서 보고
응답할 수 있었다는 뜻입니다.
응답할 수 있었다는 뜻입니다.
10:15
There's no way of knowing
if those people even identified as Muslim.
if those people even identified as Muslim.
245
603231
3339
이 사람들이 애초에 무슬림조차
알 방법이 없어요.
알 방법이 없어요.
10:18
And finally, there were 600
respondents in that poll.
respondents in that poll.
246
606594
2612
마지막으로 이 설문조사의
응답자 수는 600명이었습니다.
응답자 수는 600명이었습니다.
10:21
There are roughly three million
Muslims in this country,
Muslims in this country,
247
609230
2654
퓨 연구센터에 따르면
국내에는 약 300만명의
국내에는 약 300만명의
10:23
according to Pew Research Center.
248
611908
1607
무슬림이 있습니다.
10:25
That means the poll spoke to roughly
one in every 5,000 Muslims
one in every 5,000 Muslims
249
613539
2993
이 말은 여론조사가 대략
5000명의 무슬림 중 한 명 꼴로
5000명의 무슬림 중 한 명 꼴로
10:28
in this country.
250
616556
1168
조사했다는 겁니다.
10:29
This is one of the reasons
251
617748
1266
그렇기 때문에
10:31
why government statistics
are often better than private statistics.
are often better than private statistics.
252
619038
3607
국가 통계가 때로는
사설 통계보다 낫습니다.
사설 통계보다 낫습니다.
10:34
A poll might speak to a couple
hundred people, maybe a thousand,
hundred people, maybe a thousand,
253
622669
3035
여론조사는 200명 정도를 조사합니다.
1000명일 때도 있어요.
1000명일 때도 있어요.
10:37
or if you're L'Oreal, trying to sell
skin care products in 2005,
skin care products in 2005,
254
625728
3058
2005년에 스킨 케어 제품을
판매하려고 했던 로레알은
판매하려고 했던 로레알은
10:40
then you spoke to 48 women
to claim that they work.
to claim that they work.
255
628810
2417
48명의 여성을 조사하고
효과가 있다고 주장했죠.
효과가 있다고 주장했죠.
10:43
(Laughter)
256
631251
1026
(웃음)
10:44
Private companies don't have a huge
interest in getting the numbers right,
interest in getting the numbers right,
257
632301
3556
사기업은 올바른 수치를 얻는 데에는
그다지 큰 관심이 없어요.
그다지 큰 관심이 없어요.
10:47
they just need the right numbers.
258
635881
1755
자기가 원하는 숫자가 필요한거죠.
10:49
Government statisticians aren't like that.
259
637660
2020
정부 통계는 그렇지 않아요.
10:51
In theory, at least,
they're totally impartial,
they're totally impartial,
260
639704
2447
적어도 이론상으로는 완전히 공평해요.
10:54
not least because most of them do
their jobs regardless of who's in power.
their jobs regardless of who's in power.
261
642175
3501
누가 권력을 갖게 되든 대부분이 그냥
자기 일을 하는 것도 한 이유예요.
자기 일을 하는 것도 한 이유예요.
10:57
They're civil servants.
262
645700
1162
공무원이니까요.
10:58
And to do their jobs properly,
263
646886
1964
자기 일을 제대로 하려면
11:00
they don't just speak
to a couple hundred people.
to a couple hundred people.
264
648874
2363
200명만 설문조사하지 않아요.
11:03
Those unemployment numbers
I keep on referencing
I keep on referencing
265
651261
2318
제가 자꾸 언급하는 이 실업률 수치는
11:05
come from the Bureau of Labor Statistics,
266
653603
2004
노동통계청에서 발표한 거예요.
11:07
and to make their estimates,
267
655631
1335
이 수치를 계산하기 위해
11:08
they speak to over 140,000
businesses in this country.
businesses in this country.
268
656990
3489
노동통계청은 14만 개가 넘는
국내 사업장을 조사합니다.
국내 사업장을 조사합니다.
11:12
I get it, it's frustrating.
269
660503
1725
알아요, 정말 짜증나죠.
11:14
If you want to test a statistic
that comes from a private company,
that comes from a private company,
270
662252
3115
사기업에서 발표한 통계를
시험해보고 싶다면
시험해보고 싶다면
11:17
you can buy the face cream for you
and a bunch of friends, test it out,
and a bunch of friends, test it out,
271
665391
3361
친구들과 직접 로션을 사서
발라보면 됩니다.
발라보면 됩니다.
11:20
if it doesn't work,
you can say the numbers were wrong.
you can say the numbers were wrong.
272
668776
2591
효과가 없으면 통계가
틀렸다고 말할 수 있어요.
틀렸다고 말할 수 있어요.
11:23
But how do you question
government statistics?
government statistics?
273
671391
2146
그런데 정부 통계는 어떻게
의문을 제기하죠?
의문을 제기하죠?
11:25
You just keep checking everything.
274
673561
1630
모든 것을 계속 확인하는 겁니다.
11:27
Find out how they collected the numbers.
275
675215
1913
수치를 어떻게 수집했는지
11:29
Find out if you're seeing everything
on the chart you need to see.
on the chart you need to see.
276
677152
3125
내가 도표에서 봐야 할 모든 것을
다 보고 있는지를 알아내세요.
다 보고 있는지를 알아내세요.
11:32
But don't give up on the numbers
altogether, because if you do,
altogether, because if you do,
277
680301
2965
하지만 수치 일체를 포기하진 마세요.
11:35
we'll be making public policy
decisions in the dark,
decisions in the dark,
278
683290
2439
그렇게 되면 사익이 알려주는
방향만 사용하면서
방향만 사용하면서
11:37
using nothing but private
interests to guide us.
interests to guide us.
279
685753
2262
무지 속에서 공공정책을
만들고 있게 될 테니까요.
만들고 있게 될 테니까요.
11:40
Thank you.
280
688039
1166
고맙습니다.
11:41
(Applause)
281
689229
2461
(박수)
ABOUT THE SPEAKER
Mona Chalabi - Data journalistMona Chalabi tries to take the numb out of numbers. She's left with lots of "ers."
Why you should listen
After working for a humanitarian organisation, Mona Chalabi saw how important data was, but also how easily it could be used by people with their own specific agendas. Since then, her work for organizations like Transparency International and The Guardian has had one goal: to make sure as many people as possible can find and question the data they need to make informed decisions about their lives.
Chalabi is currently the Data Editor of the Guardian US, where she writes articles, produces documentaries and turns data into illustrations and animations. In 2016, her data illustrations were commended by the Royal Statistical Society.
Mona Chalabi | Speaker | TED.com