Mona Chalabi: 3 ways to spot a bad statistic
모나 찰라비(Mona Chalabi): 잘못된 통계를 알아내는 세 가지 방법
Mona Chalabi tries to take the numb out of numbers. She's left with lots of "ers." Full bio
Double-click the English transcript below to play the video.
about statistics today.
a little bit wary, that's OK,
kind of crazy conspiracy theorist,
음모론자인 것이 아니라
especially now, you should be skeptical.
의심을 하셔야 합니다.
which numbers are reliable
어떤 숫자를 신뢰하면 안 되는지를
some tools to be able to do that.
몇 가지 방법을 알려드리려고 해요.
I'm talking about here.
어떤 건지 명확히 짚고 넘어갈게요.
this anti-aging cream."
말하는 게 아니에요.
roll our eyes at numbers like that.
눈을 굴리시죠.
are questioning statistics like,
이런 통계에 의문을 갖게 된 겁니다.
rate is five percent."
it doesn't come from a private company,
사기업이 하는 말이 아니라
distrust the economic data
정부에서 보고하는 경제적 데이터를
it's even higher;
지지자들의 경우에는 더 높습니다.
in our society right now,
많다는 건 다들 알고 있습니다.
with these government numbers.
많이 말이 되기 시작합니다.
these statistics are crucial,
말하는 사람들도 있습니다.
of society as a whole
필요하다고 말합니다.
emotional anecdotes
and they don't really reflect
사람들의 일상에서 일어나는
in people's everyday lives.
is winning the argument right now.
이기고 있는 것 같긴 해요.
of alternative facts,
this kind of common ground,
토론의 시작점으로
moves in the US right now
아예 없애자는 움직임이
statistics altogether.
about measuring racial inequality.
것에 대한 법안이 있습니다.
money should not be used
인종차별에 관한 데이터를 수집하는 데
차별을 관찰할 수 있죠?
current levels of unfairness?
정책을 만들 수 있죠?
양질의 데이터가 없으면
on health or poverty?
about immigration
이 나라에 들어오고
and leaving the country?
공개 토론이 이루어질 수 있죠?
that's where they got their name.
그게 통계의 어원이에요.
measure the population
더 잘 측정하는 것이
beyond either blindly accepting
받아들이거나 반대하는 건
to be able to spot bad statistics.
방법을 알아야 합니다.
in a statistical department
일하면서 배웠습니다.
had been forced from their homes
이라크인이 피난을 갔는지와
but it was also incredibly difficult.
동시에 매우 어려운 일이었습니다.
영향을 미치는 결정들을 내렸습니다.
of our numbers --
of the country we should go to,
really disillusioned with our work,
환멸을 느끼기 시작했습니다.
a really good job,
있다고 생각했었어요.
who could really tell us were the Iraqis,
사람은 이라크인들 뿐인데
our analysis, let alone question it.
고사하고 볼 기회도 거의 없었어요.
만들어 줄 유일한 방법이
numbers more accurate
be able to question them.
하는 거라고 생각하게 됐어요.
and sharing them with the public.
대중에게 공유하는 것입니다.
you don't have to be a geek or a nerd.
누구나 할 수 있는 일이에요.
they're used by people
겸손한 척 하면서
while pretending they're humble.
사람들이 쓰는 단어들이에요.
some bad statistics.
드리고 싶어요.
is: Can you see uncertainty?
people's relationship with numbers,
사람들의 미디어에 대한 신뢰를
with political polls
여론조사에 불만이 많아요.
is actually to report the facts
예측하는 게 아니라고 생각하거든요.
can actually damage democracy
사람들에게 이런 신호를 주어
don't bother to vote for that guy,
가망이 없거든."
about the accuracy of this endeavor.
여론조사의 정확성에 대해 얘기해봅시다.
in the UK, Italy, Israel
US presidential election,
기반해서 볼 때
to predict hospital admissions.
것만큼이나 부정확합니다.
from an academic study to draw this.
데이터로 도출한 결론이에요.
polling has become so inaccurate.
많은 이유가 있습니다.
to get a really nice representative sample
모집단에서 정말로 대표성 있는 표본을
their phones to pollsters,
전화를 받기 꺼려하고
people might lie.
know that to look at the media.
그걸 의식하진 않죠.
of a Hillary Clinton win
to describe the temperature.
of 230 million voters in this country
유권자의 행동을 예측하는 게
will overstate certainty, and it works --
확실성을 과장해요. 효과도 있고요.
our brains to criticism.
무디게 할 수 있습니다.
you might feel skeptical.
of objective science,
to better communicate this to people,
더 잘 전달할 수 있고
in our numbers.
방법을 찾으려 했어요.
real data sets,
hand-drawn visualizations,
how imprecise the data is;
부정확한지 볼 수 있게요.
of finding out the probability
월별 확률을 보는 것 대신에
distribution of flu season.
대략적으로 알 수 있죠.
data visualization,
the exact probabilities,
people to get their flu jabs
독감 예방주사를 맞도록
these imprecisions,
정확하진 않다는 걸 알게 하고
walk away with a specific number,
중요한 사실을 기억하도록
leave a huge mark on our lives.
우리 인생에 큰 자국을 남깁니다.
Americans have shorter life expectancies
다른 인종보다
않을 거라는 사실도요.
can be kept in solitary confinement cells
일반적인 크기보다
of an average parking space.
있다는 사실도요.
is also to remind people
사람들에게 매우 중요한
statistical concepts,
알려주기 위해서입니다.
contains 6.23 fecal accidents."
6.23건의 배설물 사고가 일어난다."
swimming pool in the country
정확히 6.23개의 똥이
which comes from the CDC,
47개 수영시설을 조사한
redistributing poop.
how misleading averages can be.
오도할 수 있는지 볼 수 있죠.
that you guys should be asking yourselves
스스로에게 물어야 할
about averages in a way,
평균에 관한 거예요.
why people are so frustrated
불만을 느끼는 이유 중의 하나가
of who's winning and who's losing
누가 손해를 보고 있는지 알 수가
are frustrated with global averages
자신의 경험과 맞지 않을 때
with their personal experiences.
쉽게 이해됩니다.
data relates to their everyday lives.
어떻게 관련있는지를 보여주기 위해
called "Dear Mona,"
고민 상담란을 만들었어요.
with questions and concerns
in a separate bed to my wife?"
자는 게 정상인가요?"
of natural causes?"
because they make you think
이 수치들과 소통할
and communicate these numbers.
"How much pee is a lot of pee?"
많이 싸는 건가요?"라고 물으면
that the visualization makes sense
이해되도록 노력해야 합니다.
in the appendix of an academic study.
these numbers on urination volume,
테스트해보고 싶으면
and try it for yourself.
has to relate specifically to you.
있어야 한다는 것이 아닙니다.
were issued fines in France
니캅을 쓴 것 때문에
or wear the face veil.
니캅도 쓰지 않는데도요.
is to get as much context as possible.
최대한 많은 맥락을 얻기 위해서입니다.
from one data point,
멀리 떨어져서 봐야 합니다.
is five percent,
by educational status --
wanted you to go to college --
대학에 가라고 하는 겁니다.
다른지를 봐야하죠.
여성 실업률보다 높습니다.
it was the other way around.
of the biggest changes
once you look beyond the averages.
도표 안에 다 들어있는 것입니다.
you can change the story.
that I want you guys to think about
여러분이 생각해보길 바라는
data is communicated,
방식에 대해서만 말했어요.
matters just as much.
똑같이 중요합니다.
and actually kind of boring,
사실 약간 지루할 수 있거든요.
you can take to check this.
간단한 방법이 있습니다.
in this country support jihad,
지하드를 지지한다는 걸 발견했어요.
the original questionnaire.
who reported on that statistic
설문지 하단에 위치한
lower down on the survey
어떻게 정의하는지를
how they defined "jihad."
to be more religious."
무슬림의 개인적이고 평화적인 투쟁."
"violent holy war against unbelievers."
"이교도들과의 폭력적인 성전."
it's totally possible
설문지에서 지하드를
who defined it as violent holy war
그 누구도 그걸 지지한다고 하지 않았을
아예 없을 수 있어요.
how the survey was carried out.
물어보는 것도 좋습니다.
on the internet and completed it.
응답할 수 있었다는 뜻입니다.
if those people even identified as Muslim.
알 방법이 없어요.
respondents in that poll.
응답자 수는 600명이었습니다.
Muslims in this country,
국내에는 약 300만명의
one in every 5,000 Muslims
5000명의 무슬림 중 한 명 꼴로
are often better than private statistics.
사설 통계보다 낫습니다.
hundred people, maybe a thousand,
1000명일 때도 있어요.
skin care products in 2005,
판매하려고 했던 로레알은
to claim that they work.
효과가 있다고 주장했죠.
interest in getting the numbers right,
그다지 큰 관심이 없어요.
they're totally impartial,
their jobs regardless of who's in power.
자기 일을 하는 것도 한 이유예요.
to a couple hundred people.
I keep on referencing
businesses in this country.
국내 사업장을 조사합니다.
that comes from a private company,
시험해보고 싶다면
and a bunch of friends, test it out,
발라보면 됩니다.
you can say the numbers were wrong.
틀렸다고 말할 수 있어요.
government statistics?
의문을 제기하죠?
on the chart you need to see.
다 보고 있는지를 알아내세요.
altogether, because if you do,
decisions in the dark,
방향만 사용하면서
interests to guide us.
만들고 있게 될 테니까요.
ABOUT THE SPEAKER
Mona Chalabi - Data journalistMona Chalabi tries to take the numb out of numbers. She's left with lots of "ers."
Why you should listen
After working for a humanitarian organisation, Mona Chalabi saw how important data was, but also how easily it could be used by people with their own specific agendas. Since then, her work for organizations like Transparency International and The Guardian has had one goal: to make sure as many people as possible can find and question the data they need to make informed decisions about their lives.
Chalabi is currently the Data Editor of the Guardian US, where she writes articles, produces documentaries and turns data into illustrations and animations. In 2016, her data illustrations were commended by the Royal Statistical Society.
Mona Chalabi | Speaker | TED.com