TEDGlobal 2011
Ben Goldacre: Battling bad science
벤 골드에이커 (Ben Goldacre): 부정적인 과학과 씨름하는것
Filmed:
Readability: 4.3
2,713,579 views
매일 새로운 건강에 대한 조언의 뉴스 리포트가 있지만, 그것이 맞는지 어떻게 알 수 있을까요? 의사이고 역학자인 벤 골드에이커 (Ben Goldacre)는 맹목적이고 명백한 영양관련 주장에서부터 제약 산업의 아주 미묘한 속임수까지 증거가 변조될 수 있게하는 방법을 우리에게 아주 빠른 속도로 보여줍니다.
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:15
So I'm a doctor, but I kind of slipped sideways into research,
0
0
3000
그래서요, 저는 의사랍니다, 하지만 저는 연구계로 미끄러져 들어와
00:18
and now I'm an epidemiologist.
1
3000
2000
이제는 역학자(epidemiologist)가 되었답니다
00:20
And nobody really knows what epidemiology is.
2
5000
2000
실제로는 아무도 역학이 뭔지를 몰라요
00:22
Epidemiology is the science of how we know in the real world
3
7000
3000
역학 (epidemiology)은 이 세계의 무언가가 우리에게 이로운지 해로운지
00:25
if something is good for you or bad for you.
4
10000
2000
우리가 아는 방법에 대한 과학입니다
00:27
And it's best understood through example
5
12000
2000
그건 말도 안되고 괴짜같은 뉴스 헤드라인의 과학과 같은
00:29
as the science of those crazy, wacky newspaper headlines.
6
14000
5000
예를 통해 잘 이해될 수 있습니다
00:34
And these are just some of the examples.
7
19000
2000
이건 몇가지의 예입니다
00:36
These are from the Daily Mail. Every country in the world has a newspaper like this.
8
21000
3000
이건 데일리 메일 (Daily Mail)에 난 기사입니다. 모든 나라들은 이것과 비슷한 신문이 있죠
00:39
It has this bizarre, ongoing philosophical project
9
24000
3000
그건 이 세계의 움직이지 않는 물체들을
00:42
of dividing all the inanimate objects in the world
10
27000
2000
암을 야기시키거나 방지하는 물체로
00:44
into the ones that either cause or prevent cancer.
11
29000
3000
분류하는 것인 괴상하면서도 지속적인 철학 프로젝트입니다
00:47
So here are some of the things they said cause cancer recently:
12
32000
2000
여기 그들이 최근에 암을 야기시킨다고 말한 몇가지가 있습니다:
00:49
divorce, Wi-Fi, toiletries and coffee.
13
34000
2000
이혼, 와이-파이 (Wi-Fi), 세면도구, 그리고 커피
00:51
Here are some of the things they say prevents cancer:
14
36000
2000
여기 그들이 암을 예방한다고 말한 몇가지가 있습니다
00:53
crusts, red pepper, licorice and coffee.
15
38000
2000
빵껍질, 고추, 감초, 그리고 커피
00:55
So already you can see there are contradictions.
16
40000
2000
여러분은 이미 모순이 있다는걸 볼 수 있습니다
00:57
Coffee both causes and prevents cancer.
17
42000
2000
커피는 암을 야기시키기도 하고 예방하기도 합니다
00:59
And as you start to read on, you can see
18
44000
2000
계속 기사를 읽어감에 따라,
01:01
that maybe there's some kind of political valence behind some of this.
19
46000
3000
이 배경에는 정치적 베일같은게 드리워져 있을 수 있다는것을 알게되죠
01:04
So for women, housework prevents breast cancer,
20
49000
2000
여성을 위해서는, 가사일이 유방암을 예방하지만,
01:06
but for men, shopping could make you impotent.
21
51000
3000
남성에 대해서는, 쇼핑이 발기부전을 일으킬 수 있습니다
01:09
So we know that we need to start
22
54000
3000
그래서 우리는 이 배경의 과학을 후벼
01:12
unpicking the science behind this.
23
57000
3000
잘못짜진 바늘땀을 풀기 시작해야 할 필요가 있습니다
01:15
And what I hope to show
24
60000
2000
제가 보여드리고 싶은것은
01:17
is that unpicking dodgy claims,
25
62000
2000
책략적인 주장을 후벼 바늘땀을 푸는 것,
01:19
unpicking the evidence behind dodgy claims,
26
64000
2000
책략적인 주장 배경의 증거를 후벼 바늘땀을 푸는 것은,
01:21
isn't a kind of nasty carping activity;
27
66000
3000
형편없이 트집잡는 활동의 종류가 아니라는 것입니다;
01:24
it's socially useful,
28
69000
2000
그건 사회적으로 유용하지만,
01:26
but it's also an extremely valuable
29
71000
2000
또한 극도로 가치있는
01:28
explanatory tool.
30
73000
2000
설명의 수단이라는 것입니다
01:30
Because real science is all about
31
75000
2000
왜냐하면 실제 과학은
01:32
critically appraising the evidence for somebody else's position.
32
77000
2000
누군가의 지위를 위한 증거를 비판적으로 평가하는 것이기 때문입니다
01:34
That's what happens in academic journals.
33
79000
2000
그게 학술 저널에서 일어나는 일이지요
01:36
That's what happens at academic conferences.
34
81000
2000
그게 학술 컨퍼런스에서 일어나는 일이지요
01:38
The Q&A session after a post-op presents data
35
83000
2000
수술후 회복실 병실에서 보여주는 데이터 이후의 질의응답 (Q&A) 시간은
01:40
is often a blood bath.
36
85000
2000
종종 피바다를 이룹니다
01:42
And nobody minds that. We actively welcome it.
37
87000
2000
그리고 아무도 개의치 않습니다. 우리는 적극적으로 그걸 환영하죠
01:44
It's like a consenting intellectual S&M activity.
38
89000
3000
그건 마치 지성적인 가학피학증 (Sado-Masochism) 활동을 동의하는 것과 같습니다
01:47
So what I'm going to show you
39
92000
2000
그래서 제가 보여드리고자 하는것은
01:49
is all of the main things,
40
94000
2000
증거를 기반으로한 약제인
01:51
all of the main features of my discipline --
41
96000
2000
제 학문분야 원리의 주요 특징들의 전부인,
01:53
evidence-based medicine.
42
98000
2000
주요점들입니다
01:55
And I will talk you through all of these
43
100000
2000
저는 이 모든것들의 전 과정을 이야기해드릴 것이고
01:57
and demonstrate how they work,
44
102000
2000
그것이 어떻게 작용하는지 보여드리겠습니다
01:59
exclusively using examples of people getting stuff wrong.
45
104000
3000
특별히 사람들이 잘못 이해하는 예를 이용해서요
02:02
So we'll start with the absolute weakest form of evidence known to man,
46
107000
3000
사람들에게 알려진 증거의 절대적으로 가장 약한 형태부터 시작하겠는데,
02:05
and that is authority.
47
110000
2000
그건 권위입니다
02:07
In science, we don't care how many letters you have after your name.
48
112000
3000
과학에서는, 사람의 이름에 글자가 몇개 들어있는지 상관하지 않습니다
02:10
In science, we want to know what your reasons are for believing something.
49
115000
3000
과학에서는, 사람이 어떤것을 믿는 이유를 알고 싶어합니다
02:13
How do you know that something is good for us
50
118000
2000
뭔가가 우리에게 이득이 되는지♪
02:15
or bad for us?
51
120000
2000
해로운지 어떻게 아십니까?
02:17
But we're also unimpressed by authority,
52
122000
2000
또한 권위가 대단하다고 생각하지 않는데,
02:19
because it's so easy to contrive.
53
124000
2000
왜냐면 그것은 쉽게 고안될 수 있는것이기 때문이죠
02:21
This is somebody called Dr. Gillian McKeith Ph.D,
54
126000
2000
이 사람은 질리안 맥키스 (Gillian McKeith) 박사인데,
02:23
or, to give her full medical title, Gillian McKeith.
55
128000
3000
또는, 그녀의 의료계에서의 완전한 호칭은, 질리안 맥키스(Gillian McKeith)입니다
02:26
(Laughter)
56
131000
3000
(웃음)
02:29
Again, every country has somebody like this.
57
134000
2000
다시 말하자면, 모든 국가에는 이 사람과 비슷한 어떤 사람이 있습니다
02:31
She is our TV diet guru.
58
136000
2000
그녀는 우리의 TV 식이요법 전문가입니다
02:33
She has massive five series of prime-time television,
59
138000
3000
그녀는 텔레비젼 황금시간대의 거대한 5개 시리즈를 확보해
02:36
giving out very lavish and exotic health advice.
60
141000
3000
호화롭고 이국적인 건강조언을 베풉니다
02:39
She, it turns out, has a non-accredited correspondence course Ph.D.
61
144000
3000
판명이 난것은, 그녀는 아메리카 어딘가에서 인증받지 않은
02:42
from somewhere in America.
62
147000
2000
통신과정의 박사학위를 땄습니다
02:44
She also boasts that she's a certified professional member
63
149000
2000
그녀는 또한 그녀가 아주 화려하고 흥미로운
02:46
of the American Association of Nutritional Consultants,
64
151000
2000
미국의 영양 상담자 협회의
02:48
which sounds very glamorous and exciting.
65
153000
2000
공인 전문 회원이라고 자랑합니다
02:50
You get a certificate and everything.
66
155000
2000
모든것에 자격증을 받습니다
02:52
This one belongs to my dead cat Hetti. She was a horrible cat.
67
157000
2000
이 자격증은 저의 죽은 고양이인 헤티 (Hetti) 가 받은 겁니다. 그녀는 끔찍한 고양이였습니다
02:54
You just go to the website, fill out the form,
68
159000
2000
누구나 웹사이트로 가서, 양식을 적어넣고,
02:56
give them $60, and it arrives in the post.
69
161000
2000
미화 60 달러를 지불하면, 우편으로 도착합니다
02:58
Now that's not the only reason that we think this person is an idiot.
70
163000
2000
그것만이 이 사람이 백치라고 생각하는것도 아닙니다
03:00
She also goes and says things like,
71
165000
2000
그녀는 또한 더 나아가서 말하기를,
03:02
you should eat lots of dark green leaves,
72
167000
2000
진녹색의 이파리를 많이 먹어야 하는데,
03:04
because they contain lots of chlorophyll, and that will really oxygenate your blood.
73
169000
2000
왜냐하면 그 안에는 엽록소가 많이 포함되서, 그게 피를 정말 산화시킨다구요
03:06
And anybody who's done school biology remembers
74
171000
2000
학교 생물학을 마친 사람이라면 누구라도 기억하듯
03:08
that chlorophyll and chloroplasts
75
173000
2000
엽록소와 엽록체가
03:10
only make oxygen in sunlight,
76
175000
2000
햇빛에서만 산소를 만들고
03:12
and it's quite dark in your bowels after you've eaten spinach.
77
177000
3000
시금치를 먹고난 다음에 대변은 상당히 진합니다
03:15
Next, we need proper science, proper evidence.
78
180000
3000
다음, 우리는 적절한 과학, 적절한 증거가 필요합니다
03:18
So, "Red wine can help prevent breast cancer."
79
183000
2000
그래서, "적포도는 유방암을 예방할 수 있습니다."
03:20
This is a headline from the Daily Telegraph in the U.K.
80
185000
2000
이것은 데일리 영국연방의 텔레그라프에서 헤드라인에서 따온것입니다
03:22
"A glass of red wine a day could help prevent breast cancer."
81
187000
3000
"하루에 적포도주 한잔은 유방암 예방에 도움이 된다."
03:25
So you go and find this paper, and what you find
82
190000
2000
그래서 이 기사를 찾아가지만, 거기서 발견하는것은
03:27
is it is a real piece of science.
83
192000
2000
한쪼가리의 실제 과학이죠
03:29
It is a description of the changes in one enzyme
84
194000
3000
그건 어떤 연구소에 있는 벤치위의 접시에다가
03:32
when you drip a chemical extracted from some red grape skin
85
197000
3000
조금의 적포도 껍질에서 추출한 화학물을
03:35
onto some cancer cells
86
200000
2000
약간의 암세포에 떨어뜨렸을때
03:37
in a dish on a bench in a laboratory somewhere.
87
202000
3000
한개의 효소의 변화의 설명이죠
03:40
And that's a really useful thing to describe
88
205000
2000
그건 과학적인 기사에
03:42
in a scientific paper,
89
207000
2000
설명하는 것이 정말로 유용한 것일지는 모르지만,
03:44
but on the question of your own personal risk
90
209000
2000
만일 적포도주를 마시면
03:46
of getting breast cancer if you drink red wine,
91
211000
2000
유방암에 걸리는것에 대한 개인적 위험에 대한 의문에 대해
03:48
it tells you absolutely bugger all.
92
213000
2000
알려주느냐 하는것은 절대적으로 코딱지 같이 하찮은 겁니다
03:50
Actually, it turns out that your risk of breast cancer
93
215000
2000
실제로, 판명이 된 바로는
03:52
actually increases slightly
94
217000
2000
매번 마시는 술의 양에 따라
03:54
with every amount of alcohol that you drink.
95
219000
2000
유방암의 위험은 약간씩 증가합니다
03:56
So what we want is studies in real human people.
96
221000
4000
우리가 원하는것은 실제 인간에게서의 연구죠
04:00
And here's another example.
97
225000
2000
여기 다른 예가 있습니다
04:02
This is from Britain's leading diet and nutritionist in the Daily Mirror,
98
227000
3000
이것은 데일리 미러 (Daily Mirror)에 있는 영국의 선발적 식이요법과 영양사인데
04:05
which is our second biggest selling newspaper.
99
230000
2000
그건 두번째로 잘 팔리는 신문입니다
04:07
"An Australian study in 2001
100
232000
2000
"2001년의 호주 연구는
04:09
found that olive oil in combination with fruits, vegetables and pulses
101
234000
2000
과일, 야채와 두류와 더불어 올리브유를 조합하는것은
04:11
offers measurable protection against skin wrinklings."
102
236000
2000
피부 노화에 대해 측정할만한 보로를 제공합니다"
04:13
And then they give you advice:
103
238000
2000
그 다음에 신문이 조언을 베푸는것은:
04:15
"If you eat olive oil and vegetables, you'll have fewer skin wrinkles."
104
240000
2000
"만일 올리브유와 야채를 먹으면, 여러분은 더 적은 피부주름을 가지게 됩니다"
04:17
And they very helpfully tell you how to go and find the paper.
105
242000
2000
그리고는 아주 유익하게 신문을 찾는 방법에 대해 말합니다
04:19
So you go and find the paper, and what you find is an observational study.
106
244000
3000
그래서 그 기사를 찾으면, 알게 되는것은 관측연구입니다
04:22
Obviously nobody has been able
107
247000
2000
명백히 그 누구도
04:24
to go back to 1930,
108
249000
2000
1930년대로 되돌아갈 수 없죠
04:26
get all the people born in one maternity unit,
109
251000
3000
산부인과 병동하나에서 태어난 모든 사람들을 찾아서
04:29
and half of them eat lots of fruit and veg and olive oil,
110
254000
2000
그들 절반은 다량의 과일과 야채와 올리브유를 먹고
04:31
and then half of them eat McDonald's,
111
256000
2000
그 나머지 절반은 맥도널드를 먹일 수 없습니다
04:33
and then we see how many wrinkles you've got later.
112
258000
2000
그다음 우리가 보는것은 그 이후에 얼마나 많은 주름을 얻게 되었는지에 대한 것이죠
04:35
You have to take a snapshot of how people are now.
113
260000
2000
현재 사람들이 어떤 모습인지 스냅샷을 찍을 필요가 있어요
04:37
And what you find is, of course,
114
262000
2000
알게 되는것은, 물론
04:39
people who eat veg and olive oil have fewer skin wrinkles.
115
264000
3000
야채와 올리브유를 먹는 사람들은 더 적은 양의 주름을 지녔습니다
04:42
But that's because people who eat fruit and veg and olive oil,
116
267000
3000
하지만 그것은 과일과 야채와 올리브유를 먹는 사람들은
04:45
they're freaks, they're not normal, they're like you;
117
270000
3000
괴짜들이기 때문입니다, 그들은 정상이 아니예요, 그들은 여러분 같습니다,
04:48
they come to events like this.
118
273000
2000
그들은 TED와 같은 이런 이벤트에 옵니다
04:50
They are posh, they're wealthy, they're less likely to have outdoor jobs,
119
275000
3000
그들은 사치스럽고, 부자이고, 옥외의 직업을 가지는 확률이 적고,
04:53
they're less likely to do manual labor,
120
278000
2000
육체 노동을 하는 확률이 적고,
04:55
they have better social support, they're less likely to smoke --
121
280000
2000
더 나은 사회지원을 받고, 담배를 피울 확률이 적죠
04:57
so for a whole host of fascinating, interlocking
122
282000
2000
그래서 전체적 무리의 매력적이고, 서로 맞물려있는
04:59
social, political and cultural reasons,
123
284000
2000
사회적, 정치적, 그리고 문화적인 이유들로,
05:01
they are less likely to have skin wrinkles.
124
286000
2000
그들은 피부 주름을 가질 확률이 낮죠
05:03
That doesn't mean that it's the vegetables or the olive oil.
125
288000
2000
그건 야채와 올리브유라는 것을 의미하는 것은 아닙니다
05:05
(Laughter)
126
290000
2000
(웃음)
05:07
So ideally what you want to do is a trial.
127
292000
3000
그래서 이상적으로 사람들이 하고자 원하는 것은 실험입니다
05:10
And everybody thinks they're very familiar with the idea of a trial.
128
295000
2000
모두다 자신들이 실험에 대한 개념에 친숙하다고 생각합니다
05:12
Trials are very old. The first trial was in the Bible -- Daniel 1:12.
129
297000
3000
실험은 아주 오래되었습니다. 첫번째 실험은 다니엘서 1장 12절에 나오는 성경책에서였죠
05:15
It's very straightforward -- you take a bunch of people, you split them in half,
130
300000
2000
그건 아주 간단합니다, 많은 사람들을 데려다가, 절반으로 가르고,
05:17
you treat one group one way, you treat the other group the other way,
131
302000
2000
하나의 그룹을 한가지 방식으로 처리하고, 나머지 하나의 그룹을 다른 방식으로 처리하고
05:19
and a little while later, you follow them up
132
304000
2000
시간이 약간 흐른후, 그들을 추적해서
05:21
and see what happened to each of them.
133
306000
2000
그들 각각에게 무슨일이 일어났는지 알아보는 겁니다
05:23
So I'm going to tell you about one trial,
134
308000
2000
제가 하나의 실험에 대해 이야기를 해드리려 하는데
05:25
which is probably the most well-reported trial
135
310000
2000
그것은 지난 10년동안 영국연방 뉴스 미디아에서
05:27
in the U.K. news media over the past decade.
136
312000
2000
필경 가장 잘 보고된 기사일겁니다
05:29
And this is the trial of fish oil pills.
137
314000
2000
이건 생선오일 약의 실험입니다
05:31
And the claim was fish oil pills improve school performance and behavior
138
316000
2000
그 주장은 생선유약이 중심이 되는 어린이들의
05:33
in mainstream children.
139
318000
2000
학교 수행과 행동을 향상시켰다는 것이었습니다
05:35
And they said, "We've done a trial.
140
320000
2000
그들이 말하길, "우리는 실험을 마쳤습니다
05:37
All the previous trials were positive, and we know this one's gonna be too."
141
322000
2000
이전의 모든 실험들이 긍정적이었고, 우리는 이 실험도 긍정적이라는 것을 알고 있지요"
05:39
That should always ring alarm bells.
142
324000
2000
그 말은 항상 경고가 울린다는 것을 알아야 합니다
05:41
Because if you already know the answer to your trial, you shouldn't be doing one.
143
326000
3000
왜냐하면 실험의 대답을 이미 알고 있다면, 그 실험은 하지 않아야 하기 때문이죠
05:44
Either you've rigged it by design,
144
329000
2000
디자인으로 그 실험을 조작했거나,
05:46
or you've got enough data so there's no need to randomize people anymore.
145
331000
3000
충분한 데이터가 있어서 더이상 사람들을 임의추출할 필요가 없습니다
05:49
So this is what they were going to do in their trial.
146
334000
3000
그래서 그들이 그들의 실험에서 하려 했던것은 이겁니다
05:52
They were taking 3,000 children,
147
337000
2000
3,000 명의 어린이들을 데려다가,
05:54
they were going to give them all these huge fish oil pills,
148
339000
2000
많은 생선오일 약을 줄 예정이었죠,
05:56
six of them a day,
149
341000
2000
하루에 6개씩,
05:58
and then a year later, they were going to measure their school exam performance
150
343000
3000
그리고 1년후, 학생들의 학교시험 수행을 측정하려는 예정이었고
06:01
and compare their school exam performance
151
346000
2000
이 학교 시험 수행을
06:03
against what they predicted their exam performance would have been
152
348000
2000
만일 학생들이 약을 먹지 않았다면
06:05
if they hadn't had the pills.
153
350000
3000
학생들의 시험수행의 결과가 되었음직하게 예상되는것과 비교할 예정이었습니다
06:08
Now can anybody spot a flaw in this design?
154
353000
3000
이 디자인에 헛점을 짚을 수 있는 사람이 계신가요?
06:11
And no professors of clinical trial methodology
155
356000
3000
임상실험방법론 교수는
06:14
are allowed to answer this question.
156
359000
2000
이 질문에 대답하도록 허락되지 않습니다
06:16
So there's no control; there's no control group.
157
361000
2000
통제가 없어요; 통제 그룹이 없습니다;
06:18
But that sounds really techie.
158
363000
2000
그렇지만 그것은 굉장히 기술적으로 들리죠
06:20
That's a technical term.
159
365000
2000
그건 기술적인 용어입니다
06:22
The kids got the pills, and then their performance improved.
160
367000
2000
어린이들이 약을 먹었고, 그 다음에 그들의 수행이 향상되었습니다
06:24
What else could it possibly be if it wasn't the pills?
161
369000
3000
만일 그 약이 아니었다면 다른 어떤것일 수 있겠습니까?
06:27
They got older. We all develop over time.
162
372000
3000
그 아이들이 자라났습니다. 우리 모두는 시간이 흐르면서 발달하지요
06:30
And of course, also there's the placebo effect.
163
375000
2000
그리고 물론, 플라시보 (placebo) 효과도 있습니다
06:32
The placebo effect is one of the most fascinating things in the whole of medicine.
164
377000
2000
이 플라시보(placebo)효과는 제약의 전체에서 가장 매력적인 것중의 하나입니다
06:34
It's not just about taking a pill, and your performance and your pain getting better.
165
379000
3000
그건 약을먹어서 수행과 고통이 더 나아지는것이 아니예요
06:37
It's about our beliefs and expectations.
166
382000
2000
그건 우리의 믿음과 예상입니다
06:39
It's about the cultural meaning of a treatment.
167
384000
2000
그건 치료의 문화적인 의미입니다
06:41
And this has been demonstrated in a whole raft of fascinating studies
168
386000
3000
이것은 한 종류의 플라시보 (placebo) 효과를 다른것에 비교한
06:44
comparing one kind of placebo against another.
169
389000
3000
대단히 많은 매력적인 연구들에서 제시되어진 바 있습니다
06:47
So we know, for example, that two sugar pills a day
170
392000
2000
그래서 우리는, 예를 들어, 하루에 두개의 설탕약이
06:49
are a more effective treatment for getting rid of gastric ulcers
171
394000
2000
한개의 설탕약보다 위궤양을 제거하는데
06:51
than one sugar pill.
172
396000
2000
더 효과적인 지료법이라는것을 알지요
06:53
Two sugar pills a day beats one sugar pill a day.
173
398000
2000
두개의 설탕약은 한개의 설탕약을 이깁니다
06:55
And that's an outrageous and ridiculous finding, but it's true.
174
400000
3000
그건 터무니없고 허무맹랑한 결과지만, 그건 사실입니다
06:58
We know from three different studies on three different types of pain
175
403000
2000
우리는 세가지 다른 종류의 고통에서 세가지 다른 종류의 연구를 아는데
07:00
that a saltwater injection is a more effective treatment for pain
176
405000
3000
그건 소금물 주사가 설탕약을 복용하는 것보다,
07:03
than taking a sugar pill, taking a dummy pill that has no medicine in it --
177
408000
4000
그 안에 약이 들어 있지 않은 가짜 약을 복용하는것이 더 효과적입니다
07:07
not because the injection or the pills do anything physically to the body,
178
412000
3000
그 주사나 약이 신체에 물리적으로 어떤 작용을 해서가 아니라
07:10
but because an injection feels like a much more dramatic intervention.
179
415000
3000
그 주사는 훨씬 더 극적인 개입으로 느껴지기 때문입니다
07:13
So we know that our beliefs and expectations
180
418000
2000
그래서 우리는 우리의 믿음과 기대가
07:15
can be manipulated,
181
420000
2000
조작될 수 있다는 걸 압니다
07:17
which is why we do trials
182
422000
2000
그건 우리가 플라시보에 대해서 통제하여
07:19
where we control against a placebo --
183
424000
2000
사람들의 절반은 진짜 치료를 받고
07:21
where one half of the people get the real treatment
184
426000
2000
다른 절반은 플라시보(placebo) 치료를 받는
07:23
and the other half get placebo.
185
428000
2000
실험을 하는 이유입니다
07:25
But that's not enough.
186
430000
3000
그러나 그것만으로는 충분하지 않아요
07:28
What I've just shown you are examples of the very simple and straightforward ways
187
433000
3000
제가 막 여러분께 보여드린것은
07:31
that journalists and food supplement pill peddlers
188
436000
2000
저널리스트와 음식 보조약품 행상인과
07:33
and naturopaths
189
438000
2000
신경증환자들이
07:35
can distort evidence for their own purposes.
190
440000
3000
그들 자신의 목적을 위해 증거를 왜곡시킬 수 있는 아주 단순하고 직접적인 예들입니다
07:38
What I find really fascinating
191
443000
2000
제가 발견한 정말 매력적인 것은
07:40
is that the pharmaceutical industry
192
445000
2000
제약 산업은
07:42
uses exactly the same kinds of tricks and devices,
193
447000
2000
정확히 똑같은 속임수와 책략이지만,
07:44
but slightly more sophisticated versions of them,
194
449000
3000
그것들의 약간 더 세련된 판을
07:47
in order to distort the evidence that they give to doctors and patients,
195
452000
3000
그들이 의사들과 환자들에게 제공하는 증거를 왜곡하기 위해서 사용하고
07:50
and which we use to make vitally important decisions.
196
455000
3000
그리고 우리는 그것을 치명적으로 중요한 결정을 하는데 사용한다는 겁니다
07:53
So firstly, trials against placebo:
197
458000
2000
그래서 먼저, 실험은 플라시보 (placebo)에 반합니다:
07:55
everybody thinks they know that a trial should be
198
460000
2000
모든이들이 생각하기를 그 실험은
07:57
a comparison of your new drug against placebo.
199
462000
2000
새로운 약을 플라시보(placebo)에 반하는 비교여야한다는 걸 안다고 생각합니다
07:59
But actually in a lot of situations that's wrong.
200
464000
2000
하지만 실제로 대단히 많은 상황에서 그건 옳지 않습니다
08:01
Because often we already have a very good treatment that is currently available,
201
466000
3000
왜냐면 종종 우리는 이미 현재 사용할 수 있는 대단히 좋은 치료가 있어서
08:04
so we don't want to know that your alternative new treatment
202
469000
2000
우리는 새로운 대안 치료가
08:06
is better than nothing.
203
471000
2000
전무인것보다 낫다는 걸 알고 싶어하지 않습니다
08:08
We want to know that it's better than the best currently available treatment that we have.
204
473000
3000
우리는 그 새로운 대안치료가 우리가 가진 현재 가능한 가장 좋은 치료인지 알고 싶어합니다
08:11
And yet, repeatedly, you consistently see people doing trials
205
476000
3000
하지만 여전히, 반복해서 우리는 사람들이
08:14
still against placebo.
206
479000
2000
여전히 플라시보(placebo)에 반해서 실험을 하는것을 보게됩니다
08:16
And you can get license to bring your drug to market
207
481000
2000
의사결정을 하려고 하는 저같은 의사를 위해서는 쓸모없는
08:18
with only data showing that it's better than nothing,
208
483000
2000
전무한것보다 더 낫다는 것을 보여주는 데이터를 가지면
08:20
which is useless for a doctor like me trying to make a decision.
209
485000
3000
누구든 자격증을 받아서 자신의 약을 시장으로 가져갈 수 있습니다
08:23
But that's not the only way you can rig your data.
210
488000
2000
하지만 그것만이 데이터를 조작할 수 있는 방법은 아닙니다
08:25
You can also rig your data
211
490000
2000
데이터는 새로운 약에 반대해서
08:27
by making the thing you compare your new drug against
212
492000
2000
비교하는 약을 완전히 폐기물로 만드는것으로
08:29
really rubbish.
213
494000
2000
조작할 수 있습니다
08:31
You can give the competing drug in too low a dose,
214
496000
2000
경쟁하는 약의 1회 복용량을 아주 조금만 줘서
08:33
so that people aren't properly treated.
215
498000
2000
사람들이 적절하게 치료받지 않게 할 수 있습니다
08:35
You can give the competing drug in too high a dose,
216
500000
2000
경쟁하는 약의 1회 복용량을 아주 많이 줘서
08:37
so that people get side effects.
217
502000
2000
사람들이 부작용이 있게 할 수 있습니다
08:39
And this is exactly what happened
218
504000
2000
그리고 이것이 정신분열증을 위한
08:41
which antipsychotic medication for schizophrenia.
219
506000
2000
항정신병약에 일어난 바로 그 일입니다
08:43
20 years ago, a new generation of antipsychotic drugs were brought in
220
508000
3000
20년전에, 항 정신병약의 새로운 세대가 도입되었고
08:46
and the promise was that they would have fewer side effects.
221
511000
3000
약속은 그것들에는 더 적은 부작용이 있을거라는 것이었습니다
08:49
So people set about doing trials of these new drugs
222
514000
2000
그래서 사람들은 이 새로운 약을
08:51
against the old drugs,
223
516000
2000
오래된 약에 반해서 실험하려고 착수했지만
08:53
but they gave the old drugs in ridiculously high doses --
224
518000
2000
오래된 약에는 터무니없이 높은 1회 복용량을,
08:55
20 milligrams a day of haloperidol.
225
520000
2000
할로페리돌(holoperidol) 을 하루에 20밀리그램씩 주었습니다
08:57
And it's a foregone conclusion,
226
522000
2000
그것은 이미 정해진 결론이었죠,
08:59
if you give a drug at that high a dose,
227
524000
2000
그렇게 높은 1회 복용량의 약을 주면
09:01
that it will have more side effects and that your new drug will look better.
228
526000
3000
더 많은 부작용이 있을것이고 새로운 약이 더 좋게 보이겠지요
09:04
10 years ago, history repeated itself, interestingly,
229
529000
2000
10년전, 흥미롭게도 역사는 스스로 반복하죠
09:06
when risperidone, which was the first of the new-generation antipscyhotic drugs,
230
531000
3000
최초의 새로운 세대의 한정신병 약이었던, 리스페리돈(risperidone) 이
09:09
came off copyright, so anybody could make copies.
231
534000
3000
복제권이 방면되어서, 누구라도 복제할 수 있었습니다
09:12
Everybody wanted to show that their drug was better than risperidone,
232
537000
2000
모든이가 자기들의 약이 리스페리돈(risperidone)보다 더 낫다고 보여주길 바랬습니다
09:14
so you see a bunch of trials comparing new antipsychotic drugs
233
539000
3000
그래서 여러개의 실험이 하루에 8 밀리그램 (milligrams)을 리스페리돈(risperidone)에 반해서
09:17
against risperidone at eight milligrams a day.
234
542000
2000
새로운 항정신병 약에 반해서 비교하는것을 볼 수 있습니다
09:19
Again, not an insane dose, not an illegal dose,
235
544000
2000
다시말하면, 정신이상의 1회 복용량은 아니고, 불법적인 1회 복용량은 아니지만,
09:21
but very much at the high end of normal.
236
546000
2000
정상의 아주 높은 마지막 범위에 있죠
09:23
And so you're bound to make your new drug look better.
237
548000
3000
반드시 새로운 약이 더 좋게 보이도록 만들게 될 겁니다
09:26
And so it's no surprise that overall,
238
551000
3000
그래서 그건 산업기금의 실험이 전체적으로
09:29
industry-funded trials
239
554000
2000
독립적으로 지원받은 실험보다
09:31
are four times more likely to give a positive result
240
556000
2000
네 배가 긍정적인 결과를 낳을 확률이 있다는것은
09:33
than independently sponsored trials.
241
558000
3000
전혀 놀랄만한 사실이 아닌것이죠
09:36
But -- and it's a big but --
242
561000
3000
하지만 (but)--또 그건 아주 큰 하지만 (but: 이 단어는 궁둥이라는 단어, butt과 발음이 같은 동음이의어) 인데
09:39
(Laughter)
243
564000
2000
(웃음)
09:41
it turns out,
244
566000
2000
판명된 바로는,
09:43
when you look at the methods used by industry-funded trials,
245
568000
3000
산업기금의 실험에 이용된 방법을 보면
09:46
that they're actually better
246
571000
2000
독립적으로 지원받은 실험보다
09:48
than independently sponsored trials.
247
573000
2000
실제로 더 낫습니다
09:50
And yet, they always manage to to get the result that they want.
248
575000
3000
그럼에도, 그들은 항상 그들이 원하는 결과를 얻도록 관리합니다
09:53
So how does this work?
249
578000
2000
이렇게 작용하는 방법은 뭘까요?
09:55
How can we explain this strange phenomenon?
250
580000
3000
이 이상한 현상을 우리가 설명할 방법은 무엇일까요?
09:58
Well it turns out that what happens
251
583000
2000
어떤일이 일어나는지 판명이 된것은
10:00
is the negative data goes missing in action;
252
585000
2000
부정적인 데이터가 행방불명이 되는겁니다
10:02
it's withheld from doctors and patients.
253
587000
2000
그건 의사들과 환자들에게서 억제당합니다
10:04
And this is the most important aspect of the whole story.
254
589000
2000
그리고 이것이 전체적인 이야기에서 가장 중요한 요점입니다
10:06
It's at the top of the pyramid of evidence.
255
591000
2000
그건 증거 피라미드의 꼭대기에 있습니다
10:08
We need to have all of the data on a particular treatment
256
593000
3000
우리는 그것이 진정으로 효과적인지 아닌지 인지하기 위해
10:11
to know whether or not it really is effective.
257
596000
2000
특정한 치료에서 모든 데이터를 입수해야만 합니다
10:13
And there are two different ways that you can spot
258
598000
2000
약간의 데이터가 행방불명이 되었는지 아닌지를
10:15
whether some data has gone missing in action.
259
600000
2000
점찍을 수 있는 2 가지 다른 방법이 있습니다
10:17
You can use statistics, or you can use stories.
260
602000
3000
통계학을 이용할 수 있고, 또는 이야기를 이용할 수 있지요
10:20
I personally prefer statistics, so that's what I'm going to do first.
261
605000
2000
저는 개인적으로 확률을 선호합니다, 그래서 그걸 먼저 하겠습니다
10:22
This is something called funnel plot.
262
607000
2000
이것은 깔대기 플롯이라고 부르는 겁니다
10:24
And a funnel plot is a very clever way of spotting
263
609000
2000
이 깔대기 플롯은 만일 작은 부정적 실험이 행방불명이 된 경우, 사라진 경우
10:26
if small negative trials have disappeared, have gone missing in action.
264
611000
3000
점찍는 아주 영리한 방법입니다
10:29
So this is a graph of all of the trials
265
614000
2000
그래서 특정한 치료에서 행해진
10:31
that have been done on a particular treatment.
266
616000
2000
모든 실험의 그래프입니다
10:33
And as you go up towards the top of the graph,
267
618000
2000
그래프의 위쪽으로 올라감에 따라
10:35
what you see is each dot is a trial.
268
620000
2000
보게 되는것은 각각의 점이 실험이라는 겁니다
10:37
And as you go up, those are the bigger trials, so they've got less error in them.
269
622000
3000
그리고 위로 올라감에 따라, 규모가 더 큰 실험에는, 더 적은 오류가 있습니다
10:40
So they're less likely to be randomly false positives, randomly false negatives.
270
625000
3000
그래서 그것들은 무작위적으로 잘못된 긍정적이 될 확률과, 무작위적으로 잘못된 부정적이 될 확률이 적습니다.
10:43
So they all cluster together.
271
628000
2000
그것들은 모두 함께 그룹 지어집니다
10:45
The big trials are closer to the true answer.
272
630000
2000
큰 규모의 실험은 참 대답에 가깝습니다
10:47
Then as you go further down at the bottom,
273
632000
2000
그다음 바닥의 아래쪽으로 더 내려가면,
10:49
what you can see is, over on this side, the spurious false negatives,
274
634000
3000
보이는것은 이쪽 위에, 위조의 틀린 부정적 결과가 있고
10:52
and over on this side, the spurious false positives.
275
637000
2000
이쪽 위에, 위조의 틀린 긍정적인 결과가 있습니다
10:54
If there is publication bias,
276
639000
2000
만일 출판의 편견이 있는경우,
10:56
if small negative trials have gone missing in action,
277
641000
3000
작은 부정적 실험이 행방불명이 된 경우
10:59
you can see it on one of these graphs.
278
644000
2000
이 그래프중 하나에서 볼 수 있습니다
11:01
So you can see here that the small negative trials
279
646000
2000
그래서 여기서 볼 수 있는것은
11:03
that should be on the bottom left have disappeared.
280
648000
2000
아래 왼쪽에서 사라진 작은 부정적인 실험입니다
11:05
This is a graph demonstrating the presence of publication bias
281
650000
3000
이것은 출판편견의 연구에서
11:08
in studies of publication bias.
282
653000
2000
출판편견의 현존을 제시하는 그래프입니다
11:10
And I think that's the funniest epidemiology joke
283
655000
2000
그래서 제 생각에는 그건 여러분이 평생 듣게 될
11:12
that you will ever hear.
284
657000
2000
가장 웃기는 역학 농담입니다
11:14
That's how you can prove it statistically,
285
659000
2000
그것이 확률적으로 증명하는 방법입니다
11:16
but what about stories?
286
661000
2000
하지만 이야기는 어떨까요?
11:18
Well they're heinous, they really are.
287
663000
2000
글쎄요 그것은 가증스럽습니다, 그건 정말 그래요
11:20
This is a drug called reboxetine.
288
665000
2000
이것은 레복세틴(reboxetine)이라 부르는 약입니다
11:22
This is a drug that I myself have prescribed to patients.
289
667000
2000
이것은 제 자신이 환자들에게 처방한 약입니다
11:24
And I'm a very nerdy doctor.
290
669000
2000
저는 아주 괴상한 의사입니다
11:26
I hope I try to go out of my way to try and read and understand all the literature.
291
671000
3000
저는 제 방식으로 나가는 건 시도해보고 읽어서 모든 연구자료를 읽고 싶어하지요
11:29
I read the trials on this. They were all positive. They were all well-conducted.
292
674000
3000
저는 이것에 관한 실험을 읽었습니다. 실험들은 모두 긍정적이었습니다
11:32
I found no flaw.
293
677000
2000
실험들은 모두 잘 실행되었어요. 저는 헛점을 발견하지 못했습니다
11:34
Unfortunately, it turned out,
294
679000
2000
불행하게도, 판명된것은,
11:36
that many of these trials were withheld.
295
681000
2000
이 실험중 많은 숫자가 억제되었었습니다
11:38
In fact, 76 percent
296
683000
2000
사실, 이 약으로 행해졌던 모든 실험의
11:40
of all of the trials that were done on this drug
297
685000
2000
76퍼센트가
11:42
were withheld from doctors and patients.
298
687000
2000
의사와 환자들에게서 억제되었었습니다
11:44
Now if you think about it,
299
689000
2000
자, 이제 그것에 대해 생각해 볼 경우,
11:46
if I tossed a coin a hundred times,
300
691000
2000
제가 동전을 100번 던져서
11:48
and I'm allowed to withhold from you
301
693000
2000
여러분에게서 절반만큼의 그 대답을
11:50
the answers half the times,
302
695000
2000
억제하도록 허락받았다면
11:52
then I can convince you
303
697000
2000
그러면 저는 머리가 두개있는 동전이 제게 있다고
11:54
that I have a coin with two heads.
304
699000
2000
설득할 수 있습니다
11:56
If we remove half of the data,
305
701000
2000
만일 우리가 데이터의 절반을 제거할 경우,
11:58
we can never know what the true effect size of these medicines is.
306
703000
3000
우리는 이러한 의약의 실제 효과정도를 절대로 알 수 없습니다
12:01
And this is not an isolated story.
307
706000
2000
그리고 이것은 산발적인 이야기가 아닙니다
12:03
Around half of all of the trial data on antidepressants has been withheld,
308
708000
4000
항우울증에 관한 실험 데이터 전부의 절반정도는 억제되었지만
12:07
but it goes way beyond that.
309
712000
2000
그것은 그 이상을 넘어섭니다
12:09
The Nordic Cochrane Group were trying to get a hold of the data on that
310
714000
2000
노르틱 코크레인 그룹 (Nordic Cochrane Group)은 데이터를
12:11
to bring it all together.
311
716000
2000
모두 수집하기 위한 입수에 노력하고 있습니다
12:13
The Cochrane Groups are an international nonprofit collaboration
312
718000
3000
코크레인 그룹(Cochrane Group)은 한번이라도 보여진 데이터 전부의
12:16
that produce systematic reviews of all of the data that has ever been shown.
313
721000
3000
조직적인 리뷰를 제공하는 국제적 비영리 협동단체입니다
12:19
And they need to have access to all of the trial data.
314
724000
3000
그리고 그들은 실험 데이터의 전보에 접근할 필요가 있습니다
12:22
But the companies withheld that data from them,
315
727000
3000
하지만 회사들은 그들에게서 데이터를 억제하고
12:25
and so did the European Medicines Agency
316
730000
2000
유럽 제약 대리기관 (European Medicines Agency)도
12:27
for three years.
317
732000
2000
3년동안 그렇게 했습니다
12:29
This is a problem that is currently lacking a solution.
318
734000
3000
이것은 현재 해결책을 결여하는 문제입니다
12:32
And to show how big it goes, this is a drug called Tamiflu,
319
737000
3000
그래서 그게 어느정도가 크게 가는지 보여드리자면, 이것은
12:35
which governments around the world
320
740000
2000
전 세계의 정부들이 몇십억의 돈을 썼던
12:37
have spent billions and billions of dollars on.
321
742000
2000
아미플루 (Tamiflu)라고 하는 약입니다
12:39
And they spend that money on the promise
322
744000
2000
그들은 이 약이 독감 합병증의
12:41
that this is a drug which will reduce the rate
323
746000
2000
비율을 줄여줄것이라는 약속에서
12:43
of complications with flu.
324
748000
2000
그 돈을 씁니다
12:45
We already have the data
325
750000
2000
우리는 그것이 몇시간으로 독감 기간을 줄이는
12:47
showing that it reduces the duration of your flu by a few hours.
326
752000
2000
것을 보여주는 데이터를 이미 가지고 있습니다
12:49
But I don't really care about that. Governments don't care about that.
327
754000
2000
하지만 저는 그것을 개의치 않습니다. 정부는 그것을 개의치 않습니다
12:51
I'm very sorry if you have the flu, I know it's horrible,
328
756000
3000
만약 여러분이 독감을 앓으신다면 아주 죄송합니다, 제가 그게 끔찍하다는걸 알지요
12:54
but we're not going to spend billions of dollars
329
759000
2000
하지만 우리는 여러분의 독감 증상의 기간을
12:56
trying to reduce the duration of your flu symptoms
330
761000
2000
한나절로 줄이기 위한 노력으로 수십억 달러를
12:58
by half a day.
331
763000
2000
소비하지는 않을것입니다
13:00
We prescribe these drugs, we stockpile them for emergencies
332
765000
2000
우리는 죽음을 의미하는 폐렴의
13:02
on the understanding that they will reduce the number of complications,
333
767000
2000
합병증의 숫자를 그들이 줄일것이라는 이해에서
13:04
which means pneumonia and which means death.
334
769000
3000
이 약들을 처방하고, 비상시를 위해 비축합니다
13:07
The infectious diseases Cochrane Group, which are based in Italy,
335
772000
3000
이 전염성이 있는 질병을, 이탈리아에 근거를 둔, 코크레인 그룹(Cochrane Group)이
13:10
has been trying to get
336
775000
2000
이 약이 효과적인지 아닌지의
13:12
the full data in a usable form out of the drug companies
337
777000
3000
완전한 결정을 위해서 제약회사에서 나온
13:15
so that they can make a full decision
338
780000
3000
이용할 수 있는 형태의
13:18
about whether this drug is effective or not,
339
783000
2000
완전한 데이터를 입수하려고 노력하고 있는데
13:20
and they've not been able to get that information.
340
785000
3000
그들은 그 정보를 입수할 수가 없었습니다
13:23
This is undoubtedly
341
788000
2000
이것은 의심할 바 없이
13:25
the single biggest ethical problem
342
790000
3000
오늘날 제약계가 당면한
13:28
facing medicine today.
343
793000
2000
가장 큰 단 하나의 도덕적 문제입니다
13:30
We cannot make decisions
344
795000
3000
우리는 모든 정보가 부재된 상태에서는
13:33
in the absence of all of the information.
345
798000
4000
의사결정을 할 수 없습니다
13:37
So it's a little bit difficult from there
346
802000
3000
그래서 긍정적인 결론같은 걸로 돌리기에는
13:40
to spin in some kind of positive conclusion.
347
805000
4000
약간 힘이 듭니다
13:44
But I would say this:
348
809000
4000
그렇지만 저는 이렇게 말하겠습니다:
13:48
I think that sunlight
349
813000
3000
제 생각에는 햇살이
13:51
is the best disinfectant.
350
816000
2000
가장 최고의 살균제입니다
13:53
All of these things are happening in plain sight,
351
818000
3000
이런 모든일들이 명백한 시야에서 일어나고 있고,
13:56
and they're all protected
352
821000
2000
그것들은 전부 따분함의 동력 분야로
13:58
by a force field of tediousness.
353
823000
3000
모두 보호받습니다
14:01
And I think, with all of the problems in science,
354
826000
2000
그리고 저는, 과학에서의 모든 문제들과 함께,
14:03
one of the best things that we can do
355
828000
2000
우리가 할 수 있는 가장 최고의 것들중 하나는
14:05
is to lift up the lid,
356
830000
2000
뚜껑을 들어올려
14:07
finger around in the mechanics and peer in.
357
832000
2000
역학의 주변에 손을 대고 내부를 응시하는 겁니다
14:09
Thank you very much.
358
834000
2000
대단히 감사합니다
14:11
(Applause)
359
836000
3000
(박수)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com