ABOUT THE SPEAKER
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.

Why you should listen

"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.

Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)

As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."

Read an excerpt of Bad Pharma >>

More profile about the speaker
Ben Goldacre | Speaker | TED.com
TEDMED 2012

Ben Goldacre: What doctors don't know about the drugs they prescribe

Ben Goldacre(벤 골드에이커) : 의사들이 처방약에 대해 알아야 할 것

Filmed:
2,501,600 views

신약이 개발되면 약의 모든 실험 결과들이 의학계에 발표되어야 합니다. 그러나 그 결과가 부정적이거나 결론이 나지 않은 실험들은 발표에서 누락시켜 많은 의사 연구자들을 ㅇ암흑 속에 가두어 버립니다. 벤 골드에이커 박사는, 이 정열적인 연설에서, 부정적인 결과를 낸 실험이 발표되지 않을 때 왜 우리에게 위험이 닥차는지를 설명한다.
- Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio

Double-click the English transcript below to play the video.

00:16
Hi안녕. So, this chap녀석 here,
0
671
2785
안녕하세요.
자, 여기 한 남자가 있습니다.
00:19
he thinks생각해. he can tell you the future미래.
1
3456
2262
그는 미래를 예언할 수 있다고 생각하죠.
00:21
His name이름 is Nostradamus노스트라 다무스, although이기는 하지만 here the Sun태양 have
2
5718
1979
그의 이름은 노스트라다무스입니다.
다만 햇빛 때문에
00:23
made만든 him look a little bit비트 like Sean Connery코너리. (Laughter웃음)
3
7697
3670
약간 션 코네리 같아 보이네요.(웃음)
00:27
And like most가장 of you, I suspect용의자, I don't really believe
4
11367
2903
대부분의 사람들처럼, 저 역시 인간이 미래를
00:30
that people can see into the future미래.
5
14270
1108
볼 수 있다고 생각하지 않습니다
00:31
I don't believe in precognition예지, and every...마다 now and then,
6
15378
2704
저는 예언 같은 건 믿지 않습니다.
00:33
you hear듣다 that somebody어떤 사람 has been able할 수 있는 to predict예측하다 something that happened일어난 in the future미래,
7
18082
3182
가끔씩 누가 미래에 무슨 일이 일어나는지 안다는데,
00:37
and that's probably아마 because it was a fluke흡충, and we only
8
21264
3059
그것은 엉터리 괴짜들과 그들의 우연히 들어 맞은 요행
00:40
hear듣다 about the flukes얼간이 and about the freaks괴물.
9
24323
2615
에 대한 것일 뿐입니다.
00:42
We don't hear듣다 about all the times타임스 that people got stuff물건 wrong잘못된.
10
26938
4079
사실 예언이 틀렸다는 말은 통 들어 보질 못했습니다.
00:46
Now we expect배고 있다 that to happen우연히 있다 with silly바보 stories이야기
11
31017
2160
근데 그런 어이없는 이야기들이
00:49
about precognition예지, but the problem문제 is,
12
33177
3139
예언에 대한 것이면 별 상관없지만,
00:52
we have exactly정확하게 the same같은 problem문제 in academia학계
13
36316
3344
그런 똑같은 문제가 학계,
00:55
and in medicine의학, and in this environment환경, it costs소송 비용 lives.
14
39660
4501
특히 의학계에서도 일어납니다.
이 경우엔 생명을 위협하죠.
01:00
So firstly첫째로, thinking생각 just about precognition예지, as it turns회전 out,
15
44161
3365
먼저, 미래 예측에 대해 이야기해 보죠.
01:03
just last year a researcher연구원 called전화 한 Daryl대릴 BemBem conducted전도 된
16
47526
2529
작년에 대릴 벰이라는 연구자가
01:05
a piece조각 of research연구 where he found녹이다 evidence증거
17
50055
1836
대학생들에게서 미래예측이 가능하다는
01:07
of precognitive인지 적 powers권력 in undergraduate대학 재학생 students재학생,
18
51891
3658
증거를 찾아냈다고 했습니다.
01:11
and this was published출판 된 in a peer-reviewed동료 심사를 거친 academic학생 journal일지
19
55549
2574
이 결과는 학계의 검증을 거쳐 학술지에도 실렸죠.
01:14
and most가장 of the people who read독서 this just said, "Okay, well,
20
58123
2281
그 논문을 읽은 대부분의 사람들은 그럴 듯하다고 했지만,
01:16
fair공정한 enough충분히, but I think that's a fluke흡충, that's a freak변덕, because I know
21
60404
2181
저는 요행의 결과라고 생각했죠. 왜냐하면,
01:18
that if I did a study연구 where I found녹이다 no evidence증거
22
62585
2834
만약 그 실험의 결과가 대학생들이 미래를 예측하는
01:21
that undergraduate대학 재학생 students재학생 had precognitive인지 적 powers권력,
23
65419
2512
능력이 있다는 것에 부정적이었다면,
01:23
it probably아마 wouldn't~ 않을거야. get published출판 된 in a journal일지.
24
67931
3552
아마 학술지에 싣지 않았을 것이기 때문이죠.
01:27
And in fact, we know that that's true참된, because
25
71483
2855
사실, 맞는 말이에요. 왜냐하면
01:30
several수개 different다른 groups여러 떼 of research연구 scientists과학자들 tried시도한
26
74338
2529
몇몇 연구 그룹의 과학자들이
01:32
to replicate뒤로 젖히다 the findings결과 of this precognition예지 study연구,
27
76867
3520
다른 결과가 나온 똑같은 방식의 연구를
01:36
and when they submitted제출 된 it to the exact정확한 same같은 journal일지,
28
80387
2635
똑같은 학술지에 제출을 했을 때, 편집자들은
01:38
the journal일지 said, "No, we're not interested관심있는 in publishing출판
29
83022
3152
"똑같은 연구와 기존 연구에 대한 부정적인 실험 결과는
01:42
replication복제. We're not interested관심있는 in your negative부정 data데이터."
30
86174
4525
받아 들이지 않습니다" 라고 하기 때문이죠.
01:46
So this is already이미 evidence증거 of how, in the academic학생
31
90699
2754
보시다시피 학계에서도
01:49
literature문학, we will see a biased치우친 sample견본 of the true참된 picture그림
32
93453
4870
이렇게 과학적 연구를 둘러 싼 편견의 예를
01:54
of all of the scientific과학적 studies연구 that have been conducted전도 된.
33
98323
3467
볼 수 있습니다.
01:57
But it doesn't just happen우연히 있다 in the dry마른 academic학생 field of psychology심리학.
34
101790
4429
이런 현상은 경직된 심리학계 뿐만
02:02
It also또한 happens일이 in, for example, cancer research연구.
35
106219
4367
암 연구같은 분야에서도 일어납니다.
02:06
So in March행진, 2012, just one month ago...전에, some researchers연구원
36
110586
4077
한달전인 2012년 3월,
02:10
reported보고 된 in the journal일지 Nature자연 how they had tried시도한
37
114663
2896
네이쳐 학술지에 몇몇 연구자들이
02:13
to replicate뒤로 젖히다 53 different다른 basic기본 science과학 studies연구 looking at
38
117559
3846
53가지의 암 치료 방법을
02:17
potential가능성 treatment치료 targets표적 in cancer,
39
121405
3555
재연해 보았는데,
02:20
and out of those 53 studies연구, they were only able할 수 있는
40
124960
2638
그 53방법중에서 단 6가지만
02:23
to successfully성공적으로 replicate뒤로 젖히다 six.
41
127598
3076
성공적으로 재연할 수 있었다고 합니다.
02:26
Forty-seven마흔 일곱 out of those 53 were unreplicableunreplicable.
42
130674
4333
53개 중 47개는 재연할 수 없었던거죠.
02:30
And they say in their그들의 discussion토론 that this is very likely아마도
43
135007
3913
그들은 이런 일이 일어날 수 있는 이유가 바로
02:34
because freaks괴물 get published출판 된.
44
138920
2639
앞서 말한 엉터리 과학자들 때문이라고 밝혔습니다.
02:37
People will do lots and lots and lots of different다른 studies연구,
45
141559
2096
그러니까, 사람들은 엄청난 양의 실험을 한 뒤
02:39
and the occasions용무 when it works공장 they will publish출판하다,
46
143655
2120
성공한 실험은 발표하고
02:41
and the ones그들 where it doesn't work they won't습관.
47
145775
1679
안 되는 것들은 숨긴다는 것입니다.
02:43
And their그들의 first recommendation추천 of how to fix고치다 this problem문제,
48
147454
3941
이 연구의 과학자들은 다음과 같은 제안을 합니다.
02:47
because it is a problem문제, because it sends보냄 us all down blind블라인드 alleys뒷골목,
49
151395
3289
우리의 눈을 가리는 이런 문제를 해결하기 위해서는
02:50
their그들의 first recommendation추천 of how to fix고치다 this problem문제
50
154684
1706
우선 부정적인 실험 결과를 낸 연구도
02:52
is to make it easier더 쉬운 to publish출판하다 negative부정 results결과들 in science과학,
51
156390
3393
발표하기 쉽도록 해야 하고
02:55
and to change변화 the incentives인센티브 so that scientists과학자들 are
52
159783
2907
또 과학자들이 그렇게 할 수 있도록
02:58
encouraged격려의 to post게시하다 more of their그들의 negative부정 results결과들 in public공공의.
53
162690
4352
충분한 인센티브를 제공해야 합니다.
03:02
But it doesn't just happen우연히 있다 in the very dry마른 world세계
54
167042
3852
그리고 그런 상황들은 경직된 기초과학 분야의
03:06
of preclinical전임상의 basic기본 science과학 cancer research연구.
55
170894
3851
암 연구에서 만 일어나는게 아닙니다.
03:10
It also또한 happens일이 in the very real레알, flesh육체 and blood
56
174745
3657
사람이 실험 대상이 되는 의학계에서도
03:14
of academic학생 medicine의학. So in 1980,
57
178402
3591
마찬가지 입니다. 1980년에 몇몇 연구자들이
03:17
some researchers연구원 did a study연구 on a drug called전화 한 lorcainide로 카이 니드,
58
181993
3008
불규칙적인 심장박동 억제 작용을 하는
03:20
and this was an anti-arrhythmic항 부정맥제 drug,
59
185001
2331
Lorcainide라는 항부정맥제를
03:23
a drug that suppresses억압하다 abnormal비정상적인 heart심장 rhythms리듬,
60
187332
2251
연구를 했는데요,
03:25
and the idea생각 was, after people have had a heart심장 attack공격,
61
189598
2228
심장마비를 겪은 환자들에게
03:27
they're quite아주 likely아마도 to have abnormal비정상적인 heart심장 rhythms리듬,
62
191826
1537
불규칙적인 심장박동 리듬을
03:29
so if we give them a drug that suppresses억압하다 abnormal비정상적인 heart심장
63
193363
2377
고칠 수 있는 약을 제공하여
03:31
rhythms리듬, this will increase증가하다 the chances기회 of them surviving생존하는.
64
195740
3713
그들의 생존율을 높이고자 했었죠.
03:35
Early이른 on its development개발, they did a very small작은 trial시도,
65
199453
3008
처음 개발단계에서는
03:38
just under아래에 a hundred patients환자.
66
202461
1644
100명 미만의 환자들을 대상으로 했습니다.
03:40
Fifty오십 patients환자 got lorcainide로 카이 니드, and of those patients환자, 10 died사망 한.
67
204105
3652
Lorcainide를 투여 받은 50명 중 10명이 사망했습니다.
03:43
Another다른 50 patients환자 got a dummy더미 placebo위약 sugar설탕 pill알약
68
207757
3043
나마지 50명에게는 위약을 제공했는데,
03:46
with no active유효한 ingredient성분, and only one of them died사망 한.
69
210800
2958
그들 중 한명만 사망했습니다.
03:49
So they rightly바르게 regarded간주 된 this drug as a failure실패,
70
213758
2649
이 임상결과에 따라
03:52
and its commercial상업적 development개발 was stopped멈춘, and because
71
216407
2869
이 약은 실패한 것으로 간주되었고,
03:55
its commercial상업적 development개발 was stopped멈춘, this trial시도 was never published출판 된.
72
219276
4348
상업적 개발과 제조를 멈추었습니다.
03:59
Unfortunately운수 나쁘게, over the course코스 of the next다음 것 five다섯, 10 years연령,
73
223624
5397
그러나 불행하게도 그 후 5년, 10년동안
04:04
other companies회사들 had the same같은 idea생각 about drugs약제 that would
74
229021
3825
비슷한 생각을 가진 다른 회사들이
04:08
prevent막다 arrhythmias부정맥 in people who have had heart심장 attacks공격.
75
232846
2592
계속해서 항부정맥제를 개발 했습니다.
04:11
These drugs약제 were brought가져온 to market시장. They were prescribed처방 된
76
235438
1720
심장마비는 꽤 흔한 현상이라서
04:13
very widely넓게 because heart심장 attacks공격 are a very common공유지 thing,
77
237158
3412
이 제품들이 출시되어, 광범위하게 처방되었습니다.
04:16
and it took~했다 so long for us to find out that these drugs약제
78
240570
3843
이 약이 사실은 사망율을 높인다는
04:20
also또한 caused일으킨 an increased증가한 rate of death죽음
79
244413
2911
사실을 깨닫기까지 너무 오래 걸렸습니다.
04:23
that before we detected탐지 된 that safety안전 signal신호,
80
247324
2747
이 항부정맥제의 처방이
04:25
over 100,000 people died사망 한 unnecessarily불필요하게 in America미국
81
250071
6051
위험하다는 것을 감지했을땐
04:32
from the prescription처방 of anti-arrhythmic항 부정맥제 drugs약제.
82
256122
3451
이미 미국의 십만 목숨을 앗아간 뒤였죠.
04:35
Now actually사실은, in 1993,
83
259573
3598
사실 1993년에
04:39
the researchers연구원 who did that 1980 study연구, that early이른 study연구,
84
263171
3560
1980년 초기 연구를 행했던 과학자들은
04:42
published출판 된 a mea메아리 culpa범인, an apology사과 to the scientific과학적 community커뮤니티,
85
266731
3841
과실을 인정하고, 사과하는 글을 실었습니다.
04:46
in which어느 they said, "When we carried운반 된 out our study연구 in 1980,
86
270572
3125
여기서 그들은 "1980년 연구를 하면서 나온
04:49
we thought that the increased증가한 death죽음 rate that occurred발생한
87
273697
1936
항부정맥제로 인한 사망률의 증가는
04:51
in the lorcainide로 카이 니드 group그룹 was an effect효과 of chance기회."
88
275633
3358
우연한 결과라고 생각했습니다."
04:54
The development개발 of lorcainide로 카이 니드 was abandoned버려진 for commercial상업적 reasons원인,
89
278991
2032
항부정맥제의 상업적 개발은 중단되었고
04:56
and this study연구 was never published출판 된;
90
281023
1638
이 연구 또한 발표되지 않았습니다;
04:58
it's now a good example of publication출판 bias바이어스.
91
282661
2386
이것은 출판 편향의 좋은 예입니다.
05:00
That's the technical전문인 term기간 for the phenomenon현상 where
92
285047
1891
이것은 다음 같은 현상의 전문 용어입니다:
05:02
unflattering단호한 data데이터 gets도착 lost잃어버린, gets도착 unpublished널리 알려지지 않은, is left
93
286938
4238
호의적이지 않은 시험 결과들은 유실되고
발표되지 않으며
05:07
missing있어야 할 곳에 없는 in action동작, and they say the results결과들 described기술 된 here
94
291176
3371
그래서 사용될 수 없으며, 이런 결과를
05:10
"might have provided제공된 an early이른 warning경고 of trouble수고 ahead앞으로."
95
294547
4808
"미래에 문제의 소지가 될 수 있습니다"
라는 딱지를 붙여 경고한다.
05:15
Now these are stories이야기 from basic기본 science과학.
96
299355
3213
이것들은 기초 과학에서 일어났던
05:18
These are stories이야기 from 20, 30 years연령 ago...전에.
97
302568
4787
20, 30년 전의 이야기들이죠.
05:23
The academic학생 publishing출판 environment환경 is very different다른 now.
98
307355
3147
학계의 출판(발표) 환경은 현재 매우 다릅니다.
05:26
There are academic학생 journals저널 like "Trials예심," the open열다 access접속하다 journal일지,
99
310502
3995
"Trials"와 같은 접근성이 열려있는 학술지도 있습니다.
05:30
which어느 will publish출판하다 any trial시도 conducted전도 된 in humans인간
100
314497
2655
실험의 결과가 부정적이든, 긍정적이든,
05:33
regardless관계없이 of whether인지 어떤지 it has a positive or a negative부정 result결과.
101
317152
3303
인간의 모든 실험 연구는
네이쳐지에 발표할 수 있습니다.
05:36
But this problem문제 of negative부정 results결과들 that go missing있어야 할 곳에 없는 in action동작
102
320455
3969
그러나 부정적인 실험 결과를 낸 연구들이
사장된다는 문제는
05:40
is still very prevalent만연한. In fact it's so prevalent만연한
103
324424
3559
여전히 만연합니다. 이런 일이 너무 빈번해서
05:43
that it cuts상처 to the core핵심 of evidence-based증거 기반 medicine의학.
104
327983
5851
이젠 증거 기반 의학(EBM)의 핵심이 되었습니다.
05:49
So this is a drug called전화 한 reboxetine레복 세틴, and this is a drug
105
333834
3015
이것은 reboxetine라는 항우울제 입니다.
05:52
that I myself자기 have prescribed처방 된. It's an antidepressant항우울제.
106
336849
2535
저도 이 약을 처방했습니다.
05:55
And I'm a very nerdy얼간이 doctor의사, so I read독서 all of the studies연구
107
339384
2536
제가 좀 고지식한 편이라, 이 약에 관한
05:57
that I could on this drug. I read독서 the one study연구 that was published출판 된
108
341920
3052
연구 논문 자료들을 모두 읽었습니다.
06:00
that showed보여 주었다 that reboxetine레복 세틴 was better than placebo위약,
109
344972
2947
한 연구 결과는
reboxetine 가 위약보다 효과가 있다고 했습니다.
06:03
and I read독서 the other three studies연구 that were published출판 된
110
347919
1864
그리고 다른 세가지 연구 결과들은
06:05
that showed보여 주었다 that reboxetine레복 세틴 was just as good as any other antidepressant항우울제,
111
349783
3571
reboxetine이 다른 항우울제만큼 뛰어나다고 했습니니다.
06:09
and because this patient환자 hadn't~하지 않았다 done끝난 well on those other antidepressants항우울제,
112
353354
2187
그리고 다른 항우울제로는 호전되지 않은 환자에게
효과가 있었기 때문에
06:11
I thought, well, reboxetine레복 세틴 is just as good. It's one to try.
113
355541
2466
reboxetine은 처방할 만 하다고 생각했습니다.
06:13
But it turned돌린 out that I was misled그릇된. In fact,
114
358007
3392
그러나 제가 잘못 생각했다는 걸 깨달았습니다.
06:17
seven일곱 trials시련 were conducted전도 된 comparing비교 reboxetine레복 세틴
115
361399
2449
사실은 reboxetine을 위약과 비교하는
06:19
against반대 a dummy더미 placebo위약 sugar설탕 pill알약. One of them
116
363848
2712
7개의 실험이 있었지만
06:22
was positive and that was published출판 된, but six of them
117
366560
2312
그 중 긍정적인 결과를 낸 한 실험만 발표되었고,
06:24
were negative부정 and they were left unpublished널리 알려지지 않은.
118
368872
4048
나머지 부정적인 결과를 낸 6개의 실험은
발표되지 않았던 것입니다.
06:28
Three trials시련 were published출판 된 comparing비교 reboxetine레복 세틴
119
372920
1739
reboxetine과 다른 항우울제를 비교한 3개의 실험은
06:30
against반대 other antidepressants항우울제 in which어느 reboxetine레복 세틴
120
374659
2226
reboxetine가 다른 항우울제만큼
뛰어나다는 결과를 보였고
06:32
was just as good, and they were published출판 된,
121
376885
1793
그들은 발표되었습니다.
06:34
but three times타임스 as many많은 patients'환자 ' worth가치 of data데이터 was collected모은
122
378678
4389
그러나 세배나 많은 환자들의 자료를 검토했던 연구들은
06:38
which어느 showed보여 주었다 that reboxetine레복 세틴 was worse보다 나쁜 than
123
383067
1871
reboxetine이 다른 항우울제보다
효과가 떨어진다는 결과를 보였지만,
06:40
those other treatments치료법, and those trials시련 were not published출판 된.
124
384938
4701
그 논문들은 발표되지 않았습니다.
06:45
I felt펠트 misled그릇된.
125
389639
3759
발표된 자료에 제 판단을 흐렸던 것입니다.
06:49
Now you might say, well, that's an extremely매우 unusual별난 example,
126
393398
2130
너무 희귀한 예만 드는 것이 아니냐고
반박하실 수도 있습니다.
06:51
and I wouldn't~ 않을거야. want to be guilty저지른 of the same같은 kind종류 of
127
395528
2008
하지만, 어떤 특정한 사람들을 집어서
06:53
cherry-picking체리 따기 and selective선택적 referencing참조
128
397536
2981
일부러 비난하고 있는 것은
06:56
that I'm accusing비난하는 other people of.
129
400517
1791
절대 아닙니다.
06:58
But it turns회전 out that this phenomenon현상 of publication출판 bias바이어스
130
402308
1884
이런 환경에도 출판 편향 현상에 대한 연구는
07:00
has actually사실은 been very, very well studied공부 한.
131
404192
2127
활발하게 진행되어 왔습니다.
07:02
So here is one example of how you approach접근 it.
132
406319
2218
여기 출판 편향을 피할 한 좋은 예가 있습니다.
07:04
The classic권위 있는 model모델 is, you get a bunch다발 of studies연구 where
133
408537
2440
고전적 모델인데요.
07:06
you know that they've그들은 been conducted전도 된 and completed완료된,
134
410977
2185
어떤 실험들이 실행되어 완료되었다는 것을 알고 있다면,
07:09
and then you go and see if they've그들은 been published출판 된 anywhere어딘가에
135
413162
2321
그 실험들이 학술지에 발표되었는 지를 알아보느 겁니다.
07:11
in the academic학생 literature문학. So this took~했다 all of the trials시련
136
415483
2863
저는 15년에 걸쳐 미 식약청이 승인한
07:14
that had ever been conducted전도 된 on antidepressants항우울제
137
418346
2154
항우울제들에 관해 실행된 모든 연구들을
07:16
that were approved승인 된 over a 15-year-년 period기간 by the FDAFDA.
138
420500
3642
찾아 보았습니다.
07:20
They took~했다 all of the trials시련 which어느 were submitted제출 된 to the FDAFDA as part부품 of the approval승인 package꾸러미.
139
424142
3756
식약청의 승인을 받기위해 실행되었던 모든 실험자료를 의미합니다.
07:23
So that's not all of the trials시련 that were ever conducted전도 된 on these drugs약제,
140
427898
3200
그렇다고 이것이 이 약에 관한 모든 연구 자료는
아니었습니다.
07:26
because we can never know if we have those,
141
431098
2098
그것이 우리가 접근할 수 있는 전부인지
알 수 없기 때문입니다.
07:29
but it is the ones그들 that were conducted전도 된 in order주문 to get the marketing마케팅 authorization권한 부여.
142
433196
3494
식약청에 제공된 것들은
마케팅 권한을 얻기 위한 실험입니다.
07:32
And then they went갔다 to see if these trials시련 had been published출판 된
143
436690
2349
그런 다음 이 실험들인 학술지에 발표되었는지
알아보았습니다.
07:34
in the peer-reviewed동료 심사를 거친 academic학생 literature문학. And this is what they found녹이다.
144
439039
2572
이걸 보세요.
바로 이걸 찾고 있었던 것입니다.
07:37
It was pretty예쁜 much a 50-50 split스플릿. Half절반 of these trials시련
145
441611
3169
50/50에 가까웠습니다. 실제로 실험 결과의
07:40
were positive, half절반 of them were negative부정, in reality현실.
146
444780
3597
반은 긍정적이었으며, 나머지는 부정적이었습니다.
07:44
But when they went갔다 to look for these trials시련 in the peer-reviewed동료 심사를 거친 academic학생 literature문학,
147
448377
4741
그러나 학술지에서 이런 실험들을 찾아보면,
07:49
what they found녹이다 was a very different다른 picture그림.
148
453118
2234
아주 다른 사실을 발견하게 됩니다.
07:51
Only three of the negative부정 trials시련 were published출판 된,
149
455352
4372
부정적인 결과를 낸 모든 실험중 3개 만이
07:55
but all but one of the positive trials시련 were published출판 된.
150
459724
4642
발표되어 있었습니다.
08:00
Now if we just flick영화 back and forth앞으로 between중에서 those two,
151
464366
3761
이렇게 찬찬히 살펴보면,
08:04
you can see what a staggering비틀 거리는 difference there was
152
468127
2594
의사, 환자, 보건 당국의 책임자,
08:06
between중에서 reality현실 and what doctors의사들, patients환자,
153
470721
3450
학술지에 게제된 논문들과
08:10
commissioners위원 of health건강 services서비스, and academics학자
154
474171
2622
실제 현실과의 사이에는
08:12
were able할 수 있는 to see in the peer-reviewed동료 심사를 거친 academic학생 literature문학.
155
476793
3281
큰 괴리가 존재함을 알 수 있습니다..
08:15
We were misled그릇된, and this is a systematic체계적인 flaw결점
156
480074
4454
의학계의 핵심에 존재하는 체계상의 이런 결점들이
08:20
in the core핵심 of medicine의학.
157
484528
3330
우리를 잘못 인도하고 있습니다.
08:23
In fact, there have been so many많은 studies연구 conducted전도 된 on
158
487858
2663
이런 출판 편행 하에서 사장되었던 수 많은 연구 중
08:26
publication출판 bias바이어스 now, over a hundred, that they've그들은 been
159
490521
3384
100개 이상의 논문들이 체계적 검토를 거쳐 수집되었으며
08:29
collected모은 in a systematic체계적인 review리뷰, published출판 된 in 2010,
160
493905
3194
2010년에 발표되었습니다.
08:32
that took~했다 every...마다 single단일 study연구 on publication출판 bias바이어스
161
497099
2766
출판 편향에 입각한 모든 연구들을
08:35
that they could find.
162
499865
1299
찾아내는 작업이었습니다.
08:37
Publication출판 bias바이어스 affects영향을 미치다 every...마다 field of medicine의학.
163
501164
2852
출판 편향은 의학계 전반에 영향을 줍니다.
08:39
About half절반 of all trials시련, on average평균, go missing있어야 할 곳에 없는 in action동작,
164
504016
4313
평균적으로, 모든 연구의 반 정도가 사장됩니다.
08:44
and we know that positive findings결과 are around twice두번 as likely아마도
165
508329
3058
긍정적인 실험 결과를 가진 연구들이
그 반대의 연구에 비해
08:47
to be published출판 된 as negative부정 findings결과.
166
511387
3054
두배 더 많이 발표됩니다.
08:50
This is a cancer at the core핵심 of evidence-based증거 기반 medicine의학.
167
514441
4061
이런 현상은 증거 기반 의학의 발달에 암적인 요소입니다.
08:54
If I flipped뒤집힌 a coin동전 100 times타임스 but then
168
518502
3871
만약 제가 100번 동전을 던져
08:58
withheld원천 징수 된 the results결과들 from you from half절반 of those tosses토스,
169
522373
3259
결과의 반을 알려주지 않는다면
09:01
I could make it look as if I had a coin동전 that always came왔다 up heads머리.
170
525632
3400
앞면만 나오는 동전을 가지고 있는 것 처럼 보일 것이며,
09:04
But that wouldn't~ 않을거야. mean that I had a two-headed양두의 coin동전.
171
529032
1806
양면 동전을 갖고 있다는 것을 감출수 있겠죠.
09:06
That would mean that I was a chancerChancer
172
530853
1712
저는 성공적으로 여러분을 속인 것이고
09:08
and you were an idiot백치 for letting시키는 me get away with it. (Laughter웃음)
173
532565
3114
여러분은 그것에 속은 바보가 되는 것이죠. (웃음)
09:11
But this is exactly정확하게 what we blindly맹목적으로 tolerate참다
174
535679
3637
근거 기반 의학(EBM)에서
09:15
in the whole완전한 of evidence-based증거 기반 medicine의학.
175
539316
3789
우리가 무조건 받아들이는 것이 있습니다.
09:19
And to me, this is research연구 misconduct비행.
176
543105
4432
저는 그것이 '연구 조작'이라고 생각합니다.
09:23
If I conducted전도 된 one study연구 and I withheld원천 징수 된
177
547537
2743
제가 만약 한개의 연구를 하면서
09:26
half절반 of the data데이터 points전철기 from that one study연구,
178
550280
3000
그 실험 결과 중에서 절반을 감췄다면,
09:29
you would rightly바르게 accuse고소하다 me, essentially본질적으로, of research연구 fraud사기.
179
553280
4707
저를 연구 사기꾼으로 비난할 것입니다.
09:33
And yet아직, for some reason이유, if somebody어떤 사람 conducts지휘하다
180
557987
2783
그러나 한 개가 아닌 10개의 실험을 한 사람이
09:36
10 studies연구 but only publishes출판하다 the five다섯 that give the result결과 that they want,
181
560770
4558
그 10개 실험 중에서 5개만 발표한다면
09:41
we don't consider중히 여기다 that to be research연구 misconduct비행.
182
565328
2788
결과 조작을 했다고 하지는 않을 것입니다.
09:44
And when that responsibility책임 is diffused확산 된 between중에서
183
568116
2567
전 연구들의 조직, 학계, 산업 스폰서, 저널 편집자들이
09:46
a whole완전한 network회로망 of researchers연구원, academics학자,
184
570683
3161
결과 조작을 하지 않아야 한다는
09:49
industry산업 sponsors후원자, journal일지 editors편집자, for some reason이유
185
573844
3528
책임감을 갖게 된다면,
09:53
we find it more acceptable수용 가능한,
186
577372
1453
이런 인식은 더 보편화 될 것입니다.
09:54
but the effect효과 on patients환자 is damning지독한.
187
578825
3675
그러나 당장 환자들이 받는 해는 큽니다.
09:58
And this is happening사고 right now, today오늘.
188
582500
5018
그것이 문제인 것입니다..
10:03
This is a drug called전화 한 Tamiflu타미 플루. Tamiflu타미 플루 is a drug
189
587518
2711
이것은 '타미플루'라는 약입니다.
10:06
which어느 governments정부 around the world세계 have spent지출하다 billions수십억
190
590229
2596
타미플루는 전세계 정부들이
10:08
and billions수십억 of dollars불화 on stockpiling비축,
191
592825
2572
수십억달러를 들여 비축한 약입니다.
10:11
and we've우리는 stockpiled비축 된 Tamiflu타미 플루 in panic공포,
192
595397
3148
타미플루가 인플루엔자의 합병증을 줄여줄 것이라
10:14
in the belief믿음 that it will reduce줄이다 the rate of complications합병증 of influenza인플루엔자.
193
598545
3949
믿으면서, 공포 속에서 이 약을 사들였습니다
10:18
Complications합병증 is a medical의료 euphemism완곡 어법 for pneumonia폐렴
194
602494
2684
이 합병증이란 폐렴과 사망을 의미하는
10:21
and death죽음. (Laughter웃음)
195
605178
4814
의학적 완곡어법입니다. (웃음)
10:25
Now when the Cochrane코크 레인 systematic체계적인 reviewers평론가
196
609992
3208
코크런 리뷰 그룹이
10:29
were trying견딜 수 없는 to collect수집 together함께 all of the data데이터 from all
197
613200
2525
타미플루의 효력에 대해 행해진 모든 연구 자료들에 대한
10:31
of the trials시련 that had ever been conducted전도 된 on whether인지 어떤지 Tamiflu타미 플루 actually사실은 did this or not,
198
615725
3648
체계적 검토를 하던 중
10:35
they found녹이다 that several수개 of those trials시련 were unpublished널리 알려지지 않은.
199
619373
2951
몇개의 발표되지 않은 실험 자료들을 발견했습니다.
10:38
The results결과들 were unavailable없는 to them.
200
622324
1842
그러나 그 자료들을 열람할 수 없었습니다.
10:40
And when they started시작한 obtaining얻는 the writeupswriteups of those trials시련 through...을 통하여 various여러 different다른 means방법,
201
624166
3964
정보공개법등 여러 수단을 동원하고,
많은 기관들을 괴롭혀서
10:44
through...을 통하여 Freedom자유 of Information정보 Act행위 requests요청, through...을 통하여
202
628130
1682
그 논문들을 손에 넣기 시작했을 때,
10:45
harassing괴롭히는 various여러 different다른 organizations조직, what they found녹이다 was inconsistent모순 된.
203
629812
4809
그들이 알게 된 것은 부조화 였습니다.
10:50
And when they tried시도한 to get a hold보류 of the clinical객관적인 study연구 reports보고,
204
634621
2466
그리고10,000 페이지에 달하는
10:52
the 10,000-page-페이지 long documents서류 that have
205
637087
3046
타미플루에 대한 가장 중요한 정보가 들어있을 지도 모를
10:56
the best베스트 possible가능한 rendition연주 of the information정보,
206
640133
3600
그 임상연구 보고서를 입수하려고 했을 때
10:59
they were told they weren't하지 않았다 allowed허용 된 to have them.
207
643733
2888
열람이 불가하다는 답변만 들을 수 있었습니다.
11:02
And if you want to read독서 the full완전한 correspondence일치
208
646621
2683
제약회사들로 부터 받은 변명과 설명, 서신을
11:05
and the excuses변명 and the explanations설명 given주어진 by the drug company회사,
209
649304
3290
다 보고 싶으시다면,
11:08
you can see that written up in this week's주간 edition
210
652594
2717
이번 주의 PLOS Medicine에
11:11
of PLOSPLOS Medicine의학.
211
655311
4367
모두 게제되어 있을 것입니다
11:15
And the most가장 staggering비틀 거리는 thing of all of this, to me,
212
659678
3859
이 중에서도 저에게 가장 충격적인 것은
11:19
is that not only is this a problem문제, not only do we recognize인정하다
213
663537
3299
이것이 문제일 뿐만 아니라,
우리가 이것을 인식하고 있는데도
11:22
that this is a problem문제, but we've우리는 had to suffer참다 fake모조품 fixes수정.
214
666836
4195
가짜 해결책으로 고통을 받아야 한다는 것입니다.
11:26
We've우리는 had people pretend체하다 that this is a problem문제 that's been fixed결정된.
215
671031
3058
이 문제가 해결된 듯 보이게 만드는 사람들이 있습니다.
11:29
First of all, we had trials시련 registers레지스터들, and everybody각자 모두 said,
216
674089
2188
우선 실험 등록제가 실시됐고, 모두가 괜찮다고 했죠.
11:32
oh, it's okay. We'll get everyone각자 모두 to register레지스터 their그들의 trials시련, they'll그들은 할 것이다 post게시하다 the protocol실험 계획안,
217
676277
3603
모든 실험은 시작하기전에 등록하여
11:35
they'll그들은 할 것이다 say what they're going to do before they do it,
218
679880
2024
그 실험 과정을 게시해야 하고
11:37
and then afterwards나중에 we'll be able할 수 있는 to check검사 and see if all the trials시련 which어느
219
681904
2121
그런면 실행되고 완료된 모든 실험이
11:39
have been conducted전도 된 and completed완료된 have been published출판 된.
220
684025
2468
발표되는지를 확인할 수 있다는 것이었습니다.
11:42
But people didn't bother귀찮음 to use those registers레지스터들.
221
686493
2196
그러나 사람들은 등록을 하지 않았습니다.
11:44
And so then the International국제 노동자 동맹 Committee위원회 of Medical의료 Journal일지 Editors편집인 came왔다 along...을 따라서,
222
688689
2619
그리자 국제 의학 저술 협회가 나서서,
11:47
and they said, oh, well, we will hold보류 the line.
223
691308
1543
지지해 주었습니다.
11:48
We won't습관 publish출판하다 any journals저널, we won't습관 publish출판하다 any trials시련,
224
692851
2633
그들은 실험 전에 등록하지 않은 논문은 어떤 학술지에도
11:51
unless~ 않는 한 they've그들은 been registered등기 before they began시작되었다.
225
695484
2682
싣지 않겠다고 했습니다.
11:54
But they didn't hold보류 the line. In 2008, a study연구 was conducted전도 된
226
698166
3531
그러나 그들은 약속을 어겼습니다. 2008년의 한 조사는
11:57
which어느 showed보여 주었다 that half절반 of all of trials시련 published출판 된 by journals저널
227
701697
3015
국제 의학 저술 협회 회원들이 편집하는 저널에 발표된 연구 논문의 반이
12:00
edited편집 된 by members회원 of the ICMJEICMJE
228
704712
2667
그 실험들을 절차에 맞게 등록하지 않았고
12:03
weren't하지 않았다 properly정확히 registered등기, and a quarter쿼터 of them weren't하지 않았다 registered등기 at all.
229
707379
4813
1/4은 실험 등록을 아예 하지도 않았음을 밝혀 냈습니다.
12:08
And then finally마침내, the FDAFDA Amendment개정 Act행위 was passed통과 된
230
712192
2801
그리고 마침내 2년전, 실행된 모든 실험은
12:10
a couple of years연령 ago...전에 saying속담 that everybody각자 모두 who conducts지휘하다
231
714993
2349
그 결과를 반드시 1년안에 게시해야 한다는
12:13
a trial시도 must절대로 필요한 것 post게시하다 the results결과들 of that trial시도 within이내에 one year.
232
717342
3443
식약청 수정법안이 통과되었습니다..
12:16
And in the BMJBMJ, in the first edition of January일월, 2012,
233
720785
4096
그리고 영국 의학회 저널(BMJ)의
12:20
you can see a study연구 which어느 looks외모 to see if people kept보관 된
234
724881
2704
2012년 1월 첫주 호에 실린
12:23
to that ruling지배, and it turns회전 out that only one in five다섯
235
727585
3719
한 연구가 이 규정이 얼마나 잘 지켜 지는 지를 조사했죠.
12:27
have done끝난 so.
236
731304
2864
1/5만이 지키고 있던 것으로 드러 났습니다.
12:30
This is a disaster재앙.
237
734168
3283
이것은 재앙입니다.
12:33
We cannot~ 할 수 없다. know the true참된 effects효과 of the medicines의약품
238
737451
3564
우리 의사들이 이런 정보에 접근할 수 없다면,
12:36
that we prescribe처방하다 if we do not have access접속하다
239
741015
3216
우리가 처방하는 약들이 어떤 영향을 끼칠지
12:40
to all of the information정보.
240
744231
3180
알 길이 없습니다.
12:43
And this is not a difficult어려운 problem문제 to fix고치다.
241
747411
3959
그리고 이것은 고치기 힘든 문제가 아닙니다.
12:47
We need to force people to publish출판하다 all trials시련
242
751370
5128
과거의 것을 포함하여, 인간에게 실행된 모든 실험들이
12:52
conducted전도 된 in humans인간, including포함 the older더 오래된 trials시련,
243
756498
2971
의무적으로 발표되어야 합니다.
12:55
because the FDAFDA Amendment개정 Act행위 only asks묻다 that you publish출판하다 the trials시련 conducted전도 된 after 2008,
244
759469
3945
미식약청 법은 2008년 이후의 연구들에 한해
게제해 달라고 권고할 뿐입니다.
12:59
and I don't know what world세계 it is in which어느 we're only
245
763414
2613
지난 2년 동안 완료된 실험을 기반으로 해서만
13:01
practicing연습하는 medicine의학 on the basis기초 of trials시련 that completed완료된 in the past과거 two years연령.
246
766027
4456
진료하라고 하는 세상이 어떤 세상인지 모르겠습니다.
13:06
We need to publish출판하다 all trials시련 in humans인간,
247
770483
2105
현재 사용되는 모든 의약품에 대하여,
13:08
including포함 the older더 오래된 trials시련, for all drugs약제 in current흐름 use,
248
772588
3074
과거의 것을 포함한 인간의 모든 연구들은
발표되어야 합니다.
13:11
and you need to tell everyone각자 모두 you know
249
775662
2916
여러분이 아는 모든 분에게 이것이 문제이며,
13:14
that this is a problem문제 and that it has not been fixed결정된.
250
778578
3442
아직 고쳐지 않았음을 알려야 합니다.
13:17
Thank you very much. (Applause박수 갈채)
251
782020
2951
고맙습니다.(박수)
13:20
(Applause박수 갈채)
252
784971
3273
(박수)
Translated by Gwonsang Shin
Reviewed by Yunhi Maeng

▲Back to top

ABOUT THE SPEAKER
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.

Why you should listen

"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.

Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)

As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."

Read an excerpt of Bad Pharma >>

More profile about the speaker
Ben Goldacre | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee