TEDGlobal 2011
Ben Goldacre: Battling bad science
Бен Голдэйкр: Боремся с плохой наукой
Filmed:
Readability: 4.3
2,713,579 views
Каждый день появляются новые советы в области здоровья, но откуда мы знаем, правда ли это? Врач и эпидемиолог Бен Голдэйкр в молниеносном темпе объясняет нам, как можно исказить доказательства, от совершенно очевидных случаев с продуктами питания и до хитрых трюков в фармацевтической промышленности.
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:15
So I'm a doctor, but I kind of slipped sideways into research,
0
0
3000
Итак, я врач, но я как-то ушел в сторону исследований,
00:18
and now I'm an epidemiologist.
1
3000
2000
так что я теперь эпидемиолог.
00:20
And nobody really knows what epidemiology is.
2
5000
2000
Никто толком не знает, что такое эпидемиология.
00:22
Epidemiology is the science of how we know in the real world
3
7000
3000
Эпидемиология – это наука о том, как мы узнаем в реальности,
00:25
if something is good for you or bad for you.
4
10000
2000
хорошо для нас что-то или плохо.
00:27
And it's best understood through example
5
12000
2000
И лучше всего это объяснить на примере,
00:29
as the science of those crazy, wacky newspaper headlines.
6
14000
5000
вроде "науки" в этих сумасшедших газетных заголовках.
00:34
And these are just some of the examples.
7
19000
2000
Вот вам несколько примеров.
00:36
These are from the Daily Mail. Every country in the world has a newspaper like this.
8
21000
3000
Это из Daily Mail. Подобная газета есть в любой стране мира.
00:39
It has this bizarre, ongoing philosophical project
9
24000
3000
У них всегда есть этот странный философский проект
00:42
of dividing all the inanimate objects in the world
10
27000
2000
по разделению всех неодушевленных объектов в мире
00:44
into the ones that either cause or prevent cancer.
11
29000
3000
на те, что вызывают рак, и те, что предотвращают его.
00:47
So here are some of the things they said cause cancer recently:
12
32000
2000
Вот некоторые причины рака, которые они определили недавно:
00:49
divorce, Wi-Fi, toiletries and coffee.
13
34000
2000
развод, Wi-Fi, туалетные принадлежности и кофе.
00:51
Here are some of the things they say prevents cancer:
14
36000
2000
А эти вещи, как они говорят, предотвращают рак:
00:53
crusts, red pepper, licorice and coffee.
15
38000
2000
сухари, красный перец, лакрица и кофе.
00:55
So already you can see there are contradictions.
16
40000
2000
Вы уже видите, что есть противоречия.
00:57
Coffee both causes and prevents cancer.
17
42000
2000
Кофе и вызывает рак, и предотвращает его.
00:59
And as you start to read on, you can see
18
44000
2000
Начав читать, вы сразу понимаете,
01:01
that maybe there's some kind of political valence behind some of this.
19
46000
3000
что за некоторыми вещами может лежать политический подтекст.
01:04
So for women, housework prevents breast cancer,
20
49000
2000
Так, работа по дому предотвращает рак груди у женщин,
01:06
but for men, shopping could make you impotent.
21
51000
3000
но мужчин шоппинг может сделать импотентом.
01:09
So we know that we need to start
22
54000
3000
Нам уже понятно, что нужно начать
01:12
unpicking the science behind this.
23
57000
3000
разоблачать "науку", которая за этим стоит.
01:15
And what I hope to show
24
60000
2000
И я как раз надеюсь показать,
01:17
is that unpicking dodgy claims,
25
62000
2000
что разоблачение бесчестных притязаний,
01:19
unpicking the evidence behind dodgy claims,
26
64000
2000
разоблачение доказательств, которые за ними стоят, –
01:21
isn't a kind of nasty carping activity;
27
66000
3000
это не какие-то мерзкие придирки,
01:24
it's socially useful,
28
69000
2000
а общественно полезный труд,
01:26
but it's also an extremely valuable
29
71000
2000
а также чрезвычайно ценный
01:28
explanatory tool.
30
73000
2000
пояснительный инструмент.
01:30
Because real science is all about
31
75000
2000
Потому что настоящая наука заключается
01:32
critically appraising the evidence for somebody else's position.
32
77000
2000
в критической оценке доказательств чужой точки зрения.
01:34
That's what happens in academic journals.
33
79000
2000
Вот что происходит в научных журналах.
01:36
That's what happens at academic conferences.
34
81000
2000
Вот что происходит на научных конференциях.
01:38
The Q&A session after a post-op presents data
35
83000
2000
Диспуты после презентации данных
01:40
is often a blood bath.
36
85000
2000
превращаются в кровавую баню.
01:42
And nobody minds that. We actively welcome it.
37
87000
2000
И никто не против. Мы активно приветствуем это.
01:44
It's like a consenting intellectual S&M activity.
38
89000
3000
Мы согласны на интеллектуальный садомазохизм.
01:47
So what I'm going to show you
39
92000
2000
Я хочу показать вам
01:49
is all of the main things,
40
94000
2000
один из основных аспектов,
01:51
all of the main features of my discipline --
41
96000
2000
основных элементов моей дисциплины, –
01:53
evidence-based medicine.
42
98000
2000
доказательной медицины.
01:55
And I will talk you through all of these
43
100000
2000
И я расскажу вам обо всём этом
01:57
and demonstrate how they work,
44
102000
2000
и продемонстрирую, как это работает,
01:59
exclusively using examples of people getting stuff wrong.
45
104000
3000
исключительно на примерах, когда люди понимают всё неправильно.
02:02
So we'll start with the absolute weakest form of evidence known to man,
46
107000
3000
Итак, начнём со слабейшей формы доказательств, известной человеку, –
02:05
and that is authority.
47
110000
2000
авторитета.
02:07
In science, we don't care how many letters you have after your name.
48
112000
3000
В науке нам не важно, сколько регалий прилагается к вашему имени.
02:10
In science, we want to know what your reasons are for believing something.
49
115000
3000
Нам важно знать, какие у вас есть основания верить чему-либо.
02:13
How do you know that something is good for us
50
118000
2000
Откуда вы знаете, что что-то для нас полезно
02:15
or bad for us?
51
120000
2000
или вредно?
02:17
But we're also unimpressed by authority,
52
122000
2000
Но авторитет нас не очень впечатляет,
02:19
because it's so easy to contrive.
53
124000
2000
потому что его легко сфабриковать.
02:21
This is somebody called Dr. Gillian McKeith Ph.D,
54
126000
2000
Вот эту зовут Доктор Джиллиан МакКит, к.ф.н.,
02:23
or, to give her full medical title, Gillian McKeith.
55
128000
3000
или, со всеми медицинскими регалиями – Джиллиан МакКит.
02:26
(Laughter)
56
131000
3000
(Смех в зале)
02:29
Again, every country has somebody like this.
57
134000
2000
Опять же, в каждой стране есть такие.
02:31
She is our TV diet guru.
58
136000
2000
Она – наш теле-гуру от диетологии.
02:33
She has massive five series of prime-time television,
59
138000
3000
У неё пять серий на телевидение в прайм-тайм,
02:36
giving out very lavish and exotic health advice.
60
141000
3000
которые выдают щедрые и экзотические советы по здоровью.
02:39
She, it turns out, has a non-accredited correspondence course Ph.D.
61
144000
3000
Оказывается, она сдала заочный кандминимум в не аккредитованном ВУЗе
02:42
from somewhere in America.
62
147000
2000
где-то в Америке.
02:44
She also boasts that she's a certified professional member
63
149000
2000
Также она хвастается сертификатом профессионального члена
02:46
of the American Association of Nutritional Consultants,
64
151000
2000
Американской ассоциации консультантов по диетологии,
02:48
which sounds very glamorous and exciting.
65
153000
2000
что звучит очень гламурно и захватывающе.
02:50
You get a certificate and everything.
66
155000
2000
У вас есть сертификат и всё такое.
02:52
This one belongs to my dead cat Hetti. She was a horrible cat.
67
157000
2000
Этот принадлежит моей мёртвой кошке Хетти. Она была ужасной кошкой.
02:54
You just go to the website, fill out the form,
68
159000
2000
Вы просто заходите на сайт, заполняете форму,
02:56
give them $60, and it arrives in the post.
69
161000
2000
даёте им 60$, и сертификат приходит по почте.
02:58
Now that's not the only reason that we think this person is an idiot.
70
163000
2000
И это не единственная причина, почему я считаю её идиоткой.
03:00
She also goes and says things like,
71
165000
2000
Кроме этого, она рассказывает вещи вроде того,
03:02
you should eat lots of dark green leaves,
72
167000
2000
что нужно есть тёмно-зеленые листья,
03:04
because they contain lots of chlorophyll, and that will really oxygenate your blood.
73
169000
2000
потому что они содержат много хлорофилла и насыщают кислородом кровь.
03:06
And anybody who's done school biology remembers
74
171000
2000
Любой, кто помнит биологию со школы, знает,
03:08
that chlorophyll and chloroplasts
75
173000
2000
что хлорофилл в хлоропластах
03:10
only make oxygen in sunlight,
76
175000
2000
вырабатывает кислород только на солнечном свету,
03:12
and it's quite dark in your bowels after you've eaten spinach.
77
177000
3000
а у нас в кишках очень темно, даже если вы съели весь шпинат.
03:15
Next, we need proper science, proper evidence.
78
180000
3000
Далее, нам нужна правильная наука, доказательства.
03:18
So, "Red wine can help prevent breast cancer."
79
183000
2000
Например, "Красное вино предотвращает рак молочной железы".
03:20
This is a headline from the Daily Telegraph in the U.K.
80
185000
2000
Вот заголовок из Daily Telegraph в Великобритании:
03:22
"A glass of red wine a day could help prevent breast cancer."
81
187000
3000
"Бокал красного вина в день помогает предотвратить рак молочной железы".
03:25
So you go and find this paper, and what you find
82
190000
2000
Берём эту газету и видим там
03:27
is it is a real piece of science.
83
192000
2000
настоящий научный шедевр.
03:29
It is a description of the changes in one enzyme
84
194000
3000
Это описание изменений в одном из ферментов,
03:32
when you drip a chemical extracted from some red grape skin
85
197000
3000
когда вы капаете химикат, добытый из кожицы красного винограда,
03:35
onto some cancer cells
86
200000
2000
на какие-то раковые клетки
03:37
in a dish on a bench in a laboratory somewhere.
87
202000
3000
в пробирке в какой-то лаборатории.
03:40
And that's a really useful thing to describe
88
205000
2000
И это действительно интересная штука
03:42
in a scientific paper,
89
207000
2000
как для научной газеты,
03:44
but on the question of your own personal risk
90
209000
2000
но что касается вашего личного риска
03:46
of getting breast cancer if you drink red wine,
91
211000
2000
заболеть раком груди, если вы пьёте красное вино,
03:48
it tells you absolutely bugger all.
92
213000
2000
то тут всё как раз наоборот.
03:50
Actually, it turns out that your risk of breast cancer
93
215000
2000
Оказывается, риск развития рака молочной железы
03:52
actually increases slightly
94
217000
2000
на самом деле увеличивается
03:54
with every amount of alcohol that you drink.
95
219000
2000
с приростом выпиваемого алкоголя.
03:56
So what we want is studies in real human people.
96
221000
4000
Итак, мы хотим исследований на реальных человеческих людях.
04:00
And here's another example.
97
225000
2000
И вот другой пример.
04:02
This is from Britain's leading diet and nutritionist in the Daily Mirror,
98
227000
3000
Это ведущий диетолог Великобритании из Daily Mirror,
04:05
which is our second biggest selling newspaper.
99
230000
2000
второй газеты с точки зрения продаж.
04:07
"An Australian study in 2001
100
232000
2000
"Австралийское исследование 2001 года
04:09
found that olive oil in combination with fruits, vegetables and pulses
101
234000
2000
показало, что оливковое масло в сочетании с фруктами, овощами и бобовыми
04:11
offers measurable protection against skin wrinklings."
102
236000
2000
даёт измеримую защиту от морщин."
04:13
And then they give you advice:
103
238000
2000
Затем они советуют вам:
04:15
"If you eat olive oil and vegetables, you'll have fewer skin wrinkles."
104
240000
2000
"Ешьте овощи с оливковым маслом, и у вас будет меньше морщин."
04:17
And they very helpfully tell you how to go and find the paper.
105
242000
2000
Далее они очень услужливо рассказывают, как купить эту газету.
04:19
So you go and find the paper, and what you find is an observational study.
106
244000
3000
Итак, возьмём эту газету и соответствующее исследование.
04:22
Obviously nobody has been able
107
247000
2000
Очевидно, никто не смог бы
04:24
to go back to 1930,
108
249000
2000
вернуться назад в 1930 год,
04:26
get all the people born in one maternity unit,
109
251000
3000
взять всех людей, родившихся в одном роддоме,
04:29
and half of them eat lots of fruit and veg and olive oil,
110
254000
2000
и заставить половину из них есть овощи и оливковое масло,
04:31
and then half of them eat McDonald's,
111
256000
2000
а другую половину питаться в McDonald's,
04:33
and then we see how many wrinkles you've got later.
112
258000
2000
а потом сравнить, сколько у кого морщин.
04:35
You have to take a snapshot of how people are now.
113
260000
2000
Приходится рассматривать, как люди выглядят сейчас.
04:37
And what you find is, of course,
114
262000
2000
Конечно, вы обнаружите,
04:39
people who eat veg and olive oil have fewer skin wrinkles.
115
264000
3000
что люди, которые едят овощи и оливковое масло, имеют меньше морщин.
04:42
But that's because people who eat fruit and veg and olive oil,
116
267000
3000
Но это потому, что люди, которые едят фрукты, овощи и оливковое масло,
04:45
they're freaks, they're not normal, they're like you;
117
270000
3000
они уроды, они ненормальные, они – как вы;
04:48
they come to events like this.
118
273000
2000
они приходят на события вроде этого.
04:50
They are posh, they're wealthy, they're less likely to have outdoor jobs,
119
275000
3000
Они шикарные, богатые, меньше работают на открытом воздухе,
04:53
they're less likely to do manual labor,
120
278000
2000
меньше занимаются физическим трудом,
04:55
they have better social support, they're less likely to smoke --
121
280000
2000
более социально обеспечены, меньше курят –
04:57
so for a whole host of fascinating, interlocking
122
282000
2000
так что из-за целого ряда интересных, взаимосвязанных
04:59
social, political and cultural reasons,
123
284000
2000
социальных, политических и культурных причин
05:01
they are less likely to have skin wrinkles.
124
286000
2000
они менее подвержены морщинам.
05:03
That doesn't mean that it's the vegetables or the olive oil.
125
288000
2000
Но это не значит, что это благодаря овощам или оливковому маслу.
05:05
(Laughter)
126
290000
2000
(Смех в зале)
05:07
So ideally what you want to do is a trial.
127
292000
3000
В идеале нужно провести испытания.
05:10
And everybody thinks they're very familiar with the idea of a trial.
128
295000
2000
Все думают, что знают всё насчёт испытаний.
05:12
Trials are very old. The first trial was in the Bible -- Daniel 1:12.
129
297000
3000
Это очень старая идея. Первое испытание упоминается в Библии – Даниила 1:12.
05:15
It's very straightforward -- you take a bunch of people, you split them in half,
130
300000
2000
Всё очень просто: вы берёте кучу людей, разделяете их пополам,
05:17
you treat one group one way, you treat the other group the other way,
131
302000
2000
с одной группой вы обращаетесь одним образом, с другой – другим,
05:19
and a little while later, you follow them up
132
304000
2000
и некоторое время спустя вы просматриваете
05:21
and see what happened to each of them.
133
306000
2000
результаты и видите, что случилось с каждой из них.
05:23
So I'm going to tell you about one trial,
134
308000
2000
Я расскажу вам об одном испытании,
05:25
which is probably the most well-reported trial
135
310000
2000
которое, наверное, лучше всего освещалось
05:27
in the U.K. news media over the past decade.
136
312000
2000
в СМИ Великобритании за последнее время.
05:29
And this is the trial of fish oil pills.
137
314000
2000
Это испытание таблеток с рыбьим жиром.
05:31
And the claim was fish oil pills improve school performance and behavior
138
316000
2000
Они заявляли, что таблетки рыбьего жира улучшают
05:33
in mainstream children.
139
318000
2000
успеваемость и поведение у обычных детей.
05:35
And they said, "We've done a trial.
140
320000
2000
Они сказали: "Мы провели испытание.
05:37
All the previous trials were positive, and we know this one's gonna be too."
141
322000
2000
Все предыдущие испытания положительны, и мы уверены, это – не исключение".
05:39
That should always ring alarm bells.
142
324000
2000
Такое всегда должно вызывать подозрение.
05:41
Because if you already know the answer to your trial, you shouldn't be doing one.
143
326000
3000
Ибо, если вы уже знаете результат исследований, не нужно запускать новое.
05:44
Either you've rigged it by design,
144
329000
2000
Либо вы фальсифицируете его по определению,
05:46
or you've got enough data so there's no need to randomize people anymore.
145
331000
3000
либо у вас достаточно данных, чтобы не выбирать случайным образом.
05:49
So this is what they were going to do in their trial.
146
334000
3000
Вот что они делают при таких испытаниях.
05:52
They were taking 3,000 children,
147
337000
2000
Выбирают 3 000 детей,
05:54
they were going to give them all these huge fish oil pills,
148
339000
2000
дают им эти огромные таблетки с рыбьим жиром,
05:56
six of them a day,
149
341000
2000
шесть штук в день,
05:58
and then a year later, they were going to measure their school exam performance
150
343000
3000
а год спустя они оценивают их успеваемость в школе на экзаменах
06:01
and compare their school exam performance
151
346000
2000
и сравнивают их результаты экзаменов
06:03
against what they predicted their exam performance would have been
152
348000
2000
с тем, что они предсказывали в качестве результата экзаменов,
06:05
if they hadn't had the pills.
153
350000
3000
если бы дети не пили таблетки.
06:08
Now can anybody spot a flaw in this design?
154
353000
3000
Кто-нибудь заметил изъян в этой идее?
06:11
And no professors of clinical trial methodology
155
356000
3000
Ни одному профессору по методологии клинических испытаний
06:14
are allowed to answer this question.
156
359000
2000
не разрешается ответить на этот вопрос.
06:16
So there's no control; there's no control group.
157
361000
2000
Таким образом, нет контроля; нет контрольной группы.
06:18
But that sounds really techie.
158
363000
2000
Зато это звучит очень технологично.
06:20
That's a technical term.
159
365000
2000
Это технический термин.
06:22
The kids got the pills, and then their performance improved.
160
367000
2000
Дети пили таблетки, и их успеваемость улучшилась.
06:24
What else could it possibly be if it wasn't the pills?
161
369000
3000
Если не из-за таблеток, то почему?
06:27
They got older. We all develop over time.
162
372000
3000
Они стали старше. Со временем мы развиваемся.
06:30
And of course, also there's the placebo effect.
163
375000
2000
И, конечно, также есть эффект плацебо.
06:32
The placebo effect is one of the most fascinating things in the whole of medicine.
164
377000
2000
Эффект плацебо – один из наиболее интересных в медицине.
06:34
It's not just about taking a pill, and your performance and your pain getting better.
165
379000
3000
Речь не только о том, что после таблетки работоспособность растёт, а боль уменьшается.
06:37
It's about our beliefs and expectations.
166
382000
2000
Речь о ваших убеждениях и ожиданиях.
06:39
It's about the cultural meaning of a treatment.
167
384000
2000
Речь идёт о культурном значении лечения.
06:41
And this has been demonstrated in a whole raft of fascinating studies
168
386000
3000
И это было продемонстрировано в целом ряде увлекательных исследований,
06:44
comparing one kind of placebo against another.
169
389000
3000
сравнивающих один вид плацебо с другим.
06:47
So we know, for example, that two sugar pills a day
170
392000
2000
Итак, мы знаем, например, что две таблетки сахара в сутки
06:49
are a more effective treatment for getting rid of gastric ulcers
171
394000
2000
более эффективны от язвы желудка,
06:51
than one sugar pill.
172
396000
2000
чем одна таблетка сахара.
06:53
Two sugar pills a day beats one sugar pill a day.
173
398000
2000
Две сахарных таблетки в день лучше одной.
06:55
And that's an outrageous and ridiculous finding, but it's true.
174
400000
3000
Это и возмутительно, и смешно, но это правда.
06:58
We know from three different studies on three different types of pain
175
403000
2000
Из трёх различных исследований трёх различных видов боли мы знаем,
07:00
that a saltwater injection is a more effective treatment for pain
176
405000
3000
что инъекции морской воды более эффективны для снятия боли,
07:03
than taking a sugar pill, taking a dummy pill that has no medicine in it --
177
408000
4000
чем таблетки сахара, то есть чем приём таблеток, в которых нет лекарств –
07:07
not because the injection or the pills do anything physically to the body,
178
412000
3000
не потому, что инъекции или таблетки физически ничего не причиняют телу,
07:10
but because an injection feels like a much more dramatic intervention.
179
415000
3000
а потому, что инъекции воспринимаются как гораздо более существенное вмешательство.
07:13
So we know that our beliefs and expectations
180
418000
2000
Итак, мы знаем, что нашими убеждениями и ожиданиями
07:15
can be manipulated,
181
420000
2000
можно манипулировать,
07:17
which is why we do trials
182
422000
2000
и именно поэтому мы делаем испытания
07:19
where we control against a placebo --
183
424000
2000
по сравнению с плацебо,
07:21
where one half of the people get the real treatment
184
426000
2000
где одна половина людей получает настоящее лечение,
07:23
and the other half get placebo.
185
428000
2000
а другая половина получает плацебо.
07:25
But that's not enough.
186
430000
3000
Но это ещё не всё.
07:28
What I've just shown you are examples of the very simple and straightforward ways
187
433000
3000
Я только что показал вам примеры того, как очень просто
07:31
that journalists and food supplement pill peddlers
188
436000
2000
журналисты, продавцы пищевых добавок
07:33
and naturopaths
189
438000
2000
и натуропаты
07:35
can distort evidence for their own purposes.
190
440000
3000
могут исказить данные в своих целях.
07:38
What I find really fascinating
191
443000
2000
Особенно интересен тот факт,
07:40
is that the pharmaceutical industry
192
445000
2000
что фармацевтическая промышленность
07:42
uses exactly the same kinds of tricks and devices,
193
447000
2000
использует точно такие же приёмы и ухищрения,
07:44
but slightly more sophisticated versions of them,
194
449000
3000
только чуть более сложные их версии,
07:47
in order to distort the evidence that they give to doctors and patients,
195
452000
3000
чтобы исказить доказательства, предоставляемые врачам и пациентам,
07:50
and which we use to make vitally important decisions.
196
455000
3000
на основе которых мы принимаем жизненно важные решения.
07:53
So firstly, trials against placebo:
197
458000
2000
Во-первых, испытания по сравнению с плацебо:
07:55
everybody thinks they know that a trial should be
198
460000
2000
все думают, что знают, будто испытания должны быть
07:57
a comparison of your new drug against placebo.
199
462000
2000
сравнением нового препарата с плацебо.
07:59
But actually in a lot of situations that's wrong.
200
464000
2000
Но на самом деле зачастую это не так.
08:01
Because often we already have a very good treatment that is currently available,
201
466000
3000
Часто у нас уже есть очень хорошее лечение на данный момент,
08:04
so we don't want to know that your alternative new treatment
202
469000
2000
так что мы не желаем знать, что новый метод лечения
08:06
is better than nothing.
203
471000
2000
лучше, чем ничего.
08:08
We want to know that it's better than the best currently available treatment that we have.
204
473000
3000
Мы хотим знать, что он лучше, чем наилучшее лечение, которое есть на данный момент.
08:11
And yet, repeatedly, you consistently see people doing trials
205
476000
3000
Несмотря на это мы постоянно видим, что испытания делают,
08:14
still against placebo.
206
479000
2000
по-прежнему сравнивая с плацебо.
08:16
And you can get license to bring your drug to market
207
481000
2000
И вы можете получить лицензию на поставку лекарств на рынок,
08:18
with only data showing that it's better than nothing,
208
483000
2000
представив данные, что лечение всего лишь лучше чем ничего,
08:20
which is useless for a doctor like me trying to make a decision.
209
485000
3000
но это не поможет врачу вроде меня принять решение.
08:23
But that's not the only way you can rig your data.
210
488000
2000
И это не единственный способ подстроить результаты.
08:25
You can also rig your data
211
490000
2000
Можно также подстроить результаты,
08:27
by making the thing you compare your new drug against
212
492000
2000
сравнивая ваш новый препарат
08:29
really rubbish.
213
494000
2000
с абсолютным мусором.
08:31
You can give the competing drug in too low a dose,
214
496000
2000
Можно дать конкурирующий препарат в слишком низкой дозе,
08:33
so that people aren't properly treated.
215
498000
2000
так что люди не получат достаточного лечения,
08:35
You can give the competing drug in too high a dose,
216
500000
2000
или дать конкурирующий препарат в слишком высокой дозе,
08:37
so that people get side effects.
217
502000
2000
так что люди получат побочные эффекты.
08:39
And this is exactly what happened
218
504000
2000
Именно это произошло
08:41
which antipsychotic medication for schizophrenia.
219
506000
2000
с антипсихотическими препаратами для лечения шизофрении.
08:43
20 years ago, a new generation of antipsychotic drugs were brought in
220
508000
3000
20 лет назад появилось новое поколение антипсихотических препаратов,
08:46
and the promise was that they would have fewer side effects.
221
511000
3000
и они обещали, что будет меньше побочных эффектов.
08:49
So people set about doing trials of these new drugs
222
514000
2000
Таким образом, люди стали сравнивать новые лекарства
08:51
against the old drugs,
223
516000
2000
со старыми препаратами,
08:53
but they gave the old drugs in ridiculously high doses --
224
518000
2000
но давали старые лекарства в огромных дозах,
08:55
20 milligrams a day of haloperidol.
225
520000
2000
20 миллиграммов галоперидола в день.
08:57
And it's a foregone conclusion,
226
522000
2000
Было заранее ясно,
08:59
if you give a drug at that high a dose,
227
524000
2000
что если давать препарат в такой высокой дозе,
09:01
that it will have more side effects and that your new drug will look better.
228
526000
3000
он даст больше побочных эффектов, а новое лекарство будет выглядеть лучше.
09:04
10 years ago, history repeated itself, interestingly,
229
529000
2000
10 лет назад история повторилась, что интересно,
09:06
when risperidone, which was the first of the new-generation antipscyhotic drugs,
230
531000
3000
когда закончился срок правообладания на рисперидон, один из первых
09:09
came off copyright, so anybody could make copies.
231
534000
3000
антипсихотиков нового поколения, и стало можно копировать его.
09:12
Everybody wanted to show that their drug was better than risperidone,
232
537000
2000
Все хотели показать, что их препарат лучше, чем рисперидон.
09:14
so you see a bunch of trials comparing new antipsychotic drugs
233
539000
3000
Итак, вы видите кучу испытаний новых антипсихотических препаратов
09:17
against risperidone at eight milligrams a day.
234
542000
2000
по сравнению с 8-ю миллиграммами рисперидона в день.
09:19
Again, not an insane dose, not an illegal dose,
235
544000
2000
Опять же, не безумная доза, не недопустимая,
09:21
but very much at the high end of normal.
236
546000
2000
но практически на максимуме допустимой.
09:23
And so you're bound to make your new drug look better.
237
548000
3000
Так ваш препарат просто обречён выглядеть лучше.
09:26
And so it's no surprise that overall,
238
551000
3000
Неудивительно, что в целом испытания,
09:29
industry-funded trials
239
554000
2000
финансируемые производителями,
09:31
are four times more likely to give a positive result
240
556000
2000
вчетверо более вероятно дают положительный результат,
09:33
than independently sponsored trials.
241
558000
3000
чем независимые испытания.
09:36
But -- and it's a big but --
242
561000
3000
Но – и это очень большое "но" –
09:39
(Laughter)
243
564000
2000
(Смех в зале)
09:41
it turns out,
244
566000
2000
Оказывается,
09:43
when you look at the methods used by industry-funded trials,
245
568000
3000
если проверить методологию испытаний, финансируемых производителями,
09:46
that they're actually better
246
571000
2000
она оказывается и правда лучше,
09:48
than independently sponsored trials.
247
573000
2000
чем у независимых испытаний.
09:50
And yet, they always manage to to get the result that they want.
248
575000
3000
И всё же им всегда удается получить подходящий результат.
09:53
So how does this work?
249
578000
2000
Как же так получается?
09:55
How can we explain this strange phenomenon?
250
580000
3000
Как можно объяснить это странное явление?
09:58
Well it turns out that what happens
251
583000
2000
Оказывается, происходит следующее:
10:00
is the negative data goes missing in action;
252
585000
2000
негативные данные пропадают без вести
10:02
it's withheld from doctors and patients.
253
587000
2000
и не доходят до врачей и пациентов.
10:04
And this is the most important aspect of the whole story.
254
589000
2000
И это самый важный аспект нашей истории,
10:06
It's at the top of the pyramid of evidence.
255
591000
2000
он на вершине пирамиды доказательств.
10:08
We need to have all of the data on a particular treatment
256
593000
3000
Чтобы оценить эффективность определённого лечения,
10:11
to know whether or not it really is effective.
257
596000
2000
нам нужно иметь все данные по нему.
10:13
And there are two different ways that you can spot
258
598000
2000
Есть два способа, как можно определить,
10:15
whether some data has gone missing in action.
259
600000
2000
пропали ли какие-либо данные.
10:17
You can use statistics, or you can use stories.
260
602000
3000
Можно пользоваться статистикой или историей.
10:20
I personally prefer statistics, so that's what I'm going to do first.
261
605000
2000
Я лично предпочитаю статистику, и вот что я делаю.
10:22
This is something called funnel plot.
262
607000
2000
Это называется нормальным распределением.
10:24
And a funnel plot is a very clever way of spotting
263
609000
2000
Нормальное распределение – отличный способ обнаружить,
10:26
if small negative trials have disappeared, have gone missing in action.
264
611000
3000
не пропали ли негативные результаты небольших испытаний.
10:29
So this is a graph of all of the trials
265
614000
2000
Это график всех испытаний,
10:31
that have been done on a particular treatment.
266
616000
2000
сделанных по определённому виду лечения.
10:33
And as you go up towards the top of the graph,
267
618000
2000
По мере продвижения к вершине графика
10:35
what you see is each dot is a trial.
268
620000
2000
вы видите, каждая точка – это исследование.
10:37
And as you go up, those are the bigger trials, so they've got less error in them.
269
622000
3000
Вверху графика – большие исследования, поэтому в них меньше ошибок,
10:40
So they're less likely to be randomly false positives, randomly false negatives.
270
625000
3000
то есть там меньше ложных положительных и ложных отрицательных результатов.
10:43
So they all cluster together.
271
628000
2000
Так что они собираются вместе.
10:45
The big trials are closer to the true answer.
272
630000
2000
Большие испытания ближе к истинному ответу.
10:47
Then as you go further down at the bottom,
273
632000
2000
Если же рассмотреть нижнюю часть,
10:49
what you can see is, over on this side, the spurious false negatives,
274
634000
3000
с этой стороны вы видите ложные отрицательные результаты,
10:52
and over on this side, the spurious false positives.
275
637000
2000
а с этой стороны – ложные положительные.
10:54
If there is publication bias,
276
639000
2000
Если есть систематическая ошибка,
10:56
if small negative trials have gone missing in action,
277
641000
3000
если небольшие отрицательные исследования пропадают,
10:59
you can see it on one of these graphs.
278
644000
2000
это можно видеть на одном из графиков.
11:01
So you can see here that the small negative trials
279
646000
2000
Таким образом, видно, что небольшие отрицательные испытания,
11:03
that should be on the bottom left have disappeared.
280
648000
2000
которые должны быть в левом нижнем углу, исчезли.
11:05
This is a graph demonstrating the presence of publication bias
281
650000
3000
Это график демонстрирует наличие систематической ошибки
11:08
in studies of publication bias.
282
653000
2000
в исследованиях систематической ошибки.
11:10
And I think that's the funniest epidemiology joke
283
655000
2000
Я думаю, что это самая смешная эпидемиологическая шутка,
11:12
that you will ever hear.
284
657000
2000
которую можно придумать.
11:14
That's how you can prove it statistically,
285
659000
2000
Так можно доказать это статистически.
11:16
but what about stories?
286
661000
2000
Что насчёт исторических данных?
11:18
Well they're heinous, they really are.
287
663000
2000
На самом деле они просто отвратительные.
11:20
This is a drug called reboxetine.
288
665000
2000
Это препарат под названием ребоксетин.
11:22
This is a drug that I myself have prescribed to patients.
289
667000
2000
Я сам назначал его пациентам.
11:24
And I'm a very nerdy doctor.
290
669000
2000
Но я очень дотошный врач.
11:26
I hope I try to go out of my way to try and read and understand all the literature.
291
671000
3000
Я стараюсь прочитать и разобраться во всей специальной литературе.
11:29
I read the trials on this. They were all positive. They were all well-conducted.
292
674000
3000
Я читал результаты испытаний, и все они были положительными и хорошо проведёнными.
11:32
I found no flaw.
293
677000
2000
Я не нашёл ни одного изъяна.
11:34
Unfortunately, it turned out,
294
679000
2000
К сожалению, оказалось,
11:36
that many of these trials were withheld.
295
681000
2000
что многие из этих испытаний были изъяты,
11:38
In fact, 76 percent
296
683000
2000
а именно, 76%
11:40
of all of the trials that were done on this drug
297
685000
2000
всех испытаний этого препарата
11:42
were withheld from doctors and patients.
298
687000
2000
держались в тайне от врачей и пациентов.
11:44
Now if you think about it,
299
689000
2000
Теперь, представьте себе,
11:46
if I tossed a coin a hundred times,
300
691000
2000
если бы я подбросил монету сто раз
11:48
and I'm allowed to withhold from you
301
693000
2000
и имел бы возможность скрыть от вас
11:50
the answers half the times,
302
695000
2000
половину результатов,
11:52
then I can convince you
303
697000
2000
я смог бы убедить вас,
11:54
that I have a coin with two heads.
304
699000
2000
что у монеты с обеих сторон "орёл".
11:56
If we remove half of the data,
305
701000
2000
Если убрать половину данных,
11:58
we can never know what the true effect size of these medicines is.
306
703000
3000
мы никогда не узнаем истинную величину эффекта этих лекарств.
12:01
And this is not an isolated story.
307
706000
2000
И это не единичный случай.
12:03
Around half of all of the trial data on antidepressants has been withheld,
308
708000
4000
Около половины всех данных испытаний антидепрессантов были изъяты,
12:07
but it goes way beyond that.
309
712000
2000
но размеры бедствия куда больше этого.
12:09
The Nordic Cochrane Group were trying to get a hold of the data on that
310
714000
2000
Nordic Cochrane Group пытались получить соответствующие данные,
12:11
to bring it all together.
311
716000
2000
чтобы свести всё вместе.
12:13
The Cochrane Groups are an international nonprofit collaboration
312
718000
3000
Группы Cochrane – международные некоммерческие группы,
12:16
that produce systematic reviews of all of the data that has ever been shown.
313
721000
3000
производящие систематический анализ всех когда-либо опубликованных данных.
12:19
And they need to have access to all of the trial data.
314
724000
3000
Они должны иметь доступ ко всем данным испытаний.
12:22
But the companies withheld that data from them,
315
727000
3000
Но в течение трёх лет компании,
12:25
and so did the European Medicines Agency
316
730000
2000
а также Европейское агентство по лекарственным препаратам,
12:27
for three years.
317
732000
2000
скрывали от них данные.
12:29
This is a problem that is currently lacking a solution.
318
734000
3000
На данный момент этой проблеме нет решения.
12:32
And to show how big it goes, this is a drug called Tamiflu,
319
737000
3000
И чтобы показать, насколько велика проблема, возьмём препарат Тамифлю,
12:35
which governments around the world
320
740000
2000
на который правительства по всему миру
12:37
have spent billions and billions of dollars on.
321
742000
2000
потратили миллиарды и миллиарды долларов.
12:39
And they spend that money on the promise
322
744000
2000
Они заплатили бешеные деньги за обещание,
12:41
that this is a drug which will reduce the rate
323
746000
2000
что это лекарство снижает вероятность
12:43
of complications with flu.
324
748000
2000
осложнений при гриппе.
12:45
We already have the data
325
750000
2000
У нас уже есть данные,
12:47
showing that it reduces the duration of your flu by a few hours.
326
752000
2000
что он уменьшает продолжительность гриппа на несколько часов.
12:49
But I don't really care about that. Governments don't care about that.
327
754000
2000
Но это не заботит ни меня, ни правительства.
12:51
I'm very sorry if you have the flu, I know it's horrible,
328
756000
3000
Мне очень жаль, если у вас грипп, я знаю, это ужасно,
12:54
but we're not going to spend billions of dollars
329
759000
2000
но мы не собираемся тратить миллиарды долларов,
12:56
trying to reduce the duration of your flu symptoms
330
761000
2000
пытаясь уменьшить длительность симптомов гриппа
12:58
by half a day.
331
763000
2000
на полдня.
13:00
We prescribe these drugs, we stockpile them for emergencies
332
765000
2000
Мы выписываем препараты и делаем их аварийные запасы,
13:02
on the understanding that they will reduce the number of complications,
333
767000
2000
если понимаем, что они уменьшают количество осложнений,
13:04
which means pneumonia and which means death.
334
769000
3000
что означает, число пневмоний и число смертей.
13:07
The infectious diseases Cochrane Group, which are based in Italy,
335
772000
3000
Cochrane Group по инфекционным заболеваниям, которая базируется в Италии,
13:10
has been trying to get
336
775000
2000
пыталась получить
13:12
the full data in a usable form out of the drug companies
337
777000
3000
от фармацевтических компаний полные данные в удобной форме,
13:15
so that they can make a full decision
338
780000
3000
чтобы можно было принять обоснованное решение,
13:18
about whether this drug is effective or not,
339
783000
2000
эффективен ли данный препарат,
13:20
and they've not been able to get that information.
340
785000
3000
и они не смогли получить этой информации.
13:23
This is undoubtedly
341
788000
2000
Это, несомненно,
13:25
the single biggest ethical problem
342
790000
3000
самая большая этическая проблема,
13:28
facing medicine today.
343
793000
2000
стоящая перед современной медициной.
13:30
We cannot make decisions
344
795000
3000
Мы не можем принимать решения
13:33
in the absence of all of the information.
345
798000
4000
при отсутствии полной информации.
13:37
So it's a little bit difficult from there
346
802000
3000
После всего сказанного очень сложно
13:40
to spin in some kind of positive conclusion.
347
805000
4000
закончить на оптимистической ноте.
13:44
But I would say this:
348
809000
4000
Но я бы сказал так:
13:48
I think that sunlight
349
813000
3000
я думаю, что солнечный свет –
13:51
is the best disinfectant.
350
816000
2000
лучшее дезинфицирующее средство.
13:53
All of these things are happening in plain sight,
351
818000
3000
Всё это происходит на виду у всех,
13:56
and they're all protected
352
821000
2000
и все они защищены
13:58
by a force field of tediousness.
353
823000
3000
"силовым полем" занудства.
14:01
And I think, with all of the problems in science,
354
826000
2000
И я думаю, несмотря на все проблемы в науке,
14:03
one of the best things that we can do
355
828000
2000
лучшее, что мы можем сделать, –
14:05
is to lift up the lid,
356
830000
2000
это приподнять завесу
14:07
finger around in the mechanics and peer in.
357
832000
2000
и самим всё ощупать и изучить.
14:09
Thank you very much.
358
834000
2000
Большое спасибо.
14:11
(Applause)
359
836000
3000
(Аплодисменты)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com