TEDGlobal 2011
Ben Goldacre: Battling bad science
Бен Голдакр: Боротьба з поганою наукою
Filmed:
Readability: 4.3
2,713,579 views
Щоденно ми чуємо нові поради щодо довголіття, але як чи правильні? Доктор і епідеміолог Бен Голдакр доводить, із швидкістю світла, що доказами можна маніпулювати, починаючи з найпростіших порад щодо харчування і закінчуючи дуже витонченими трюками з фармацевтичної індустрії.
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:15
So I'm a doctor, but I kind of slipped sideways into research,
0
0
3000
Я — лікар, але й трохи зацікавлений у наукових дослідженнях,
00:18
and now I'm an epidemiologist.
1
3000
2000
тому зараз я ще й епідеміолог.
00:20
And nobody really knows what epidemiology is.
2
5000
2000
І ніхто не знає, що воно таке епідеміологія.
00:22
Epidemiology is the science of how we know in the real world
3
7000
3000
Епідеміологія — це наука про те, як дізнатися в реальному житті
00:25
if something is good for you or bad for you.
4
10000
2000
чи добре є щось для вас чи погане.
00:27
And it's best understood through example
5
12000
2000
І це найкраще зрозуміти на прикладі
00:29
as the science of those crazy, wacky newspaper headlines.
6
14000
5000
науки в тих божевільних і дурнуватих заголовках газет.
00:34
And these are just some of the examples.
7
19000
2000
І це тільки деякі з прикладів.
00:36
These are from the Daily Mail. Every country in the world has a newspaper like this.
8
21000
3000
Оці — з Daily Mail. Кожна країна в світі має подібну газету.
00:39
It has this bizarre, ongoing philosophical project
9
24000
3000
Ця газета працює над дивним нескінченним філософським проектом,
00:42
of dividing all the inanimate objects in the world
10
27000
2000
головною метою якого є поділ усіх неістот в світі,
00:44
into the ones that either cause or prevent cancer.
11
29000
3000
на ті що запобігають захворюванню на рак і ті що спричинюють рак.
00:47
So here are some of the things they said cause cancer recently:
12
32000
2000
Ось деякі з нещодавно оголошених причин раку:
00:49
divorce, Wi-Fi, toiletries and coffee.
13
34000
2000
розлучення, Wi-Fi, туалетні засоби та кава.
00:51
Here are some of the things they say prevents cancer:
14
36000
2000
Ось деякі з речей, які якщо їм вірити, запобігають раку:
00:53
crusts, red pepper, licorice and coffee.
15
38000
2000
хлібні коринки, червоний перець, локриця і кава.
00:55
So already you can see there are contradictions.
16
40000
2000
Можна вже зараз помітити протиріччя.
00:57
Coffee both causes and prevents cancer.
17
42000
2000
Кава як спричинює так і запобігає раку.
00:59
And as you start to read on, you can see
18
44000
2000
Продовжуючи читання, можна замислитися
01:01
that maybe there's some kind of political valence behind some of this.
19
46000
3000
над тим, чи є якийсь політичний підтекст у деяких з цих стверджень.
01:04
So for women, housework prevents breast cancer,
20
49000
2000
Жінок, наприклад, домашня робота береже від раку молочної залози,
01:06
but for men, shopping could make you impotent.
21
51000
3000
в той час як чоловіків регулярні походи по магазинах можуть зробити імпотентами.
01:09
So we know that we need to start
22
54000
3000
Отже, ми знаємо, що нам потрібно для того, щоб почати
01:12
unpicking the science behind this.
23
57000
3000
спростовувати таку «науку».
01:15
And what I hope to show
24
60000
2000
Я сподіваюся довести, що
01:17
is that unpicking dodgy claims,
25
62000
2000
спростовування таких хитромудрих стверджень
01:19
unpicking the evidence behind dodgy claims,
26
64000
2000
і виявлення сфальсифікованих доказів, на яких вони базуються,
01:21
isn't a kind of nasty carping activity;
27
66000
3000
не є якимось заняттям для прискіпливих;
01:24
it's socially useful,
28
69000
2000
це суспільно корисна праця,
01:26
but it's also an extremely valuable
29
71000
2000
ще й дуже цінна, бо може слугувати
01:28
explanatory tool.
30
73000
2000
непоганим навчальним інструментом.
01:30
Because real science is all about
31
75000
2000
Тому що справжня наука полягає в
01:32
critically appraising the evidence for somebody else's position.
32
77000
2000
критичному зваженні доказів, які інші виставляють в підтримку своєї позиції.
01:34
That's what happens in academic journals.
33
79000
2000
Це те, що відбувається в наукових журналах.
01:36
That's what happens at academic conferences.
34
81000
2000
Це відбувається і на наукових конференціях.
01:38
The Q&A session after a post-op presents data
35
83000
2000
На післяопераційних дискусіях іноді розбирають дані так детально,
01:40
is often a blood bath.
36
85000
2000
що пір'я летить.
01:42
And nobody minds that. We actively welcome it.
37
87000
2000
І ніхто не заперечує. Всі активно заохочують таку поведінку.
01:44
It's like a consenting intellectual S&M activity.
38
89000
3000
Це таке собі добровільний садо-мазо інтелектуальний процес.
01:47
So what I'm going to show you
39
92000
2000
Я хочу вам показати
01:49
is all of the main things,
40
94000
2000
найголовніші з аспектів,
01:51
all of the main features of my discipline --
41
96000
2000
всі з найголовніших ознак моєї дисципліни —
01:53
evidence-based medicine.
42
98000
2000
медицини, що базується на фактичних даних.
01:55
And I will talk you through all of these
43
100000
2000
І я розкажу вам про все це
01:57
and demonstrate how they work,
44
102000
2000
і продемонструю як усе працює,
01:59
exclusively using examples of people getting stuff wrong.
45
104000
3000
виключно на прикладах, де люди роблять помилки.
02:02
So we'll start with the absolute weakest form of evidence known to man,
46
107000
3000
Тож почнемо з найслабкішої форми доказу, що відома людству,
02:05
and that is authority.
47
110000
2000
а саме — авторитету.
02:07
In science, we don't care how many letters you have after your name.
48
112000
3000
В науці не дивляться скільки титулів передує вашому імені.
02:10
In science, we want to know what your reasons are for believing something.
49
115000
3000
В науці, ми хочемо знати чим підкріплена ваша думка.
02:13
How do you know that something is good for us
50
118000
2000
Звідки ви знаєте, що нам корисне
02:15
or bad for us?
51
120000
2000
чи зле?
02:17
But we're also unimpressed by authority,
52
122000
2000
В той же час авторитети не справляють на вас враження,
02:19
because it's so easy to contrive.
53
124000
2000
тому що це так легко сфабрикувати.
02:21
This is somebody called Dr. Gillian McKeith Ph.D,
54
126000
2000
Ось цю особу звуть доктор Джилліан MакКіт, кандидат мед.наук,
02:23
or, to give her full medical title, Gillian McKeith.
55
128000
3000
або, щоб дати їй повний медичний титул, Джилліан МакКіт.
02:26
(Laughter)
56
131000
3000
(Сміх у залі)
02:29
Again, every country has somebody like this.
57
134000
2000
Знову ж, кожна країна має когось на кшталт неї.
02:31
She is our TV diet guru.
58
136000
2000
Вона на нашому телебаченні гуру-дієтолог.
02:33
She has massive five series of prime-time television,
59
138000
3000
Вона випустила п'ять величезних серій програм у прайм-тайм,
02:36
giving out very lavish and exotic health advice.
60
141000
3000
роздаючи дуже щедрі і екзотичні поради стосовно здоров'я.
02:39
She, it turns out, has a non-accredited correspondence course Ph.D.
61
144000
3000
Вона, виявляється, отримала каднидатьский ступінь на заочному відділенні неакредитованого виша
02:42
from somewhere in America.
62
147000
2000
звідкись в Америці.
02:44
She also boasts that she's a certified professional member
63
149000
2000
Вона також хвалиться сертифікатом професійного члена
02:46
of the American Association of Nutritional Consultants,
64
151000
2000
Американської асоціації консультантів з дієтології,
02:48
which sounds very glamorous and exciting.
65
153000
2000
що виглядає дуже гламурно і захоплююче.
02:50
You get a certificate and everything.
66
155000
2000
Ви отримуєте сертифікат і все таке.
02:52
This one belongs to my dead cat Hetti. She was a horrible cat.
67
157000
2000
Ось цей належить моїй мертвій кішці Хетті. Вона була жахливою кішкою.
02:54
You just go to the website, fill out the form,
68
159000
2000
Ви просто заходите на сайт, заповнюєте форму,
02:56
give them $60, and it arrives in the post.
69
161000
2000
платите їм 60 доларів, і сертифікат надсилається поштою.
02:58
Now that's not the only reason that we think this person is an idiot.
70
163000
2000
Але це не єдина причина, що ми думаємо, ця людина йолоп.
03:00
She also goes and says things like,
71
165000
2000
Крім того, вона говорить речі на кшталт того,
03:02
you should eat lots of dark green leaves,
72
167000
2000
що ви повинні їсти багато овочів з темно-зеленим листям,
03:04
because they contain lots of chlorophyll, and that will really oxygenate your blood.
73
169000
2000
тому що вони містять багато хлорофілу, і це збільшить кількість кисню в крові.
03:06
And anybody who's done school biology remembers
74
171000
2000
І кожен, хто вивчав біологію в школі пам'ятає
03:08
that chlorophyll and chloroplasts
75
173000
2000
що хлорофіл і хлоропласти
03:10
only make oxygen in sunlight,
76
175000
2000
виробляють кисень лише на сонячному світлі,
03:12
and it's quite dark in your bowels after you've eaten spinach.
77
177000
3000
і у вашому шлунку доволі темно, після того як ви з'їли шпинат.
03:15
Next, we need proper science, proper evidence.
78
180000
3000
Далі, нам необхідна справжня наука, належні докази.
03:18
So, "Red wine can help prevent breast cancer."
79
183000
2000
Отже, "Червоне вино може допомогти запобігти раку молочної залози".
03:20
This is a headline from the Daily Telegraph in the U.K.
80
185000
2000
Це заголовок з Daily Telegraph у Великобританії
03:22
"A glass of red wine a day could help prevent breast cancer."
81
187000
3000
"Келих червоного вина в день може допомогти запобігти раку молочної залози".
03:25
So you go and find this paper, and what you find
82
190000
2000
Отже беремо і знаходимо статтю, яка цитується, і з'ясовуємо,
03:27
is it is a real piece of science.
83
192000
2000
що це справжня наукова стаття.
03:29
It is a description of the changes in one enzyme
84
194000
3000
Вона присвячена опису змін в одному ферменті,
03:32
when you drip a chemical extracted from some red grape skin
85
197000
3000
які відбуваються, коли капнути речовиною, екстрагованою за шкірок червоного винограду,
03:35
onto some cancer cells
86
200000
2000
на деякі ракові клітини
03:37
in a dish on a bench in a laboratory somewhere.
87
202000
3000
у пробірці на лавці в лабораторії де-небудь.
03:40
And that's a really useful thing to describe
88
205000
2000
І це дійсно корисна річ, варта описання
03:42
in a scientific paper,
89
207000
2000
в науковій роботі,
03:44
but on the question of your own personal risk
90
209000
2000
але питання про ваш особистий ризик
03:46
of getting breast cancer if you drink red wine,
91
211000
2000
захворіти на рак грудей, якщо ви п'єте червоне вино,
03:48
it tells you absolutely bugger all.
92
213000
2000
стаття не торкається взагалі.
03:50
Actually, it turns out that your risk of breast cancer
93
215000
2000
Насправді, виявляється, що ризик розвитку раку молочної залози
03:52
actually increases slightly
94
217000
2000
насправді дещо збільшується
03:54
with every amount of alcohol that you drink.
95
219000
2000
з кожною порцією алкоголю, яку ви споживаєте.
03:56
So what we want is studies in real human people.
96
221000
4000
Отже, нам потрібні дослідження справжніх людських людей.
04:00
And here's another example.
97
225000
2000
А ось інший приклад.
04:02
This is from Britain's leading diet and nutritionist in the Daily Mirror,
98
227000
3000
Це від провідного британського дієтолога з Daily Mirror,
04:05
which is our second biggest selling newspaper.
99
230000
2000
нашої другою за популярністю газетою.
04:07
"An Australian study in 2001
100
232000
2000
"Австралійське дослідження в 2001 році
04:09
found that olive oil in combination with fruits, vegetables and pulses
101
234000
2000
виявило, що оливкова олія в поєднанні з фруктами, овочами та бобовими
04:11
offers measurable protection against skin wrinklings."
102
236000
2000
пропонує вимірюваний захист від зморшок".
04:13
And then they give you advice:
103
238000
2000
І тоді вони дають вам пораду:
04:15
"If you eat olive oil and vegetables, you'll have fewer skin wrinkles."
104
240000
2000
"Якщо ви їсте оливкову олію та овочі, ви будете мати менше зморшок."
04:17
And they very helpfully tell you how to go and find the paper.
105
242000
2000
І вони дуже послужливо розповідають вам, як піти і знайти оригінальну статтю.
04:19
So you go and find the paper, and what you find is an observational study.
106
244000
3000
Отже ви ідете і знаходите цю статтю, і те, що ви знайдете це обсерваційне дослідження.
04:22
Obviously nobody has been able
107
247000
2000
Очевидно, що ніхто не зміг
04:24
to go back to 1930,
108
249000
2000
повернутися до 1930 року
04:26
get all the people born in one maternity unit,
109
251000
3000
знайти всіх людей, що народилися в одному пологовому будинку,
04:29
and half of them eat lots of fruit and veg and olive oil,
110
254000
2000
і половина з них їдять багато фруктів і овочів і оливкової олії,
04:31
and then half of them eat McDonald's,
111
256000
2000
а половина з них харчується в McDonald's,
04:33
and then we see how many wrinkles you've got later.
112
258000
2000
а потім порівнюють, скільки зморшок у кожної групи.
04:35
You have to take a snapshot of how people are now.
113
260000
2000
Ви лише в змозі дивитися, як люди виглядають зараз.
04:37
And what you find is, of course,
114
262000
2000
І ви, звичайно, з'ясовуєте,
04:39
people who eat veg and olive oil have fewer skin wrinkles.
115
264000
3000
що люди, які їдять овочі і оливкову олію, мають менше зморшок.
04:42
But that's because people who eat fruit and veg and olive oil,
116
267000
3000
Але це тому, що люди, які їдять фрукти та овочі і оливкову олію,
04:45
they're freaks, they're not normal, they're like you;
117
270000
3000
це збоченці, вони не нормальні, вони, як ви;
04:48
they come to events like this.
118
273000
2000
вони приходять на події, як ця.
04:50
They are posh, they're wealthy, they're less likely to have outdoor jobs,
119
275000
3000
Вони шикарні, вони багаті, вони рідше вдаються до роботи на вулиці,
04:53
they're less likely to do manual labor,
120
278000
2000
вони менш ймовірно займатимуться фізичною працею,
04:55
they have better social support, they're less likely to smoke --
121
280000
2000
у них краще соціальна підтримка, вони менш ймовірно палитимуть -
04:57
so for a whole host of fascinating, interlocking
122
282000
2000
отже через цілий ряд захоплюючих, взаємозалежних
04:59
social, political and cultural reasons,
123
284000
2000
соціальних, політичних і культурних причин,
05:01
they are less likely to have skin wrinkles.
124
286000
2000
вони мають менше зморшок.
05:03
That doesn't mean that it's the vegetables or the olive oil.
125
288000
2000
Це не означає, що це овочі або оливкова олія.
05:05
(Laughter)
126
290000
2000
(Сміх у залі)
05:07
So ideally what you want to do is a trial.
127
292000
3000
Так в ідеалі, що потрібно зробити, це клінічне дослідження.
05:10
And everybody thinks they're very familiar with the idea of a trial.
128
295000
2000
І кожен думає, що вони дуже добре знайомі з принципами клінічного дослідження.
05:12
Trials are very old. The first trial was in the Bible -- Daniel 1:12.
129
297000
3000
Це дуже стара ідея. Перше таке дослідження було в Біблії - Данило 1:12.
05:15
It's very straightforward -- you take a bunch of people, you split them in half,
130
300000
2000
Це дуже просто - ви берете купу людей, ви ділите їх навпіл,
05:17
you treat one group one way, you treat the other group the other way,
131
302000
2000
ви ставитеся до однієї групи в один спосіб, ви ставитеся до іншої групи в інший спосіб,
05:19
and a little while later, you follow them up
132
304000
2000
і через деякий час, ви перевіряєте,
05:21
and see what happened to each of them.
133
306000
2000
що трапилося з кожним із них.
05:23
So I'm going to tell you about one trial,
134
308000
2000
Отже я розповім вам про одне дослідження,
05:25
which is probably the most well-reported trial
135
310000
2000
що, ймовірно, найбільш добре освітлене
05:27
in the U.K. news media over the past decade.
136
312000
2000
в британській пресі за останнє десятиліття.
05:29
And this is the trial of fish oil pills.
137
314000
2000
І це випробування капсул риб'ячого жиру.
05:31
And the claim was fish oil pills improve school performance and behavior
138
316000
2000
І доводилось, що капсули риб'ячого жиру поліпшують успішність і поведінку у школі
05:33
in mainstream children.
139
318000
2000
у звичайних дітей.
05:35
And they said, "We've done a trial.
140
320000
2000
І вони на початку зазначили: "Ми провели дослідження.
05:37
All the previous trials were positive, and we know this one's gonna be too."
141
322000
2000
Всі попередні дослідження були позитивними, і ми знаємо, це буде таким самим".
05:39
That should always ring alarm bells.
142
324000
2000
Це повинно завжди викликати підозру.
05:41
Because if you already know the answer to your trial, you shouldn't be doing one.
143
326000
3000
Тому що, якщо ви вже знаєте висновок свого дослідження, ви не повинні його проводити.
05:44
Either you've rigged it by design,
144
329000
2000
Або ви зумовили певний результат дизайном експерименту,
05:46
or you've got enough data so there's no need to randomize people anymore.
145
331000
3000
або у вас є достатньо даних, так що немає необхідності обирати людей випадково.
05:49
So this is what they were going to do in their trial.
146
334000
3000
Так ось що вони збиралися зробити в цьому дослідженні.
05:52
They were taking 3,000 children,
147
337000
2000
Вони вибрали 3000 дітей,
05:54
they were going to give them all these huge fish oil pills,
148
339000
2000
вони давали їм всім ці величезні капсули риб'ячого жиру,
05:56
six of them a day,
149
341000
2000
шість штук в день,
05:58
and then a year later, they were going to measure their school exam performance
150
343000
3000
і потім через рік, вони вимірювали їхню успішність в школі
06:01
and compare their school exam performance
151
346000
2000
і порівнювали результати іспитів
06:03
against what they predicted their exam performance would have been
152
348000
2000
з передбачуваними результатами іспиту,
06:05
if they hadn't had the pills.
153
350000
3000
якщо б вони не приймали капсули.
06:08
Now can anybody spot a flaw in this design?
154
353000
3000
Чи хтось помітив хибу в цій конструкції?
06:11
And no professors of clinical trial methodology
155
356000
3000
Професори методології клінічних випробувань
06:14
are allowed to answer this question.
156
359000
2000
не мають відповідати на це питання.
06:16
So there's no control; there's no control group.
157
361000
2000
Отже, тут немає контролю, немає контрольної групи.
06:18
But that sounds really techie.
158
363000
2000
Але це заглиблення в технічні деталі.
06:20
That's a technical term.
159
365000
2000
Це технічний термін.
06:22
The kids got the pills, and then their performance improved.
160
367000
2000
Діти отримали капсули, і потім їх успіхи в навчанні збільшилися.
06:24
What else could it possibly be if it wasn't the pills?
161
369000
3000
Що ще могло б бути, якщо це були не капсули?
06:27
They got older. We all develop over time.
162
372000
3000
Діти стали дорослішими. Ми всі з розвиваємося з плином часу.
06:30
And of course, also there's the placebo effect.
163
375000
2000
І, звичайно, присутній ефект плацебо.
06:32
The placebo effect is one of the most fascinating things in the whole of medicine.
164
377000
2000
Плацебо-ефект має бути одним з самих цікавих речей в медицині.
06:34
It's not just about taking a pill, and your performance and your pain getting better.
165
379000
3000
Мова йде не тільки про те, що після прийняття таблетки ваша продуктивність збільшується і ваш біль зменшується.
06:37
It's about our beliefs and expectations.
166
382000
2000
Мова йде про наші переконання і очікування.
06:39
It's about the cultural meaning of a treatment.
167
384000
2000
Йдеться про культурне значенні лікування.
06:41
And this has been demonstrated in a whole raft of fascinating studies
168
386000
3000
І це було продемонстровано в цілому переліку захоплюючих досліджень
06:44
comparing one kind of placebo against another.
169
389000
3000
порівнюючи один вид плацебо проти іншого.
06:47
So we know, for example, that two sugar pills a day
170
392000
2000
Отже, ми знаємо, наприклад, що дві таблетки цукру в день
06:49
are a more effective treatment for getting rid of gastric ulcers
171
394000
2000
є більш ефективним засобом для лікування виразки шлунку
06:51
than one sugar pill.
172
396000
2000
ніж одна таблетка цукру.
06:53
Two sugar pills a day beats one sugar pill a day.
173
398000
2000
Дві цукрові таблетки в день краще однієї таблетки цукру в день.
06:55
And that's an outrageous and ridiculous finding, but it's true.
174
400000
3000
І це обурливий і смішний результат, але це правда.
06:58
We know from three different studies on three different types of pain
175
403000
2000
Ми знаємо з трьох різних досліджень трьох різних типів болю,
07:00
that a saltwater injection is a more effective treatment for pain
176
405000
3000
що ін'єкції солоної води більш ефективні в лікування болю
07:03
than taking a sugar pill, taking a dummy pill that has no medicine in it --
177
408000
4000
ніж таблетки цукру, таблетки, які не містять ліків -
07:07
not because the injection or the pills do anything physically to the body,
178
412000
3000
не тому, що ін'єкції або таблетки роблять щось фізично організму,
07:10
but because an injection feels like a much more dramatic intervention.
179
415000
3000
а тому, що ін'єкції вважаються набагато більш драматичним втручанням.
07:13
So we know that our beliefs and expectations
180
418000
2000
Отже, ми знаємо, що нашими переконаннями і очікуваннями
07:15
can be manipulated,
181
420000
2000
можна маніпулювати,
07:17
which is why we do trials
182
422000
2000
і саме тому ми робимо клінічні випробування
07:19
where we control against a placebo --
183
424000
2000
де ефект плацебо контролюється —
07:21
where one half of the people get the real treatment
184
426000
2000
де одна половина людей отримує справжнє лікування
07:23
and the other half get placebo.
185
428000
2000
а інша половина отримує плацебо.
07:25
But that's not enough.
186
430000
3000
Але цього недостатньо.
07:28
What I've just shown you are examples of the very simple and straightforward ways
187
433000
3000
Те що я щойно показав вам є прикладами дуже простих і прямих способів,
07:31
that journalists and food supplement pill peddlers
188
436000
2000
в які журналісти, продавці харчових додатків
07:33
and naturopaths
189
438000
2000
і натуропати
07:35
can distort evidence for their own purposes.
190
440000
3000
можуть спотворити дані для власних потреб.
07:38
What I find really fascinating
191
443000
2000
Найцікавіше є те, що
07:40
is that the pharmaceutical industry
192
445000
2000
фармацевтична промисловість
07:42
uses exactly the same kinds of tricks and devices,
193
447000
2000
використовує такі самі прийоми і пристрої,
07:44
but slightly more sophisticated versions of them,
194
449000
3000
але трохи більш витончені варіанти,
07:47
in order to distort the evidence that they give to doctors and patients,
195
452000
3000
для того, щоб спотворити свідчення, які вони дають лікарям і пацієнтам,
07:50
and which we use to make vitally important decisions.
196
455000
3000
свідчення, які ми використовуємо, щоб приймати життєво важливі рішення.
07:53
So firstly, trials against placebo:
197
458000
2000
По-перше, щодо досліджень, де порівнюють з плацебо:
07:55
everybody thinks they know that a trial should be
198
460000
2000
всі думають, що клінічні випробування мають
07:57
a comparison of your new drug against placebo.
199
462000
2000
містити порівняння нового препарату і плацебо.
07:59
But actually in a lot of situations that's wrong.
200
464000
2000
Але насправді в багатьох ситуаціях це не доречно.
08:01
Because often we already have a very good treatment that is currently available,
201
466000
3000
Бо часто у нас вже є дуже хороший препарат,
08:04
so we don't want to know that your alternative new treatment
202
469000
2000
тому нас не цікавить, що ваш альтернативний метод лікування
08:06
is better than nothing.
203
471000
2000
кращій за ніякий.
08:08
We want to know that it's better than the best currently available treatment that we have.
204
473000
3000
Ми хочемо знати, чи кращий новий препарат за той, що в нас вже є.
08:11
And yet, repeatedly, you consistently see people doing trials
205
476000
3000
І все ж таки, неодноразово, люди роблять випробування
08:14
still against placebo.
206
479000
2000
як і раніше, проти плацебо.
08:16
And you can get license to bring your drug to market
207
481000
2000
І ви можете отримати ліцензію і вивести такі ліки на ринок
08:18
with only data showing that it's better than nothing,
208
483000
2000
за допомогою лише даних, що показують, що ці ліки краще ніж нічого,
08:20
which is useless for a doctor like me trying to make a decision.
209
485000
3000
тобто, за допомогою інформації, що є, для доктора, недостатньою для прийняття рішення.
08:23
But that's not the only way you can rig your data.
210
488000
2000
Але це не єдиний спосіб, в який ви можете підробити ваші дані.
08:25
You can also rig your data
211
490000
2000
Ви можете також маніпулювати даними
08:27
by making the thing you compare your new drug against
212
492000
2000
порівнюючи ваш новий препарат із
08:29
really rubbish.
213
494000
2000
абсолютним сміттям.
08:31
You can give the competing drug in too low a dose,
214
496000
2000
Ви можете дати препарат-конкурент в занадто низькій дозі,
08:33
so that people aren't properly treated.
215
498000
2000
так, щоб було порушено процес лікування.
08:35
You can give the competing drug in too high a dose,
216
500000
2000
Ви можете дати препарат-конкурент в занадто високій дозі,
08:37
so that people get side effects.
217
502000
2000
так, щоб почали з'являтися побічні ефекти.
08:39
And this is exactly what happened
218
504000
2000
І це саме те, що сталося
08:41
which antipsychotic medication for schizophrenia.
219
506000
2000
із антипсихотичним препаратом для лікування шизофренії.
08:43
20 years ago, a new generation of antipsychotic drugs were brought in
220
508000
3000
20 років тому, було запропоноване нове покоління антипсихотичних препаратів
08:46
and the promise was that they would have fewer side effects.
221
511000
3000
із обіцянкою, що вони матимуть менше побічних ефектів.
08:49
So people set about doing trials of these new drugs
222
514000
2000
Таким чином, люди приступили до справи випробування цих нових ліків
08:51
against the old drugs,
223
516000
2000
проти старих препаратів,
08:53
but they gave the old drugs in ridiculously high doses --
224
518000
2000
але вони дали старі ліки у занадто великих дозах —
08:55
20 milligrams a day of haloperidol.
225
520000
2000
20 міліграмів галоперидолу на день.
08:57
And it's a foregone conclusion,
226
522000
2000
Ясно,
08:59
if you give a drug at that high a dose,
227
524000
2000
якщо ви дасте препарат в такій високій дозі,
09:01
that it will have more side effects and that your new drug will look better.
228
526000
3000
він матиме більше побічних ефектів і ваш новий препарат виглядатиме краще.
09:04
10 years ago, history repeated itself, interestingly,
229
529000
2000
10 років тому, історія повторилася, що цікаво:
09:06
when risperidone, which was the first of the new-generation antipscyhotic drugs,
230
531000
3000
коли на рисперидон, який був першим з нового покоління антипсихотичних ліків,
09:09
came off copyright, so anybody could make copies.
231
534000
3000
закінчився патент, і будь-хто міг робити копії.
09:12
Everybody wanted to show that their drug was better than risperidone,
232
537000
2000
Усі хотіли показати, що їх препарат був кращим, ніж рисперидон,
09:14
so you see a bunch of trials comparing new antipsychotic drugs
233
539000
3000
і отже, можна знайти купу випробувань які порівнюють нові антипсихотичні препарати
09:17
against risperidone at eight milligrams a day.
234
542000
2000
із рисперидоном, із дозою у вісім міліграмів на день.
09:19
Again, not an insane dose, not an illegal dose,
235
544000
2000
Знову ж, не божевільна доза, не незаконна доза,
09:21
but very much at the high end of normal.
236
546000
2000
але практично максимум допустимої.
09:23
And so you're bound to make your new drug look better.
237
548000
3000
І, як результат, — новий препарат виглядає краще за старий.
09:26
And so it's no surprise that overall,
238
551000
3000
І тому не дивно, що в цілому,
09:29
industry-funded trials
239
554000
2000
клінічні випробування, що фінансуються виробниками
09:31
are four times more likely to give a positive result
240
556000
2000
дають позитивні результати в чотири рази частіше,
09:33
than independently sponsored trials.
241
558000
3000
за ті що фінансуються незалежно.
09:36
But -- and it's a big but --
242
561000
3000
Але — і це велике але —
09:39
(Laughter)
243
564000
2000
(Сміх)
09:41
it turns out,
244
566000
2000
виявляється,
09:43
when you look at the methods used by industry-funded trials,
245
568000
3000
якщо поглянути на методологію випробувань, що фінансуються виробниками,
09:46
that they're actually better
246
571000
2000
вона є кращою, то є правда,
09:48
than independently sponsored trials.
247
573000
2000
за методологію випробувань, що фінансуються незалежно.
09:50
And yet, they always manage to to get the result that they want.
248
575000
3000
І все ж таки, їм завжди вдається досягнути чого вони забажають.
09:53
So how does this work?
249
578000
2000
Так як же ж це працює?
09:55
How can we explain this strange phenomenon?
250
580000
3000
Як можна пояснити це дивне явище?
09:58
Well it turns out that what happens
251
583000
2000
Виявляється, відбувається ось що:
10:00
is the negative data goes missing in action;
252
585000
2000
негативні дані пропадають безвісти;
10:02
it's withheld from doctors and patients.
253
587000
2000
до лікарів і пацієнтів такі дані не доходять.
10:04
And this is the most important aspect of the whole story.
254
589000
2000
І це є найважливішим аспектом всієї цієї історії.
10:06
It's at the top of the pyramid of evidence.
255
591000
2000
Він — на вершині піраміди доказів.
10:08
We need to have all of the data on a particular treatment
256
593000
3000
Нам потрібні усі дані по конкретному лікуванню,
10:11
to know whether or not it really is effective.
257
596000
2000
щоб визначити чи є воно ефективним в дійсності.
10:13
And there are two different ways that you can spot
258
598000
2000
Є й два різні способи, за якими можна визначити
10:15
whether some data has gone missing in action.
259
600000
2000
що дані пропали безвісти.
10:17
You can use statistics, or you can use stories.
260
602000
3000
Можна використовувати статистику, або можна використовувати історії.
10:20
I personally prefer statistics, so that's what I'm going to do first.
261
605000
2000
Я особисто віддаю перевагу статистиці, і тому давайте поговоримо про це спочатку.
10:22
This is something called funnel plot.
262
607000
2000
Цей графік іноді називають воронкою.
10:24
And a funnel plot is a very clever way of spotting
263
609000
2000
Такий графік використовують як метод визначення
10:26
if small negative trials have disappeared, have gone missing in action.
264
611000
3000
чи не зникли негативні результати маленьких клінічних випробувань.
10:29
So this is a graph of all of the trials
265
614000
2000
Ось тут бачимо графік всіх випробувань
10:31
that have been done on a particular treatment.
266
616000
2000
які було виконано для якогось конкретного препарату.
10:33
And as you go up towards the top of the graph,
267
618000
2000
Як підете нагору, до верхньої частини графіка,
10:35
what you see is each dot is a trial.
268
620000
2000
то побачите, що кожна точка відповідає клінічному випробуванню.
10:37
And as you go up, those are the bigger trials, so they've got less error in them.
269
622000
3000
Вгорі випробування великі, і тому похибка в них мала.
10:40
So they're less likely to be randomly false positives, randomly false negatives.
270
625000
3000
Тобто там менше хибних позитивних і хибних негативних результатів.
10:43
So they all cluster together.
271
628000
2000
Тому вони всі групуються разом.
10:45
The big trials are closer to the true answer.
272
630000
2000
Великі випробування є ближчими до істини.
10:47
Then as you go further down at the bottom,
273
632000
2000
Якщо поглянути на нижню частину графіка,
10:49
what you can see is, over on this side, the spurious false negatives,
274
634000
3000
можна побачити, ось з цього боку, помилкові негативні результати,
10:52
and over on this side, the spurious false positives.
275
637000
2000
а з цієї — помилкові позитивні.
10:54
If there is publication bias,
276
639000
2000
Якщо щось було не опубліковано,
10:56
if small negative trials have gone missing in action,
277
641000
3000
якщо маленькі негативні результати хутко зникли,
10:59
you can see it on one of these graphs.
278
644000
2000
це можна визначити поглянувши на один з таких графіків.
11:01
So you can see here that the small negative trials
279
646000
2000
Ось тут, наприклад, легко бачити, що невеликі негативні випробування
11:03
that should be on the bottom left have disappeared.
280
648000
2000
які повинні були б бути в лівому нижньому кутку, зникли.
11:05
This is a graph demonstrating the presence of publication bias
281
650000
3000
Це є графік, що демонструє наявність систематичних помилок
11:08
in studies of publication bias.
282
653000
2000
в дослідженнях систематичних помилок.
11:10
And I think that's the funniest epidemiology joke
283
655000
2000
І я думаю, що це найдотепніший епідеміологічний жарт
11:12
that you will ever hear.
284
657000
2000
який ви коли-небудь почуєте.
11:14
That's how you can prove it statistically,
285
659000
2000
Ось як ви можете довести це статистично,
11:16
but what about stories?
286
661000
2000
але щодо історій?
11:18
Well they're heinous, they really are.
287
663000
2000
Ну, що вони огидні, то є правда.
11:20
This is a drug called reboxetine.
288
665000
2000
Це препарат під назвою ребоксетин.
11:22
This is a drug that I myself have prescribed to patients.
289
667000
2000
Цей препарат я сам призначав пацієнтам.
11:24
And I'm a very nerdy doctor.
290
669000
2000
І я дуже ретельний доктор.
11:26
I hope I try to go out of my way to try and read and understand all the literature.
291
671000
3000
Я намагаюся прочитати і зрозуміти всю технічну документацію.
11:29
I read the trials on this. They were all positive. They were all well-conducted.
292
674000
3000
І я читав все про клінічні випробування цього препарату. Всі вони були позитивними. Всі вони були добре проведені.
11:32
I found no flaw.
293
677000
2000
Я не знайшов жодної проблеми.
11:34
Unfortunately, it turned out,
294
679000
2000
На жаль, з'ясувалося,
11:36
that many of these trials were withheld.
295
681000
2000
що багато з цих випробувань було утримано.
11:38
In fact, 76 percent
296
683000
2000
а саме, 76 відсотків
11:40
of all of the trials that were done on this drug
297
685000
2000
всіх випробувань, які були зроблені із цим препаратом,
11:42
were withheld from doctors and patients.
298
687000
2000
до лікарів і пацієнтів не дійшли.
11:44
Now if you think about it,
299
689000
2000
Тепер, уявіть,
11:46
if I tossed a coin a hundred times,
300
691000
2000
якби я підкинув монету сто разів,
11:48
and I'm allowed to withhold from you
301
693000
2000
і дозволив собі утримати від вас
11:50
the answers half the times,
302
695000
2000
половину результатів,
11:52
then I can convince you
303
697000
2000
то я міг би переконати вас
11:54
that I have a coin with two heads.
304
699000
2000
що у мене монета з обох боків "з орлом".
11:56
If we remove half of the data,
305
701000
2000
Якщо ми приберемо половину даних,
11:58
we can never know what the true effect size of these medicines is.
306
703000
3000
ми ніколи не зможемо дізнатися про справжній ефект цих препаратів.
12:01
And this is not an isolated story.
307
706000
2000
І це лише один з випадків.
12:03
Around half of all of the trial data on antidepressants has been withheld,
308
708000
4000
Близько половини всіх даних про випробування антидепресантів було вилучено,
12:07
but it goes way beyond that.
309
712000
2000
але це лише частина проблеми.
12:09
The Nordic Cochrane Group were trying to get a hold of the data on that
310
714000
2000
Nordic Cochrane Group намагалися отримати дані про це,
12:11
to bring it all together.
311
716000
2000
щоб звести всю інформацію разом.
12:13
The Cochrane Groups are an international nonprofit collaboration
312
718000
3000
The Cochrane Groups то є міжнародна некомерційна організація
12:16
that produce systematic reviews of all of the data that has ever been shown.
313
721000
3000
що систематично аналізує всі доступні дані.
12:19
And they need to have access to all of the trial data.
314
724000
3000
І вони потребують доступу до всіх даних.
12:22
But the companies withheld that data from them,
315
727000
3000
Але компанії утримують дані,
12:25
and so did the European Medicines Agency
316
730000
2000
так само як і European Medicines Agency,
12:27
for three years.
317
732000
2000
яке утримувало дані протягом трьох років.
12:29
This is a problem that is currently lacking a solution.
318
734000
3000
Це проблема на сьогоднішній день не має розв'язку.
12:32
And to show how big it goes, this is a drug called Tamiflu,
319
737000
3000
І щоб показати, наскільки великою вона є насправді: це є препарат під назвою Tamiflu,
12:35
which governments around the world
320
740000
2000
на який уряди світу
12:37
have spent billions and billions of dollars on.
321
742000
2000
витратили мільярди доларів.
12:39
And they spend that money on the promise
322
744000
2000
І вони витратили всі ці гроші на обіцянки,
12:41
that this is a drug which will reduce the rate
323
746000
2000
що ці ліки зменшать кількість
12:43
of complications with flu.
324
748000
2000
ускладнень при грипі.
12:45
We already have the data
325
750000
2000
У нас вже є дані,
12:47
showing that it reduces the duration of your flu by a few hours.
326
752000
2000
що свідчать про те, що препарат зменшує тривалість грипу на декілька годин.
12:49
But I don't really care about that. Governments don't care about that.
327
754000
2000
Але я мене це не цікавить. І уряди це теж не цікавить.
12:51
I'm very sorry if you have the flu, I know it's horrible,
328
756000
3000
Мені дуже шкода, якщо у вас грип, я знаю це жахливо,
12:54
but we're not going to spend billions of dollars
329
759000
2000
але ми не збираємося витрачати мільярди доларів,
12:56
trying to reduce the duration of your flu symptoms
330
761000
2000
щоб зменшити тривалість вашої хвороби
12:58
by half a day.
331
763000
2000
на пів дня.
13:00
We prescribe these drugs, we stockpile them for emergencies
332
765000
2000
Ми виписуємо ці ліки, ми запасаємо їх на випадок надзвичайних ситуацій,
13:02
on the understanding that they will reduce the number of complications,
333
767000
2000
вважаючи що вони зменшують кількість ускладнень,
13:04
which means pneumonia and which means death.
334
769000
3000
під ускладненнями мається на увазі пневмонія, а під пневмонією — смерть.
13:07
The infectious diseases Cochrane Group, which are based in Italy,
335
772000
3000
Cochrane Group, що спеціалізується по інфекційних захворюваннях і базується в Італії,
13:10
has been trying to get
336
775000
2000
намагалися отримати
13:12
the full data in a usable form out of the drug companies
337
777000
3000
повні дані від фармацевтичних компаній у формі, в якій можна робити аналіз результатів,
13:15
so that they can make a full decision
338
780000
3000
щоб можна було зробити правильне рішення
13:18
about whether this drug is effective or not,
339
783000
2000
про те, чи цей препарат є ефективним чи ні,
13:20
and they've not been able to get that information.
340
785000
3000
і вони не змогли отримати цю інформацію.
13:23
This is undoubtedly
341
788000
2000
Це, безсумнівно,
13:25
the single biggest ethical problem
342
790000
3000
єдина і найбільша етична проблема,
13:28
facing medicine today.
343
793000
2000
яку треба розв'язати медицині сучасності.
13:30
We cannot make decisions
344
795000
3000
Ми не можемо приймати рішення
13:33
in the absence of all of the information.
345
798000
4000
за відсутності всієї інформації.
13:37
So it's a little bit difficult from there
346
802000
3000
Тепер трохи важко закінчити на
13:40
to spin in some kind of positive conclusion.
347
805000
4000
оптимістичній ноті.
13:44
But I would say this:
348
809000
4000
Але я скажу так:
13:48
I think that sunlight
349
813000
3000
Я думаю, що сонячне світло
13:51
is the best disinfectant.
350
816000
2000
є найкращим дезінфікуючи засобом.
13:53
All of these things are happening in plain sight,
351
818000
3000
Всі ці речі відбуваються під носом у нас,
13:56
and they're all protected
352
821000
2000
і всі вони захищені
13:58
by a force field of tediousness.
353
823000
3000
силовим полем нудоти.
14:01
And I think, with all of the problems in science,
354
826000
2000
І я думаю, зважаючи на усі проблеми в науці,
14:03
one of the best things that we can do
355
828000
2000
одна з найкращих речей, які ми можемо зробити
14:05
is to lift up the lid,
356
830000
2000
це підняти кришку,
14:07
finger around in the mechanics and peer in.
357
832000
2000
оглянути шестерні і розібратися що до чого.
14:09
Thank you very much.
358
834000
2000
Дякую вам.
14:11
(Applause)
359
836000
3000
(Оплески)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com