TEDGlobal 2011
Ben Goldacre: Battling bad science
Ben Goldacre: Vechten tegen slechte wetenschap
Filmed:
Readability: 4.3
2,713,579 views
Elke dag zijn er nieuwsberichten over nieuwe gezondheidsadviezen, maar hoe kun je weten of ze kloppen? Arts en epidemioloog Ben Goldacre toont ons op hoge snelheid op welke manieren bewijsmateriaal wordt gemanipuleerd, van de verblindend voor de hand liggende voedingsclaims tot de zeer subtiele trucs van de farmaceutische industrie.
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:15
So I'm a doctor, but I kind of slipped sideways into research,
0
0
3000
Ik ben dokter maar maakte een zijsprongetje naar onderzoek.
00:18
and now I'm an epidemiologist.
1
3000
2000
Zo werd ik epidemioloog.
00:20
And nobody really knows what epidemiology is.
2
5000
2000
Niemand weet precies wat epidemiologie is.
00:22
Epidemiology is the science of how we know in the real world
3
7000
3000
Epidemiologie is de wetenschap over hoe we in de echte wereld
00:25
if something is good for you or bad for you.
4
10000
2000
kunnen uitmaken of iets goed of slecht voor je is.
00:27
And it's best understood through example
5
12000
2000
Je kan dat het best begrijpen door het voorbeeld
00:29
as the science of those crazy, wacky newspaper headlines.
6
14000
5000
van de wetenschap van die gekke, maffe krantenkoppen.
00:34
And these are just some of the examples.
7
19000
2000
Dit zijn er slechts enkele voorbeelden van.
00:36
These are from the Daily Mail. Every country in the world has a newspaper like this.
8
21000
3000
Uit de Daily Mail. Elk land ter wereld heeft zo'n krant.
00:39
It has this bizarre, ongoing philosophical project
9
24000
3000
Ze heeft een bizar, doorlopend filosofisch project
00:42
of dividing all the inanimate objects in the world
10
27000
2000
om alle levenloze voorwerpen in de wereld op te delen
00:44
into the ones that either cause or prevent cancer.
11
29000
3000
in ofwel kankerverwekkende ofwel kankervoorkomende.
00:47
So here are some of the things they said cause cancer recently:
12
32000
2000
Hier enkele van de dingen waarvan ze onlangs zeiden dat ze kanker veroorzaken:
00:49
divorce, Wi-Fi, toiletries and coffee.
13
34000
2000
echtscheiding, Wi-Fi, toiletartikelen en koffie.
00:51
Here are some of the things they say prevents cancer:
14
36000
2000
Hier enkele van de dingen waarvan ze zeggen dat ze kanker voorkomen:
00:53
crusts, red pepper, licorice and coffee.
15
38000
2000
korsten, rode peper, zoethout en koffie.
00:55
So already you can see there are contradictions.
16
40000
2000
Jullie kunnen al zien dat er wat tegenstrijdigheden zijn.
00:57
Coffee both causes and prevents cancer.
17
42000
2000
Koffie kan zowel kanker veroorzaken als voorkomen.
00:59
And as you start to read on, you can see
18
44000
2000
Als je doorleest, kan je zien
01:01
that maybe there's some kind of political valence behind some of this.
19
46000
3000
dat hier misschien een politieke bedoeling achter zit.
01:04
So for women, housework prevents breast cancer,
20
49000
2000
Bij vrouwen voorkomt huishoudelijk werk borstkanker,
01:06
but for men, shopping could make you impotent.
21
51000
3000
maar mannen kunnen impotent worden door te winkelen.
01:09
So we know that we need to start
22
54000
3000
We moeten beginnen
01:12
unpicking the science behind this.
23
57000
3000
met de wetenschap hierachter uit te pluizen.
01:15
And what I hope to show
24
60000
2000
Ik hoop aan te tonen
01:17
is that unpicking dodgy claims,
25
62000
2000
dat het ontrafelen van deze onbetrouwbare beweringen,
01:19
unpicking the evidence behind dodgy claims,
26
64000
2000
het zoeken naar bewijs achter deze onbetrouwbare beweringen,
01:21
isn't a kind of nasty carping activity;
27
66000
3000
niet overkomt als zoeken naar spijkers op laag water.
01:24
it's socially useful,
28
69000
2000
Het is maatschappelijk nuttig,
01:26
but it's also an extremely valuable
29
71000
2000
maar het is ook een uiterst waardevolle
01:28
explanatory tool.
30
73000
2000
verklarende methode.
01:30
Because real science is all about
31
75000
2000
Omdat echte wetenschap gaat over het kritisch beoordelen
01:32
critically appraising the evidence for somebody else's position.
32
77000
2000
van het bewijsmateriaal van iemands standpunt.
01:34
That's what happens in academic journals.
33
79000
2000
Dat gebeurt in wetenschappelijke tijdschriften.
01:36
That's what happens at academic conferences.
34
81000
2000
Dat gebeurt op wetenschappelijke congressen.
01:38
The Q&A session after a post-op presents data
35
83000
2000
De vraag-en-antwoordsessie na een postoperatieve datapresentatie,
01:40
is often a blood bath.
36
85000
2000
is vaak een bloedbad.
01:42
And nobody minds that. We actively welcome it.
37
87000
2000
Niemand neemt daar aanstoot aan. We verwelkomen het.
01:44
It's like a consenting intellectual S&M activity.
38
89000
3000
Het is als een intellectuele SM-activiteit met volle instemming.
01:47
So what I'm going to show you
39
92000
2000
Wat ik jullie ga laten zien,
01:49
is all of the main things,
40
94000
2000
zijn de belangrijkste dingen,
01:51
all of the main features of my discipline --
41
96000
2000
de belangrijkste kenmerken van mijn discipline -
01:53
evidence-based medicine.
42
98000
2000
geneeskunde op basis van bewijs.
01:55
And I will talk you through all of these
43
100000
2000
Ik zal dat bespreken
01:57
and demonstrate how they work,
44
102000
2000
en laten zien hoe het werkt
01:59
exclusively using examples of people getting stuff wrong.
45
104000
3000
uitsluitend aan de hand van voorbeelden van mensen die het mis hebben.
02:02
So we'll start with the absolute weakest form of evidence known to man,
46
107000
3000
We beginnen met de absoluut zwakste vorm van bewijs die de mensheid kent:
02:05
and that is authority.
47
110000
2000
autoriteit.
02:07
In science, we don't care how many letters you have after your name.
48
112000
3000
In de wetenschap kan het ons niet schelen hoeveel letters je achter je naam hebt staan.
02:10
In science, we want to know what your reasons are for believing something.
49
115000
3000
In de wetenschap willen we weten wat je redenen zijn om iets aan te nemen.
02:13
How do you know that something is good for us
50
118000
2000
Hoe weet je dat iets goed
02:15
or bad for us?
51
120000
2000
of slecht voor ons is?
02:17
But we're also unimpressed by authority,
52
122000
2000
Maar we zijn ook onder de indruk van autoriteit
02:19
because it's so easy to contrive.
53
124000
2000
omdat ze zo gemakkelijk te simuleren is.
02:21
This is somebody called Dr. Gillian McKeith Ph.D,
54
126000
2000
Deze hier heet Dr. Gillian McKeith Ph.D,
02:23
or, to give her full medical title, Gillian McKeith.
55
128000
3000
of, om haar volledige medische titel te noemen: 'Gillian McKeith'.
02:26
(Laughter)
56
131000
3000
(Gelach)
02:29
Again, every country has somebody like this.
57
134000
2000
Overal kom je zo iemand tegen.
02:31
She is our TV diet guru.
58
136000
2000
Zij is onze tv-dieetgoeroe.
02:33
She has massive five series of prime-time television,
59
138000
3000
Ze heeft vijf televisieprogramma's in primetime lopen
02:36
giving out very lavish and exotic health advice.
60
141000
3000
waarin ze uitgebreide en exotische gezondheidsadviezen verstrekt.
02:39
She, it turns out, has a non-accredited correspondence course Ph.D.
61
144000
3000
Zij blijkt echter ergens in Amerika
02:42
from somewhere in America.
62
147000
2000
een niet-erkende schriftelijke cursus Ph.D. behaald te hebben.
02:44
She also boasts that she's a certified professional member
63
149000
2000
Ze beroept er zich op dat ze een gecertificeerd professioneel lid
02:46
of the American Association of Nutritional Consultants,
64
151000
2000
van de 'American Association of Nutritional Consultants' is.
02:48
which sounds very glamorous and exciting.
65
153000
2000
Klinkt erg glamoureus en opwindend.
02:50
You get a certificate and everything.
66
155000
2000
Je krijgt een certificaat en nog wat.
02:52
This one belongs to my dead cat Hetti. She was a horrible cat.
67
157000
2000
Dit hier hoort toe aan mijn dode kat Hetti. Ze was een verschrikkelijke kat.
02:54
You just go to the website, fill out the form,
68
159000
2000
Ga gewoon naar de website, vul het formulier in,
02:56
give them $60, and it arrives in the post.
69
161000
2000
geef ze 60 dollar en je krijgt het per post.
02:58
Now that's not the only reason that we think this person is an idiot.
70
163000
2000
Nu is dat niet de enige reden waarom we denken dat deze persoon een idioot is.
03:00
She also goes and says things like,
71
165000
2000
Ze zegt ook dingen als:
03:02
you should eat lots of dark green leaves,
72
167000
2000
‘Je moet veel donkergroene bladeren eten,
03:04
because they contain lots of chlorophyll, and that will really oxygenate your blood.
73
169000
2000
omdat ze heel veel chlorofyl bevatten. Dat zal je bloed van zuurstof voorzien.’
03:06
And anybody who's done school biology remembers
74
171000
2000
Iedereen die op school wat biologie heeft gehad, herinnert zich
03:08
that chlorophyll and chloroplasts
75
173000
2000
dat chlorofyl en chloroplasten
03:10
only make oxygen in sunlight,
76
175000
2000
alleen zuurstof aanmaken in zonlicht.
03:12
and it's quite dark in your bowels after you've eaten spinach.
77
177000
3000
In je darmen is het heel donker nadat je spinazie hebt gegeten.
03:15
Next, we need proper science, proper evidence.
78
180000
3000
We moeten steunen op degelijke wetenschap, op degelijk bewijs.
03:18
So, "Red wine can help prevent breast cancer."
79
183000
2000
Nog zoiets. 'Rode wijn kan helpen bij het voorkomen van borstkanker.’
03:20
This is a headline from the Daily Telegraph in the U.K.
80
185000
2000
Dit is een kop van de Daily Telegraph in het Verenigd Koninkrijk
03:22
"A glass of red wine a day could help prevent breast cancer."
81
187000
3000
‘Een glas rode wijn per dag zou kunnen helpen bij het voorkomen van borstkanker.’
03:25
So you go and find this paper, and what you find
82
190000
2000
Je zoekt het artikel op en je vindt
03:27
is it is a real piece of science.
83
192000
2000
een echt stuk wetenschap.
03:29
It is a description of the changes in one enzyme
84
194000
3000
Het is een beschrijving van de veranderingen in één enzym
03:32
when you drip a chemical extracted from some red grape skin
85
197000
3000
wanneer je wat chemisch extract uit de schil van wat rode druiven
03:35
onto some cancer cells
86
200000
2000
op wat kankercellen
03:37
in a dish on a bench in a laboratory somewhere.
87
202000
3000
in een schaaltje ergens in een laboratorium laat druppelen.
03:40
And that's a really useful thing to describe
88
205000
2000
Dat is een echt nuttig ding om te beschrijven
03:42
in a scientific paper,
89
207000
2000
in een wetenschappelijk artikel.
03:44
but on the question of your own personal risk
90
209000
2000
Maar over de vraag van je eigen persoonlijke risico's
03:46
of getting breast cancer if you drink red wine,
91
211000
2000
voor het krijgen van borstkanker als je rode wijn drinkt,
03:48
it tells you absolutely bugger all.
92
213000
2000
vertelt het jullie absoluut geen sodemieter.
03:50
Actually, it turns out that your risk of breast cancer
93
215000
2000
Het blijkt dat het risico op borstkanker
03:52
actually increases slightly
94
217000
2000
in feite lichtjes verhoogt
03:54
with every amount of alcohol that you drink.
95
219000
2000
met elke hoeveelheid alcohol die je drinkt.
03:56
So what we want is studies in real human people.
96
221000
4000
Wat we willen zijn onderzoeken op echte mensen.
04:00
And here's another example.
97
225000
2000
Hier nog een voorbeeld.
04:02
This is from Britain's leading diet and nutritionist in the Daily Mirror,
98
227000
3000
Dit is van de toonaangevende voedingsdeskundige van Groot-Brittannië in de Daily Mirror,
04:05
which is our second biggest selling newspaper.
99
230000
2000
onze tweede meest verkochte krant.
04:07
"An Australian study in 2001
100
232000
2000
‘Een Australische studie in 2001
04:09
found that olive oil in combination with fruits, vegetables and pulses
101
234000
2000
vond dat olijfolie in combinatie met fruit, groenten en peulvruchten
04:11
offers measurable protection against skin wrinklings."
102
236000
2000
een meetbare bescherming biedt tegen rimpels.’
04:13
And then they give you advice:
103
238000
2000
Dan geven ze je advies:
04:15
"If you eat olive oil and vegetables, you'll have fewer skin wrinkles."
104
240000
2000
‘Als je olijfolie en groenten eet, krijg je minder rimpels.'
04:17
And they very helpfully tell you how to go and find the paper.
105
242000
2000
Ze zeggen je zelfs waar je het artikel kan vinden.
04:19
So you go and find the paper, and what you find is an observational study.
106
244000
3000
Je vindt een observationele studie.
04:22
Obviously nobody has been able
107
247000
2000
Uiteraard kan niemand
04:24
to go back to 1930,
108
249000
2000
teruggaan naar 1930
04:26
get all the people born in one maternity unit,
109
251000
3000
om in een kraamafdeling de mensen te verdelen
04:29
and half of them eat lots of fruit and veg and olive oil,
110
254000
2000
in een helft die veel groenten, fruit en olijfolie zouden gaan eten
04:31
and then half of them eat McDonald's,
111
256000
2000
en de andere helft McDonald's.
04:33
and then we see how many wrinkles you've got later.
112
258000
2000
Om dan later te zien hoeveel rimpels ze zouden krijgen.
04:35
You have to take a snapshot of how people are now.
113
260000
2000
Je hebt een momentopname nodig van hoe de mensen nu zijn.
04:37
And what you find is, of course,
114
262000
2000
En je vindt natuurlijk dat mensen
04:39
people who eat veg and olive oil have fewer skin wrinkles.
115
264000
3000
die groenten en olijfolie eten minder rimpels hebben.
04:42
But that's because people who eat fruit and veg and olive oil,
116
267000
3000
Maar dat komt omdat mensen die groenten, fruit en olijfolie eten
04:45
they're freaks, they're not normal, they're like you;
117
270000
3000
freaks zijn, niet normaal. Ze zijn zoals jullie en
04:48
they come to events like this.
118
273000
2000
komen naar evenementen als dit hier.
04:50
They are posh, they're wealthy, they're less likely to have outdoor jobs,
119
275000
3000
Ze zijn chique, rijk, het is minder waarschijnlijk dat ze een baan in open lucht hebben,
04:53
they're less likely to do manual labor,
120
278000
2000
het is minder waarschijnlijk dat ze handenarbeid doen,
04:55
they have better social support, they're less likely to smoke --
121
280000
2000
ze hebben betere sociale ondersteuning, zijn minder geneigd om te roken.
04:57
so for a whole host of fascinating, interlocking
122
282000
2000
Om een hele reeks van fascinerende, in elkaar grijpende
04:59
social, political and cultural reasons,
123
284000
2000
sociale, politieke en culturele redenen,
05:01
they are less likely to have skin wrinkles.
124
286000
2000
hebben ze minder kans om rimpels te hebben.
05:03
That doesn't mean that it's the vegetables or the olive oil.
125
288000
2000
Niet door de groenten en de olijfolie.
05:05
(Laughter)
126
290000
2000
(Gelach)
05:07
So ideally what you want to do is a trial.
127
292000
3000
In het ideale geval doe je een proef.
05:10
And everybody thinks they're very familiar with the idea of a trial.
128
295000
2000
Iedereen denkt zeer vertrouwd te zijn met het idee van een proef.
05:12
Trials are very old. The first trial was in the Bible -- Daniel 1:12.
129
297000
3000
Proeven zijn zeer oud. De eerste proef stond in de Bijbel - Daniel 1:12.
05:15
It's very straightforward -- you take a bunch of people, you split them in half,
130
300000
2000
Heel eenvoudig - je neemt een groep mensen, je deelt ze op in twee groepen en
05:17
you treat one group one way, you treat the other group the other way,
131
302000
2000
je behandelt de ene groep op de ene manier, de andere groep op de andere manier.
05:19
and a little while later, you follow them up
132
304000
2000
Een tijdje later volg je ze op
05:21
and see what happened to each of them.
133
306000
2000
en bekijkt wat er met elk van hen is gebeurd.
05:23
So I'm going to tell you about one trial,
134
308000
2000
Daarom ga ik jullie wat vertellen over een onderzoek
05:25
which is probably the most well-reported trial
135
310000
2000
dat waarschijnlijk het bekendste gerapporteerde onderzoek
05:27
in the U.K. news media over the past decade.
136
312000
2000
in de nieuwsmedia van het VK in het afgelopen decennium is.
05:29
And this is the trial of fish oil pills.
137
314000
2000
Het onderzoek naar visoliepillen.
05:31
And the claim was fish oil pills improve school performance and behavior
138
316000
2000
Ze beweerden dat visoliepillen schoolprestaties en
05:33
in mainstream children.
139
318000
2000
gedrag zouden verbeteren bij gewone kinderen.
05:35
And they said, "We've done a trial.
140
320000
2000
Zij zeiden: ’We hebben een onderzoek gedaan.
05:37
All the previous trials were positive, and we know this one's gonna be too."
141
322000
2000
Alle vorige onderzoeken waren positief en dit zal ook wel meevallen.’
05:39
That should always ring alarm bells.
142
324000
2000
Dat moet altijd een alarmbelletje doen rinkelen.
05:41
Because if you already know the answer to your trial, you shouldn't be doing one.
143
326000
3000
Want als je het antwoord op je proef al kent, hoef je ze eigenlijk niet te doen.
05:44
Either you've rigged it by design,
144
329000
2000
Ofwel heb je ze zo ontworpen dat het gaat kloppen,
05:46
or you've got enough data so there's no need to randomize people anymore.
145
331000
3000
ofwel heb je al genoeg data en is er dus geen noodzaak om mensen willekeurig te gaan opdelen.
05:49
So this is what they were going to do in their trial.
146
334000
3000
Zo gingen ze tewerk bij hun proef.
05:52
They were taking 3,000 children,
147
337000
2000
Ze namen 3.000 kinderen.
05:54
they were going to give them all these huge fish oil pills,
148
339000
2000
Die kregen allemaal van die enorme visoliepillen,
05:56
six of them a day,
149
341000
2000
zes per dag.
05:58
and then a year later, they were going to measure their school exam performance
150
343000
3000
Een jaar later maten ze hun examenprestaties
06:01
and compare their school exam performance
151
346000
2000
en vergeleken hun prestaties
06:03
against what they predicted their exam performance would have been
152
348000
2000
met wat zij voorspelden dat hun examenprestaties zouden zijn geweest
06:05
if they hadn't had the pills.
153
350000
3000
als ze de pillen niet hadden gekregen.
06:08
Now can anybody spot a flaw in this design?
154
353000
3000
Ziet hier iemand de fout in deze manier van werken?
06:11
And no professors of clinical trial methodology
155
356000
3000
Professoren in de methodologie van klinisch onderzoek
06:14
are allowed to answer this question.
156
359000
2000
mogen deze vraag niet beantwoorden.
06:16
So there's no control; there's no control group.
157
361000
2000
Er is geen controle, geen controlegroep.
06:18
But that sounds really techie.
158
363000
2000
Maar dat klinkt echt technisch.
06:20
That's a technical term.
159
365000
2000
Dat is een technische term.
06:22
The kids got the pills, and then their performance improved.
160
367000
2000
De kinderen kregen de pillen en hun prestaties verbeterden.
06:24
What else could it possibly be if it wasn't the pills?
161
369000
3000
Waardoor zou dat komen als het niet door de pillen kwam?
06:27
They got older. We all develop over time.
162
372000
3000
Zij werden ouder. We ontwikkelen ons allemaal in de loop van de tijd.
06:30
And of course, also there's the placebo effect.
163
375000
2000
Natuurlijk speelt daar ook het placebo-effect.
06:32
The placebo effect is one of the most fascinating things in the whole of medicine.
164
377000
2000
Het placebo-effect is een van de meest fascinerende dingen in de hele geneeskunde.
06:34
It's not just about taking a pill, and your performance and your pain getting better.
165
379000
3000
Het gaat niet alleen over het nemen van een pil en je prestaties en je pijn verbeteren.
06:37
It's about our beliefs and expectations.
166
382000
2000
Het gaat over onze opvattingen en verwachtingen.
06:39
It's about the cultural meaning of a treatment.
167
384000
2000
Het gaat over de culturele betekenis van een behandeling.
06:41
And this has been demonstrated in a whole raft of fascinating studies
168
386000
3000
Dit is aangetoond in een hele reeks boeiende studies
06:44
comparing one kind of placebo against another.
169
389000
3000
waarbij de ene soort placebo vergeleken wordt met een andere.
06:47
So we know, for example, that two sugar pills a day
170
392000
2000
We weten bijvoorbeeld dat twee suikerpillen per dag
06:49
are a more effective treatment for getting rid of gastric ulcers
171
394000
2000
een effectievere behandeling voor het wegwerken van maagzweren zijn
06:51
than one sugar pill.
172
396000
2000
dan één enkele suikerpil.
06:53
Two sugar pills a day beats one sugar pill a day.
173
398000
2000
Twee suikerpillen per dag werkt beter dan één suikerpil per dag.
06:55
And that's an outrageous and ridiculous finding, but it's true.
174
400000
3000
Dat is een straffe en belachelijke conclusie, maar ze is waar.
06:58
We know from three different studies on three different types of pain
175
403000
2000
We weten uit drie verschillende studies over drie verschillende soorten pijn
07:00
that a saltwater injection is a more effective treatment for pain
176
405000
3000
dat een zoutwaterinjectie een effectievere behandeling tegen de pijn is
07:03
than taking a sugar pill, taking a dummy pill that has no medicine in it --
177
408000
4000
dan het nemen van een suikerpil, een neppil zonder medicijn -
07:07
not because the injection or the pills do anything physically to the body,
178
412000
3000
niet omdat de injectie of de pillen iets fysieks doen met het lichaam,
07:10
but because an injection feels like a much more dramatic intervention.
179
415000
3000
maar omdat een injectie als een veel dramatischer ingreep aanvoelt.
07:13
So we know that our beliefs and expectations
180
418000
2000
We weten dat onze opvattingen en verwachtingen
07:15
can be manipulated,
181
420000
2000
kunnen worden gemanipuleerd.
07:17
which is why we do trials
182
422000
2000
Daarom doen we onderzoek.
07:19
where we control against a placebo --
183
424000
2000
We controleren tegenover een placebo.
07:21
where one half of the people get the real treatment
184
426000
2000
De ene helft van de mensen krijgt de echte behandeling
07:23
and the other half get placebo.
185
428000
2000
en de andere helft een placebo.
07:25
But that's not enough.
186
430000
3000
Maar dat is niet genoeg.
07:28
What I've just shown you are examples of the very simple and straightforward ways
187
433000
3000
Ik heb voorbeelden gegeven van de zeer eenvoudige en ongecompliceerde manieren
07:31
that journalists and food supplement pill peddlers
188
436000
2000
waarmee de journalisten, verkopers van voedingssupplementpillen
07:33
and naturopaths
189
438000
2000
en natuurgenezers
07:35
can distort evidence for their own purposes.
190
440000
3000
bewijs kunnen verdraaien voor hun eigen doeleinden.
07:38
What I find really fascinating
191
443000
2000
Wat ik echt fascinerend vind
07:40
is that the pharmaceutical industry
192
445000
2000
is dat de farmaceutische industrie
07:42
uses exactly the same kinds of tricks and devices,
193
447000
2000
precies dezelfde soort trucs en toestanden gebruikt,
07:44
but slightly more sophisticated versions of them,
194
449000
3000
maar dan subtieler.
07:47
in order to distort the evidence that they give to doctors and patients,
195
452000
3000
Ook zij verdraaien het bewijsmateriaal dat ze aan artsen en patiënten geven
07:50
and which we use to make vitally important decisions.
196
455000
3000
en wij gebruiken dat om belangrijke beslissingen te nemen.
07:53
So firstly, trials against placebo:
197
458000
2000
Ten eerste over vergelijkend onderzoek ten opzichte van placebo:
07:55
everybody thinks they know that a trial should be
198
460000
2000
iedereen denkt te weten dat een proef een vergelijking
07:57
a comparison of your new drug against placebo.
199
462000
2000
moet zijn tussen je nieuwe medicijn en een placebo.
07:59
But actually in a lot of situations that's wrong.
200
464000
2000
Maar eigenlijk is dat in veel situaties verkeerd.
08:01
Because often we already have a very good treatment that is currently available,
201
466000
3000
Vaak bestaat er al een zeer goede behandeling voor iets.
08:04
so we don't want to know that your alternative new treatment
202
469000
2000
In dat geval willen we niet weten
08:06
is better than nothing.
203
471000
2000
dat je nieuwe behandeling beter is dan niets.
08:08
We want to know that it's better than the best currently available treatment that we have.
204
473000
3000
We willen weten of ze beter is dan de beste momenteel beschikbare behandeling.
08:11
And yet, repeatedly, you consistently see people doing trials
205
476000
3000
Maar toch zie je keer op keer dat er nog steeds
08:14
still against placebo.
206
479000
2000
vergeleken wordt met een placebo.
08:16
And you can get license to bring your drug to market
207
481000
2000
Je mag je geneesmiddel op de markt brengen
08:18
with only data showing that it's better than nothing,
208
483000
2000
als blijkt dat het beter is dan niets.
08:20
which is useless for a doctor like me trying to make a decision.
209
485000
3000
Voor een dokter is dat waardeloze informatie als je een beslissing moet nemen.
08:23
But that's not the only way you can rig your data.
210
488000
2000
Maar dat is niet de enige manier waarop ze data manipuleren.
08:25
You can also rig your data
211
490000
2000
Je kunt je data ook manipuleren
08:27
by making the thing you compare your new drug against
212
492000
2000
door je nieuwe medicijn met
08:29
really rubbish.
213
494000
2000
echte rommel te vergelijken.
08:31
You can give the competing drug in too low a dose,
214
496000
2000
Je kan het concurrerende medicijn in een te lage dosis toedienen
08:33
so that people aren't properly treated.
215
498000
2000
zodat mensen niet goed worden behandeld.
08:35
You can give the competing drug in too high a dose,
216
500000
2000
Of je kan het concurrerende medicijn in een te hoge dosis geven
08:37
so that people get side effects.
217
502000
2000
zodat de mensen bijwerkingen krijgen.
08:39
And this is exactly what happened
218
504000
2000
Dat is precies wat er gebeurd is
08:41
which antipsychotic medication for schizophrenia.
219
506000
2000
met antipsychotische medicatie voor schizofrenie.
08:43
20 years ago, a new generation of antipsychotic drugs were brought in
220
508000
3000
20 jaar geleden kwam een nieuwe generatie van antipsychotica op de markt
08:46
and the promise was that they would have fewer side effects.
221
511000
3000
met de belofte dat ze minder bijwerkingen zouden hebben.
08:49
So people set about doing trials of these new drugs
222
514000
2000
Ze deden proeven om deze nieuwe geneesmiddelen
08:51
against the old drugs,
223
516000
2000
te vergelijken met de oude.
08:53
but they gave the old drugs in ridiculously high doses --
224
518000
2000
Ze gaven de oude geneesmiddelen in zo'n belachelijk hoge doses -
08:55
20 milligrams a day of haloperidol.
225
520000
2000
20 milligram Haloperidol per dag.
08:57
And it's a foregone conclusion,
226
522000
2000
Als je een geneesmiddel in zo'n hoge dosis toedient,
08:59
if you give a drug at that high a dose,
227
524000
2000
is het een uitgemaakte zaak
09:01
that it will have more side effects and that your new drug will look better.
228
526000
3000
dat het meer bijwerkingen zal hebben en dat je nieuwe geneesmiddel het beter zal doen.
09:04
10 years ago, history repeated itself, interestingly,
229
529000
2000
Interessant genoeg herhaalde de geschiedenis zich 10 jaar geleden.
09:06
when risperidone, which was the first of the new-generation antipscyhotic drugs,
230
531000
3000
Toen verviel het copyright van Risperidon, het eerste van de nieuwe generatie
09:09
came off copyright, so anybody could make copies.
231
534000
3000
antipsychotische geneesmiddelen, zodat iedereen het kon namaken.
09:12
Everybody wanted to show that their drug was better than risperidone,
232
537000
2000
Iedereen wilde laten zien dat hun medicijn beter was dan Risperidon.
09:14
so you see a bunch of trials comparing new antipsychotic drugs
233
539000
3000
Je kreeg een heleboel proeven waarbij nieuwe antipsychotica vergeleken
09:17
against risperidone at eight milligrams a day.
234
542000
2000
werden met acht milligram Risperidon per dag.
09:19
Again, not an insane dose, not an illegal dose,
235
544000
2000
Geen krankzinnig hoge dosis, geen illegale dosis,
09:21
but very much at the high end of normal.
236
546000
2000
maar heel erg aan de hoge kant van normaal.
09:23
And so you're bound to make your new drug look better.
237
548000
3000
Natuurlijk gaat je nieuwe geneesmiddel er dan beter uitzien.
09:26
And so it's no surprise that overall,
238
551000
3000
Het is dus niet te verwonderen dat in het algemeen
09:29
industry-funded trials
239
554000
2000
door de industrie gefinancierde studies
09:31
are four times more likely to give a positive result
240
556000
2000
vier keer meer kans op een positief resultaat opleveren
09:33
than independently sponsored trials.
241
558000
3000
dan onafhankelijk gesponsorde onderzoeken.
09:36
But -- and it's a big but --
242
561000
3000
Maar - en het is een grote maar -
09:39
(Laughter)
243
564000
2000
(Gelach)
09:41
it turns out,
244
566000
2000
Als je kijkt naar de methoden
09:43
when you look at the methods used by industry-funded trials,
245
568000
3000
die worden gebruikt bij de door de industrie gefinancierde studies,
09:46
that they're actually better
246
571000
2000
dan blijkt dat ze eigenlijk beter zijn
09:48
than independently sponsored trials.
247
573000
2000
dan de onafhankelijk gesponsorde onderzoeken.
09:50
And yet, they always manage to to get the result that they want.
248
575000
3000
Toch spelen ze het altijd klaar om het resultaat dat ze willen hebben te krijgen.
09:53
So how does this work?
249
578000
2000
Hoe?
09:55
How can we explain this strange phenomenon?
250
580000
3000
Hoe kunnen we dit vreemde fenomeen verklaren?
09:58
Well it turns out that what happens
251
583000
2000
Het blijkt dat
10:00
is the negative data goes missing in action;
252
585000
2000
de negatieve data worden verduistermaand.
10:02
it's withheld from doctors and patients.
253
587000
2000
Ze geraken nooit tot bij de artsen en patiënten.
10:04
And this is the most important aspect of the whole story.
254
589000
2000
Dat is het belangrijkste aspect aan het hele verhaal.
10:06
It's at the top of the pyramid of evidence.
255
591000
2000
Het zit aan de top van de piramide van bewijsmateriaal.
10:08
We need to have all of the data on a particular treatment
256
593000
3000
We moeten alle gegevens voor een bepaalde behandeling hebben
10:11
to know whether or not it really is effective.
257
596000
2000
om te weten of ze al dan niet echt effectief is.
10:13
And there are two different ways that you can spot
258
598000
2000
Er zijn twee verschillende manieren waarmee je kan nagaan
10:15
whether some data has gone missing in action.
259
600000
2000
of sommige gegevens werden achtergehouden.
10:17
You can use statistics, or you can use stories.
260
602000
3000
Je kunt gebruik maken van statistieken of van verhalen.
10:20
I personally prefer statistics, so that's what I'm going to do first.
261
605000
2000
Ik persoonlijk verkies statistieken, daar begin ik dus mee.
10:22
This is something called funnel plot.
262
607000
2000
Dit hier heet een trechtergrafiek.
10:24
And a funnel plot is a very clever way of spotting
263
609000
2000
Een trechtergrafiek is een heel slimme manier om na te gaan
10:26
if small negative trials have disappeared, have gone missing in action.
264
611000
3000
of kleine negatieve proeven verdwenen zijn, ‘vermist in actie’.
10:29
So this is a graph of all of the trials
265
614000
2000
Dit is een grafiek van alle proeven
10:31
that have been done on a particular treatment.
266
616000
2000
die zijn gedaan voor een bepaalde behandeling.
10:33
And as you go up towards the top of the graph,
267
618000
2000
Als je omhoog gaat naar de top van de grafiek
10:35
what you see is each dot is a trial.
268
620000
2000
stelt elk punt een proef voor.
10:37
And as you go up, those are the bigger trials, so they've got less error in them.
269
622000
3000
Hoe hoger je gaat, hoe omvangrijker de proeven zijn. Die hebben minder fouten.
10:40
So they're less likely to be randomly false positives, randomly false negatives.
270
625000
3000
Ze zullen minder gemakkelijk willekeurig fout-positieven of willekeurig fout-negatieven zijn.
10:43
So they all cluster together.
271
628000
2000
Zodat ze allemaal samenkoeken.
10:45
The big trials are closer to the true answer.
272
630000
2000
De grote proeven zitten dichter bij het ware antwoord.
10:47
Then as you go further down at the bottom,
273
632000
2000
Als je verder naar beneden gaat,
10:49
what you can see is, over on this side, the spurious false negatives,
274
634000
3000
vind je aan deze kant de onechte fout-negatieven
10:52
and over on this side, the spurious false positives.
275
637000
2000
en dan aan deze kant de onechte fout-positieven.
10:54
If there is publication bias,
276
639000
2000
Als een publicatie een vertekend beeld geeft,
10:56
if small negative trials have gone missing in action,
277
641000
3000
als kleine negatieve proeven zijn weggelaten,
10:59
you can see it on one of these graphs.
278
644000
2000
kan je dat zien op dit soort grafieken.
11:01
So you can see here that the small negative trials
279
646000
2000
Hier kan je zien dat de kleine negatieve proeven
11:03
that should be on the bottom left have disappeared.
280
648000
2000
die aan de onderzijde links zouden moeten staan, verdwenen zijn.
11:05
This is a graph demonstrating the presence of publication bias
281
650000
3000
Dit is een grafiek die aantoont dat de publicatie een vertekend beeld geeft
11:08
in studies of publication bias.
282
653000
2000
in studies over publicaties die een vertekend beeld geven.
11:10
And I think that's the funniest epidemiology joke
283
655000
2000
Ik denk dat dat de grappigste epidemiologische grap is
11:12
that you will ever hear.
284
657000
2000
die jullie ooit zullen horen.
11:14
That's how you can prove it statistically,
285
659000
2000
Zo kan je het statistisch bewijzen,
11:16
but what about stories?
286
661000
2000
maar hoe zit het met de verhalen?
11:18
Well they're heinous, they really are.
287
663000
2000
Die zijn echt afschuwelijk, echt waar.
11:20
This is a drug called reboxetine.
288
665000
2000
Dit is het geneesmiddel Reboxetine.
11:22
This is a drug that I myself have prescribed to patients.
289
667000
2000
Ik heb het zelf voorgeschreven aan patiënten.
11:24
And I'm a very nerdy doctor.
290
669000
2000
En ik ben dan nog een heel pietepeuterige arts.
11:26
I hope I try to go out of my way to try and read and understand all the literature.
291
671000
3000
Ik probeer zoveel mogelijk te begrijpen en alle literatuur te lezen.
11:29
I read the trials on this. They were all positive. They were all well-conducted.
292
674000
3000
Ik heb de proeven hierover nageplozen. Ze waren allemaal positief. Ze waren allemaal goed uitgevoerd.
11:32
I found no flaw.
293
677000
2000
Ik vond geen fout.
11:34
Unfortunately, it turned out,
294
679000
2000
Helaas bleek het
11:36
that many of these trials were withheld.
295
681000
2000
dat veel van deze proeven werden ingehouden.
11:38
In fact, 76 percent
296
683000
2000
In feite kwam 76 procent
11:40
of all of the trials that were done on this drug
297
685000
2000
van alle proeven die op dit medicijn werden gedaan
11:42
were withheld from doctors and patients.
298
687000
2000
nooit bij artsen en patiënten terecht.
11:44
Now if you think about it,
299
689000
2000
Het zou hetzelfde zijn
11:46
if I tossed a coin a hundred times,
300
691000
2000
alsof ik een munt honderd keer zou opgooien
11:48
and I'm allowed to withhold from you
301
693000
2000
en je de helft van de tijd
11:50
the answers half the times,
302
695000
2000
de uitkomst niet zou hoeven te vertellen.
11:52
then I can convince you
303
697000
2000
Zo zou ik je dan kunnen overtuigen
11:54
that I have a coin with two heads.
304
699000
2000
dat ik een munt heb met aan beide zijden 'kop'.
11:56
If we remove half of the data,
305
701000
2000
Als wij de helft van de gegevens weglaten,
11:58
we can never know what the true effect size of these medicines is.
306
703000
3000
kunnen we nooit weten wat de ware omvang van het effect van deze medicijnen is.
12:01
And this is not an isolated story.
307
706000
2000
Dit is geen alleenstaand verhaal.
12:03
Around half of all of the trial data on antidepressants has been withheld,
308
708000
4000
Ongeveer de helft van alle onderzoeksgegevens over antidepressiva werd ingehouden,
12:07
but it goes way beyond that.
309
712000
2000
maar het gaat veel verder dan dat.
12:09
The Nordic Cochrane Group were trying to get a hold of the data on that
310
714000
2000
De Nordic Cochrane Group probeerde die gegevens vast te krijgen
12:11
to bring it all together.
311
716000
2000
om ze allemaal samen te brengen.
12:13
The Cochrane Groups are an international nonprofit collaboration
312
718000
3000
De Cochrane Groups zijn een internationale non-profit samenwerking
12:16
that produce systematic reviews of all of the data that has ever been shown.
313
721000
3000
om van alle gegevens die ooit zijn aangetoond systematische reviews te produceren.
12:19
And they need to have access to all of the trial data.
314
724000
3000
Ze moeten toegang hebben tot alle gegevens van een proef.
12:22
But the companies withheld that data from them,
315
727000
3000
Maar de bedrijven gaven hen die gegevens niet,
12:25
and so did the European Medicines Agency
316
730000
2000
evenmin als het Europees Geneesmiddelenbureau,
12:27
for three years.
317
732000
2000
drie jaar lang.
12:29
This is a problem that is currently lacking a solution.
318
734000
3000
Dit is een probleem waarvoor er op dit moment geen oplossing is.
12:32
And to show how big it goes, this is a drug called Tamiflu,
319
737000
3000
Om te laten zien hoever dit gaat: dit is het geneesmiddel Tamiflu.
12:35
which governments around the world
320
740000
2000
Overheden overal ter wereld
12:37
have spent billions and billions of dollars on.
321
742000
2000
hebben regeringen er miljarden en miljarden dollars aan besteed.
12:39
And they spend that money on the promise
322
744000
2000
Zij besteedden dat geld door de belofte
12:41
that this is a drug which will reduce the rate
323
746000
2000
dat dit een geneesmiddel zou zijn dat het aantal
12:43
of complications with flu.
324
748000
2000
complicaties van griep zou doen verminderen.
12:45
We already have the data
325
750000
2000
We hebben de gegevens al
12:47
showing that it reduces the duration of your flu by a few hours.
326
752000
2000
waaruit blijkt dat het de duur van je griep een paar uur vermindert.
12:49
But I don't really care about that. Governments don't care about that.
327
754000
2000
Maar daar zit ik niet echt mee in. Ook de regeringen niet.
12:51
I'm very sorry if you have the flu, I know it's horrible,
328
756000
3000
Het spijt me erg als je de griep hebt, ik weet dat het verschrikkelijk is,
12:54
but we're not going to spend billions of dollars
329
759000
2000
maar we gaan geen miljarden dollars spenderen
12:56
trying to reduce the duration of your flu symptoms
330
761000
2000
om de duur van jouw griepsymptomen
12:58
by half a day.
331
763000
2000
met een halve dag te verminderen.
13:00
We prescribe these drugs, we stockpile them for emergencies
332
765000
2000
We schrijven deze medicijnen voor, we leggen voorraden aan voor noodgevallen
13:02
on the understanding that they will reduce the number of complications,
333
767000
2000
met dien verstande dat ze het aantal complicaties
13:04
which means pneumonia and which means death.
334
769000
3000
zoals longontsteking en dood, zullen verminderen.
13:07
The infectious diseases Cochrane Group, which are based in Italy,
335
772000
3000
De Cochrane Group voor infectieziekten die in Italië zit,
13:10
has been trying to get
336
775000
2000
heeft de volledige gegevens in een bruikbare vorm
13:12
the full data in a usable form out of the drug companies
337
777000
3000
van de farmaceutische bedrijven proberen te krijgen.
13:15
so that they can make a full decision
338
780000
3000
Daaruit hadden ze kunnen besluiten
13:18
about whether this drug is effective or not,
339
783000
2000
of dit geneesmiddel al dan niet effectief is.
13:20
and they've not been able to get that information.
340
785000
3000
Ze konden die informatie niet krijgen.
13:23
This is undoubtedly
341
788000
2000
Dit is ongetwijfeld
13:25
the single biggest ethical problem
342
790000
3000
het grootste ethische probleem
13:28
facing medicine today.
343
793000
2000
waarmee de geneeskunde vandaag geconfronteerd wordt.
13:30
We cannot make decisions
344
795000
3000
We kunnen geen beslissingen nemen
13:33
in the absence of all of the information.
345
798000
4000
bij afwezigheid van alle informatie.
13:37
So it's a little bit difficult from there
346
802000
3000
Het is dus nogal moeilijk om hier
13:40
to spin in some kind of positive conclusion.
347
805000
4000
een positieve conclusie aan vast te knopen.
13:44
But I would say this:
348
809000
4000
Maar ik zou zeggen:
13:48
I think that sunlight
349
813000
3000
ik denk dat zonlicht
13:51
is the best disinfectant.
350
816000
2000
het beste ontsmettingsmiddel is.
13:53
All of these things are happening in plain sight,
351
818000
3000
Al deze dingen gebeuren onder onze neus
13:56
and they're all protected
352
821000
2000
en zijn allemaal beschermd
13:58
by a force field of tediousness.
353
823000
3000
door een krachtveld van ‘doe-maar-op’.
14:01
And I think, with all of the problems in science,
354
826000
2000
Met alle problemen in de wetenschap
14:03
one of the best things that we can do
355
828000
2000
is een van de beste dingen die we kunnen doen:
14:05
is to lift up the lid,
356
830000
2000
de motorkap optillen,
14:07
finger around in the mechanics and peer in.
357
832000
2000
wat peuteren in de mechaniek en kijken hoe het ermee gesteld is.
14:09
Thank you very much.
358
834000
2000
Heel hartelijk bedankt.
14:11
(Applause)
359
836000
3000
(Applaus)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com