TEDGlobal 2011
Ben Goldacre: Battling bad science
Ben Goldacre : Combattre la mauvaise science.
Filmed:
Readability: 4.3
2,713,579 views
Tous les jours sont rapportés aux informations de nouveaux conseils de santé, mais comment pouvez-vous savoir s'ils sont corrects ? L'épidémiologiste et médecin Ben Goldacre nous démontre, à grande vitesse, comment les preuves peuvent être biaisées, depuis les très évidentes affirmations concernant la nutrition jusqu'aux très subtiles combines de l'industrie pharmaceutique.
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:15
So I'm a doctor, but I kind of slipped sideways into research,
0
0
3000
Je suis médecin, mais j'ai en quelques sorte pris une tangente vers la recherche,
00:18
and now I'm an epidemiologist.
1
3000
2000
et maintenant je suis épidémiologiste.
00:20
And nobody really knows what epidemiology is.
2
5000
2000
Personne ne sait vraiment ce qu'est l'épidémiologie.
00:22
Epidemiology is the science of how we know in the real world
3
7000
3000
L'épidémiologie est la science qui étudie comment savoir dans le monde réel
00:25
if something is good for you or bad for you.
4
10000
2000
si quelque chose est bon ou mauvais pour vous.
00:27
And it's best understood through example
5
12000
2000
C'est plus facile à comprendre avec un exemple
00:29
as the science of those crazy, wacky newspaper headlines.
6
14000
5000
comme celui de ces foldingues unes de journaux.
00:34
And these are just some of the examples.
7
19000
2000
Voici juste certains des exemples.
00:36
These are from the Daily Mail. Every country in the world has a newspaper like this.
8
21000
3000
Ils viennent du "Daily Mail" [quotidien britannique]. Chaque pays du monde a un journal comme ça.
00:39
It has this bizarre, ongoing philosophical project
9
24000
3000
Il a ce bizarre, continu, projet philosophique
00:42
of dividing all the inanimate objects in the world
10
27000
2000
de diviser tous les objets inanimés du monde
00:44
into the ones that either cause or prevent cancer.
11
29000
3000
entre ceux qui causent et ceux qui préviennent le cancer.
00:47
So here are some of the things they said cause cancer recently:
12
32000
2000
Donc voici quelques-unes des choses qu'ils ont récemment déclarées comme causant le cancer :
00:49
divorce, Wi-Fi, toiletries and coffee.
13
34000
2000
le divorce, le Wifi, les produits de toilettes et le café.
00:51
Here are some of the things they say prevents cancer:
14
36000
2000
Voici quelques-unes des choses qui d'après eux préviennent le cancer :
00:53
crusts, red pepper, licorice and coffee.
15
38000
2000
les croûtes, le poivron rouge, la réglisse et le café.
00:55
So already you can see there are contradictions.
16
40000
2000
Donc vous pouvez déjà voir qu'il y a des contradictions.
00:57
Coffee both causes and prevents cancer.
17
42000
2000
Le café à la fois provoque et prévient le cancer.
00:59
And as you start to read on, you can see
18
44000
2000
Et si vous continuez à lire, vous pouvez voir
01:01
that maybe there's some kind of political valence behind some of this.
19
46000
3000
qu'il y a peut-être une sorte de force politique derrière une part de ceci.
01:04
So for women, housework prevents breast cancer,
20
49000
2000
Pour les femmes, le ménage prévient le cancer,
01:06
but for men, shopping could make you impotent.
21
51000
3000
mais pour les hommes, le shopping pourrait vous rendre impuissant.
01:09
So we know that we need to start
22
54000
3000
Nous savons donc que nous devons commencer
01:12
unpicking the science behind this.
23
57000
3000
à démonter la science derrière ceci.
01:15
And what I hope to show
24
60000
2000
Et j'espère montrer
01:17
is that unpicking dodgy claims,
25
62000
2000
que démonter les affirmations douteuses,
01:19
unpicking the evidence behind dodgy claims,
26
64000
2000
démonter les preuves derrière les affirmations douteuses,
01:21
isn't a kind of nasty carping activity;
27
66000
3000
n'est pas une méchante activité de chamaillerie.
01:24
it's socially useful,
28
69000
2000
C'est socialement utile,
01:26
but it's also an extremely valuable
29
71000
2000
mais c'est aussi un outil d'explication
01:28
explanatory tool.
30
73000
2000
extrêmement précieux.
01:30
Because real science is all about
31
75000
2000
Parce que la vraie science consiste
01:32
critically appraising the evidence for somebody else's position.
32
77000
2000
en une évaluation critique des preuves en faveur de l'opinion d'un autre.
01:34
That's what happens in academic journals.
33
79000
2000
C'est ce qui se passe dans les publications universitaires.
01:36
That's what happens at academic conferences.
34
81000
2000
C'est ce qui se passe dans les conférences scientifiques.
01:38
The Q&A session after a post-op presents data
35
83000
2000
La session de questions et réponses après la présentation de données
01:40
is often a blood bath.
36
85000
2000
est souvent un bain de sang.
01:42
And nobody minds that. We actively welcome it.
37
87000
2000
Et ça ne dérange personne. Nous nous réjouissons de cela activement.
01:44
It's like a consenting intellectual S&M activity.
38
89000
3000
C'est comme une activité intellectuelle sadomasochiste avec consentement.
01:47
So what I'm going to show you
39
92000
2000
Donc ce que je vais vous montrer
01:49
is all of the main things,
40
94000
2000
sont toutes les choses importantes,
01:51
all of the main features of my discipline --
41
96000
2000
toutes les caractéristiques principales de ma discipline —
01:53
evidence-based medicine.
42
98000
2000
la médecine factuelle.
01:55
And I will talk you through all of these
43
100000
2000
Et je vais vous guider à travers tout cela
01:57
and demonstrate how they work,
44
102000
2000
et vous démontrer comment cela fonctionne,
01:59
exclusively using examples of people getting stuff wrong.
45
104000
3000
uniquement avec des exemples de gens comprenant mal les choses.
02:02
So we'll start with the absolute weakest form of evidence known to man,
46
107000
3000
On va commencer avec la forme de preuves la plus faible connue de l'homme,
02:05
and that is authority.
47
110000
2000
et il s'agit de l'autorité.
02:07
In science, we don't care how many letters you have after your name.
48
112000
3000
En science, peu importe combien de titres se trouvent après votre nom.
02:10
In science, we want to know what your reasons are for believing something.
49
115000
3000
En science, nous voulons savoir pour quelles raisons vous croyez en quelque chose.
02:13
How do you know that something is good for us
50
118000
2000
Comment savez-vous que quelque chose est bon
02:15
or bad for us?
51
120000
2000
ou mauvais pour nous ?
02:17
But we're also unimpressed by authority,
52
122000
2000
Mais nous sommes également peu impressionnés par l'autorité
02:19
because it's so easy to contrive.
53
124000
2000
parce que c'est facile à inventer.
02:21
This is somebody called Dr. Gillian McKeith Ph.D,
54
126000
2000
Voici quelqu'un nommé Dr. Gillian McKeith, docteur en philosophie,
02:23
or, to give her full medical title, Gillian McKeith.
55
128000
3000
ou pour donner son titre médical complet, Gillian McKeith.
02:26
(Laughter)
56
131000
3000
(Rires)
02:29
Again, every country has somebody like this.
57
134000
2000
Encore une fois, il y a quelqu'un comme ça dans tous les pays.
02:31
She is our TV diet guru.
58
136000
2000
C'est notre guru diététique de télévision.
02:33
She has massive five series of prime-time television,
59
138000
3000
Elle a cinq énormes séries dé télévision à heure de grande écoute,
02:36
giving out very lavish and exotic health advice.
60
141000
3000
distribuant de très somptueux et exotiques conseils de santé.
02:39
She, it turns out, has a non-accredited correspondence course Ph.D.
61
144000
3000
Elle a, en réalité, un doctorat reçu après une formation non-accréditée, par correspondance,
02:42
from somewhere in America.
62
147000
2000
de quelque part en Amérique.
02:44
She also boasts that she's a certified professional member
63
149000
2000
Elle se vante aussi d'être un membre professionnel certifié
02:46
of the American Association of Nutritional Consultants,
64
151000
2000
de l'Association Américaine des Nutritionnistes Consultants,
02:48
which sounds very glamorous and exciting.
65
153000
2000
ce qui sonne très glamour et excitant.
02:50
You get a certificate and everything.
66
155000
2000
Vous avez un certificat et tout.
02:52
This one belongs to my dead cat Hetti. She was a horrible cat.
67
157000
2000
Celui-ci appartient à ma défunte chatte Hetti. C'était une horrible chatte.
02:54
You just go to the website, fill out the form,
68
159000
2000
Vous avez juste sur le site internet, remplissez le formulaire,
02:56
give them $60, and it arrives in the post.
69
161000
2000
leur donnez 60 dollars, et ça arrive par courrier.
02:58
Now that's not the only reason that we think this person is an idiot.
70
163000
2000
Maintenant, ce n'est pas la seule raison que nous avons de penser que cette personne est une idiote.
03:00
She also goes and says things like,
71
165000
2000
Elle va aussi en disant des choses comme
03:02
you should eat lots of dark green leaves,
72
167000
2000
"Vous devriez manger beaucoup de feuilles vertes foncées,
03:04
because they contain lots of chlorophyll, and that will really oxygenate your blood.
73
169000
2000
parce qu'elles contiennent beaucoup de chlorophylle, et cela oxygènera vraiment votre sang".
03:06
And anybody who's done school biology remembers
74
171000
2000
Et qui que ce soit ayant pris des cours de biologie à l'école se rappelle
03:08
that chlorophyll and chloroplasts
75
173000
2000
que la chlorophylle et les chloroplastes
03:10
only make oxygen in sunlight,
76
175000
2000
ne produisent de l'oxygène que dans la lumière du soleil,
03:12
and it's quite dark in your bowels after you've eaten spinach.
77
177000
3000
et il fait plutôt sombre dans vos intestins après que vous ayez mangé des épinards.
03:15
Next, we need proper science, proper evidence.
78
180000
3000
Ensuite, nous avons besoin de vraie science, de vraies preuves.
03:18
So, "Red wine can help prevent breast cancer."
79
183000
2000
Donc, "Le vin rouge peut aider à prévenir le cancer du sein".
03:20
This is a headline from the Daily Telegraph in the U.K.
80
185000
2000
C'est un titre du "Daily Telegraph" au Royaume-Uni.
03:22
"A glass of red wine a day could help prevent breast cancer."
81
187000
3000
"Un verre de vin par jour pourrait aider à prévenir le cancer du sein".
03:25
So you go and find this paper, and what you find
82
190000
2000
Donc vous cherchez et trouvez l'article scientifique, et ce que vous trouvez
03:27
is it is a real piece of science.
83
192000
2000
est un vrai travail scientifique.
03:29
It is a description of the changes in one enzyme
84
194000
3000
C'est une description des changements survenant dans une enzyme
03:32
when you drip a chemical extracted from some red grape skin
85
197000
3000
quand vous mettez une goutte d'un extrait chimique de peau de raisin rouge
03:35
onto some cancer cells
86
200000
2000
sur des cellules cancéreuses
03:37
in a dish on a bench in a laboratory somewhere.
87
202000
3000
dans une boîte de Petri sur une paillasse de laboratoire quelque part.
03:40
And that's a really useful thing to describe
88
205000
2000
Et c'est quelque chose de vraiment très utile à décrire
03:42
in a scientific paper,
89
207000
2000
dans un article scientifique,
03:44
but on the question of your own personal risk
90
209000
2000
mais sur la question du risque que vous courrez
03:46
of getting breast cancer if you drink red wine,
91
211000
2000
d'avoir le cancer du sein si vous buvez du vin rouge,
03:48
it tells you absolutely bugger all.
92
213000
2000
cela ne vous dit foutrement absolument rien.
03:50
Actually, it turns out that your risk of breast cancer
93
215000
2000
En fait, il s'avère que votre risque de cancer du sein
03:52
actually increases slightly
94
217000
2000
augmente légèrement en réalité
03:54
with every amount of alcohol that you drink.
95
219000
2000
avec chaque quantité d'alcool que vous absorbez.
03:56
So what we want is studies in real human people.
96
221000
4000
Donc ce que nous voulons, ce sont des études faites avec de vrais humains.
04:00
And here's another example.
97
225000
2000
Voici un autre exemple.
04:02
This is from Britain's leading diet and nutritionist in the Daily Mirror,
98
227000
3000
Ça vient de la principale diététicienne et nutritionniste britannique, dans le "Daily Mirror",
04:05
which is our second biggest selling newspaper.
99
230000
2000
notre second journal en termes de ventes.
04:07
"An Australian study in 2001
100
232000
2000
"Une étude australienne de 2001
04:09
found that olive oil in combination with fruits, vegetables and pulses
101
234000
2000
a observé que l'huile d'olive, en combinaison avec des fruits, des légumes et des légumes secs
04:11
offers measurable protection against skin wrinklings."
102
236000
2000
offre une protection commensurable contre les rides".
04:13
And then they give you advice:
103
238000
2000
Et alors il vous conseille :
04:15
"If you eat olive oil and vegetables, you'll have fewer skin wrinkles."
104
240000
2000
"Si vous mangez de l'huile d'olive et des légumes, vous aurez moins de rides'".
04:17
And they very helpfully tell you how to go and find the paper.
105
242000
2000
Et ils vous indiquent gentiment comment trouver l'article scientifique.
04:19
So you go and find the paper, and what you find is an observational study.
106
244000
3000
Donc vous allez le chercher, et ce que vous trouvez est une étude observationnelle.
04:22
Obviously nobody has been able
107
247000
2000
Évidemment personne n'a été capable
04:24
to go back to 1930,
108
249000
2000
de retourner dans les années 30,
04:26
get all the people born in one maternity unit,
109
251000
3000
de prendre toutes les personnes nées dans une maternité,
04:29
and half of them eat lots of fruit and veg and olive oil,
110
254000
2000
et de nourrir la moitié d'entre eux avec plein de fruits, de légumes et d'huile d'olive,
04:31
and then half of them eat McDonald's,
111
256000
2000
et l'autre moitié avec du McDonald's,
04:33
and then we see how many wrinkles you've got later.
112
258000
2000
et de voir alors combien de rides vous développez plus tard.
04:35
You have to take a snapshot of how people are now.
113
260000
2000
Vous devez prendre un instantané de comment les gens sont maintenant.
04:37
And what you find is, of course,
114
262000
2000
Et ce que vous trouvez, bien sûr,
04:39
people who eat veg and olive oil have fewer skin wrinkles.
115
264000
3000
c'est que les gens qui mangent des légumes et de l'huile d'olive ont moins de rides.
04:42
But that's because people who eat fruit and veg and olive oil,
116
267000
3000
Mais c'est parce que les gens qui mangent des fruits, des légumes et de l'huile d'olive,
04:45
they're freaks, they're not normal, they're like you;
117
270000
3000
ils sont farfelus, ils ne sont pas normaux, ils ne sont pas comme vous;
04:48
they come to events like this.
118
273000
2000
ils viennent à des évènements comme celui-ci.
04:50
They are posh, they're wealthy, they're less likely to have outdoor jobs,
119
275000
3000
Ils sont huppés, riches, moins susceptibles de travailler à l'extérieur,
04:53
they're less likely to do manual labor,
120
278000
2000
ils sont moins susceptibles d'avoir un travail manuel,
04:55
they have better social support, they're less likely to smoke --
121
280000
2000
ils ont un meilleur soutien social, ils sont moins susceptibles de fumer.
04:57
so for a whole host of fascinating, interlocking
122
282000
2000
Donc pour tout un tas de fascinantes, entremêlées,
04:59
social, political and cultural reasons,
123
284000
2000
raisons sociales, politiques et culturelles,
05:01
they are less likely to have skin wrinkles.
124
286000
2000
ils sont moins susceptibles d'avoir des rides.
05:03
That doesn't mean that it's the vegetables or the olive oil.
125
288000
2000
Ça ne veut pas dire que c'est à cause des légumes ou de l'huile d'olive.
05:05
(Laughter)
126
290000
2000
(Rires)
05:07
So ideally what you want to do is a trial.
127
292000
3000
Donc idéalement ce que vous voulez faire, c'est un test.
05:10
And everybody thinks they're very familiar with the idea of a trial.
128
295000
2000
Et tout le monde pense être familier avec l'idée de test.
05:12
Trials are very old. The first trial was in the Bible -- Daniel 1:12.
129
297000
3000
Les essais sont très anciens. Le premier était dans la Bible, Daniel 1:12.
05:15
It's very straightforward -- you take a bunch of people, you split them in half,
130
300000
2000
C'est très simple : vous prenez un groupe de gens, vous les partagez en deux,
05:17
you treat one group one way, you treat the other group the other way,
131
302000
2000
vous traitez un groupe d'une façon, vous traitez l'autre groupe de l'autre façon,
05:19
and a little while later, you follow them up
132
304000
2000
et un peu plus tard, vous les revoyez
05:21
and see what happened to each of them.
133
306000
2000
et observez ce qui est arrivé à chacun d'entre eux.
05:23
So I'm going to tell you about one trial,
134
308000
2000
Je vais vous raconter un test,
05:25
which is probably the most well-reported trial
135
310000
2000
probablement le test le mieux rapporté
05:27
in the U.K. news media over the past decade.
136
312000
2000
dans les médias britanniques durant la dernière décennie.
05:29
And this is the trial of fish oil pills.
137
314000
2000
C'est le test des pilules à base d'huile de poisson.
05:31
And the claim was fish oil pills improve school performance and behavior
138
316000
2000
Il était affirmé que les pilules d'huile de poisson améliorent la performance scolaire et le comportement
05:33
in mainstream children.
139
318000
2000
pour la majorité des enfants.
05:35
And they said, "We've done a trial.
140
320000
2000
Et ils ont dit : "Nous faisons un test.
05:37
All the previous trials were positive, and we know this one's gonna be too."
141
322000
2000
Tous les test précédents étaient positifs, et nous savons que celui-ci le sera aussi".
05:39
That should always ring alarm bells.
142
324000
2000
Cela devrait toujours éveiller la suspicion.
05:41
Because if you already know the answer to your trial, you shouldn't be doing one.
143
326000
3000
Parce que si vous savez déjà la réponse à votre test, vous ne devriez pas en faire.
05:44
Either you've rigged it by design,
144
329000
2000
Soit vous l'avez manipulé par son plan expérimental,
05:46
or you've got enough data so there's no need to randomize people anymore.
145
331000
3000
soit vous avez assez de données et il n'y a plus besoin de randomiser les participants.
05:49
So this is what they were going to do in their trial.
146
334000
3000
Donc, c'est ce qu'ils allaient faire dans leur test.
05:52
They were taking 3,000 children,
147
337000
2000
Ils ont pris 3 000 enfants,
05:54
they were going to give them all these huge fish oil pills,
148
339000
2000
ils allaient leur donner ces énormes pilules d'huile de poisson,
05:56
six of them a day,
149
341000
2000
six par jour,
05:58
and then a year later, they were going to measure their school exam performance
150
343000
3000
et un an plus tard, ils allaient mesurer leur performance aux examens scolaires
06:01
and compare their school exam performance
151
346000
2000
et comparer leur performance
06:03
against what they predicted their exam performance would have been
152
348000
2000
avec ce qu'ils avaient prédit que leur performance serait
06:05
if they hadn't had the pills.
153
350000
3000
s'ils n'avaient pas pris les pilules.
06:08
Now can anybody spot a flaw in this design?
154
353000
3000
Est-ce que quelqu'un repère un défaut dans ce plan expérimental ?
06:11
And no professors of clinical trial methodology
155
356000
3000
Et aucun professeur de méthodologie de tests cliniques
06:14
are allowed to answer this question.
156
359000
2000
n'est autorisé à répondre à cette question.
06:16
So there's no control; there's no control group.
157
361000
2000
Donc il n'y a pas de contrôle, il n'y a pas de groupe contrôle.
06:18
But that sounds really techie.
158
363000
2000
Mais cela semble vraiment technique.
06:20
That's a technical term.
159
365000
2000
C'est un terme technique.
06:22
The kids got the pills, and then their performance improved.
160
367000
2000
Les gosses ont pris les pilules, et leur performance s'est améliorée.
06:24
What else could it possibly be if it wasn't the pills?
161
369000
3000
Qu'est-ce qui pourrait bien être en cause si ce n'est les pilules ?
06:27
They got older. We all develop over time.
162
372000
3000
Ils ont grandi. On se développe tous avec le temps.
06:30
And of course, also there's the placebo effect.
163
375000
2000
Et évidemment, il y a aussi l'effet placebo.
06:32
The placebo effect is one of the most fascinating things in the whole of medicine.
164
377000
2000
L'effet placebo est l'une des choses les plus fascinantes de toute la médecine.
06:34
It's not just about taking a pill, and your performance and your pain getting better.
165
379000
3000
Il ne s'agit pas seulement de prendre une pilule, et la douleur disparaît.
06:37
It's about our beliefs and expectations.
166
382000
2000
Il s'agit de nos croyances et attentes.
06:39
It's about the cultural meaning of a treatment.
167
384000
2000
Il s'agit de la signification culturelle d'un traitement.
06:41
And this has been demonstrated in a whole raft of fascinating studies
168
386000
3000
Et cela a été montré par tout un tas d'études fascinantes
06:44
comparing one kind of placebo against another.
169
389000
3000
comparant un type de placebo avec un autre.
06:47
So we know, for example, that two sugar pills a day
170
392000
2000
Donc nous savons par exemple que deux pastilles de sucre par jour
06:49
are a more effective treatment for getting rid of gastric ulcers
171
394000
2000
sont un traitement plus efficace contre les ulcères gastriques
06:51
than one sugar pill.
172
396000
2000
qu'une pastille de sucre.
06:53
Two sugar pills a day beats one sugar pill a day.
173
398000
2000
Deux pastilles de sucre par jour battent une pastille de sucre par jour.
06:55
And that's an outrageous and ridiculous finding, but it's true.
174
400000
3000
C'est un résultat scandaleux et ridicule, mais c'est vrai.
06:58
We know from three different studies on three different types of pain
175
403000
2000
Nous savons, grâce à trois différentes études sur trois différents types de peine,
07:00
that a saltwater injection is a more effective treatment for pain
176
405000
3000
qu'une injection d'eau salée est un traitement contre la peine plus efficace
07:03
than taking a sugar pill, taking a dummy pill that has no medicine in it --
177
408000
4000
que prendre une pastille de sucre, prendre une pilule factice sans molécule active —
07:07
not because the injection or the pills do anything physically to the body,
178
412000
3000
pas parce que l'injection ou les pilules ont une quelconque action physique sur le corps,
07:10
but because an injection feels like a much more dramatic intervention.
179
415000
3000
mais parce que l'injection paraît être une intervention plus dramatique.
07:13
So we know that our beliefs and expectations
180
418000
2000
Donc nous savons que nos croyances et nos attentes
07:15
can be manipulated,
181
420000
2000
peuvent être manipulées,
07:17
which is why we do trials
182
422000
2000
et c'est pourquoi on fait des tests
07:19
where we control against a placebo --
183
424000
2000
où on compare à un placebo —
07:21
where one half of the people get the real treatment
184
426000
2000
où la moitié des gens reçoit le vrai traitement
07:23
and the other half get placebo.
185
428000
2000
et l'autre moitié reçoit un placebo.
07:25
But that's not enough.
186
430000
3000
Mais ce n'est pas suffisant.
07:28
What I've just shown you are examples of the very simple and straightforward ways
187
433000
3000
Ce que je viens de vous montrer sont des exemples de moyens très simples et directs
07:31
that journalists and food supplement pill peddlers
188
436000
2000
pour les journalistes, les colporteurs de compléments alimentaires
07:33
and naturopaths
189
438000
2000
et les naturopathes
07:35
can distort evidence for their own purposes.
190
440000
3000
de déformer les preuves dans leur propre intérêt.
07:38
What I find really fascinating
191
443000
2000
Ce que je trouve vraiment fascinant
07:40
is that the pharmaceutical industry
192
445000
2000
c'est que l'industrie pharmaceutique
07:42
uses exactly the same kinds of tricks and devices,
193
447000
2000
utilise exactement le même genre de trucs et de systèmes,
07:44
but slightly more sophisticated versions of them,
194
449000
3000
mais dans des versions légèrement plus sophistiquées,
07:47
in order to distort the evidence that they give to doctors and patients,
195
452000
3000
afin de déformer les preuves qu'ils fournissent aux médecins et patients,
07:50
and which we use to make vitally important decisions.
196
455000
3000
et que nous utilisons pour prendre de vitales décisions.
07:53
So firstly, trials against placebo:
197
458000
2000
Premièrement, les tests contre un placebo :
07:55
everybody thinks they know that a trial should be
198
460000
2000
tout le monde pense savoir qu'un test devrait
07:57
a comparison of your new drug against placebo.
199
462000
2000
comparer votre nouveau traitement à un placebo.
07:59
But actually in a lot of situations that's wrong.
200
464000
2000
Mais en fait dans de nombreux cas, c'est incorrect.
08:01
Because often we already have a very good treatment that is currently available,
201
466000
3000
Parce que souvent il y a déjà un très bon traitement de disponible,
08:04
so we don't want to know that your alternative new treatment
202
469000
2000
donc nous ne voulons pas savoir si votre nouveau traitement alternatif
08:06
is better than nothing.
203
471000
2000
est mieux que rien.
08:08
We want to know that it's better than the best currently available treatment that we have.
204
473000
3000
Nous voulons savoir s'il est meilleur que le meilleur traitement disponible à l'heure actuelle.
08:11
And yet, repeatedly, you consistently see people doing trials
205
476000
3000
Pourtant, de façon répétée, vous voyez constamment des gens
08:14
still against placebo.
206
479000
2000
continuer à tester contre un placebo.
08:16
And you can get license to bring your drug to market
207
481000
2000
Et vous pouvez obtenir une autorisation de mise sur le marché
08:18
with only data showing that it's better than nothing,
208
483000
2000
avec seulement des données montrant que votre produit est mieux que rien,
08:20
which is useless for a doctor like me trying to make a decision.
209
485000
3000
ce qui est inutile pour un médecin qui essaye de prendre une décision.
08:23
But that's not the only way you can rig your data.
210
488000
2000
Mais ce n'est pas le seul moyen que vous avez de truquer vos données.
08:25
You can also rig your data
211
490000
2000
Vous pouvez aussi truquer vos données
08:27
by making the thing you compare your new drug against
212
492000
2000
en rendant la chose à laquelle vous comparez votre nouveau produit,
08:29
really rubbish.
213
494000
2000
vraiment nulle.
08:31
You can give the competing drug in too low a dose,
214
496000
2000
Vous pouvez donner le produit concurrent à trop faible dose,
08:33
so that people aren't properly treated.
215
498000
2000
de sorte que les gens ne sont pas correctement traités.
08:35
You can give the competing drug in too high a dose,
216
500000
2000
Vous pouvez donner le produit concurrent à trop forte dose,
08:37
so that people get side effects.
217
502000
2000
de sorte que les gens souffrent d'effets secondaires.
08:39
And this is exactly what happened
218
504000
2000
Et c'est exactement ce qui s'est passé
08:41
which antipsychotic medication for schizophrenia.
219
506000
2000
avec les neuroleptiques traitant la schizophrénie.
08:43
20 years ago, a new generation of antipsychotic drugs were brought in
220
508000
3000
Il y a 20 ans, une nouvelle génération de neuroleptiques a vu le jour,
08:46
and the promise was that they would have fewer side effects.
221
511000
3000
promettant des effets secondaires réduits.
08:49
So people set about doing trials of these new drugs
222
514000
2000
Donc les gens ont commencé à tester ces nouveaux médicaments
08:51
against the old drugs,
223
516000
2000
contre les anciens,
08:53
but they gave the old drugs in ridiculously high doses --
224
518000
2000
mais ils ont donné les anciens à des doses ridiculement fortes —
08:55
20 milligrams a day of haloperidol.
225
520000
2000
20 milligrammes d'halopéridol par jour.
08:57
And it's a foregone conclusion,
226
522000
2000
La conclusion est courue d'avance :
08:59
if you give a drug at that high a dose,
227
524000
2000
si vous donnez un médicament à une si forte dose,
09:01
that it will have more side effects and that your new drug will look better.
228
526000
3000
il y aura plus d'effets secondaires et votre nouveau produit paraîtra meilleur.
09:04
10 years ago, history repeated itself, interestingly,
229
529000
2000
Il y a 10 ans, de façon intéressante l'histoire s'est répétée
09:06
when risperidone, which was the first of the new-generation antipscyhotic drugs,
230
531000
3000
quand le rispéridone, qui était le premier des neuroleptiques de nouvelle génération,
09:09
came off copyright, so anybody could make copies.
231
534000
3000
est passé dans le domaine public et que n'importe qui pouvait le reproduire.
09:12
Everybody wanted to show that their drug was better than risperidone,
232
537000
2000
Tout le monde a voulu démontrer que leur traitement était meilleur que le rispéridone,
09:14
so you see a bunch of trials comparing new antipsychotic drugs
233
539000
3000
et donc vous pouviez voir un tas de tests comparant de nouveaux neuroleptiques
09:17
against risperidone at eight milligrams a day.
234
542000
2000
avec le rispéridone, à huit milligrammes par jour.
09:19
Again, not an insane dose, not an illegal dose,
235
544000
2000
Encore une fois, on ne parle de dose insensée, ou illégale,
09:21
but very much at the high end of normal.
236
546000
2000
mais très proche de la limite haute du normal.
09:23
And so you're bound to make your new drug look better.
237
548000
3000
Donc vous êtes voués à ce que votre nouveau produit paraisse meilleur.
09:26
And so it's no surprise that overall,
238
551000
3000
Il n'y a donc pas de surprise que dans l'ensemble,
09:29
industry-funded trials
239
554000
2000
les tests financés par l'industrie
09:31
are four times more likely to give a positive result
240
556000
2000
sont quatre fois plus probables de produire un résultat positif
09:33
than independently sponsored trials.
241
558000
3000
que les tests financés indépendamment.
09:36
But -- and it's a big but --
242
561000
3000
Mais — et c'est un gros mais —
09:39
(Laughter)
243
564000
2000
(Rires — jeu de mot : "but" = mais / "butt" = cul)
09:41
it turns out,
244
566000
2000
il s'avère,
09:43
when you look at the methods used by industry-funded trials,
245
568000
3000
que si vous regardez les méthodes utilisées dans les tests financés par l'industrie,
09:46
that they're actually better
246
571000
2000
elles sont en fait meilleures
09:48
than independently sponsored trials.
247
573000
2000
que celles des tests indépendants.
09:50
And yet, they always manage to to get the result that they want.
248
575000
3000
Et pourtant, ils arrivent toujours à obtenir le résultat désiré.
09:53
So how does this work?
249
578000
2000
Donc comment cela fonctionne-t-il ?
09:55
How can we explain this strange phenomenon?
250
580000
3000
Comment pouvons-nous expliquer cet étrange phénomène ?
09:58
Well it turns out that what happens
251
583000
2000
Eh bien, il s'avère que ce qui se passe
10:00
is the negative data goes missing in action;
252
585000
2000
est que les résultats négatifs disparaissent au vol ;
10:02
it's withheld from doctors and patients.
253
587000
2000
ils ne sont pas divulgués aux médecins et patients.
10:04
And this is the most important aspect of the whole story.
254
589000
2000
Et c'est l'aspect le plus important de toute cette histoire
10:06
It's at the top of the pyramid of evidence.
255
591000
2000
C'est au sommet de la pyramide des preuves.
10:08
We need to have all of the data on a particular treatment
256
593000
3000
Nous avons besoin de toutes les données sur un traitement spécifique
10:11
to know whether or not it really is effective.
257
596000
2000
pour savoir s'il est vraiment efficace ou non.
10:13
And there are two different ways that you can spot
258
598000
2000
Et il y a deux façons différentes pour repérer
10:15
whether some data has gone missing in action.
259
600000
2000
si des données ont été dissimulées.
10:17
You can use statistics, or you can use stories.
260
602000
3000
Vous pouvez utiliser les statistiques, ou vous pouvez utiliser les histoires.
10:20
I personally prefer statistics, so that's what I'm going to do first.
261
605000
2000
Personnellement je préfère les statistiques, donc c'est ce que je vais faire en premier.
10:22
This is something called funnel plot.
262
607000
2000
Voici ce qu'on appelle un graphique en entonnoir.
10:24
And a funnel plot is a very clever way of spotting
263
609000
2000
Un graphique en entonnoir est un moyen très habile de repérer
10:26
if small negative trials have disappeared, have gone missing in action.
264
611000
3000
si de petits tests négatifs ont disparu, ont été dissimulés au vol.
10:29
So this is a graph of all of the trials
265
614000
2000
Donc c'est une représentation graphique de tous les tests
10:31
that have been done on a particular treatment.
266
616000
2000
qui ont été faits pour un traitement spécifique.
10:33
And as you go up towards the top of the graph,
267
618000
2000
En allant vers le haut du graphique —
10:35
what you see is each dot is a trial.
268
620000
2000
chaque point que vous voyez est un test.
10:37
And as you go up, those are the bigger trials, so they've got less error in them.
269
622000
3000
Et en montant, vous trouvez les tests à plus grande échelle, qui comportent donc moins d'erreurs.
10:40
So they're less likely to be randomly false positives, randomly false negatives.
270
625000
3000
Ils sont moins susceptibles d'être de faux positifs ou négatifs, dus au hasard.
10:43
So they all cluster together.
271
628000
2000
Donc ils sont tous regroupés.
10:45
The big trials are closer to the true answer.
272
630000
2000
Les tests à grande échelle sont plus proches de la réponse correcte.
10:47
Then as you go further down at the bottom,
273
632000
2000
Et en vous éloignant vers le bas,
10:49
what you can see is, over on this side, the spurious false negatives,
274
634000
3000
ce que vous pouvez voir, de ce côté-ci, sont les faux négatifs fallacieux,
10:52
and over on this side, the spurious false positives.
275
637000
2000
et de ce côté-là, les faux positifs fallacieux.
10:54
If there is publication bias,
276
639000
2000
S'il y a un biais de publication,
10:56
if small negative trials have gone missing in action,
277
641000
3000
si les petits tests négatifs ont été dissimulés au vol,
10:59
you can see it on one of these graphs.
278
644000
2000
vous pouvez le voir sur un de ces graphiques.
11:01
So you can see here that the small negative trials
279
646000
2000
Donc vous pouvez voir ici que les petits tests négatifs,
11:03
that should be on the bottom left have disappeared.
280
648000
2000
qui auraient dû se trouver en bas à gauche, ont disparu.
11:05
This is a graph demonstrating the presence of publication bias
281
650000
3000
Celui-ci est un graphique qui révèle la présence d'un biais de publication
11:08
in studies of publication bias.
282
653000
2000
dans les études sur le biais de publication.
11:10
And I think that's the funniest epidemiology joke
283
655000
2000
Je pense que c'est la blague d'épidémiologie la plus drôle
11:12
that you will ever hear.
284
657000
2000
que vous entendrez jamais.
11:14
That's how you can prove it statistically,
285
659000
2000
C'est ainsi que vous pouvez le prouver statistiquement,
11:16
but what about stories?
286
661000
2000
mais qu'en est-il des histoires ?
11:18
Well they're heinous, they really are.
287
663000
2000
Eh bien, elles sont ignobles, vraiment.
11:20
This is a drug called reboxetine.
288
665000
2000
Voici un traitement appelé réboxétine.
11:22
This is a drug that I myself have prescribed to patients.
289
667000
2000
C'est un produit que moi-même j'ai prescrit à des patients.
11:24
And I'm a very nerdy doctor.
290
669000
2000
Et je suis un médecin très informé.
11:26
I hope I try to go out of my way to try and read and understand all the literature.
291
671000
3000
J'essaye de faire des efforts pour lire et comprendre toute la littérature.
11:29
I read the trials on this. They were all positive. They were all well-conducted.
292
674000
3000
J'ai lu les essais sur cela. Ils étaient tous très positifs. Ils étaient tous très bien menés.
11:32
I found no flaw.
293
677000
2000
Je n'ai pas trouvé de problème.
11:34
Unfortunately, it turned out,
294
679000
2000
Malheureusement il s'est avéré
11:36
that many of these trials were withheld.
295
681000
2000
que de nombreux tests avaient été dissimulés.
11:38
In fact, 76 percent
296
683000
2000
En fait 76%
11:40
of all of the trials that were done on this drug
297
685000
2000
de tous les tests faits sur ce traitement
11:42
were withheld from doctors and patients.
298
687000
2000
ont été cachés aux médecins et patients.
11:44
Now if you think about it,
299
689000
2000
Maintenant si vous y pensez,
11:46
if I tossed a coin a hundred times,
300
691000
2000
si je lance une pièce cent fois,
11:48
and I'm allowed to withhold from you
301
693000
2000
et que je suis autorisé à vous cacher
11:50
the answers half the times,
302
695000
2000
la réponse la moitié du temps,
11:52
then I can convince you
303
697000
2000
alors je peux vous convaincre
11:54
that I have a coin with two heads.
304
699000
2000
que j'ai une pièce avec deux faces.
11:56
If we remove half of the data,
305
701000
2000
Si on retire la moitié des données,
11:58
we can never know what the true effect size of these medicines is.
306
703000
3000
on ne peut jamais savoir quel est vraiment la taille de l'effet de ces traitements.
12:01
And this is not an isolated story.
307
706000
2000
Et ceci n'est pas un cas isolé.
12:03
Around half of all of the trial data on antidepressants has been withheld,
308
708000
4000
Environ la moitié des données des tests sur les antidépresseurs a été dissimulée,
12:07
but it goes way beyond that.
309
712000
2000
et cela va bien plus loin.
12:09
The Nordic Cochrane Group were trying to get a hold of the data on that
310
714000
2000
Le Cochrane Group du Nord a essayé de mettre la main sur ces données
12:11
to bring it all together.
311
716000
2000
pour les rassembler.
12:13
The Cochrane Groups are an international nonprofit collaboration
312
718000
3000
Le Cochrane Group est une organisation internationale à but non lucratif
12:16
that produce systematic reviews of all of the data that has ever been shown.
313
721000
3000
qui produit des revues systématiques de toutes les données jamais publiées.
12:19
And they need to have access to all of the trial data.
314
724000
3000
Et ils ont besoin d'avoir accès à tous les données de tests.
12:22
But the companies withheld that data from them,
315
727000
3000
Mais les compagnies leur ont refusé l'accès aux données,
12:25
and so did the European Medicines Agency
316
730000
2000
ainsi que l'Agence Européenne des Médicaments
12:27
for three years.
317
732000
2000
pendant trois ans.
12:29
This is a problem that is currently lacking a solution.
318
734000
3000
C'est n problème qui couramment manque d'une solution.
12:32
And to show how big it goes, this is a drug called Tamiflu,
319
737000
3000
Et pour vous montrer son ampleur, voici un médicament appelé Tamiflu,
12:35
which governments around the world
320
740000
2000
pour lequel les gouvernements autour du monde
12:37
have spent billions and billions of dollars on.
321
742000
2000
ont dépensé des milliards et des milliards de dollars.
12:39
And they spend that money on the promise
322
744000
2000
Et ils ont dépensé cet argent avec la promesse
12:41
that this is a drug which will reduce the rate
323
746000
2000
que ce traitement réduirait le taux
12:43
of complications with flu.
324
748000
2000
de complications dues à la grippe.
12:45
We already have the data
325
750000
2000
Nous avons déjà les données
12:47
showing that it reduces the duration of your flu by a few hours.
326
752000
2000
qu'il réduit la durée de votre grippe de quelques heures.
12:49
But I don't really care about that. Governments don't care about that.
327
754000
2000
Mais ceci ne m'importe pas vraiment. Les gouvernements ne s'en soucient pas.
12:51
I'm very sorry if you have the flu, I know it's horrible,
328
756000
3000
Je suis vraiment désolé si vous avez la grippe, je sais que c'est horrible,
12:54
but we're not going to spend billions of dollars
329
759000
2000
mais on ne va pas dépenser des milliards de dollars
12:56
trying to reduce the duration of your flu symptoms
330
761000
2000
à essayer de réduire la durée de vos symptômes grippaux
12:58
by half a day.
331
763000
2000
d'une demi-journée.
13:00
We prescribe these drugs, we stockpile them for emergencies
332
765000
2000
Nous prescrivons ces médicaments, nous les stockons en cas d'urgence
13:02
on the understanding that they will reduce the number of complications,
333
767000
2000
dans l'idée qu'ils réduiront le nombre de complications,
13:04
which means pneumonia and which means death.
334
769000
3000
c'est-à-dire de pneumonies, autrement dit de morts.
13:07
The infectious diseases Cochrane Group, which are based in Italy,
335
772000
3000
Le Cochrane Group des maladies infectieuses, basé en Italie,
13:10
has been trying to get
336
775000
2000
a essayé d'obtenir des compagnies pharmaceutiques
13:12
the full data in a usable form out of the drug companies
337
777000
3000
les données complètes dans une forme utilisable,
13:15
so that they can make a full decision
338
780000
3000
pour pouvoir décider
13:18
about whether this drug is effective or not,
339
783000
2000
si ce traitement est efficace ou non,
13:20
and they've not been able to get that information.
340
785000
3000
et ils n'ont pas pu obtenir cette information.
13:23
This is undoubtedly
341
788000
2000
Ceci est indubitablement
13:25
the single biggest ethical problem
342
790000
3000
le plus grand problème éthique
13:28
facing medicine today.
343
793000
2000
auquel aujourd'hui la médecine fait face.
13:30
We cannot make decisions
344
795000
3000
On ne peut pas prendre de décisions
13:33
in the absence of all of the information.
345
798000
4000
sans avoir toute l'information.
13:37
So it's a little bit difficult from there
346
802000
3000
Donc c'est un peu difficile après ça
13:40
to spin in some kind of positive conclusion.
347
805000
4000
de passer à une conclusion en sorte positive.
13:44
But I would say this:
348
809000
4000
Mais je dirais ceci :
13:48
I think that sunlight
349
813000
3000
je pense que la lumière du jour
13:51
is the best disinfectant.
350
816000
2000
est le meilleur désinfectant.
13:53
All of these things are happening in plain sight,
351
818000
3000
Toutes ces choses se passent au grand jour,
13:56
and they're all protected
352
821000
2000
et ils sont tous protégés
13:58
by a force field of tediousness.
353
823000
3000
par un champ de force fastidieuse.
14:01
And I think, with all of the problems in science,
354
826000
2000
Et je pense, avec tous les problèmes en science,
14:03
one of the best things that we can do
355
828000
2000
que l'une des meilleures choses qu'on puisse faire
14:05
is to lift up the lid,
356
830000
2000
est de lever le couvercle,
14:07
finger around in the mechanics and peer in.
357
832000
2000
de triturer la mécanique et de regarder à l'intérieur.
14:09
Thank you very much.
358
834000
2000
Merci beaucoup.
14:11
(Applause)
359
836000
3000
(Applaudissements)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com