TEDGlobal 2011
Ben Goldacre: Battling bad science
Ben Goldacre: Combatendo a má ciência
Filmed:
Readability: 4.3
2,713,579 views
Todos os dias há novidades de um novo conselho sobre saúde, mas como saber-se se está certo? Médico e epidemiologista, Ben Goldrace mostra-nos, a alta velocidade, as formas como as provas podem ser distorcidas, das cegamente óbvias afirmações nutricionais aos muito subtis truques da Indústria Farmacêutica.
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio
Double-click the English transcript below to play the video.
00:15
So I'm a doctor, but I kind of slipped sideways into research,
0
0
3000
Então sou médico, mas a modos que escorreguei para o lado da pesquisa,
00:18
and now I'm an epidemiologist.
1
3000
2000
e agora sou epidemiologista.
00:20
And nobody really knows what epidemiology is.
2
5000
2000
E ninguém sabe realmente o que é a epidemiologia.
00:22
Epidemiology is the science of how we know in the real world
3
7000
3000
A Epidemiologia é a ciência sobre como sabemos na vida real
00:25
if something is good for you or bad for you.
4
10000
2000
se uma coisa é boa ou má para nós.
00:27
And it's best understood through example
5
12000
2000
E é melhor percebido através de exemplos
00:29
as the science of those crazy, wacky newspaper headlines.
6
14000
5000
como a ciência daqueles títulos loucos, extravagantes, dos jornais.
00:34
And these are just some of the examples.
7
19000
2000
E estes são apenas alguns dos exemplos.
00:36
These are from the Daily Mail. Every country in the world has a newspaper like this.
8
21000
3000
Estes são do Daily Mail. Cada país do mundo tem um jornal como este.
00:39
It has this bizarre, ongoing philosophical project
9
24000
3000
Tem este contínuo projecto filosófico bizarro
00:42
of dividing all the inanimate objects in the world
10
27000
2000
de dividir todos os objectos inanimados do mundo
00:44
into the ones that either cause or prevent cancer.
11
29000
3000
entre os que ou causam ou previnem o canco.
00:47
So here are some of the things they said cause cancer recently:
12
32000
2000
Então aqui estão algumas das coisas que recentemente foram acusadas de causar cancro:
00:49
divorce, Wi-Fi, toiletries and coffee.
13
34000
2000
divórcio, Wi-Fi, casas-de-banho e café.
00:51
Here are some of the things they say prevents cancer:
14
36000
2000
Aqui estão algumas das coisas que dizem prevenir o cancro:
00:53
crusts, red pepper, licorice and coffee.
15
38000
2000
côdeas, pimenta vermelha, alcaçuz e café.
00:55
So already you can see there are contradictions.
16
40000
2000
Portanto, já podem ver que existem contradições.
00:57
Coffee both causes and prevents cancer.
17
42000
2000
O café tanto causa como previne o cancro.
00:59
And as you start to read on, you can see
18
44000
2000
E à medida que se continua a ler, pode ver-se
01:01
that maybe there's some kind of political valence behind some of this.
19
46000
3000
que talvez exista algum interesse político por trás disto.
01:04
So for women, housework prevents breast cancer,
20
49000
2000
Então, para as mulheres, o trabalho doméstico previne o cancro,
01:06
but for men, shopping could make you impotent.
21
51000
3000
mas para os homens, ir às compras pode torná-los impotentes.
01:09
So we know that we need to start
22
54000
3000
Então sabemos que temos de começar
01:12
unpicking the science behind this.
23
57000
3000
a descobrir a ciência por detrás disto.
01:15
And what I hope to show
24
60000
2000
E o que espero mostrar
01:17
is that unpicking dodgy claims,
25
62000
2000
é que desfazendo afirmações astuciosas,
01:19
unpicking the evidence behind dodgy claims,
26
64000
2000
revelando as provas por detrás das afirmações obscuras,
01:21
isn't a kind of nasty carping activity;
27
66000
3000
não é uma especie de actividade maligna;
01:24
it's socially useful,
28
69000
2000
é socialmente útil,
01:26
but it's also an extremely valuable
29
71000
2000
mas é também uma extremamente valiosa
01:28
explanatory tool.
30
73000
2000
ferramenta explicativa.
01:30
Because real science is all about
31
75000
2000
Porque a verdadeira ciência tem tudo a ver com
01:32
critically appraising the evidence for somebody else's position.
32
77000
2000
avaliar criticamente os indícios para uma posição alheia.
01:34
That's what happens in academic journals.
33
79000
2000
É o que acontece em revistas académicas.
01:36
That's what happens at academic conferences.
34
81000
2000
É o que acontece em conferências académicas.
01:38
The Q&A session after a post-op presents data
35
83000
2000
A sessão pergunta/resposta depois de uma apresentação de dados pós-operatórios
01:40
is often a blood bath.
36
85000
2000
é geralmente um banho de sangue.
01:42
And nobody minds that. We actively welcome it.
37
87000
2000
E ninguém se importa com isso. Até o acolhemos activamente.
01:44
It's like a consenting intellectual S&M activity.
38
89000
3000
É como consentir intelectualmente numa actividade sado-maso.
01:47
So what I'm going to show you
39
92000
2000
Então o que vou mostrar-vos
01:49
is all of the main things,
40
94000
2000
são as coisas mais importantes,
01:51
all of the main features of my discipline --
41
96000
2000
são todas as caracterísiticas principais da minha disciplina --
01:53
evidence-based medicine.
42
98000
2000
medicina baseada em provas.
01:55
And I will talk you through all of these
43
100000
2000
E eu vou explicar-vos ao longo de tudo isto
01:57
and demonstrate how they work,
44
102000
2000
e demonstrar como funcionam,
01:59
exclusively using examples of people getting stuff wrong.
45
104000
3000
usando exclusivamente exemplos de pessoas que erram.
02:02
So we'll start with the absolute weakest form of evidence known to man,
46
107000
3000
Então começaremos com a forma absolutamente mais fraca de dados conhecidos pelo homem,
02:05
and that is authority.
47
110000
2000
que é a autoridade.
02:07
In science, we don't care how many letters you have after your name.
48
112000
3000
Em ciência, não queremos saber quantas letras tem a seguir ao nome.
02:10
In science, we want to know what your reasons are for believing something.
49
115000
3000
Em ciência, queremos saber quais são as suas razões para acreditar em algo.
02:13
How do you know that something is good for us
50
118000
2000
Como se sabe que uma coisa nos faz bem
02:15
or bad for us?
51
120000
2000
ou mal?
02:17
But we're also unimpressed by authority,
52
122000
2000
Mas também não ficamos impressionados com a autoridade,
02:19
because it's so easy to contrive.
53
124000
2000
por ser tão fácil de forjar.
02:21
This is somebody called Dr. Gillian McKeith Ph.D,
54
126000
2000
Esta é alguém chamada Dra. Gillian McKeith Doutora em Medicina,
02:23
or, to give her full medical title, Gillian McKeith.
55
128000
3000
ou, para lhe atribuir o título médico completo, Gilliam McKeith.
02:26
(Laughter)
56
131000
3000
(Risos)
02:29
Again, every country has somebody like this.
57
134000
2000
Novamente, cada país tem alguém assim.
02:31
She is our TV diet guru.
58
136000
2000
Pode ser o vosso guru de dietas na TV.
02:33
She has massive five series of prime-time television,
59
138000
3000
Alguém com cinco séries massivas de tempo de antena na televisão,
02:36
giving out very lavish and exotic health advice.
60
141000
3000
oferecendo conselhos de saúde muito generosos e exóticos.
02:39
She, it turns out, has a non-accredited correspondence course Ph.D.
61
144000
3000
Ela, como se vem a constatar, tem um curso por correspondência não reconhecido
02:42
from somewhere in America.
62
147000
2000
de algures na America.
02:44
She also boasts that she's a certified professional member
63
149000
2000
Ela ostenta também que é uma profissional certificada
02:46
of the American Association of Nutritional Consultants,
64
151000
2000
da Associação Americana dos Consultores Nutricionais,
02:48
which sounds very glamorous and exciting.
65
153000
2000
que soa muito glamoroso e excitante.
02:50
You get a certificate and everything.
66
155000
2000
Recebe-se um certificado e tudo.
02:52
This one belongs to my dead cat Hetti. She was a horrible cat.
67
157000
2000
Este pertence à minha falecida gata Hetti. Era uma gata horrível.
02:54
You just go to the website, fill out the form,
68
159000
2000
Vai-se apenas ao website, preenche-se o formulário,
02:56
give them $60, and it arrives in the post.
69
161000
2000
dá-se-lhes $60 e aquilo chega pelo correio.
02:58
Now that's not the only reason that we think this person is an idiot.
70
163000
2000
Agora, essa não é a única razão para pensarmos que esta pessoa é uma idiota.
03:00
She also goes and says things like,
71
165000
2000
Ela também diz coisas como,
03:02
you should eat lots of dark green leaves,
72
167000
2000
deve comer-se muitos legumes de folhas verdes,
03:04
because they contain lots of chlorophyll, and that will really oxygenate your blood.
73
169000
2000
porque contêm imensa clorofila e isso irá oxigenar imenso o seu sangue.
03:06
And anybody who's done school biology remembers
74
171000
2000
E qualquer pessoa que tenha aprendido biologia na escola recorda
03:08
that chlorophyll and chloroplasts
75
173000
2000
que a clorofila e os cloroplastos
03:10
only make oxygen in sunlight,
76
175000
2000
apenas fazem oxigénio com a luz do sol,
03:12
and it's quite dark in your bowels after you've eaten spinach.
77
177000
3000
e é bastante escuro nos nossos intestinos depois de comermos espinafres.
03:15
Next, we need proper science, proper evidence.
78
180000
3000
A seguir, precisamos de ciência adequada, dados adequados.
03:18
So, "Red wine can help prevent breast cancer."
79
183000
2000
Então, "Vinho tinto pode ajudar a prevenir o cancro da mama."
03:20
This is a headline from the Daily Telegraph in the U.K.
80
185000
2000
Este é um cabeçalho do Daily Telegraph no Reino Unido.
03:22
"A glass of red wine a day could help prevent breast cancer."
81
187000
3000
"Um copo de vinho tinto por dia pode ajudar a prevenir o cancro da mama."
03:25
So you go and find this paper, and what you find
82
190000
2000
Então vai-se à procura deste jornal e, o que encontramos
03:27
is it is a real piece of science.
83
192000
2000
é um verdadeiro pedaço de ciência.
03:29
It is a description of the changes in one enzyme
84
194000
3000
Trata-se de uma descrição das alterações numa enzima
03:32
when you drip a chemical extracted from some red grape skin
85
197000
3000
quando se deixa cair uma gota de um químico extraído de um pedaço de pele de uva vermelha
03:35
onto some cancer cells
86
200000
2000
em algumas células cancerígenas
03:37
in a dish on a bench in a laboratory somewhere.
87
202000
3000
num prato num banco num laboratório em qualquer parte.
03:40
And that's a really useful thing to describe
88
205000
2000
e é algo verdadeiramente útil de se descrever
03:42
in a scientific paper,
89
207000
2000
num jornal científico,
03:44
but on the question of your own personal risk
90
209000
2000
mas na questão do vosso risco pessoal
03:46
of getting breast cancer if you drink red wine,
91
211000
2000
de contrair cancro da mama se beberem vinho tinto,
03:48
it tells you absolutely bugger all.
92
213000
2000
diz-vos absolutamente nada.
03:50
Actually, it turns out that your risk of breast cancer
93
215000
2000
Na verdade, parece que o risco de contrair cancro da mama
03:52
actually increases slightly
94
217000
2000
aumenta ligeiramente
03:54
with every amount of alcohol that you drink.
95
219000
2000
com cada dose de álcool que se ingere.
03:56
So what we want is studies in real human people.
96
221000
4000
Portanto o que queremos são estudos em humanos.
04:00
And here's another example.
97
225000
2000
E aqui está outro exemplo.
04:02
This is from Britain's leading diet and nutritionist in the Daily Mirror,
98
227000
3000
Este é do principal dietista e nutricionista do Daily Mirror,
04:05
which is our second biggest selling newspaper.
99
230000
2000
que é o nosso segundo jornal mais vendido.
04:07
"An Australian study in 2001
100
232000
2000
"Um estudo australiano em 2001
04:09
found that olive oil in combination with fruits, vegetables and pulses
101
234000
2000
descobriu que o azeite em combinação com frutas, vegetais e leguminosas
04:11
offers measurable protection against skin wrinklings."
102
236000
2000
oferece protecção mensurável contra rugas da pele."
04:13
And then they give you advice:
103
238000
2000
E depois aconselham:
04:15
"If you eat olive oil and vegetables, you'll have fewer skin wrinkles."
104
240000
2000
"Se comer azeite e vegetais, terá menos rugas da pele."
04:17
And they very helpfully tell you how to go and find the paper.
105
242000
2000
E muito prestativamente dizem-lhe onde encontrar o estudo.
04:19
So you go and find the paper, and what you find is an observational study.
106
244000
3000
Então vocês vão procurar o estudo e, o que encontram é um estudo de observação.
04:22
Obviously nobody has been able
107
247000
2000
Obviamente ninguém conseguiu
04:24
to go back to 1930,
108
249000
2000
voltar a 1930,
04:26
get all the people born in one maternity unit,
109
251000
3000
reunir todas as pessoas nascidas numa determinada maternidade,
04:29
and half of them eat lots of fruit and veg and olive oil,
110
254000
2000
e metade deles comer muita fruta e vegetais e azeite,
04:31
and then half of them eat McDonald's,
111
256000
2000
e depois metade deles comer no McDonald's,
04:33
and then we see how many wrinkles you've got later.
112
258000
2000
e então ver quantas rugas terão mais tarde.
04:35
You have to take a snapshot of how people are now.
113
260000
2000
Tem de se tirar uma fotografia de como as pessoas são agora.
04:37
And what you find is, of course,
114
262000
2000
E o que se descobre é, claro,
04:39
people who eat veg and olive oil have fewer skin wrinkles.
115
264000
3000
é que as pessoas que consomem vegetais e azeite têm menos rugas.
04:42
But that's because people who eat fruit and veg and olive oil,
116
267000
3000
Mas isso é porque as pessoas que consomem frutas e vegetais e azeite,
04:45
they're freaks, they're not normal, they're like you;
117
270000
3000
são esquisitóides, não são normais, são como vocês;
04:48
they come to events like this.
118
273000
2000
vêm a eventos como este.
04:50
They are posh, they're wealthy, they're less likely to have outdoor jobs,
119
275000
3000
São finos, são ricos, são muito menos propensos a trabalhar ao ar livre,
04:53
they're less likely to do manual labor,
120
278000
2000
têm menos probabilidades de fazer trabalho manual,
04:55
they have better social support, they're less likely to smoke --
121
280000
2000
têm melhor apoio social, é menos provável que fumem --
04:57
so for a whole host of fascinating, interlocking
122
282000
2000
portanto por toda uma série de razões fascinantes, interligadas
04:59
social, political and cultural reasons,
123
284000
2000
sociais, politicas e culturais,
05:01
they are less likely to have skin wrinkles.
124
286000
2000
são menos propensos a ter rugas de pele.
05:03
That doesn't mean that it's the vegetables or the olive oil.
125
288000
2000
Isso não quer dizer que seja por causa dos vegetais ou do azeite.
05:05
(Laughter)
126
290000
2000
(Risos)
05:07
So ideally what you want to do is a trial.
127
292000
3000
Portanto, idealmente o que querem fazer é um ensaio.
05:10
And everybody thinks they're very familiar with the idea of a trial.
128
295000
2000
E toda a gente acha que está muito familiarizada com a ideia de ensaio.
05:12
Trials are very old. The first trial was in the Bible -- Daniel 1:12.
129
297000
3000
Os ensaios são muito antigos. O primeiro está presente na Bíblia -- Daniel 1:12.
05:15
It's very straightforward -- you take a bunch of people, you split them in half,
130
300000
2000
É muito directo -- pega-se num grupo de pessoas, divide-se em dois,
05:17
you treat one group one way, you treat the other group the other way,
131
302000
2000
trata-se um grupo de uma maneira, trata-se o outro de outra maneira,
05:19
and a little while later, you follow them up
132
304000
2000
e pouco tempo depois, seguimo-los
05:21
and see what happened to each of them.
133
306000
2000
e vê-se o que aconteceu a cada grupo.
05:23
So I'm going to tell you about one trial,
134
308000
2000
Então vou contar-vos acerca de um ensaio,
05:25
which is probably the most well-reported trial
135
310000
2000
que é talvez o melhor reportado ensaio
05:27
in the U.K. news media over the past decade.
136
312000
2000
dos media noticiosos no Reino Unido durante a ultima década.
05:29
And this is the trial of fish oil pills.
137
314000
2000
É o ensaio sobre os comprimidos de óleo de peixe.
05:31
And the claim was fish oil pills improve school performance and behavior
138
316000
2000
E a alegação era de que os comprimidos de óleo de peixe melhoram a performance e comportamento escolares
05:33
in mainstream children.
139
318000
2000
em crianças normais.
05:35
And they said, "We've done a trial.
140
320000
2000
E eles dizem, "Fizemos um ensaio.
05:37
All the previous trials were positive, and we know this one's gonna be too."
141
322000
2000
Todos os ensaios anteriores foram positivos e, sabemos que este vai ser também."
05:39
That should always ring alarm bells.
142
324000
2000
Isto devia fazer sempre soar os alarmes.
05:41
Because if you already know the answer to your trial, you shouldn't be doing one.
143
326000
3000
Porque, se já se sabe a resposta ao ensaio, não deveria estar-se a fazê-lo.
05:44
Either you've rigged it by design,
144
329000
2000
Ou o manipularam no projecto,
05:46
or you've got enough data so there's no need to randomize people anymore.
145
331000
3000
ou têm dados suficientes para já não necessitar de sujeitos de pesquisa.
05:49
So this is what they were going to do in their trial.
146
334000
3000
Então era isto que eles iam fazer no seu ensaio.
05:52
They were taking 3,000 children,
147
337000
2000
Iam pegar em 3.000 crianças,
05:54
they were going to give them all these huge fish oil pills,
148
339000
2000
iam dar-lhes estas enormes cápsulas de óleo de peixe,
05:56
six of them a day,
149
341000
2000
seis delas por dia,
05:58
and then a year later, they were going to measure their school exam performance
150
343000
3000
e um ano mais tarde, iam medir a sua performance escolar nos exames
06:01
and compare their school exam performance
151
346000
2000
e comparar com a sua performance escolar dos exames
06:03
against what they predicted their exam performance would have been
152
348000
2000
com a que previam que teria sido
06:05
if they hadn't had the pills.
153
350000
3000
se não tivessem tomado as cápsulas.
06:08
Now can anybody spot a flaw in this design?
154
353000
3000
Agora, alguém consegue encontrar uma falha neste projecto?
06:11
And no professors of clinical trial methodology
155
356000
3000
E não é permitido a professores de metodologia de ensaio clínico
06:14
are allowed to answer this question.
156
359000
2000
responder a esta questão.
06:16
So there's no control; there's no control group.
157
361000
2000
Então, não existe qualquer controlo; não há nenhum grupo de controlo.
06:18
But that sounds really techie.
158
363000
2000
Mas isso soa muito tecnológico.
06:20
That's a technical term.
159
365000
2000
É um termo tecnológico.
06:22
The kids got the pills, and then their performance improved.
160
367000
2000
Os miudos tomaram as cápsulas e então, a sua performance melhorou.
06:24
What else could it possibly be if it wasn't the pills?
161
369000
3000
O que mais poderia ter sido se não as cápsulas?
06:27
They got older. We all develop over time.
162
372000
3000
Ficaram mais velhos. Todos evoluimos com o tempo.
06:30
And of course, also there's the placebo effect.
163
375000
2000
E está claro, também existe o efeito placebo.
06:32
The placebo effect is one of the most fascinating things in the whole of medicine.
164
377000
2000
O efeito placebo é uma das coisas mais fascinantes em toda a medicina.
06:34
It's not just about taking a pill, and your performance and your pain getting better.
165
379000
3000
Não se trata apenas de tomar um comprimido e, a sua performance e a sua dor melhoram.
06:37
It's about our beliefs and expectations.
166
382000
2000
Trata-se das nossas crenças e expectativas.
06:39
It's about the cultural meaning of a treatment.
167
384000
2000
Trata-se do significado cultural de um tratamento.
06:41
And this has been demonstrated in a whole raft of fascinating studies
168
386000
3000
E isto tem sido demonstrado numa grande quatidade de estudos fascinantes
06:44
comparing one kind of placebo against another.
169
389000
3000
comparando um tipo de placebo com outro.
06:47
So we know, for example, that two sugar pills a day
170
392000
2000
Então sabemos, por exemplo, que dois comprimidos de açúcar por dia
06:49
are a more effective treatment for getting rid of gastric ulcers
171
394000
2000
são um tratamento mais eficaz para nos livrar de úlceras gástricas
06:51
than one sugar pill.
172
396000
2000
que um só.
06:53
Two sugar pills a day beats one sugar pill a day.
173
398000
2000
Dois comprimidos de açúcar por dia superam um comprimido de açúcar por dia.
06:55
And that's an outrageous and ridiculous finding, but it's true.
174
400000
3000
E essa é uma descoberta chocante e ridícula, mas verdadeira.
06:58
We know from three different studies on three different types of pain
175
403000
2000
Sabemos por três estudos diferentes sobre três tipos diferentes de dor
07:00
that a saltwater injection is a more effective treatment for pain
176
405000
3000
que uma injecção de água salgada é um tratamento mais eficaz para a dor
07:03
than taking a sugar pill, taking a dummy pill that has no medicine in it --
177
408000
4000
que tomar um comprimido de açúcar, tomar um comprimido falso sem qualquer medicamento --
07:07
not because the injection or the pills do anything physically to the body,
178
412000
3000
não porque a injecção ou os comprimidos façam algo fisicamente ao corpo,
07:10
but because an injection feels like a much more dramatic intervention.
179
415000
3000
mas porque uma injecção soa a uma intervenção muito mais dramática.
07:13
So we know that our beliefs and expectations
180
418000
2000
Portanto sabemos que as nossas crenças e expectativas
07:15
can be manipulated,
181
420000
2000
podem ser manipuladas,
07:17
which is why we do trials
182
422000
2000
que é a razão para fazermos ensaios
07:19
where we control against a placebo --
183
424000
2000
onde controlamos face a um placebo --
07:21
where one half of the people get the real treatment
184
426000
2000
em que metade dos sujeitos tomam o tratamento verdadeiro
07:23
and the other half get placebo.
185
428000
2000
e a outra metade recebe o placebo.
07:25
But that's not enough.
186
430000
3000
Mas isso não chega.
07:28
What I've just shown you are examples of the very simple and straightforward ways
187
433000
3000
O que acabei de mostrar-vos são exemplos das formas simples e directas
07:31
that journalists and food supplement pill peddlers
188
436000
2000
que os jornalistas e os vendedores de sumplementos alimentares
07:33
and naturopaths
189
438000
2000
e naturopatas
07:35
can distort evidence for their own purposes.
190
440000
3000
usam para distorcer as provas para os seus próprios propósitos.
07:38
What I find really fascinating
191
443000
2000
O que me parece realmente fascinante
07:40
is that the pharmaceutical industry
192
445000
2000
é que a industria farmacêutica
07:42
uses exactly the same kinds of tricks and devices,
193
447000
2000
usa exactamente os mesmos tipos de truques e artificios,
07:44
but slightly more sophisticated versions of them,
194
449000
3000
mas versões ligeiramente mais sofisticadas,
07:47
in order to distort the evidence that they give to doctors and patients,
195
452000
3000
por forma a distorcer os dados que fornecem aos médicos e pacientes,
07:50
and which we use to make vitally important decisions.
196
455000
3000
e que usamos para tomar decisões de importância vital.
07:53
So firstly, trials against placebo:
197
458000
2000
Portanto em primeiro lugar, experiências com placebo:
07:55
everybody thinks they know that a trial should be
198
460000
2000
toda a gente pensa que sabe que um ensaio deveria ser
07:57
a comparison of your new drug against placebo.
199
462000
2000
uma comparação de uma nova droga contra um placebo.
07:59
But actually in a lot of situations that's wrong.
200
464000
2000
Mas na verdade, em muitas das situações isso está errado.
08:01
Because often we already have a very good treatment that is currently available,
201
466000
3000
Porque frequentemente temos um bom tratamento que está actualmente disponível,
08:04
so we don't want to know that your alternative new treatment
202
469000
2000
por isso não queremos saber que o novo tratamento alternativo
08:06
is better than nothing.
203
471000
2000
é melhor que nada.
08:08
We want to know that it's better than the best currently available treatment that we have.
204
473000
3000
Queremos saber que é melhor que o tratamento actualmente disponível.
08:11
And yet, repeatedly, you consistently see people doing trials
205
476000
3000
E contudo, repetidamente, constantemente vê-se pessoas a fazer ensaios
08:14
still against placebo.
206
479000
2000
ainda em face ao placebo.
08:16
And you can get license to bring your drug to market
207
481000
2000
E pode-se conseguir licenças para o seu medicamento no mercado
08:18
with only data showing that it's better than nothing,
208
483000
2000
tendo unicamente como informação que é melhor que nada,
08:20
which is useless for a doctor like me trying to make a decision.
209
485000
3000
o que é inútil a não ser para um médico como eu a tentar chegar a uma decisão.
08:23
But that's not the only way you can rig your data.
210
488000
2000
Mas essa não é a unica maneira de defraudar dados.
08:25
You can also rig your data
211
490000
2000
também o podemos fazer
08:27
by making the thing you compare your new drug against
212
492000
2000
usando como comparação da nova droga algo que seja
08:29
really rubbish.
213
494000
2000
realmente descabido.
08:31
You can give the competing drug in too low a dose,
214
496000
2000
Pode dar-se o medicamento concorrente numa dose tão pequena,
08:33
so that people aren't properly treated.
215
498000
2000
que as pessoas não sejam tratadas convenientemente.
08:35
You can give the competing drug in too high a dose,
216
500000
2000
Pode dar-se o medicamento concorrente numa dose tão elevada,
08:37
so that people get side effects.
217
502000
2000
que as pessoas tenham efeitos secundários.
08:39
And this is exactly what happened
218
504000
2000
E isto foi exactamente o que aconteceu
08:41
which antipsychotic medication for schizophrenia.
219
506000
2000
com a medicação anti-psicótica para a esquizofrenia.
08:43
20 years ago, a new generation of antipsychotic drugs were brought in
220
508000
3000
Há 20 anos, uma nova geração de medicamentos anti-psicóticos foram introduzidos
08:46
and the promise was that they would have fewer side effects.
221
511000
3000
e a promessa era a de que teriam menos efeitos secundários.
08:49
So people set about doing trials of these new drugs
222
514000
2000
Então as pessoas puseram-se a fazer ensaios a estes novos medicamentos
08:51
against the old drugs,
223
516000
2000
contra os antigos,
08:53
but they gave the old drugs in ridiculously high doses --
224
518000
2000
mas deram os antigos em doses tão ridiculamente altas --
08:55
20 milligrams a day of haloperidol.
225
520000
2000
20 miligramas por dia de haloperidol.
08:57
And it's a foregone conclusion,
226
522000
2000
E é uma conclusão precipitada,
08:59
if you give a drug at that high a dose,
227
524000
2000
se se receitar um medicamento nessas doses elevadas,
09:01
that it will have more side effects and that your new drug will look better.
228
526000
3000
que terá mais efeitos secundários e que o novo medicamento ficará melhor na fotografia.
09:04
10 years ago, history repeated itself, interestingly,
229
529000
2000
Há 10 anos, a história repetiu-se, de forma interessante,
09:06
when risperidone, which was the first of the new-generation antipscyhotic drugs,
230
531000
3000
quando a risperidona, que foi a primeira da nova geração de drogas anti-psicóticas,
09:09
came off copyright, so anybody could make copies.
231
534000
3000
deixou de ter direitos autorais, e por isso qualquer um podia fazer cópias.
09:12
Everybody wanted to show that their drug was better than risperidone,
232
537000
2000
Todos queriam mostrar que a sua droga era melhor que o risperidone,
09:14
so you see a bunch of trials comparing new antipsychotic drugs
233
539000
3000
portanto vêm-se uma série de ensaios comparando novas drogas anti-psicóticas
09:17
against risperidone at eight milligrams a day.
234
542000
2000
contra a risperidona a oito miligramas por dia.
09:19
Again, not an insane dose, not an illegal dose,
235
544000
2000
Novamente, não era uma dose insana, não era uma dose ilegal,
09:21
but very much at the high end of normal.
236
546000
2000
mas muito na fronteira do normal.
09:23
And so you're bound to make your new drug look better.
237
548000
3000
E está tentado a fazer a sua droga parecer melhor.
09:26
And so it's no surprise that overall,
238
551000
3000
E portanto, não é surpresa nenhuma que no global,
09:29
industry-funded trials
239
554000
2000
os ensaios financiados pela industria
09:31
are four times more likely to give a positive result
240
556000
2000
tenham quatro vezes mais probabilidades de dar resultado positivo
09:33
than independently sponsored trials.
241
558000
3000
que os ensaios de patrocinio independente.
09:36
But -- and it's a big but --
242
561000
3000
Mas -- e é um grande mas --
09:39
(Laughter)
243
564000
2000
(Risos)
09:41
it turns out,
244
566000
2000
verifica-se que,
09:43
when you look at the methods used by industry-funded trials,
245
568000
3000
quando se vê os métodos utilizados pelos ensaios financiados pela industria,
09:46
that they're actually better
246
571000
2000
são realmente melhores
09:48
than independently sponsored trials.
247
573000
2000
que os de patrocinio independente.
09:50
And yet, they always manage to to get the result that they want.
248
575000
3000
e no entanto, conseguem sempre ter o resultado que lhes interessa.
09:53
So how does this work?
249
578000
2000
Então como funciona isto?
09:55
How can we explain this strange phenomenon?
250
580000
3000
Como podemos explicar este estranho fenómeno?
09:58
Well it turns out that what happens
251
583000
2000
Bom, parece que o que acontece
10:00
is the negative data goes missing in action;
252
585000
2000
é que a informação negativa desaparece em combate;
10:02
it's withheld from doctors and patients.
253
587000
2000
é escondida dos médicos e pacientes.
10:04
And this is the most important aspect of the whole story.
254
589000
2000
E este é o aspecto mais importante de toda a história.
10:06
It's at the top of the pyramid of evidence.
255
591000
2000
está no topo da pirâmide de provas.
10:08
We need to have all of the data on a particular treatment
256
593000
3000
Necessitamos de todos os dados de um tratamento em particular
10:11
to know whether or not it really is effective.
257
596000
2000
para saber se é realmente eficaz ou não.
10:13
And there are two different ways that you can spot
258
598000
2000
E existem duas maneiras diferentes para se detectar
10:15
whether some data has gone missing in action.
259
600000
2000
se alguma informação desapareceu em combate.
10:17
You can use statistics, or you can use stories.
260
602000
3000
Pode usar-se as estatísticas, ou podem usar-se casos.
10:20
I personally prefer statistics, so that's what I'm going to do first.
261
605000
2000
Pessoalmente prefiro as estatísticas, por isso é o que vou fazer primeiro.
10:22
This is something called funnel plot.
262
607000
2000
Isto é uma coisa chamada enredo funil.
10:24
And a funnel plot is a very clever way of spotting
263
609000
2000
E um enredo funil é uma forma muito inteligente de detectar
10:26
if small negative trials have disappeared, have gone missing in action.
264
611000
3000
se pequenos ensaios negativos desapareceram, se se perderam em combate.
10:29
So this is a graph of all of the trials
265
614000
2000
então, isto é um gráfico de todos os ensaios
10:31
that have been done on a particular treatment.
266
616000
2000
que foram feitos para determinado tratamento.
10:33
And as you go up towards the top of the graph,
267
618000
2000
E à medida que nos aproximamos do topo do gráfico,
10:35
what you see is each dot is a trial.
268
620000
2000
o que vemos é que cada ponto é um ensaio.
10:37
And as you go up, those are the bigger trials, so they've got less error in them.
269
622000
3000
E à medida que subimos, aqueles são os ensaios maiores, por isso têm menos erros.
10:40
So they're less likely to be randomly false positives, randomly false negatives.
270
625000
3000
Por isso é menos provável que hajam ao acaso falsos positivos, ou falsos negativos.
10:43
So they all cluster together.
271
628000
2000
Então todos se agrupam.
10:45
The big trials are closer to the true answer.
272
630000
2000
Os grandes ensaios estão mais perto da verdadeira resposta.
10:47
Then as you go further down at the bottom,
273
632000
2000
Então à medida que descemos até ao fundo,
10:49
what you can see is, over on this side, the spurious false negatives,
274
634000
3000
o que se pode ver, deste lado,são falsos negativos fraudulentos,
10:52
and over on this side, the spurious false positives.
275
637000
2000
e deste lado, os falsos positivos fraudulentos.
10:54
If there is publication bias,
276
639000
2000
Se existe influência na publicação,
10:56
if small negative trials have gone missing in action,
277
641000
3000
se pequenos ensaios negativos desapareceram,
10:59
you can see it on one of these graphs.
278
644000
2000
pode-se vê-lo num destes gráficos.
11:01
So you can see here that the small negative trials
279
646000
2000
Então pode ver-se aqui que os pequenos ensaios negativos
11:03
that should be on the bottom left have disappeared.
280
648000
2000
que deviam estar ao fundo à esquerda, desapareceram.
11:05
This is a graph demonstrating the presence of publication bias
281
650000
3000
Este é um gráfico que demonstra a presença de influência na publicação
11:08
in studies of publication bias.
282
653000
2000
em estudos de influência na publicação.
11:10
And I think that's the funniest epidemiology joke
283
655000
2000
E eu acho-a a piada mais engraçada sobre epidemiologia
11:12
that you will ever hear.
284
657000
2000
que alguma vez ouvirão.
11:14
That's how you can prove it statistically,
285
659000
2000
É assim que se consegue prová-lo estatisticamente,
11:16
but what about stories?
286
661000
2000
mas e quanto aos casos?
11:18
Well they're heinous, they really are.
287
663000
2000
Bem, são odiosos, são mesmo.
11:20
This is a drug called reboxetine.
288
665000
2000
Esta é uma droga chamada reboxetine.
11:22
This is a drug that I myself have prescribed to patients.
289
667000
2000
Esta é uma droga que eu próprio prescrevi a pacientes.
11:24
And I'm a very nerdy doctor.
290
669000
2000
E eu sou um médico muito picuinhas.
11:26
I hope I try to go out of my way to try and read and understand all the literature.
291
671000
3000
Eu espero sempre ser capaz de ler e perceber toda a literatura.
11:29
I read the trials on this. They were all positive. They were all well-conducted.
292
674000
3000
Eu li os ensaios a respeito disto.Foram todos positivos. Foram todos bem conduzidos.
11:32
I found no flaw.
293
677000
2000
Não encontrei nenhuma falha.
11:34
Unfortunately, it turned out,
294
679000
2000
Infelizmente, tal como se verificou,
11:36
that many of these trials were withheld.
295
681000
2000
a maioria destes ensaios foram omitidos.
11:38
In fact, 76 percent
296
683000
2000
Na verdade, 76 por cento
11:40
of all of the trials that were done on this drug
297
685000
2000
de todos os ensaios que foram feitos a esta droga
11:42
were withheld from doctors and patients.
298
687000
2000
foram omitidos aos médicos e pacientes.
11:44
Now if you think about it,
299
689000
2000
Agora se se pensar nisso,
11:46
if I tossed a coin a hundred times,
300
691000
2000
se eu atirasse uma moeda ao ar cem vezes,
11:48
and I'm allowed to withhold from you
301
693000
2000
e é-me permitido omitir-vos
11:50
the answers half the times,
302
695000
2000
os resultados metade das vezes,
11:52
then I can convince you
303
697000
2000
então posso convencer-vos
11:54
that I have a coin with two heads.
304
699000
2000
que tenho uma moeda com duas caras.
11:56
If we remove half of the data,
305
701000
2000
Se removermos metade da informação,
11:58
we can never know what the true effect size of these medicines is.
306
703000
3000
nunca podemos saber qual o verdadeiro efeito destes medicamentos.
12:01
And this is not an isolated story.
307
706000
2000
E este não é um caso isolado.
12:03
Around half of all of the trial data on antidepressants has been withheld,
308
708000
4000
Cerca de metade de toda informação de ensaios sobre antidepressivos foi omitida,
12:07
but it goes way beyond that.
309
712000
2000
mas vai ainda mais longe.
12:09
The Nordic Cochrane Group were trying to get a hold of the data on that
310
714000
2000
O Grupo Nordic Cochrane tentava pôr as mãos em toda essa informação
12:11
to bring it all together.
311
716000
2000
para a reunir num só lugar.
12:13
The Cochrane Groups are an international nonprofit collaboration
312
718000
3000
Os Grupos Cochrane são uma colaboração internacional sem fins lucrativos
12:16
that produce systematic reviews of all of the data that has ever been shown.
313
721000
3000
que produz análises sistemáticas de toda a informação que alguma vez foi criada.
12:19
And they need to have access to all of the trial data.
314
724000
3000
E eles necessitam de ter acesso a toda a informação ensaística.
12:22
But the companies withheld that data from them,
315
727000
3000
Mas as companhias omitiram-lhes essa informação,
12:25
and so did the European Medicines Agency
316
730000
2000
tal como a Agência de Medicamentos Europeia
12:27
for three years.
317
732000
2000
durante três anos.
12:29
This is a problem that is currently lacking a solution.
318
734000
3000
Este é um problema actualmente sem solução.
12:32
And to show how big it goes, this is a drug called Tamiflu,
319
737000
3000
E para vos mostrar o tamanho do problema, esta é uma droga chamada Tamiflu,
12:35
which governments around the world
320
740000
2000
em que governos em todo o mundo
12:37
have spent billions and billions of dollars on.
321
742000
2000
têm gasto biliões e biliões de dólares.
12:39
And they spend that money on the promise
322
744000
2000
E gastam esse dinheiro na premissa
12:41
that this is a drug which will reduce the rate
323
746000
2000
de que esta droga reduzirá a taxa
12:43
of complications with flu.
324
748000
2000
de complicações com a gripe.
12:45
We already have the data
325
750000
2000
Nós já temos a informação
12:47
showing that it reduces the duration of your flu by a few hours.
326
752000
2000
que revela que ela reduz a duração da vossa gripe em algumas horas.
12:49
But I don't really care about that. Governments don't care about that.
327
754000
2000
Mas isso não me interessa. Os Governos não querem saber disso.
12:51
I'm very sorry if you have the flu, I know it's horrible,
328
756000
3000
Lamento muito que tenham gripe, eu sei que é terrível,
12:54
but we're not going to spend billions of dollars
329
759000
2000
mas não vamos gastar biliões de dólares
12:56
trying to reduce the duration of your flu symptoms
330
761000
2000
a tentar reduzir a duração dos vossos sintomas da gripe
12:58
by half a day.
331
763000
2000
em meio dia.
13:00
We prescribe these drugs, we stockpile them for emergencies
332
765000
2000
Prescrevemos estas drogas, armazenamo-las para emergências
13:02
on the understanding that they will reduce the number of complications,
333
767000
2000
na suposição de que elas reduzirão o número de complicações,
13:04
which means pneumonia and which means death.
334
769000
3000
que significa pneumonia e que significa morte.
13:07
The infectious diseases Cochrane Group, which are based in Italy,
335
772000
3000
O Grupo Cochrane sobre doenças infecciosas, com base em Itália,
13:10
has been trying to get
336
775000
2000
tem tentado obter
13:12
the full data in a usable form out of the drug companies
337
777000
3000
toda a informação numa forma útil das companhias farmacêuticas
13:15
so that they can make a full decision
338
780000
3000
para poderem tomar uma decisão completa
13:18
about whether this drug is effective or not,
339
783000
2000
sobre se esta droga é eficiente ou não,
13:20
and they've not been able to get that information.
340
785000
3000
e eles não têm conseguido obter essa informação.
13:23
This is undoubtedly
341
788000
2000
Isto é, sem dúvida
13:25
the single biggest ethical problem
342
790000
3000
o mais importante problema ético
13:28
facing medicine today.
343
793000
2000
com que a medicina se depara hoje em dia.
13:30
We cannot make decisions
344
795000
3000
Não podemos tomar decisões
13:33
in the absence of all of the information.
345
798000
4000
sem toda a informação.
13:37
So it's a little bit difficult from there
346
802000
3000
Por isso é um pouco difícil neste ponto
13:40
to spin in some kind of positive conclusion.
347
805000
4000
produzir algum tipo de conclusão positiva.
13:44
But I would say this:
348
809000
4000
Mas eu diria isto:
13:48
I think that sunlight
349
813000
3000
Eu penso que a luz do sol
13:51
is the best disinfectant.
350
816000
2000
é o melhor desinfectante.
13:53
All of these things are happening in plain sight,
351
818000
3000
Todas estas coisas se estão a passar à vista desarmada,
13:56
and they're all protected
352
821000
2000
e estão todos protegidos
13:58
by a force field of tediousness.
353
823000
3000
por uma força de tédio.
14:01
And I think, with all of the problems in science,
354
826000
2000
E eu penso que, com todos os problemas na ciência,
14:03
one of the best things that we can do
355
828000
2000
uma das melhores coisas que podemos fazer
14:05
is to lift up the lid,
356
830000
2000
é destapar a tampa,
14:07
finger around in the mechanics and peer in.
357
832000
2000
apontar mecanismos e trabalhar em conjunto.
14:09
Thank you very much.
358
834000
2000
Muito obrigado.
14:11
(Applause)
359
836000
3000
(Aplausos)
ABOUT THE SPEAKER
Ben Goldacre - DebunkerBen Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.
Why you should listen
"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.
Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)
As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."
Ben Goldacre | Speaker | TED.com