ABOUT THE SPEAKER
Peter Donnelly - Mathematician; statistician
Peter Donnelly is an expert in probability theory who applies statistical methods to genetic data -- spurring advances in disease treatment and insight on our evolution. He's also an expert on DNA analysis, and an advocate for sensible statistical analysis in the courtroom.

Why you should listen

Peter Donnelly applies statistical methods to real-world problems, ranging from DNA analysis (for criminal trials), to the treatment of genetic disorders. A mathematician who collaborates with biologists, he specializes in applying probability and statistics to the field of genetics, in hopes of shedding light on evolutionary history and the structure of the human genome.

The Australian-born, Oxford-based mathematician is best known for his work in molecular evolution (tracing the roots of human existence to their earliest origins using the mutation rates of mitochondrial DNA). He studies genetic distributions in living populations to trace human evolutionary history -- an approach that informs research in evolutionary biology, as well as medical treatment for genetic disorders. Donnelly is a key player in the International HapMap Project, an ongoing international effort to model human genetic variation and pinpoint the genes responsible for specific aspects of health and disease; its implications for disease prevention and treatment are vast.

He's also a leading expert on DNA analysis and the use of forensic science in criminal trials; he's an outspoken advocate for bringing sensible statistical analysis into the courtroom. Donnelly leads Oxford University's Mathematical Genetics Group, which conducts research in genetic modeling, human evolutionary history, and forensic DNA profiling. He is also serves as Director of the Wellcome Trust Centre for Human Genetics at Oxford University, which explores the genetic relationships to disease and illness. 

More profile about the speaker
Peter Donnelly | Speaker | TED.com
TEDGlobal 2005

Peter Donnelly: How juries are fooled by statistics

Peter Donnelly spiega come le statistiche possano indurre le giurie in errore.

Filmed:
1,279,860 views

Il matematico oxfordiano Peter Donnelly rivela i più comuni errori che le persone compiono interpretando le statistiche... e come questi possano avere effetti devastanti in un processo giudiziario.
- Mathematician; statistician
Peter Donnelly is an expert in probability theory who applies statistical methods to genetic data -- spurring advances in disease treatment and insight on our evolution. He's also an expert on DNA analysis, and an advocate for sensible statistical analysis in the courtroom. Full bio

Double-click the English transcript below to play the video.

00:25
As other speakersAltoparlanti have said, it's a ratherpiuttosto dauntingscoraggiante experienceEsperienza --
0
0
2000
Come gli altri conferenzieri hanno detto, è un'esperienza piuttosto emozionante...
00:27
a particularlysoprattutto dauntingscoraggiante experienceEsperienza -- to be speakingA proposito di in frontdavanti of this audiencepubblico.
1
2000
3000
davvero molto emozionante... parlare di fronte a quest'audience.
00:30
But unlikea differenza di the other speakersAltoparlanti, I'm not going to tell you about
2
5000
3000
Ma a differenza degli altri studiosi, non vi parlerò
00:33
the mysteriesmisteri of the universeuniverso, or the wondersmeraviglie of evolutionEvoluzione,
3
8000
2000
dei misteri dell'universo, o del miracolo dell'evoluzione,
00:35
or the really cleverintelligente, innovativeinnovativo waysmodi people are attackingattaccare
4
10000
4000
o dei modi innovativi e saggi con cui oggi le persone combattono
00:39
the majormaggiore inequalitiesdisuguaglianze in our worldmondo.
5
14000
2000
le più grandi ingiustizie del nostro mondo.
00:41
Or even the challengessfide of nation-statesStati nazionali in the modernmoderno globalglobale economyeconomia.
6
16000
5000
Non parlerò neppure dei cambiamenti degli stati nazionali nella nuova economia globale.
00:46
My briefbreve, as you've just heardsentito, is to tell you about statisticsstatistica --
7
21000
4000
Come avete appena sentito, il mio compito oggi è dirvi qualcosa sulle statistiche...
00:50
and, to be more precisepreciso, to tell you some excitingemozionante things about statisticsstatistica.
8
25000
3000
e, per essere precisi, dire qualcosa di eccitante sulle statistiche.
00:53
And that's --
9
28000
1000
E questo...
00:54
(LaughterRisate)
10
29000
1000
(Risate)
00:55
-- that's ratherpiuttosto more challengingstimolante
11
30000
2000
è addirittura più impegnativo
00:57
than all the speakersAltoparlanti before me and all the onesquelli comingvenuta after me.
12
32000
2000
di tutti gli oratori che anno parlato prima e che parleranno dopo di me.
00:59
(LaughterRisate)
13
34000
1000
(Risate)
01:01
One of my senioranziano colleaguescolleghi told me, when I was a youngstergiovanotto in this professionprofessione,
14
36000
5000
Quando ero ancora un novellino in questo campo, uno dei miei colleghi più anziani mi disse,
01:06
ratherpiuttosto proudlyorgoglio, that statisticiansstatistici were people who likedè piaciuto figuresfigure
15
41000
4000
piuttosto orgoglioso, che gli esperti di statistica sono persone a cui piacciono i numeri
01:10
but didn't have the personalitypersonalità skillsabilità to becomediventare accountantscommercialisti.
16
45000
3000
ma che non posseggono le abilità sociali giuste per diventare contabili.
01:13
(LaughterRisate)
17
48000
2000
(Risate)
01:15
And there's anotherun altro in-jokein-scherzo amongtra statisticiansstatistici, and that's,
18
50000
3000
Ci sarebbe un'altra battuta, cioè
01:18
"How do you tell the introvertedintroverso statisticianesperto di statistica from the extrovertedestroverso statisticianesperto di statistica?"
19
53000
3000
"Da cosa si riconosce un esperto di statistica introverso da uno estroverso?"
01:21
To whichquale the answerrisposta is,
20
56000
2000
La risposta è questa,
01:23
"The extrovertedestroverso statistician'sstatistico di the one who lookssembra at the other person'spersona di shoesscarpe."
21
58000
5000
"L'estroverso è quello che guarda le scarpe di chi gli è di fronte."
01:28
(LaughterRisate)
22
63000
3000
(Risate)
01:31
But I want to tell you something usefulutile -- and here it is, so concentrateconcentrarsi now.
23
66000
5000
Ma ora vorrei raccontarvi qualcosa di utile... eccoci, provate a concentrarvi.
01:36
This eveningsera, there's a receptionricezione in the University'sDell'Università MuseumMuseo of NaturalNaturale HistoryStoria.
24
71000
3000
Stasera ci sarà un ricevimento al Museo Universitario di Storia Naturale.
01:39
And it's a wonderfulmeraviglioso settingambientazione, as I hopesperanza you'llpotrai find,
25
74000
2000
E' un luogo meraviglioso, spero possa piacere anche a voi,
01:41
and a great iconicona to the bestmigliore of the VictorianVittoriano traditiontradizione.
26
76000
5000
un'icona della migliore tradizione vittoriana.
01:46
It's very unlikelyimprobabile -- in this specialspeciale settingambientazione, and this collectioncollezione of people --
27
81000
5000
E' piuttosto improbabile... in questo luogo particolare, e con questo tipo di persone...
01:51
but you mightpotrebbe just find yourselfte stesso talkingparlando to someonequalcuno you'dfaresti ratherpiuttosto wishdesiderio that you weren'tnon erano.
28
86000
3000
ma potreste ritrovarvi a parlare con qualcuno anche se sperereste il contrario.
01:54
So here'secco what you do.
29
89000
2000
Ed ecco quello che fareste-
01:56
When they say to you, "What do you do?" -- you say, "I'm a statisticianesperto di statistica."
30
91000
4000
Quando vi chiederanno "Di cosa ti occupi?"... risponderete: "Di statistica".
02:00
(LaughterRisate)
31
95000
1000
(Risate)
02:01
Well, excepttranne they'veessi hanno been pre-warnedpre-avvertito now, and they'llfaranno know you're makingfabbricazione it up.
32
96000
4000
Beh, a parte il fatto che ora saranno preavvisati, quindi sapranno che cosa gli svelerete.
02:05
And then one of two things will happenaccadere.
33
100000
2000
E ora la scelta è fra due possibilità.
02:07
They'llChe faranno eithero discoverscoprire theirloro long-losttempo perduto cousincugino in the other cornerangolo of the roomcamera
34
102000
2000
Potrebbero avvistare il cugino di quinto grado dall'altra parte della stanza
02:09
and runcorrere over and talk to them.
35
104000
2000
e correre da lui per salutarlo.
02:11
Or they'llfaranno suddenlyad un tratto becomediventare parchedarrostito and/or hungryAffamato -- and oftenspesso bothentrambi --
36
106000
3000
Oppure potrebbe immediatamente sentirsi assetati e/o affamati... di solito entrambe le cose...
02:14
and sprintsprint off for a drinkbere and some foodcibo.
37
109000
2000
e lanciarsi alla ricerca di qualcosa da bere e da mangiare.
02:16
And you'llpotrai be left in peacepace to talk to the personpersona you really want to talk to.
38
111000
4000
A questo punto, sarete lasciati in pace a chiacchierare con la persona con cui volevate davvero parlare.
02:20
It's one of the challengessfide in our professionprofessione to try and explainspiegare what we do.
39
115000
3000
Una delle vere sfide nel nostro lavoro è provare a spiegare quello che facciamo.
02:23
We're not topsuperiore on people'spersone di listsliste for dinnercena partypartito guestsospiti and conversationsconversazioni and so on.
40
118000
5000
Non siamo nella lista d'onore per essere invitati ad una cena o per fare conversazione.
02:28
And it's something I've never really foundtrovato a good way of doing.
41
123000
2000
Queste sono cose in cui non sono mai riuscito troppo bene.
02:30
But my wifemoglie -- who was then my girlfriendfidanzata --
42
125000
3000
Ma mia moglie... che è stata anche la mia fidanzata...
02:33
managedgestito it much better than I've ever been ablecapace to.
43
128000
3000
affrontava la questione molto meglio di quanto abbia mai fatto io.
02:36
ManyMolti yearsanni agofa, when we first startediniziato going out, she was workinglavoro for the BBCBBC in BritainGran Bretagna,
44
131000
3000
Molti anni fa, quando abbiamo iniziato ad uscire insieme, lavorava per la BBC in Inghilterra
02:39
and I was, at that stagepalcoscenico, workinglavoro in AmericaAmerica.
45
134000
2000
mentre io, in quel periodo, lavoravo in America.
02:41
I was comingvenuta back to visitvisita her.
46
136000
2000
Tornavo per andare a trovarla.
02:43
She told this to one of her colleaguescolleghi, who said, "Well, what does your boyfriendfidanzato do?"
47
138000
6000
Ecco quello che ha risposto ad un suo collega che le aveva chiesto "Beh, di che cosa si occupa il tuo ragazzo?"
02:49
SarahSarah thought quiteabbastanza harddifficile about the things I'd explainedha spiegato --
48
144000
2000
Sarah si mise a pensare a fondo alle cose che le avevo detto...
02:51
and she concentratedconcentrato, in those daysgiorni, on listeningascoltando.
49
146000
4000
e si concentrò, in quel periodo, ad ascoltarmi.
02:55
(LaughterRisate)
50
150000
2000
(Risate)
02:58
Don't tell her I said that.
51
153000
2000
Ma non raccontatele che ve l'ho detto.
03:00
And she was thinkingpensiero about the work I did developingin via di sviluppo mathematicalmatematico modelsModelli
52
155000
4000
Ragionò sul lavoro che stavo facendo per sviluppare modelli matematici
03:04
for understandingcomprensione evolutionEvoluzione and modernmoderno geneticsgenetica.
53
159000
3000
per la comprensione dell'evoluzione e della genetica moderna.
03:07
So when her colleaguecollega said, "What does he do?"
54
162000
3000
Quindi quando il suo collega le chiese "Di cosa si occupa?"
03:10
She pausedin pausa and said, "He modelsModelli things."
55
165000
4000
aspettò un momento e rispose "Modella le cose".
03:14
(LaughterRisate)
56
169000
1000
(Risate)
03:15
Well, her colleaguecollega suddenlyad un tratto got much more interestedinteressato than I had any right to expectaspettarsi
57
170000
4000
Bene, il collega tutto d'un tratto diventò molto più interessato di quanto avrei mai sospettato
03:19
and wentandato on and said, "What does he modelmodello?"
58
174000
3000
e continuò chiedendo "E cosa modella?"
03:22
Well, SarahSarah thought a little bitpo more about my work and said, "GenesGeni."
59
177000
3000
Ora, Sarah ci pensò ancora un attimo e disse "I geni".
03:25
(LaughterRisate)
60
180000
4000
(Risate)
03:29
"He modelsModelli genesgeni."
61
184000
2000
"Modella i geni."
03:31
That is my first love, and that's what I'll tell you a little bitpo about.
62
186000
4000
Questo è stato il mio primo amore, e di cui vi parlerò per un po'.
03:35
What I want to do more generallygeneralmente is to get you thinkingpensiero about
63
190000
4000
In generale, mi piacerebbe che ragionassimo insieme
03:39
the placeposto of uncertaintyincertezza and randomnesscasualità and chanceopportunità in our worldmondo,
64
194000
3000
su come il nostro mondo sia un luogo di incertezza, casualità e opportunità
03:42
and how we reactreagire to that, and how well we do or don't think about it.
65
197000
5000
e quale sia la nostra reazione riguardo, e come pensiamo o non pensiamo a questo.
03:47
So you've had a prettybella easyfacile time up tillfino now --
66
202000
2000
Avete passato dei bei momenti...
03:49
a fewpochi laughsride, and all that kindgenere of thing -- in the talkstrattativa to dateData.
67
204000
2000
qualche risata, questo tipo di cose... durante questa conferenza.
03:51
You've got to think, and I'm going to askChiedere you some questionsle domande.
68
206000
3000
Dovrete riflettere, e io vi farò qualche domanda.
03:54
So here'secco the scenescena for the first questiondomanda I'm going to askChiedere you.
69
209000
2000
Ecco lo scenario per la mia prima domanda.
03:56
Can you imagineimmaginare tossingsballottamento a coinmoneta successivelysuccessivamente?
70
211000
3000
Riuscite ad immaginarvi mentre lanciate una moneta di continuo?
03:59
And for some reasonragionare -- whichquale shalldeve remainrimanere ratherpiuttosto vaguevago --
71
214000
3000
E per qualche ragione... che rimarrà piuttosto vaga...
04:02
we're interestedinteressato in a particularparticolare patternmodello.
72
217000
2000
siamo interessati ad un aspetto in particolare.
04:04
Here'sQui è one -- a headcapo, followedseguita by a tailcoda, followedseguita by a tailcoda.
73
219000
3000
Ad esempio... testa, poi croce, poi ancora croce.
04:07
So supposesupporre we tossscossa a coinmoneta repeatedlyripetutamente.
74
222000
3000
Immaginiamo di lanciare la moneta.
04:10
Then the patternmodello, head-tail-tailtesta-coda-coda, that we'venoi abbiamo suddenlyad un tratto becomediventare fixatedfissata with happensaccade here.
75
225000
5000
A questo punto il modello testa-croce-croce su cui ci eravamo improvvisamente concentrati si ripete.
04:15
And you can countcontare: one, two, threetre, fourquattro, fivecinque, sixsei, sevenSette, eightotto, ninenove, 10 --
76
230000
4000
E voi potete contare: uno, due, tre, quattro, cinque, sei, sette, otto, nove, dieci...
04:19
it happensaccade after the 10thesimo tossscossa.
77
234000
2000
Si ripete dopo il decimo lancio.
04:21
So you mightpotrebbe think there are more interestinginteressante things to do, but humorumorismo me for the momentmomento.
78
236000
3000
Ora, potreste pensare che ci siano cose decisamente più interessanti da fare, ma fatemi felice per un istante.
04:24
ImagineImmaginate this halfmetà of the audiencepubblico eachogni get out coinsmonete, and they tossscossa them
79
239000
4000
Immaginate che ognuno in questa metà del pubblico tiri fuori delle monete e le lanci
04:28
untilfino a they first see the patternmodello head-tail-tailtesta-coda-coda.
80
243000
3000
fino a vedere la sequenza testa-croce-croce.
04:31
The first time they do it, maybe it happensaccade after the 10thesimo tossscossa, as here.
81
246000
2000
La prima volta che si presenta potrebbe essere dopo 10 tiri, come nel nostro caso.
04:33
The secondsecondo time, maybe it's after the fourthil quarto tossscossa.
82
248000
2000
La seconda forse dopo il quarto.
04:35
The nextIl prossimo time, after the 15thesimo tossscossa.
83
250000
2000
La volta successiva dopo 15.
04:37
So you do that lots and lots of timesvolte, and you averagemedia those numbersnumeri.
84
252000
3000
Quindi lo fate un sacco di volte, e otterreste questi numeri.
04:40
That's what I want this sidelato to think about.
85
255000
3000
E' questo di cui chiedo a questa parte del pubblico di pensare.
04:43
The other halfmetà of the audiencepubblico doesn't like head-tail-tailtesta-coda-coda --
86
258000
2000
Diciamo che all'altra metà la combinazione testa-croce-croce non piaccia...
04:45
they think, for deepin profondità culturalculturale reasonsmotivi, that's boringnoioso --
87
260000
3000
a causa di profonde ragioni culturali pensano sia noiosa...
04:48
and they're much more interestedinteressato in a differentdiverso patternmodello -- head-tail-headtesta-coda-testa.
88
263000
3000
e trovano decisamente più interessante un'altra combinazione... testa-croce-testa.
04:51
So, on this sidelato, you get out your coinsmonete, and you tossscossa and tossscossa and tossscossa.
89
266000
3000
Quindi, da questa parte, tirate fuori monete per poi lanciare e lanciare e ancora lanciare.
04:54
And you countcontare the numbernumero of timesvolte untilfino a the patternmodello head-tail-headtesta-coda-testa appearsappare
90
269000
3000
Poi contate il numero di lanci prima che si verifichi testa-croce-testa
04:57
and you averagemedia them. OK?
91
272000
3000
e fate la media. D'accordo?
05:00
So on this sidelato, you've got a numbernumero --
92
275000
2000
Da quest'altra parte, avete un numero...
05:02
you've donefatto it lots of timesvolte, so you get it accuratelycon precisione --
93
277000
2000
l'avete ripetuto molte volte, quindi è preciso...
05:04
whichquale is the averagemedia numbernumero of tosseslanci untilfino a head-tail-tailtesta-coda-coda.
94
279000
3000
che è la media di lanci prima di ottenere testa-croce-croce.
05:07
On this sidelato, you've got a numbernumero -- the averagemedia numbernumero of tosseslanci untilfino a head-tail-headtesta-coda-testa.
95
282000
4000
Invece il numero che ottenete voi... la media di lanci per testa-croce-testa.
05:11
So here'secco a deepin profondità mathematicalmatematico factfatto --
96
286000
2000
E qui abbiamo un'importante verità matematica...
05:13
if you've got two numbersnumeri, one of threetre things mustdovere be truevero.
97
288000
3000
quando avete due numeri, uno di questi tre fatti è vero per forza.
05:16
EitherEntrambi they're the samestesso, or this one'suno è biggerpiù grande than this one,
98
291000
3000
O sono uguali, o il primo è maggiore,
05:19
or this one'suno è biggerpiù grande than that one.
99
294000
1000
o è il secondo a essere maggiore.
05:20
So what's going on here?
100
295000
3000
E nel nostro caso cosa succede?
05:23
So you've all got to think about this, and you've all got to votevotazione --
101
298000
2000
Ora, pensate a questo, e poi dovrete votare...
05:25
and we're not movingin movimento on.
102
300000
1000
e non andremo avanti senza farlo.
05:26
And I don't want to endfine up in the two-minutedue minuti silencesilenzio
103
301000
2000
E non voglio neanche cadere nei due minuti di silenzio
05:28
to give you more time to think about it, untilfino a everyone'sdi tutti expressedespresso a viewvista. OK.
104
303000
4000
per darvi altro tempo per pensarci, finché tutti non avranno espresso il loro parere. Bene.
05:32
So what you want to do is compareconfrontare the averagemedia numbernumero of tosseslanci untilfino a we first see
105
307000
4000
Quello che dovreste fare è paragonare la media del numero di lanci fino ad ottenere
05:36
head-tail-headtesta-coda-testa with the averagemedia numbernumero of tosseslanci untilfino a we first see head-tail-tailtesta-coda-coda.
106
311000
4000
testa-croce-testa con la media di testa-croce-croce.
05:41
Who thinkspensa that A is truevero --
107
316000
2000
Chi pensa che la proposta A sia corretta...
05:43
that, on averagemedia, it'llsara take longerpiù a lungo to see head-tail-headtesta-coda-testa than head-tail-tailtesta-coda-coda?
108
318000
4000
cioè, che secondo la media, impiegheremo più lanci per testa-croce-testa che per testa-croce-croce?
05:47
Who thinkspensa that B is truevero -- that on averagemedia, they're the samestesso?
109
322000
3000
E chi pensa che la corretta sia la B... secondo la media, sono due numeri uguali?
05:51
Who thinkspensa that C is truevero -- that, on averagemedia, it'llsara take lessDi meno time
110
326000
2000
Chi crede che C sia giusta... secondo la media, ci si impiega di meno
05:53
to see head-tail-headtesta-coda-testa than head-tail-tailtesta-coda-coda?
111
328000
3000
per ottenere testa-croce-testa che testa-croce-croce?
05:57
OK, who hasn'tnon ha votedvotato yetancora? Because that's really naughtycattivo -- I said you had to.
112
332000
3000
Bene, e chi è che non ha ancora votato? Siete davvero disubbidienti... vi ho detto che dovete votare.
06:00
(LaughterRisate)
113
335000
1000
(Risate)
06:02
OK. So mostmaggior parte people think B is truevero.
114
337000
3000
Allora, la maggioranza delle persone pensano che sia corretta la proposta B.
06:05
And you mightpotrebbe be relievedsollevato to know even ratherpiuttosto distinguisheddistinto mathematiciansmatematici think that.
115
340000
3000
A spero siate sollevati dal fatto che anche i matematici più illustri pensano sia così.
06:08
It's not. A is truevero here.
116
343000
4000
Solo che non è vero. La risposta corretta è A.
06:12
It takes longerpiù a lungo, on averagemedia.
117
347000
2000
Considerando la media, si impiegano tempi diversi.
06:14
In factfatto, the averagemedia numbernumero of tosseslanci tillfino head-tail-headtesta-coda-testa is 10
118
349000
2000
Infatti, la media di lanci prima di testa-croce-testa è 10
06:16
and the averagemedia numbernumero of tosseslanci untilfino a head-tail-tailtesta-coda-coda is eightotto.
119
351000
5000
mentre la media per testa-croce-croce è 8.
06:21
How could that be?
120
356000
2000
Come può essere possibile?
06:24
Anything differentdiverso about the two patternsmodelli?
121
359000
3000
C'è qualcosa di diverso nelle due combinazioni?
06:30
There is. Head-tail-headTesta-croce-testa overlapssovrapposizioni itselfsi.
122
365000
5000
In effetti, sì. Testa-croce-testa si sovrappone.
06:35
If you wentandato head-tail-head-tail-headtesta-coda-testa-coda-testa, you can cunninglyastutamente get two occurrencesoccorrenze
123
370000
4000
Se vi trovate testa-croce-testa-croce-testa, riuscirete a trovare facilmente per due volte
06:39
of the patternmodello in only fivecinque tosseslanci.
124
374000
3000
la combinazione in solo cinque lanci.
06:42
You can't do that with head-tail-tailtesta-coda-coda.
125
377000
2000
Ma non ci riuscirete con testa-croce-croce.
06:44
That turnsgiri out to be importantimportante.
126
379000
2000
E questo alla fine è importante.
06:46
There are two waysmodi of thinkingpensiero about this.
127
381000
2000
Ci sono due interpretazioni possibili per questo fatto.
06:48
I'll give you one of them.
128
383000
2000
Ora ve ne spiego una.
06:50
So imagineimmaginare -- let's supposesupporre we're doing it.
129
385000
2000
Immaginiamo... diciamo che state facendo la stessa cosa di prima.
06:52
On this sidelato -- rememberricorda, you're excitedemozionato about head-tail-tailtesta-coda-coda;
130
387000
2000
Da questa parte... vi ricordate, vi interessa testa-croce-croce,
06:54
you're excitedemozionato about head-tail-headtesta-coda-testa.
131
389000
2000
e a voi testa-croce-testa.
06:56
We startinizio tossingsballottamento a coinmoneta, and we get a headcapo --
132
391000
3000
Lanciamo una moneta, e viene fuori testa...
06:59
and you startinizio sittingseduta on the edgebordo of your seatposto a sedere
133
394000
1000
ora siete aggrappati al bordo delle vostre poltroncine
07:00
because something great and wonderfulmeraviglioso, or awesomeeccezionale, mightpotrebbe be about to happenaccadere.
134
395000
5000
perché qualcosa di magico e meraviglioso, di splendido, potrebbe accadere.
07:05
The nextIl prossimo tossscossa is a tailcoda -- you get really excitedemozionato.
135
400000
2000
Ora lanciamo di nuovo e esce croce... siete tutti molto emozionati.
07:07
The champagne'schampagne di on iceghiaccio just nextIl prossimo to you; you've got the glassesbicchieri chilledrefrigerata to celebratecelebrare.
136
402000
4000
Lo champagne è nella ghiacciaia vicino a voi, e i bicchieri sono pronti per brindare.
07:11
You're waitingin attesa with batedsospeso breathrespiro for the finalfinale tossscossa.
137
406000
2000
Aspettate l'ultimo lancio trattenendo il respiro.
07:13
And if it comesviene down a headcapo, that's great.
138
408000
2000
E se esce testa, è perfetto.
07:15
You're donefatto, and you celebratecelebrare.
139
410000
2000
Ce l'avrete fatta e inizierete a festeggiare.
07:17
If it's a tailcoda -- well, ratherpiuttosto disappointedlydisappointedly, you put the glassesbicchieri away
140
412000
2000
Se invece è croce... beh, con disappunto dovrete mettere via i bicchieri
07:19
and put the champagneChampagne back.
141
414000
2000
e riporre lo champagne.
07:21
And you keep tossingsballottamento, to wait for the nextIl prossimo headcapo, to get excitedemozionato.
142
416000
3000
E continuerete a lanciare, aspettando testa, per emozionarvi di nuovo.
07:25
On this sidelato, there's a differentdiverso experienceEsperienza.
143
420000
2000
Da quest'altra parte, l'esperienza sarà diversa.
07:27
It's the samestesso for the first two partsparti of the sequencesequenza.
144
422000
3000
E' identica per i primi due lanci.
07:30
You're a little bitpo excitedemozionato with the first headcapo --
145
425000
2000
Sarete emozionati all'uscita di testa...
07:32
you get ratherpiuttosto more excitedemozionato with the nextIl prossimo tailcoda.
146
427000
2000
lo sarete ancora di più quando esce croce.
07:34
Then you tossscossa the coinmoneta.
147
429000
2000
Ora lancio la moneta.
07:36
If it's a tailcoda, you crackcrepa openAperto the champagneChampagne.
148
431000
3000
Se esce croce, stapperete lo champagne.
07:39
If it's a headcapo you're disappointeddeluso,
149
434000
2000
Se esce testa vi dispiacerà,
07:41
but you're still a thirdterzo of the way to your patternmodello again.
150
436000
3000
ma sarete comunque a un terzo della strada per ottenere la combinazione giusta.
07:44
And that's an informalinformale way of presentingpresentando it -- that's why there's a differencedifferenza.
151
439000
4000
Questo è un modo informale per presentare il problema... è qui che c'è la differenza.
07:48
AnotherUn altro way of thinkingpensiero about it --
152
443000
2000
Ecco un'altro modo di pensarla...
07:50
if we tossedsballottati a coinmoneta eightotto millionmilione timesvolte,
153
445000
2000
se lanciamo una moneta otto milioni di volte,
07:52
then we'dsaremmo expectaspettarsi a millionmilione head-tail-headstesta-coda teste
154
447000
2000
ci possiamo aspettare un milione di testa-croce-testa
07:54
and a millionmilione head-tail-tailstesta-coda code -- but the head-tail-headstesta-coda teste could occursi verificano in clumpsciuffi.
155
449000
7000
e un milione di testa-croce-croce... ma testa-croce-testa può presentarsi in gruppi.
08:01
So if you want to put a millionmilione things down amongsttra eightotto millionmilione positionsposizioni
156
456000
2000
Quindi, se volete provare a mettere un milione di cose in otto milioni di posizioni
08:03
and you can have some of them overlappingsovrapposizione, the clumpsciuffi will be furtherulteriore aparta parte.
157
458000
5000
che possono essere sovrapposte, i gruppi saranno più lontani gli uni dagli altri.
08:08
It's anotherun altro way of gettingottenere the intuitionintuizione.
158
463000
2000
Questo è un altro modo per comprendere il fenomeno.
08:10
What's the pointpunto I want to make?
159
465000
2000
Dov'è che voglio arrivare?
08:12
It's a very, very simplesemplice exampleesempio, an easilyfacilmente stateddichiarato questiondomanda in probabilityprobabilità,
160
467000
4000
E' un esempio davvero molto semplice, un problema di facile soluzione con le probabilità,
08:16
whichquale everyogni -- you're in good companyazienda -- everybodytutti getsprende wrongsbagliato.
161
471000
3000
e che tutti... siete in buona compagnia... tutti sbagliano.
08:19
This is my little diversiondiversione into my realvero passionpassione, whichquale is geneticsgenetica.
162
474000
4000
Questa è una piccola variante della mia vera passione, la genetica.
08:23
There's a connectionconnessione betweenfra head-tail-headstesta-coda teste and head-tail-tailstesta-coda code in geneticsgenetica,
163
478000
3000
C'è un legame tra testa-croce-testa e testa-croce-croce in genetica,
08:26
and it's the followinga seguire.
164
481000
3000
ora ve la spiego.
08:29
When you tossscossa a coinmoneta, you get a sequencesequenza of headsteste and tailscode.
165
484000
3000
Lanciando una moneta, si ha una sequenza di teste e i croci.
08:32
When you look at DNADNA, there's a sequencesequenza of not two things -- headsteste and tailscode --
166
487000
3000
Quando pensate al DNA non c'è una sequenza di due elementi... testa e croce...
08:35
but fourquattro letterslettere -- As, GsGS, CsCS and TsTs.
167
490000
3000
ma di quattro lettere... A, G, C e T.
08:38
And there are little chemicalchimico scissorsforbici, calledchiamato restrictionrestrizione enzymesenzimi
168
493000
3000
E ci sono delle piccole forbici, gli enzimi di restrizione,
08:41
whichquale cuttagliare DNADNA wheneverogni volta they see particularparticolare patternsmodelli.
169
496000
2000
che tagliano il DNA ogni volta che trovano delle combinazioni particolari.
08:43
And they're an enormouslyenormemente usefulutile toolstrumento in modernmoderno molecularmolecolare biologybiologia.
170
498000
4000
Sono degli strumenti di enorme importanza nella moderna biologia molecolare.
08:48
And insteadanziché of askingchiede the questiondomanda, "How long untilfino a I see a head-tail-headtesta-coda-testa?" --
171
503000
3000
Quindi, piuttosto che chiederci "Quanti lanci impiegherò per avere testa-croce-testa?"
08:51
you can askChiedere, "How biggrande will the chunkspezzi be when I use a restrictionrestrizione enzymeenzima
172
506000
3000
potremo domandare "Quanto grosse saranno le parti se uso un enzima di restrizione
08:54
whichquale cutstagli wheneverogni volta it seesvede G-A-A-GG-A-A-G, for exampleesempio?
173
509000
4000
che taglia il DNA ogni volta che trova, ad esempio, G-A-A-G?
08:58
How long will those chunkspezzi be?"
174
513000
2000
E quanto lungo sarà?"
09:00
That's a ratherpiuttosto trivialbanale connectionconnessione betweenfra probabilityprobabilità and geneticsgenetica.
175
515000
5000
Questa è una connessione abbastanza superficiale tra probabilità e genetica.
09:05
There's a much deeperpiù profondo connectionconnessione, whichquale I don't have time to go into
176
520000
3000
Ce n'è una molto più profonda, su cui non ho il tempo di dilungarmi
09:08
and that is that modernmoderno geneticsgenetica is a really excitingemozionante areala zona of sciencescienza.
177
523000
3000
ed è per questo che la genetica moderna è un'area della scienza così eccitante.
09:11
And we'llbene hearsentire some talkstrattativa laterdopo in the conferenceconferenza specificallyspecificamente about that.
178
526000
4000
Più tardi potremo sentire degli interventi specifici su questo problema.
09:15
But it turnsgiri out that unlockingsblocco the secretssegreti in the informationinformazione generatedgenerato by modernmoderno
179
530000
4000
Si è anche scoperto che scoprire i segreti delle informazioni generate dagli
09:19
experimentalsperimentale technologiestecnologie, a keychiave partparte of that has to do with fairlyabbastanza sophisticatedsofisticato --
180
534000
5000
esperimenti tecnologici si basa fondamentalmente su forme più sofisticate...
09:24
you'llpotrai be relievedsollevato to know that I do something usefulutile in my day joblavoro,
181
539000
3000
credo sarete sollevati nel sapere che faccio anche qualcosa di utile nel mio lavoro,
09:27
ratherpiuttosto more sophisticatedsofisticato than the head-tail-headtesta-coda-testa storystoria --
182
542000
2000
di più sofisticato del trucco con testa-croce-testa...
09:29
but quiteabbastanza sophisticatedsofisticato computercomputer modelingsmodelings and mathematicalmatematico modelingsmodelings
183
544000
4000
sui modelli sofisticati al computer, sui modelli matematici
09:33
and modernmoderno statisticalstatistico techniquestecniche.
184
548000
2000
e sulle moderne tecniche statistiche.
09:35
And I will give you two little snippetssnippet -- two examplesesempi --
185
550000
3000
Vi darò due flash... insomma, due esempi...
09:38
of projectsprogetti we're involvedcoinvolti in in my groupgruppo in OxfordOxford,
186
553000
3000
sui progetti di cui mi occupo con il mio gruppo di Oxford,
09:41
bothentrambi of whichquale I think are ratherpiuttosto excitingemozionante.
187
556000
2000
entrambi piuttosto interessanti.
09:43
You know about the HumanUmano GenomeGenoma ProjectProgetto.
188
558000
2000
Conoscerete tutti il Human Genome Project.
09:45
That was a projectprogetto whichquale aimedteso to readleggere one copycopia of the humanumano genomegenoma.
189
560000
4000
Era un progetto che aveva lo scopo di decifrare il genoma umano.
09:51
The naturalnaturale thing to do after you've donefatto that --
190
566000
2000
La cosa ovvia da fare dopo esserci riusciti...
09:53
and that's what this projectprogetto, the InternationalInternazionale HapMapHapMap ProjectProgetto,
191
568000
2000
è la nascita di un altro progetto, l'International HapMap Project,
09:55
whichquale is a collaborationcollaborazione betweenfra labslaboratori in fivecinque or sixsei differentdiverso countriespaesi.
192
570000
5000
una collaborazione tra i laboratori di cinque o sei diversi paesi.
10:00
Think of the HumanUmano GenomeGenoma ProjectProgetto as learningapprendimento what we'venoi abbiamo got in commonComune,
193
575000
4000
Provate ad immaginare lo Humane Genome Project come la comprensione di cosa abbiamo in comune,
10:04
and the HapMapHapMap ProjectProgetto is tryingprovare to understandcapire
194
579000
2000
e lo HapMap Project come un tentativo di capire
10:06
where there are differencesdifferenze betweenfra differentdiverso people.
195
581000
2000
dove si trovino le differenze tra persone diverse.
10:08
Why do we carecura about that?
196
583000
2000
Perché ci interessano queste cose?
10:10
Well, there are lots of reasonsmotivi.
197
585000
2000
Sapete, ci sono molte ragioni.
10:12
The mostmaggior parte pressingurgente one is that we want to understandcapire how some differencesdifferenze
198
587000
4000
Quella più importante è che vogliamo capire come alcune differenze
10:16
make some people susceptiblesuscettibile to one diseasemalattia -- type-genere-2 diabetesdiabete, for exampleesempio --
199
591000
4000
rendano alcune persone predisposte ad alcune malattie... il diabete di tipo 2, per esempio...
10:20
and other differencesdifferenze make people more susceptiblesuscettibile to heartcuore diseasemalattia,
200
595000
5000
e altre differenze portino predisposizione a malattie cardiache,
10:25
or strokeictus, or autismautismo and so on.
201
600000
2000
ictus o autismo.
10:27
That's one biggrande projectprogetto.
202
602000
2000
E' un progetto davvero straordinario.
10:29
There's a secondsecondo biggrande projectprogetto,
203
604000
2000
E ce n'è anche un secondo,
10:31
recentlyrecentemente fundedfinanziato by the WellcomeWellcome TrustFiducia in this countrynazione,
204
606000
2000
fondato da poco in questo stato dal Wellcome Trust,
10:33
involvingcoinvolgendo very largegrande studiesstudi --
205
608000
2000
che coinvolge un altissimo numero di studi...
10:35
thousandsmigliaia of individualsindividui, with eachogni of eightotto differentdiverso diseasesmalattie,
206
610000
3000
migliaia di persone, che soffrono di uno fra otto differenti sindromi,
10:38
commonComune diseasesmalattie like type-genere-1 and type-genere-2 diabetesdiabete, and coronarycoronario heartcuore diseasemalattia,
207
613000
4000
malattie comuni come il diabete di primo e secondo tipo, disfunzioni coronariche,
10:42
bipolarbipolare diseasemalattia and so on -- to try and understandcapire the geneticsgenetica.
208
617000
4000
disturbo bipolare e altre... e cerchiamo di individuarne le cause genetiche.
10:46
To try and understandcapire what it is about geneticgenetico differencesdifferenze that causescause the diseasesmalattie.
209
621000
3000
Individuare e capire quali sono le differenze genetiche che causano queste malattie.
10:49
Why do we want to do that?
210
624000
2000
Perché vogliamo farlo?
10:51
Because we understandcapire very little about mostmaggior parte humanumano diseasesmalattie.
211
626000
3000
Perché sappiamo davvero molto poco sulla maggior parte delle malattie umane.
10:54
We don't know what causescause them.
212
629000
2000
Non sappiamo cosa le provochi.
10:56
And if we can get in at the bottomparte inferiore and understandcapire the geneticsgenetica,
213
631000
2000
Se riuscissimo ad andare a monte e conoscerne la genesi,
10:58
we'llbene have a windowfinestra on the way the diseasemalattia workslavori,
214
633000
3000
saremo un passo in avanti nella comprensione di come si sviluppano.
11:01
and a wholetotale newnuovo way about thinkingpensiero about diseasemalattia therapiesterapie
215
636000
2000
E quindi avremo un modo del tutto nuovo di programmare le terapie
11:03
and preventativepreventiva treatmenttrattamento and so on.
216
638000
3000
e i trattamenti preventivi.
11:06
So that's, as I said, the little diversiondiversione on my mainprincipale love.
217
641000
3000
E questo, come vi dicevo prima, è una piccola digressione verso il mio primo amore.
11:09
Back to some of the more mundanemondano issuesproblemi of thinkingpensiero about uncertaintyincertezza.
218
644000
5000
Ma torniamo ad un modo più ortodosso di pensare all'incertezza.
11:14
Here'sQui è anotherun altro quizquiz for you --
219
649000
2000
Ed ecco a voi un altro quiz...
11:16
now supposesupporre we'venoi abbiamo got a testTest for a diseasemalattia
220
651000
2000
ora supponiamo di avere un esame per una malattia
11:18
whichquale isn't infallibleinfallibile, but it's prettybella good.
221
653000
2000
non infallibile, ma abbastanza preciso.
11:20
It getsprende it right 99 percentper cento of the time.
222
655000
3000
Risulta affidabile per il 99 percento dei casi.
11:23
And I take one of you, or I take someonequalcuno off the streetstrada,
223
658000
3000
E ora scelgo uno di voi, o qualcuno che passa per la strada,
11:26
and I testTest them for the diseasemalattia in questiondomanda.
224
661000
2000
e lo sottopongo alle analisi per la malattia in questione.
11:28
Let's supposesupporre there's a testTest for HIVHIV -- the virusvirus that causescause AIDSAIDS --
225
663000
4000
Diciamo che è un test per l'HIV... il virus che causa l'AIDS...
11:32
and the testTest saysdice the personpersona has the diseasemalattia.
226
667000
3000
e secondo l'esame risulta che la persona è infetta.
11:35
What's the chanceopportunità that they do?
227
670000
3000
Qual è la probabilità che sia vero?
11:38
The testTest getsprende it right 99 percentper cento of the time.
228
673000
2000
L'esame è corretto il 99 percento delle volte.
11:40
So a naturalnaturale answerrisposta is 99 percentper cento.
229
675000
4000
Quindi la risposta più ovvia è il 99 percento.
11:44
Who likespiace that answerrisposta?
230
679000
2000
A chi piace questa risposta?
11:46
Come on -- everyone'sdi tutti got to get involvedcoinvolti.
231
681000
1000
Coraggio... tutti devono essere coinvolti.
11:47
Don't think you don't trustfiducia me anymorepiù.
232
682000
2000
Non voglio pensare che non vi fidate di me.
11:49
(LaughterRisate)
233
684000
1000
(Risate)
11:50
Well, you're right to be a bitpo skepticalscettico, because that's not the answerrisposta.
234
685000
3000
Beh, avete anche ragione a essere un po' scettici, perché quella non era la risposta.
11:53
That's what you mightpotrebbe think.
235
688000
2000
E' quello che avreste potuto pensare.
11:55
It's not the answerrisposta, and it's not because it's only partparte of the storystoria.
236
690000
3000
E non è la risposta perché vi ho raccontato solo una parte della storia.
11:58
It actuallyin realtà dependsdipende on how commonComune or how rareraro the diseasemalattia is.
237
693000
3000
Infatti, molto dipende da quanto comune o rara sia la malattia.
12:01
So let me try and illustrateillustrare that.
238
696000
2000
Permettetemi di farvi vedere.
12:03
Here'sQui è a little caricaturecaricatura of a millionmilione individualsindividui.
239
698000
4000
Questa è una piccola caricatura di un milione di individui.
12:07
So let's think about a diseasemalattia that affectscolpisce --
240
702000
3000
E ora pensiamo a una malattia che colpisce...
12:10
it's prettybella rareraro, it affectscolpisce one personpersona in 10,000.
241
705000
2000
diciamo che è abbastanza rara, colpisce una persona su 10000.
12:12
AmongstTra these millionmilione individualsindividui, mostmaggior parte of them are healthysalutare
242
707000
3000
Quindi tra questo milione di persone la maggior parte è sana
12:15
and some of them will have the diseasemalattia.
243
710000
2000
e solo qualcuno è malato.
12:17
And in factfatto, if this is the prevalenceprevalenza of the diseasemalattia,
244
712000
3000
In effetti, se la percentuale della malattia fosse quella che vi ho detto,
12:20
about 100 will have the diseasemalattia and the restriposo won'tnon lo farà.
245
715000
3000
circa cento ne sarebbero colpiti e il resto no.
12:23
So now supposesupporre we testTest them all.
246
718000
2000
Ora supponiamo di sottoporli tutti alle analisi.
12:25
What happensaccade?
247
720000
2000
Cosa succede?
12:27
Well, amongsttra the 100 who do have the diseasemalattia,
248
722000
2000
Vedete, tra i 100 che sono malati
12:29
the testTest will get it right 99 percentper cento of the time, and 99 will testTest positivepositivo.
249
724000
5000
l'esame sarà corretto solo il 99 percento delle volte, quindi 99 volte sarà risulterà positivo.
12:34
AmongstTra all these other people who don't have the diseasemalattia,
250
729000
2000
Tra le altre persone che non sono affette dalla malattia
12:36
the testTest will get it right 99 percentper cento of the time.
251
731000
3000
il test continuerà ad essere corretto il 99 percento di volte.
12:39
It'llIt'll only get it wrongsbagliato one percentper cento of the time.
252
734000
2000
Sarà sbagliato solo per l'un percento.
12:41
But there are so manymolti of them that there'llci sarà be an enormousenorme numbernumero of falsefalso positivespositivi.
253
736000
4000
Ma ci sono talmente tanti sani rispetto ai malati che risulterà un numero enorme di falsi positivi.
12:45
Put that anotherun altro way --
254
740000
2000
Guardiamo il problema da un altro punto di vista...
12:47
of all of them who testTest positivepositivo -- so here they are, the individualsindividui involvedcoinvolti --
255
742000
5000
di tutti quelli il cui esame risulta positivo... insomma, tra tutti quelli coinvolti...
12:52
lessDi meno than one in 100 actuallyin realtà have the diseasemalattia.
256
747000
5000
meno di uno su 100 è malato.
12:57
So even thoughanche se we think the testTest is accuratepreciso, the importantimportante partparte of the storystoria is
257
752000
4000
Quindi anche se crediamo che un test sia accurato, la cosa importante è che
13:01
there's anotherun altro bitpo of informationinformazione we need.
258
756000
3000
c'è un altra informazione di cui abbiamo bisogno.
13:04
Here'sQui è the keychiave intuitionintuizione.
259
759000
2000
E questo è il punto di svolta.
13:07
What we have to do, onceuna volta we know the testTest is positivepositivo,
260
762000
3000
Quello che dobbiamo fare, una volta che un test risulta positivo,
13:10
is to weighpesare up the plausibilityplausibilità, or the likelihoodprobabilità, of two competingcompetere explanationsspiegazioni.
261
765000
6000
è di considerare la credibilità, la probabilità secondo due diverse impostazioni.
13:16
EachOgni of those explanationsspiegazioni has a likelyprobabile bitpo and an unlikelyimprobabile bitpo.
262
771000
3000
Ognuna di esse è più o meno credibile.
13:19
One explanationspiegazione is that the personpersona doesn't have the diseasemalattia --
263
774000
3000
Una possibilità è che la persona non sia malata...
13:22
that's overwhelminglyschiacciante likelyprobabile, if you pickraccogliere someonequalcuno at randomcasuale --
264
777000
3000
decisamente probabile, prendendo delle persona a caso...
13:25
but the testTest getsprende it wrongsbagliato, whichquale is unlikelyimprobabile.
265
780000
3000
ma che il test sia sbagliato, il che è improbabile.
13:29
The other explanationspiegazione is that the personpersona does have the diseasemalattia -- that's unlikelyimprobabile --
266
784000
3000
L'altra spiegazione è che la persona è davvero malato... cosa improbabile...
13:32
but the testTest getsprende it right, whichquale is likelyprobabile.
267
787000
3000
e che il test sia corretto, che è probabile.
13:35
And the numbernumero we endfine up with --
268
790000
2000
Alla fine il numero che troviamo...
13:37
that numbernumero whichquale is a little bitpo lessDi meno than one in 100 --
269
792000
3000
che sarà leggermente inferiore rispetto a uno su 100...
13:40
is to do with how likelyprobabile one of those explanationsspiegazioni is relativeparente to the other.
270
795000
6000
sarà basato su quanto probabile è una spiegazione rispetto all'altra.
13:46
EachOgni of them takenprese togetherinsieme is unlikelyimprobabile.
271
801000
2000
Prese insieme, comunque, sono entrambi improbabili.
13:49
Here'sQui è a more topicalattuale exampleesempio of exactlydi preciso the samestesso thing.
272
804000
3000
Ed ecco un esempio più attuale della stessa identica cosa.
13:52
Those of you in BritainGran Bretagna will know about what's becomediventare ratherpiuttosto a celebratedcelebre casecaso
273
807000
4000
Molti di voi in Inghilterra sapranno di un caso ormai famoso
13:56
of a womandonna calledchiamato SallySally ClarkClark, who had two babiesbambini who diedmorto suddenlyad un tratto.
274
811000
5000
di una donna di nome Sally Clark, i cui due bambini morirono improvvisamente.
14:01
And initiallyinizialmente, it was thought that they diedmorto of what's knownconosciuto informallysenza formalità as "cotculla deathmorte,"
275
816000
4000
Inizialmente, si pensò che fossero morti per quello che famigliarmente è chiamata "morte in culla",
14:05
and more formallyformalmente as "SuddenImprovviso InfantInfante DeathMorte SyndromeSindrome di."
276
820000
3000
o, più formalmente, Sindrome della Morte Bianca.
14:08
For variousvario reasonsmotivi, she was laterdopo chargedcarico with murderomicidio.
277
823000
2000
Per diversi motivi, in seguito è stata processata per omicidio.
14:10
And at the trialprova, her trialprova, a very distinguisheddistinto pediatricianpediatra gaveha dato evidenceprova
278
825000
4000
E al processo, il suo processo, un pediatra spiegò
14:14
that the chanceopportunità of two cotculla deathsmorti, innocentinnocente deathsmorti, in a familyfamiglia like hersla sua --
279
829000
5000
che la possibilità di due morti in culla, due morti innocenti, in una famiglia come la sua...
14:19
whichquale was professionalprofessionale and non-smokingnon fumatore -- was one in 73 millionmilione.
280
834000
6000
di professionisti non fumatori... era di una su 73 milioni.
14:26
To cuttagliare a long storystoria shortcorto, she was convictedcondannato at the time.
281
841000
3000
Per farla breve, a quel punto venne condannata.
14:29
LaterPiù tardi, and fairlyabbastanza recentlyrecentemente, acquittedassolto on appealappello -- in factfatto, on the secondsecondo appealappello.
282
844000
5000
Più tardi, in realtà recentemente, è stata prosciolta in appello... in effetti, in secondo appello.
14:34
And just to setimpostato it in contextcontesto, you can imagineimmaginare how awfulterribile it is for someonequalcuno
283
849000
4000
E solo per farvi capire la situazione, immaginate quanto possa essere terribile
14:38
to have lostperduto one childbambino, and then two, if they're innocentinnocente,
284
853000
3000
perdere un bambino, e poi un altro, e anche essendo innocenti
14:41
to be convictedcondannato of murderingassassinio them.
285
856000
2000
venire condannati per omicidio.
14:43
To be put throughattraverso the stressstress of the trialprova, convictedcondannato of murderingassassinio them --
286
858000
2000
Dover sopportare lo stress del processo, essere condannati...
14:45
and to spendtrascorrere time in a women'sDa donna prisonprigione, where all the other prisonersprigionieri
287
860000
3000
passare il tempo in una prigione femminile, dove tutte le altre
14:48
think you killeducciso your childrenbambini -- is a really awfulterribile thing to happenaccadere to someonequalcuno.
288
863000
5000
pensano che tu abbia ucciso i tuoi figli... è una cosa terrificante.
14:53
And it happenedè accaduto in largegrande partparte here because the expertesperto got the statisticsstatistica
289
868000
5000
E in questo caso è accaduta soprattutto perché l'esperto ha interpretato i dati statistici
14:58
horriblyorribilmente wrongsbagliato, in two differentdiverso waysmodi.
290
873000
3000
in modo assolutamente sbagliato, e per due motivi.
15:01
So where did he get the one in 73 millionmilione numbernumero?
291
876000
4000
Dov'è che aveva trovato uno su 73 milioni?
15:05
He lookedguardato at some researchricerca, whichquale said the chanceopportunità of one cotculla deathmorte in a familyfamiglia
292
880000
3000
Aveva letto alcune ricerche, secondo cui la possibilità di morte in culla in una famiglia
15:08
like SallySally Clark'sDi Clark is about one in 8,500.
293
883000
5000
come quella di Sally Clark era una su 8500.
15:13
So he said, "I'll assumeassumere that if you have one cotculla deathmorte in a familyfamiglia,
294
888000
4000
Quindi si era detto "Supponendo di avere una morte in culla in una famiglia,
15:17
the chanceopportunità of a secondsecondo childbambino dyingsta morendo from cotculla deathmorte aren'tnon sono changedcambiato."
295
892000
4000
allora la possibilità che un altro bambino muoia è identica."
15:21
So that's what statisticiansstatistici would call an assumptionassunzione of independenceindipendenza.
296
896000
3000
E questo è quello che gli esperti in statistica chiamano assunto di indipendenza.
15:24
It's like sayingdetto, "If you tossscossa a coinmoneta and get a headcapo the first time,
297
899000
2000
Sarebbe un po' come dire "Se lanci una moneta e la prima volta esce testa,
15:26
that won'tnon lo farà affectinfluenzare the chanceopportunità of gettingottenere a headcapo the secondsecondo time."
298
901000
3000
questo non avrà alcun peso nella possibilità di avere testa anche la seconda volta".
15:29
So if you tossscossa a coinmoneta twicedue volte, the chanceopportunità of gettingottenere a headcapo twicedue volte are a halfmetà --
299
904000
5000
Quindi se lanciate per due volte, la probabilità di avere per due volte testa è di metà...
15:34
that's the chanceopportunità the first time -- timesvolte a halfmetà -- the chanceopportunità a secondsecondo time.
300
909000
3000
la possibilità di avere testa... e un'altra metà... per la seconda volta testa.
15:37
So he said, "Here,
301
912000
2000
Quindi ha pensato "Ehi, pensiamo...
15:39
I'll assumeassumere that these eventseventi are independentindipendente.
302
914000
4000
credo che questi eventi siano indipendenti.
15:43
When you multiplymoltiplicare 8,500 togetherinsieme twicedue volte,
303
918000
2000
E quando moltiplichiamo 8500 per se stesso
15:45
you get about 73 millionmilione."
304
920000
2000
si ottiene circa 73 milioni".
15:47
And nonenessuna of this was stateddichiarato to the courtTribunale as an assumptionassunzione
305
922000
2000
E niente di tutto questo è stato spiegato alla corte come un'ipotesi
15:49
or presentedpresentata to the jurygiuria that way.
306
924000
2000
o presentato in questo modo alla giuria.
15:52
UnfortunatelyPurtroppo here -- and, really, regrettablypurtroppo --
307
927000
3000
Sfortunatamente in questo caso... e, in realtà, purtroppo...
15:55
first of all, in a situationsituazione like this you'dfaresti have to verifyverificare it empiricallyempiricamente.
308
930000
4000
in primo luogo, in situazioni simili c'è bisogno di verificare le teorie in modo empirico.
15:59
And secondlyin secondo luogo, it's palpablypalpabilmente falsefalso.
309
934000
2000
E, comunque,era una statistica evidentemente falsa.
16:02
There are lots and lots of things that we don't know about suddenimprovviso infantinfantile deathsmorti.
310
937000
5000
Ci sono milioni di cose che non sappiamo sulle morti bianche.
16:07
It mightpotrebbe well be that there are environmentalambientale factorsfattori that we're not awareconsapevole of,
311
942000
3000
Possono concorrere fattori ambientali di cui non sappiamo nulla,
16:10
and it's prettybella likelyprobabile to be the casecaso that there are
312
945000
2000
e ci sono buone probabilità che ci siano anche
16:12
geneticgenetico factorsfattori we're not awareconsapevole of.
313
947000
2000
fattori genetici che noi non conosciamo.
16:14
So if a familyfamiglia sufferssoffre from one cotculla deathmorte, you'dfaresti put them in a high-riskalto rischio groupgruppo.
314
949000
3000
Quindi se una famiglia ha subito una morte in culla, la si considererebbe parte di un gruppo ad alto rischio.
16:17
They'veHanno probablyprobabilmente got these environmentalambientale riskrischio factorsfattori
315
952000
2000
Probabilmente erano presenti fattori ambientali di rischio
16:19
and/or geneticgenetico riskrischio factorsfattori we don't know about.
316
954000
3000
e/o fattori genetici di cui non sappiamo niente.
16:22
And to arguediscutere, then, that the chanceopportunità of a secondsecondo deathmorte is as if you didn't know
317
957000
3000
E, quindi, sostenere che c'é un valore statistico su una seconda morte senza
16:25
that informationinformazione is really sillysciocco.
318
960000
3000
avere queste informazioni è molto stupido.
16:28
It's worsepeggio than sillysciocco -- it's really badcattivo sciencescienza.
319
963000
4000
Anzi, è peggio che stupido... è scienza di livello bassissimo.
16:32
NonethelessCiò nonostante, that's how it was presentedpresentata, and at trialprova nobodynessuno even arguedsostenuto it.
320
967000
5000
Inoltre, al processo sono state presentate queste prove e nessuno ne ha dubitato.
16:37
That's the first problemproblema.
321
972000
2000
Questo è il primo punto.
16:39
The secondsecondo problemproblema is, what does the numbernumero of one in 73 millionmilione mean?
322
974000
4000
Il secondo problema è questo: cosa significa il numero 73 milioni?
16:43
So after SallySally ClarkClark was convictedcondannato --
323
978000
2000
Dopo che Sally Clark venne condannata...
16:45
you can imagineimmaginare, it madefatto ratherpiuttosto a splashspruzzo in the pressstampa --
324
980000
4000
ve lo immaginerete, è stata una manna dei giornali...
16:49
one of the journalistsgiornalisti from one of Britain'sDella Gran Bretagna more reputablerispettabile newspapersgiornali wroteha scritto that
325
984000
7000
un giornalista di una delle testate inglesi più affidabili scrisse che
16:56
what the expertesperto had said was,
326
991000
2000
quello che l'esperto aveva detto era
16:58
"The chanceopportunità that she was innocentinnocente was one in 73 millionmilione."
327
993000
5000
"C'è una possibilità su 73 milioni che sia innocente."
17:03
Now, that's a logicallogico errorerrore.
328
998000
2000
Ora, questo è un errore di logica.
17:05
It's exactlydi preciso the samestesso logicallogico errorerrore as the logicallogico errorerrore of thinkingpensiero that
329
1000000
3000
E' lo stesso identico errore di pensare che
17:08
after the diseasemalattia testTest, whichquale is 99 percentper cento accuratepreciso,
330
1003000
2000
dopo un esame medico, affidabile al 99 percento,
17:10
the chanceopportunità of havingavendo the diseasemalattia is 99 percentper cento.
331
1005000
4000
le possibilità di avere la malattia sono del 99 percento.
17:14
In the diseasemalattia exampleesempio, we had to bearorso in mindmente two things,
332
1009000
4000
Nel caso della malattia, dobbiamo tenere a mente due fattori,
17:18
one of whichquale was the possibilitypossibilità that the testTest got it right or not.
333
1013000
4000
uno dei quali è la possibilità che il test sia o non sia corretto.
17:22
And the other one was the chanceopportunità, a prioripriori, that the personpersona had the diseasemalattia or not.
334
1017000
4000
L'altro è la possibilità, a priori, che il paziente sia o non sia malato.
17:26
It's exactlydi preciso the samestesso in this contextcontesto.
335
1021000
3000
Nel contesto giudiziario si è presentato lo stesso problema.
17:29
There are two things involvedcoinvolti -- two partsparti to the explanationspiegazione.
336
1024000
4000
Due fattori erano da considerare... due elementi della spiegazione.
17:33
We want to know how likelyprobabile, or relativelyrelativamente how likelyprobabile, two differentdiverso explanationsspiegazioni are.
337
1028000
4000
E vorremmo sapere quanto probabili, o relativamente probabili, siano le due spiegazioni.
17:37
One of them is that SallySally ClarkClark was innocentinnocente --
338
1032000
3000
Il primo è che Sally Clark fosse innocente...
17:40
whichquale is, a prioripriori, overwhelminglyschiacciante likelyprobabile --
339
1035000
2000
cosa che, a priori, è decisamente probabile...
17:42
mostmaggior parte mothersmadri don't killuccidere theirloro childrenbambini.
340
1037000
3000
la maggior parte delle madri non uccide i propri bambini.
17:45
And the secondsecondo partparte of the explanationspiegazione
341
1040000
2000
Il secondo, invece,
17:47
is that she sufferedsubito an incrediblyincredibilmente unlikelyimprobabile eventevento.
342
1042000
3000
è che sia stata vittima di un evento incredibilmente improbabile.
17:50
Not as unlikelyimprobabile as one in 73 millionmilione, but nonethelessciò nonostante ratherpiuttosto unlikelyimprobabile.
343
1045000
4000
Non così tanto improbabile quanto uno su 73 milioni, ma comunque piuttosto raro.
17:54
The other explanationspiegazione is that she was guiltycolpevole.
344
1049000
2000
L'altra possibile spiegazione è che fosse colpevole.
17:56
Now, we probablyprobabilmente think a prioripriori that's unlikelyimprobabile.
345
1051000
2000
Ora, molto probabilmente crediamo a priori che non sia così.
17:58
And we certainlycertamente should think in the contextcontesto of a criminalpenale trialprova
346
1053000
3000
E sicuramente dovremmo pensarlo in un processo,
18:01
that that's unlikelyimprobabile, because of the presumptionpresunzione of innocenceinnocenza.
347
1056000
3000
ricordandoci della presunzione di innocenza.
18:04
And then if she were tryingprovare to killuccidere the childrenbambini, she succeededsuccesso.
348
1059000
4000
Allora, se avesse cercato di uccidere i suoi bambini, ci era riuscita.
18:08
So the chanceopportunità that she's innocentinnocente isn't one in 73 millionmilione.
349
1063000
4000
Quindi la probabilità che fosse innocente non era di uno su 73 milioni.
18:12
We don't know what it is.
350
1067000
2000
Non sappiamo quale fosse.
18:14
It has to do with weighingpesatura up the strengthforza of the other evidenceprova againstcontro her
351
1069000
4000
Per saperlo sarebbe servito sommare le altre prove a suo carico
18:18
and the statisticalstatistico evidenceprova.
352
1073000
2000
e la prova fornita dalla statistica.
18:20
We know the childrenbambini diedmorto.
353
1075000
2000
Sappiamo che i bambini sono morti.
18:22
What mattersquestioni is how likelyprobabile or unlikelyimprobabile, relativeparente to eachogni other,
354
1077000
4000
Quello che importa è quanto siano realistiche o meno le due possibili
18:26
the two explanationsspiegazioni are.
355
1081000
2000
spiegazioni.
18:28
And they're bothentrambi implausiblenon plausibile.
356
1083000
2000
E, in realtà, sono entrambe irrealistiche.
18:31
There's a situationsituazione where errorserrori in statisticsstatistica had really profoundprofondo
357
1086000
4000
Questa è una situazione in cui gli errori di statistica hanno avuto pesanti
18:35
and really unfortunatesfortunato consequencesconseguenze.
358
1090000
3000
e davvero infelici conseguenze.
18:38
In factfatto, there are two other womendonne who were convictedcondannato on the basisbase of the
359
1093000
2000
In fatti, ci sono state altre due donne condannate sulla base
18:40
evidenceprova of this pediatricianpediatra, who have subsequentlysuccessivamente been releasedrilasciato on appealappello.
360
1095000
4000
delle prove fornite dal pediatra, e che sono state in seguito scagionate.
18:44
ManyMolti casescasi were reviewedrivisto.
361
1099000
2000
Molti altri casi sono stati riesaminati.
18:46
And it's particularlysoprattutto topicalattuale because he's currentlyattualmente facingdi fronte a disreputediscredito chargecarica
362
1101000
4000
Tutto questo è particolarmente attuale, perché in questo periodo lui sta subendo un processo di discredito
18:50
at Britain'sDella Gran Bretagna GeneralGenerale MedicalMedico CouncilConsiglio.
363
1105000
3000
presso il Britain's General Medical Council.
18:53
So just to concludeconcludere -- what are the take-homeportare a casa messagesmessaggi from this?
364
1108000
4000
E ora, per concludere... qual è il succo da ricordarci di tutto il discorso?
18:57
Well, we know that randomnesscasualità and uncertaintyincertezza and chanceopportunità
365
1112000
4000
Beh, ciascuno di noi sa che il caso, l'incertezza e la probabilità
19:01
are very much a partparte of our everydayogni giorno life.
366
1116000
3000
fanno parte della vita di tutti i giorni.
19:04
It's alsoanche truevero -- and, althoughsebbene, you, as a collectivecollettivo, are very specialspeciale in manymolti waysmodi,
367
1119000
5000
Ma è anche vero... e, benché, come gruppo, siate eccezionali,
19:09
you're completelycompletamente typicaltipico in not gettingottenere the examplesesempi I gaveha dato right.
368
1124000
4000
siete stati assolutamente nella norma a sbagliare gli esercizi che vi ho proposto.
19:13
It's very well documenteddocumentata that people get things wrongsbagliato.
369
1128000
3000
E' documentato molto bene che le persone spesso sbagliano.
19:16
They make errorserrori of logiclogica in reasoningragionamento with uncertaintyincertezza.
370
1131000
3000
Spesso ragionando sull'improbabilità si fanno errori di logica.
19:20
We can copefar fronte with the subtletiessottigliezze of languageLingua brilliantlybrillantemente --
371
1135000
2000
Riusciamo a destreggiarci brillantemente con le sottigliezze della lingua...
19:22
and there are interestinginteressante evolutionaryevolutiva questionsle domande about how we got here.
372
1137000
3000
e ci sono domande interessantissimi sull'evoluzione riguardo il perché ne siamo capaci.
19:25
We are not good at reasoningragionamento with uncertaintyincertezza.
373
1140000
3000
Ma non siamo altrettanto bravi nel campo dell'incertezza.
19:28
That's an issueproblema in our everydayogni giorno livesvite.
374
1143000
2000
E questo può essere un problema nella vita quotidiana.
19:30
As you've heardsentito from manymolti of the talkstrattativa, statisticsstatistica underpinsalla base an enormousenorme amountquantità
375
1145000
3000
Come avrete sentito da molti dei conferenzieri, le statistiche sostengono un altissimo numero
19:33
of researchricerca in sciencescienza -- in socialsociale sciencescienza, in medicinemedicina
376
1148000
3000
di ricerche scientifiche... nelle scienze sociali, in medicina
19:36
and indeedinfatti, quiteabbastanza a lot of industryindustria.
377
1151000
2000
e, alla fine, anche in gran parte delle ricerche industriali.
19:38
All of qualityqualità controlcontrollo, whichquale has had a majormaggiore impacturto on industrialindustriale processinglavorazione,
378
1153000
4000
Tutti i controlli sulla qualità, che sono di grandissima rilevanza nel processo industriale,
19:42
is underpinnedsostenuta by statisticsstatistica.
379
1157000
2000
si basano sulle statistiche.
19:44
It's something we're badcattivo at doing.
380
1159000
2000
Ma è qualcosa in cui riusciamo male.
19:46
At the very leastmeno, we should recognizericonoscere that, and we tendtendere not to.
381
1161000
3000
In conclusione, ci dovremmo ricordare di questo fatto, ma tendiamo a non farlo.
19:49
To go back to the legallegale contextcontesto, at the SallySally ClarkClark trialprova
382
1164000
4000
Tornando al campo giuridico, durante il processo a Sally Clark
19:53
all of the lawyersavvocati just acceptedaccettato what the expertesperto said.
383
1168000
4000
tutti gli avvocati non fecero altro che accettare quello che era stato detto dall'esperto.
19:57
So if a pediatricianpediatra had come out and said to a jurygiuria,
384
1172000
2000
Ma se il pediatra se ne fosse uscito dicendo alla giuria dicendo
19:59
"I know how to buildcostruire bridgesponti. I've builtcostruito one down the roadstrada.
385
1174000
3000
"Ehi, so come costruire un ponte. Ne ho appena costruito uno qui in strada.
20:02
Please driveguidare your carauto home over it,"
386
1177000
2000
Potete passarci sopra per tornare a casa in macchina"
20:04
they would have said, "Well, pediatricianspediatri don't know how to buildcostruire bridgesponti.
387
1179000
2000
gli avrebbero risposto "Beh, i pediatri non sanno costruire i ponti.
20:06
That's what engineersingegneri do."
388
1181000
2000
Quello è un compito per gli ingegneri."
20:08
On the other handmano, he cameè venuto out and effectivelyefficacemente said, or impliedimplicito,
389
1183000
3000
Ma d'altra parte lui è davvero saltato fuori dicendo, o comunque volendo dire
20:11
"I know how to reasonragionare with uncertaintyincertezza. I know how to do statisticsstatistica."
390
1186000
3000
"So come operare con l'incertezza. So come interpretare le statistiche."
20:14
And everyonetutti said, "Well, that's fine. He's an expertesperto."
391
1189000
3000
E tutti hanno risposto: "Ah, bene. Ascoltiamolo, è un esperto."
20:17
So we need to understandcapire where our competencecompetenza is and isn't.
392
1192000
3000
Abbiamo tutti bisogno di capire cos'è e cosa non è nostra competenza.
20:20
ExactlyEsattamente the samestesso kindstipi of issuesproblemi arosesorsero in the earlypresto daysgiorni of DNADNA profilingprofiling,
393
1195000
4000
Lo stesso problema si presenta con le moderne tecnologie di profiling con il DNA,
20:24
when scientistsscienziati, and lawyersavvocati and in some casescasi judgesgiudici,
394
1199000
4000
quando scienziati, avvocati e in qualche caso anche i giudici
20:28
routinelydi routine misrepresentedMisrepresented evidenceprova.
395
1203000
3000
sistematicamente travisano il significato delle prove.
20:32
UsuallyDi solito -- one hopessperanze -- innocentlyinnocentemente, but misrepresentedMisrepresented evidenceprova.
396
1207000
3000
Di solito... al meno si spera... in buona fede, ma le interpretano male.
20:35
ForensicForense scientistsscienziati said, "The chanceopportunità that this guy'sragazzo di innocentinnocente is one in threetre millionmilione."
397
1210000
5000
L'esperto forense dice "La probabilità che quest'uomo sia innocente è una su tre milioni."
20:40
Even if you believe the numbernumero, just like the 73 millionmilione to one,
398
1215000
2000
E anche se fate fede al numero, come nel caso di uno su 73 milioni,
20:42
that's not what it meantsignificava.
399
1217000
2000
non è questo il significato di una cifra.
20:44
And there have been celebratedcelebre appealappello casescasi
400
1219000
2000
E ci sono stati casi a cui si è ricorso all'appello
20:46
in BritainGran Bretagna and elsewherealtrove because of that.
401
1221000
2000
in Inghilterra come ovunque per questo motivo.
20:48
And just to finishfinire in the contextcontesto of the legallegale systemsistema.
402
1223000
3000
L'ultima cosa riguardo la legislatura.
20:51
It's all very well to say, "Let's do our bestmigliore to presentpresente the evidenceprova."
403
1226000
4000
Va benissimo dire "Facciamo del nostro meglio per presentare le prove".
20:55
But more and more, in casescasi of DNADNA profilingprofiling -- this is anotherun altro one --
404
1230000
3000
Ma sempre più spesso, nel caso del DNA... per fare un altro esempio...
20:58
we expectaspettarsi juriesgiurie, who are ordinaryordinario people --
405
1233000
3000
pretendiamo che i membri della giuria, persone ordinarie...
21:01
and it's documenteddocumentata they're very badcattivo at this --
406
1236000
2000
ed è documentato che non sono preparatissimi a questo...
21:03
we expectaspettarsi juriesgiurie to be ablecapace to copefar fronte with the sortstipi of reasoningragionamento that goesva on.
407
1238000
4000
pretendiamo che siano in grado di seguire ogni sorta di ragionamento sul DNA.
21:07
In other spheressfere of life, if people arguedsostenuto -- well, excepttranne possiblypossibilmente for politicspolitica --
408
1242000
5000
In altri campi, quando le persone discutono... beh, forse a parte la politica.
21:12
but in other spheressfere of life, if people arguedsostenuto illogicallyillogicamente,
409
1247000
2000
Ma in tutti gli altri campi, se le persone sostengono cose senza senso,
21:14
we'dsaremmo say that's not a good thing.
410
1249000
2000
sappiamo che non sta andando bene.
21:16
We sortordinare of expectaspettarsi it of politicianspolitici and don't hopesperanza for much more.
411
1251000
4000
Possiamo aspettarcelo dai politici e neanche speriamo in qualcosa di meglio.
21:20
In the casecaso of uncertaintyincertezza, we get it wrongsbagliato all the time --
412
1255000
3000
Nel caso dell'incertezza, ci sbagliamo tutte le volte...
21:23
and at the very leastmeno, we should be awareconsapevole of that,
413
1258000
2000
e, alla fin fine, dobbiamo esserne consapevoli.
21:25
and ideallyidealmente, we mightpotrebbe try and do something about it.
414
1260000
2000
L'ideale sarebbe provare a migliorare questa situazione.
21:27
ThanksGrazie very much.
415
1262000
1000
Grazie mille.
Translated by Monica Scalici
Reviewed by Els De Keyser

▲Back to top

ABOUT THE SPEAKER
Peter Donnelly - Mathematician; statistician
Peter Donnelly is an expert in probability theory who applies statistical methods to genetic data -- spurring advances in disease treatment and insight on our evolution. He's also an expert on DNA analysis, and an advocate for sensible statistical analysis in the courtroom.

Why you should listen

Peter Donnelly applies statistical methods to real-world problems, ranging from DNA analysis (for criminal trials), to the treatment of genetic disorders. A mathematician who collaborates with biologists, he specializes in applying probability and statistics to the field of genetics, in hopes of shedding light on evolutionary history and the structure of the human genome.

The Australian-born, Oxford-based mathematician is best known for his work in molecular evolution (tracing the roots of human existence to their earliest origins using the mutation rates of mitochondrial DNA). He studies genetic distributions in living populations to trace human evolutionary history -- an approach that informs research in evolutionary biology, as well as medical treatment for genetic disorders. Donnelly is a key player in the International HapMap Project, an ongoing international effort to model human genetic variation and pinpoint the genes responsible for specific aspects of health and disease; its implications for disease prevention and treatment are vast.

He's also a leading expert on DNA analysis and the use of forensic science in criminal trials; he's an outspoken advocate for bringing sensible statistical analysis into the courtroom. Donnelly leads Oxford University's Mathematical Genetics Group, which conducts research in genetic modeling, human evolutionary history, and forensic DNA profiling. He is also serves as Director of the Wellcome Trust Centre for Human Genetics at Oxford University, which explores the genetic relationships to disease and illness. 

More profile about the speaker
Peter Donnelly | Speaker | TED.com

Data provided by TED.

This site was created in May 2015 and the last update was on January 12, 2020. It will no longer be updated.

We are currently creating a new site called "eng.lish.video" and would be grateful if you could access it.

If you have any questions or suggestions, please feel free to write comments in your language on the contact form.

Privacy Policy

Developer's Blog

Buy Me A Coffee