Ho sempre pensato che la maggior parte
delle ricerche pubblicate, soprattutto su riviste mediche di prestigio,
esprimano conclusioni veritiere. Con sorpresa ho potuto constatare come
autorevoli voci non siano della stessa opinione. Anzi l’epidemiologo
J.Ioannidis è del parere esattamente contrario: “…false findings may be
the majority or even the vast majority of published research…”. In un
recente articolo apparso su Plos Medicine* ( speriamo a questo punto che
sia veritiero) senza mezzi termini egli spiega con puntiglio e dimostra
con dovizia di formule matematiche, il perchè della sua drastica
asserzione.
Vi è una tendenza diffusa che porta
ad idolatrate il p-value > 0.05 come unica garanzia di veridicità.
Chi conduce una ricerca si preoccupa in genere di ottenere la
significatività statistica, cioè che il risultato finale abbia solo il
5% di probabilità di esser casuale. Se però la ricerca è stata condotta
con tali e tanti bias da distorcerne le conclusioni ecco che questa pura
formalità statistica non ha alcun valore. La veridicità di una ricerca,
oltre che dal p<0.05, dipende infatti da altri due elementi, la
potenza statistica dello studio, vale a dire un numero sufficiente di
pazienti, che sperimentino un numero sufficiente di eventi e dal calcolo
della probabilità a priori (PPV) che il risultato finale sia corretto e
veritiero. Quest’ultima caratteristica, come dimostra Ioannidis
attraverso grafici e formule matematiche su cui non mi addentro, è
funzione dei numerosi bias che si incontrano. Per semplificare al
massimo un esempio: la stessa ricerca condotta da più team indipendenti,
sparsi nel mondo, avrà risultati con scarsa probabilità di concordanza e
quindi di verità, per il bias numerico della variabilità estrema degli
impianti della ricerca. Si tratta di un bias indipendente dalla volontà
dei ricercatori, non dovuto al caso, ma statisticamente prevedibile.
Il concetto di variabilità da
casualità (chance) va drasticamente separato da quello da bias
(letteralmente = distorsione da pregiudizio o da altri elementi). Un
bias può essere anche ‘attivo’, cioè voluto, come quello da
manipolazione dei dati, riportati in maniera selettiva o distorti allo
scopo di arrivare alla dimostrazione voluta. Più cresce questo tipo di
bias maggiori le probabilità che le conclusioni della ricerca siano
false, anche se la gravità della manipolazione può essere sempre
attenuata ( o amplificata) dalla probabilità a priori che l’impianto
dello studio possa portare a conclusioni più o meno veritiere.
L’uso di computer e di software
sempre più sofisticati ha eliminati in gran parte gli errori di misura
mentre sono in aumentano i bias da conflitto d’interesse che arrivano al
punto di cancellare risultati corretti solo perché ritenuti ‘negativi’
per interessi commerciali (bias di pubblicazione).
Ioannidis conclude riportando 6
‘corollari’ che aiutano a definire perchè uno studio seppure con p-value
< 0.05 può essere falso:
- 1. piccole dimensioni. E’ più improbabile si giunga a risultati veritieri con campioni di grandezza limitata, di basso potere statistico
- 2. il cosiddetto effect size, cioè quanto forte è l’effetto che dobbiamo misurare. E’ più probabile siano vere ricerche sull’impatto del fumo sul cancro o sul rischio cardiovascolare (RR 3-20) piuttosto che il rischio genetico in una malattia poligenica (RR 1.1-1.5). Purtroppo la ricerca scientifica attuale si svolge in ambiti con RR appena superiore all’unità.
- 3. gli studi di conferma tendono a risultati più veritieri rispetto a studi che attuati allo scopo di generare nuove ipotesi di lavoro. 4. la flessibilità di uno studio: quanto è maggiore (definizione degli outcomes, disegno dello studio, strumenti analitici usati) tanto più elevata la probabilità di false conclusioni.
- 5. conflitti di interesse, non solo quelli finanziari (non occorre spiegarli ai Nograzie!) ma anche il pregiudizio scientifico (credere alle proprie teorie più che a quelle degli altri o all’opposto essere influenzati dall’ipotesi più in voga), riducono la probabilità che uno studio sia veridico.
- 6. quanto più ‘scottante’ è il campo della ricerca quanto più probabile ottenere falsi risultati. Non raro a questo proposito il fenomeno detto Proteo per cui risultati clamorosi vengono rapidamente smentiti e poi altrettanto rapidamente riaffermati in modo altalenante. Questo accade spesso nelle ricerche di genetica molecolare.
Se consideriamo quanto sopra e
calcoliamo che una ricerca abbia il 50% di probabilità a priori (PPV) di
essere stata impostata correttamente, otterremo risultati veritieri
nell’85% dei casi.
Sembra facile, ma una PPV del 50%
non è facile da programmare, la può ottenere una metanalisi di RCT di
conferma, tutti di buona qualità, mentre una metanalisi ben condotta ma
su studi in conclusivi, allo scopo di cercare un risultato positivo,
avrà invece, in un caso su tre, elevate probabilità di false
conclusioni.Procedendo negli esempi si arriva alle ricerche sperimentali
in campi come la genetica molecolare, dove è necessario condurre
migliaia di test per ottenere un risultato positivo, dove la PPV sarà
estremamente bassa (una su mille), anche con una eccellente elaborazione
statistica ed efficienza nel minimizzare i bias già ricordati.
Che fare ? Rigettare innanzitutto
l’ipotesi di ineluttabilità dell’errore e cercare per quanto possibile
di evitare di incorrere nei bias già ricordati, ottenendo così una
buona PPV prima di iniziare uno studio. Va cambiata la mentalità dei
ricercatori che devono sempre pre registrare il loro studio e aderire
scrupolosamente al protocollo di ricerca senza cambiare o modificare gli
outcome, come purtroppo spesso succede.
E noi, come lettori, dovremo tener
conto che solo gli studi su larga scala che esplorino effetti molto
ampi, hanno buona probabilità di essere veritieri; al contrario si dovrà
diffidare di piccoli studi su questioni molto specifiche o marginali.
Per fortuna che c’è la serendipità che qualche volta ci salva, anche
ricerche male impostate possono arrivare a conclusioni utili ed
importanti, ma si sa, l’eccezione non fa che confermare la regola.
Giovanni Peronato
Traduzione libera a cura di Giovanni Peronato Reumatologo Specialista ambulatoriale Vicenza
Fonte: http://leviedellasalute.com
Nessun commento:
Posta un commento