Livelli di evidenza: che cosa mostra ogni tipo di studio e che cosa non mostra
I livelli di evidenza misurano fiducia, non verità: che cosa provano studi randomizzati, osservazionali e animali, come valuta GRADE e dove cede la piramide.
Rilettura scientificaPosizione non coperta, indicata apertamente.
10 min di letturaUltima revisione sostanziale
Accesso libero
Sintesi
Un livello di evidenza non giudica se un'affermazione sia vera, ma quanta fiducia meritano i dati disponibili. Viene attribuito per singolo esito, non per studio: nella stessa revisione sistematica il tasso di guarigione può risultare moderatamente certo e la densità ossea molto incerta. Ciò che conta non è dunque l'etichetta del tipo di studio, ma quale spiegazione alternativa il disegno riesce davvero a escludere.
19fonti primarie
58 %di cui livello 1-2
4specie studiate
2007–2025anni di pubblicazione
In sintesi
GRADE conosce quattro gradi di certezza e li attribuisce per singolo esito: in una revisione del 2023 il tasso di guarigione era considerato moderatamente certo, la densità ossea nello stesso lavoro molto incerta.
Studi randomizzati e osservazionali sono arrivati, in un'analisi di 1'583 metanalisi, in media praticamente allo stesso risultato: da sola l'etichetta del disegno dice poco sull'affidabilità.
L'assenza di cecità ingrandisce gli effetti in modo misurabile: negli studi clinici di circa un decimo, in una sintesi di dieci esperimenti su animali con esiti per lo più valutati in modo soggettivo in media del 59 per cento, con tre valori anomali che reggono questa media.
Una raccomandazione forte non è una prova forte: di 131 raccomandazioni forti tratte da 133 linee guida esaminate, 104 si appoggiavano su una certezza bassa o molto bassa.
In medicina equina la base di dati è scarna: una revisione sistematica del 2024 ha vagliato 7'009 pubblicazioni e ne ha trattenute nove.
Che cosa misura un livello di evidenza: la fiducia, non la verità
Un livello di evidenza è un'affermazione sullo stato delle conoscenze, non sulla natura. Il sistema GRADE, adottato da numerose organizzazioni scientifiche in tutto il mondo, distingue quattro gradi di certezza: alta, moderata, bassa e molto bassa. Questi gradi rispondono a una sola domanda: quanto è probabile che altri studi di buona qualità spostino ancora il risultato odierno? Un articolo di consenso di un gruppo metodologico internazionale ha riassunto questa griglia nel 2008 sul British Medical Journal, nella forma oggi corrente. Separa due cose che prima venivano regolarmente confuse: la certezza dell'evidenza e la forza di una raccomandazione che ne deriva.
Il punto più importante, e il più spesso trascurato: la certezza viene attribuita per singolo esito, non per studio e non per articolo. Una revisione Cochrane del 2023 sulla chirurgia delle paratiroidi ha riunito otto studi randomizzati su 447 adulti. Per l'esito «guarigione» il gruppo di autori ha classificato la certezza come moderata; per la densità ossea del rachide lombare, nello stesso lavoro, come molto bassa. Chi legge soltanto il titolo e la conclusione crede che i due risultati siano documentati altrettanto bene.
Perché due specialisti classificano lo stesso studio in modo diverso?
Perché ogni declassamento richiede un giudizio: quanto deve essere grande un'imprecisione perché conti? Una discordanza fra due studi è reale oppure dovuta al caso? GRADE rende questi giudizi visibili e obbliga a motivarli, ma non li prende al posto di nessuno. Due gruppi scrupolosi possono quindi arrivare a gradi diversi partendo dagli stessi dati.
I gradini e ciò che ciascuno riesce a escludere
La gerarchia classica viene di solito disegnata come una piramide: in basso i casi clinici e gli esperimenti di laboratorio, sopra gli studi osservazionali, poi gli studi randomizzati, in cima le revisioni sistematiche. Questo ordine non è una classifica di importanza, ma una graduatoria in base alla spiegazione alternativa che ciascun disegno riesce a escludere. Un caso clinico non esclude nulla: genera un'ipotesi. L'assegnazione per sorteggio è l'unica procedura che esclude anche i fattori di confondimento sconosciuti, perché interpone il caso fra i gruppi.
Che cosa ogni disegno riesce a escludere, che cosa resta aperto e quale scorciatoia mentale ne nasce tipicamente.
Disegno
Esclude
Resta aperto
Errore tipico
Caso clinico, serie di casi
nulla: il disegno descrive un decorso
se il decorso sarebbe stato uguale senza trattamento
«Ha funzionato»
Esperimento di laboratorio, modello cellulare
le interferenze del resto dell'organismo
se il meccanismo conti nell'animale o nell'essere umano vivo
leggere un meccanismo come prova di efficacia
Studio trasversale
nulla sulla successione temporale
che cosa sia venuto prima, la causa o l'effetto
leggere un'associazione come una causa
Studio di coorte e caso-controllo
l'inversione temporale grossolana, in parte i confondenti noti
i confondenti sconosciuti, l'autoselezione dei gruppi
«Chi fa X resta più in salute, dunque X giova»
Studio randomizzato
i confondenti noti e sconosciuti all'inizio dello studio
se il risultato valga per altri animali, altre persone e altre condizioni
confondere l'efficacia in condizioni sperimentali con il beneficio quotidiano
Revisione sistematica, metanalisi
l'arbitrio nella scelta degli studi
tutte le debolezze degli studi inclusi
«Metanalisi, dunque provato»
Il gradino non è quindi un giudizio di qualità sui ricercatori. Uno studio di coorte controllato con cura può essere più affidabile di uno studio randomizzato condotto male, e una metanalisi che riunisce dieci lavori deboli resta debole. La piramide ordina i disegni, non le singole pubblicazioni.
Randomizzazione: che cosa ottiene e che cosa non ripara
Quanta distorsione produca una randomizzazione trascurata si può misurare. Un'analisi di 2'443 studi randomizzati tratti da 228 metanalisi della biblioteca Cochrane ha confrontato i lavori a rischio di distorsione basso con quelli a rischio poco chiaro o elevato. Gli studi senza un'assegnazione casuale ricostruibile, senza occultamento dell'assegnazione o senza cecità mostravano in media effetti del trattamento più grandi, dall'otto al tredici per cento circa. La differenza non è drammatica, ma è sistematica e quasi sempre nella stessa direzione: a favore del trattamento in esame.
Cinque cose, invece, la randomizzazione non le ripara: un gruppo troppo piccolo, un esito che non interessa a nessuno, un periodo di osservazione troppo breve, una popolazione fortemente selezionata e la comunicazione selettiva dei risultati. Sono esattamente questi cinque punti a spiegare perché GRADE può declassare uno studio randomizzato fino a farlo scendere al grado di certezza di uno studio osservazionale.
In medicina veterinaria la rendicontazione di questi punti è arrivata solo in parte. Una revisione delle annate 2009 e 2019 di una rivista di anestesia veterinaria ha rilevato che la descrizione completa della randomizzazione è salita dal 13,6 all'85,7 per cento e l'indicazione di un calcolo della dimensione campionaria da zero al 20 per cento. La cecità è rimasta ferma a circa la metà dei lavori e in dieci anni non si è mossa. Nessun punto ha raggiunto la soglia che il gruppo di autori si era posto come obiettivo.
Gli studi osservazionali non sono automaticamente più deboli
La piramide lascia intendere che i dati osservazionali siano per principio meno affidabili. Una revisione metodologica Cochrane del 2014 verifica proprio questo: quattordici revisioni metodologiche, con dati provenienti da 1'583 metanalisi su 228 quadri clinici, hanno confrontato le stime di effetto di studi randomizzati e osservazionali sulla stessa domanda. In media non differivano in modo rilevante, e undici delle quattordici revisioni non hanno trovato alcuna differenza. Il gruppo di autori non ne ha concluso che il disegno sia indifferente, ma che a spiegare gli scostamenti siano fattori diversi dall'etichetta.
Per alcune domande lo studio osservazionale è comunque l'unico disegno possibile: effetti dannosi rari, orizzonti temporali lunghi, situazioni in cui un'assegnazione per sorteggio non sarebbe accettabile. Un lavoro del 2025 propone perciò di sostituire la piramide con un anfiteatro, quando si tratta della sicurezza dei medicamenti dopo l'omologazione: tutte le fonti di dati stanno in cerchio attorno alla domanda, nessuna sta automaticamente in alto.
Significa che posso leggere i dati osservazionali come dati randomizzati?
No. Il risultato vale per la media su molte domande, non per il singolo studio che avete davanti. In uno studio osservazionale resta decisivo sapere se i gruppi confrontati differivano già prima del trattamento e se questa differenza è stata compensata. Se manca qualsiasi indicazione al riguardo, il risultato non è interpretabile.
Chi misura decide in parte: il problema degli esiti soggettivi
Più un esito è soggettivo, più pesa l'aspettativa di chi lo misura. Una sintesi di dieci esperimenti su animali, per un totale di 2'450 animali, ha confrontato la valutazione in cieco e quella non in cieco degli stessi esperimenti. La valutazione non in cieco ha sovrastimato l'effetto del trattamento in media del 59 per cento. Nella maggior parte di questi esperimenti gli esiti erano soggettivi, cioè osservazioni e non misurazioni. Questa media è però sostenuta da tre esperimenti con scostamenti molto forti; senza di essi, nei restanti sette resta una sovrastima di circa un quinto, che statisticamente non è più assicurata.
Nella medicina dei piccoli animali questo meccanismo è stato misurato direttamente. Nel gruppo placebo di uno studio rilevante per l'omologazione, condotto su 58 cani che zoppicavano a causa di un'artrosi, i proprietari hanno visto un miglioramento nel 39,7 per cento dei casi e i veterinari esaminatori nel 44,8 per cento in sede di valutazione della zoppia. Nello stesso periodo la pedana dinamometrica non ha mostrato alcun cambiamento in 46 cani su 58. Nei gatti con dolore articolare cinque studi su 96 animali hanno trovato lo stesso schema: dal 54 al 74 per cento degli animali sotto placebo era considerato un successo secondo il giudizio dei proprietari, ma solo dal 10 al 63 per cento secondo l'attività misurata in modo oggettivo.
Perché un placebo funziona su un animale che non ne sa nulla?
Perché l'esito non lo fornisce l'animale, ma la persona che lo valuta. A questo si aggiunge la regressione verso la media: si interviene di solito quando i disturbi sono al massimo, e dopo segue spesso comunque una fase migliore. I due fenomeni insieme producono un miglioramento visibile senza alcun principio attivo.
GRADE nel dettaglio: cinque motivi per declassare, tre per promuovere
GRADE colloca inizialmente gli studi randomizzati su una certezza alta e quelli osservazionali su una certezza bassa, poi li sposta. Cinque motivi portano verso il basso:
Rischio di distorsione: nessun occultamento dell'assegnazione, nessuna cecità, molti abbandoni senza spiegazione.
Incoerenza: gli studi puntano in direzioni diverse senza che lo si possa spiegare.
Indirettezza: popolazione diversa, confronto diverso, oppure un esito surrogato al posto di ciò che conta.
Imprecisione: troppo pochi eventi, il risultato è compatibile allo stesso tempo con un beneficio e con un danno.
Sospetto di lacune nella pubblicazione: un numero vistoso di piccoli studi positivi, quasi nessuno piccolo e negativo.
Tre motivi consentono, all'inverso, di promuovere i dati osservazionali: un effetto molto grande, una relazione dose-risposta pulita e fattori di confondimento che avrebbero semmai rimpicciolito l'effetto trovato anziché ingrandirlo. Uno studio osservazionale può così salire a una certezza moderata e uno randomizzato scendere a una certezza molto bassa. In GRADE la piramide non è quindi uno scaffale fisso, ma una posizione di partenza.
La certezza dell'evidenza e la forza di una raccomandazione sono due assi distinti, e spesso divergono. Una rassegna sistematica di 133 linee guida con 433 raccomandazioni sull'agopuntura ha individuato 303 raccomandazioni valutate con GRADE. Di queste, 131 erano formulate come forti, e 104 di queste raccomandazioni forti si appoggiavano su una certezza bassa o molto bassa. Una formulazione decisa non è dunque la prova di dati decisi.
Dove la piramide si incrina: revisioni, confini di specie e dati scarsi
Nel disegno classico la revisione sistematica sta in cima. Una proposta molto citata del 2016 la toglie dalla piramide e la trasforma nella lente attraverso cui si guardano i gradini sottostanti. Il motivo è semplice: una revisione non produce dati nuovi. Può soltanto ordinare e ponderare ciò che già esiste.
Quanto sia necessaria questa correzione lo mostra un bilancio dello stesso anno. Fra il 1991 e il 2014 il numero di revisioni sistematiche pubblicate ogni anno è cresciuto del 2'728 per cento, mentre l'insieme dei lavori indicizzati è aumentato del 153 per cento. Sugli antidepressivi nella depressione sono uscite, fra il 2007 e il 2014, 185 metanalisi. L'autore ne ha concluso che la grande maggioranza delle revisioni prodotte è superflua, fuorviante o segnata da interessi.
In medicina equina il problema è quello opposto, ed è la regola: troppo poco anziché troppo. Una revisione sistematica del 2024 sui principi attivi contro l'herpesvirus equino 1 ha vagliato 7'009 pubblicazioni e ne ha trattenute nove; il rischio di distorsione era da medio a elevato e i gruppi erano piccoli. Una revisione sulle elettroterapie in cavallo, cane e gatto ha vagliato 5'385 pubblicazioni, ne ha incluse 41 ed è arrivata a una media di 3,7 lavori per procedura, di cui 20 con un rischio di distorsione elevato. Le conclusioni risultano di conseguenza prudenti: il gruppo che si è occupato delle elettroterapie non ritiene l'evidenza sufficiente per nessuna singola applicazione in cavallo, cane o gatto, mentre il gruppo che ha studiato l'herpesvirus ha visto in tutti i principi attivi esaminati, nella migliore delle ipotesi, un beneficio minimo o limitato.
La seconda incrinatura è il cambio di specie. Una revisione sistematica ha confrontato sei trattamenti per i quali esisteva nell'essere umano un risultato univoco con i corrispondenti esperimenti sugli animali. Con i corticosteroidi dopo un trauma cranico i modelli animali mostravano un beneficio, gli studi clinici nessuno. Il principio attivo tirilazad ha ridotto nel modello animale l'area infartuata del 29 per cento e migliorato i punteggi neurologici del 48 per cento, mentre i pazienti e le pazienti con ictus trattati con lo stesso principio attivo stavano peggio di chi non lo riceveva.
Una parte di questa discordanza è dovuta alla metodologia, non alla biologia. Una panoramica di 31 revisioni sistematiche di studi su animali ha rilevato che il 29 per cento dei singoli studi riportava una randomizzazione, il 15 per cento un occultamento dell'assegnazione e il 35 per cento una valutazione degli esiti in cieco. Un'analisi svizzera di 1'277 domande di sperimentazione animale ha trovato le sette misure abituali contro la distorsione descritte soltanto nel 2,4 fino al 19 per cento delle domande.
Inquadrare in cinque minuti la notizia di uno studio
Le sette domande seguenti si possono applicare a quasi ogni notizia, spesso già al solo riassunto. Non sostituiscono una valutazione formale, ma separano in modo affidabile le notizie che mostrano qualcosa da quelle che si limitano ad affermare qualcosa.
Quale specie è stata studiata: essere umano, cavallo, altro animale, coltura cellulare? Se non è scritto, è già un'informazione.
Quale disegno: assegnazione per sorteggio, osservazione, esperimento di laboratorio, revisione?
Quanti partecipanti? Venti animali e duemila persone non reggono lo stesso peso.
Quale esito: un valore di laboratorio oppure qualcosa che l'animale o la persona percepisce?
Chi ha valutato: un apparecchio, una persona in cieco oppure qualcuno che conosceva il trattamento?
Su quale periodo? Sei settimane non dicono nulla su due anni.
C'era un gruppo di confronto? Senza confronto ogni miglioramento è ambiguo.
Che cosa resta alla fine di una revisione sistematica
Elaborazione originale
Cifre riprese direttamente dalle sezioni «metodi» e «risultati» delle cinque revisioni citate in questa pagina; la terza colonna riporta l'autovalutazione dei rispettivi gruppi di autori, non la nostra, mentre la quarta indica la conclusione che il lavoro proprio non regge.
Revisione (ambito, anno)
Insieme di partenza e studi inclusi
Certezza secondo il gruppo di autori
Che cosa non ne segue
Principi attivi contro l'herpesvirus equino 1 (cavallo, 2024)
7'009 pubblicazioni vagliate, 9 incluse
rischio di distorsione da medio a elevato, gruppi piccoli
che i principi attivi esaminati siano inefficaci: è stato verificato troppo poco per deciderlo
Elettroterapie in cavallo, cane e gatto (2022)
5'385 pubblicazioni vagliate, 41 incluse, in media 3,7 per procedura
20 dei 41 lavori con un rischio di distorsione elevato
che un singolo lavoro positivo dimostri una procedura
5'663 risultati vagliati, 61 studi, di cui 59 randomizzati
molto bassa per tutti gli esiti
che molti studi randomizzati diano automaticamente una certezza alta
Terapia assistita con animali nella demenza (essere umano, 2019)
9 studi randomizzati, 305 partecipanti, uno studio con cavalli
da molto bassa a moderata, secondo l'esito
che un effetto sull'umore si trasferisca alla qualità di vita
Chirurgia delle paratiroidi (essere umano, 2023)
8 studi randomizzati, 447 adulti
moderata per la guarigione, molto bassa per la densità ossea
che un lavoro abbia un unico grado di certezza valido per tutto
Limiti e incertezze
I valori medi citati provengono dalla ricerca metodologica e valgono per molte domande considerate insieme. Non predicono quanto sia distorto un determinato singolo studio.
GRADE e la piramide delle evidenze sono convenzioni di una comunità scientifica, non risultati sperimentali. La loro applicazione richiede giudizi che variano da un valutatore all'altro.
Il confronto fra studi randomizzati e osservazionali si appoggia su revisioni metodologiche di qualità molto diversa; solo una minoranza di esse era classificata a rischio basso per quanto riguarda la comunicazione selettiva. I moderni metodi di analisi causale non vi erano affatto rappresentati.
Le cifre sull'effetto placebo di chi accudisce l'animale provengono da cani e gatti. Per il cavallo questa ricerca non ha trovato una quantificazione comparabile.
Diversi lavori metodologici centrali risalgono agli anni fra il 2007 e il 2016 e non sono ancora stati sostituiti da sintesi più recenti. Se le loro cifre rispecchino ancora la pratica odierna resta una questione aperta.
La letteratura metodologica veterinaria è scarna: una parte delle prove qui utilizzate viene dall'anestesia e dalla medicina dei piccoli animali, non dalla medicina equina.
Domande aperte
Quanto è grande l'effetto placebo di chi accudisce l'animale nel cavallo, dove la zoppia viene per lo più graduata a occhio?
I sistemi oggettivi di misurazione del movimento riducono davvero questo effetto negli studi clinici, oppure si limitano a spostarlo?
GRADE ha bisogno di un adattamento per le domande veterinarie, quando per una procedura esistono in tutto il mondo soltanto tre o quattro studi?
Le sintesi automatizzate delle evidenze riducono la ridondanza delle revisioni oppure la aumentano?
Domande frequenti
Uno studio randomizzato è sempre migliore di uno studio osservazionale?
No, ma risponde a una domanda diversa. L'assegnazione per sorteggio è l'unica procedura che compensa anche le differenze sconosciute fra i gruppi, ed è quindi la protezione più forte contro le conclusioni errate sulle cause. Non protegge però da gruppi troppo piccoli, da tempi di osservazione brevi o da esiti inadeguati. In un'analisi di 1'583 metanalisi i risultati randomizzati e osservazionali sulla stessa domanda non differivano in media in modo rilevante. Per i danni rari e i periodi lunghi lo studio osservazionale resta l'unico disegno praticabile.
Che cosa significa concretamente «certezza dell'evidenza molto bassa»?
Significa che l'effetto reale si colloca molto probabilmente in modo nettamente diverso dal risultato riportato, in una direzione sconosciuta. L'affermazione non è quindi una base per decidere, ma la descrizione dello stato della ricerca. Importante: una certezza molto bassa non significa che il trattamento non funzioni. Significa che non lo sappiamo. In una revisione del 2019 sugli integratori nell'infertilità inspiegata la certezza si trovava a questo grado per tutti gli esiti, benché fossero inclusi 59 studi randomizzati.
Perché un singolo studio non sta mai in cima, anche quando è fatto bene?
Perché un singolo studio non può verificare il proprio risultato. Il caso, le particolarità locali della popolazione e le decisioni prese in fase di analisi intervengono in ogni singolo lavoro, e soltanto la ripetizione da parte di gruppi indipendenti separa il segnale dal rumore. Un singolo studio ben fatto può comunque essere il meglio che esista su una domanda. Resta allora la migliore base disponibile, ma con una certezza bassa, non alta.
Uno studio sui cavalli vale come prova per l'essere umano?
No, e nemmeno al contrario. Una revisione sistematica ha confrontato sei trattamenti con un risultato univoco nell'essere umano e i corrispondenti esperimenti sugli animali, trovando diverse contraddizioni nette: un principio attivo ha ridotto nel modello animale l'area infartuata del 29 per cento, mentre i pazienti e le pazienti con ictus trattati con lo stesso principio attivo stavano peggio. Un risultato animale giustifica un'ipotesi per l'altra specie, niente di più. La verifica deve avvenire nella specie bersaglio e nella popolazione bersaglio.
Da che cosa riconosco nei media una notizia debole su uno studio?
Da ciò che manca. Se il testo non indica né la specie studiata, né il numero dei partecipanti, né un gruppo di confronto, né il periodo di osservazione, allora viene a mancare la base per qualsiasi inquadramento. Un secondo campanello d'allarme è la confusione fra associazione e causa: formulazioni come «riduce il rischio» presuppongono un disegno in grado di verificare le cause. Un terzo è l'esito surrogato: un valore di laboratorio migliorato non è la stessa cosa di uno stato di salute migliorato.
Perché qui si citano lavori metodologici del 2007 o del 2014?
Perché sulla loro domanda di ricerca non sono ancora stati sostituiti. La revisione metodologica Cochrane che confronta risultati randomizzati e osservazionali è disponibile tuttora nella versione del 2014; la sintesi sulla concordanza fra esperimento animale e studio clinico risale al 2007. Nella ricerca metodologica un lavoro invecchia più lentamente che nella ricerca clinica, perché esamina procedure e non principi attivi. Dove esistono cifre più recenti, qui sono state preferite.
Fonti
Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, Schünemann HJ. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ, 2008 (Altro | Indipendente dalla specie)DOI 10.1136/bmj.39489.470347.AD Presenta la griglia GRADE e motiva la netta separazione fra la certezza dell'evidenza (quattro gradi) e la forza di una raccomandazione.
Murad MH, Asi N, Alsawas M, Alahdab F. New evidence pyramid. Evidence-Based Medicine, 2016 (Altro | Indipendente dalla specie)DOI 10.1136/ebmed-2016-110401 Sostiene che le revisioni sistematiche e le metanalisi non sono il gradino più alto della piramide, bensì lo strumento con cui si leggono i gradini sottostanti.
Anglemyer A, Horvath HT, Bero L. Healthcare outcomes assessed with observational study designs compared with those assessed in randomized trials. Cochrane Database of Systematic Reviews, 2014 (Revisione sistematica | Umano)DOI 10.1002/14651858.MR000034.pub2 Su 14 revisioni metodologiche con dati provenienti da 1'583 metanalisi relative a 228 quadri clinici, le stime di effetto degli studi randomizzati e osservazionali non differivano in media in modo rilevante; 11 delle 14 revisioni non hanno trovato alcuna differenza.
Savović J, Turner RM, Mawdsley D, Jones HE, Beynon R, Higgins JPT, Sterne JAC. Association Between Risk-of-Bias Assessments and Results of Randomized Trials in Cochrane Reviews: The ROBES Meta-Epidemiologic Study. American Journal of Epidemiology, 2018 (Meta-analisi | Umano)DOI 10.1093/aje/kwx344 In 2'443 studi randomizzati tratti da 228 metanalisi, gli effetti del trattamento risultavano in media sovrastimati dall'8 al 13 per cento circa quando il rischio di distorsione per assegnazione casuale, occultamento dell'assegnazione e cecità era poco chiaro o elevato.
Perel P, Roberts I, Sena E, Wheble P, Briscoe C, Sandercock P, Macleod M, Mignini LE, Jayaram P, Khan KS. Comparison of treatment effects between animal experiments and clinical trials: systematic review. BMJ, 2007 (Revisione sistematica | Più specie)DOI 10.1136/bmj.39048.407928.BE In sei trattamenti con un risultato clinico univoco, esperimento animale e studio clinico più volte non concordavano: il tirilazad ha ridotto nel modello animale l'area infartuata del 29 per cento, mentre i pazienti con ictus che lo ricevevano stavano peggio.
Hirst JA, Howick J, Aronson JK, Roberts N, Perera R, Koshiaris C, Heneghan C. The need for randomization in animal trials: an overview of systematic reviews. PLoS ONE, 2014 (Revisione sistematica | Più specie)DOI 10.1371/journal.pone.0098856 In 31 revisioni sistematiche di studi su animali, il 29 per cento dei singoli studi riportava una randomizzazione, il 15 per cento un occultamento dell'assegnazione e il 35 per cento una valutazione degli esiti in cieco; l'assenza di randomizzazione ingrandiva le stime di effetto.
Bello S, Krogsbøll LT, Gruber J, Zhao ZJ, Fischer D, Hróbjartsson A. Lack of blinding of outcome assessors in animal model experiments implies risk of observer bias. Journal of Clinical Epidemiology, 2014 (Meta-analisi | Più specie)DOI 10.1016/j.jclinepi.2014.04.008 In dieci esperimenti su animali con 2'450 animali, valutati sia in cieco sia in aperto, la valutazione non in cieco ha sovrastimato l'effetto in media del 59 per cento; gli esiti erano per lo più soggettivi. Il valore è sostenuto da tre esperimenti su pesticidi con uno scostamento molto grande: nei restanti sette esperimenti la sovrastima era di circa il 18 per cento e non era statisticamente assicurata.
Conzemius MG, Evans RB. Caregiver placebo effect for dogs with lameness from osteoarthritis. Journal of the American Veterinary Medical Association, 2012 (Studio randomizzato | Più specie)DOI 10.2460/javma.241.10.1314 Nel gruppo placebo (58 cani) i proprietari hanno visto un miglioramento nel 39,7 per cento dei casi e i veterinari nel 44,8 per cento, mentre la pedana dinamometrica non mostrava alcun cambiamento in 46 cani su 58.
Gruen ME, Dorman DC, Lascelles BDX. Caregiver placebo effect in analgesic clinical trials for cats with naturally occurring degenerative joint disease-associated pain. Veterinary Record, 2017 (Altro | Più specie)DOI 10.1136/vr.104168 Analisi secondaria dei gruppi placebo: una rassegna della letteratura ha trovato sei studi controllati con placebo, cinque dei quali con dati analizzabili su 96 gatti; dal 54 al 74 per cento era considerato un successo secondo il giudizio dei proprietari, ma solo dal 10 al 63 per cento secondo l'attività misurata in modo oggettivo.
Munro BA, Bergen P, Pang DSJ. Randomization, blinding, data handling and sample size estimation in papers published in Veterinary Anaesthesia and Analgesia in 2009 and 2019. Veterinary Anaesthesia and Analgesia, 2022 (Studio trasversale | Più specie)DOI 10.1016/j.vaa.2021.09.004 La descrizione completa della randomizzazione è salita fra il 2009 e il 2019 dal 13,6 all'85,7 per cento e il calcolo della dimensione campionaria dallo 0 al 20 per cento, mentre la cecità è rimasta intorno al 50 per cento; nessun punto ha raggiunto la soglia fissata.
Vogt L, Reichlin TS, Nathues C, Würbel H. Authorization of Animal Experiments Is Based on Confidence Rather than Evidence of Scientific Rigor. PLoS Biology, 2016 (Studio trasversale | Più specie)DOI 10.1371/journal.pbio.2000598 In 1'277 domande svizzere di sperimentazione animale, sette misure standard contro la distorsione erano descritte soltanto nel 2,4 fino al 19 per cento delle domande e, nelle pubblicazioni che ne sono derivate, nello 0 fino al 34 per cento.
Tang X, Shi X, Zhao H, Lu L, Chen Z, Feng Y, Liu L, Duan R, Zhang P, Xu Y, Cui S, Gong F, Fei J, Xu NG, Jing X, Guyatt G, Zhang YQ. Characteristics and quality of clinical practice guidelines addressing acupuncture interventions: a systematic survey of 133 guidelines and 433 acupuncture recommendations. BMJ Open, 2022 (Studio trasversale | Umano)DOI 10.1136/bmjopen-2021-058834 Delle 303 raccomandazioni valutate con GRADE, 131 erano formulate come forti; di queste, 104 si appoggiavano su una certezza dell'evidenza bassa o molto bassa.
Pappachan JM, Lahart IM, Viswanath AK, Borumandi F, Sodi R, Metzendorf MI, Bongaerts B. Parathyroidectomy for adults with primary hyperparathyroidism. Cochrane Database of Systematic Reviews, 2023 (Revisione sistematica | Umano)DOI 10.1002/14651858.CD013035.pub2 Nella stessa revisione (8 studi randomizzati, 447 adulti) la certezza è stata giudicata moderata per l'esito «guarigione» e molto bassa per la densità ossea del rachide lombare.
Goehring L, Dorman DC, Osterrieder K, Burgess BA, Dougherty K, Gross P, Neinast C, Pusterla N, Soboll-Hussey G, Lunn DP. Pharmacologic interventions for the treatment of equine herpesvirus-1 in domesticated horses: A systematic review. Journal of Veterinary Internal Medicine, 2024 (Revisione sistematica | Cavallo)DOI 10.1111/jvim.17016 Di 7'009 pubblicazioni vagliate, nove soddisfacevano i criteri; il rischio di distorsione era da medio a elevato e i gruppi erano piccoli, e il gruppo di autori ha visto in tutti i principi attivi esaminati soltanto un beneficio minimo o limitato, sia in prevenzione sia dopo il contagio.
Hyytiäinen HK, Boström A, Asplund K, Bergh A. A Systematic Review of Complementary and Alternative Veterinary Medicine in Sport and Companion Animals: Electrotherapy. Animals, 2022 (Revisione sistematica | Più specie)DOI 10.3390/ani13010064 Di 5'385 pubblicazioni vagliate ne sono state incluse 41, in media 3,7 per procedura; 20 di esse presentavano un rischio di distorsione elevato e l'evidenza non era sufficiente per nessuna applicazione clinica in cavallo, cane o gatto.
Lai NM, Chang SMW, Ng SS, Tan SL, Chaiyakunapruk N, Stanaway F. Animal-assisted therapy for dementia. Cochrane Database of Systematic Reviews, 2019 (Revisione sistematica | Umano)DOI 10.1002/14651858.CD013243.pub2 Nove studi randomizzati con 305 partecipanti (uno dei quali con cavalli) hanno dato una certezza bassa per una lieve riduzione dei sintomi depressivi e nessun effetto chiaro sulla qualità di vita; tutti gli studi avevano un rischio elevato di distorsione nell'esecuzione.
Omar MI, Pal RP, Kelly BD, Bruins HM, Yuan Y, Diemer T, Krausz C, Tournaye H, Kopa Z, Jungwirth A, Minhas S. Benefits of Empiric Nutritional and Medical Therapy for Semen Parameters and Pregnancy and Live Birth Rates in Couples with Idiopathic Infertility: A Systematic Review and Meta-analysis. European Urology, 2019 (Meta-analisi | Umano)DOI 10.1016/j.eururo.2018.12.022 Dai 5'663 risultati vagliati sono stati inclusi 61 studi, di cui 59 randomizzati; secondo GRADE la certezza dell'evidenza è rimasta molto bassa per tutti gli esiti.
Ioannidis JPA. The Mass Production of Redundant, Misleading, and Conflicted Systematic Reviews and Meta-analyses. The Milbank Quarterly, 2016 (Altro | Indipendente dalla specie)DOI 10.1111/1468-0009.12210 Fra il 1991 e il 2014 il numero di revisioni sistematiche pubblicate ogni anno è cresciuto del 2'728 per cento, contro il 153 per cento di tutti i lavori indicizzati; solo sugli antidepressivi sono uscite fra il 2007 e il 2014 185 metanalisi, e l'autore ritiene superflua o fuorviante la maggior parte di questa produzione.
Shakir S, Lane S. From a pyramid to an amphitheatre (triangle to circle): embracing the totality of evidence for the postmarketing evaluation of the safety of therapeutic interventions. BMJ Open, 2025 (Altro | Umano)DOI 10.1136/bmjopen-2025-103538 Sostiene che la piramide rigida delle evidenze è inadatta alle questioni di sicurezza dopo l'omologazione e propone un modello privo di gerarchia, in cui i dati randomizzati e quelli della pratica reale si completano a vicenda.
ForschungPferd (2026). Livelli di evidenza: che cosa mostra ogni tipo di studio e che cosa non mostra. ForschungPferd, Italiano. https://forschungpferd.ch/it/evidenze/livelli-di-evidenza/