ABC delle revisioni sistematiche

L’ABC delle revisioni sistematiche Tom Jefferson Revisioni_sistematiche.indd 1 17/04/15 18:23

Tom Jefferson Honorary Fellow, Centre for Evidence-Based Medicine, Oxford Cochrane Acute Respiratory Infections Group Prima edizione: maggio 2015 © Il Pensiero Scientifico Editore srl Via San Giovanni Valdarno 8, 00138 Roma www.pensiero.it www.vapensiero.info inpratica.pensiero.it Tutti i diritti riservati Progetto grafico: Typo, Roma Immagini: © 2015 Thinkstock Stampa: Arti Grafiche Tris, Roma ISBN 978-88-490-0526-4 Revisioni_sistematiche.indd 2 17/04/15 18:23

Indice 5 Presentazione, Vittorio Demicheli 7 Premessa 9 Le origini 11 Cochrane 18 Impostazione del quesito e definizione dei criteri di inclusione 31 Protocollo 32 Ricerche delle prove 34 Quando interrompere la ricerca? 37 Applicazione dei criteri di inclusione 39 Abstraction 41 Extraction 49 Sintesi 52 Plain Language Summary 57 Interpretazione 58 Aggiornamento 60 Nuovi orizzonti 63 Bibliografia Revisioni_sistematiche.indd 3 17/04/15 18:23

Revisioni_sistematiche.indd 4 17/04/15 18:23

Presentazione La ricerca medica e la comunicazione scientifica Il pericolo più grande è quello di trovare giocano un ruolo centrale per la salute. informazioni distorte: prodotte da una cattiva Hanno anche assunto un peso economico ricerca (disegni di studio opportunistici, rilevante sia per le loro dimensioni sia, confronti addomesticati, misure di risultato soprattutto, per l’influenza che esercitano e tempi di rilevazione inadatti) oppure veicolate sulle decisioni e sui comportamenti delle dalla cattiva comunicazione (falsificazione autorità sanitarie, dei clinici e dei malati. di dati, mancata pubblicazione di studi, occultamento di risultati sfavorevoli, ecc.) L’offerta d’informazione scientifica è sterminata Insomma: la letteratura scientifica è piena e continua a crescere. La navigazione nel mare di insidie e i decisori (pazienti, sanitari, degli studi e delle pubblicazioni è, perciò, manager) non dispongono del tempo gravida di rischi. e delle conoscenze necessarie per trovare le informazioni giuste nel momento Vi è, anzitutto, il rischio di non rintracciare in cui sarebbero necessarie. tutte le informazioni rilevanti e di buona qualità e di soffermarsi su quelle più facilmente Le revisioni sistematiche sono lo strumento disponibili. Ma i rischi maggiori sono quelli con cui, da oltre un ventennio, la comunità indotti dagli enormi interessi che oggi scientifica cerca di facilitare la navigazione nel condizionano il mercato dell’informazione, mare dell’informazione scientifica per limitarne, interessi lontani se non addirittura contrastanti almeno parzialmente, i rischi e le insidie. con la salute dei pazienti. 5 Revisioni_sistematiche.indd 5 17/04/15 18:23

Presentazione Si tratta di uno strumento articolato e complesso che Tom Jefferson riesce a presentare in queste pagine in modo sintetico ed efficace. Una presentazione che non riguarda solo un metodo scientifico (un processo trasparente, rigoroso e riproducibile) ma, prima ancora, un approccio culturale, un invito ad allenare continuamente le nostre capacità di critica e a promuovere la trasparenza e l’integrità nel mondo della salute. Vittorio Demicheli CoChrane Collaboration Field 6 Revisioni_sistematiche.indd 6 17/04/15 18:23

Premessa In questa guida cercherò di usare una Si tratta in tutti i casi di legittimi campi di indagine terminologia corretta e semplice, senza inutili e studio che quindi vanno considerati, a buon anglicismi. Ad esempio, il termine anglosassone diritto, oggetto di sintesi. Laddove nel testo evidence si traduce direttamente in italiano io intenda indicare un effetto specifico con “prove”, ed è questa parola che sarà usata (ad esempio, tossico), questo verrà identificato nel testo. come tale. In un testo che tratta di sintesi mi sembra inoltre Un altro termine che userò è “intervento”, inteso doveroso mantenersi in linea con questo in senso lato come tutto ciò che può modificare il strumento logico, quindi nel termine generico servizio erogato o la salute dei pazienti e sia “effetto” saranno racchiusi tutti gli effetti specifici rivolto a un problema e non necessariamente a dovuti all’introduzione o all’uso di un intervento una malattia. “Interventi” sono quindi i farmaci, sanitario oggetto dell’analisi e poi della sintesi. le attività preventive, la diagnostica, la Questi effetti specifici vanno dagli effetti clinici prognostica o, semplicemente, l’organizzazione (cioè su persone e non su cose o animali: la e il controllo della qualità. cosiddetta “efficacia”) agli effetti tossici, a quelli organizzativi, economici, sociali, legali ed etici. Tutte le informazioni e i dati su qualsiasi argomento possono essere sintetizzati, ciò che importa è il perché (obiettivo) e il come (metodo). 7 Revisioni_sistematiche.indd 7 17/04/15 18:23

Premessa Un’altra avvertenza riguarda il termine “metanalisi”, coniato dallo psicologo-statistico americano Gene Glass nel 1976. La parola “metanalisi” viene spesso usata come sinonimo di sintesi (correttamente) o, erroneamente, di revisione sistematica. Una metanalisi affidabile non può essere condotta in assenza di una revisione sistematica. Ma la revisione sistematica può esistere senza la metanalisi. Comunque, i due termini non sono sinonimi. 8 Revisioni_sistematiche.indd 8 17/04/15 18:23

Le origini La necessità di sintetizzare le prove degli effetti degli interventi sanitari o sulla salute ha una lunga storia le cui origini si perdono nel tempo. Secondo alcune interpretazioni la prima metanalisi pubblicata (ma allora non indicata con questo termine) è l’indagine sulle vaccinazioni contro le febbri enteriche commissionata a Karl Pearson dal governo inglese e pubblicata sul British Medica Journal nel 1904. È stato calcolato che in media vengono attualmente pubblicati 75 studi clinici e 11 studi di sintesi al giorno su tutto lo scibile biomedico. Il bisogno di sintesi è impellente. La moderna forma di sintesi, che ha le sue basi nelle scienze sociali (e non nella biomedicina), possiede però una caratteristica determinante che la distingue dalle precedenti, ovvero la sistematicità. 9 Revisioni_sistematiche.indd 9 17/04/15 18:23

Le origini Con l’aggettivo “sistematico” si intende La sistematicità consente di seguire passo un lavoro di sintesi che segue metodi esaustivi passo l’evolversi del razionale, dei metodi e descritti a priori. Nelle sintesi prodotte dalla seguiti e dei risultati della sintesi: il risultato Collaborazione Cochrane (ora, semplicemente, finale è un percorso chiaro e confrontabile con Cochrane) questi metodi investono tutti gli lavori simili che trattano interventi diversi. aspetti di un lavoro scientifico: dalle glosse che spiegano storia ed evoluzione dello studio di In questa guida seguiremo e descriveremo sintesi, alla corrispondenza post-pubblicazione, la struttura della sintesi sistematica seguendo favorevole o meno al lavoro. la stessa logica degli autori, sperando così di permettere la comprensione della filosofia La Cochrane produce studi di sintesi e del razionale di ciascuna parte e del lavoro (reviews in inglese, impropriamente tradotto di sintesi nella sua completezza. con “revisioni”) che sono strutturati in tutti i loro particolari e aggiornati periodicamente. Inoltre, dalla sua nascita che risale a più di 20 anni fa, ogni revisione Cochrane è preceduta (anche di anni) dalla pubblicazione del relativo protocollo. Chi accede a una revisione Cochrane sta consultando quanto di più sistematico e trasparente esista al mondo in fatto di sintesi della prove. 10 Revisioni_sistematiche.indd 10 17/04/15 18:23

Cochrane Cochrane (in precedenza conosciuta come Archie Cochrane che sosteneva l’esigenza di Collaborazione Cochrane) è un movimento e una erogare gli interventi sanitari sulla base delle rete internazionale di ricercatori, consumatori prove della loro efficacia, la Cochrane produce e decisori fondato nel 1993 con l’unico scopo di sintesi basate su metodi rigidi ma trasparenti, sintetizzare le prove degli effetti degli interventi standardizzati e fondati quanto più possibile sanitari. Intitolata all’epidemiologo scozzese su prove empiriche di validità. 11 Revisioni_sistematiche.indd 11 17/04/15 18:23

Chi era Cochrane Archibald Leman Cochrane – detto Archie Alla fine della guerra riceve una borsa di studio – nasce nel 1909 a Galashiels, un paesino nel Rockfeller grazie alla quale si specializza sud della Scozia, da una famiglia benestante. alla London School of Hygiene and Tropical Dopo un brillante percorso scolastico, come Medicine e trascorre un anno negli Stati Uniti molti della sua generazione subisce il fascino per studiare l’epidemiologia della tubercolosi. delle teorie di Freud e Marx. Da paziente, per Al ritorno in patria entra a far parte, come risolvere una disfunzione sessuale che più tardi epidemiologo e lettore di radiografie, dell’unità si rivelerà una forma di porfiria, si sottopone di ricerca appena costituita sulle pneumoconiosi a un ciclo di psicoanalisi con Theodore Reik, del Medical Research Council (MRC). uno dei principali allievi di Freud. Entra poi a far parte della Brigata Internazionale partecipando I successivi dieci anni sono probabilmente da studente medico alla Guerra Civile spagnola. i più produttivi della sua vita. Mosso da un interesse quasi ossessivo per riproducibilità, La laurea in medicina e chirurgia arriva nel 1938 bassi tassi di rifiuto e validazione, dimostra e due anni più tardi decide di arruolarsi nei che si possono effettuare misure su popolazioni Royal Army Medical Corps (RAMC). Catturato geograficamente definite più o meno con a Creta nel 1941, trascorre un lungo periodo di lo stesso livello di accuratezza delle misure prigionia che lo conduce anche in Grecia e in fatte in laboratorio, dando un contributo Germania, dedicandosi soprattutto alla cura di fondamentale all’epidemiologia come scienza russi, francesi e iugoslavi affetti da tubercolosi. quantitativa. 12 Revisioni_sistematiche.indd 12 17/04/15 18:23

Docente di malattie polmonari alla National Nello stesso periodo accetta di diventare il primo School of Medicine del Galles, non fa molta preside della facoltà di medicina di comunità, carriera come professore nonostante sia un compito estraneo alla sua indole che compie proverbiale il suo garbo nel trattare con per puro senso del dovere. gli studenti, ma è comunque l’occasione per passare Si ritira con la famiglia dall’epidemiologia all’analisi nella casa di Rhoose Farm dei servizi sanitari. in Galles, dove completa Lascia la cattedra nel 1969 gli studi di 20 anni di per diventare direttore follow-up delle comunità a tempo pieno del MRC, di cui si era occupato negli concentrando i suoi studi anni Cinquanta, colleziona sull’importanza della quadri e sculture e si dedica definizione, attraverso gli con successo al giardinaggio. RCT, del luogo ottimale di Muore nel 1988 all’età cura e della durata ottimale di 79 anni. di ricovero. È del 1971 il suo libro “Efficacia ed efficienza: riflessioni sui servizi sanitari” che avrà una grande 13 risonanza internazionale. Revisioni_sistematiche.indd 13 17/04/15 18:23

Cochrane Il prodotto principale della Cochrane Nella Cochrane Library si trova anche il (una ONLUS con sede a Oxford nel Regno Unito) Database of Abstracts of Reviews of Effects è la Biblioteca Cochrane (Cochrane Library). (o DARE), una banca dati di citazioni La Cochrane Library contiene la più grande bibliografiche relative a sintesi sistematiche banca dati specializzata di revisioni non pubblicate sulla Cochrane Library. sistematiche e di studi clinici al mondo. Troviamo l’abstract dell’articolo e un commento critico preparato dal Centre for Reviews and È composta dal Cochrane Database of Dissemination (CRD) di York in Inghilterra. Systematic Reviews o CDSR – che contiene migliaia di protocolli e revisioni Cochrane – e dal Cochrane Central Register of Controlled Trials o Central – in cui gli studi clinici sono indicizzati a partire da accurate ricerche bibliografiche su banche dati e a mano in riviste e archivi. Nel Central Register non è presente il testo integrale dell’articolo ma soltanto il riferimento utile per risalire allo studio. 14 Revisioni_sistematiche.indd 14 17/04/15 18:23

Cochrane 2010 Kirkham et al.: sviluppo del sistema 1986 Avvio della serie di classificazione ORBIT 2014 Jefferson: viene pubblicata la 1972 Archie Cochrane 1979 Rosenthal et al.: “How to keep up 1989 Esce il libro 1993 Viene 1997 Al Gore rende 2004 L’International Committee prima revisione Cochrane basata pubblica “Effectiveness introduzione with the biomedical “Effective care fondata pubblicamente of Medical Journal Editors (ICMJE) 2010 Il mediatore esclusivamente su clinical study and efficiency: random del concetto di literature” sugli Annals in pregnancy and la Cochrane accessibile il 2001 Il New richiede la registrazione europeo (Ombudsman) report e altro materiale regolatorio reflections on health publication bias nella of Internal Medicine child birth” Collaboration database Medline York Times obbligatoria dei trial clinici accoglie istanza del services”; il suo lavoro letteratura medica http://annals.org/ di Iain Chalmers et al. attraverso Pubmed segnala l’EBM Centro Cochrane Nordico 2015 EMA inizia a pubblicare conduce alla fondazione article.aspx?articleid tra le più 2005 Comincia lo sviluppo e liberalizza l’accesso prospetticamente sul proprio della Collaborazione 1981 Chalmers =700619 importanti sito tutti i clinical study et al.: indice per 1997 Naylor et al.: “idee” dell’anno dello strumento Cochrane a clinical study report report sui quali è stata presa valutare la qualità definizione di per la valutazione di farmaci presi in una decisone del risk of bias, introdotto considerazione dal dei trial “meta-epidemiologia” poi nel 2008 regolatore europeo EMA 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 20151988 1981 CMAJ, rivista della 1993 Avvio della 2010 Mc Gauran: 2015 Alper et al.: seguito dello Canadian Medical 1991 Ricercatori serie Users’ Guides viene pubblicata sviluppo delle conoscenze Association, pubblica della McMaster to the Medical la più completa sul reporting bias, gli autori una serie di articoli 1987 Cynthia University Literature 1980 Hemminki sulla valutazione Mulrow pubblica coniano il termine rassegna di propongono un cambiamento distorsioni presenti di paradigma della base et al.: evidenza critica della letteratura sugli Annals of “Evidence-based nelle pubblicazioni delle prove che non tutti i trial curata dalla Internal Medicine Medicine” in una 1992 Pubblicazione 2000 Viene fondato 2004 Chan et al.: sponsorizzati dalle McMaster University un articolo critico scheda di Guyatt del primo articolo il Cochrane prova empirica del 2008 Dwan et al.: revisione 2013 Wiesler: crescono case farmaceutiche sulle rassegne sull’ACP Journal dell’EBM Working Reporting Bias reporting selettivo delle prove dell’ampiezza i dubbi sull’affidabilità sono pubblicati narrative Club Group Methods Group degli outcome del reporting selettivo delle pubblicazioni di trial 15 segue Ò degli outcome Revisioni_sistematiche.indd 15 17/04/15 18:23

Cochrane 2010 Kirkham et al.: sviluppo del sistema 1986 Avvio della serie di classificazione ORBIT 2014 Jefferson: viene pubblicata la 1972 Archie Cochrane 1979 Rosenthal et al.: “How to keep up 1989 Esce il libro 1993 Viene 1997 Al Gore rende 2004 L’International Committee prima revisione Cochrane basata pubblica “Effectiveness introduzione with the biomedical “Effective care fondata pubblicamente of Medical Journal Editors (ICMJE) 2010 Il mediatore esclusivamente su clinical study and efficiency: random del concetto di literature” sugli Annals in pregnancy and la Cochrane accessibile il 2001 Il New richiede la registrazione europeo (Ombudsman) report e altro materiale regolatorio reflections on health publication bias nella of Internal Medicine child birth” Collaboration database Medline York Times obbligatoria dei trial clinici accoglie istanza del services”; il suo lavoro letteratura medica http://annals.org/ di Iain Chalmers et al. attraverso Pubmed segnala l’EBM Centro Cochrane Nordico 2015 EMA inizia a pubblicare conduce alla fondazione article.aspx?articleid tra le più 2005 Comincia lo sviluppo e liberalizza l’accesso prospetticamente sul proprio della Collaborazione 1981 Chalmers =700619 importanti sito tutti i clinical study et al.: indice per 1997 Naylor et al.: “idee” dell’anno dello strumento Cochrane a clinical study report report sui quali è stata presa valutare la qualità definizione di per la valutazione di farmaci presi in una decisone considerazione dal del risk of bias, introdotto dei trial “meta-epidemiologia” poi nel 2008 regolatore europeo EMA 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 20153 2001987 1981 CMAJ, rivista della 1993 Avvio della 2010 Mc Gauran: 2015 Alper et al.: seguito dello Canadian Medical 1991 Ricercatori serie Users’ Guides viene pubblicata sviluppo delle conoscenze Association, pubblica della McMaster to the Medical la più completa sul reporting bias, gli autori una serie di articoli 1987 Cynthia nthia University Literature 1980 Hemminki sulla valutazione Mulrow pubblica pubblica coniano il termine rassegna di propongono un cambiamento distorsioni presenti di paradigma della base ls of et al.: evidenza critica della letteratura sugli Annals of “Evidence-based nelle pubblicazioni delle prove Medicine che non tutti i trial curata dalla Internal Medicine Medicine” in una 1992 Pubblicazione 2000 Viene fondato 2004 Chan et al.: critico sponsorizzati dalle McMaster University un articolo critico scheda di Guyatt del primo articolo il Cochrane prova empirica del 2008 Dwan et al.: revisione 2013 Wiesler: crescono egne case farmaceutiche sulle rassegne sull’ACP Journal dell’EBM Working Reporting Bias reporting selettivo delle prove dell’ampiezza i dubbi sull’affidabilità sono pubblicati narrative Club Group Methods Group degli outcome del reporting selettivo delle pubblicazioni di trial 16 degli outcome Revisioni_sistematiche.indd 16 17/04/15 18:23

Cochrane 2010 Kirkham et al.: sviluppo del sistema 1986 Avvio della serie di classificazione ORBIT 2014 Jefferson: viene pubblicata la 1972 Archie Cochrane 1979 Rosenthal et al.: “How to keep up 1989 Esce il libro 1993 Viene 1997 Al Gore rende 2004 L’International Committee prima revisione Cochrane basata pubblica “Effectiveness introduzione with the biomedical “Effective care fondata pubblicamente of Medical Journal Editors (ICMJE) 2010 Il mediatore esclusivamente su clinical study and efficiency: random del concetto di literature” sugli Annals in pregnancy and la Cochrane accessibile il 2001 Il New Il New richiede la registrazione europeo (Ombudsman) report e altro materiale regolatorio reflections on health publication bias nella of Internal Medicine child birth” Collaboration database Medline York Times mes obbligatoria dei trial clinici accoglie istanza del services”; il suo lavoro letteratura medica http://annals.org/ di Iain Chalmers et al. attraverso Pubmed segnala l’EBM l’EBM Centro Cochrane Nordico 2015 EMA inizia a pubblicare conduce alla fondazione article.aspx?articleid tra le più 2005 Comincia lo sviluppo e liberalizza l’accesso prospetticamente sul proprio della Collaborazione 1981 Chalmers =700619 importanti anti sito tutti i clinical study et al.: indice per 1997 Naylor et al.: “idee” dell’anno dello strumento Cochrane a clinical study report report sui quali è stata presa e” dell’ann valutare la qualità definizione di per la valutazione di farmaci presi in una decisone considerazione dal del risk of bias, introdotto dei trial “meta-epidemiologia” poi nel 2008 regolatore europeo EMA 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 20152003 2 1981 CMAJ, rivista della 1993 Avvio della 2010 Mc Gauran: 2015 Alper et al.: seguito dello Canadian Medical 1991 Ricercatori serie Users’ Guides viene pubblicata sviluppo delle conoscenze Association, pubblica della McMaster to the Medical la più completa sul reporting bias, gli autori una serie di articoli 1987 Cynthia University Literature 1980 Hemminki sulla valutazione Mulrow pubblica coniano il termine rassegna di propongono un cambiamento distorsioni presenti di paradigma della base et al.: evidenza critica della letteratura sugli Annals of “Evidence-based nelle pubblicazioni delle prove che non tutti i trial curata dalla Internal Medicine Medicine” in una 1992 Pubblicazione 2000 Viene fondato 2004 Chan et al.: sponsorizzati dalle McMaster University un articolo critico scheda di Guyatt del primo articolo il Cochrane prova empirica del 2008 Dwan et al.: revisione 2013 Wiesler: crescono case farmaceutiche sulle rassegne sull’ACP Journal dell’EBM Working Reporting Bias reporting selettivo delle prove dell’ampiezza i dubbi sull’affidabilità sono pubblicati narrative Club Group Methods Group degli outcome del reporting selettivo delle pubblicazioni di trial 17 degli outcome Revisioni_sistematiche.indd 17 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione Il razionale per sintesi, la prima colonna portante metodologica, va definito con cura e attenzione. Spesso la sintesi è commissionata da terzi che hanno un problema in cerca di una soluzione razionale; altre volte il lavoro è parte di un programma di ricerca o il problema si propone in modo autoevidente a un occhio attento. In ogni caso, prestare la massima attenzione al razionale (contesto decisionale, entità del problema, natura dell’intervento in questione, possibili soluzioni alternative) pagherà dividendi insperati e immediati. In effetti, il primo problema nell’impostazione del lavoro di sintesi è la definizione del quesito di studio. Questo viene di solito formulato come una cosiddetta “ipotesi nulla” (o “di equivalenza”) o come un quesito con 18 un punto interrogativo alla fine. Revisioni_sistematiche.indd 18 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione Esempio della prima formulazione è Conviene tenersi abbottonati, soprattutto l’affermazione “A è equivalente a B per la cura se neofiti rispetto al campo di indagine, dell’otite media in bambini di età prescolare”. e includere, negli studi da considerare, solo La seconda formulazione trasforma l’ipotesi ciò che ha buone probabilità di rispondere nel quesito “in bambini di età prescolare A al quesito o accettare o rifiutare l’equivalenza, è meglio di B nella cura dell’otite media?”. senza troppi “se” e troppi “ma”. Tutte e due le frasi sembrano circostanziate e precise, mentre in realtà rappresentano Un altro passo che deve essere compiuto, prima soltanto un punto di partenza. La fase successiva di lanciarsi in qualsiasi lavoro di sintesi che può entra nel vivo dei metodi degli studi di sintesi risultare oneroso, è assicurarsi, mediante una perché fissa le regole che governano verifica accurata, che il quesito che stiamo l’ammissibilità delle prove (usando un gergo elaborando sia effettivamente basato legale) in base alle quali si sceglie ciò che è sull’incertezza – cioè che non vi siano già incluso e ciò che sta fuori. risposte chiare e inequivocabili o comunque molto probabili al quesito – e che vi siano studi sull’argomento. Molti finanziatori e alcune riviste esigono questo tipo di precauzione prima di procedere oltre nel lavoro. 19 Revisioni_sistematiche.indd 19 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione Verificare la presenza o l’assenza di una nutrita continuare ad alimentare una ricerca di letteratura sull’argomento è dunque una improbabile utilità invece di dedicare più tempo precauzione tipica (e in parte giusta) dei e impegno a riflettere sulle scelte compiute finanziatori di lavori di sintesi. Dalle revisioni che non hanno portato risultati concreti. della letteratura pubblicata, purtroppo, di risultati importanti ne vengono fuori sempre D’altra parte, la possibile assenza di lavori di meno, così che la probabilità che un Plain o prove non inficia necessariamente la validità Language Summary (cioè il riassunto che spiega e il razionale del lavoro di sintesi. Il classico in modo chiaro e conciso quesiti e risultati buco nell’acqua può essere importante della revisione) si chiuda con la fatidica frase da identificare quanto la dovizia di prove: “Sono necessari ulteriori studi” è davvero l’incertezza è il motore della ricerca. altissima e secondo alcuni è la spia di come si preferisca 20 Revisioni_sistematiche.indd 20 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione La fase successiva entra nel vivo dei metodi Nell’esempio proposto il PICOD diventa: degli studi di sintesi perché fissa le regole P Persone di età da 6 mesi a 6 anni di ambo che governano l’ammissibilità delle prove i sessi. in base alle quali si sceglie ciò che è incluso I Meravigliomicina per os in dose consigliata. e ciò che sta fuori. C Schiantocillina per os in dose consigliata. O Sintomi e segni. Questa fase la possiamo chiamare di definizione D Sperimentazioni cliniche con assegnazione del PICOD. La sigla sta per Popolazione, casuale o semi-casuale in doppio cieco Intervento, Confronto, Outcome (o “esito”) di qualsiasi dimensione. e Disegno di studio. Ciascuno di questi termini è ancora insufficientemente descritto. Per esempio, i sintomi che ci interessano vanno elencati. Se la febbre è uno di questi, bisogna definire che cosa si intende per “febbre”. Ad esempio una temperatura ascellare di 38 gradi centigradi (misurata con un termometro digitale di fresca taratura) che risulti tale perlomeno a due osservazioni consecutive non separate 21 da più di 10 minuti. Revisioni_sistematiche.indd 21 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione I seguenti tentativi di stilare PICO sono tratti da esercizi pratici di livello base con operatori sanitari di diverse professionalità. L’esercizio non prevedeva la scelta del disegno di studio (D) più appropriato per rispondere al quesito. È per questo motivo che la lettera D è assente dalla sigla PICO. 2222 2 2 Revisioni_sistematiche.indd 22 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione Esempio 1 Esempio di PICO di oggetto organizzativo quasi “Errori” potrebbero anche essere il recapito del corretto. farmaco sbagliato, in dosi o frazionamento errati e potrebbero comprendere ricadute L’esito non è chiaro. Anche se il PICO è scritto clinico-economico-legali dovute a problemi da addetti ai lavori che tra loro si comprendono nella gestione dei medicinali. facilmente, il documentalista incaricato di fare ricerche continuerà a chiedere chiarimenti su ciò che si intende per “errori” e se questo è sinonimo di mancata ordinazione del farmaco. 2333 2 2 Revisioni_sistematiche.indd 23 17/04/15 18:23

Impostazione del quesito e definizione dei criteri di inclusione Esempio 2 Questo è un esempio di mancanza di dettaglio essenziale, forse dettato dall’inesperienza. Confronta con: P Soggetti con DM scompensato [definire] I Cartella clinica informatizzata C Cartella tradizionale O Lunghezza dei ricoveri, mortalità [per cause specifiche o meno?] 24 Revisioni_sistematiche.indd 24 17/04/15 18:24

Impostazione del quesito e definizione dei criteri di inclusione Esempio 3 In questo tentativo di PICO intervento ed esito coincidono. Intervento e comparatore sono stati inseriti entrambi in C (Comparatore). L’intervento farmacologico, il comparatore e gli esiti avrebbero dovuto essere definiti e specificati in dettaglio. 2 2 2555 Revisioni_sistematiche.indd 25 17/04/15 18:24

Impostazione del quesito e definizione dei criteri di inclusione Esempio 4 Esempio di PICO medico-antropologico. Abbastanza chiaro, pragmatico e preceduto da un quesito chiaramente e sinteticamente esposto. Ciò aiuta moltissimo nella formulazione del PICO. 26 Revisioni_sistematiche.indd 26 17/04/15 18:24

Impostazione del quesito e definizione dei criteri di inclusione Esempio 5 Nel comparatore C viene riportato il confronto per intero e l’esito in O non è definito. Dovrebbe essere: I Mucolitici (principio attivo, dose) C Nessun intervento O Durata, frequenza, produttività della tosse 27 Revisioni_sistematiche.indd 27 17/04/15 18:24

Impostazione del quesito e definizione dei criteri di inclusione Esempio 6 Esempi di affermazioni che non sono né quesiti né PICO e non sono abbastanza chiare per stabilire se riguardano aspetti clinici o organizzativi. 2 2 2 28888 Revisioni_sistematiche.indd 28 17/04/15 18:25

Impostazione del quesito e definizione dei criteri di inclusione L’alternativa ad un approccio rigoroso che timpanometria, è necessario che si stabilisca specifichi nei dettagli i diversi elementi del PICO chi la fa, in quali condizioni e quali valori è – per esempio – di non definire cosa si intenda si debbano considerare abnormi e in quale per “febbre” e lasciare agli autori dei singoli misura distributiva. studi inclusi l’autorità di identificare correttamente la presenza o meno della febbre e la sua durata. Questa soluzione pragmatica ha un costo non immediatamente identificabile: l’ingresso nel nostro studio di sintesi di studi “primari” (cioè quelli su cui la nostra sintesi si basa) di qualità più bassa. Autori di studi simili adottano l’atteggiamento del “tutto fa brodo” che pone domande a cui non si può dare una risposta scientifica sicura, specie se pochi definiscono gli esiti osservati con cura. Allo stesso modo, è necessario definire a priori quali segni e sintomi di esito 29 ci interessano. Ad esempio, nel caso della Revisioni_sistematiche.indd 29 17/04/15 18:25

Impostazione del quesito e definizione dei criteri di inclusione Anche la scelta dei disegni di studio che siamo Ed è per questo che, nella fase di definizione disposti a includere cela insidie. Poni l’asticella del razionale, più le idee sono chiare e minore metodologica troppo alta e rischi di finire con è il rischio di dover tornare sui propri pochi studi clinici di un disegno apparentemente passi (anche questa una decisione foriera perfetto. Abbassala, includendo anche studi di conseguenze). osservazionali, e rischi di finire in mezzo a una palude di studi di pessima qualità, la cui gestione e interpretazione risulterà difficile. Peraltro, nel nostro esempio dell’otite media nei bambini, ciò non dovrebbe porsi poiché si tratta di due interventi che rientrano nell’ambito dell’assistenza farmaceutica, per i quali dovrebbero essere disponibili trial registrativi. Ma se la tossicità, specie se si tratta di eventi rari e a lungo termine, è l’esito di interesse dominante o discriminante, il prevedere l’inclusione di studi osservazionali 30 (comparativi) è una precauzione logica. Revisioni_sistematiche.indd 30 17/04/15 18:25

Protocollo A questo punto siamo pronti per la stesura del È buona regola iscrivere il protocollo protocollo. Gli studi di sintesi hanno protocolli al Registro internazionale prospettico delle simili agli altri studi. Mentre uno studio compiuto revisioni sistematiche (International Register ha tradizionalmente una struttura IMRAD of Systematic Reviews), anche noto con (Introduzione, Metodi, Risultati e Discussione), la sigla PROSPERO, a cui si accede da i protocolli di sintesi hanno struttura e contenuto http://www.crd.york.ac.uk/PROSPERO che si fermano ai metodi, o tuttalpiù ai risultati previsti. La differenza sta nel contenuto Le revisioni Cochrane hanno protocolli che della sezione dei metodi che riporta i criteri vengono automaticamente pubblicati sul CDSR di inclusione e la struttura delle ricerche delle e senza i quali nessun gruppo Cochrane può prove, le cosiddette strategie di ricerca. arrivare a concludere il lavoro. 31 Revisioni_sistematiche.indd 31 17/04/15 18:25

Ricerche delle prove Le prove che sono rilevanti per il nostro esempio problema per la possibilità che saltino fuori provengono generalmente da due tipi di fonti. studi non validati nella ricerca di evidenze Le pubblicazioni (cioè il corrispettivo pubblicato su un determinato problema clinico. di uno studio) sono identificabili in banche dati di pubblicazioni che da anni hanno raggiunto Banche dati e motori di ricerca dimensioni notevoli e livelli di sofisticazione che è utile consultare sempre maggiore. Le strategie per identificarle correttamente si sono evolute di pari passo e oggi Pubmed http://www.ncbi.nlm.nih.gov/ sono simili a una scienza della documentazione pubmed sorta dalla conservazione e dalla ricerca Embase www.embase.com/ all’interno delle biblioteche cartacee. ScienceDirect http://www.sciencedirect.com/ Directory of Open http://doaj.org/ Per una trattazione completa si veda la guida di Access Jounals Chiara Bassi pubblicata in questa collana. HON http://www.hon.ch/HONsearch/ Patients/medhunt.html Con la diffusione di Internet, anche la letteratura Medical Matrix http://www.medmatrix.org/ grigia – cioè i testi diffusi attraverso mezzi diversi Healthfinder http://www.healthfinder.gov/ da quelli dell’editoria commerciale, perlopiù in iMedisearch http://www.imedisearch.com/ ambito governativo, accademico o industriale – è facile da recuperare ed è quindi ampiamente Google Scholar http://scholar.google.it/ utiizzata e inclusa nelle revisioni sistematiche. PLOS ONE http://www.plosone.org/ 32 Ciò ovviamente rappresenta un potenziale Medscape http://www.medscape.com/ Revisioni_sistematiche.indd 32 17/04/15 18:25

Ricerche delle prove Per ottenere ulteriori informazioni su ricerche non oppure con enti o istituzioni (ad esempio, pubblicate o di prossima pubblicazione, esiste industrie farmaceutiche o centri di ricerca). anche la possibilità di prendere contatto con gli Wolfe, Gøtzsche e Bero (Wolfe et al., 2013) hanno autori di alcuni studi o di passate revisioni, realizzato uno studio qualitativo che analizza le interviste con autori di revisioni sistematiche che hanno pubblicato Cochrane reviews o pubblicato revisioni sistematiche al di fuori della Cochrane Library con l’obiettivo di fornire una descrizione dettagliata delle modalità di ricerca e di accesso ai dati non pubblicati e di offrire una guida sulle best practice per identificare, ottenere e usare dati non pubblicati. 33 Revisioni_sistematiche.indd 33 17/04/15 18:25

Quando interrompere la ricerca? Non potete mai essere totalmente sicuri (improntata alla massima di esservi procurati tutta la letteratura sensibilità delle parole chiave) disponibile su un determinato argomento, e quella del clinico che deve quindi la decisione di interrompere la ricerca trovare pochi documenti dipende di solito dal tempo – e dal denaro – ma quasi sicuramente utili a disposizione. Un consiglio da amico: (improntata dunque alla al termine delle ricerche non siate mai tentati massima precisione delle di pronunciare frasi come “abbiamo trovato tutti parole chiave). Sembrano gli studi sull’argomento”. L’esperienza insegna forse notazioni scontate, ma che la smentita è soltanto dietro l’angolo. non potete immaginarvi quanto sia frequente imbattersi in revisioni Se la ricerca produce troppi risultati, concentrarsi sistematiche basate sulla ricerca sugli RCT ridurrà il numero di quelli che bisogna nelle ultime annate di Topolino procurarsi. Un altro metodo è quello di sfruttare (vedi Hersh, 2009). le conoscenze del vostro team per sapere se ci sono studi o ricerche che non hai ancora trovato. Le ricerche in realtà possono proseguire virtualmente Rispetto all’importanza che la ricerca sia più ampia all’infinito e sono limitate possibile per vedersi restituiti tutti i documenti (come abbiamo accennato) rilevanti (cioè di potenziale interesse), può solo dalle risorse a disposizione tornare utile citare la differenza tra l’impostazione (principalmente il tempo). 34 di una search da parte del revisore sistematico Revisioni_sistematiche.indd 34 17/04/15 18:25

Quando interrompere la ricerca? Negli ultimi anni è cresciuta la consapevolezza sono irreperibili per definizione poiché nessuno che le pubblicazioni non sono documenti neutri (a parte i finanziatori e, alle volte, i regolatori) ed esaustivi che riportano svolgimento e sono al corrente della loro esistenza. risultati di studi, specie se si tratta di trial clinici che riguardano l’impiego di medicinali. Tutto ciò aumenta la probabilità di distorsioni (reporting bias) dei risultati della nostra Se confrontate con i loro corrispettivi regolatori, revisione con danni potenzialmente irreparabili i cosiddetti clinical study report (CSR), le sull’attendibilità dei risultati, soprattutto pubblicazioni rappresentano scarne ed estreme se i ricercatori che hanno lavorato alla sintesi sintesi che possono arrivare a comprimere non sanno dell’esistenza in pochi fogli fino a ottomila pagine di studi non pubblicati. dell’equivalente CSR, senza dare spiegazioni sui criteri di scelta per la sintesi. Inoltre il problema della sintesi si pone solo per gli studi visibili, cioè pubblicati o presenti all’interno di un registro. I registri sono anch’essi fonti problematiche di informazioni poiché spesso non sono aggiornati o sono presentati 35 con informazioni incomplete. Gli studi invisibili Revisioni_sistematiche.indd 35 17/04/15 18:25

Quando interrompere la ricerca? Dal 2010, anno di cambiamento della politica Quali che siano le fonti dei rapporti degli studi, dei regolatori europei della European Medicines il metodo nelle fasi seguenti rimane lo stesso, Agency (EMA), è però disponibile una soluzione, poiché tutti gli studi reperiti vanno letti. anche se laboriosa e di difficile praticabilità. Comincia, cioè, l’analisi. EMA ora rilascia CSR di studi usati per la registrazione dei farmaci, e una prima revisione Cochrane basata su CSR è stata già pubblicata. La preparazione di questa revisione durata 5 anni (e l’ampio dibattito pubblico che ne ha seguito l’evoluzione) ha dato impulso alla creazione di registri di trial sponsorizzati, gestiti da diverse aziende addirittura con la possibilità di consultazione di dati individuali. Sebbene questa rappresenti una potenziale soluzione per superare i problemi del reporting bias, i tempi lunghi di lavorazione legati alla immane mole e complessità dei CSR la rendono difficilmente percorribile se le risorse 36 (prima fra tutte il tempo) scarseggiano. Revisioni_sistematiche.indd 36 17/04/15 18:25

Applicazione dei criteri di inclusione Capita spesso che una semplice ricerca di studi tramite un software bibliografico (che si collega identifichi centinaia o migliaia di ricerche di ai motori di ricerca usati) e condotto in doppio potenziale interesse. Queste ricerche – di cui da due ricercatori per minimizzare gli errori ancora non si conosce l’affidabilità – vanno e aumentare l’obiettività delle decisioni prese. filtrate (screening) e divise in base ai criteri I molti dubbi vengono di solito risolti da un terzo di inclusione in “forse sì” e “certamente no”. ricercatore che decide in un senso o nell’altro A seconda della mole, l’operazione consiste sull’ammissibilità degli studi dubbi. nella lettura del solo titolo, o del titolo e del riassunto (abstract) oppure Ciò che rimane da questo processo di filtraggio dell’intero lavoro (full text è una lista di riferimenti bibliografici o di studi screening). Il filtraggio che sono poi reperiti nella loro interezza. è di solito gestito Un filtraggio che può essere rappresentato come un imbuto al cui imbocco ci sono molti “forse” e all’uscita di solito una manciata di “probabili”. 37 Revisioni_sistematiche.indd 37 17/04/15 18:25

Applicazione dei criteri di inclusione Vale la pena approfondire alcuni dei molti equivoci su questa fase-chiave del lavoro Avete buttato via il 95% dei lavori alle sintesi scientifiche. La sintesi, proprio perché tale, comporta un filtraggio I commenti parafrasati a fianco – nei quali e un’operazione di esclusione sulla base di criteri è possibile leggere una uniforme vena di inclusione prestabiliti. Se così non fosse, di incomprensione per la logica di sintesi – che sintesi sarebbe? sono ricorrenti quando chi ha poca Avete buttato via il 95% dei lavori dimestichezza con i lavori di sintesi perché la qualità è scarsa e la loro logica legge o commenta La verifica della qualità metodologica degli studi una revisione sistematica. avviene dopo la loro inclusione, non prima. La qualità non è mai un criterio di inclusione. Se lo fosse, gli autori dovrebbero applicare la valutazione critica a centinaia o migliaia di articoli e studi, compresi quelli che, anche se indentificati nelle ricerche, sono chiaramente fuori tema se confrontati con il PICO. Non avete commentato le affermazioni fatte nello studio x a pagina y Quando si sintetizza è inevitabile che alcuni dettagli degli studi vengano persi. Se questi dettagli sono ritenuti importanti da chi legge, il meccanismo della Lettera al Direttore (un meccanismo istituzionalizzato in tutte le riviste) può essere usato per richiamare 38 l’attenzione degli autori e chiedere un commento. Revisioni_sistematiche.indd 38 17/04/15 18:25

Abstraction La fase successiva è quella della lettura Queste differenze possono riguardare accurata dei lavori inclusi nello studio di sintesi il disegno, la ripetitività di alcuni concetti sistematica, cioè di comprensione dettagliata o frasi (che in casi estremi possono indicare del contenuto di ciascun articolo (o rapporto) plagio o la medesima mano di chi ha scritto), che soddisfi i criteri di inclusione del PICO. la coerenza della bibliografia con quanto Questa fase richiede la massima concentrazione riportato e, nel caso del complessissimo CSR, e una visione contemporaneamente la coerenza delle varie parti (ad esempio di singolo studio (quello che si ha di fronte) protocollo, piano di analisi e corrispettivi e dell’intera popolazione di riferimento nel corpo principale, main body, del report). (gli altri studi inclusi). Il processo di acquisizione della visione non è facilmente definibile perché basato perlopiù sull’esperienza. L’abstraction consiste nel notare differenze reali o apparenti dello studio che si sta leggendo rispetto a quelli già letti. 39 Revisioni_sistematiche.indd 39 17/04/15 18:26

Abstraction La maniera migliore per fare un abstraction è scrivere una descrizione succinta (di non più di una pagina e mezzo) dello studio con poche righe di commento. Questo esercizio serve a concentrarsi sulle caratteristiche salienti dello studio e a tralasciare i dettagli meno importanti (cioè a riassumere). Per affrontare questa impegnativa prova di sintesi, si può provare a immaginare di raccontare lo studio a chi ancora non lo conosce. Chi scrive esegue la descrizione impostandola secondo il formato delle revisioni Cochrane (Metodi, Partecipanti, Esiti e Note) che poi incolla nella Tabella di Caratteristiche degli Studi Inclusi (CIST – Characteristics of Included Studies Table) del file del programma Cochrane RevMan. 40 Revisioni_sistematiche.indd 40 17/04/15 18:26

Extraction L’estrazione è la seconda fase dell’analisi/ Non esiste un formato universale per sintesi degli studi inclusi. In questa fase l’estrazione dati, né esiste un software prendono avvio due procedure: per farlo. Stranamente (dato il notevole „ La prima è la sintesi delle informazioni dispendio di energie) lo stesso gruppo e dei dati che viene incollata sul cosiddetto di revisori può usare due formati foglio di estrazione, studio per studio. di estrazione diversi in due lavori Viene anche valutata la qualità metodologica di sintesi consecutivi. degli studi. „ In seconda battuta, se ne valuta la confrontabilità in vista di un possibile accorpamento dei dati (la cosiddetta metanalisi). 41 Revisioni_sistematiche.indd 41 17/04/15 18:26

Extraction Sulla base dell’esperienza, un buon formato è La valutazione della qualità metodologica ha rappresentato da una descrizione iniziale dello subito un cambiamento radicale negli ultimi studio che segua i punti principali della CIST anni. Una quindicina di anni fa si era soliti usare (Metodi, Partecipanti, Esiti e Note) a cui far scale di valutazione con relativa assegnazione seguire le tabelle numeriche con i dati principali di punteggi. Poi ci si è resi conto che queste per intervento e controllo (tipo di popolazione, scale con punteggi erano soggettive e allo confronto, outcome e numeratore sopra il stesso studio potevano essere assegnati denominatore per i dati dicotomici, e medie punteggi molto diversi a seconda dei valutatori. e deviazioni standard per i dati continui). Ora si preferisce una valutazione che assegni Altri dettagli dello studio vengono annotati: a ciascun elemento (item) un rischio di ad esempio da chi è stato finanziato distorsione (ROB – Risk Of Bias), e quando si è svolto. una pratica di derivazione strettamente Cochrane. A scopo puramente indicativo, Questo tipo di valutazione è si veda il foglio di estrazione raccomandata soprattutto utilizzato da chi scrive per per gli studi clinici con abstraction ed extraction del assegnazione casuale. trial di Tom Sandora e colleghi sugli effetti di varie sostanze per l’igiene delle mani, svoltosi una decina di anni fa e incluso 42 nella relativa revisione Cochrane. Revisioni_sistematiche.indd 42 17/04/15 18:26

A122 - Interventions for the interruption or reduction of the spread of respiratory viruses transmissions of GI infections (data not extracted) and ARIs in families. Units Extraction correlation was 0.01. Cochrane Vaccines Field - Data Extraction Sheet of randomisation were child care centres and was carried out on enrolment by an investigator using random block size generated by computer. Assignment was single blind (i.e. investigator blinded to the status of the centre). Cluster Participants Participants Two hundred and ninety two families with 1 or more children aged 6 months Two hundred and ninety two families with 1 or more children aged 6 months to 5 years who were in child care for 10 or more hours a week. to 5 years who were in child care for 10 or more hours a week. The were 155 children in 14 centres allocated to the intervention arm Cochrane Vaccines Field - Data Extraction Sheet A122 - Interventions for the interruption or reduction of the spread of respiratory viruses intervention) and 19 (8, lost to follow located to the intervention arm and 137 children in 12 centres allocated to the control arm. The mean age was 3 to 2.7 years. Attrition was respectively 15 (3, lost to follow centres allocated to the control arm. The mean age was 3 to 2.7 years. Attrition was respectively 15 (3, lost to follow-up and 12 who discontinued the Background Information and Description of study Alcohol-based handanitiser (GOJO industries INC) with bi PART 1 intervention) and 19 (8, lost to follow-up and 11 who discontinued the intervention). ITT analysis was carried out. intervention). ITT analysis was carried out. Interventions/Exposure Interventions/Exposure Interventions/Exposure Interventions/Exposure based handanitiser (GOJO industries INC) with bi Reviewer: TOJ 241106 on a healthy diet. Alcohol based handanitiser (GOJO industries INC) with bi-weekly hand- Study unique identifier: Sandora 2005 Outcomes hygiene educational materials for 5 months or by weekly educational material hygiene educational materials for 5 months or by weekly educational material Reference: Sandora T J, Taveras E M, Shih M C, Resnick E A, Lee G M, Laboratory Ross-Degnan D, Goldmann D A. A randomized, controlled trial of a Published: Y T J, Taveras E M, Shih M C, Resnick E A, Lee G M, throat). An illness episode had to be separated by 2 symptom Cochrane Vaccines Field - Data Extraction Sheet based hand sanitizer and hand multifaceted intervention including alcohol-based hand sanitizer and hand- hygiene education to reduce illness transmission in the home, eng. Pediatrics. Effectiveness hygiene education to reduce illness transmission in the home, eng. Pediatrics. PART 2a ARI (two of the following symptoms for 1 day or 1 of the following symptoms A122 - Interventions for the interruption or reduction of the spread of respiratory viruses 2005 Sep; 116(3):587-94. for 2 days: runny nose, cough, sneezing, stuffy or blocked nose, fever, sore Period study conducted: November 2002 – April 2003 RCT and CCT only Methodological Quality Assessment a previous episode. A secondary illness was when a it followed a similar up was by means of bi Full paper Dry skin (71 reports), stinging (11 reports), bad smell Country or countries of study: USA reports), allergic reaction (2 reports), slippery feel illness in another family member by 2 only after inputting the details of the participant. Generation of allocation schedule: random number tables Number of studies included in this paper: 1 participants from the analysis of trial results? Yes Concealment of treatment allocation: treatment allocation was assigned by means of an on-site computer using a locked file which could be accessed Paper/abstract numbers of other studies with which these data are linked: Lee Paper/abstract numbers of other studies with which these data are linked: Funding source: Pharmaceutical The authors conclude that blinding? N/A – only for researcher at allocation Exclusion of allocated participants from the analysis of the trial a) Did the report mention explicitly the exclusion of allocated 2005, “previous study by the same group” Measures to implement double blinding b) If so did the report mention the reason(s) for exclusion? See descr Reviewer’s assessment of study design: C-RCT - (i.e. appearances, colour, route administration) N/A Does the study present data distributed by age group/occupation/health Does the study present data distributed by age group/occupation/health Sub group distribution a) Did the report mention explicitly measures to implement and protect double No status? Sub group distribution Yes b) Did the author(s) report on the physical aspect of compound administration X X PART 2c 4 4 Age group X X Data Extraction and manipulation 4333 Occupation (to be used for dichotomous or continuous outcomes) Health status X healthy diet. RCT and CCT only Immunisation X Outcomes status/schedule Gender Secondary ARI episodes Risk group 733 Primary ARI episodes Comparison Alcohol-based handanitiser with bi-weekly hand-hygiene Description of study person-days of observation. 241 Control n=137 Intervention arm n=155 randomised controlled trial carried around the Boston educational materials for 5 months or by weekly educational material on a April 2003. The trial tested the April 2003. The trial tested the Revisioni_sistematiche.indd 43 randomised controlled trial carried around the Boston 626 17/04/15 18:26 Notes (for statistical use only) Incidence rates also

Extraction Gli elementi legati al rischio specifico „ Distorsione di attrito (attrition bias): quando di distorsione sono: vi è incompletezza del reporting degli esiti. „ Distorsione di selezione (selection bias): „ Distorsione di rapporto (reporting bias che si introduce con una generazione o selective reporting): selezione dei dati della sequenza casuale di assegnazione e risultati contenuti nel rapporto. e camuffamento dell’allocazione dei „ Altre possibili distorsioni (other bias) partecipanti (persone o cose che siano) che a parere del ricercatore possono avere di scarsa qualità (random sequence avuto un impatto su risultati e conclusioni generation and allocation concealment). degli studi. „ Distorsione di conduzione (performance bias): quando i partecipanti, gli erogatori e i ricercatori non sono accecati cioè ignari della assegnazione (blinding of participants and personnel). „ Distorsione di accertamento (detection bias): quando gli esiti sono identificabili e riconducibili all’intervento o al suo controllo (blinding of outcome assessment – all outcomes). 44 Revisioni_sistematiche.indd 44 17/04/15 18:26

Extraction Flow chart dello studio con distorsioni-chiave Esempio di studio Distorsione di selezione Generazione di una sequenza casuale di allocazione Allocazione dei Camuffamento dell’allocazione partecipanti ai gruppi (randomizzazione) Distorsione di conduzione Gruppo sperimentale Gruppo di controllo (ad esempio, nuovo intervento) (ad esempio, cura abituale) Standardizzazione del piano di intervento “Accecamento” del personale, dei partecipanti o dei pazienti Follow-up Follow-up Distorsione di misurazione “Accecamento” di chi stabilisce Esito presente Esito assente Esito presente Esito assente gli outcome e dei partecipanti Distorsione da attrito Descrizione dei ritiri Stima dell’effetto Analisi intention-to-treat 45 Revisioni_sistematiche.indd 45 17/04/15 18:26

Extraction Per gli studi osservazionali esiste una miriade Da notare che esistono diversi strumenti di strumenti valutativi della qualità per gli studi osservazionali, ad esempio metodologica che variano a seconda la Strengthening the Reporting of Observational del disegno di studio e delle finalità Studies in Epidemiology Checklist (STROBE), (diagnostica, efficacia, economia e così via): che non sono guide alla valutazione della „ Appraisal of Guidelines for Research and qualità metodologica di studi di un determinato Evaluation (AGREE): strumento generico di disegno, ma ausili al loro reporting completo valutazione della qualità delle linee-guida ed esauriente. che può essere usato sia da chi elabora linee-guida come sistema di autovalutazione Più sfumata è la questione dell’uso che si può sia per prendere decisioni nella pratica o si deve fare dei risultati della valutazione clinica e in politica sanitaria. della qualità metodologica di ciascuno studio. „ Quality Assessment of Diagnostic Accuracy Se c’è una metanalisi, alcuni programmi Studies (QUADAS2): seconda versione elettronici pesano i risultati per il giudizio dello strumento che valuta il rischio di qualitativo, la stratificazione della metanalisi distorsione (bias) negli studi di accuratezza in studi a alto, medio o basso rischio di bias diagnostica da includere in una revisione sarebbe un sistema migliore e più trasparente. sistematica. In ogni caso, all’interno del lavoro di sintesi „ A Measurement Tool to Assess Systematic sistematico, dovrebbe sempre essere condotta Reviews (AMSTAR): strumento per la una discussione dettagliata su pregi e difetti di valutazione della qualità delle revisioni ciascuno studio e sul loro impatto sui risultati. 46 sistematiche. Revisioni_sistematiche.indd 46 17/04/15 18:26

Extraction Anche per la confrontabilità di ciascun studio controllare omogeneità o meno del contenuto esistono regole fisse e inderogabili. In generale degli studi estratti. (e specie per lavori che includono un largo numero di studi) è buona regola farsi degli Ecco un esempio pratico da uno studio specchietti o tabelline che permettano di ipotetico. Esito Studio Studio Studio Rossi 2009 Bianchi 2011 Verdi 2013 Morte per tutte le cause X X X Morte per ischemia cardiaca [definizione A] X X Morte per ischemia cardiaca [definizione B] X X Morte per ischemia cardiaca [definizione C] Morte improvvisa X X X Popolazione 16-80 65 e oltre con 65 e oltre con anamnesi positiva anamnesi positiva Note Diagnosi seguendo – – percorso X 47 Revisioni_sistematiche.indd 47 17/04/15 18:26

Extraction La flow chart che segue rappresenta bene il talvolta complicatissimo fluire degli studi attraverso tutte le fasi, dalle ricerche alla sintesi. Record potenzialmente rilevanti identificati e oggetto di screening (n=4917) Non rilevanti sulla base del titolo e dell’abstract (n=4882) Record richiamati per una valutazione più dettagliata (n=35) Esclusi (n=28): • non sono RCT (n=19) • il confronto non è il focus della revisione (n=2) • non nei bambini (n=5) • non in comunità (n=1) • impossibile ottenere dati (n=1) Trial eleggibili per l’inclusione (n=7) 48 Revisioni_sistematiche.indd 48 17/04/15 18:26

Sintesi Come abbiamo accennato esistono due tipi di sintesi: „ quantitativa, quando dati da studi differenti si possono accorpare statisticamente; „ qualitativa o narrativa quando ciò non è possibile. Tra i programmi per eseguire una metanalisi, forse il più usato è il software Cochrane RevMan (o Review Manager), anche perché è scaricabile gratis (http://tech.cochrane.org/ revman/download), in continua evoluzione e abbastanza chiaro grazie anche al manuale di utilizzo, compreso nel pacchetto. Esula dallo scopo di questo volume fornire una esperto. Ciò detto, nulla vieta ai neofiti di guida all’uso del software per la quale si rimanda esercitarsi nella costruzione di varie metanalisi al manuale, ma è buona regola affrontare una usando RevMan, imparandone in questo modo 49 metanalisi con le spalle coperte da uno statistico i comandi ma soprattutto la logica. Revisioni_sistematiche.indd 49 17/04/15 18:26

Sintesi La sintesi narrativa può essere condotta tramite testo oppure in tabelle. Vi sono molti esempi di revisioni narrative, ma consiglio ai lettori di leggere il lavoro di Natalie McGauran e colleghi del 2010 che unisce due caratteristiche importanti per chi si interessa di sintesi: è al contempo un ottimo esempio di sintesi narrativa che unisce tabelle e testo e una rassegna completa dei vari aspetti e tipi di distorsione nei rapporti di studi e nell’invisibilità di alcuni (reporting bias). Con quest’ultimo formula si riassumono oggi tutti i tipi noti di distorsione, compreso il bias di pubblicazione (publication bias). 50 Revisioni_sistematiche.indd 50 17/04/15 18:26