Metodo analitico per l'individuazione dei valutatori anomali

BMC Medical Research Methodology volume 23, numero articolo: 177 (2023) Citare questo articolo

112 accessi

Dettagli sulle metriche

Gli studi epidemiologici e medici spesso si affidano ai valutatori per ottenere misurazioni delle esposizioni o dei risultati per i partecipanti allo studio, e le stime valide delle associazioni dipendono dalla qualità dei dati. Anche se sono stati proposti metodi statistici per correggere gli errori di misurazione, spesso si basano su ipotesi non verificabili e potrebbero portare a stime distorte se tali ipotesi vengono violate. Pertanto, sono necessari metodi per individuare potenziali valutatori "anomali" per migliorare la qualità dei dati durante la fase di raccolta dei dati.

In questo articolo proponiamo un algoritmo a due fasi per individuare i valutatori "anomali" i cui risultati di valutazione tendono ad essere superiori o inferiori rispetto alle loro controparti. Nella prima fase, gli effetti dei valutatori sono ottenuti adattando un modello di regressione. Nella seconda fase, vengono eseguiti test di ipotesi per individuare valutatori "anomali", in cui consideriamo sia la potenza di ciascun test di ipotesi sia il tasso di false scoperte (FDR) tra tutti i test. Conduciamo un ampio studio di simulazione per valutare il metodo proposto e illustriamo il metodo rilevando potenziali audiologi "anomali" nella fase di raccolta dati per l'Audiology Assessment Arm del Conservation of Hearing Study, uno studio epidemiologico per l'esame dei fattori di rischio della perdita dell'udito nello studio sulla salute degli infermieri II.

Il nostro studio di simulazione mostra che il nostro metodo non solo è in grado di rilevare veri valutatori "anomali", ma ha anche meno probabilità di rifiutare falsamente veri valutatori "normali".

Il nostro algoritmo di rilevamento dei "valori anomali" a due fasi è un approccio flessibile in grado di rilevare efficacemente i valutatori "anomali" e quindi la qualità dei dati può essere migliorata durante la fase di raccolta dei dati.

Rapporti di revisione tra pari

Molti studi medici ed epidemiologici che indagano le relazioni tra fattori di rischio ed esiti della malattia si basano su più valutatori (ad esempio medici, tecnici) per misurare le esposizioni o gli esiti di interesse tra i partecipanti allo studio. Ad esempio, in ampi studi epidemiologici sulla perdita dell'udito, le misurazioni dell'audiometria dei toni puri vengono generalmente ottenute da più audiologi o tecnici qualificati in cabine insonorizzate [1,2,3]. Allo stesso modo, negli ampi studi sulla vista, i test sulla vista sono spesso condotti da più valutatori in ambito clinico [4, 5]. Inoltre, potenziali problemi legati alla raccolta di dati da parte di più valutatori possono estendersi anche a studi che si basano su dati raccolti con metodi di test non umani, come audiometri automatizzati [6], per ottenere misurazioni di test. Ottenere stime precise dell’associazione tra fattori di rischio ed esiti della malattia non dipende solo dai metodi statistici utilizzati, ma anche dalla qualità dei dati stessi. Sebbene siano stati proposti molti metodi analitici per correggere gli errori di misurazione derivanti da dati raccolti di scarsa qualità, tali metodi in genere si basano su presupposti non verificabili [7] e pagano un costo in termini di precisione delle stime. Pertanto, la raccolta di dati di migliore qualità è preferibile rispetto all’utilizzo di metodi statistici per correggere i bias indotti da dati di peggiore qualità durante la fase di analisi statistica. In questo articolo proponiamo metodi per il controllo della qualità durante la fase di raccolta dei dati in modo che i problemi con le misurazioni delle esposizioni o dei risultati possano essere scoperti e affrontati tempestivamente.

Il nostro lavoro è motivato dal Conservation of Hearing Study (CHEARS), un'indagine sui fattori di rischio per la perdita dell'udito tra i partecipanti al Nurses' Health Studies II (NHS II), uno studio di coorte in corso composto da 116.430 infermiere registrate negli Stati Uniti, di età compresa tra 25 e 42 anni al momento dell'iscrizione nel 1989 [8]. Il braccio di valutazione audiologico CHEARS (AAA) ha valutato la variazione longitudinale delle soglie uditive audiometriche per via aerea e ossea dei toni puri (l'intensità del suono di un tono puro alla quale viene percepito per la prima volta) misurate in decibel nel livello uditivo, o dB HL, su tutta la gamma delle frequenze convenzionali (0,5-8 kHz) [9]. Il test di base è stato condotto su 3.749 donne il cui stato uditivo autodichiarato era "eccellente", "molto buono" o avevano "piccoli problemi di udito" e risiedevano in prossimità di uno dei 19 siti di test CHEARS negli Stati Uniti [9]. Il test di follow-up a 3 anni è stato completato su 3.136 partecipanti (84%). Per ottenere misurazioni uditive affidabili, è fondamentale individuare potenziali audiologi "anomali" che tendono ad avere misurazioni dei test uditivi più alte o più basse rispetto ad altri audiologi. Una volta identificato un audiologo "anomalo", è possibile esaminare i dispositivi utilizzati da questo audiologo e, se necessario, è possibile effettuare un intervento precoce durante la fase di raccolta dei dati. Inoltre, queste informazioni anomale possono avere importanti implicazioni per l’approccio all’analisi dei dati.