evaluación de test diagnósticos · curva roc/ Área bajo la curva es el mejor indicador global de...

Evaluación de test diagnósticos

Área de Investigación en Clínica Interna

Berecoechea CelestePosadas Martinez Lourdes

Objetivos del ateneo

PreguntaDiseño del estudioPoblaciónSesgos y confundidoresCálculo de nAnálisis y estadísticoValidación del test

Duda diagnóstica

Intento de tomar decisiones adecuadas a pesar del uso de información inadecuada El diagnóstico es generalmente la primera intervención médica.

Test diagnósticos

Disbalance entre el desarrollo de los test diagnósticos y los estudios de investigación de los mismos. Contrariamente al desarrollo de fármacos, no existen requerimientos formales para la inclusión de un test diagnóstico en la práctica clínica.

Test diagnósticos

ScreeningDetectar o excluir una determinada enfermedadContribuir al diagnóstico y tratamientoPronóstico y seguimientoMonitorizar el curso clínico

Objetivos de los test diagnósticos:

Tener siempre en cuenta

La PREGUNTA de investigación

Diseños de los test diagnósticos para estudios clínicos

TrialCohorteCaso y referenciasAntes y después

Impacto de un test diagnóstico sobre el pronóstico o manejo

Corte trasversal(casos y referentes, aleatorio)

Exactitud diagnóstica o performance diagnóstica ( S y E)

Tipo de estudioObjetivo

Diseños de los test diagnósticos para sintetizar resultados

Consenso de expertosDesarrollo de guías de practica clínica

Traslación a la practicaclínica

Análisis de costo efectividad

Costo efectividad

Meta-análisisRevisiones sistemáticas

Sintetizar resultados de múltiples estudios

Tipo de estudioObjetivo

Población

Población general en riesgo (Screening)Población de enfermos vs. población de referencia (estudios de S y E)

Desafíos metodológicos

El problema del Gold StandardSesgos y confundidoresMedidas blandasRelaciones complejasTamaño muestralImpacto clínicoCambios durante el tiempo

Referencia StandardLa Referencia Standard sirve para comparar la performance diagnóstica de un test a estudiar.Características: debe ser aplicado a todos los sujetos en estudio, evaluado independientemente del test en estudio, debe tener un protocolo estandarizado. Problemas:

imperfectoinadecuado invasivocomplejovariable

Referencia Standart

Soluciones: Criterio pragmáticoComité de expertos independientesSeguimiento clínico (delayed type cross sectional study=retraso en el tipo de estudio de corte transversal)Hechas a medida Standard (tailoredmade)

Sesgos y Confundidores

SesgosSelección EspectroDel observador

Confundidores

Tamaño muestralSiempre debe ser realizadoDepende de la pregunta a responderVariables dicotómica (test de presición): nomogramasVariables continuas (área bajo la curva): cálculo de n basados en la precisión.

Tamaño muestral

Nomogramas: Se utiliza para estudios de corte transversal (S y E)Son diferentes depende si lo que busca la especificidad o sensibilidadNecesitamos saber tres de cuatro elementos: prevalencia, intervalo de confianza, S /E, y número de pacientes.

Carley et al. Simple nomograms to calculate sample size in diagnostic studies Emerg Med J 2005;22:180–181.S

Nomograma especificidad

Nomograma sensibilidad

Análisis y estadísticoPrecisión diagnóstica: habilidad para clasificar correctamente a los sujetos en subgrupos clínicamente relevantes. Las medidas de performance diagnóstica son:

Sensibilidad Especificidad Likelihood RatioValor predictivo positivo Valor predictivo negativo

Presición de una prueba diagnóstica

SensibilidadEs la probabilidad de clasificar correctamente a un individuo enfermo, es decir, la probabilidad de que para un sujeto enfermo se obtenga en la prueba un resultado positivo.La sensibilidad es, por lo tanto, la capacidad del test para detectar la enfermedad. (VP/VP+FN)

EspecificidadEs la probabilidad de clasificar correctamente a un individuo sano, es decir, la probabilidad de que para un sujeto sano se obtenga un resultado negativo. En otras palabras, se puede definir la especificidad como la capacidad para detectar a los sanos. (VN/FP+VN)

No dependen de la prevalencia de la enfermedad

Característica del test

Presición de una prueba diagnóstica

Valor predictivo positivo:Es la probabilidad de padecer la enfermedad si se obtiene un resultado positivo en el test. (VP/FP+FP)

Valor predictivo negativo:Es la probabilidad de que un sujeto con un resultado negativo en la prueba esté realmente sano. (VN/FN/VN)

Dependen de la prevalencia de la enfermedad

Se presenta como proporciones con IC95%

También se denomina Razón de Verosimilitud, Tasa de Probabilidad o Likelihood Ratio

Cociente de Probabilidad positivo: S/1-EProbabilidad de que el test resulte positivo en presencia de la enfermedad, dividido por la probabilidad de tener un test positivo sin tener la enfermedad

Cociente de Probabilidad negativo: 1-S/EProbabilidad de que el test resulte negativo en presencia de la enfermedad, dividido por la probabilidad de tener un test negativo sin tener la enfermedad

No varía con prevalenciaPermite utilizarlo como índice de comparación entre distintas pruebas para un mismo diagnóstico

Likelihood Ratio

Es una representación simple, fácilmente comprensible de la precisión de una prueba.

No requiere seleccionar un umbral de decisión particular porque es incluido todo el rango de valores.

Independiente de la prevalencia.Proporciona una comparación visual directa

sobre una escala común.

Curva ROC / Ventajas

Curva ROC (Receiver-Operating- Characteristic)

Se calcula cuando los resultados son continuos

Buscar el punto en donde la combinación ofrece los mejores valores de sensibilidad y especificidad.

Curva ROC/ Área bajo la curvaEs el mejor indicador global de la precisión de una prueba diagnóstica. Area Bajo la curva test H0= 0,5Area Bajo la curva IC 95%Area Bajo la curva test 1= Area Bajo la curva test 2Elegir un punto de corte para dicotomizar el test

Es siempre igual o mayor a 0,5, con rango de valores entre 0,5 ( no hay diferencia entre los valores de las pruebas entre los dos grupos) y 1 (discriminación perfecta).

Prevalencia Ca próstata 5 %

Likelihood Ratio

A tener en cuenta, otras características del test:Como se administra el testComo se interpretan los resultadosComo se preparan los pacientes para el testQue le puede pasar o sentir el paciente durante el testPrecauciones previasComo se guardan las muestras, se procesan y se analizanEl costo-efectividad del testOtros beneficios del test (menos invasivo, más reproducible, menos efectos adversos)El recurso humano, financiero y de espacio físico

En resumen• Lo primero es establecer la pregunta de investigación

sobre un test diagnóstico

• Decidir el diseño apropiado para contestar mi pregunta

• Calcular el n

• Decidir que análisis estadísticos serán mas adecuados para contestar mi pregunta

• Estandarización de procesos

• Reportar mis resultados según normas

BibliografíaCarley, S., S. Dosman, S.R. Jones, and M. Harrison, Simple nomograms to calculate sample size in diagnostic studies. Emerg Med J, 2005. 22(3): p. 180-1.Elstein, A.S. and A. Schwartz, Clinical problem solving and diagnostic decision making: selective review of the cognitive literature. Bmj, 2002. 324(7339): p. 729-32.Irwig, L., P. Bossuyt, P. Glasziou, C. Gatsonis, and J. Lijmer, Designing studies to ensure that estimates of test accuracy are transferable. Bmj, 2002. 324(7338): p. 669-71.Knottnerus, J.A., The Evidence Base of Clinical Diagnosis. 2002, London: BMJ.Knottnerus, J.A., C. van Weel, and J.W. Muris, Evaluation of diagnostic procedures. Bmj, 2002. 324(7335): p. 477-80.Lang, T.A. and M. Secic, How to Report Statistics in Medicine. 2006, Philadelphia, United States of America: American College of Physicians.Machin, D. and M.J. Campbell, Design of Studies for Medical Research. 2008, Sussex, England: John Wiley and Sons.Sackett, D.L. and R.B. Haynes, The architecture of diagnostic research. Bmj, 2002. 324(7336): p. 539-41.Winkens, R. and G.J. Dinant, Evidence base of clinical diagnosis: Rational, cost effective use of investigations in clinical practice. Bmj, 2002. 324(7340): p. 783.Whiting, P., A.W. Rutjes, J.B. Reitsma, P.M. Bossuyt, and J. Kleijnen, The development of QUADAS: a tool for the quality assessment of studies of diagnostic accuracy included in systematic reviews. BMC Med Res Methodol, 2003. 3: p. 25.http://www.stard-statement.org/