revisiones sistemáticas ¿previa a una investigación? ¿un trabajo de investigación? servicio...
TRANSCRIPT
Revisiones Sistemáticas¿Previa a una Investigación?¿Un trabajo de Investigación?
Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana
Análisis de la Bibliografía aplicada a la
Metodología de la Investigación
21
5
101
1 2
8
7
8
12
4
3
1
1
2
8
7
2
1
1
1
2
8
1
5
15
6
Not
Men
tion
ed
Rou
tin
e
Exp
eri
men
tal
Rare
/Never
Sp
ecifi
c
M
M
M
M
M
M
Textbook/ReviewRecommendations
Odds Ratio (Log Scale)
0.5 1.0 2.0
Favours Treatment Favours Control
RCTs Pts
1 23
2 65
3 149
4 316
7 1793
10 254411 265115 331117 392922 5452
P<.01
23 5767
27 612530 634633 657143 21 05954 22 051
67 47 53165 47 185
70 48 154
P<.001
P<.00001
CumulativeYear
1960
1965
1970
1980
1985
1990
Thrombolytic Therapy
Situación Clínica
Discuten en su hospital si los probióticos tendrán
efectividad en la prevención de la diarrea, luego de
medicación antibiótica, por Clostridium difficile…Decidimos que vamos a discutir con la mejor evidencia disponible
Nos planteamos la pregunta, emprendemos la búsqueda sobre probióticos y Clostridium difficile….
Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana
¿Una Pregunta de?¡
P:I:C:O:T:
probióticos
??????
???
Prevención diarrea por Clostridium
Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana
TIPO TIEMPO INVESTIGACIÓN UTILIDAD
CORTE TRANSVERSAL
MOMENTO OBSERVACIONAL PREVALENCIA
COHORTES LONGITUDINALPROSPECTIVO
OBSERVACIONAL PRONOSTICOHISTORIA ETIOLOGÍA
CASO CONTROL LONGITUDINALRETROSPECTIVO
OBSERVACIONAL ETIOLOGÍA
EXPERIMENTOCONTROLADO
LONGITUDINALPROSPECTIVO
EXPERIMENTAL EVALUAR TRATAMIENTOSLABORATORIO
¿Qué diseño buscamos?
Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana
¿Una Pregunta de?¡
P:I:C:O:T:
probióticos
??????
???
Prevención diarrea por Clostridium
Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana
¿Una Pregunta de?¡
P:I:C:O:T:T:
probióticos
Episodios diarreatratamiento
placebo
Prevención diarrea por Clostridium
aleatorizado
¿Y si buscamos una Revisión?
Algunas definiciones básicas
Revisión: resumen de un tema que incluye etiología, pronóstico y algunos tratamientos y puede responder a preguntas de conocimiento básico.
No hay una sistemática al realizarlo y ofrece el punto de vista del autor
Algunas definiciones básicas
Revisión sistemática: resumen que intenta responder a una pregunta específica con una metodología particular para reducir los sesgos.
Puede ser de Tratamiento, Pronóstico, Diagnóstico.
Análisis Cualitativo.
Overview = systematic review
Algunas definiciones básicas
Meta-análisis
Métodos cuantitativos para resumir los resultados
Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana
¿Una Pregunta de?¡
P:I:C:O:T:T:
probióticos
Episodios diarreatratamiento
placebo
Prevención diarrea por Clostridium
aleatorizado
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad
Calidad Definición
Alta Mucha confianza en el Resultado encontrado
Moderada Confiamos, pero el Resultado puede ser diferente
Baja Limitada confianza en el Resultado
Muy Baja Muy poca confianza, el Resultado puede ser diferente
¿Qué queremos decir con Evidencia de Alta Calidad?
http://www.ims.cochrane.org/revman/gradepro
¿Qué queremos decir con Evidencia de Alta Calidad?
¿Tiene esta Revisión Sistemática un Diseño
Adecuado?
La quimioterapia ¿reduce la mortalidad en todos los tipos de cáncer?Los antibióticos ¿reducen la mortalidad en todas las infecciones?¿qué le parece mal en estas preguntas?
Primer criterio de validez
Primer criterio de validez
Hay algunas preguntas que son demasiado amplias y sus respuestas, demasiado ambiguas por lo que no nos podrán ayudar en nuestra práctica clínica.Algunos tipos de quimioterapia para determinados cánceres reducen la mortalidad mientras que en otros no.“Todas las infecciones” no pueden ser tratadas con antibióticos por lo que en algunas de ellas no podrá reducir la mortalidad.Estas dos preguntas son demasiado amplias para tener una sola respuesta
¿Cómo sabemos si la pregunta es adecuada?
Hay que preguntarse si en los diferentes tipos de pacientes, intervenciones, comparaciones y los desenlaces, las intervenciones tendrán el mismo resultado y esperar a ver los resultados para saber si fue adecuado agruparlos.
Debe haber criterios específicos definidos acerca de cada componente de la pregunta.
Pregunta adecuada
La pregunta adecuada es sinónimo de una buena hipótesis de trabajo.
Una pregunta adecuada es el punto de partida de una RS que buscará luego evitar sesgos (desvíos sistemáticos y procurará exactitud en sus resultados).
Pregunta adecuada
¿Qué pueden provocar los SESGOS ?
Pueden llevar a que SÍ se encuentren diferencias en dónde NO las hay. Pueden llevar a que NO se encuentren diferencias en dónde SÍ las hay.
En nuestro artículo ¿Cuáles son las Variables a comparar?
Curación Clínica, Bacteriológica, Efectos Adversos.
VERDAD
Existe diferencia
No existe diferencia
RESULTADO DE LA
INVESTIGACIÓN
Existe diferencia
Significativa No hay error
Hay error
(Error tipo I
Error α)
No existe diferencia
Significativa
Hay Error
(Error tipo II
Error β)
No hay error
Curación Clínica, Bacteriológica, Efectos Adversos.
VERDAD
Existe diferencia
No existe diferencia
RESULTADO DE LA
INVESTIGACIÓN
Existe diferencia
Significativa No hay error
Error α aceptado 5 %
(p < 0.05)
No existe diferencia
Significativa
Hay Error
(Error tipo II
Error β)
No hay error
Curación Clínica, Bacteriológica, Efectos Adversos.
Buscamos la VERDAD.
Desafortunadamente NUNCA la conoceremos.
El verdadero efecto en una investigación tiene dos amenazas: error sistemático (sesgos) y error por azar.
Hasta aquí intentamos controlar SESGOS: por lo tanto el error sistemático.
¿Qué hacemos con el ERROR por azar?
Curación Clínica, Bacteriológica, Efectos Adversos.
¿Qué hacemos con el ERROR por azar?
Calcular la p
Estimar el efecto (Magnitud)
Máximo y mínimo (Precisión)
Curación Clínica, Bacteriológica, Efectos Adversos.
Magnitud del efecto:
Riesgo de un Evento
Reducción ó Aumento de Riesgo Absoluto (RRA, ARA)
Riesgo Relativo (RR)
Odds Ratio (OR)
Hazard Ratio (HR)
Reducción ó Aumento de Riesgo Relativo (RRR, ARR)
Número Necesario para Tratar (NNT)
Número Necesario para Dañar (NND)
Precisión del efecto:
Intervalos de Confianza
Medidas que evalúan Resultados
Curación Clínica, Bacteriológica, Efectos Adversos.
La Revisión Sistemática
¿Pregunta adecuada?
P:I:C:O:T:T:
probióticos
Episodios diarreatratamiento
placebo
Prevención diarrea por Clostridium
aleatorizado
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad
Evidencia Directa ó Indirecta
La evidencia directa o indirecta indica hasta qué punto los sujetos, las intervenciones y las medidas de
resultado de los estudios son similares a aquellos de nuestro
interés.
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Por ejemplo, puede haber incertidumbre sobre si la evidencia es directa cuando la población de interés es mayor, está más enferma o presenta más comorbilidad que la población de los estudios.
Para determinar si la incertidumbre es importante, nos podemos preguntar sobre posibles motivos que justifiquen que encontremos diferencias importantes en la magnitud del efecto.
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Evidencia Directa ó Indirecta
No es necesario aplicar criterios excesivamente estrictos para decidir si la evidencia es directa, ya que muchas intervenciones tienen efectos similares en la mayoría de los grupos de pacientes.
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Evidencia Directa ó Indirecta
Evidencia Directa ó Indirecta¿Cómo lo calificamos?
GRADE
Alta
⊕⊕⊕⊕
Moderada
⊕⊕⊕
Baja
⊕⊕
Muy Baja
⊕
Alguna (–1) o máxima (–2) incertidumbre sobre si la evidencia es directa o indirecta
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Evidencia Directa ó Indirecta
¿Les parece que este artículo cumple el primer
criterio de validez?
¿Pregunta adecuada?
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad
Existe una pregunta clínica explícita y sensata
¿Se realizó una búsqueda exhaustiva y detallada?
¿Eran los estudios primarios de alta calidad metodológica?
¿Existió consenso en la evaluación de los estudios?
Riesgo de Sesgo - Diseño
Segundo criterio de validez
En un meta-análisis se intenta conocer la respuesta del Bacilo de Koch a los antibióticos.
Para contestar esta pregunta se seleccionan artículos en Inglés.
¿le parece adecuada esta estrategia?
¿por qué?
Búsqueda exhaustiva y detallada
Debe hacerse una búsqueda detallada para evitar el sesgo de publicación.Sesgo publicación: sólo se analizan artículos publicados.La mayoría de los artículos que se publican son aquellos con resultados positivos, o sea que cumplen la hipótesis planteada.La búsqueda debe ser lo más amplia posible: todas las bases de datos, manual, mirar las referencias, contactar autores en búsqueda de material no publicado, no limitarse por idioma.
Sesgo de Publicación
Funnel Plot
Analicemos el segundo criterio de validez
¿Dónde se realizó la búsqueda?
¿Búsqueda exhaustiva y detallada?
¿Búsqueda exhaustiva y detallada?
Funnel Plot
Sesgo de Publicación
Las pruebas derivan de un pequeño número de estudios.
La mayor parte de los cuáles han sido comercialmente sustentados.
Revisiones con pocos estudios tiene un riesgo de discrepancia del 20 % respecto a
grandes revisiones.
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Sesgo de Publicación¿Cómo lo calificamos?
GRADE
Alta
⊕⊕⊕⊕
Moderada
⊕⊕⊕
Baja
⊕⊕
Muy Baja
⊕
Alta probabilidad de
sesgo de información (–1)
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Muy difícil de evaluar: “no detectado” ó “fuertemente
sospechado”.
¿Les parece que este artículo cumple este segundo criterio de
validez?
¿Búsqueda exhaustiva y detallada?
Existe una pregunta clínica explícita y sensata
Se realizó una búsqueda exhaustiva y detallada
¿Eran los estudios primarios de alta calidad metodológica?
¿Existió consenso en la evaluación de los estudios?
Riesgo de Sesgo - Diseño
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Calidad de las pruebas que soportan los resultados
Tercer criterioEstudios Primarios de Alta calidad
metodológica
• ¿Cómo podemos saber que un estudio es de alta calidad metodológica?
• Hagamos un pequeño paréntesis y repasemos cuáles son las posibilidades de sesgos y de error por azar que puede haber en los distintos tipos de estudios y los criterios de validez de un estudio de terapéutica...
Error Aleatorio y Sesgos
Randomización
Enmascaramiento
CIEGOS (Pacientes,
médicos, recolectorde datos, adjudicador,
estadistas)
Seguimiento completo
Finalización del estudio. Análisis de eventos
Intención de tratar
No detener tempranamente por Beneficio
Estudios Primarios de Alta calidad MetodológicaRevisión Sistemática de Tratamiento
Muestra representativa.
Pacientes homogéneos en cuanto a factores pronósticos (o ajuste de los mismos).
Seguimiento completo (todos los pacientes y por tiempo suficiente).
Desenlace o evento objetivo no sesgado.
Estudios Primarios de Alta calidad MetodológicaRevisión Sistemática de Pronóstico
Duda diagnóstica en la población ( pacientes/muestras) del estudio.
Aplicación de una Prueba de Oro adecuada en forma ciega e independiente.
Aplicación de la Prueba de Oro en todos los pacientes/muestras sin importar los resultados de la prueba en estudio.
Estudios Primarios de Alta calidad MetodológicaRevisión Sistemática de Diagnóstico
Tercer criterio
Estudios Primarios de Alta calidad
metodológica
¿Les parece que este artículo cumple este
Tercer criterio de validez?
¿Estudios Primarios de Alta calidadmetodológica?
Existe una pregunta clínica explícita y sensata
Se realizó una búsqueda exhaustiva y detallada
Los estudios primarios eran de alta calidad metodológica
¿Existió consenso en la evaluación de los estudios?
Riesgo de Sesgo - Diseño
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Calidad de las pruebas que soportan los resultados
Cuarto criterio de validez
Así como , a veces, no podemos con certeza decidir si estamos de acuerdo en la lectura de un estudio, si un paciente tuvo o no una convulsión, también podemos no estar de acuerdo si los estudios son válidos o no, si tenemos que incluirlos o no, etc..Idealmente las revisiones sistemáticas deberían tener dos o más personas evaluando los estudios y debería obtenerse alguna medida objetiva de acuerdo
Consenso en la evaluación de los estudios.
Métodos para determinar el acuerdo más allá del azar. Una de los usados es el Coeficiente Kappa:
0 no acuerdo0 a 0,2 acuerdo mínimo0,2 a 0,4 acuerdo medio
0,4 a 0,6 acuerdo moderado0,6 a 0,8 acuerdo sustancial0,8 a 1 acuerdo casi perfecto
Nuestro artículo
¿Les parece que este artículo cumple este
Cuarto criterio de validez?
Consenso en la evaluación de los estudios.
Existe una pregunta clínica explícita y sensata
Se realizó una búsqueda exhaustiva y detallada
Los estudios primarios eran de alta calidad metodológica
Existió consenso en la evaluación de los estudios
Riesgo de Sesgo - Diseño
¿Existe una pregunta clínica explícita y sensata?
¿Se realizó una búsqueda exhaustiva y detallada?
¿Eran los estudios primarios de alta calidad metodológica?
¿Existió consenso en la evaluación de los estudios?
Riesgo de Sesgo - Diseño
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Calidad de las pruebas que soportan los resultados
Resultados
Los resultados de los estudios pueden ser distintos porque los estudios son diferentes entre sí. (HETEROGÉNEOS)
¿Qué hace a la diferencia entre estudios?
Diferentes pacientes, diferente patología de base, diferencias en la intervención, cointervenciones farmacológicas , tipos de procedimientos.
¿En cuál de las siguientes revisiones sistemáticas haría un meta-análisis?Resultados
¿Cómo distinguir la heterogeneidad de un vistazo?
Mirar los intervalos de confianza Mirar la estimación del efecto IC no se superponen Estimación del efecto a ambos lados de la línea de no efecto
Resultados
Resultados
Resultados
Pruebas que estiman Heterogeneidad
Análisis estadísticos que evalúan la diferencia entre las muestras.
Cuando el valor de la P asociado al test es <0.05 la diferencia observada es real y no se debe al
Es decir, una P< 0,05 nos dice que los trabajos son muy distintos entre sí.
Hay que buscar la explicación de las diferencias por parte de los autores: pacientes, intervenciones, medición de desenlaces o metodología.
Pruebas que estiman Heterogeneidad
¿Se plantearon a priori
Hipótesis
De
Heterogeneidad?
Resultados
Resultados
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Calidad de las pruebas que soportan los resultados
Riesgo de Sesgo – Diseño¿Cómo lo calificamos?
Ensayo aleatorizados: alta
Estudio observacional: baja
Cualquier otra evidencia: muy baja
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Limitación importante (–1) o muy importante (–2) en la calidad del
estudio
GRADE
Alta
⊕⊕⊕⊕
Moderada
⊕⊕⊕
Baja
⊕⊕
Muy Baja
⊕
Consistencia
La consistencia se refiere a la similitud en las
estimacionesdel efecto entre los
estudios.
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
10.8 102 50.50.3
DIRECCIÓN DIFERENTE PERO CONSISTENTE
10.8 102 50.50.3
INCONSISTENCIA DE DUDOSA IMPORTANCIA CLÍNICA
10.8 102 50.50.3
INCONSISTENCIA OBVIA DE IMPORTANCIA CLÍNICA
Consistencia¿Cómo lo calificamos?
Inconsistencia importante (–1)
GRADE
Alta
⊕⊕⊕⊕
Moderada
⊕⊕⊕
Baja
⊕⊕
Muy Baja
⊕
Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Calidad de las pruebas que soportan los resultados
Precisión
No se dispone de una base empírica para definir los datos como
imprecisos o escasos
Los datos son escasos si los resultados incluyen únicamente unos pocos eventos u
observaciones.
Los datos son imprecisos si los intervalos de confianza son suficientemente amplios como para poder estimar tanto los riesgos como los
beneficios.Clasificación de la calidad de la evidencia y fuerza
de las recomendacionesGRADE Working Group
M. Marzo-Castillejo y P. Alonso-Coello
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Precisión¿Cómo lo calificamos?
GRADE
Alta
⊕⊕⊕⊕
Moderada
⊕⊕⊕
Baja
⊕⊕
Muy Baja
⊕
Información imprecisa o escasa (–1)
Cumulating Evidence from RandomizedTrials: Utilizing Sequential Monitoring
Boundaries for Cumulative Meta-AnalysisJanice M. Pogue ,Salim Yusuf. Controlled Clin Trials 1997;18:580-593
Más de 400 eventosMás de 4000 pacientes
“Tamaño Información Óptima”
Riesgo de Sesgo - Diseño
Consistencia
Precisión
Evidencia Directa ó Indirecta
Sesgo de Publicación
Calidad de las pruebas que soportan los resultados
¿Qué recomendación surgirá de nuestra investigación?
Calidad de la evidencia
Efectos adversos y costos
Preferencias del paciente
RECOMENDACIÓN:
-DÉBIL o FUERTE
- A FAVOR o EN CONTRA
RECOMENDACIÓN FUERTE A FAVOR
RECOMENDACIÓN FUERTE EN CONTRA
RECOMENDACIÓN DÉBIL A FAVOR
RECOMENDACIÓN DÉBIL EN CONTRA
¿Qué recomendación surgirá de nuestra investigación?
Calidad de la evidencia
Efectos adversos y costos
Preferencias del paciente
RECOMENDACIÓN:
-DÉBIL o FUERTE
- A FAVOR o EN CONTRA
Calidad Definición
Alta Mucha confianza en el Resultado encontrado
Moderada Confiamos, pero el Resultado puede ser diferente
Baja Limitada confianza en el Resultado
Muy Baja Muy poca confianza, el Resultado puede ser diferente
Conclusiones
Calidad Definición
Alta Mucha confianza en el Resultado encontrado
Moderada Confiamos, pero el Resultado puede ser diferente
Baja Limitada confianza en el Resultado
Muy Baja Muy poca confianza, el Resultado puede ser diferente
Conclusiones
¿Qué recomendación surgirá de nuestra investigación?
Calidad de la evidencia
Efectos adversos y costos
Preferencias del paciente
RECOMENDACIÓN:
-DÉBIL o FUERTE
- A FAVOR o EN CONTRA