Ensayos de no inferioridad y ensayos secuenciales
Pere Ventayol
Servei de FarmàciaHospital Universitari Son Dureta
Evaluación de la validez interna y externa de un ensayo clínico
Ensayos de no inferioridad y ensayos secuenciales
VIA: Válidos, Importantes, Aplicables
¿son válidos?
¿son importantes?
¿son aplicables a mis pacientes?
Para aplicar los resultados me tienen que convencer de:
VALIDEZ INTERNA
VALIDEZ EXTERNA
Ensayos de no inferioridad y ensayos secuenciales
Evaluar la validez interna
validez interna: grado en que los resultados obtenidos proporcionan o no una respuesta correcta a la pregunta planteada
1. la definición clara y precisa del objetivo del estudio -> donde está la pregunta?
2. la elección del diseño adecuado
3. rigor metodológico
www.bandolier.com May 2003
Ensayos de no inferioridad y ensayos secuenciales
1.¿dónde está la pregunta?
Dejar claro qué tratamiento se evalúa
Qué intervención es la de referencia
Qué variable se utiliza y cuando se mide
Definición del tipo de sujetos a estudiar
Ensayos de no inferioridad y ensayos secuenciales
Variable (cuantitativa)
Métodos
Variable
(cualitativa)
Introdución
Momento
Métodos
Resultados
Discusión
Objetivo
Población estudiada:
Ensayos de no inferioridad y ensayos secuenciales
Objetivo Variable(cualitativa)
Introdución
Variable (cuantitativa)
Métodos
Momento
Métodos
Resultados
Discusión
1 Respuesta clínica
Respuesta viral sostenida
% pac CV indetectable 24 semanas tras finalizar tto
2 Adherencia
Cuestionario SmaqRecogida medEscala visual
%Nº dosis/total de dosis previstasAdherencia >80%
Media 4 medidasTras 1er-2º mescada 2 meses
3 Permanencia
Recogida de medicación
% nº días con tto/respecto al nº total previstoPermanencia >80%
Media 4 medidasTras 1er-2º mescada 2 meses
4 Satisfacción Encuesta % pac con escala >5 encuesta satisfacción
24, 48 semanas
5 Coste
Valoración coste tto Valores en € Hasta finalizar tto.
Población estudiada:
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
?
?
?
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
•Factor aparetemente simple•No predecible•Aplicarse después de decidir incluir al paciente
•El azar tiende a producir grupos comparables
•Produce distribución equilibrada variables pronósticas•Conocidas•Desconocidas: factores de confusión
•Cuanto mayor sea N mayor equilibrio
•Previene sesgos y permite cálculo de probabilidades (P)
•Distintos tipos de aleatorización: Bloques, estratificada, adaptativas
Aleatorización
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
•No confundir con ocultación de la secuencia de aleatorización
•El ciego protege la aleatorización una vez se ha producido la asignación
•Simple ciego, doble, triple, cuadruple….
•No siempre puede cegarse: Ej: Dietas, procedimientos quirúrgicos, ARV,…
•Cuanto más subjetiva la variable más necesario es el cegado (analgesia, calidad de vida, etc…)
Ciego
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
•Procedimiento que garantiza el proceso del cegado
•Pretende evitar las espectativas/prejuicios de pacientes, investigadores,…•Ej: hipolipemiantes
•Presentar un formato del fármaco lo más idéntico posible
•Se puede romper por toxicidad, efectos secundarios
Enmascaramiento
Ensayos de no inferioridad y ensayos secuenciales
2.¿Es el diseño adecuado?
•Seguimiento exhaustivo de los pacientes
•Diagramas de flujo de pacientes•Drop-outs o pérdidas•Withdrawals o retiradas
•La aceptabilidad del estudio depende no tanto del número de pérdidassino de los motivos que las hayan condicionado
•% de perdidas similares pueden invalidar los resultados?•Hay algún % de pérdidas considerado máximo?
Comparabilidad
Ensayos de no inferioridad y ensayos secuenciales
Objetivo: CV <400 a las 48 semanas
RandomizadosN=100
Datos disponibles a 48 semanasN=75
Datos no disponibles a 48 semanasN=25
CV<400N=65
CV>400N=10
CV<400N=11
CV>400N=14
Análisis PP87% (65/75)
ITT (ultima observación)76% (65+11/100)
ITT (perdidas=F)65% (65/100)
Dilución de la respuesta: ¿Cuál es la verdadera?
Estrategia de análisis2.¿Es el diseño adecuado?
Ensayos de no inferioridad y ensayos secuenciales
3.¿Se ha realizado con rigor?
El grado con el que el diseño, desarrollo, análisis y presentación de los datos ha minimizado o evitado sesgos
Ensayos de no inferioridad y ensayos secuenciales
¿Convencimiento de que no está sesgado?
"Inclinación parcial de la mente"
la existencia de sesgos favorece que los resultados sobreestimen el efecto de los tratamientos
Perfectafenoel mejor analgésico
www.bandolier.com December 2001
30% 20% 25% 40% 30%
Ensayos de no inferioridad y ensayos secuenciales
Sesgos
Ensayos de no inferioridad y ensayos secuenciales
¿Cómo medir la Validez Interna?
o Existen al menos 9 check-list y 25 escalas
oJadad
oCONSORT
Ensayos de no inferioridad y ensayos secuenciales
Escala de Jadad
ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD)
¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*)
¿Se describen los abandonos y exclusiones del estudio? (*)
¿Es adecuado el método de aleatorización? (**)
(*) SÍ= 1 / NO= 0
(**) SÍ= 1 / NO= -1
Rango de puntuación: 0-5-
Estudio de baja calidad: Puntuación < 3
¿Es adecuado el método de doble ciego? (**)
Ensayos de no inferioridad y ensayos secuenciales
Escala de Jadad
ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD)
¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*)
¿Se describen los abandonos y exclusiones del estudio? (*)
¿Es adecuado el método de aleatorización? (**)
(*) SÍ= 1 / NO= 0
(**) SÍ= 1 / NO= -1
Rango de puntuación: 0-5-
Estudio de baja calidad: Puntuación < 3
¿Es adecuado el método de doble ciego? (**)
*actualmente el manual metodologico Cochrane 2009 desaconseja explicitamente la escala JADAD y recomienda una serie de puntos adicionales*actualmente el manual metodologico Cochrane 2009 desaconseja explicitamente la escala JADAD y recomienda una serie de puntos adicionales
Ensayos de no inferioridad y ensayos secuenciales
Consort www.consort-statement.org
o Formada por 22 itemso1 Titulo y resumeno1 Introduccióno10 sobre métodoso7 sobre resultadoso3 Sobre discusión
CONSORT 2001 Ver fuente original en http://www.consort-statement.org/revisedstatement.htm
Sección Item Descripción. Debe constar:
TITULO Y RESUMEN 1 ¿ Cómo fueron los participantes asignados a la intervención ? ( ej:
"adjudicación aleatoria", "aleatorizados", "asignados aleatoriamente") INTRODUCCION Antecedentes 2 Antecedentes científicos y explicación racional METODOS Participantes 3a
3b Criterios de elegibilidad de los participantes y lugar de recogida los datos
Intervenciones 4 Detalles precisos de la intervención a realizar en cada grupo y como y cuando será aplicada
Objetivos 5 Objetivos específicos e hipótesis Resultados 6a
6b Definición clara de las medidas de los resultados primarios y de las medidas de lso resultados secundarios, y cuando sea aplicable métodos usados para garantizar la calidad de las medidas ( Ej: observaciones múltiples, formación de los asesores).
Tamaño de la muestra
7a 7b
Cómo fue calculado el tamaño de la muestra y, cuando sean aplicables, exposición de análisis intermedios y criterios de suspensión del ensayo
Aleatorización: generación de la secuencia
8a 8b
Método usado para generar la secuencia de aleatorización , incluyendo detalles de cualquier restricción ( Ej :bloques, estratificación, ...)
Aleatorización: asignación oculta
9 Método usado para ocultar la asignación aleatoria. (Ej: sobres numerados, teléfono central), especificando si la secuencia es oculta hasta que la intervención es asignada.
Aleatorización: aplicación
10 Quién genera la secuencia de la asignación, quién incorpora a los participantes, y quién asigna los participantes a sus grupos.
Ciego ( enmascaramiento)
11a 11b
Si aquellos que administran las intervenciones y evaluan los resultados son ciegos respecto a la asignación de grupos. Si ello es así cómo se evaluó el proceso y éxito de cegar.
Los métodos estadísticos
12a 12b
Métodos estadísticos usados para comparar grupos en los resultados primarios. Métodos para los análisis adicionales, tales como análisis del subgrupo y análisis ajustados.
RESULTADOS Flujo de los particpantes
13a 13b
Flujo de los participantes a través de cada etapa (se recomienda un diagrama). Específicamente, para cada grupo estudiado, comunicar el número de participantes asignados aleatoriamente, los que han recibido el tratamiento previsto, los que han terminando el protocolo del estudio, y los analizados para el resultado primario. Descripción de las desviaciones del protocolo del estudio previsto, junto con las razones de dichas desviaciones.
El reclutamiento 14 Fechas que definen los períodos de reclutamiento y seguimiento. Datos base 15 Características demográficas y clínicas cada grupo. Números analizados
16 Los números de participantes (denominador) en cada grupo incluidos en cada análisis y especificar si el análisis se ha realizado "por intención de tratar". Indique los resultados en números absolutos cuando es factible (Ej: 10/20, no 50%).
Resultados y estimación
17 Para cada resultado primario y secundario, un resumen de los resultados para cada grupo, y del tamaño estimado del efecto y su precisión (Ej:., intervalo de la confianza del 95%).
Análisis auxiliares
18 Comunicar cualquier otro análisis realizado, incluyendo análisis de subgrupo y análisis ajustados, indicando aquellos que se han pre-especificado y aquellos que son exploratorios.
Efectos adversos
19 Todos los acontecimientos adversos importantes o efectos secundarios en cada grupo de la intervención.
DISCUSIÓN Interpretación 20 Interpretación de los resultados, considerando la hipótesis del
estudio, fuentes de sesgos potenciales o de imprecisión, así como los peligros asociados con la multiplicidad de análisis y resultados.
Generalización 21 Generalización (validez externa) de los resultados de ensayo. Evidencia general
22 Interpretación general de los resultados en el contexto de la evidencia actual.
Ensayos superioridad Ensayos equivalencia/Noinferioridad
Lectura críticae interpretación
Ensayos de no inferioridad y ensayos secuenciales
HUSD: Aplicación de la Lista-Guía CONSORT en ensayos publicados
Los criterios que menos se cumplen son:
– métodos usados para garantizar calidad de la medida de los resultados (12%)
– descripción detallada de cómo se aplica la aleatorización (12%)
– evaluación del proceso y éxito de cegar (20%)
– criterios de suspensión del ensayo (33%)
– presentación de resultados con intervalos de confianza (50%).
Ensayos de no inferioridad y ensayos secuenciales
Conclusiones en validez interna
La publicación de un estudio no es garantía de su validez metodológica
En “Métodos” se encuentran la mayoría de respuestas
La validez interna es condición necesaria pero no suficiente
Ensayos de no inferioridad y ensayos secuenciales
VIA: Válidos, Importantes, Aplicables
¿son válidos?
¿son importantes?
¿son aplicables a mis pacientes?
Para aplicar los resultados me tienen que convencer de:
VALIDEZ INTERNA
VALIDEZ EXTERNA
Ensayos de no inferioridad y ensayos secuenciales
Eficacia
Probabilidad de que
un promedio de individuos,
en una población
determinada,
se beneficie de la aplicación
de una tecnología sanitaria
a la resolución de un
problema de salud concreto,
bajo condiciones IDEALES
de actuación establecidas
previamente
Office of Technology Assessment. Assessing the Efficacy and Safety of Medical Technologies. Washington: Government Printing Office, 1978 (Modificada)
Efectividad
Probabilidad de que un
individuo, en una población
indeterminada, se beneficie
de la aplicación de una
tecnología sanitaria a la
resolución de un problema
de salud determinado, bajo
condiciones REALES de
aplicación por personal de
salud
Relación Válidez interna - Válidez externa
Ensayos de no inferioridad y ensayos secuenciales
1.¿son importantes?
o Cualidad:¿Qué se mide?
o Cantidad: ¿Cúal es la magnitud?
Ensayos de no inferioridad y ensayos secuenciales
Cualidad:¿Qué se mide?
Tipo Variable Definición
Clínica Resultados finales de salud: muerte, infarto, ictus.
Se define según la enfermedad a estudiar: supervivencia en cáncer, fracturas vertebrales en la osteoporosis, curación en las úlceras, cura microbiológica en las infecciones.
Subrogada Medida de laboratorio o síntoma utilizada como sustituta de una final clínica importante que indica como evoluciona la enfermedad. Los cambios en la variable subrogada se supone que se correlacionan con una variable clínica. Ej.hiperglucemia.
Relevante paciente Variables importantes para el paciente y sus cuidadores. Los pacientes son capaces de sentirlas: calidad de vida, capacidad llevar una vida normal. A su vez pueden ser clínicas o subrogadas.
Ensayos de no inferioridad y ensayos secuenciales
Cualidad:¿Qué se mide?
oEn ocasiones se “magnifica” el efecto de variables secundariasoUn buen resultado en una variable subrogada no implica un buen resultado clínico
Ensayos de no inferioridad y ensayos secuenciales
Cualidad:¿Qué se mide?
o Consenso SORT (Strenght Of Recommendation Taxonomy) establece un algoritmo de gradación de la evidencia con 3 niveles de evidencia (1, 2 y 3)
oSolo alcanza el nivel 1 o 2 estudios que se centran en variables finales clínicasoUn metanálisis con variableintermedias no tiene calificación superior a 3
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Las variables combinadas ¿Qué se mide?
El uso de variables combinadas es cada vez más frecuente
Se suele emplear cuando el efecto esperado sobre cada uno de los desenlaces de interés es pequeño
Puede que el efecto se haya producido sobre uno de los componentes y se atribuya erróneamente a todos
Ej: AAS en Prevención del reinfarto y ACV de cualquier etiología
Hay que analizar la variable combinada y tener en cuenta los efectos por separado
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Las variables combinadas ¿Qué se mide?
La diferencia en el efecto combinado se debe ppalmente a las flebografías subclínicas pero no ha mostrado reducción en trombosis venosa sintomática ni en embolia pulmonar.
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos ¿Qué se mide?
La realización de múltiples comparaciones aumenta la probabilidad de encontrar un resultado estadísticamente significativo
Si el subgrupo es de pequeño tamaño el análisis puede ser incapaz de detectar diferencias relevantes
Si el estudio presenta análisis de subgrupos: Magnitud del efecto clínicamente relevante Efecto estadísticamente muy significativo Hipótesis planteada a priori Análisis realizado dentro de una estrategia de comparaciones
múltiples Resultados consistentes con otros estudios Evidencia indirecta que avale los resultados (plausibilidad
biológica)
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos ¿Qué se mide?
Efecto de factor de confusión en EECC para enfermedad con elevada mortalidad (n=78)
TH Diferencia
Mortalidad
%
27/40 18/38
67,5 47,4 20,1
H T
Pacientes alto riesgo 32/40
% 80% 36,8%
14/38
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos ¿Qué se mide?
Efecto de Factor de confusión en EECC para enfermedad con elevada mortalidad (n=78)
TH Diferencia
Bajo riesgo
%
2/8 4/18
25% 22,2% 2,8%
Alto riesgo
%
25/32 18/38
78,1% 70% 8,1%
La distinta distribución del factor pronóstico ha producido un fenómeno de confusión y la diferencia inicial (20%) estaba distorsionada)
Ensayos de no inferioridad y ensayos secuenciales
Cualidad: Análisis de subgrupos y multivariante Incorporar la estadística al análisis de subgrupos = análisis de
subgrupos; evaluar el efecto del tto sobre la variable respuesta dentro de cada estrato
TH Diferencia
Bajo riesgo
%
2/8 4/18
25% 22,2% 2,8% p>0.05
Alto riesgo
%
25/32 18/38
78,1% 70% 8,1% p<0.05
Las técnicas multivariante implican un modelo matemático. Variable dependiente (respuesta) Variable independiente ppal (tto) Variables independientes a controlar (estimación de coeficiente de
regresión)
Ensayos de no inferioridad y ensayos secuenciales
¿Con quién nos comparamos? ¿Cuánta debe ser la diferencia?
-% 0%
Tratamiento estándar superior
Tratamiento nuevo no inferior
Tratamiento nuevo superior
Cantidad:¿Cuál es su magnitud?
Ensayos de no inferioridad y ensayos secuenciales
Con quien nos comparamos?
Elección del comparador no coincide con el tratamiento estándar.
Estudio Ramsey WB. NEJM 1999. Eficacia Tobramicina inhalada vs placebo (no colistina)
Estudio Zeuzem S., NEJM 2000; Heathhcote E., 2000; Reddy KR., 2001. Peg-interferon alfa 2-a vs Interferon alfa 2-a, ambos en monoterapia
Herbrecht R, NEJM 2002. Voriconazol en aspergilosis invasiva vs anfotericina deoxicolato
Dosificación del fármaco en estudio o del comparado no coincidente con la ficha técnica del nuevo fármaco o con las dosis admitidas del comparador (dosis aas Caprie es 325mg, que no es lo habitual, dosis dobutamina en Lido vs levosimendan)
Duración de tratamiento no adecuada.Tto antibiótico exacerbaciones EPOC
- incluyen pacientes desde 18 años
- % no fumadores
Ensayos de no inferioridad y ensayos secuenciales
Ensayos de no inferioridad y ensayos secuenciales
Término Definición
Generalización o Validez Externa
Aplicación de los resultados fuera del estudio (por generalización)
Extrapolación Aplicación de los resultados a un grupo más amplio del estudiado (por inferencia, extensión, predicción o proyección de lo observado o experimentado) Ej: resultados 40-65 años extrapolados a población de más edad.
Aplicabilidad Aplicación de los resultados a grupos o pacientes individuales. Si un estudio muestra eficacia en la población estudiada, se espera que lo tenga en un individuo.
2. ¿son aplicables a mis pacientes?
Ensayos de no inferioridad y ensayos secuenciales
100% Población Hipertensa
90% Cobertura Programa
95% Precisión Diagnóstica
76% Eficacia Fármaco
66% Prescripción correcta
65% Cumplimiento paciente
EFECTIVIDAD 28%
Mejoría salud
Registro
Tugwell P, Bennet KJ, Sackett DL, Haynes B. The measurement operative loop: a framework for the critical appraisal of need, benefits and costs of health interventions. J Chron Dis 1985; 38: 339-351.
La dilución de la respuesta...
Ensayos de no inferioridad y ensayos secuencialesPoblación total (mujeres)
Población diana (mujeres 13-48 años)
Población accesible (13-48 que vienen a consulta)
Muestra (incluimos estudio)
La representatividad de la muestra es el condicionante de la validez externa. M.Bobenrieth
Ensayos de no inferioridad y ensayos secuenciales
Los 5 demasiados:
– Selectos
– restringidos
– breves
– reducidos
– controlados
Válidez externa en efectos secundarios…
Tratamientos en nuestro medio
Efectos 2ºs
medios, capacidades, accesibilidad y seguimiento
Ensayos de no inferioridad y ensayos secuenciales
Preguntas para establecer la validez externa:
1. ¿Considera adecuado el comparador?
2. ¿Son importantes clínicamente los resultados?
3. ¿Considera adecuada la variable medida utilizada?
4. ¿Considera adecuados los criterios de inclusión/exclusión de los pacientes
5. ¿Cree que los resultados pueden ser aplicados directamente a la práctica clínica?
6. Otros sesgos o limitaciones encontradas en el estudio
Ensayos de no inferioridad y ensayos secuenciales
Conclusiones en Validez Externa
Magnitud
– Cuidado con:
– variables combinadas
– Análisis por estratos o subgrupos
– Tipo de medida u objetivo
Aplicabilidad
– Cuidado con:
– Tipo de población estudiada
– Comparador adecuado
– la dilución de la respuesta
Ensayos de no inferioridad y ensayos secuenciales
Las ilusiones cognitivas se subdividen en:- ambigüedades- deformaciones- paradojas- ficciones
Ensayos de no inferioridad y ensayos secuenciales
Ejemplo: Fingolimod en EM
Ensayos de no inferioridad y ensayos secuenciales
Ejemplo:Fingolimod en EM
Ensayos de no inferioridad y ensayos secuenciales
Ejemplo:Fingolimod en EM