shrikant i. bangdiwala, phd universityof north carolina...

5/25/2012

1

Clasificación de ensayos clínicos como

de eficacia, de efectividad,

pragmáticos, prácticos: Implicaciones

estadísticas, de diseño y de análisis

Shrikant I. Bangdiwala, PhD

Profesor, Departamento de Bioestadística

University of North Carolina, Chapel Hill

Lima Peru 2012 1

Lima Peru 2012 2

Definición de un ensayo clínico

• Un estudio prospectivo que compara el efecto de

una o mas intervenciones contra un control en

seres humanos con una condición médica

� Establece la relación de causalidad del factor de exposición

(intervención) y la enfermedad (variable respuesta)

5/25/2012

2

Lima Peru 2012 3

La jerarquía de la evidencia

1. Meta análisis y revisiones sistemáticas de ensayos clínicos controlados *

2. Ensayos clínicos controlados bien diseñados– Ensayos explicativos - de eficacia

– Ensayos pragmáticos/prácticos – de efectividad

3. Estudios observacionales – caso-control, cohorte

4. Series de tiempo

5. Series de casos y reportes de casos específicos

6. Opiniones de expertos, práctica usual

-------------------------------------------------------------Otras evidencias: plausibilidad biológica o de ingeniería, consistencia, analogía,

sentido común, etc.* Zaza y cols. (2001) Amer J Prev Medicine, v21, 4S, pp.23-30

* Biblioteca Cochrane: www.cochrane.org

Objetivo de estas evidencias

• Informar el desarrollo de guías para la práctica

clínica – tratamiento y prevención

• Informar a las autoridades y tomadores de

decisiones para que establezcan políticas de salud

debidamente informadas

� Es indispensable y éticamente obligatorio que

utilicemos metodología rigurosa

Lima Peru 2012 4

5/25/2012

3

Objetivo de estas evidencias

• Es también ideal desde el punto de vista de la salud publica que, además del requisito de ser riguroso,

– desarrollemos evidencias que apliquen a un alto porcentaje de la población con la condición

– para condiciones que son relevantes a un alto porcentaje de la sociedad

– consideren intervenciones que son flexibles y alcanzables por un alto porcentaje de la población con la condición, posibles de ser implementadas por personal disponible debidamente capacitada

Lima Peru 2012 5

Revisiones sistemáticas y meta análisis

• Utilizan metodología rigurosa para crear las

evidencias:

– Incluyen ensayos clínicos aleatorizados – con diseños

rigurosos

– Excluyen estudios que pueden introducir

heterogeneidad intolerable –

• diseños menos rigurosos

• intervenciones diferentes

• poblaciones muy heterogéneas

Lima Peru 2012 6

5/25/2012

4

Revisiones sistemáticas y meta análisis

• Estamos perdiendo información valiosa?

Lima Peru 2012 7

Ejemplo 1Fortificación de los alimentos con polvos de micronutrientes

múltiples en el domicilio para la salud y la nutrición en niños

menores de dos años de edad

• Objetivos: Evaluar los efectos y la seguridad de la fortificación

de los alimentos con polvos de micronutrientes múltiples en

el domicilio (al momento de la utilización) sobre los resultados

nutricionales, de salud y del desarrollo en niños menores de

dos años de edad.

Lima Peru 2012 8

Cochrane Database of Systematic Reviews 2011 Issue 9. Art. No.:

CD008959. DOI: 10.1002/14651858.CD008959

5/25/2012

5




• Criterios de selección: Se incluyeron ensayos con asignación

aleatoria y cuasialeatoria con asignación individual o por grupos.

Los participantes fueron niños menores de dos años en el

momento de la intervención, sin problemas de salud específicos.

La intervención fue consumo de alimentos fortificados en el

momento de la utilización con polvos de micronutrientes

múltiples formulados con al menos hierro, cinc y vitamina A en

comparación con placebo, ninguna intervención o el uso de

hierro que contenía suplementos, que es la práctica estándar.

Lima Peru 2012 9


CD008959. DOI: 10.1002/14651858.CD008959




• Resultados:

Lima Peru 2012 10


CD008959. DOI: 10.1002/14651858.CD008959

5/25/2012

6




• Resultados: Evidencia moderada, aunque estadísticamente

significativa y clínicamente relevante

• “Se excluyeron los estudios que examinaron intervenciones

alimentarias complementarias con suplementos con lípidos,

comprimidos triturables de micronutrientes, alimentos

complementarios fortificados y otros alimentos fortificados.”

� 7 de los 12 excluidos

Lima Peru 2012 11


CD008959. DOI: 10.1002/14651858.CD008959

Ejemplo 2Cascos para la prevención de lesiones en motociclistas

• Objetivos: Evaluar la

efectividad de utilizar un

casco de motocicleta para

reducir la mortalidad y las

lesiones craneoencefálica y

cervical con los accidentes de

motocicleta.

Lima Peru 2012 12

Reproducción de una revisión Cochrane, traducida y publicada en

La Biblioteca Cochrane Plus, 2008, Número 2

5/25/2012

7


• Criterios de selección: Se incluyeron estudios que compararon

un grupo de intervención y de control. Por lo tanto, se

incluyeron los siguientes diseños de estudios: ensayos

controlados aleatorios, ensayos controlados no aleatorios,

estudios de cohortes, de control de casos y transversales..

• Resultados: Cero ensayos controlados

Lima Peru 2012 13




• Resultados: 61 estudios observacionales de calidad variable.

• “A pesar de las diferencias metodológicas se encontró una

consistencia significativa en los resultados, especialmente para

los resultados de mortalidad y traumatismo craneoencefálico.”

Lima Peru 2012 14



5/25/2012

8


Lima Peru 2012 15



Ensayos clínico: explicativo vs pragmático

• Explicativo: condiciones de laboratorio; gran control de variables contextuales– Perspectiva que domina la investigación clínica

– Perspectiva favorecida por la FDA

• Pragmático/práctico: condiciones naturales, incorporando variables contextuales– Perspectiva que empieza a reconocerse recién

[Tunis, Stryers, Clancy (2003) J Amer Med Assoc]

– Perspectiva favorecida por agencias tomadoras de decisiones en políticas de salud

– Perspectiva favorecida para intervenciones complejas

Lima Peru 2012 16

5/25/2012

9

Investigaciones de efectividad comparativa

[Comparative effectiveness research]• El generar y sintetizar evidencia que compara los

riesgos y beneficios de métodos alternativos para prevenir, diagnosticar, tratar y monitorear una condición clínica o para mejorar la provisión de cuidado

• El objetivo es de facilitar la toma de decisiones por parte de pacientes, clínicos, y tomadores de decisiones políticas, para mejorar el cuidado y la salud a nivel individual y poblacional.

Lima Peru 2012 17

Características diferenciales

Lima Peru 2012 18

MacPherson (2004) Complementary Therapies in Medicine 12, 136—140

Explicativos Pragmáticos

Contexto experimental Contexto de cuidado rutinario

Evalúa eficacia Compara efectividad

Mejor para condiciones agudas Mejor para condiciones crónicas

Utiliza placebo No usa placebo

Pacientes enmascarados Pacientes no-enmascarados

Iguala efectos no-especificos Optimiza efectos no-especificos

Tratamiento estandarizado, intervenciones sencillas Tratamiento rutinario; intervenciones complejas

Personal adiestrado en protocolo estandarizado Personal adiestrado en cuidado rutinario

Seguimiento a corto plazo Seguimiento a largo plazo

Alta validez interna, menor validez externa Alta validez externa, menor validez interna

Baja relevancia/impacto para la práctica Alta relevancia/impacto para la práctica

Pacientes homogéneos Pacientes heterogéneos

Puede usar muestras mas pequeñas Puede necesitar muestras mas grandes

Mas utilizado Menos utilizado

5/25/2012

10

Explicativo vs pragmático

• Cual es ‘mejor’ o ‘preferible’?

• Depende !!

– Audiencia – paciente, investigador, político/tomador de decisiones de políticas de salud

– Tolerancia de ciertos elementos - es variable

– Costos

– Habilidad de convencer – su posible impacto

– Factibilidad – flexibilidad, cobertura de la sociedad

– Riesgos – poca relevancia, falsos negativos

Lima Peru 2012 19

Explicativo vs pragmáticoVentajas• Explicativo:

– Alto grado de validez interna

– Efecto de la intervención es mas fuerte � tamaño de muestra es mas chico � puede ser menos costoso

• Pragmático/práctico: – Alto grado de validez externa �

resultados aplican a una población mas amplia

– Alto grado de flexibilidad en su implementación

– Es mas fácil encontrar participantes � puede ser menos costoso

Desventajas

• Explicativo:– Poca validez externa

– Inflexible en su implementación �puede ser mas costoso

• Pragmático/práctico:– Efecto de la intervención tiende a

ser menor � puede requerir mas tamaño de muestra

– Menor validez interna

Lima Peru 2012 20

5/25/2012

11

Indicador resumenPRECIS (Pragmatic-Explanatory Continuum Indicator Summary) [Thorpe, et al. (2009) J Clin Epidemiol ]

Lima Peru 2012 21

1. Criterios de elegibilidad para

participantes

2. La flexibilidad de la administración

de la intervención experimental

3. El grado de experticia para

administrar y monitorear la

intervención experimental

4. La flexibilidad de la administración

de la intervención control

5. El grado de experticia en administrar

y monitorear la intervención control.

6. Intensidad del seguimiento de los

participantes

7. Naturaleza de la variable resultado

primaria

8. La intensidad en medir adherencia de

los participantes, y si se usan

estrategias para mejorar adherencia

9. La intensidad en medir cumplimiento

con el protocolo del personal, y si se

usan estrategias para mejorar

cumplimiento

10. Especificación y lo que abarca el

análisis de la variable resultado

primaria

Rueda

PRECIS

E

Experticia necesaria del personal para intervención experimental Flexibilidad de

la intervención experimental

Criterios de elegibilidad

Análisis primario

Cumplimiento por el

personal

Cumplimiento por el

participante

Variables de resultado

Intensidad del seguimiento

Experticia necesaria del personal para intervención

control

Flexibilidad de la

intervención control

Lima Peru 2012 22

5/25/2012

12

Lima Peru 2012 23

Sackett (2011) Pol Arch Med Mewn

Ejemplos

Lima Peru 2012 24

[Thorpe, et al. (2009) J Clin Epidemiol ]

5/25/2012

13

Ejemplos

Lima Peru 2012 25

[Thorpe, et al. (2009) J Clin Epidemiol ]

Que hacer con estudios mas

pragmáticos en revisiones sistemáticas?• Validez externa buena, pero la rigurosidad, y por lo

tanto, la validez interna, puede no ser tan buena

• Resultado aplica a una población mas amplia, pero

mas heterogénea, mas variable

• Opciones:

1. Descartarlos � menos información en su revisión

2. Incluirlos, pero por separado

3. Incluirlos � mas variabilidad en su revisión

Lima Peru 2012 26

5/25/2012

14

Que hacer con estudios mas pragmáticos

en revisiones sistemáticas?

• Incluirlos, tomando en cuenta la variabilidad

incrementada

– Experimentales – cada estudio ofrece un estimado no sesgado del efecto del tratamiento

– Observacionales – sujeto a sesgos y mayor variabilidad

• La precisión, calidad y validez de los resultados de cada estudio deben de ser reconocidas a la misma vez que se reconoce la posibilidad de heterogeneidad entre los estudios.

Lima Peru 2012 27

Lima Peru 2012 28

Ejemplo: Se dificulta el poder estadísticamente establecer

causalidad – múltiples factores y mortalidad coronaria

5/25/2012

15

Lima Peru 2012 29

Meta análisis – posibles sesgos

• Reconocer que a pesar de que los estudios que se incluyen son experimentos controlados, el meta-análisis está sujeto a los sesgos inherentes de un estudio observacional– Sesgo de selección - sesgo de publicación, criterios de selección

– Sesgo de información - sesgo de reportaje

– Sesgo ecológico – si no se usa información individual

– Heterogeneidad debido a la mala calidad de un estudio

Lima Peru 2012 30

Meta análisis – Métodos

• Calcular un efecto global de la intervención – razón de disparidades (odds ratio), diferencia de riesgos, diferencia de medias - y el error estándar (intervalo de confianza) para cada estudio

• Calcular estimado combinado de todos los estudios, ajustando por características de los estudios y de los individuos– Con efectos fijos – ponderando según las varianzas

– Con efectos aleatorios - DerSimonian & Laird

Controlled Clinical Trials 1986; 7:177-188

5/25/2012

16

Lima Peru 2012 31

Meta análisis – Meta regresión

• Calcular estimado combinado de todos los estudios, ajustando por características de los estudios y de los individuos e incluir otros factores para controlar la heterogeneidad entre los estudios– Pues estudios que no son experimentos controlados

son mas heterogéneos

– Con efectos aleatorios

Lima Peru 2012 32

Meta análisis – estimación de efecto

• El estimado es un promedio ponderado, donde el peso del

estudio es el recíproco de su varianza

• Para calcular la varianza de un estudio, se puede usar el modelo

de efectos ‘fijos’ o el modelo de efectos ‘mixtos’

– El modelo de efectos fijos no utiliza

información de los otros estudios �

– El modelo de efectos mixtos

considera las varianzas entre y

dentro de los estudios �

iYi

iii

VY

eY

+=

=

++=

2

2

)var(

)var(

τ

τς

ςµ

Borenstein et al (2009) Introduction to Meta Analysis

iYii

VeY == )var()var(

5/25/2012

17

Lima Peru 2012 33

Meta análisis – estimación de efecto

• El estimado de τ2 utiliza el método de momentos propuesto por DerSimonian & Laird� Permite diferentes ponderaciones por estudio

– Pesos con efectos fijos

– Pesos con efectos mixtos

donde

• Impacto: ‘atenuación’ de los pesos si τ2 es grande

2*

*

*

ˆ

1

τ+=

=

ii

i

YY

Y

i

VV

Vw

iY

i

Vw

1=

Borenstein et al (2009) Introduction to Meta Analysis

Lima Peru 2012 34

Meta análisis

• Tomando en cuenta la ‘heterogeneidad’ entre los estudios -

τ2

– Descompone la varianza total entre componentes entre y dentro

� usando modelos de efectos mixtos para mejorar la precisión

del estimado del efecto

– Si el modelo se expande para incluir covariables al nivel de los

estudios que puedan explicar mas de la variabilidad entre

estudios � meta regresión

5/25/2012

18

Lima Peru 2012 35

Meta regresión

• Una metodología de modelaje para combinar los

resultados de varios ensayos clínicos aleatorizados que

comparan las mismas intervenciones, tomando en cuenta

la heterogeneidad entre los estudios con interceptos

aleatorios para estudios y usando modelos lineales de

efectos mixtos con covariables a nivel estudio para tratar

de explicar mas de la heterogeneidad entre los estudios.

Lima Peru 2012 36

Meta regresión

• Una generalización del meta-análisis donde se intenta explicar la heterogeneidad de los efectos de las intervenciones entre los estudios a través de la regresión con covariables a nivel estudio.– Si se dispone de datos a nivel de los sujetos en los estudios, se

podrían tomar en cuenta también

5/25/2012

19

Lima Peru 2012 37

Meta regresión

• e.g.

iiiiieXXY ++++= ςββµ

2211

Media global

X1 variable nivel estudio

X2 variable nivel estudio

intercepto aleatorio para estudio

error - aleatorio

Lima Peru 2012 38

Meta regresión

• Una metodología de modelaje que pudiese usarse cuando se incluyen

estudios mas pragmáticos para así incluir su información en forma rigurosa

y tratar de explicar mas de la heterogeneidad entre los estudios incluidos.

• Ojo – no es siempre posible

– Disponibilidad de registros de estudios con diseños no-experimentales

– Disponibilidad de covariables a nivel estudios

• Queda abierta la posibilidad de cuantificar la rueda PRECIS para

incorporarla en el análisis!!

5/25/2012

20

Lima Peru 2012 39

Referencias

• MacPherson (2004) Pragmatic clinical trials. Complementary Therapies in

Medicine 12:136—140.

• Sackett (2011) Explanatory and pragmatic clinical trials. Polskie Archiwum

Medycyny Wewnetrznej 121: 259-263.

• Schwartz & Lellouch (1967) Explanatory and pragmatic attitudes in therapeutical

trials. Journal of Chronic Diseases 20:637-648.

• Tunis, Stryer, Clancy (2003) Practical clinical trials: increasing the value of

clinical research for decision making in clinical and health policy. Journal of the

American Medical Association 290:1624-1632.

• Thorpe, Zwarenstein, Oxman, et al (2009) A pragmatic-explanatory continuum

indicator summary (PRECIS): a tool to help trial designers. Journal of Clinical

Epidemiology 62:464-475.

Uno puede ser riguroso metodológicamente sin exigir

que todos los estudios sean iguales e inflexibles

Lima Peru 2012 40

5/25/2012

21

Lima Peru 2012 41

Muchas gracias!

shrikant i. bangdiwala, phd universityof north carolina...

Documents