belén gutiérrez gutiérrez - seimc2017.org€¦ · los estudios observacionales rara vez alcanzan...

Belén Gutiérrez Gutiérrez Hospital Universitario Virgen Macarena

REIPI/ESGBIS/IBIS

T2. Nuevas Estrategias para diseñar estudios clínicos: ¿Hay alternativas al ensayo clínico?

12 de Mayo de 2017

SEIMC 2017

B. Gutiérrez-Gutiérrez, Congreso SEIMC'17

INTRODUCCIÓN

DISEÑO

ANÁLISIS MULTIVARIANTE

PROPENSITY SCORE

CART

MULTINIVEL

ANÁLISIS DE SENSIBILIDAD

SEIMC 2017

INDICE

1. Claves para un buen estudio observacional: diseño y análisis

2. Principales estudios observacionales: cohortes y casos controles

3. Introducción a las principales herramientas para análisis observacionales: Multivariante, PS, Análisis de sensibilidad, CART y multinivel


SEIMC 2017

¿Por qué es importante la metodología para nosotros?

• Práctica clínica observamos posibles asociaciones. Para diseñar estudio y análisis que confirme metodológicamente lo intuido.

• Cada vez se exige más metodología para publicar en revistas

• Fomento de la investigación. Cuanto más sepamos de metodología, más y mejores estudios en nuestro campo

• Aunque tengamos apoyo de estadísticos …..

• Para analizar con criterio metodológico artículos y estudios publicados y la “validez” de sus resultados.


SEIMC 2017


INTRODÚCCION

DISEÑO


PROPENSITY SCORE

CART

MULTINIVEL


SEIMC 2017

TIPOS DE DISEÑOS EPIDEMIOLÓGICOS


SEIMC 2017

¿Por qué diseñar un estudio observacional?

• Limitaciones Ensayos aleatorizados.

– Éticas, económicas

– De los individuos en estudio

• Desarrollo técnicas estadísticas y aplicaciones informáticas asociadas

Podemos comprender porqué los estudios observacionales son tan populares


SEIMC 2017

Qué es un estudio observacional y conocer sus dos principales tipos

• Experimentos naturales en los que los resultados se miden en el mundo real en lugar de en condiciones experimentales, ya que no existe ningún tipo de intervención en el diseño.

• Ojo!!! Importantes limitaciones que pueden afectar a su validez


SEIMC 2017

• Pero desafortunadamente, en un estudio observacional, ambos grupos suelen ser diferentes.


SEIMC 2017

• La asignación de los individuos en ambos grupos no es

aleatoria

• El grupo de los no expuestos debería ser similar en todas las variables importantes (esto es, aquellas que podría estar asociadas con la variable dependiente) con el grupo de los expuestos.

Principal limitación de los estudios observacionales


SEIMC 2017

Estudios Observacionales

Los estudios observacionales rara vez alcanzan un grado de similitud tal entre ambos grupos debido a esta asignación no aleatoria.

¿QUÉ HACER?

- HACER UN BUEN DISEÑO DEL ESTUDIO.

- APOYO EN HERRAMIENTAS PARA EL ANÁLISIS: MULTIVARIANTE, ANÁLISIS DE SENSIBILIDAD, PROPENSITY SCORE… (los repasaremos más adelante).


SEIMC 2017

Claves para un buen estudio observacional como alternativa a los ensayos clínicos

• Primero: El DISEÑO: Un mal diseño no se puede “arreglar” en el análisis,

¿Cuál es la hipótesis?

¿Qué variables resultados queremos analizar?

¿Qué variables explicativas queremos recoger?

¿Qué tipo de estudio (observacional) es el más adecuado?

¿Qué tamaño muestral necesitamos para ello?


SEIMC 2017

DISEÑO. Variables Dependientes e Independientes.

En primer lugar, nosotros tenemos que conocer estos dos tipos de variables:

1. Variable dependiente, pronóstico, explicada o resultado: Aquella variable acerca de la que queremos saber cómo y porqué cambia de un individuo a otro (por ejemplo: mortalidad a 30 días, curación en el día 30, estancia hospitalaria, ).

2. Variables independientes, explicativas, predictoras o covariables Las usamos para intentar explicar por qué y cómo la variable dependiente cambia de unos individuos a otros (por ejemplo: edad, sexo, severidad de la infección, comorbilidad, o tratamiento con A).


SEIMC 2017

Conocer cuándo aplicar estos estudios observacionales y sus variantes de diseño.

ESTUDIOS DE COHORTES


SEIMC 2017

Estudios de Cohortes

La principal característica de un estudio de cohortes es que sigue a dos o más grupos (cohortes) de individuos, unos expuestos al factor a analizar y otros no, desde la exposición al resultado. Dos tipos:

1. Si este tipo de seguimiento se hace hacia adelante en el tiempo desde el presente (estudio de cohortes prospectivo)

2. Si se da marcha atrás en el tiempo hasta el momento de la exposición y de la conformación de las cohortes, para, a continuación, seguir dichos grupos hasta su resultado (estudio de cohortes retrospectivo)


SEIMC 2017


Presente

TIEMPO

Exposición Resultado

Prospectivo

Retrospectivo

Exposición Resultado


SEIMC 2017


Ventajas:

• Mejor manera identificar incidencia e historia natural enfermedad

• Examinar múltiples resultados después exposición


SEIMC 2017


Desventajas: • Este tipo de estudio es menos útil para el examen de los

resultados poco frecuentes o que tardan mucho tiempo en desarrollarse.

• Debe proporcionar definiciones específicas acerca de la

exposición y de la/s variable/s resultado/s, con objeto de que la determinación de ambos sea lo más objetiva posible.


SEIMC 2017

(1) Identificar los predictores de mortalidad en el dia 30 y de curacion en el dia 21 para Infeccion intraabdominal, infeccion complicada de tracto urinario, neumonía y bacteriemias por enterobacterias resistententes a carbapenemas, incluyendo la identificación de la mejor terapia disponible.


SEIMC 2017

ESTUDIOS DE CASOS Y CONTROLES

SEIMC 2017

Estudios de Casos y controles

• Se caracterizan porque se selecciona a la población en estudio en base a la presencia (caso) o ausencia (control) del evento de interés. Selección casos y controles misma población fuente

• Una vez seleccionados los casos y los controles se compara la exposición relativa de cada grupo a diferentes variables o características que pueden tener relevancia para el desarrollo de la condición


SEIMC 2017


No presencia del evento de interés (ej No infección por

CRE)

Presencia del evento de interés (ej

Infección por CRE)

No expuestos

Expuestos

No expuestos

Expuestos

¿DIFERENCIAS SIGNIFICATIVAS?


SEIMC 2017


VENTAJAS 1. Útiles para estudiar problemas de salud poco frecuentes.

2. Indicados para el estudio de enfermedades con un largo período de

latencia.

3. Suelen exigir menos tiempo y ser menos costosos que los estudios de cohortes.

4. Caracterizan simultáneamente los efectos de una variedad de posibles factores de riesgo del problema de salud que se estudia.


SEIMC 2017


DESVENTAJAS 1. La población en riesgo a menudo no está definida (a diferencia de los

estudios de cohorte).

2. Pueden generar sesgos de información debido a que la exposición se mide después del desarrollo de la enfermedad.

3. No sirven para determinar otros posibles efectos de una exposición sobre la salud, porque se ocupan de un solo resultado.


SEIMC 2017


VARIANTES EN EL DISEÑO (I) CASO-CONTROL-CONTROL Dos análisis separados de casos y controles dentro de un único estudio.

• Primer análisis comparar los pacientes infectados con un microorganismo resistente (casos resistentes) con los pacientes sin infección por ese microorganismo en estudio (controles sin infección) representativos de esa población • Segundo análisis compararía los pacientes infectados por un aislado resistente (casos resistentes) con los pacientes infectados por un microorganismo sensible (controles sensibles).

Ambos análisis permitirán identificar los factores de riesgo específicamente asociados con la aparición del microorganismo resistente.


SEIMC 2017

• (2) Identicar los factores de riesgo asociados a la aparición de este tipo de infecciones.


SEIMC 2017

CRE prospective cohort

BAT, outcome determinants

Historical cohort

Matched CSE control/cohort

(1:1)

Admitted control/cohort

(1:3)

Risk factors for CRE

EURECA. DISEÑO


permitirán identificar los factores de riesgo específicamente asociados con la aparición del microorganismo resistente.

SEIMC 2017

Explanatory variables Study 1 Study 2

Selection criteria √ √

Demographics √ √

Epidemiological variables √

Previous colonisation by CRE/antibiotics received √

Hospital level-variables √

Comorbidities √ √

Acquisition √ √

Pitt score, SOFA and APACHE -II √ √

Invasive procedures √

Type of infection √ √

Microbiological variables √ √

Other analytical results √ √

Safety of drugs √

Antimicrobial therapy √

Non-antibiotic treatment (source control, support therapy) √

Outcome √

Length of hospital stay √

SEIMC 2017

Registro previo del estudio (diseño incluyendo plan de análisis)

• Registro en clinicaltrials.gov, EU Clinical Trials Register….

• Publicación del protocolo (BMJOpen, BMC Public Health…)


SEIMC 2017

STROBE

- Recoge una serie de recomendaciones para mejorar la calidad a la hora de publicar sobre estudios observacionales.

- Son 22 checklists relativos al título, abstract, introducción, métodos, resultados y discusión.

- Habitual incluir en los artículos tabla como material suplementario para confirmar que se han seguido sus recomendaciones.

STROBE: Strengthening the Reporting of Observational Studies in Epidemiology


SEIMC 2017

STROBE STROBE: Strengthening the Reporting of Observational Studies in Epidemiology SEIMC 2017


INTRODÚCCION

DISEÑO


PROPENSITY SCORE

CART

MULTINIVEL


SEIMC 2017

Claves para un buen estudio observacional como alternativa a los ensayos clínicos

• Segundo: EL ANÁLISIS: Aplicar las herramientas más adecuadas para minimizar los sesgos de los estudios observacionales. Por su importancia, vamos a dividir estas herramientas en dos grupos: 1. ANÁLISIS MULTIVARIANTE 2. OTRAS HERRAMIENTAS PARA EL ANÁLISIS (PS,

análisis de sensibilidad, CART y multinivel).


SEIMC 2017


SEIMC 2017

Los dos principales sesgos que se pueden controlar con el análisis multivariante son:

• Confusión

• Interacción



SEIMC 2017


• Confusión

Ocurre cuando la aparente asociación entre un factor y el resultado se ve afectada por la relación de una tercera variable tanto con el factor como con el resultado.

NOTA: La confusión es un problema sólo si estos factores se distribuyen de forma desigual entre el grupo de los expuestos y de los no expuestos

Exposición

Resultado

Confusora


SEIMC 2017

Ser mujer

Mortalidad

Retraso en más de tres días en recibir fármaco activo

ANÁLISIS MULTIVARIANTE. CONFUSIÓN

NOTA: Había mayor proporción de mujeres con retraso en la administración de un fármaco activo

¡¡IMPORTANCIA DEL MULTIVARIANTE!! E. Pérez-Nadales et al. Mortality in bacteremic urinary tract infections caused by carbapenemase-producing Enterobacteriaceae: the importance of delayed treatment. En redacción

SEIMC 2017


• Se define como una herramienta estadística para determinar de forma independiente la contribución de varios factores (o variables independientes) en una variable resultado (o variable dependiente).

• Tres tipos principales: 1. Regresión lineal. La variable dependiente es continua.

2. Regresión logística. Cuando la variable dependiente es categórica (en la mayoría de los estudios suelen ser sólo dos categorías: vivo/muerto; curado/no curado; infectado/no infectado).

3. Regresión de Cox de riesgos proporcionales. Cuando el resutado (variable dependiente) es el tiempo hasta la ocurrencia de un evento de interés.


SEIMC 2017

• La variable dependiente es continua.

• El objeto de este modelo es determiner cómo cambia la variable respuesta cuando cambia la variable predictora.

REGRESIÓN LINEAL. Análisis univariante.


SEIMC 2017

Ejemplo

Por ejemplo: Queremos analizar cómo varía la estancia hospitalaria (en días) en un grupo de pacientes en función del índice de Charlson.

E (estancia/Charlson)= β0+β1*Charlson

β0 representa la estancia hospitalaria de una persona con un Charlson de 0

β1 representa el increment medio de la estancia hospitalaria en días por cada punto de incremento del índice de Charlson.


SEIMC 2017

• Ejemplo: tenemos solo tres variables: edad, SIRS e índice de Charslon. Queremos explicar la variablidad de la estancia hospitalaria basada en estos tres predictores.

E (estancia/edad,SIRS y Charlson)= β0+β1*edad+β2*SepsisSevera+ β3*shock+β4*Charlson

E (estancia/edad, SIRS y Charlson)= 16.1+0.02*edad+6.6*SS+ 8.4*Shock+1.4*Charlson

REGRESIÓN LINEAL. Análisis Multivariante.


SEIMC 2017

• E (estancia/edad, SIRS y Charlson)= 16.1+0.02*age+6.6*SS+ 8.4*Shock+1.4*Charlson

Tenemos un paciente de 20 años con sepsis severa y un Charslon de 6. ¿Cuál es la estancia hospitalaria esperada según nuestro modelo? 16.1+0.02*20+6.6*1+1.4*6= 31.5 días

En un modelo multivariante, los coeficientes estimados miden el cambio medio en la respuesta para cada unidad de

incremente de la variable predictor, una vez controlada o ajustada por las otras covariables incluidas en el modelo.

β0 β1 β2 D1 D2 β3 β4

REGRESIÓN LINEAL. Análisis Multivariante. SEIMC 2017

REGRESIÓN LOGÍSTICA SEIMC 2017

• La variable dependiente es categórica (frecuentemente dicotómica). Por ejemplo: mortalidad o cura.

• La forma habitual de representar este tipo de modelos es como el logaritmo del cociente de la probabilidad de que suceda el evento de interés dividido por la probabilidad de que no ocurra (Odds) :

log𝑝

(1−𝑝)= β0+β1*X1

REGRESIÓN LOGÍSTICA. Análisis univariante.

Odds


SEIMC 2017

• Supongamos un modelo con mortalidad como variable dependiente y con Charlson como la única covariable.

• Queremos saber cuánto mayor es la probabilidad de morir para un paciente con Charlson de 3 en comparación de otro paciente con Charlson de 2:

log𝑝3

(1−𝑝3)= β0+β1*3

Para paciente con Charlson = 3

Probabilidad de muerte de un paciente con Charlson=3

Para paciente con Charlson = 2 log𝑝2

(1−𝑝2)= β0+β1*2

Probabilidad de muerte de un paciente con Charlson=2

-

log

𝑝3

1 − 𝑝3𝑝2

1 − 𝑝2

= β1

OR

log 𝑂𝑅 = β1 𝑂𝑅 = 𝑒β1

Obtenemos que la OR es igual al numero e (2.72 aprox) elevado a β1

𝑂𝑅 = 𝑒β1


SEIMC 2017

• La variable dependiente es categórica (frecuentemente dicotómica). Por ejemplo: mortalidad o cura.

• La forma habitual de representar este tipo de modelos es como el logaritmo del cociente de la probabilidad de que suceda el evento de interés dividido por la probabilidad de que no ocurra (Odds) :

log𝑝

(1−𝑝)= β0+β1*X1


Odds


SEIMC 2017

β1 P

Akaike, Criterio de selección de modelos (ver a continuación)

OR Intervalos de confianza

La OR del modelo obtenido significa que un individuo tiene un riesgo de muerte 1.15 veces más alto que otro individuo con un Charlson con 1 punto menos. Podemos también afirmar, con una confianza del 95%, que el riesgo de muerte por cada unidad de incremento del índice de Charlson, oscilará entre 1.06 y 1.24 (el intervalo de confianza no incluye al 1). Podemos por tanto afirmar que en este análisis univariante, con un error del 0.04 % (p=0.0004), que el índice de Charlson está significativamente asociado con la mortalidad.


SEIMC 2017

• El objetivo de un modelo de regresión logística multivariante es precisamente combinar el efecto de varios predictores para explicar la variabilidad de la variable respuesta.

• La ecuación general de un modelo de regresión logística mutivariante es:

log𝑝

(1−𝑝)= β0+β1*X1+β2*X2….+βn*Xn

(x1i, x2i…. son predictores; β0,β1 … los coeficientes)

REGRESIÓN LOGÍSTICA. Análisis multivariante.


SEIMC 2017

𝑙𝑜𝑔𝑝

(1−𝑝)= -1.5+1.3*SS+2.0*shock+0.1*Charlson

Respecto al SIRS (categórica), el riesgo de mortalidad en el día 30 es e1.3 =3.6 veces mayor en un paciente con sepsis severa en comparación con un paciente con sólo sepsis, si ambos tienen el mismo índice de Charlson (a igualdad de Charlson o controlando por Charlson). Nota: si nosotros tenemos más de una covariable, decimos “a igualdad de las otras variables, o controlando por las otras variables incluidas en el modelo multivariante”.

Respecto al Charlson (variable continua), el riesgo de mortalidad en el día 30 es e0.1

=1.1 veces más alto por cada punto de incremento del índice de Charlson (si no hay variación del SIRS, o controlando por SIRS).

OR


SEIMC 2017

REGRESIÓN DE COX de riesgos proporcionales

SEIMC 2017

• En muchos estudios clínicos la variable resultado es el tiempo desde un punto temporal hasta la ocurrencia de un evento de interés. En medicina lo llamamos tiempo de supervivencia porque es el tiempo desde el diagnóstico, por ejemplo de una infección o de cancer, hasta la muerte.

REGRESIÓN DE COX de riesgos proporcionales.


SEIMC 2017

Tiempo de supervivencia (días)

Pro

bab

ilid

ad d

e su

per

vive

nci

a Kaplan Meier: método para representar las curvas de Supervivencia

¿Cómo interpretamos esta curva de supervivencia?

SEIMC 2017

Log-rank test

Para comparar si la diferencia observada en la supervivencia de dos o más grupos es significativa, habitualmente se usa el test de log-rank. Así, en este ejemplo, podemos confirmar, después del test de log-rank (p=0.002), que la curva de supervivencia de los pacientes tratados con A es significativamente mejor que la curva de supervivencia dleos tratados con B.

SEIMC 2017

• Dos consideraciones previas:

1. Las covariables no varían a lo largo del tiempo de seguimiento (si lo hacen, sería otro tipo de Cox, “Cox con una covariable tiempo-dependiente”).

2. Los riesgos son proporcionales. El HR entre los grupos es constante a lo largo del tiempo de seguimiento.



SEIMC 2017

x

x

Podemos ver cómo las curvas de supervivencia de ambos grupos están igualmente de espaciadas a lo largo del tiempo, por lo que podemos deducir que el HR entre ambos grupos es constante a lo largo del tiempo (hay test estadísticos para confirmar que se cumple esta condición).



SEIMC 2017

La interpretación de los beta coeficientes (y sus HR asociadas) de un modelo Cox es similar, tanto en el univariante como en el multivariante, a la que hemos visto para los modelos de regresión logística.

REGRESIÓN DE COX de riesgos proporcionales. Análisis Multivariante.


SEIMC 2017

Métodos de selección y de inclusión de variables

• El primer paso antes de seleccionar el método a seguir para la introducción de las variables es hacer un análisis univariante considerando todas aquellas variables (un univariante por cada covariable) que nosotros creamos que podrían estar asociadas (basándonos en nuestro conocimiento o en publicaciones previas).

• De esta manera, podemos detectar a través del univariante aquellas variables que están significativamente asociadas, o están cerca de estarlo (p<0.20), con la variable resultado.


SEIMC 2017

• Hacia atrás: En el primer paso, todas las variables seleccionadas a partir del análisis univariante se introducen en el modelo. En cada paso se elimina la variable con la asociación más debil. Cuando todas las variables que permanecen en el modelo tengan una fuerte asociación (por ej. P<0.05) paramos.



SEIMC 2017


Nota: estos criterios son una aproximación y debería ser el investigador en cada caso el que particularmente decida la inclusión de uno o más predictores en el modelo.

SEIMC 2017

• Hemos visto que las variables que normalmente se incluyen en los modelos multivariantes son aquellas significativas o próximas a serlo, pero…¿cómo sabemos si un modelo es mejor que otro que también incluya otra variable como, por ejemplo, una p de 0.10?

Comparación de modelos


SEIMC 2017

Comparación de modelos lineales

• R2 o Coeficiente de determinación: indica la proporción de la variabilidad de la variable dependiente que es explicada por los predictors. Su valor oscila entre el 0 y el 1 (o 0 al 100%). Cuanto mayor sea la proporción, mayor es el modelo.

• R2 ajustado: Igual que el R2 pero incluyendo una penalización al sobreajuste (es mejor opción que el R2).

• Tests para evaluar si las diferencias entre dos modelos son significativas:

1. ANOVA (basado en la variabilidad de la variable dependiente explicada por los predictores). SOLO PARA MODELOS ANIDADOS 2. Likelihood-ratio test (basado en la bondad de ajuste). PARA MODELOS ANIDADOS Y NO ANIDADOS.


SEIMC 2017

Comparación de modelos por regresión logística

• Criterio de Información de Akaike (AIC): recompensa la bondad de ajuste (como lo hace la función likelihood) pero también incluye una penalización al sobreajuste: AIC=2k-2ln(L);

k es el número de parámetros estimados en el modelo y L es la función likelihood.. Por tanto a menor Akaike, mejor modelo.

• Criterio de Información Bayesiana (BIC): Similar al AIC, pero la penalización es mayor en el BIC que en el AIC.


1. ANOVA (enfocado en la variabilidad de la variable dependiente que se explica por los predictores. SOLO PARA MODELOS ANIDADOS.

• Si quieres compara la capacidad predictiva de dos modelos, podemos calcular las curvas ROC de ambos modelos y analizar si existen diferencias significativas (test de DeLong).

• Hosmer-Lemeshow Test: Sirve para comparar tu modelo con el ideal, si la p>0.05, sólo puedes confirmar que el modelo está correctamente especificado


SEIMC 2017

Comparación de modelos Cox

• Criterio de Información de Akaike (AIC): recompense la bondad de ajsute (como lo hace la función likelihood) pero también incluye una penalización al sobreajuste: AIC=2k-2ln(L);

k es el número de parámetros estimados en el modelo y L es la función likelihood. Por tanto a menor Akaike, mejor modelo.


1. ANOVA (enfocado en la variabilidad de la variable dependiente que se explica por los predictores. SOLO PARA MODELOS ANIDADOS. 2. Likelihood-ratio test (enfocado en la bondad de ajuste). MODELOS ANIDADOS Y NO ANIDADOS.


SEIMC 2017

Ejemplo de comparación y selección de modelos

• Regresión logística. Variable dependiente: cura/ mejoría en el día 14 y sólo 3 covariables: Charlson, género y SIRS). Hacia atrás

1) Modelo incluyendo las 3 variables como predictoras:

Akaike

P

X


SEIMC 2017

2) Modelo incluyendo Charlson y SIRS

Akaike (menor que modelo 1)

Akaike (mayor que modelo 2)

3) Modelo incluyendo solo SIRS MODELO SELECCIONADO Nº2


SEIMC 2017


INTRODÚCCION

DISEÑO


PROPENSITY SCORE

CART

MULTINIVEL


SEIMC 2017

Supongamos que queremos comparar, respecto a la mortalidad en el día 30, el tratamiento dirigido con ertapenem en comparación con tratar con otros carbapenemas en una cohorte de pacientes con bacteriemia por enterobacterias productoras de BLEE.

Ambos grupos no son similares

Hay diferencias significativas en mortalidad en ambos grupos, ¿pero se deben realmente al tratamiento? ¿Cómo podemos descubrirlo?

Ertapenem for the treatment of bloodstream infections due to ESBL-producing Enterobacteriaceae: a multinational pre-registered cohort study. Gutiérrez-Gutiérrez et al. J Antimicrob Chemother. 2016

SEIMC 2017

Su objetivo es minimizar el efecto de la confusión (sesgo de indicación) comparando la variable resultado en los pacientes que tengan una distribución similar de las covariables conocidas. Importante: El PS no equilibra los confusores desconocidos (la aleatorización de un ensayo clínico sí lo hace).

El propensity score de un paciente se define como la probabilidad de recibir un tratamiento experimental basándose en las covariables conocidas previas a recibir ese tratamiento.

El Propensity Score es una herramienta de equilibrio que nos puede ayudar a ajustar, de forma complementaria al multivariante, las diferencias en las características de los pacientes que existan en ambos grupos.

¿Qué es un propensity score?


SEIMC 2017

Pasos en el propensity score

1. Cálculo: Los propensity scores se calculan (normalmente) a partir de un modelo de regresión logística.

2. Aplicación: El propensity score calculado puede usarse para evaluar el efecto del tratamiento en el resultado en estudio de 4 formas diferentes (métodos).


SEIMC 2017

• Regresión logística multivariante

• Variable dependiente: Tratamiento con A (sí o no)

• Covariables independientes: Todas aquellas variables previas al tratamiento que se consideren.

Primer paso: ¿Cómo lo calculamos?


SEIMC 2017

Tratamiento

Resultado

Variables de base conocidas a incluir en el cálculo

Importante!!! Sólo considerar aquellas covariables previas al tratamiento.

Primer paso: ¿Cómo lo calculamos? SEIMC 2017

VARIABLES INCLUDED TO CALCULATE PROPENSITY SCORE TTC

Center x

Age x

Gender x

Acquisition x

Source x

Type of hospital service x

Charlson Index x

Pitt score x

Presentation with severe sepsis or shock x

Cancer x

Diabetes mellitus x

Chronic renal insufficiency x

Liver disease x

Cardiac disease x

Antimicrobial report x

Appropriate empirical therapy x

AUROC 0.86

p value (Hosmer-Lemeshow goodness of fit) 0.84



SEIMC 2017



SEIMC 2017

Ya hemos calculado el valor del propensity para cada caso



SEIMC 2017

Comprobamos la capacidad predictive del PS calculado a tráves del Area bajo la curva ROC


SEIMC 2017

AUROC

AUROC: Perfecta capacidad predictiva si AUROC = 1 Si AUROC= 0.5 ninguna capacidad predictiva (totalmente aleatorio) Si AUROC >=0.8, bastante bueno. Atención!: Un AUROC muy alto (>=0.90) indica que no hay superposición de los valores de PS entre los pacientes de ambos grupos (Tratamiento con A VS B) que conllevara la imposibilidad de comparar ambos grupos.


SEIMC 2017

• Hay cuatro formas diferentes de incorporar este PS calculado a nuestro análisis:

1. Introduciendo este PS como una covariable en el análisis.

2. Hacer un análisis estratificado de ambos grupos en base al valor del PS.

3. Aparear los casos de ambos grupos de acuerdo a su PS.

4. Asignar una ponderación basada en el inverso de la probabilidad de recibir el tratamiento (en base al PS).

Segundo paso: ¿Cómo usamos este PS?


SEIMC 2017

• Incluimos el PS como otra covariable en el análisis multivariante (regresión logística, lineal o regresión de Cox).

• Es importante comprobar que no hay una alta colinealidad entre el PS y las otras covariables incluidas en el modelo.

1. Introduciéndolo como una covariable. SEIMC 2017

1. Introduciéndolo como una covariable.

Crude Analysis Adjusted Analysis

Variable HR (95% CI) p HR (95% CI) p

Age (per unit) 1.01 (0.99-1.02) 0.17 1.03 (1.00-1.03) 0.09 Male sex 1.12 (0.69-1.80) 0.65 Enterobacteriaceae E.coli Reference K. pneumoniae 2.50 (1.51-4.13) 0.0003 Others 1.68 (0.75-3.76) 0.20 Nosocomial acquisition 1.54 (0.96-2.46) 0.07 Source Urinary Reference Biliary 0.93 (0.35-2.48) 0.88 0.89 (0.33-2.39) 0.81 Others 2.70 (1.60-4.57) 0.0002 2.27 (1.30-3.96) 0.004 ICU admission 2.80 (1.66-4.74) 0.0001 Charlson Index, (per unit) 1.20 (1.11-1.29) <0.0001 McCabe Ultimately or rapidly fatal Reference Reference Non-fatal 0.27 (0.15-0.46) <0.0001 0.33 (0.19-0.58) 0.0001 Pitt score, per unit 1.24 (1.16-1.31) <0.0001 1.13 (1.04-1.22) 0.002 Severe sepsis or shock 4.41 (2.70-7.21) <0.0001 2.81 (1.59-4.96) 0.0004 Empirical therapy continued in Targeted therapy

0.78 (0.42-1.46) 0.44

Empirical Therapy Ertapenem Reference Other carbapenem 4.45 (0.59-33.71) 0.14 Other active drug 4.24 (0.57-31.53) 0.15 Inactive/ no drug 5.43 (0.74-39.71) 0.10 Targeted Therapy with ertapenem

0.52 (0.31-0.88) 0.014 0.93 (0.43-2.03) 0.86

Propensity score 0.38 (0.19-0.76) 0.007 1.26 (0.42-3.82) 0.68

Cox Regression Analysis of Associations between Different Variables and Mortality at Day 30 in the Targeted Therapy Overall Cohort


Una vez controlando la confusion con el resto de covariables.

Observar cómo el propensity score está incluido como otra covariable más en el multivariante.

SEIMC 2017

2. Estratificación en base al PS

• Nuestra cohorte se divide en 5 partes (quintiles) o en 4 (cuartiles) basándonos en el valor del PS, a continuación analizamos cada estrato.

• Inconveniente: El pequeño tamaño muestral que previsiblemente existirá en uno de los dos grupos en algunos quintiles (o cuartiles).

SEIMC 2017

Hemos ordenado los casos de nuestra cohorte en función del valor de su PS asociado, desde el valor más bajo al más alto.

Casos pertenecientes al segundo y tercer cuartil conforme a su valor de PS.

SEIMC 2017

2. Estratificando en base al propensity score

PS=0 PS=1

Tratamiento B (o no tratados)

Tratamiento A

Q1 Q2 Q3 Q4

Ertapenem

Otros carbapenemas

Por tanto, los cuartiles 2 y 3 son normalmente aquellos que tienen un número de casos lo suficientemente grande para hacer comparaciones entre los grupos.


SEIMC 2017

PROPENSITY SCORE

QUARTILES Mortality (day 30)

Propensity score range

Other

carbapenems

N=304

Ertapenem

N=205

1st quartile (0-0.03) 28/127 (22.0) 0/1 (0)

2nd quartile (0.03-0.42) 14/106 (13.2) 2/21 (9.5)

3rd quartile (0.43-0.74) 9/58 (15.5) 6/69 (8.7)

4th quartile (0.75-1) 1/13 (7.7) 11/114 (9.6)

TOTAL 52/304 (17.1) 19/205 (9.3)

Table. Stratified analysis of mortality according to quartiles of the propensity score

Gutiérrez-Gutiérrez et al.Ertapenem vs carbapenems JAC

En los cuartiles 1 and 4, no se podían comparar ambos grupos (insuficente tamaño muestral)

2. Estratificando en base al propensity score


SEIMC 2017

• Se forman parejas (lo más habitual 1:1) de pacientes tratados con A y de aquellos tratados con B (no tratados) que comparten un valor similar del propensity score (normalmente se aparean con una tolerancia: por ejemplo, con un margen de +- 0.2 de la desviación estándar del logit del propensity score).

• ¿Cómo sabes que el propensity score que hemos calculado es bueno? Es muy importante comprobar si el modelo a partir del cual hemos calculado el propensity score está bien definido. Ambos grupos (apareados por propensity) deben tener una distribución muy similar en las covariables medidas y conocidas.

3. Apareamiento por propensity score


SEIMC 2017

Hemos comprobado que nuestro modelo del que obtuvimos el PS estaba adecuadamente especificado, así como el método empleado. La distribución entre gupos es similar

Ertapenem for the treatment of BSI due to ESBL-E Gutiérrez-Gutiérrez et al. JAC. 2016

Recordar….

Las diferencias entre los tratados con ertapenem y con otros carbapenamas fueron significativas en muchas variables

Cohorte apareada por PS


SEIMC 2017

• Ponderación a asignar en base al PS: wi=1/PS para los tratados con A

wi=1/(1-PS ) para los tratados con B (o no tratados)

• Tratados con A: ↓ propensity ↑peso

↑ propensity ↓peso

• Tratados con B (o no tratados): ↑ propensity ↑peso

↓ propensity ↓peso

4. Asignando una ponderación basada en el

inverso de la probabilidad de recibir el

tratamiento (en base al PS).

Obtenemos un modelo multivariante (Cox, logístico…) pero los casos en nuestra cohorte están ponderados de la siguiente forma:

SEIMC 2017

PS=0 PS=1


Tratamiento A

Q1 Q2 Q3 Q4

Ertapenem

Otros carbapenemas

PS=0.33 W=1/0.33=3 PS=0.7

W=1/0.7=1.4

PS=0.3 W=1/(1-0.3)=1.4

PS=0.66 W=1/(1-0.66)=3

SEIMC 2017

• ¿Porqué hacemos esto? SEIMC 2017

PS=0 PS=1


Tratamiento A

Q1 Q2 Q3 Q4

Ertapenem

Otros carbapenemas

EFECTO DEL IPTW

El efecto es de equilibrar ambos grupos en todos los cuartiles para el análisis

SEIMC 2017

Carbapenem therapy is associated with improved survival compared with piperacillin-tazobactam for patients with extended-spectrum β-lactamase bacteremia. Tamma et al. Clin Infect Dis. 2015; 60(9):1319-25

Hemos comprobado que el modelo estaba correctamente especificado. Hay una distribución similar entre grupos aplicando la ponderación calculada.


SEIMC 2017


INTRODÚCCION

DISEÑO


PROPENSITY SCORE

CART

MULTINIVEL


SEIMC 2017

OTRAS HERRAMIENTAS

• ANÁLISIS DE SENSIBILIDAD

Método para determinar la solidez de un análisis

Identificar resultados poco sólidos

Evaluar si cambios en los métodos, modelos, valores variables no medidas u otros supuestos afectan a los resultados obtenidos.

Gran diversidad de tipos


SEIMC 2017

ORs ajustadas e intervalos de confianza al 95% para curación o mejoría en el día 14 para aquellos tratados con BLBLI versus carbapenemas en distintos subgrupos de pacientes con bacteriemia por E-BLEE

A Multinational, Preregistered Cohort Study of β-Lactam/β-Lactamase Inhibitor Combinations for Treatment of Bloodstream Infections Due to Extended-Spectrum-β-Lactamase-Producing Enterobacteriaceae. Gutiérrez-Gutiérrez B, Pérez-Galera S, Salamanca E, et al. Antimicrob Agents Chemother. 2016 Jun 20;60(7):4159-69.

SEIMC 2017

https://www.ncbi.nlm.nih.gov/pubmed/27139473














































INTRODÚCCION

DISEÑO


PROPENSITY SCORE

CART

MULTINIVEL


SEIMC 2017

• ÁRBOLES DE CLASIFICACIÓN Y REGRESIÓN (CART).

OTRAS HERRAMIENTAS SEIMC 2017

Ejemplo

• Cohorte de pacientes con bacteriemia y sepsis severa.

• Sólo tenemos dos variables independientes : Indice de Charlson y score de Pitt.

• Hay alguna asociación entre estas dos variables y la mortalidad?

Introducción


SEIMC 2017

Mortalidad en pacientes ancianos con bacteriemia y sepsis severa acorde a la puntuación de Pitt y al índice

de Charlson

0

1

2

3

4

5

6

7

0 1 2 3 4 5 6 7

Pit

t Sc

ore

Charlson Index

Alive

Dead

10 Vivos 11 Muertos

Casos que murieron o vivieron en el dia 7 teniendo en cuenta su indice de Charlson (eje x) y score de Pitt (eje y)


SEIMC 2017

Mortality in elderly patients with bacteremia and severe sepsis according Pitt score and Charlson index

0

1

2

3

4

5

6

7

0 1 2 3 4 5 6 7

Pit

t Sc

ore

Charlson Index

Alive

Dead

6 vivos 4 vivos

2 muertos 9 muertos

Si Charlson ≥ 3 → 4 vivos; 9 muertos Si Charlson < 3→ 6 vivos; 2 muertos

Primera partición acorde al índice de Charlson y vemos cómo encontramos dos grupos con diferente mortalidad SEIMC 2017

0

1

2

3

4

5

6

7

0 1 2 3 4 5 6 7

Pit

t Sc

ore

Charlson Index

Alive

Dead

5 vivos 0 muertos

0 alive 6 dead

1 vivo 2 muertos

4 vivos 3 muertos

Charlson ≥ 3 y Pitt ≥ 4: 0 vivos; 6 muertos Charlson ≥ 3 y Pitt < 4: 4 vivos; 3 muertos Charlson < 3 y Pitt ≥ 4: 1 vivos; 2 muertos Charlson < 3 y Pitt < 4: 5 vivos; 0 muertos

Hemos encontrado una asociación entre estas dos variables y la mortalidad!!

Mortalidad en pacientes ancianos con bacteriemia y sepsis severa acorde a la puntuación de Pitt y al índice de Charlson


SEIMC 2017

Intentemos reflejar los resultados mostrados en el cuadro azul de una forma más visual.

SEIMC 2017

Hemos creado un árbol de clasificación

Ancianos con bacteriemia y sepsis sevara (10 vivos, 11

muertos)

6 vivos

2 muertos

5 vivos

0 muertos

1 vivo

2 muertos

4 vivos

9 muertos

4 vivos

3 muertos

0 vivos

6 muertos

Charlson < 3 Charlson ≥ 3

Pitt < 4 Pitt < 4 Pitt ≥ 4 Pitt ≥ 4

Baja mortalidad Alta mortalidad

Nodos padre

Nodos hijo

Hemos separado los casos que murieron de los casos que vivieron “partiendo” únicamente dos variables.

SEIMC 2017

Software para realizar árboles de Clasificación y regresión

• Diferentes softwares disponibles en el mercado seleccionan (incluso de entre miles de covariables) aquellas variables divisoras (splitters) que mejor agrupan nuestra variable resultado en cada nivel de partición (ramas del árbol).

• Normalmente tenemos 20, 50 o incluso más de 100 covariables (tanto continuas como categóricas).

• Normalmente, la variable dependiente es categórica, pero algunos programas informáticos nos permiten también analizar variables resultado continuas.

• Estos programas nos ayudarán a elegir el mejor árbol de entre cientos (cada programa emplea distintos algoritmos y métodos para llevar a cabo los 3 principales pasos que suelen seguir….

Su propósito es agrupar los nodos terminales (“hojas” del árbol) en grupos de casos (“clusters”) tan homogéneos como sea posible en su valor de la variable dependiente.

1. Crecer el árbol 2.Parar 3. Hacer la poda B. Gutiérrez-Gutiérrez, Congreso SEIMC'17

SEIMC 2017

Software

• CART (Salford).

• CHAID and CRT (SPSS)

• DTREG

• Otros (C4.5…)


SEIMC 2017

REVISEMOS ESTOS TRES PASOS PRINCIPALES EN EL ANÁLISIS CART

CART 8.0® (Salford Systems)

SEIMC 2017

Abrir un archivo

Información acerca del archivo

SEIMC 2017

Model Setup

SEIMC 2017

1. Crecer el árbol • Primero se divide el nodo raíz, luego los nodos “hijos”

resultantes, a continuación los nodos “nietos”, y así sucesivamente.

• La mayoría de los programas crecen los árboles por un procedimiento llamado “partición recursiva binaria”(los nodos se dividen únicamente en dos y sólo dos nodos hijos).

• Varios métodos para crecer el árbol (criterios de partición) en los diferentes softwares.

• Muy populares: El criterio de Impureza de Ginini y el de Entropía en los árboles de clasificación.

• Para los árboles de regresión, el método de mínimos cuadrados y el de la desviación absoluta mínima.

SEIMC 2017

Pestaña de métodos. Opciones para crecer el árbol

SEIMC 2017

Recordar

• Todos los métodos para hacer crecer el árbol tienen el mismo propósito en nuestro árbol de clasificación: agrupar los casos en nodos terminales puros respecto a la variable dependiente


SEIMC 2017

• ¿Cuándo el software para de crecer los árboles?

• Algunos programas (como CART®) cuando se quedan sin casos (tras haber fijado previamente los límites acerca del tamaño mínimo que tienen que tener los nodos de partición y/o los nodos terminals.

2. Parar el árbol


SEIMC 2017

Pestaña de límites. Opciones para parar el árbol

SEIMC 2017

• Una vez se ha construido el árbol más grande que sea posible empieza la poda (esto se hace automáticamente eliminando las particiones y ramas que no sean de utilidad al modelo).

• El árbol óptimo que suele elegir el ordenador es

quel con la menor tasa de clasificación errónea (o equivalentemente el que tenga mayor precision de clasificación),

• Algunas veces se prefiere el Área bajo la curva

ROC como criterio de sección de modelos.

3. Hacer la poda de los árboles sobredimensionados


SEIMC 2017

Cuando hacemos click en start… SEIMC 2017

Navegador del programa CART.

Arbol óptimo (7 nodos)

Características del árbol óptimo

Arbol más grande generado (antes poda)


SEIMC 2017

DETALLES DEL ARBOL ÓPTIMO Ejemplo: Cohorte de 437 pacientes con bacteriemia. Variable resultado mortalidad en el día 30 SEIMC 2017

Principales aplicaciones en el campo de las enfermedades infecciosas y microbiología clínica.

1. Encontrar aquellas categorías en una variable (categórica) que más se asocian a la variable resultado.

2. Dicotomizar variables con el propósito de simplificar el análisis estadístico y su posterior aplicación.

3. Para desarrollar modelos predictivos

4. Árboles de clasificación combinando variables categóricas y continuas

5. Alternativa / complemento a modelos lineares (regresión lineal o regresión logística).

6. Encontrar puntos de corte (en su asociación con variables dependientes) en variables continuas

7. Para detectar interacciones entre variables

8. Para encontrar inesperadas asociaciones entre variables

SEIMC 2017









8. Para encontrar inesperadas asociaciones entre variables B. Gutiérrez-Gutiérrez, Congreso SEIMC'17

SEIMC 2017

…..Suponed que estamos interesados en desarrollar un modelo predictivo de mortalidad en el día 14 para un tipo de infección…. Si queremos desarrollar un score para predecir mortalidad en el día 14

• Alta capacidad predictiva

• Fácilidad de uso

• Aplicación clínica

• Formado por variables fáciles de recoger.

¿Qué características nos gustaría que tuviera este score?


SEIMC 2017

SEIMC 2017

¿Conseguimos nuestro objetivo? SEIMC 2017

Variable Score

Severe sepsis or septic shock 5

Pitt score ≥6 4

Charlson index ≥2 4

Inappropriate early targeted therapy 2

Source other than urinary or biliary tract 2

Total points 17

Así, si nosotros tenemos un paciente con sepsis severa, con infección de origen abdominal y un índice de Charlson de 3 puntos…

¿Cuando aplicamos nuestro score?

SEIMC 2017


SEIMC 2017

Sí, obtuvimos un modelo con las características que queríamos

• Alta capacidad predictiva

• Fácil de usar

• Aplicación clínica

• Formado por variables fáciles de recoger

Este punto es muy importante para hacer sencillo el score!!

SEIMC 2017

¿Como hemos hecho esta dicotomización de

variables de acuerdo a la mortalidad? SEIMC 2017

Con ARBOLES DE CLASIFICACIÓN Y REGRESIÓN

SEIMC 2017

Classification and Regression Tree obtained to dichotomise the variable “Source of BSI” according to outcome (0=alive; 1=dead at day 14)

De esta manera, todas las variables recogidas fueron

dicotomizadas en alto y bajo riesgo de mortalidad.

SEIMC 2017

Classification and Regression Tree obtained to dichotomise the variable “Age” according to outcome (0=alive; 1=dead at day 14)

Classification and Regression Tree obtained to dichotomise the variable “Charlson Score” according to outcome (0=alive; 1=dead at day 14)

Classification and Regression Tree obtained to dichotomise the variable “Pitt score” according to outcome (0=alive; 1=dead at day 14)

Hicimos lo mismo con

las otras variables… SEIMC 2017

Classification and Regression Tree obtained to dichotomise the variable “Severity of SIRS at presentation” according to outcome (0=alive; 1=dead at day 14)

Classification and Regression Tree obtained to dichotomise the variable “Appropriateness of empirical and targeted therapy” according to outcome (0=alive; 1=dead at day 14)


SEIMC 2017

Dichotomization of variables according to CART analysis according to their association with mortality.

Variable CART grouping criteria

Higher risk of mortality Lower risk of mortality

Age, years ≥701 <70

Enterobacteriaceae Klebsiella pneumoniae. Escherichia coli, Enterobacter spp., Serratia spp.;

Citrobacter spp.

Carbapenemase-type OXA-type KPC, VIM, NDM, IMP types

Source of BSI Non-urinary or biliary tracts Urinary or biliary tracts

Ward of admission ICU Any other

Charlson index ≥2 <2

Mental status disoriented, stuporous, comatose

(non-alert) Alert

Chronic liver disease Mild or severe No

Cancer Leukemia, metastatic cancer No or any other cancer (including lymphoma)

Pitt score ≥6 <6

Severity of SRIS at

presentation Severe sepsis, septic shock sepsis

Antimicrobial therapy Inappropriate empirical therapy

and early targeted therapy

Appropriate or inappropriate empirical therapy

and appropriate early targeted therapy

Study period 2004-2011 2012-2013

Center2 Hospital codes: 4, 5, 6, 7, 14, 17,

24, 31, 43, 45, HULP

Hospital codes: 1, 3, 9, 13, 15, 16, 21, 23, 26, 29,

30, 35, 38

SEIMC 2017

Crude Analysis Adjusted Analysis

Variable OR (95% CI) p OR (95% CI) p

Age >70 years 0.97 (0.59-1.56) 0.89

Male gender 0.80 (0.50-1.28) 0.36

Klebsiella pneumoniae 1.83 (0.89-4.07) 0.11

ESBL co-producer 1.07 (0.60-1.86) 0.83

OXA-type carbapenemase 1.34 (0.72- 2.45) 0.35

Nosocomial acquisition 2.11 (0.93- 5.45) 0.09

Source other than urinary or biliary

tract 1.77 (1.09- 2.9) 0.02 2.0 (0.9-4.7) 0.09

ICU admission 1.44 (0.90-2.33) 0.13

Charlson index ≥2 3.08 (1.72-5.79) 0.0002 3.7 (1.8-7.9) 0.0006

Mechanical ventilation 2.63 (1.55-4.50) 0.0003

Mental status, not alert 2.77 (1.72-4.49) <0.0001

Chronic kidney disease 1.39 (0.81-2.37) 0.23

Chronic liver disease 1.87 (0.96-3.61) 0.06

Leukaemia or metastatic cancer 1.69 (0.91-3.10) 0.09

Pitt score ≥6 5.3 (3.05-9.40) <0.0001 3.3 (1.7-6.9) 0.0009

Severe sepsis or septic shock 6.52 (3.7-12.1) <0.0001 4.9 (2.5-10.0) <0.0001

Inappropriate early targeted

therapy 1.23 (0.71-2.2) 0.45 2.2 (1.2-4.0) 0.01

Pero nosotros necesitamos saber qué variables están realmente asociadas

con la mortalidad en el modelo multivariante final.


SEIMC 2017

Finalmente…… Se asigna el score a cada variable predictor en base los beta coeficientes obtenidos en el modelo multivariante final por regresión logística

Variable β-coefficients Score

Severe sepsis or septic shock 1.6 5

Pitt score ≥6 1.2 4

Charlson index ≥2 1.3 4

Inappropriate early targeted therapy 0.8 2

Source other than urinary or biliary tract 0.7 2

Total points 17

Los scores fueron calculados dividiendo cada beta coeficiente por la mitad del beta coeficiente más bajo y redondeando al número entero más proximo.


SEIMC 2017









8. Para encontrar inesperadas asociaciones entre variables B. Gutiérrez-Gutiérrez, Congreso SEIMC'17

SEIMC 2017

¿Qué pregunta es la que queríamos responder con este artículo?

SEIMC 2017

• ¿es el tratamiento con ertapenem tan efectivo como otros carbapenemas en el tratamiento de bacteriemias por E-BLEE?

SEIMC 2017

Por tanto, en igual proporción del resto de variables, no encontramos diferencias en mortalidad en el grupo del ertapenem y en el grupo de otros carbapenemas

SEIMC 2017

• ¿Cómo confirmamos estos resultados?

NO DIFERENCIAS ENTRE

ertapenem vs otros carbapenemas

• Para confirmar estos resultados nosotros hicimos….

¿?

SEIMC 2017

Análisis de sensibilidad SEIMC 2017

¿Qué pasaba en este subgrupo de pacientes?

¿Porqué en esta subcohorte el grupo del ertapenem se comportaba peor?

¿Podría CART encontrar la respuesta?

SEIMC 2017

Análisis con CART de la subcohorte de pacientes con tratamiento definitive con ertapenem: Modelo predictivo

asociado con la mortalidad en el día 30.

CURIOSAMENTE, la

mortalidad fue menor,

dentro del grupo de

pacientes con sepsis

severa o shock, en

aquellos con

insuficiencia renal que

sin insuficiencia renal.

SEIMC 2017


• Interacción

Una interacción se produce cuando el efecto de un factor de riesgo en un resultado se ve modificado por el valor de tercera variable. Como se muestra en la figura, el efecto de un factor de riesgo en el resultado varía en función del valor de la variable que produce la interacción.

R

E

S

U

L

T

A

D

O

Factor de riesgo

SEIMC 2017

Shock septico Mortalidad

Insuficiencia renal

Sin insuficiencia renal

¡¡LAS INTERACCIONES TAMBIÉN DEBEN SER CONTROLADAS EN EL MULTIVARIANTE!!

ANÁLISIS MULTIVARIANTE. INTERACCIÓN



SEIMC 2017

Análisis de sensibilidad

Gracias a CART, vimos la luz de lo que estaba pasando en este

subgrupo de pacientes.

SEIMC 2017

NO SOLO CONCLUIMOS DICIENDO:

• ¡¡¡ Cuidado con los pacientes con sepsis severa o shock séptico tratados con ertapenem!!!

Sino que pudimos dar un paso más

SEIMC 2017

• El hecho de que en los pacientes tratados con ertapenem y con sepsis severa o shock séptico tuvieran mejor pronóstico los que tenían insuficiencia renal, podría estar relacionado con una mayor exposición al ertapenem.

• El hecho de que los pacientes en estado crítico frecuentemente aumenten el volumen de distribución y aclaramiento puede suponer no alcanzar el objetivo

¡¡¡ Cuidado con los pacientes con sepsis severa o

shock séptico tratados con ertapenem!!!

En los pacientes con sepsis severa o shock séptico

tratados con ertapenem, una dosis de 1g/24 h podría ser

insuficiente

SEIMC 2017

• A los modelos multinivel también se le llaman: random effects models,

• Unidades atómicas o elementales (generalmente, pero no siempre, son individuos) que a su vez se agrupan en niveles superiores.

• Ejemplo: Alumnos y colegios


ANÁLISIS MULTINIVEL

Nivel 2

Nivel 1

SEIMC 2017

• Saber diferenciar entre variables de clasificación fija (no hay otra clasificación posible) y de clasificación aleatoria(cuando la muestra, en este caso alumnos y colegios son una muestra aleatoria de 1 población mayor)

• Los niveles sólo se pueden constituir por variables de clasificación aleatoria y no de clasificación fija.

• Por ejemplo: estudiantes, colegio y tipo (público, privado o concertado).


¿Cómo diseñar esa estructura jerárquica?

¿Podríamos hacer una estructura de 3 niveles con estas variables?

SEIMC 2017

Meter esta variable de clasificación fija como una covariable del nivel 2

Nivel 1

Nivel 2

¿Podríamos crear un nuevo nivel entre el 1 y el 2 con el género del alumno, si es niño o niña?

¿Y la variable clase a la que pertenece el alumno?


No, ya que el tipo de colegio es fija y no aleatoria SEIMC 2017


Nivel 1

Nivel 2

Nivel 3

Sí, ya que las clases son variables aleatorias SEIMC 2017

Otra aplicación

• Medidas repetidas (a lo largo del tiempo), nivel 1, de un mismo sujeto (nivel 2).


SEIMC 2017

¿Porqué análisis multinivel?

• Cuando los individuos forman grupos, es previsible que los individuos de un mismo grupo sean más parecidos entre sí que otros individuos que cogiéramos de grupos diferentes.

• P.ej: Notas de selectividad. Previsible que notas de jóvenes de una misma clase sean más parecidas que las de otros jóvenes de clases y colegios diferentes (mismo profesor, mismo ambiente en la clase…).

• Ejemplo similar en pacientes tratados por el mismo médico (o en el mismo centro).

Cuando existen diferencias significativas entre los grupos, si no se controla este efecto, estimaciones erróneas

SEIMC 2017

• En esos casos necesario análisis multinivel. Si no, se pueden obtener resultados erróneos (sobre todo en los estimadores de las variables de los niveles superiores): Incumplimiento principio de independencia (en realidad ↑error estandar, ↑IC que los obtenidos). •Ejemplo: Tenemos 5000 individuos agrupados en 100 grupos Si hacemos un multivariante normal (un nivel): Consideramos 5000 individuos independientes entre sí. Pero, supongamos que los 50 pacientes en cada grupo son iguales entre sí. Entonces, sólo tendríamos 100 observaciones independientes, no 5000.


SEIMC 2017

• Existen en los programas especializados (p.ej MLwin) test específicos para comprobar si el efecto de los grupos es significativo o no para tener en cuenta el análisis multinivel (también llamado modelo de efectos aleatorios): VPC+likelihodd ratio test (regresión lineal) y Test de Wald (regresión logística).

• Alternativas al análisis multinivel son meter en el multivariante normal las variables de grupo como categóricas (modelo de efectos fijos, no aconsejable si son muchas categorías) u otros métodos (por ej, TreeNet para efecto centro).

• Nota: estas alternativas sólo sirven para controlar este efecto, pero no para estudiar la variabilidad entre grupos y los efectos de las variables del 2º y 3er nivel en la variable resultado (nivel 1), sólo se podría con análisis multinivel.


¿Porqué análisis multinivel?

SEIMC 2017

Dicotomización en centros de alto y bajo riesgo por TreeNet para controlar efecto centro.


SEIMC 2017

Importancia del multinivel en Enfermedades infecciosas y microbiología clínica

• Muy habitual y necesaria colaboración entre centros, importancia de controlar el efecto centro (son los colegios de nuestro ejemplo).

• Para seguir la evolución de un parametro de un individuo a lo largo del tiempo (valor de la PCR y procalcitonina en diferentes dias de un individuo para predecir la estabilidad clínica del paciente).

• Para evaluar la posible asociación entre variables de un mismo nivel y/o entre distintos niveles (por ejemplo: para analizar factores de riesgo de colonización de los contactos de un paciente infectado: nivel 1 contactos (variables propias del contacto), nivel 2 paciente infectado (Isabel Morales et al. Monitoring the dynamics of transmission of Escherichia coli ST131 in contacts of community and hospitalized infected patients. En redacción)


SEIMC 2017

• Ejemplo: cohorte INCREMENT. Estudio internacional multicéntrico. En la cohorte de bacteriemias por CPE, veamos la mortalidad a 14 días por centros:

Vemos como hay un centro (número 13) que está por encima (incluido sus intervalos de confianza) de la media de los centros (mayor mortalidad que el resto) y otro por abajo (menor mortalidad) que es el centro número 10.

Nº 13

Nº 10

SEIMC 2017

Wald test p=0.10. Aunque no significativa, hay una tendencia bastante clara que la varianza entre centros es distinta de cero (si el tamaño muestral fuera algo mayor podría ser significativa la diferencia entre centros) y por tanto, es recomendable controlar el efecto centro en el modelo.


SEIMC 2017

• Si en nuestro modelo predictivo no hubiéramos considerado el efecto centro, el Score predictor de mortalidad obtenido sería diferente (distintos valores de los beta-coeficientes), implicaría la siguiente probabilidad de mortalidad asociada a cada punto del score

Probabilidad Mortalidad a 14 días Score 0 Score 5 Score 10 Score 14 Score 17

Center highest probability 10.4 % 32.2 % 65.7 % 83.7 % 92.3 %

Center lowest probability 4.5 % 16.2 % 43.9 % 71.1 % 84.7 %

Difference 5.9 % 16.0 % 21.8 % 12.6 % 7.6 %

SEIMC 2017

Modelo Multinivel


Beta coeficiente del origen

Error estándar

Estimador de la varianza entre centros (Nivel 2)

Error estándar

SEIMC 2017

En cambio, si controlamos el efecto centro (programas como Mlwin o TreeNet), el score obtenido será algo diferente, y las diferencias entre los centros se reducen:

Probabilidad Mortalidad a 14 días Score 0 Score 5 Score 11 Score 15 Score 17 Score 19

Center highest probability 7.7% 23.0% 57.9% 79.1% 86.3% 91.3 %

Center lowest probability 3.9% 13.1% 40.6% 64.3% 74.2% 83.5 %

Difference 3.8% 9.9 % 17.3 % 14.8 % 12.1% 7.0 %


SEIMC 2017

Si comparamos este modelo con el obtenido sin controlar el efecto centro, podemos ver la diferencia entre ambas curvas ROC

Specificity

Se

nsitiv

ity

0.0

0.2

0.4

0.6

0.8

1.0

1.0 0.8 0.6 0.4 0.2 0.0

ProbModelMultiSinCENTRO

probModeloConCEntro

Area.under.the.curve p.value

ProbModelMultiSinCENTRO 0.807 0.000198

probModeloConCEntro 0.835


SEIMC 2017

Para terminar….

• A veces un estudio observacional bien diseñado es el que mejor puede responder a nuestra pregunta de investigación


SEIMC 2017

SEIMC 2017

GRACIAS

[email protected]

SEIMC 2017

belén gutiérrez gutiérrez - seimc2017.org€¦ · los estudios observacionales rara vez alcanzan...

Documents