cálculo del umbral (grace score) en el síndrome coronario

Trabajo fin de master (estadistica aplicada)

[ UNIVERSIDAD DE GRANADA]

Cálculo del umbral (GRACE

score) en el síndrome

coronario agudo mediante

curva ROC

Manuel Passas Martínez

19/09/2012

Cálculo del umbral (GRACE score) en el Síndrome Coronario Agudo, mediante curva ROC

2

Agradecimientos

A mis tutores del master D. Pedro A. García López y Dª. Mª. Dolores Huete

Morales por su generosa disponibilidad y apoyo.

En general a todos los facultativos de la Unidad de Cuidados Intensivos y del

Servicio de Cardiología del H.U.V.N por su constancia desinteresada en recoger la

información que conforma el registro ARIAM y en especial a D. Antonio Reina Toral

Jefe de Sección de la U.C.I del H.U.V.N por permitirme acceder al registro y poder

realizar este trabajo.

INDICE

1. Introducción...................................................................................2

2. Sensibilidad y Especificidad.........................................................6

2.1 Intervalos de Confianza...................................................................10

2.1.1. Intervalo de Confianza (aproximación a una Normal) .................... 11

2.1.2. Intervalo de Confianza de Clopper-Pearson .................................... 12

2.1.3 Intervalo de confianza (Wilson) ........................................................ 14

3. Razones de verosimilitud............................................................15

4. Valores predictivos......................................................................16

4.1 Intervalos de Confianza..................................................................18

4.2 Relación entre valores predictivos y razones de verosimilitud. ......20

5. Otros índices relacionados..........................................................23

6. Curvas ROC (receiver-operating characteristic)) ...................26

7. Área bajo la curva ROC (AUC) ................................................28

7.1 Cálculo por el método no paramétrico ............................................30

7.2 Cálculo por el método paramétrico .................................................31

8. Elección del punto de corte óptimo ...........................................35

9. Pruebas diagnósticas y SCA (síndrome coronario agudo)......39

10. Predictores de riesgo (GRACE)...............................................42

11. A.R.I.A.M...................................................................................45

12. G.R.A.C.E. en el S.C.A. de la U.C.I. del H.U.V.N................466

12.1 Cálculo del punto de corte óptimo.................................................50

12.1.1 Método de Zweig @ Campbell........................................................ 50

12.1.2 Método propuesto en este trabajo .................................................... 51

Conclusiones ....................................................................................56


2

1. Introducción

El análisis ROC (Receiver-Operating Characteristic) inició su desarrollo en la 2ª

guerra mundial gracias al problema que se planteaba con las señales recogidas por el

radar que no discriminaban si eran aviones o ruido.

Esto dio inicio al desarrollo de la Teoría de Detección de Señales.

Hacia los años 60 empezó a utilizarse en una amplia variedad de estudios

experimentales de psicología-psicofísica por el supuesto de que la energía emitida por

humanos era reconocible y distinguible de otras señales.

La utilidad potencial del análisis ROC en estudios de decisión médica fue

sugerida por Lusted (1), esta metodología ha sido adaptada a diversas áreas clínicas con

gran dependencia de las pruebas diagnósticas, como puedan ser: Laboratorio,

Epidemiología, Radiología (diagnóstico por imagen), Bioinformática y otras disciplinas

médicas.

En este sentido es de destacar su aplicación, relativamente reciente, al campo de

la histopatología para definir estados de patologías que se mueven dentro de un espectro

continuo con límites solapados.

Dentro del campo de las pruebas diagnósticas, se introduce el término de validez

o grado en el que sus resultados corresponden al fenómeno real que se mide el cual se

representa por medio de un estándar debidamente aceptado (gold standard).

Dicho estándar puede ser el resultado o bien, de un seguimiento clínico o de una

verificación quirúrgica o de una autopsia, en algunos casos se hace necesaria la

intervención de un comité de expertos.


3

Con la selección de este estándar puede haber algunos problemas como el sesgo

de verificación que ocurre cuando se evalúa la exactitud de la prueba solamente en

sujetos enfermos y el sesgo de medición que ocurre cuando o bien no se dispone de

“dicho estándar o bien este no es adecuado.

El análisis ROC es una herramienta para estimar la validez de una prueba

diagnóstica y de forma mas general permite evaluar la precisión de algunos modelos

estadísticos (regresión logística, análisis discriminante) con la característica de que

clasifican a los sujetos en 2 categorías, como por ejemplo, enfermos y no enfermos,

Para aclarar conceptos, utilizaremos el término enfermo como una condición

especifica que la prueba diagnóstica va a detectar, independientemente de que la

persona “no enferma” pueda tener otro tipo de problemas de salud.

Como comentábamos, la principal cualidad clínica de una prueba diagnóstica es

la exactitud o fiabilidad para clasificar de manera correcta a los individuos en subgrupos

clínicamente relevantes.

La exactitud de este tipo de pruebas se puede calcular en términos de

probabilidad de que la prueba clasifique correctamente un <no enfermo> como negativo

es lo que se llama especificidad o TNF (True negative fraction) (razón de verdaderos

negativos) y la probabilidad de que la prueba clasifique a un <enfermo> como positivo

que es lo que se denomina sensibilidad TPF (razón de verdaderos positivo).

Los errores que se comente al realizar la prueba diagnóstica son

complementarios de los anteriores, así tenemos FNF=1- TPF (False negative fraction) y

FPF=1- TNF (razón de falsos positivos) como se puede apreciar en la Figura 1.


4

Figura 1

Un modelo de clasificación (por ejemplo el diagnóstico) es una función que

permite decidir qué conjunto de sucesos están relacionados o no por pertenecer a un

mismo tipo o clase.

En otros clasificadores, como un clasificador de tipo bayesiano o una Red

neuronal artificial, la unidad de medida son valores de probabilidad que representan

hasta qué punto una instancia pertenece a una de las dos clases.

Muchos clasificadores, como los árboles de decisión o los sistemas de reglas,

etiquetan de forma binaria resultados de valores numéricos, de tal modo que el resultado

del clasificador o del diagnóstico es un número real (valor continuo), en cuyo caso el

límite del clasificador entre cada clase debe determinarse por un valor umbral (por

ejemplo para determinar si una persona tiene hipertensión arterial basándonos en un

valor concreto de la presión arterial).

Con este valor (umbral) podremos realizar una tabla de contingencia (también

llamada matriz de confusión) y a medida que desplazamos ese valor umbral, la cantidad

de verdaderos positivos (TP) y falsos positivos (FP) también se desplaza.


5

Llamamos “positivo” y “negativo” al resultado de la prueba diagnóstica al

predecir un estado determinado (por ejemplo la presencia o ausencia de una

determinada enfermedad).

Figura 2

En la Figura 2, tomada de (2), se representan 2 poblaciones de frecuencias

(Healthy, Sick) sobre el eje de abscisas que bien podría ser el resultado de una variable

continua de una prueba diagnóstica.

En la Figura A se observa que la prueba realizada es bastante aceptable ya que se

acerca a la discriminación “perfecta” entre los estados de salud y enfermedad aunque

sigue habiendo cierta proporción de falsos (positivos/negativos).


6

Más real en la vida diaria es la Figura B donde hay un considerable

solapamiento entre ambos estados reduciéndose la capacidad de la prueba.

Se puede apreciar que la sensibilidad puede aumentar a costa de disminuir la

especificidad moviendo el punto de corte hacia la izquierda y viceversa, existiendo una

relación inversa entre la sensibilidad y la especificidad.

Sacrificar especificidad a costa de aumentar la sensibilidad conlleva un aumento

proporcional de los falsos positivos de la prueba y viceversa pasa con los falsos

negativos al disminuir la sensibilidad.

2. Sensibilidad y Especificidad

Clásicamente, la exactitud de una prueba diagnóstica se apoya en la sensibilidad

y en la especificidad, obteniéndose estas mediante la creación de una tabla de

contingencia 2x2 similar a la siguiente tabla.

Tabla 1

: Personas enfermas y prueba positiva.

(enfermo) (sano)

(prueba

positiva)

(prueba

negativa)


7

: Personas no enfermas con prueba positiva.

: Personas enfermas con prueba diagnostica negativa.

: Personas no enfermas y prueba negativa

: Prevalencia de la enfermedad=

: Prevalencia de “no enfermedad”=

: Probabilidad de que una prueba resulte positiva =

: Probabilidad de que la prueba sea negativa.=

Es de gran ayuda la representación gráfica de los distintos valores de

sensibilidad y especificidad que se obtienen al ir variando el punto de corte (umbral) de

la prueba diagnóstica.


8

Los puntos de coordenadas (1-Sp; Se) conforman lo que se llama una curva

ROC, en donde el eje de abscisas es la fracción de falsos positivos (1-Sp) y de eje de

ordenadas la fracción de verdaderos positivos (sensibilidad).

En el Gráfico 1, los puntos adyacentes se van uniendo mediante líneas

horizontales y verticales. Al cambiar el nivel de decisión, la inclusión de un resultado

verdadero positivo produce una línea vertical y cuando es un falso positivo se produce

una línea horizontal.

El gráfico va tomando apariencia de escalera que puede alisarse o bien

aumentando el tamaño muestral o bien asumiendo que se ajusta de manera adecuada a

una determinada distribución paramétrica.

Gráfico 1

La distribución paramétrica más utilizada es la distribución binormal donde

tanto la población de <enfermos> como de <no enfermos> se distribuyen según una

distribución Normal.


9

Figura 3

Lo que caracteriza a la sensibilidad es su capacidad para detectar el proceso, por

ello es preferible una prueba con alta sensibilidad cuando la enfermedad es grave y

tratable como puedan ser las pruebas que se aplican para la detección precoz de

enfermedades (cribados o screening) en donde los falsos negativos pueden llegar a ser

graves.

El objetivo de la especificidad es poder confirmar que no se tiene una

enfermedad y se desea que sea alta cuando dicha enfermedad es seria pero difícilmente

tratable y los falsos positivos puedan ser traumatizantes para los sujetos examinados.

Tanto la sensibilidad como la especificidad no deberían variar al realizar

diferentes ensayos en condiciones similares pero esto no es así porque hay una serie de

variables, descartando el error aleatorio, que producen cierta heterogeneidad, nos

referimos fundamentalmente a las características de los enfermos y no enfermos.

La sensibilidad se relaciona de manera directa con el estadio de la enfermedad,

en el sentido de que cuanto más avanzado es, mayor será la sensibilidad para detectarla.


10

La especificidad se mide en el grupo de no enfermos y en ella influye su

procedencia, es decir, si se incluyen individuos sanos, donde es más probable que la

prueba dé un resultado negativo, la especificidad será mayor que si en el grupo hay

pacientes enfermos.

En los libros de clínica es frecuente encontrar cuadros en los que se presenta el

porcentaje de pacientes con una enfermedad que tienen diferentes síntomas (por

ejemplo: en la enfermedad de Addison, el 99% de los pacientes tiene debilidad, el 98%

pigmentación de la piel, el 87% hipotensión y el 82% pigmentación de mucosas).

Obsérvese que estas son cifras de sensibilidad, nunca se presentan cuadros

similares con la especificidad es decir de los pacientes que no tienen la enfermedad de

Addison, cuantos no tienen debilidad, ni pigmentación de la piel, hipotensión o

pigmentación de mucosas).

Esto hace que la utilidad práctica real de tales cuadros sea muy limitada.

2.1 Intervalos de Confianza

Debido a que los experimentos están limitados por la realidad heterogénea y

habitual, estos son difícilmente reproducibles y cada punto en la curva ROC

esta sujeto a error estadístico.

Las desviaciones estándar de las variaciones que pueden esperarse en un punto

de la curva (si el experimento es repetido con diferentes sujetos pero con el mismo

número de casos) pueden realizarse mediante una estimación de su variabilidad por

expresiones ligadas al cálculo de la desviación estándar en proporciones.


11

La Tabla 2 nos va a servir de referencia para los siguientes cálculos

2.1.1. Intervalo de Confianza (aproximación a una Normal)

La formula más simple y mas comúnmente utilizada para determinar los

intervalos de confianza de una distribución binomial a través de una Normal,

aproximación justificada por el teorema central del límite es:

Siendo la sensibilidad. Esta ecuación se puede aplicar siempre que

y en cualquier caso funciona bien siempre que

De igual forma este I.C mejora de forma importante con corrección por

continuidad (c.p.c) convirtiéndose en

Tabla 2


12

Funcionando bien para es decir la c.p.c amplia el intervalo

de confianza de la sensibilidad.

Es decir::

2.1.2. Intervalo de Confianza de Clopper-Pearson

Se trata de un método exacto y se construye asi:

Sea r la sensibilidad y sus intervalos de confianza.

Se trata de calcular 2 valores de forma exacta tales que:

Donde B es una distribución binomial de parámetros

Los 2 extremos no tienen por qué ser iguales ( y valer ,

lo que se debe de cumplir es que , no obstante supongamos que

lo sean.


13

La solución de las ecuaciones anteriores se puede resolver de forma

iterativa (computacional) aunque hay una solución “elegante”, que no

requiere el uso de ordenador y que se basa en la propiedad que relaciona la

distribución Binomial con la distribución F de Snedecor:

Si

La demostración se basa en que una se puede representar

mediante una distribución Beta incompleta ( Johnson & Koks “Discrete univariate

distributions” 1.985)

Para el cálculo de

Para el cálculo de tenemos que:


14

Debido a la propiedad de la F de Snedecor por la que

Por otra parte y como

Este intervalo es exacto y funciona independientemente del tamaño muestral, a

diferencia de los métodos aproximados, lo cual es bueno para la experimentación clínica

con muestras pequeñas.

El cálculo del intervalo de confianza para la especificidad se haría de forma

similar.

2.1.3 Intervalo de confianza (Wilson)

También se basa en la relación de la distribución binomial con la distribución

normal supongamos que

Con la siguiente regla de aproximación:

Se trata de una regla empírica comprobada por Cochram sin demostración.

Entonces


15

La solución de la ecuación cuadrática en r, sería:

Es conveniente realizar la corrección por continuidad (c.p.c): ya

que se mejora de forma importante la estimación.

3. Razones de verosimilitud

En el contexto bayesiano la sensibilidad y la especificidad son probabilidades

condicionales, llamadas verosimilitudes, que miden la probabilidad de obtener con la

prueba un diagnostico positivo cuando se aplica, respectivamente a sujetos con y sin la

enfermedad.

Es importante destacar a nivel operativo la razón de verosimilitud (“likelihood

ratio”) que se define como:


16

Hay que destacar la importancia de ya que va a representar la

pendiente en cada punto de la curva ROC y que salvo algunas singularidades en donde

la prueba diagnóstica discrimina peor que un sistema aleatorio, es una pendiente no

decreciente (curva convexa) (3).

Estas singularidades están motivadas por la falta de continuidad de la escala

(GRACEs) en situaciones reales, corrigiéndose conforme aumenta el tamaño muestral.

Realmente el interés que tiene una prueba diagnóstica, es poder predecir el

estado del sujeto (enfermo, no enfermo) a partir de los resultados de la prueba

diagnóstica, esto nos lleva a la noción de los valores predictivos.

4. Valores predictivos

Para mayor comodidad conviene utilizar la Tabla 1.

Se define el valor predictivo positivo (PPV : Predictive positive value) como la

probabilidad que tiene una prueba de detectar enfermos cuando, dicha prueba, obtiene

un resultado positivo, es decir, la proporción de resultados verdaderos entre los

resultados positivos de la prueba ver Tabla 1.


17

Nótese que por la propia formación o elección de los diferentes puntos de corte,

el primero de ellos incluye a todos los verdaderos positivos y al primer verdadero

negativo, mientras que el último punto de corte incluye a todos los verdaderos negativos

y al último verdadero positivo, esto implica que tanto la sensibilidad como la

especificidad en cualquier punto de corte sean distintas de 0.

Se aprecia que cuando la especificidad tiende 1, PPV tiende también hacia 1.

Cuando la sensibilidad tiende a 1 y la especificidad tiende a 0, cosa que suele

ocurrir en el primer punto de corte (coordenada (1; 1), PPV es similar al valor de la

prevalencia (p), siendo su recorrido desde [p hasta 1].

El valor predictivo negativo (PNV: Predictive negative value) se define como la

probabilidad que tiene una prueba de detectar sujetos <no enfermos> cuando hay un

resultado negativo, sería la proporción de resultados válidos entre los negativos:

Cuando la sensibilidad tiende a 1 el valor predictivo negativo también lo hace.

El valor superior del punto de corte suele tener una Sp ≈ 1 y Se ≈ 0 (vecino al

punto (0;0)) con lo que PNV ≈ (1-p) , y su recorrido es desde (1-p) hasta 1, esto implica

que en situaciones de escasa prevalencia como por ejemplo una prevalencia próxima al


18

5% (situación no infrecuente) , el PNV siempre se situará en una horquilla entre 95% y

100%, mientras que el PPV oscilará entre un 5% y 100%, independientemente de la

exactitud de la prueba.

Elegir un punto de corte que maximice los valores predictivos deja de tener

sentido porque, y siguiendo en el caso de una prevalencia del 5%, un punto de corte

con Sp=1 nos dará un PPV de 100% y como el PNV no puede ser inferior al 95%, se

obtendrían unos excelentes valores predictivos, independientemente de que la

sensibilidad fuese prácticamente nula (es decir, sin importarnos que prácticamente la

totalidad de los enfermos se consideren como falsos negativos) nos situaríamos en el

punto de coordenadas (0 ; 0)( “Always Neg”) ver Figura 4

4.1 Intervalos de Confianza

Tomemos 2 muestras independientes de individuos enfermos y individuos

sanos (tamaño fijo) y estimamos y y que de otra muestra de tamaño

independiente de las otras 2, obtenemos una estimación de la prevalencia

Donde

Se trata de una distribución con la cola a la derecha bastante larga y que para

suavizar y que ajuste mejor con una Normal se toman logaritmos.


19

Aplicando el teorema básico y teniendo en cuenta que los 3 términos de la

ecuación son independientes con lo que tenemos que:

Como es un estimador insesgado de la especificidad, por el teorema delta:

En la ecuación anterior se pone n vez de ya que y la

función cuadrado de la derivada se valora en la media del parámetro .

ya que

De igual forma y sustituyendo tenemos:


20

De igual manera:

4.2 Relación entre valores predictivos y razones de

verosimilitud.

Antes de ver las relaciones, se define lo siguiente:

Los valores predictivos y las razones de verosimilitud se relacionan ente si de la

siguiente manera:


21

Como

De igual forma


22

De lo anterior se deduce una relación complementaria entre estos 2 valores

predictivos ya que , también se puede apreciar la relación

de estos con la OR antes mencionada.

Se sabe que:

Este test es muy importante por la descomposición de estas Odds entre el aporte

poblacional y el aporte específico de la prueba para diagnosticar la enfermedad.

La razón de verosimilitud positiva relaciona la Odds preprueba de diagnosticar

la enfermedad con la Odds postprueba de un resultado positivo.

La razón de verosimilitud negativa valora la contribución que realiza un

resultado negativo en la no confirmación de la enfermedad (cuanto menor sea mejor) se

trata de la conexión entre la odds preprueba de enfermedad y el inverso de la odds

postprueba del resultado negativo, lo cual es un poco complicado de entender además al

moverse en una escala inversa la de los hace difícilmente comparables.

Hay autores (4) que prefieren solventar las desventajas anteriores introduciendo

un término inverso del anterior


23

Ahora la relación entre la odds preprueba de no enfermedad y la Odds

postprueba del resultado negativo es mas fácil de entender ya que valora la contribución

de la prueba en la confirmación de que no se tiene la enfermedad, moviéndose en la

misma escala que o que permite su comparación directa.

La OR aplicada a la sería:

5. Otros índices relacionados

Un índice que se define como la suma de la sensibilidad y especificidad es el

índice de Youden , este índice que varia entre -1 y +1 y no es

recomendable presentarlo en lugar de la sensibilidad y especificidad porque al dar la

misma valoración, enmascara la posible presencia de valores asimétricos tanto de la

sensibilidad como de la especificidad.

Otro índice ya comentado y de interés es la razón de Odds

Cuanto mayor sea de la unidad mejor será la prueba diagnóstica ya que mayor

será la relación de aciertos frente a fallos.

Esta Odds ratio está relacionada con las razones de verosimilitud y Odds de

valores predictivos como se verá mas adelante.


24

Hay situaciones en las que se desea calcular la aportación concreta de la prueba

diagnóstica independientemente de la prevalencia de la enfermedad, se trata de

encontrar un test que optimice las ganancias de forma que un test es bueno cuando a una

prevalencia determinada se obtiene una ganancia mayor que otro test, es por ello que se

habla de:

Otro índice que se utiliza es el valor predictivo global (accuracy) o probabilidad

de acierto, es la proporción de resultados verdaderos entre la totalidad de pruebas

efectuadas:

Esta expresión es interesante por sus características gráficas ya que “a” se puede

plantear como una función lineal de la prevalencia en donde la altura en el

origen vale y la pendiente es .


25

En el eje de abscisas se encuentra la prevalencia y dependiendo de esta variará la

relación entre la sensibilidad y la especificidad. “a” será mayor cuando

, siendo el área que cubre la línea (trapecio), la probabilidad de acierto.

Esta representación gráfica se utiliza bastante para comparar 2 métodos

diagnósticos,

En el punto cuya prevalencia vale los 2 métodos tienen la misma

probabilidad de acertar, siendo mejor para valores inferiores y viceversa.

En dicho punto ocurre que:

Entonces si la enfermedad tiene una prevalencia mayor que se elige y en

caso contrario .


26

6. Curvas ROC (receiver-operating characteristic))

El espacio ROC es un sistema de coordenadas utilizado para visualizar el

rendimiento del clasificador definido por FPR y TPR como ejes x e y respectivamente,

y representa el espacio de los resultados positivos de la prueba (aciertos y fallos).

El mejor método posible de predicción se acercaría a la esquina superior

izquierda, o coordenada (0,1) del espacio ROC, representando un 100% de sensibilidad

(ningún falso negativo) y un 100% también de especificidad (ningún falso positivo). A

este punto (0,1) también se le llama una clasificación perfecta.

El punto (0,0) representa la estrategia de “nunca alarma” (“always neg”) es

decir no se equivoca cuando no haya alarma (ningún falso positivo) pero si cuando

ocurre (Se=0).

El punto (1,1) se llama por el contrario “siempre alarma” “Always pos” con lo

que no nos equivocamos cuando hay algún tipo de alarma (Se=1) pero si cuando no hay

alarma (falsos positivos).

La línea TPR=FPR línea diagonal, representa una clasificación totalmente

aleatoria, se llama también línea de no-discriminación, desde el extremo inferior

izquierdo hasta la esquina superior derecha (independientemente de los tipos de base

positivas y negativas), sería como lanzar una moneda al aire.

Esta línea diagonal divide el espacio ROC en 2 mitades, los puntos por encima

de la diagonal representan los buenos resultados de clasificación (mejor que el azar),

puntos por debajo de la línea, resultados pobres (peor que al azar). Nótese que la salida

de un predictor consistentemente pobre simplemente podría ser invertida para obtener

un buen predictor. (ver Figura 4extraída de “ICML`04 tutorial on ROC analysis (Flach,

P; 2004)


27

Figura 4

A la línea que va desde (1;0) a (0;1) de ecuación , se le llama

línea de discriminación, porque cualquier punto de la curva ROC (convexa) que se

cruce con ella, será óptimo.

En definitiva la curva ROC presenta varias utilidades:

• Ofrecer una representación gráfica de las relaciones que

mantienen entre si, la sensibilidad y la especificidad.

• Facilitar la elección de puntos de corte en los criterios

diagnósticos de una prueba.

• Conocer la capacidad diagnóstica global de una prueba

diagnóstica a lo largo de todo su espectro de valores.

• Comparar pruebas diagnósticas de manera gráfica y estadística

para decidir cual es la mejor.


28

La curva ROC genera estadísticos que resumen la efectividad del clasificador

siendo el más importante el área bajo la curva ROC, llamada comúnmente AUC (Área

Under Curve) también se le conoce como estadístico 'c' (c-statistic).

7. Área bajo la curva ROC (AUC)

Se trata de una medida global de exactitud de una prueba diagnóstica. Como

hemos dicho anteriormente se define como la probabilidad de clasificar correctamente

un par de individuos sano (0) y enfermo (1), seleccionados al azar de la población,

mediante los resultados obtenidos al aplicarles una prueba diagnóstica.

Este índice se puede interpretar como la probabilidad de que un clasificador

ordenará o puntuará una instancia positiva elegida aleatoriamente más alta que una

negativa.

Para poder diferenciarse del resultado de lanzar una moneda al aire, debe

ser diferente de 0,5 y cuando mas se acerque a 1 mayor poder discriminatorio tendrá.

Valores entre 0,5 y 0,7 indican baja exactitud, entre 0,7 y 0,9 se consideran útiles y un

valor mayor de 0,9 indica exactitud alta (5).

Se ha demostrado su relación con el coeficiente de Gini, que toma valores en el

rango [-1; 1] con la siguiente fórmula:

Hay una forma básica de calcular AUC y es sumando una serie de

aproximaciones trapezoidales procedentes del producto de los intervalos del eje de


29

abscisas y los valores del eje de ordenadas añadiendo la media del producto de los

intervalos de los 2 ejes.

En ocasiones puede ser más útil mirar a una región específica de la curva ROC

más que a toda la curva, siendo posible calcular áreas parciales bajo la curva, o AUC

parciales. Por ejemplo, nos podríamos concentrar en la región de la curva con razones

de falsos positivos más bajas, que es a menudo el interés principal de las pruebas

de detección precoz ( screening) en la población.

Para la elección entre dos pruebas diagnósticas distintas, se recurre al AUC, ya

que es una medida global e independiente del punto de corte. Por esto, en el ámbito

sanitario, las curvas ROC también se denominan curvas de rendimiento diagnóstico.

Esta AUC posee un valor comprendido entre 0,5 y 1, donde 1 representa un

valor diagnóstico perfecto y 0,5 es una prueba sin capacidad discriminatoria

diagnóstica.

Si el AUC para una prueba diagnóstica es 0,8 significa que existe un 80% de

probabilidad de que el diagnóstico realizado a un enfermo sea más correcto que el de

una persona “no enferma” escogida al azar.

Verdadera (AUC) ROC=

Aparte de poder calcular el con métodos no paramétricos obviando la

naturaleza de la distribución (simetría vs asimetría) es posible ajustar la curva ROC a

una determinada distribución (Gaussiana / exponencial negativa / gamma) y calcular el

área atendiendo a sus parámetros, presentando ventajas derivadas de las distribuciones

implicadas.


30

7.1 Cálculo por el método no paramétrico

Utilizando el método trapezoidal:

donde

Siendo los resultados del test diagnóstico para individuos con y sin la

enfermedad de interés respectivamente.

La varianza se puede calcular utilizando el estadístico de Mann-Whitney (6):

La cantidad es una estimación del área verdadera si se hubiese construido

con una muestra infinita y escala continua. En las situaciones habituales tiende a

subestimar algo a AUC.

depende de 2 cantidades especificas que pertenecen al ámbito de la

función de distribución : que se puede interpretar como la probabilidad de que al

elegir 2 enfermos al azar tengan, con gran sospecha, mayor puntuación en la prueba

diagnóstica que un individuo sano también elegido al azar y que sería la


31

probabilidad de que al elegir al azar a un individuo enfermo tenga, con gran sospecha

mayor puntuación que 2 individuos sanos elegidos también al azar(6).

donde es el número de verdaderos negativos en el punto de corte y.

es el número de verdaderos positivos con valor superior a y.

7.2 Cálculo por el método paramétrico

Si queremos suavizar la curva ROC con las propiedades que esto implica

debemos suponer que tanto el eje de ordenadas (sensibilidad) como el de abscisas

(fracción de falsos positivos) siguen una función de distribución Normal (modelo

paramétrico binormal).

A menos que exista evidencia de que se cumplen las condiciones de este

modelo, las áreas obtenidas estarán sesgadas (7), no obstante se ha comprobado de

forma empírica que esta distribución binormal produce ajustes satisfactorios en una

amplia variedad de situaciones (8)

Es posible especificar esta curva ROC por medio de 2 parámetros, usualmente

tomado uno como ordenada en le origen (a) y el otro como la pendiente (b) de la línea

recta dibujada sobre los ejes normalizados.


32

Si una curva ROC se encuentra de forma empírica dibujada en una linea recta

sobre los ejes normalizados, las coordenadas horizontales y verticales de cada punto en

dicha línea se relacionan por

donde es la función de distribución estándar-normal. Las coordenadas ROC

se relacionan de la siguiente forma:

Ahora consideremos la curva ROC que se produce por los resultados de una

variable x que procede de un par de distribuciones normales, con medias y desviaciones

estándar diferentes tanto para los resultados positivos como para los negativos.

Anotemos para los positivos y para los negativos, entonces

y

Sin perder generalidad, asumamos que y c representa el punto de corte

de tal forma que el caso es considerado positivo si x>c y negativo en otro caso.

Entonces


33

y despejando

haciendo

Esta última es la ecuación de la curva ROC y como se puede ver no depende del

punto de corte.

El área bajo esta curva en el eje será:

Haciendo


34

Donde es la función de distribución normal.

Por otro lado los estimadores de a, b y AUC ( ) se calculan utilizando

, según (9) , las respectivas varianzas de son:

Donde son el número de “no enfermos” y de “enfermos”

respectivamente.

La varianza de se deduce mediante el método delta.


35

8. Elección del punto de corte óptimo

La elección del punto de corte óptimo va a depender de los objetivos específicos

que se quieran obtener.

Si el objetivo es encontrar dicho punto que tenga una exactitud (a) determinada

elegiremos de todas aquellas líneas paralelas con idéntica exactitud aquella

perteneciente a la curva ROC más próxima a la línea de discriminación.

Estas líneas tienen la siguiente ecuación:

Se cumple que en la línea de discriminación y que las líneas mas altas

son mejores ver Figura 5


36

Figura 5

Metz (10) expone una fórmula para determinar el punto de corte óptimo en la

curva ROC, en este caso “óptimo” se refiere a minimizar “costes”.

El término “coste” puede referirse bien a costes económicos o bien a situaciones

de morbilidad y/o de mortalidad.

Sean , los costes correspondientes a los falsos positivos, negativos y

, los beneficios de los verdaderos positivos y negativos y sea C el coste global

resultante.

El error cometido cunado se elige un punto de corte determinado es:

Entonces


37

Incorporando los costes a este error, tenemos:

Incorporando los beneficios de los aciertos,

La pendiente m de la curva ROC en el punto de corte elegido es:

Una vez determinada la pendiente m el punto de corte óptimo (11) será aquel

cuya sensibilidad y especificidad maximice la función:

En el caso hipotético de que m=1 esta función sería equivalente al índice de

Youden

Por otra parte sabíamos que el punto de corte óptimo de una curva ROC debe

estar lo mas cercano posible a la línea de discriminación o también al punto de

coordenadas (0; 1) con lo que se maximizaría la sensibilidad y minimizaría el número

de falsos positivos.


38

Podemos decir que entre todas las líneas que une cada uno de los puntos de la

curva ROC con el punto de coordenada (0;1), la óptima sería la que tuviese la distancia

euclidea mas corta, ver Figura 6

Dicha distancia sería:

El índice de Youden al maximizar también minimiza de igual

forma a los falsos tanto positivos como negativos, pero no siempre ocurre así,

imaginemos 2 casos hipotéticos en donde

el índice de Youden en ambos casos

coincide Y=0.51 sin embargo con lo que el segundo

punto se encuentra más cerca del punto (0; 1) y por lo tanto es más óptimo que el

primero.

FPF

dp

VPF

(1- Se)

(1-Sp)

Figura 6


39

Esta distancia minimiza tanto la fracción de falsos positivos como la de falsos

negativos y si se ponderan por los costes de los errores tenemos:

Lo que es igual que minimizar:

De esta forma se puede encontrar el punto de corte óptimo teniendo en cuenta el

coste de los errores.

9. Pruebas diagnósticas y SCA (síndrome coronario agudo)

Durante las últimas décadas, el número de pruebas médicas se ha incrementado

de manera rápida, no utilizándose solo para facilitar el diagnóstico, sino también para la

toma de decisiones respecto al tratamiento, a la detección de posibles trastornos

subclínicos y de forma general para la determinación de la salud futura del paciente.

El proceso riguroso de evaluación de las pruebas diagnosticas antes de su

introducción no solo reduce el número de consecuencias clínicas no deseadas,

secundarias a las estimaciones erróneas de la precisión diagnostica de la prueba, sino

que también limita los costes sanitarios, al evitar la realización de pruebas clínicas

innecesarias.

En cardiología, las pruebas diagnosticas juegan un papel fundamental en la

práctica clínica diaria, son cada vez mas habituales no solo la utilización de marcadores


40

séricos en la isquemia miocárdica, las imágenes de ecocardiografías, sino el desarrollo

de modelos predictivos que estiman el resultado (eventos cardiacos adversos o muerte)

en base a la combinación (scores) de una serie de factores de riesgo (GRACE, TIMI,

PORSUIT,….).

El síndrome coronario agudo (SCA) representa la causa más común de muerte

en los países de occidente llamados del primer Mundo(12). Existe gran variabilidad en

el riesgo de eventos adversos dependiendo de los tipos que conforman el espectro del

SCA.

Diferentes sucesos acontecidos a lo largo de la historia, en gran parte

relacionadas con varios niveles de riesgo (diabetes, hipercolesterolemia, tabaquismo,

Hipertensión arterial…), han sido determinantes a la hora de decidir el nivel de cuidados

y la elección de la intervención o tratamiento médico.

Las guías de práctica clínica del American College of Cardiology/ American

Heart Association y la Sociedad Europea de Cardiología recomiendan que los

tratamientos farmacológicos y estrategias de intervención sean específicos en función

del riesgo de resultados adversos y no se utilicen de manera mas o menos indicriminada

(13).

La estimación precisa de este riesgo después de que los pacientes han sido

hospitalizados por SCA puede ayudar a los médicos a orientar el tipo y la intensidad de

la terapia.

Los modelos de predicción clínica pueden ser útiles para tomar decisiones

médicas en el sentido de que los pacientes considerados de alto riesgo pueden someterse

a una vigilancia más agresiva y tratamiento, mientras que los pacientes con menor

riesgo estimado pueden ser tratados de forma menos agresiva.


41

Mediante el uso de cálculo de riesgo, los médicos pueden orientar a los

pacientes acerca de la probabilidad de un evento, y esto se traduce en posibilitar

decisiones consensuadas de tratamiento.

El síndrome coronario agudo, comprende un espectro continuo de situaciones

con un rango que va desde la angina inestable hasta el infarto agudo de miocardio con y

sin elevación del segmento ST.

Existen varios modelos de predicción de riesgo para los diferentes tipos de

SCA. La mayoría de los modelos se han desarrollado a partir de numerosos ensayos

clínicos aleatorizados (14).

Sería interesante encontrar una herramienta útil y sencilla capaz de predecir el

riesgo y fuese aplicable a todos los tipos de SCA, además de ser extrapolable a

pacientes con características similares a los de la práctica clínica habitual.

Se estima que alrededor del 50% de los eventos cardiovasculares se presentan en

individuos que no presentan factores de riesgo conocidos como tabaco, HTA,

dislipemia… (15).

En España, en 2006 la enfermedad isquémica del corazón ocasionaba el mayor

número de muertes cardiovasculares (29,98% en total, un 37,28% en varones y un

23,79% en mujeres).

Dentro de la enfermedad isquémica del corazón, la rúbrica infarto agudo de

miocardio fue la más frecuente con un 48,01% (59,10% en los varones y 59,39% en las

mujeres). (INE, 2007).


42

10. Predictores de riesgo (GRACE)

La valoración GRACE (GRACE score) fue desarrollada a partir de un registro

multinacional (Global Registry of Acute Coronary Syndrome) de 11,389 pacientes con

SCA (16) durante 2 años en 94 hospitales localizados en 18 zonas geográficas y 14

países (Argentina, Australia, Austria, Belgica, Brasil, Canadá, Francia, Alemania, Italia,

Nueva Zelanda, Polonia, España, Reino Unido, y Estados Unidos).

A la hora de realizar el estudio se definieron una serie de criterios de inclusión

entre los que se encontraban, ser mayor de 18 años de edad, estar vivo al salir del

hospital además de tener síntomas compatibles con isquemia miocárdica aguda y al

menos uno de los signos/síntomas siguientes:

• Cambios electrocardiográficos compatibles con SCA.

• Elevación de la concentración en suero de biomarcadores cardiacos

• Historia previa de enfermedad coronaria.

Junto a esto y como criterios de no inclusión están:

• No comorbilidad con enfermedades extra-cardiovasculares y

precipitantes del SCA como la anemia aguda o hipertiroidismo.

Durante 6 meses y tras salir del Hospital se les realizó un seguimiento para

comprobar su estado vital.

El estudio observacional se realizó tanto de forma retrospectiva como

prospectiva, mediante un análisis de supervivencia (modelo de regresión de riesgos

proporcionales de Cox), en donde se identificaron los factores de riesgo (variables

explicativas) que se relacionan con la tasa de incidencia (mortalidad) que ocurre en el

periodo entre la estancia hospitalaria y los 6 meses posteriores.


43

Una vez localizadas las variables supuestamente implicadas se calculó su Odds

ratio y el valor obtenido sirvió de ponderación para su transformación en un valor.

(GRACE score).

Los factores de riesgo que resultaron implicados, ver

Tabla 3, incluyen variables hemodinámicas, de laboratorio, ECG, presencia

especifica de: Killip class (ver definición posteriormente), presión sistólica al inicio

(SBP), frecuencia cardiaca al inicio (HR), edad, nivel de creatinina, parada cardiaca de

entrada, desviación del segmento ST en el ECG y niveles elevados de enzimas cardiacas

en suero.

Cada variable tiene su propia puntuación teniendo un rango de 1 a 372.

GRACE (0-372) 2003

≤ 30 0 ≤ 80 58

30-39 8 80-99 53

40-49 25 100-119 43

50-59 41 120-139 34

60-69 58 140-159 24

70-79 75 160-199 10

80-89 91

Presión sistolica (mmHg)

≥200 0

Edad (años)

≥ 90 100 0,00-0,39 1

≤ 50 0 0,40-0,79 4

50-69 3 0,80-1,19 7

Frecuencia cardiaca (lpm) 70-89 9 1,20-1,59 10

90-109 15 1,60-1,99 13

110-149 24 2,00-3,99 21

150-199 38

Creatinina (mg/dL)

≥4,0 28

≥ 200 46 Class I 0

Para cardiaco en admisión 39 Class II 20

Desviación del segmento S-T 28 Class III 39

Marcadores cardiacos elevados 14

Killip class

Class IV 59

Tabla 3


44

El poder discriminativo del modelo fue calculado por medio del área bajo la

curca ROC (c-statistic) que en los datos originales fue de 0.83, siendo esta puntuación

validada posteriormente por una cohorte de 3,792 pacientes incluidos en el GRACE y

otra de 12,142 pacientes adscritos al ensayo clínico GUSTO-IIb (Global Utilization of

Streptokinase and Tissue Plasminogen Activator for Occluded Coronary Arteries).

Dicha validación mostró resultados similares, c-statistic de 0,84 y 0,79

respectivamente (17). También ha sido validada en otras bases de datos (16) y se ha

contrastado con otros sistemas de puntuación en varios ensayos clínicos (18) (19).

Los factores de riesgo implicados en la puntuación GRACE resumían un 89,9%

de la información pronostica:

• Edad: Odds Ratio[OR]= 1.7 por cada 10 años cumplidos,

• Killip class: OR: 2.0 por clase

• Presión sistólica: OR= 1.4 por cada 20 mm.hg de descenso

• Desviación del segmento ST en el ECG: OR= 2.4,

• Parada cardiaco a la entrada al hospital: OR=4.3

• Niveles séricos de creatinina: OR= 1.2 por cada ∆ de 1 mgr/dL

• Detección de enzimas cardiacas al inicio: OR= 1.6

• Frecuencia cardiaca: OR= 1.3 por cada incremento de 30 l.p.m(20).

Algunas definiciones clínicas:

1. El llamado “Killip Class” valora el grado de insuficiencia cardiaca del

individuo y tiene 4 niveles:

• Clase I: Ausencia de signos de insuficiencia cardiaca.


45

• Clase II: Estertores pulmonares o distensión venosa yugular

• Clase III: Presencia de edema pulmonar

• Clase IV: Shock cardiogénico.

2. La detección de enzimas cardiacas se refiere a una serie de enzimas que

se vierten a la sangre cuando hay daño cardiaco (isquemia, infarto) hay

varias entre las que destacan la troponina, CPK-MB entre otras.

3. La desviación del segmento ST se refiere a la elevación o descenso del

segmento ST del electrocardiograma al menos de 1 mm en derivaciones

anteriores, inferiores o laterales, ondas Q superiores a un tercio de la

onda R o una amplitud superior a 0,04 seg., o a un bloqueo de rama

izquierda.

11. A.R.I.A.M.

El registro Análisis del Retraso en el Infarto Agudo de Miocardio (ARIAM), se

inicia en 1994 con los siguientes objetivos:

• Cuantificar el retraso en la administración del tratamiento fibrinolítico y

en qué fase del proceso de atención al SCA se producía.

• Comparar los datos obtenidos entre los distintos hospitales participantes.

• Implementar, a la vista de los datos obtenidos, medidas de mejora y el

diseño de actuaciones específicas para mejorar la asistencia.

• Diseñar un sistema común de evaluación del nivel de la calidad

asistencial que se presta al SCA.


46

En estos años, se han incorporado al proyecto, de forma voluntaria, más de 90

hospitales de la Red Pública Nacional.

ARIAM ha generado una Base de Datos con más de 100.000 casos de SCA, y

adaptándose a los cambios de terminología, nuevas tecnologías aplicadas al

tratamiento, y nuevos marcadores de necrosis miocárdica y de insuficiencia cardiaca

que han redefinido el concepto de infarto de miocardio, y revolucionado el diagnóstico

y seguimiento de la cardiopatía isquémica.

El software de recogida de datos y explotación automatizada de la información

obtenida ha evolucionado con él, pudiendo actualmente, disponer de un sistema

informático cooperativo, que permite no solo recoger los datos pertinentes del proceso

asistencial al SCA de forma actualizada, sino también facilitar al clínico implicado en la

asistencia directa, herramientas de control de calidad del proceso, gestión clínica

avanzada y estadística en el ámbito local y gestión clínica avanzada cooperativa. En la

actualidad, el registro de casos se realiza con un corte anual, durante 3 meses, si bien

hay muchos facultativos que realizan un registro continuo, de forma voluntaria.

Es preciso destacar la coherencia interna de los datos y la alta concordancia entre

los resultados de 2010 y 2011, que apoya fuertemente la calidad de los datos y avala la

utilización de la base de datos ARIAM-SEMICYUC para futuros estudios

epidemiológicos (21).

12. G.R.A.C.E. en el S.C.A. de la U.C.I. del H.U.V.N.

En la base de datos ARIAM hay, desde el año 1.994 hasta marzo de 2012, un

total de 6.625 registros procedentes de la Unidad de Cuidados Intensivos (UCI) del

Hospital Universitario Virgen de las Nieves (HUVN) con SCA.


47

En 1.103 de ellos se ha registrado la puntuación GRACE (empezó a realizarse

en el año 2008).

Tras realizar una depuración de datos se eliminaron 2 personas por repetición de

la inscripción (coincidencia en la fechas de ingreso del mismo paciente), hubo más de

un reingreso en 39 pacientes, 26 de los cuales lo hicieron antes de los 6 meses donde

hubo un solo éxitus, pasando de un promedio en el GRACEs desde 134.42 a 144, en

86 días de media en el reingreso.

Con los datos obtenidos, se establece el perfil del SCA:

• Hombre (73.2%)

• Edad: hombre= 62.7 y mujer=67.6 años.

• Tabaquismo (32.5%), Ex tabaquismo (18.8%)

• Antecedentes de obesidad (19.5%)

• Antecedentes de dislipemia (41.7%).

• Antecedentes de hipertensión arterial (HTA) (60.7%)

• Antecedentes de diabetes tipo I (13.5%) tipo II (22.1%)

• Elevación del segmento ST en el ECG (48.4%)

• Infarto agudo de miocardio (IAM) (76.2%)

• Angina inestable (16.1%).

• Estancia media en la UCI de 2.87 días.

• Killip: Clase I=84.2% Clase II y III: 5.1% Clase IV: 5.6%

• Rango del GRACEs en “no exitus” GRACE0 [25-269]


48

• Rango del GRACEs en “ exitus” GRACE1 [79-290] .

En la ¡Error! No se encuentra el origen de la referencia.4 aparece, junto con

las medias y desviaciones típicas de las 2 distribuciones, el resultado de algunos

cálculos correspondientes a la estimación paramétrica (binormal) y no paramétrica, con

las formulas expresadas anteriormente, del área bajo la curva ROC.

n1 n0 µ1 µ0 â b AUC

media 57 1044 195,58 138,72 1,47 0,96 0,856 Paramétrico

Desviación

estándar 38,60 36,93 0,13 0,09

Q2 Q1 V(AUC) IC inf IC sup AUC No paramétrico

1,177 0,118 0,0072 0,835 0,879 0,857

Tabla 4

Se aprecia que el cálculo de esta área con ambos métodos es bastante similar,

0.86 (I.C: [0.84-0.88]) superior al de otras publicaciones (22) anteriormente

referenciadas y cuyos valores oscilaban entre [0,79;0.83;0,84].

El hecho de que sea similar con ambos métodos no es de extrañar si vemos el

Gráfico 2 en donde se aprecia la forma Normal de la distribución de frecuencias de las 2

poblaciones estudiadas mediante al formación las líneas de tendencia y sus respectivos


49

coeficientes de determinación (Atkinson, 1980).

Gráfico 2

Al establecer las líneas de tendencia se aprecia que el coeficiente de

determinación de la curva, o proporción de la varianza total explicada por la ecuación

de la línea, perteneciente a la población de “no éxitus” es de 97.93% lo cual explica

bastante bien la dispersión de los datos de dicha línea.

En la otra población aunque menor el coeficiente de determinación llega a

explicar casi el 87% de la variación.

Es probable que si aumentásemos la muestra en la población de “éxitus” el

coeficiente de determinación también lo haga.


50

12.1 Cálculo del punto de corte óptimo

12.1.1 Método de Zweig @ Campbell

Introduciendo los costes y siguiendo el esquema presentado por Zweig &

Campbell (1983) (11) es decir maximizando la función

Donde dejando beneficios al margen, la pendiente es el inverso de una Odds de

prevalencia y una razón de costes

Se ha realizado una serie de intervalos de esta razón de costes y como

el punto de corte que coincide con el intervalo [17-19] proporciona m=1 y

equivale a maximizar el Indice de Youden .

∆ CFN/CFP P.C Se Sp m PPV PNV

[0,1-1] 279,5 0,018 1,000 183,5 1,000 0,949

[2-3] 214 0,368 0,970 9,2 0,404 0,966

[4-6] 195,5 0,579 0,936 4,6 0,330 0,976

[7-10] 187,5 0,649 0,913 2,6 0,289 0,979

[11-16] 182,5 0,684 0,892 1,7 0,257 0,981

[17-19] 162,5 0,842 0,752 1,1 0,156 0,989

[20-23] 154,5 0,912 0,676 0,9 0,133 0,993

[24-156] 151,5 0,930 0,652 0,8 0,127 0,994

[157-5000] 78,5 1,000 0,052 0,1 0,054 1,000

Tabla 5


51

Como ya comentábamos el maximizar la sensibilidad y la especificidad no

siempre es la mejor opción ya que pueden existir asimetrías distorsionadoras.

12.1.2 Método propuesto en este trabajo

Nuestro método consiste en minimizar la distancia euclídea entre la curva ROC

y el punto de coordenadas (0;1).

En el Gráfico 3, se aprecia dicho punto de coordenadas (0.25; 0.84) y que

corresponde a una puntuación GRACE, P.C= 162,5 idéntica a la obtenida con el

método anterior pero como ya vimos al hablar del índice de Yoiden que minimizar la

distancia euclídea equivale a maximizar dicho índice pero no viceversa.

A dicho punto le corresponde una sensibilidad de 0.842 [IC: 0.719-0.925]

(calculado por el método exacto), un poco mas conservador que el intervalo de

confianza [0.726-0.915] (obtenido con el método aproximado de Wilson) y una

especificidad de 0.75 [0.725-0.769].


52

Gráfico 3

Debido a que la prevalencia de éxitus es de alrededor del 5%, el valor predictivo

positivo es bajo 0.16 [0,14- 0,18], no así el negativo que como ya se comentó tiene su

limite inferior en (1-p)=0,95, en concreto tiene un valor de 0.989 [0.978:0.994].

En la Tabla 5 se aprecia bien lo que se comentó de que el recorrido del PPV iba

desde p hasta 1 y el del PNV desde (1-p) hasta 1.

Es curioso resaltar la siguiente paradoja, aludida anteriormente, si tomásemos

por ejemplo el punto de corte (P.C) en 279.5 tendríamos un PPV=1 y PNV=0.949 lo

parecería concluyente a la hora de elegir un punto de corte.

No obstante la sensibilidad sería de 0.018 lo cual indica que la

inmensa mayoría de los afectados serian falsos negativos, produciendo dicho punto de

corte, un punto en la curva ROC que es vecino del punto de coordenadas (0;0)

(“Always negativo”) en donde el error que se comete coincide con la prevalencia de la

enfermedad.


53

Determinar el coste de una muerte es complicado y lleva implícita cierta

polémica, por eso es interesante establecer la razón de coste en forma de intervalos, a

titulo de orientación para que se pueda elegir el punto de corte adecuado.

Utilizando como base la distancia euclídea y adaptándola a los costes de los

errores que se comenten cuando se elige un punto de corte determinado, se trata de

minimizar:

es igual que minimizar:

En la siguiente tabla se ha optado, sin perdida de generalidad, por considerar

como complementarios de la unidad a .

k CFN CFP P.C Se Sp LR+ LR-* OR PPV PNV

99 0,99 0,01 78,5 1,000 0,052 1,054 - - 0,054 1,000 3 0,75 0,25 151,5 0,930 0,652 2,672 9,291 24,83 0,127 0,994 2,3 0,70 0,30 154,5 0,912 0,676 2,815 7,705 21,69 0,133 0,993 1,5 0,60 0,40 162,5 0,842 0,752 3,401 4,765 16,21 0,156 0,989 1,0 0,50 0,50 162,5 0,842 0,752 3,40 4,77 16,21 0,16 0,99 0,67 0,40 0,60 182,5 0,684 0,892 6,333 2,825 17,89 0,257 0,981 0,33 0,25 0,75 187,5 0,649 0,913 7,461 2,602 19,41 0,289 0,979 0,25 0,20 0,80 192,5 0,614 0,924 8,029 2,393 19,21 0,304 0,978 0,11 0,10 0,90 211,5 0,386 0,967 11,535 1,574 18,16 0,386 0,967 0,01 0,01 0,99 279,5 0,018 1,000 - 1,018 - 1,000 0,949

Tabla 6


54

Gráfico 4

En el Gráfico 4 se puede observar la disposición de algunos puntos de corte en

función del coste asignado a los errores (FN y FP) pudiéndose observar como hay 2

concavidades entre los 3 puntos señalados.

El primer punto (distancia euclídea), es mejorable si la línea ROC tuviese mas

datos y formase lo que se llama una envolvente convexa (convex hull) siendo la

distancia mas corta desde esta línea ROC empírica y el punto optimo con un coste

idéntico en ambos errores ver Figura 7.

En dicha Figura se ha estimado una línea de tendencia de la curva ROC , al

objeto de eliminar concavidades, obteniéndose una ecuación polinomica de grado 4 con

un coeficiente de determinación (R2=97.1%), entonces el punto optimo, en el caso de

que se asumieran costes iguales, sería la intersección de la esta curva y la línea diagonal

(1;0) (0;1) ecuación


55

El siguiente punto “coste FP 75%” significa que a los falsos positivos se les ha

dado un coste de 0,75 mientras que a los falsos negativos uno de 0,25 siendo la

proporción, k= CFN /CFP de 0,33, se ha elegido este punto porque es el que tiene la OR

(probabilidad de acierto) mayor en ese segmento ver Tabla 6.

El punto “coste FN 25%” igual que el anterior pero al contrario es decir k=CFN

/CFP de 3.

La ecuación de la línea de tendencia es

y el punto de

intersección (convex) con la línea , es [0.1905; 0.80975]

Figura 7

La elección del punto de corte va a depender del objetivo y la toma de decisiones

va a depender de cuestiones éticas (falsos negativos) o económicas (falsos positivos)

siendo un debate que habría que abordar pues siempre es mas eficiente, el análisis de la

situación real, que las opiniones personales no necesariamente homogéneas.


56

Conclusiones

El poder determinar el valor umbral de una prueba diagnóstica al objeto de poder

discriminar adecuadamente los diferentes grupos que compone la población a la que se

le realiza, es de gran interés tanto desde el punto de vista clínico como económico.

Hasta ahora el valor umbral mayoritariamente aceptado era el que procedía de

maximizar la función siendo , que en el caso de

que m=1 equivaldría a maximizar .

Se propone como valor umbral al punto de la curva ROC que minimice su

distancia al punto de coordenada (0;1) y ponderando por

una razón de coste:

Se comprueba que pero no necesariamente

.

Poder utilizar este valor umbral de la puntuación GRACE en el SCA supone poder

distinguir desde la entrada al Hospital, a aquellos pacientes con alto riesgo de mortalidad y

proporcionarles una terapia adecuada a su estado.

En caso de que existiesen concavidades significativas y próximas al umbral elegido

sería interesante poder encontrar, a partir de los datos obtenidos y basándonos en la distribución

binormal o en distribuciones de frecuencias empíricas, la ecuación de la envolvente convexa de

la curva ROC.

Una vez hallada la ecuación de dicha envolvente habría que encontrar la intersección de

esta con la línea discriminatoria y de esta manera tendríamos una proyección del punto óptimo.


57

Referencias

(1) Lusted LB. Decision-making studies in patient management. N Engl J Med 1971 Feb 25;284(8):416-24.

(2) Soreide K. Receiver-operating characteristic curve analysis in diagnostic, prognostic and predictive biomarker research. J Clin Pathol 2009 Jan;62(1):1-5.

(3) Bandos SI, Rockette HE, Gur D. Use of likelihood ratios for comparisons of binary diagnostic tests: underlying ROC curves. Med Phys 2010 Nov;37(11):5821-30.

(4) Delgado-Rodriguez M, Almaraz A, Farinas-Alvarez C. Should the definition for the negative likelihood ratio be changed? J Clin Epidemiol 1997 Jun;50(6):641-2.

(5) Swets JA. Measuring the accuracy of diagnostic systems. Science 1988 Jun 3;240(4857):1285-93.

(6) Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 1982 Apr;143(1):29-36.

(7) Metz CE. ROC methodology in radiologic imaging. Invest Radiol 1986 Sep;21(9):720-33.

(8) Swets JA. Form of empirical ROCs in discrimination and diagnostic tasks: implications for theory and measurement of performance. Psychol Bull 1986 Mar;99(2):181-98.

(9) Colak E, Mutlu F, Bal C, Oner S, Ozdamar K, Gok B, et al. Comparison of Semiparametric, Parametric, and Nonparametric ROC Analysis for Continuous Diagnostic Tests Using a Simulation Study and Acute Coronary Syndrome Data. Comput Math Methods Med 2012;2012:698320.

(10) Metz CE. Basic principles of ROC analysis. Semin Nucl Med 1978 Oct;8(4):283-98.

(11) Zweig MH, Campbell G. Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clin Chem 1993 Apr;39(4):561-77.

(12) Murray CJ, Lopez AD. Alternative projections of mortality and disability by cause 1990-2020: Global Burden of Disease Study. Lancet 1997 May 24;349(9064):1498-504.

(13) Braunwald E, Antman EM, Beasley JW, Califf RM, Cheitlin MD, Hochman JS, et al. ACC/AHA guidelines for the management of patients with unstable angina and non-ST-segment elevation myocardial infarction. A report of the American College of Cardiology/American Heart Association Task Force on Practice Guidelines (Committee on the Management of Patients With Unstable Angina). J Am Coll Cardiol 2000 Sep;36(3):970-1062.

(14) Boersma E, Pieper KS, Steyerberg EW, Wilcox RG, Chang WC, Lee KL, et al. Predictors of outcome in patients with acute coronary syndromes without persistent ST-segment elevation. Results from an international trial of 9461 patients. The PURSUIT Investigators. Circulation 2000 Jun 6;101(22):2557-67.


58

(15) Hennekens CH. Increasing burden of cardiovascular disease: current knowledge and future directions for research on risk factors. Circulation 1998 Mar 24;97(11):1095-102.

(16) Granger CB, Goldberg RJ, Dabbous O, Pieper KS, Eagle KA, Cannon CP, et al. Predictors of hospital mortality in the global registry of acute coronary events. Arch Intern Med 2003 Oct 27;163(19):2345-53.

(17) Armstrong PW, Fu Y, Chang WC, Topol EJ, Granger CB, Betriu A, et al. Acute coronary syndromes in the GUSTO-IIb trial: prognostic insights and impact of recurrent ischemia. The GUSTO-IIb Investigators. Circulation 1998 Nov 3;98(18):1860-8.

(18) Yan AT, Yan RT, Tan M, Casanova A, Labinaz M, Sridhar K, et al. Risk scores for risk stratification in acute coronary syndromes: useful but simpler is not necessarily better. Eur Heart J 2007 May;28(9):1072-8.

(19) Ramsay G, Podogrodzka M, McClure C, Fox KA. Risk prediction in patients presenting with suspected cardiac pain: the GRACE and TIMI risk scores versus clinical evaluation. QJM 2007 Jan;100(1):11-8.

(20) Granger CB, Goldberg RJ, Dabbous O, Pieper KS, Eagle KA, Cannon CP, et al. Predictors of hospital mortality in the global registry of acute coronary events. Arch Intern Med 2003 Oct 27;163(19):2345-53.

(21) Latour-Perez J, Fuset-Cabanes MP, Ruano MM, del Nogal SF, Felices Abad FJ, Cunat dlH. [Early invasive strategy in non-ST-segment elevation acute coronary syndrome. The paradox continues]. Med Intensiva 2012 Mar;36(2):95-102.

(22) Backus BE, Six AJ, Kelder JH, Gibler WB, Moll FL, Doevendans PA. Risk scores for patients with chest pain: evaluation in the emergency department. Curr Cardiol Rev 2011 Feb;7(1):2-8.

cálculo del umbral (grace score) en el síndrome coronario

Documents