rendimiento y evaluación de dispositivos biométricos

Técnicas Biométricas Aplicadas a la Seguridad

Evaluación Dispositivos Biométricos 1

Rendimiento y Evaluación de Dispositivos Biométricos

Dr. Carlos Enrique Vivaracho Pascual



Índice Exposición

1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.6. Bibliografía.



1. Introducción

Evaluar:Estimar aptitudes y rendimiento de los sistemas

[Sharp]

Prestar igual atención a todos los aspectos, desde la adquisición de los datos, a la integración del

sistema



1. Introducción

Aspectos a analizar en la evaluación: Rendimiento. Seguridad, integridad y confidencialidad de los datos. Fiabilidad, disponibilidad y mantenimiento de la

aplicación informática. Aceptación y/o facilidad de manejo. Comercialización del producto. Cuestiones legales.



1. IntroducciónObjetivos: Comparar tecnologías. Ver si es factible su realización práctica. Analizar el cumplimiento de requisitos. ...

Importante: objetiva. Realizada por instituciones independientes.

Evaluaciones estándar. Seguimiento de prácticas y criterio comunes.



1. IntroducciónEvaluaciones estándar: Comercial:

International Biometric Group (IBG). International Biometric Industry Association (IBIA).

No comercial: National Institute of Standars and Technology (NIST).

Voz.Caras, Face Recognition Vendor Test (FRVT): FERET

Fingerprint Verification Competition (FVC). Audio and Video-Based Biometric Person Authentification

(AVBPA) face constest: XM2VTS



1. IntroducciónCriterios comunes. En elaboración:

ISO: JCT1/SC5 (Biometrics) / WG5 (Biometic Testing and

Reporting).

Documentos: Common Criteria:

Common Evaluation Methodology, Biometric Evaluation Methodology Supplement (V1.0, 2002).

Biometric Working Group:Best Practices in Testing and Reporting Performance of

Biometric Devices (V2.01, 2002).



Índice Exposición

1. Introducción.2. Planificando la Evaluación.

2.1 Introducción.2.2 Aspectos a Definir.

3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico.6. Bibliografía.



2.1 Planificando: Introducción

Definición de aspectos que condicionan: Ámbito de aplicación. Alcance. La adquisición de los datos. Alcance de los rendimientos obtenidos.



2.1 Planificando: IntroducciónDecisiones condicionadas por: El sistema.

Ej. Tiene o no dispositivos de almacenamiento. El entorno de aplicación.

Ej. Voz: vía teléfono - vía micrófono. El fabricante del dispositivo.

Ej. Proporciona o no SDK. El ámbito del estudio.

Ej. Tecnológico, de escenario u operacional. Aspectos cuya influencia se quiere analizar.

Ej. Ruido de fondo, condiciones de iluminación, ...



2.1 Planificando: IntroducciónDefiniciones: Muestra: rasgo biométrico capturado.

Ej. Imagen huella dactilar o de la cara. Patrón: referencia almacenada del usuario

Muestras de entrenamiento. Parámetros del clasificador.

Inscripción: proceso de añadir nuevos usuarios Operación: intento por parte del usuario de validación

o identificación de su identidad. Se pueden usar una o más muestras.



2.2 Planificando: Aspectos a Definir

1. Clasificación de la muestra (I): Online

la inscripción o la clasificación se realiza en el momento de la captura

No es necesario almacenar los datos. Se aconseja: permite su tratamiento posterior. Si no es posible: medidas más completas si se toman

decisiones con distintos niveles de seguridad.




1. Clasificación de la muestra (II): Offlinela inscripción o la clasificación se realiza con

muestras previamente grabadas Mayor control y versatilidad en las pruebas. Coste pequeño al modificar la evaluación. Problema: definir la adquisición. El número y

características de los datos tomados condiciona: Las pruebas a realizar. La fiabilidad de los resultados medidos. El alcance del rendimiento observado.



2.2 Planificando: Aspectos a Definir2. Tipo de evaluación (I): Tecnológica

El objetivo es medir el estado de la tecnología, determinar el progreso que ésta ha logrado e

identificar lo enfoques más prometedores Más general. Offline: completamente repetible. Tarea a abordar: ni muy fácil, ni muy difícil.

Sólo así habrá separación entre sistemas. Bases de datos: no vistas de antemano. Evaluaciones estándar: FVC, NIST (voz, caras).

Bases de datos usadas: estándares de hecho. A tener en cuenta: sesgos debido a los sensores



2.2 Planificando: Aspectos a Definir2. Tipo de evaluación (II): De Escenario

El objetivo es determinar si la tecnología está suficientemente madura como para cumplir los

requisitos de una determinada aplicación Medida del rendimiento: en escenario prototipo.

Modela un determinado campo de aplicación. Se extiende a todo el sistema.

No sólo clasificación, también etapa de captura. Sensores captura distintos muestras distintas Aconsejable: probar combinaciones sensores -

algoritmos reconocimiento. Ej.: coordina NPL, patrocina CESG (UK).



2.2 Planificando: Aspectos a Definir2. Tipo de evaluación (II): Operacional

El objetivo es analizar si un sistema biométrico concreto, cumplo los requisitos de una determinada

aplicación concreta Similar a la de escenario, pero para un sistema

concreto y en un entorno de uso real. Puede ser online u offline.



2.2 Planificando: Aspectos a Definir3. Tarea a abordar (I): VerificaciónSe trata de autentificar la identidad reclamada por el

usuario Comparación muestra/s - patrón usuario. Respuesta: identidad reclamada/rechazada. Ej. de uso: acceso a servicio de uso personal

(ordenador, cuenta bancaria, etc.)



2.2 Planificando: Aspectos a Definir3. Tarea a abordar (II): Identificación

Positiva: Se trata de comprobar que un usuario que reclama estar inscrito, lo estáEj. uso: control de acceso a lugares restringidos.

Negativa: Se trata de comprobar que un usuario que reclama no estar inscrito, no lo estáEj. uso: evitar dobles inscripciones en servicios, ej. desempleo.

Comparación muestra - patrones todos usuarios O pertenecientes a una determinada partición.

Reclamación identidad: Implícita, sin dar identidad. Explícita, proporcionando la identidad.




4. Factores que afectan al rendimiento: Análisis Buscando:

Cuáles son poco relevantes: control no importante Cuáles afectan a la medida del rendimiento:

Se Fijan de antemano sus valores.Se diseñan las pruebas de modo que se pueda medir su

influencia en el sistema. Prever potenciales problemas: anticipar controles. Identificar casos excepcionales que puedan ser

interesantes a considerar en las pruebas.



2.2 Planificando: Aspectos a Definir4. Factores que afectan al rendimiento: Tipos

Inherentes a la tecnología o al dispositivo:

Ajenos al dispositivo. Destacar: Tiempo transcurrido entre inscripción-prueba. Composición de la población bajo estudio.

Factorambiental

Parámetrobiométrico



2.2 Planificando: Aspectos a Definir5. Políticas de inscripción/operación.

A tener en cuenta en inscripción: Número de muestras usadas para crear el patrón. Número y separación entre sesiones. Permitir o no actualizar el patrón con muestras

rechazadas. Si se permite validación del patrón: los resultados no se

deben incluir en la prueba. A tener en cuenta en operación:

Número de muestras usadas para la decisión. A tener en cuenta en ambas:

Controlar o no la calidad de la muestra adquirida.



Índice Exposición1. Introducción.2. Planificando la Evaluación.3. Los Datos.

3.1 Introducción.3.2 Datos del Cliente.3.3 Datos de Impostores.

3.3.1 Impostores Genuinos.3.3.2 Impostores Simulados.

3.4 El tamaño de la Prueba.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.6. Bibliografía.



3.1 Los Datos: Introducción Idealmente: habría que realizar pruebas sobre

todo posible usuario. Imposible en la práctica.

Pruebas a realizar sobre un subconjunto.

Alcance de la evaluación. Confianza en las medidas del rendimiento.

Composición y datos adquiridos condicionan



3.1 Los Datos: IntroducciónConsideraciones generales: No es aconsejable el uso de muestras creadas

artificialmente, tanto en lo que se refiere a la muestra, como a las condiciones de adquisición.

Resultados no extrapolables a la realidad. Cuidado con errores como dobles inscripciones,

inconsistencias muestras-individuo o muestras incorrectas.

Es conveniente automatizar la adquisición. Se evita la subjetividad del operador humano. Datos más libres de errores. Adquisición más cercana a la real.



3.1 Los Datos: IntroducciónElementos importantes a tener en cuenta: Entorno de la adquisición.

Iluminación, ruido de fondo, tipo de sensor, ... Composición de la población.

Evaluación de escenario y operacional: Representativos de la aplicación a estudio. Casos especiales: correctamente representados.

Evitar sesgos en los resultados.

Evaluación tecnológica: Suficientemente genéricos y representativos para

permitir comparaciones objetivas.



3.1 Los Datos: IntroducciónDefiniciones: Intento auténtico: la muestra a clasificar

pertenece al propietario del patrón con el que compara.

Intento impostor: la muestra a clasificar no pertenece al propietario del patrón con el que compara.

Cliente: usuario inscrito.

Impostor: usuario que se hace pasar por cliente. Activo: trata de imitar al cliente.Pasivo: no trata de imitar al cliente.



3.2 Los Datos: ClienteProblema: envejecimiento del patrón.

El rendimiento del sistema decrece cuanto mayor es el tiempo transcurrido entre la inscripción y la operación

Hay que realizar pruebas con datos adquiridos con una separación “suficiente” en el tiempo.

“Suficiente”: Imposible de obtener de forma exacta. Aproximación: tiempo necesario para que sane esa

parte del cuerpo. Si está definido: recoger muestras con la misma

frecuencia que en el uso real del sistema.



3.3 Los Datos: Impostores

Formas de operar: Impostores genuinos: datos provenientes de

usuarios diferentes a los clientes, y adquiridas ex profeso para ese fin.

Impostores simulados: se usan muestras de otros clientes.



3.3.1 Los Datos: Impostores GenuinosForma más realista de evaluar el sistema.Mayor control sobre la definición de operaciones.No siempre posible en la realidad.Recomendable: adquirir un número alto de datos, y elegir aleatoriamente las pruebas por cliente.Diferente modo de adquisición: pasivos/activos.Condiciones de adquisición: las mismas que las de los clientes. No es aconsejable usar bases de datos distintas.

No usar muestras usadas para crear el clasificador.



3.3.2 Los Datos: Impostores Simulados

Formas de operar:1. Selección aleatoria de un subconjunto por cliente.2. Realizar comparaciones cruzadas completas.

Usando muestras entrenamiento y/o prueba.

Problema: pruebas de impostores activos.



3.4 Los Datos: Tamaño de la Prueba

Consideraciones generales: Definido por: número de voluntario e intentos. Fija la confianza en la estimación del error medida. Problema: tamaño mínimo que asegure un nivel

prefijado de confianza



3.4 Los Datos: Tamaño de la PruebaSolución 1: Regla del 3

[Mansfield y Wayman, 2002][Jovanic y Levy, 1997] Suposiciones:

Pruebas estadísticamente independientes. Probabilidad de error p igual en todas ellas.

Distribución de errores observados: binomial

Establece: la probabilidad de error p mínima que permite asegurar con una confianza del 95% que en N ensayos se pueden tener 0 errores es 3/N.

Ej.: 95% confianza de que p=0.01, es necesario, como mínimo, 300 pruebas sin error.



3.4 Los Datos: Tamaño de la PruebaSolución 2: Regla del 30 (Doddington)

[Doddington,1998][Porter,2000]

Mismas suposiciones anteriores. Establece: para tener un 90% de confianza de que la

tasa de error verdadera está dentro del 30% de la tasa de error observada, debe haber al menos 30 errores.

Ej.: Si tenemos 30 errores en 3000 pruebas

Con un 90% de confianza el error estará entre 0.7% y 1.3%



3.4 Los Datos: Tamaño de la PruebaProblemas en las suposiciones anteriores: Independencia estadística entre pruebas, no se puede

asegurar si: Cada muestra de prueba no pertenece a un individuo

distinto. Se simulan operaciones de impostores mediante

comparaciones cruzadas completas.

Igual distribución de errores. La realidad demuestra los siguientes comportamientos:

“Oveja”: comportamiento normal. “Cabra”: personas difíciles de reconocer. PFalsoRechazo alta. “Cordero”: personas fáciles de imitar. PFalsaAceptación alta. “Lobo”: personas con facilidad para hacerse pasar por

otras. PFalsaAceptación alta.



3.4 Los Datos: Tamaño de la PruebaConclusión Reglas anteriores: difícil aplicación práctica. Se usan como referencia.

Recomendaciones [Best Practices]: Número de voluntarios tan grande como se pueda:

cuanto mayor sea menor será el intervalo de confianza sobre la estimación del error medida.

Adquirir suficientes muestras por voluntario, tal que el número de pruebas exceda el requerido por la regla del 3 o del 30, la que sea adecuada.

Calcular la confianza sobre la medida del error estimada.



Índice Exposición1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.

4.1 Introducción.4.2 Validación de la Muestra.4.3 Clasificación de la Muestra.4.4 El Algoritmo de Partición.4.5 Decisión Final.4.6 Productividad.

5. Análisis Estadístico de los Resultados.6. Bibliografía.



4.1 Rendimiento: IntroducciónEsquema de un sistema biométrico

Parámetrobiométrico sensor muestra extracción de

característicasvector de

características

decisión sobrela muestra

coincide / no coincidecon el patrón

clasificaciónresultado delclasificador

patrón

válidaValidación

noválida

decisión final

aceptado / rechazado



4.2 Rendimiento: ValidaciónErrores. Tasa de Fallos en Inscripción (TFI): proporción de

voluntarios que no han sido inscritos en el sistema.

Tasa de Fallos en Operación (TFO): proporción de operaciones (tanto del cliente, como de impostores) que no han podido ser completadas.



4.3 Rendimiento: ClasificaciónErrores. Tasa de Falsos Positivos (TFP) (False Match Rate,

FMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como coincidente con el patrón de otro usuario.

Se estima: proporción de muestras falsamente asignadas a un cliente al que no pertenecen.

Tasa de Falsos Negativos (TFN) (False Non Match Rate, FNMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como no coincidente con el patrón de ese usuario.

Se estima: proporción de muestras del cliente falsamente rechazadas como no pertenecientes a él.



4.3 Rendimiento: ClasificaciónTasas de error centradas en el algoritmo. Independientes de la política de decisión final. Las normalmente usadas en la evaluación tecnológica. Cálculo aconsejable siempre.

Resultados etapa clasificación: distribución típica.

Solapamiento imposible 100% aciertos.

El rendimiento depende del umbral de decisión.

Resultado clasificador

Cliente

Impostores



4.3 Rendimiento: ClasificaciónRepresentación gráfica del rendimiento: Características Muestran los valores de la TFP y la TFN para diversos

umbrales de decisión (puntos de funcionamiento). Permiten una visualización global del rendimiento. Permiten una comparación objetiva ente sistemas.



4.3 Rendimiento: ClasificaciónRepresentación gráfica del rendimiento: Curvas ROC.

(Receiver Operating Characteristics) Muestran la variación de la TFP (eje X), con respecto a

la tasa de “verdaderos positivos” (1-TFN) en el eje Y, para distintos umbrales de decisión.

El eje Y y la recta y=100 pueden ser consideradas las asíntotas de la curva: cuanto más se acerque ésta a ellas mejor es el rendimiento del sistema.

Tasa de Falsos Positivos (%)

Tasa

de

Verd

ader

os P

ositi

vos (

%)



4.3 Rendimiento: ClasificaciónRepresentación gráfica del rendimiento: Curvas DET.

(Detection Error Tradeoff) [Martin et al., 1997] Representa el número de desviaciones normales en la

distribución normal estandarizada (media 0 y varianza 1) correspondiente a la TFP (eje X) y a la TFN (eje Y).

La escala original se cambia por la correspondiente probabilidad.

Representación casi lineal. Comparación más clara y fácil. Distancia entre curvas:

diferencia entre rendimientos. Cuanto más cercana a la recta,

más se acerca la distribución de resultados a la normal.Tasa de Falsos Positivos (%)

Tasa

de

Falso

s Neg

ativ

os (%

)



4.3 Rendimiento: ClasificaciónEl sistema en un número. Se resume el rendimiento del sistema en un solo valor:

se escoge un punto de funcionamiento característico. Comparación más fácil que con las anteriores. Representación del rendimiento menos completa.

Medidas más usadas: Tasa de Equierror (TEE) (Equal Error Rate, EER): punto

donde se igualan la TFN y la TFP. Medida muy popular.

Coste de Detección (Detection Cost, Cdet): Cdet = cfn·TFN·Pcliente + cfp·TFp·(1-Pcliente)

cfn y cfp los costes de los errores correspondientes. Pcliente y (1-Pcliente) las prob. a priori de cliente e impostor Ej. NIST: cfn=10, cfp=1 y Pcliente=0.01.



4.3 Rendimiento: Clasificación Dependencia con los errores de la etapa anterior.

Cuanto mayor sea la exigencia con respecto a la calidad de la muestra, mayor será la probabilidad de fallos en operación, pero menor será la probabilidad

de errores en clasificación.



4.4 Rendimiento: Algoritmo de ParticiónMedidas de eficacia. Rango de Penetración (RP) [James y James,2000]:

proporción esperada de comparaciones a realizar sobre cada muestra, con respecto al número total de patrones, bajo la condición de comparación con todos los patrones de la partición asignada.

Cálculo: número medio de comparaciones por muestra, dividido entre el número total de patrones.

Cuanto menor sea RP, respuesta más rápida del sistema.

Tasa de Error en la Asignación de la Partición (TEAP): proporción de asignaciones erróneas.



4.4 Rendimiento: Algoritmo de ParticiónRelación entre ambas medidas. Cuanto mayor sea el número de particiones, menor

será el RP, pero mayor será la TEAP, y a la inversa. RP/TEAP=f(parámetros del algoritmo de partición). Representación de esa relación: curvas ROC y DET, por

ej.



4.5 Rendimiento: Decisión FinalErrores. Tasa de Falsas Aceptaciones (TFA): proporción de

operaciones con identidad o no identidad falsamente reclamada que son incorrectamente confirmadas. Error de tipo II. Identificación positiva y verificación: identidad falsamente

asignada a un individuo. Identificación negativa: rechazo de un usuario inscrito.

Tasa de Falsos Rechazos (TFR): proporción de operaciones con identidad o no identidad correctamente reclamada que son incorrectamente rechazadas. Error tipo I Identificación positiva y verificación: cliente rechazado. Identificación negativa: sí inscrito un usuario no inscrito.



4.5 Rendimiento: Decisión FinalRelación con errores anteriores. TFP/TFN: def. para comparaciones sobre cada muestra

TFA/TFR: definidas sobre operaciones Ej. verificación de usuario basada en 3 intentos: Falso

Rechazo cada vez que tengamos 3 Falsos Negativos.

TFA/TFR dependen de los anteriores. Ej. Decisión final basada en muestra única y operaciones

de impostores simuladas mediante comparación cruzada completa con las muestras de prueba de cada cliente.

TFA=(1-TFO)·RP·TFPTFR=TFO + (1-TFO)·TEAP + (1-TFO)·(1-TEAP)·TFN

Dependencia de TFA/TFR con el umbral: se representa igual que para TFP/TPN.



4.6 Rendimiento: ProductividadMedidas de la productividad del sistema. Procesamiento en tiempo real: número medio de

inscripciones y número medio de operaciones por unidad de tiempo.

Procesamiento posterior a la adquisición de la muestra: tiempo medio por cliente del algoritmo de creación de patrones y tiempo medio por operación del algoritmo de clasificación.

Medidas interesantes desde el punto de vista práctico.



Índice Exposición

1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.

5.1 Introducción.5.2 Sensibilidad Frente a Cambios.5.3 Confianza en los Errores Estimados.

6. Bibliografía.



5.1 Análisis Estadístico: IntroducciónTipos de errores en el cálculo del rendimiento:

[Best Practices, 2002] Aleatorios: debidos a la variación natural de las

muestras, los voluntarios, etc. Condiciona la confianza en el resultado obtenido.

Sistemático: debidos a sesgos en el procedimiento de evaluación.

Ej. probar sólo bajo determinadas condiciones ambientales, tipos de individuos sobre o infrarrepresentados, etc.

Interesante: estudiar como afecta al rendimiento del sistema determinadas modificaciones en las condiciones de prueba.



5.2 Análisis Estadístico: SensibilidadSensibilidad frente a cambios (error sistemático). Objetivo: establecer la significación estadísticas de las

diferencias en el rendimiento observadas al modificar determinadas condiciones de prueba.

Alternativa [Mansfield et al.,2001]: prueba 2 Evalúa la certeza sobre la hipótesis nula, H0: “x e y son

independientes”, con x e y los factores bajo estudio.Ej. x=“resultados para hombres”, y=“res. para mujeres”



5.3 Análisis Estadístico: ConfianzaConfianza en las estimaciones (error aleatorio). Única forma de calcular el error real p del sistema sería

probando sobre todo usuario y condición de uso. Imposible en la práctica: se obtiene una estimación p’.

Problema: deducir el comportamiento real del sistema

a partir del estimado. Cuestiones importantes a resolver:

Prefijado un nivel de confianza sobre la medida de error, encontrar el número mínimo de pruebas que lo garantice.

Prefijado el tamaño de la población de prueba, y las condiciones experimentales, encontrar el intervalo de confianza sobre la estimación de error obtenida.



5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: cálculo intervalo confianza. Para un número suficiente de pruebas, ni muy grande,

ni muy pequeño: la distribución del error observado se puede aproximar por una gaussiana.

Con un nivel de confianza del 100(1-)%, se puede afirmar que el error real p de nuestro sistema estará dentro del intervalo de confianza:

V’(p’) estimación de la varianza del error observado. (1-/2) el área de la distribución normal entre - y z1-/2.

Ej. 95% nivel de confianza: z0.975 = 1.96



5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: condiciones cálculo anterior. Los voluntarios son representativos de la población

bajo estudio. Intentos de distintos voluntarios son independientes. La tasa de error puede variar entre voluntarios.

Se permite la existencia de “lobos”, “ovejas”, “cabras” y “corderos”.

El número de errores observado no es muy pequeño.



5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: cálculo de V’(p’). Para TFN, n voluntarios, ai FN para voluntario i, y con:

1 intento por voluntario:Con

m intentos por voluntario:Con

mi intentos por vol.:Con

Con

ii

nap

i

i

mnap

i

i

nmm

ij j

i

map



5.3 Análisis Estadístico: ConfianzaAprox. gaussiana: cálculo de V’(p’). Para TFP, n voluntarios, bi FP para voluntario i, y con:

1 intento por impostor:Con

Impostores simulados usando las muestras de prueba de otros clientes, comparación cruzada completa:

m: muestras por voluntario. bij: muestras del voluntario i FA como pertenecientes al cliente j (bii =0).

ii

nbp



5.3 Análisis Estadístico: ConfianzaTécnica del Bootstrap: conceptos generales Solución más general: no presupone una forma en la

distribución de errores observados. Descripción general:

Crear muestras boostrap mediante muestreo con reemplazo del conjunto de prueba original.

Muestra bootstrap: reproduce la estructura y dependencias del conjunto de prueba original.

Obtener de manera empírica la distribución de errores, mediante el cálculo de éstos para cada una de las muestras bootstrap.

Calcular a partir de esa distribución el intervalo de confianza.



5.3 Análisis Estadístico: ConfianzaTécnica del Bootstrap: ejemplo aplicación.Estimación de TFN, n voluntarios, m intentos de cada uno

Creación de la muestra bootstrap:1. Elegir aleatoriamente y con reemplazo n voluntarios del

conjunto original: 1, 2, ..., n.2. Elegir aleatoriamente y con reemplazo para cada i, m

intentos de ese voluntario: ti1, ti2, ..., tim.3. La muestra bootstrap es: Y={X(i,tij) / 1i n 1jm}.

X(i,tij): resultado del clasificador perteneciente al cliente i sobre la muestra de prueba tij.

Se genera un número grande de muestras bootstrap. Se calcula para cada una la TFN. Distribución obtenida: aproximación a la real.



5.3 Análisis Estadístico: ConfianzaTécnica del Bootstrap: cálculo intervalo confianza. Cálculo del intervalo [L,M] dentro del cual estará con

un 100(1-)% de confianza, la tasa de error real p:

L: error para el que la fracción de muestras bootstrap con tasas de error menor que L sea /2.

M: error para el que la fracción de muestras bootstrap con tasas de error mayor que M sea /2.

Recomendaciones [Best Practices 2002]: 1000 muestras bootstrap si se quiere un nivel de confianza del 95% y 5000 si se quiere del 99%.

p’

Frac

ción

mue

stra

s Y

L M

=/2



Índice Exposición

1. Introducción.2. Planificando la Evaluación.3. Los Datos.4. Medida del Rendimiento.5. Análisis Estadístico de los Resultados.6. Bibliografía.



6. BibliografíaUK Biometrics Working Group, Use of Biometric for Identification and Authentication Advice on Product Selection. Issue 2.0, Marzo 2002, http://www.cesg.gov.uk/site/ast/biometrics/media/BiometricsAdvice.pdfJ.P Campbell, Speaker Recognition: A tutorial, Proceedings of the IEEE, vol. 85, no. 9, pp. 1437-1462, Septiembre 1997.The Common Criteria Biometric Evaluation Methodology Working Group, Biometric Evaluation Methodology. Common Criteria for Information Technology Security Evaluation. Biometric Evaluation Methodology Supplement. Version 1.0, Agosto 2002, http://www.cesg.gov.uk/site/ast/biometrics/media/BEM_10.pdf.[Doddington, 1998] G. Doddington, Speaker Recognition Evaluation Methodology. An Overview and Perspective, Proc. de Speaker Recognition and its Commercial and Forensic Applications (RLA2C), pp. 60-66, Abril 1998.G. Doddington, W. Ligget, A. Martin, M. Przybocki y D. Reynolds, Sheep, Goats, Lambs and Wolves. A Statistical Analysis of Speaker Performance in the NIST 1998 Speaker Recognition Evaluation, en Proc. of International Conference on Spoken Language Processing, Artículo 608 del CD-ROM, Noviembre 1998. G. Doddington, M. Przybocki, M. Martin y D. Reynolds, The NIST Speaker Recognition Evaluation: Overview Methodology, Systems, Results, Perspective, Speech Communication, vol. 31, no. 2-3, pp. 225-254, 2000.C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, Naval Postgraduate School Technical Report, NPS-MA-99-001, Enero 1999.C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, National Biometric Test Center Collected Works 1997-2000, pp. 45-49, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.



6. BibliografíaThe International Biometric Group, Comparative Biometric Testing. Official Test Plan 2.12, 2003. Disponible en http://www.ibgweb.com.[James y James, 2000] Kang James y Barry James, The “Penetration Rate” in Automatic Fingerprint Identification Systems, National Biometric Test Center Collected Works 1997-2000, pp. 173-174, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf. [Jovanic y Levy, 1997] B.D. Jovanovic y P.S. Levy, A Look at the Rule of Three, The American Statisticiam, vol. 51, no. 2, pp. 137-139, 1997.Dario Maio, Davide Maltoni, Raffaele Cappeli, J. L. Wayman y Anil K. Jain, FVC2000: Fingerprint Verification Competition, IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 24, No. 3, pp. 402-412, Marzo 2002. [Best Practices, 2002] A.J. Mansfield y J.L. Wayman, Best Pratices in Testing and Reporting Performance of Biometric Devices. Version 2.01, Agosto 2002, Documento online http://www.cesg.gov.uk/site/ast/biometrics/media/BestPractice.pdf.T. Mansfield, G. Kelly, D. Chandler y J. Kane, Biometric Product Testing Final Report, National Physical Laboratory, UK, CESG contract X92A/4009309, Marzo 2001, http://www.cesg.gov.uk/site/ast/biometrics/media/BiometricTestReportpt1.pdf .[Martin et al., 1997] A. Martin, G. Doddington, T. Kamm, M. Ordowski y M. Przybocki, The DET Curve in Assessment of Detection Task Performance, Proc. Eurospeech, vol. 4, pp. 1895-1898, Septiembre 1997.P. Jonathon Phillips, Alvin Martin, C. L. Wilson y Mark Przybocki, An Introduction to Evaluation Biometric Systems, IEEE Computer, pp. 56-63, Febrero 2000. P. Jonathon Phillips, Patrick Grother, Ross J. Micheals, Duane M. Blackburn, Elham Tabassi y Mike Bone, Face Recognition Vendor Test 2002: Evaluation Report, Marzo 2003, Disponible en http://www.frvt.org/FRVT2002/documents.htm



6. Bibliografía[Porter, 2000] Jack E. Porter, On the “30 Error” Criterion, National Biometric Test Center Collected Works 1997-2000, pp. 51-56, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.Douglas A. Reynolds, Speaker Identification and Verification using Gaussian Mixture Speakers Models, Speech Communications, vol. 17, nos. 1-2, pp. 91-108, Agosto 1995.K.R. Sharp, Whose Face Is It Anyway?, idSYSTEMS, vol. 20, no. 4, Abril 2000. Disponible en www.scs-mag.com/reader/2000_04/whose0400.Weicheng Shen, Marc Surette y Rajiv Khanna, Evaluation of Automated Biometrics-Based Identification and Verification Systems. Proceedings of the IEEE, vol. 85, no. 9, pp. 1464-1478, Septiembre 1997.J.L. Wayman, Biometric Technology Testing, Evaluation, Results. Disponible en http://www.engr.sjsu.edu/biometrics/publications.html. J. L. Wayman, Confidence Interval and Test Size Estimation for Biometric Data, Proc. Automatic Identification Advanced Technologies (AutoID), Summit, NJ (USA), 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 91-102, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdfJ. L. Wayman, Error Rate Equations for the General Biometric System, IEEE Robotics and Automation Magazine, vol. 6, no. 9, pp. 35-48, Enero 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 103-128, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.J. L. Wayman, “Degrees of Freedom” as Related to Biometric Device Performance. National Biometric Test Center Collected Works 1997-2000, pp. 201-208, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.



6. Otra BibliografíaJ. L. Wayman, Technical Testing and Evaluation of Biometric Identification Devices, en Biometrics: Personal Identification in a Networked Society, Editado por A. Jain, R. Bolle y S. Pankanti, Kluwer Academic Press, Boston, 1999. Y en National Biometric Test Center Collected Works 1997-2000, pp. 67-90, Agosto 2000, Documento online http://www.engr.sjsu.edu/biometrics/nbtccw.pdf.J. L. Wayman, A. Jain, D. Maltoni y D. Maio, Biometric Systems: Technology, Design and Performance Evaluation, Springer Verlag, 2003.

rendimiento y evaluación de dispositivos biométricos

Documents