sistemas automáticos de reconocimiento facial...

31
29/01/2018 1 Sistemas Automáticos de Reconocimiento Facial: Experiencias de Colaboración UAM - DGGC (Material basado en la Tesis Doctoral del Dr. Pedro Tome ) Prof. Dr. Julián Fiérrez Aguilar Grupo de Reconocimiento Biométrico Escuela Politécnica Superior Universidad Autónoma de Madrid [email protected] http:// atvs.ii.uam.es/fierrez - 2/62 - Índice La presentación se estructura de la siguiente manera: Introducción Estudio Poblacional: Poder discriminante de regiones faciales Estudio Poblacional: Rareza de rasgos morfológicos Software A Margen de Error en Cotejo Antropométrico: Reseñas a multiples distancias Software B

Upload: phungque

Post on 25-Sep-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

1

- 1/62 -

Sistemas Automáticos de

Reconocimiento Facial:

Experiencias de Colaboración

UAM-DGGC(Material basado en la Tesis Doctoral del Dr. Pedro Tome)

Prof. Dr. Julián Fiérrez AguilarGrupo de Reconocimiento Biométrico

Escuela Politécnica SuperiorUniversidad Autónoma de Madrid

[email protected]://atvs.ii.uam.es/fierrez

- 2/62 -

Índice

• La presentación se estructura de la siguiente manera:

Introducción

Estudio Poblacional: Poder discriminante de regiones faciales

Estudio Poblacional: Rareza de rasgos morfológicos

Software A

Margen de Error en Cotejo Antropométrico: Reseñas a multiples distancias

Software B

Page 2: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

2

- 3/62 -

Introducción

- 4/62 -

Identificación Facial

Cotejo Geométrico

“Basado en la superposición de dos imágenes

faciales a cotejar y se observa la

continuidad/discontinuidad de los rasgos

faciales.”

Page 3: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

3

- 5/62 -

Identificación Facial

Cotejo Antropométrico

“Basado en analizar la posición de varios

puntos faciales característicos, y distintas

distancias entre ellos. ”

- 6/62 -

Identificación Facial

Cotejo Morfológico

“Descripción exhaustiva de la forma, magnitud y

dirección de los rasgos morfológicos faciales

observables, así como de los cromáticos (distintas

coloraciones que tienen algunas partes de la

cabeza) y complementarios, con especial atención

a los que tengan un mayor valor individualizador

(lunares, cicatrices, tatuajes, etc.).”

¡El más utilizado en la práctica!

Page 4: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

4

- 7/62 -

Ejemplo Práctico

• Cotejo Morfológico

Muestra

INDUBITADA

Muestra

DUBITADA

- 8/62 -

Poder Discriminante de

Regiones Faciales

Page 5: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

5

- 9/62 -

Esquema GeneralBase de datos facial

(Gran población de

personas de tamaño X)

Extracción de rasgos faciales Análisis individualizado

de cada rasgo

Frecuencia de aparición de rasgos

Boca grande 71,2%

Boca pequeña 28,8%

Discriminación de cada rasgo

Cejas: BAJA

Ojos: MEDIA

Nariz: ALTA…

- 10/62 -

Informe Pericial

Informe pericial

Cotejo morfológico

Informe pericial

Cejas: Coincidencia ALTA

Ojos: Coincidencia MEDIA

Nariz: Coincidencia ALTA

Boca: Coincidencia BAJA

Muestra

INDUBITADA

Muestras

DUBITADAS

Page 6: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

6

- 11/62 -

Informe Pericial

Informe pericialInformación estadística

útil para el experto

Cotejo morfológico

Informe pericial

EXTENDIDO

Cejas: Coincidencia ALTA

Ojos: Coincidencia MEDIA

Nariz: Coincidencia ALTA

Boca: Coincidencia BAJA

Muestra

INDUBITADA

Muestras

DUBITADAS

Discriminación BAJA

Discriminación MEDIA

Discriminación ALTA

- 12/62 -

Desarrollo Experimental

Page 7: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

7

- 13/62 -

Base de Datos

FBI

MORPH(Craniofacial Longitudinal Morphological Face Database)

Europeos

2.704 sujetos(10.559 imágenes)

Africanos

10.331 sujetos(42.589 imágenes)

Hispanos

547 sujetos(1.769 imágenes)

Asiáticos

55 sujetos(154 imágenes)

Más información: http://www.faceaginggroup.com/projects.html

• > 55.000 imágenes

• > 13.000 sujetos

• Rango de edades 16-77 años

• Adquisiciones separadasentre 1 y 1.681 días

- 14/62 -

Base de Datos

FBI

MORPH (Craniofacial Longitudinal Morphological Face Database)

Europeos

2.704 sujetos(10.559 imágenes)

2.070 Hombres

(7.961 imágenes)

634 Mujeres

(2.598 imágenes)

Africanos

10.331 sujetos(42.589 imágenes)

Hispanos

547 sujetos(1.769 imágenes)

Asiáticos

55 sujetos(154 imágenes)

Page 8: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

8

- 15/62 -

Base de Datos - Ejemplos

- 16/62 -

Ejemplos Europeos

• Rango de edades 16-65 años

Distribución de edades

Can

tid

ad

de

imágen

es

Años

Page 9: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

9

- 17/62 -

Generación Automática de

Regiones Faciales

- 18/62 -

Diagrama Resumen

1. Rotación

2. Alineación

3. Escalado

Normalizado:

Page 10: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

10

- 19/62 -

Marcado y Selección de

Puntos Característicos

Sistema automático: Luxand FaceSDK 4.0

• 14 Puntos seleccionados:

13 + 1 (nuevo)

• 65 puntos faciales:

Sistema automático(FaceSDK 4.0)

14

1 2 3 4

5 6 7 8

9 10

11 12

13

- 20/62 -

Alineamiento Facial

3. Normalización/ Alineamiento

Normalización de las caras:

• Escalado y recorte

• W = Ancho de la imagen.

• IPD = Distancia entre

centros de ojos.

Ratio =0.25×W

IPD original

IPD

Page 11: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

11

- 21/62 -

Generación de Regiones

• Generación de cada región facial4. Extractor rasgos

faciales

• Info. entrada:

Puntos marcados

- 22/62 -

Regiones Generadas• Listado de regiones:

1. Rostro

2. Parte izda. cara

3. Parte dcha. cara

4. Frente

5. Ceja izda.

6. Ceja dcha.

7. Ambas Cejas

8. Ojo izdo.

9. Ojo dcho.

10. Ambos ojos

11. Nariz

12. Boca

13. Oreja izda.

14. Oreja dcha.

15. Mentón

Documentación

[*] Guardia Civil y NFI - Netherlands Forensic Institute

[*]

Page 12: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

12

- 23/62 -

Máscara de Ruido

5. Máscara de ruido1. Rostro

3. Parte dcha. cara 2. Parte izda. cara

4. Frente

5. Ceja izda.6. Ceja dcha. 7. Ambas cejas

8. Ojo izdo.9. Ojo dcho.10. Ambos ojos

11. Nariz

12. Boca

13. Oreja izda.14. Oreja dcha.

15. Mentón

- 24/62 -

Máscara de Ruido

5. Máscara de ruido1. Rostro

3. Parte dcha. cara 2. Parte izda. cara

4. Frente

5. Ceja izda.6. Ceja dcha. 7. Ambas cejas

8. Ojo izdo.9. Ojo dcho.10. Ambos ojos

11. Nariz

12. Boca

13. Oreja izda.14. Oreja dcha.

15. Mentón

Page 13: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

13

- 25/62 -

Protocolo Experimental

- 26/62 -

Similitudes

GENUINAS

(target)

Protocolo Experimental

ENTRENAMIENTO

Sujeto 1

Sujeto 2

Sujeto 3

Sujeto N

TEST

Su

jeto

1S

uje

to 2

Res

toSimilitudes

IMPOSTOR

(non-target)

(Propietario UAM,

Comercial VeriLook)

Page 14: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

14

- 27/62 -

Resultados

- 28/62 -

Población Hombres

Nariz: 84.22%

Rostro: 85.34%

Parte derecha cara: 82.26%

Parte izquierda cara: 82.29%

Frente: 70.67%

Ambas cejas: 72.59%Ceja

dcha: 69.37%

Ceja izda: 69.09%

Ambos ojos: 78.06%Ojo dcho: 76.28%

Ojo izdo: 74.42%

Oreja dcha.: 65.87%

Oreja izda.: 66.86%

Boca: 68.15%

Mentón: 60.41%

Rango de discriminación:50% 100%

BAJO ALTO

Page 15: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

15

- 29/62 -

Población Mujeres

Nariz: 82.27%

Rostro: 85.54%

Parte derecha cara: 79.12%

Parte izquierda cara: 77.27%

Ambas cejas: 75.33%Ceja

dcha: 68.65%

Ceja izda: 68.59%

Ambos ojos: 77.54%Ojo dcho: 75.76%

Ojo izdo: 77.27%

Oreja dcha.: 61.82%

Oreja izda.: 60.96%

Boca: 64.12%

Mentón: 60.07%

Rango de discriminación:50% 100%

BAJO ALTO

- 30/62 -

Pob. 800 (400H.+400M.)

Nariz: 83.37%

Rostro: 86.61%

Parte derecha cara: 82.12%

Parte izquierda cara: 80.90%

Frente: 69.44%

Ambas cejas: 73.58%Ceja

dcha: 69.99%

Ceja izda: 69.37%

Ambos ojos: 78.53%Ojo dcho: 77.02%

Ojo izdo: 76.44%

Oreja dcha.: 65.52%

Oreja izda.: 63.98%

Boca: 66.82%

Mentón: 62.48%

50%

100%Rango de discriminación:

BAJO ALTO

Page 16: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

16

- 31/62 -

Frecuencia de

Aparición de Rasgos

Frecuencia de aparición de clases

Boca grande 71,2%

Boca pequeña 28,8%

- 32/62 -

Retrato Hablado

Page 17: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

17

- 33/62 -

Caracteres Morfológicos

• Frente1. Arcos superficiales

2. Inclinación

3. Altura

4. Anchura

5. Particularidades

• Cejas1. Situación

2. Dirección

3. Forma

4. Dimensiones

5. Particularidades

• Párpados1. Abertura

2. Dirección

3. Modelado

4. Particularidades

• Globos oculares

1. Relieve

2. Orbitas

3. Dist. Interocular

4. Particularidades

• Nariz

1. Raiz

2. Dorso

3. Base

4. Dimensiones

5. Particularidades

• Altura naso-labial

• Labios

1. Prominencia

2. Borde

3. Grosor

4. Particularidades

• Boca

1. Longitud

2. Abertura

3. Particularidades

• Mentón

1. Inclinación

2. Altura

3. Anchura

4. Particularidades

• Oreja derecha

• Arrugas

• Cicatrices y otras señas

particulares

• Contornos

• Caracteres cromáticos

• Caracteres complementarios

- 34/62 -

Frec. Aparición de Rasgos

• Retrato hablado: Nariz

Page 18: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

18

- 35/62 -

Frec. Aparición de Rasgos

• Retrato hablado: Nariz

Ancho

Alto

- 36/62 -

Retrato Hablado: Nariz• Histograma de dimensión de anchura de nariz

Población de 800

sujetos:

(400H. + 400M.)

Page 19: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

19

- 37/62 -

Retrato Hablado: Nariz• Histograma de dimensión de anchura de nariz

Población de 800

sujetos:

(400H. + 400M.)

56.16%

39.87%

3.29%

- 38/62 -

Frec. Aparición de Rasgos

• Retrato hablado: Nariz

Ancho

Alto

Pequeña Mediana Grande

56.16%

39.87%

3.29%Población de 800

sujetos:

(400H. + 400M.)

Page 20: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

20

- 39/62 -

Ejemplos Nariz

Población de 800

sujetos:

(400H. + 400M.)

• Población con nariz pequeña: 56.16%

• Población con nariz mediana: 39.87%

• Población con nariz grande: 3.29%

Pequeña Mediana Grande

56.16%39.87%

3.29%

- 40/62 -

Frec. Aparición de Rasgos

• Retrato hablado: Boca

Longitud

Pequeña Media Grande

45.25%46.25%

7.70%

Población de 800

sujetos:

(400H. + 400M.)

Factor de escala

Page 21: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

21

- 41/62 -

Ejemplos Boca

Población de 800

sujetos:

(400H. + 400M.)

• Población con boca pequeña: 45.25%

• Población con boca media: 46.25%

• Población con boca grande: 7.70%

Pequeña Media Grande

45.25%46.25%

7.70%

- 42/62 -

Software Generado

Poder discriminativo

de cada rasgoFrecuencia de aparición

de cada rasgo

Selección

de opciones

Page 22: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

22

- 43/62 -

Selección de Opciones

Selección de tipo

de población

- 44/62 -

Selección de Opciones

Selección de población

masculina

Page 23: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

23

- 45/62 -

Selección de Opciones

Selección de población

femenina

- 46/62 -

Selección de Opciones

Cambio de sujetos

Page 24: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

24

- 47/62 -

Poder Discriminante

- 48/62 -

Frec. de Aparición

Page 25: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

25

- 49/62 -

Frec. de Aparición

Selección de caracteres

morfológicos

- 50/62 -

Frec. de Aparición

Posición del usuario

seleccionado

Porcentaje de población

con dicha morfología

Page 26: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

26

- 51/62 -

Publicaciones

- 52 -

Cálculo del Margen de Error

en Reseñas Fotográficas

Page 27: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

27

- 53 -

• La base de datos capturada se ha obtenido siguiendo las

pautas descritas en el documento proporcionado:

• Aunque también considerando las limitaciones de espacio

e iluminación que se tienen en la práctica.

Obtención de la Base de Datos

- 54 -

• Emplazamiento: 20m2.

• Cámara Canon EOS 400D, usada en la práctica y pantalla

con testigo métrico.

• Se consideran 3 distancias de 3m, 2m y 1m.

3 m2 m

1 m

Obtención de la Base de Datos

Cuerpo Completo Medio Cuerpo Cara frontal

Page 28: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

28

- 55 -

• 50 personas.

• 2 sesiones/persona.

• 4 reseñas fotográficas/sesión.

• 6 imágenes/reseña.

• Total: 1200 imágenes para el estudio

Lejos Medio Cerca

Obtención de la Base de Datos

- 56 -

• Etiquetado manual.

• Nos basamos en la documentación proporcionada y

aumentamos a 21 puntos a marcar manualmente

(imagen derecha).

1

2 34 5

67 8 9 10

11

1213

14

1516

17

18

19

20

21

Etiquetado de Puntos Característicos

Page 29: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

29

- 57 -

• Etiquetado manual de puntos característicos :

1

2 34 5

67 8 9 10

11

1213

14

1516

17

18

19

20

21

Lejos Medio Cerca

Etiquetado de Puntos Característicos

- 58 -

• Cálculo del margen de error (ME) en función de la distancia entre

sujeto y cámara.

• Para cada persona, cálculo de la media y desviación típica de cada

punto característico entre todas las imágenes disponibles para cada

distancia.

Cálculo del Margen de Error

Lejos Medio Cerca

Page 30: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

30

- 59 -

• Otro ejemplo: La variabilidad de los puntos depende mucho

de cada persona y sobre todo entre hombres y mujeres.

Cálculo del Margen de Error

Lejos Medio Cerca

- 60 -

• Mayor ME para mujeres que en hombres

• ME por zonas faciales. Se cumple para las tres distancias.

Conclusiones sobre el ME

ME alto ME medio ME bajo

Page 31: Sistemas Automáticos de Reconocimiento Facial ...atvs.ii.uam.es/fierrez/files/2014_IUICP_ForenseFacial_Fierrez.pdf · con testigo métrico. • Se consideran 3 distancias de 3m,

29/01/2018

31

- 61 -

Software Generado

Selección

de opciones

Margen de Error Total Margen de Error

Individual

- 62/62 -

Publicaciones