doppelganger - uab barcelona · doppelganger. processament de les imatges ! equalització de...
TRANSCRIPT
![Page 1: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/1.jpg)
DoppelGanger
Marc Fernandez Girones 4138 - Aplicació de Visió per a Dispositius Mòbils Projecte Final de Carrera - Enginyeria Informàtica
![Page 2: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/2.jpg)
Agenda
§ Introducció § Metodologia § Resultats § Demostració § Conclusions § Treball Futur
2/21
DoppelGanger
![Page 3: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/3.jpg)
Introducció § Objectiu
§ Creació d’una aplicació de visió per computador amb
classificació automàtica de cares que funcioni pels
dispositius mòbils. Més concretament fer una
aplicació que permeti:
§ Escollir una fotografia
§ Detectar el gènere del subjecte
§ Buscar famosos que s’hi assemblin
3/21
DoppelGanger
![Page 4: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/4.jpg)
Introducció § Motivacions
§ Voluntat d’aprendre la programació per
dispositius mòbils i especialment per iPhone.
§ Aprofundir en els temes de visió per computador
i intel·ligència artificial.
4/21
DoppelGanger
![Page 5: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/5.jpg)
Metodologia
§ Detecció de Cares § Processament de les Imatges § Reconeixement de Gènere § Cerca del Famós Semblant
5/21
DoppelGanger
![Page 6: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/6.jpg)
Detecció de Cares Haar-Like Features + AdaBoost § Es consideren totes les regions rectangulars
(amb solapament) de la fotografia.
§ A cada regió, es calculen les Haar-Like.
§ Es passa el classificador prèviament entrenat, que ens dirà si hi ha una cara o no. en una finestra de detecció, suma les intensitats dels píxels de les regions del mateix color i calcula la diferència entre elles.
6/21
DoppelGanger
![Page 7: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/7.jpg)
Processament de les Imatges
§ Equalització de l’Histograma § Alineació dels Ulls § Escalat de les Imatges § Retall de la Imatge
7/21
DoppelGanger
![Page 8: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/8.jpg)
Equalització de l’Histograma
§ Aconseguim incrementar el contrast global de les imatges.
§ Útil en imatges amb fons i primers plans que són els dos
clars o els dos foscos.
8/21
DoppelGanger
![Page 9: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/9.jpg)
Alineació dels Ulls § Detectem els ulls amb el mateix mètode que la detecció de
cares.
§ Utilitzem conceptes bàsics de trigonometria per calcular l’angle de rotació.
9/21
DoppelGanger
![Page 10: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/10.jpg)
Escalat de les Imatges
§ Mateixa distància entre els ulls per totes les
imatges; 15 píxels és la distància habitual en els
algoritmes de classificació facial.
10/21
DoppelGanger
![Page 11: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/11.jpg)
Retall de la Imatge
§ Mateixa posició de l’ull esquerra i dret per totes les
fotografies i mateixa mida.
11/21
DoppelGanger
![Page 12: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/12.jpg)
Reconeixement de Gènere
§ Anàlisi de Components Principals § Procediment matemàtic que utilitza una transformació
ortogonal de les dades per tal de convertir un conjunt
d’observacions de variables possiblement correlacionades
en un conjunt de valors de variables no correlacionades
anomenades components principals per tal de reduir la
dimensió del conjunt inicial.
12/21
DoppelGanger
![Page 13: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/13.jpg)
Anàlisi de Components Principals
§ Procediment
1. Guardem cada una de les imatges en una
fila de la matriu T.
2. Calculem la mitjana A de les components
dels vectors (imatges) i després la restem
a cada un dels vectors de T.
13/21
DoppelGanger
![Page 14: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/14.jpg)
Anàlisi de Components Principals
3. Calculem la matriu de
covariança de les dades S.
4. Calculem els eigenvectors i els
eigenvalues de la matriu de
covariança S.
5. Escollim les components
principals – els D primers
vectors propis amb major valor
propi (en valor absolut).
14/21
DoppelGanger
![Page 15: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/15.jpg)
Reconeixement de Gènere
§ K-Nearest Neighbor § Mètode per classificar nous objectes basat en la proximitat
dels objectes d’entrenament a l’espai de característiques.
§ Un objecte es classifica mitjançant la
majoria de vots dels seus veïns, li
assignem la classe més comú entre els
seus K veïns més propers.
15/21
DoppelGanger
![Page 16: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/16.jpg)
Cerca del Famós Semblant
§ PCA
§ Nearest Neighbor: Cerca del famós més
semblant a la cara de la fotografia d’entrada.
16/21
DoppelGanger
![Page 17: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/17.jpg)
Resultats
§ Detecció de Cares ≈ 100%
§ Detecció d’Ulls ≈ 70%
§ Classificació de Gènere = 83.64%
§ 138 classificacions bones de 165
17/21
DoppelGanger
![Page 18: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/18.jpg)
Demostració 18/21
DoppelGanger
![Page 19: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/19.jpg)
Conclusions
ü Alta taxa d’encert i efectivitat.
ü Disseny atractiu i modern.
ü Aprofundiment dels coneixements sobre visió per
computador, aprenentatge automàtic i intel·ligència
artificial.
ü Aprenentatge del llenguatge Objective-C per a la
programació d’aplicacions de l’iPhone.
19/21
DoppelGanger
![Page 20: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/20.jpg)
Treball Futur
§ Tècniques alternatives per a la detecció d’ulls.
§ Millores en la il·luminació de les fotografies.
§ Millores en la classificació de gènere. § Support Vector Machines = 99.39% d’encert.
§ Xarxes Neurals Artificials = 100% d’encert.
§ Tècniques per millorar la classificació facial. § FisherFaces
§ Mètodes Kernel
20/21
DoppelGanger
![Page 21: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/21.jpg)
Torn de Preguntes 21/21
DoppelGanger
![Page 22: DoppelGanger - UAB Barcelona · DoppelGanger. Processament de les Imatges ! Equalització de l’Histograma ! Alineació dels Ulls ! Escalat de les Imatges ! Retall de la Imatge 7/21](https://reader033.vdocumento.com/reader033/viewer/2022051603/5fee772a1b1b90736116a2dc/html5/thumbnails/22.jpg)
Gràcies