separación ciega de fuentes al aplicación de técnicas de ...fran/cursos/bss/bss_ica.pdf · 4...

32
Universidad Carlos III 1 Aplicación de Técnicas de Separación Ciega de Fuentes al Procesado de Señal Francisco Javier González Serrano Universidad Carlos III 2 Indice Parte I: Introducción Parte II:Contrastes Máxima entropía, máxima verosimilitud Aproximaciones senoidales Parte III: Algoritmos adaptativos Gradiente relativo Gradiente natural Parte IV: Aplicaciones EEG-ERP MUD en CDMA Sellado de imágenes

Upload: others

Post on 27-Oct-2019

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

1

Uni

vers

idad

Car

los

III

1

Aplicación de Técnicas de Separación Ciega de Fuentes al

Procesado de Señal

Francisco Javier González Serrano

Uni

vers

idad

Car

los

III

2

IndiceParte I: IntroducciónParte II:Contrastes− Máxima entropía, máxima verosimilitud− Aproximaciones senoidales

Parte III: Algoritmos adaptativos− Gradiente relativo− Gradiente natural

Parte IV: Aplicaciones− EEG-ERP− MUD en CDMA − Sellado de imágenes

Page 2: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

2

Uni

vers

idad

Car

los

III

3

IntroducciónExisten aplicaciones de ICA/BSS en:− Bioingeniería:

• ECG, EEG.− Técnicas de procesado de señal (voz, imagen,...):

• codificación, compresión, indexado, clasificación.− Comunicaciones:

• receptores CDMA, conformado de haz.− Finanzas.

Que se beneficiarían de algoritmos que − presenten mejores prestaciones − con una carga computacional menor − y que puedan hacer frente a problemas tales como la

presencia de ruido

Uni

vers

idad

Car

los

III

4

Parte I

Introducción

Page 3: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

3

Uni

vers

idad

Car

los

III

5

Mezcla instantánea y Separación

Uni

vers

idad

Car

los

III

6

Mezcla instantánea y Separación

A B

L x N N x 1

γt

N x 1 N x L

ruido

N-fuentes

N-fuentes recuperadas o componentes independientes

Separación y=Bx=BAs+Bγ

Mezcla x=As+γ

L-sensores

N ≤ L

1R ×∈ Ltx1R ×∈ N

ts 1R ×∈ Nty

Page 4: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

4

Uni

vers

idad

Car

los

III

7

Separación de fuentesMezcla instantánea de 2 fuentes independientes s1 y s2

s1

s2x1

x2

y1

y2z2z1

x=As

p1(s1) p2(s2)

y=Bx

z=Wx1º) Blanqueado

y=Uz2º) Rotación

Vista superior de fdp conjunta

Aproximación al problema:

s1

s2

Vista superior de fdp conjunta

p (s1, s2)

( )TE =zz I

Uni

vers

idad

Car

los

III

8

Separación ciega de fuentesSi desconocemos la matriz de mezcla, ¿cómo llegamos a la separación?

Blanquear (PCA, ortogonalidad): matriz W

Rotar: matriz U

Vista superior de fdp conjunta de distintas mezclas de dos variables con fdp uniformes

Mezcla

Page 5: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

5

Uni

vers

idad

Car

los

III

9

AmbigüedadesAmbigüedades en ICA− Escalado de fuentes:

• ICA no recupera la varianza original

− Permutación de fuentes

Blanquear (PCA, ortogonalidad)

Rotar

Uni

vers

idad

Car

los

III

10

Independencia estadísticaConcepto de independencia− Intuitivo

• Las variables y1 e y2 son independientes si el valor de y1 no

aporta ninguna información acerca del valor de y2.

− Matemático: funciones de densidad de probabilidad (pdf)• Sea p(y1,y2) la función de densidad de probabilidad conjunta de

y1 e y2.

• Sea p1(y1) la pdf marginal de y1

• y de forma similar para y2• Entonces, y1 e y2 son independientes si y sólo si:

1 1 1 2 2( ) ( , )p y p y y d y= ∫

1 2 1 1 2 2( , ) ( ) ( ). p y y p y p y=

Page 6: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

6

Uni

vers

idad

Car

los

III

11

Independencia estadísticaConcepto de independencia− Matemático: Si y1 e y2 son independientes

• Incorrelación: h(·), g(·) son la identidad

Incorrelación ⇐ Independencia

( ) ( ) ( )1 2 1 2( ), ( ) ( ) ( ) . E g y h y E g y E h y= ×

( ) ( ) ( )1 2 1 2, 0E y y E y E y− × =

Uni

vers

idad

Car

los

III

12

Parte II

Funciones contraste

Page 7: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

7

Uni

vers

idad

Car

los

III

13

Medida de la independencia¿Cómo medir estadísticamente la independencia?− Divergencia de Kullback-Leibler

− Para un vector de variables aleatorias

• Si p(·) es “factorizable”, la divergencia se anula

• La divergencia se denomina información

mutua de las variables

− Información mutua y entropía

[ ] ( )| ( ) log( )

fK f g f dg

= ∫yy yy

R∈ Ny

[ ]1 21 1

( )| ( ) log( ) ( )N

N N

pK p p p p p dp y p y

= ∫yy y

[ ]1 2| NK p p p p

1( ), , ( )Ny t y t…

[ ] [ ] [ ]111 1

( ), , ( ) log( ) ( )

N

N iiN N

pI y y p d H y Hp y p y =

= = −∑∫yy y y

Uni

vers

idad

Car

los

III

14

Funciones contrasteFunciones contraste− Son funciones reales de la distribución de probabilidad.− Los contrastes se deben diseñar para que su mínimo

coincida con una solución del problema ICA/BSS.

• La igualdad se produce cuando sea una copia de es una matriz de permutaciones y escalados

− El cálculo del gradiente de un contraste permite implementaciones adaptativas de algoritmos BSS

− Contraste ortogonal• Los datos están blanqueados (decorrelados)

[ ] [ ], siendo un vector de comp. independientesφ φ≥Cy y y

=y Bx sC

[ ]oφ y( )TE =zz I

Page 8: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

8

Uni

vers

idad

Car

los

III

15

Funciones contrasteContraste basado en la información mutua (o de máxima entropía)

− Si consideramos la condición de blanqueado

• Hay que tener en cuenta que la entropía de y, H[y], es invariante a rotaciones.

− Algoritmo de separación

donde es un vector de componentes independientesy

[ ] [ ]|ME Kφ =y y y

[ ] [ ] [ ] [ ]cte.

1 1

N NoME i i

i iH y H H yφ

= =

= − =∑ ∑y y

[ ]min MEφB

Bx

[ ] [ ] log detH H= +Bx x B

Uni

vers

idad

Car

los

III

16

Funciones contrasteContraste basado en máxima verosimilitud

− Relación con otros contrastes

• porque

− Interpretación• El contraste de máxima verosimilitud maximiza la

independencia de las componentes de la salida y minimiza la “distancia” a la fdp de los datos.

-1donde se supone conocida la fdp de =s A x

[ ] [ ]1 1

( )| ( ) log( ) ( )ML

N N

pK p dq s q s

φ = = ∫yy y s y y

[ ] [ ] [ ]|ML ME Kφ φ= +y y y s

[ ] [ ] [ ]| | |K K K= +y s y y y s

Page 9: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

9

Uni

vers

idad

Car

los

III

17

Funciones contrasteContraste Infomax− El desconocimiento de la fdp real de las fuentes ( qi(si) )

se suple suponiendo que éstas tienen una fdp fija ( r(·) ).

-1donde NO se supone conocida la fdp real de =s A x

[ ] [ ]1

( )| ( ) log( ) ( )InfoMax

N

pK p dr s r s

φ = = ∫yy y s y y

Uni

vers

idad

Car

los

III

18

Aproximaciones de contrastesAproximaciones de orden superior− Están basados en los Cumulantes de orden 4

− Relación con otros estadísticos

− Para señales independientes

[ ]Cum Cum[ , , , ]

[ ] [ ] [ ]

[ ] [ ] [ ] [ ]

ijkl i j k l

i j k l i j k l

i l j k i k j l

y y y y

E y y y y E y y E y y

E y y E y y E y y E y y

=

= −

− −

y

[ ] 4 2 2kurt[ ]=Cum [ ] 3 [ ]iiii i iE y E y= −y y[ ]2 2

i =Cum [ ]ii iE yσ =y

[ ]Cum =kurt[ ]ijkl ijklδs s

Page 10: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

10

Uni

vers

idad

Car

los

III

19

Aproximaciones de contrastesAproximaciones de orden superior− Comon (1989, 1994) demuestra que el contraste

(ortogonal) de máxima entropía se puede aproximar por

• reduce la dependencia entre las entradas del

vector de salida en términos de los estadísticos de orden 4.

• se puede interpretar

como una “desgaussianización” del vector de salida.

[ ] [ ]( ) [ ]( )cte.2 2

Cum CumoME ijkl iiii

ijkl iiii iφ

≈ =−∑ ∑y y y

[ ]( )2Cumijkl

ijkl iiii≠∑ y

[ ]( ) ( )2 2Cum kurt[ ]iiii ii i

y− = −∑ ∑y

Uni

vers

idad

Car

los

III

20

Mezcla y gaussianidadUn concepto clave en ICA/BSS es la “no gaussianidad”− La mezcla de variables aleatorias tiende a

“gaussianizarlas”.• Teorema Central del Límite

− Si además, las componentes del vector x tienen ruidogaussiano, el problema se agrava.

El contraste de Máxima Entropía puede interpretarse como un método que “desgaussianiza”las componentes del vector x

[ ] [ ]( ) ( )2 2min min Cum max kurt[ ]φ≠

⇔ ⇔∑ ∑oME ijkl i

ijkl iiii i

yB B B

y y

Page 11: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

11

Uni

vers

idad

Car

los

III

21

Kurtosis: medida de independenciaMedidas intuitivas de la “no gaussianidad”− Kurtosis (cumulante de cuarto orden)

• Si y tiene varianza unidad

• Las variables aleatorias gaussianas tienen kurtosis 0

{ } { }( )24 2kurt( ) 3y E y E y= −

{ }4kurt( ) 3y E y= −

•Fdp Laplaciana•Kurtosis positiva

•leptokurtic

•Supergaussiana

21( )2

yp y e−=•Fdp Uniforme•Kurtosis negativa

•platykurtic

•Subgaussiana

Uni

vers

idad

Car

los

III

22

Separación de gaussianas¿Por qué no se pueden separar señales gaussianas?− Incorrelación ⇔ Independencia

• Después del blanqueado, la kurtosis es nula.

( )2 21 2

21 2

1,2

y y

p y y eπ

+− =( )

2 21 2

2 21 22 2

1 21 2

1,2

s s

p s s e σ σ

π σ σ

− + =

Mezcla Blanqueado

Page 12: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

12

Uni

vers

idad

Car

los

III

23

Aproximaciones de contrastesAproximaciones de orden superior− JADE: Cardoso (1993, 1999) propone un contraste

“reducido-aproximado” diagonalización conjunta

− MaxKurt: en el caso de que las fuentes tengan kurtosis con el mismo signo, se puede derivar, a partir de

[ ] [ ]( ) [ ]( ) ( )cte.2 2 2Cum Cum kurt[ ]φ

≈ = − = −∑ ∑ ∑oME ijkl iiii i

ijkl iiii i i

yy y y

[ ] [ ]cte.

4

1Cum

NoKurt iiii i

i iE yφ

=

≈ − = − ∑ ∑y y

[ ] [ ]( )2º CumJADE ijkl

ijkl iikl

φ≠

= ∑y y

Uni

vers

idad

Car

los

III

24

Aproximaciones de contrastesAproximaciones de orden superior− Máxima verosimilitud:

• Error cuadrático entre cumulantes de segundo y cuarto orden de la fdp de la salida y la propuesta para los datos

− Amari (1996) propone emplear estos cumulantes para aproximar el contraste ML

[ ] [ ] [ ]( ) [ ]( )22 22 Cum Cum Cumij ij ij i ij

ij ijφ σ δ= − = −∑ ∑y y s y

[ ] [ ] [ ]( ) [ ] ( )( )22 24 Cum Cum Cum kurt[ ]ijkl ijkl ijkl i ijkl

ijkl ijklsφ δ= − = −∑ ∑y y s y

[ ] ( )2 4 241[ ] | 12 [ ] [ ] [ ]48ML Kφ φ φ φ= ≈ + =y y s y y y

Page 13: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

13

Uni

vers

idad

Car

los

III

25

Aplicación contrastes en BSSAplicación al problema de separación ciega

Supongamos dos fuentes s1 y s2 independientes con kurtosis kurt(s1) y kurt(s2)Si las mezclamosSi blanqueamos

Problema ICA: » Encontrar matriz de rotación U

» con la que se consiga independencia ⇔max. no gaussianidad⇔min. contraste

» Según Máxima Entropía,

» y la solución es

2 1 2 2 2 1× × ×=x A s1

2 1 2 2 2 2 2 12

cos sinsin cos

ss

φ φφ φ× × × ×

− = =

z W A s

[ ] 24 41 2min cos ( ) kurt( ) sin ( ) kurt( )ME s s

ϑφ ϑ φ ϑ φ= + + +y

s1

s2

x1

x2

y1

y2

z2

z1

2 1 2 2 2 2 2 2 2 1

2 2 2 1

× × × × ×

× ×

==

y U W A sC s

A

W

U

2 2

cos sinsin cos

ϑ ϑϑ ϑ×

− =

ϑ φ= −

[ ]minϑφ y

Uni

vers

idad

Car

los

III

26

Aproximaciones sinusoidalesContraste ME

[ ] [ ]( ) [ ]( )22 CumCum yyy jjjjiiiiME −−=φ

z1

z2

βρ

y2

y1

γ=θ+ β

2γ4

2γ2γ4ργ4 32

121

163

41

ccccME κκκκκφ −−−+=

0 4020 60 80-3

-2

-1

0

1

2

3

+

_

Page 14: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

14

Uni

vers

idad

Car

los

III

27

Aproximaciones sinusoidalesContraste SICA

[ ] [ ]( ) [ ]( )22 CumCum yyy jjjjiiiiME −−=φ

2γ4

2γ2γ4ργ4 32

121

163

41

ccccME κκκκκφ −−−+=

( )24γ ρ 4γ 2γ

1 3 1 44 16 2SICA c c c fφ κ κ κ κ θ= + − − =

Se elimina (SICA)

Min. φºSICA1flop

Min. φºME1400 flops Separación

Máxima Mezcla

0 0,5 1 1,5Rotación (rad)

φºSICAφºME

θ

Uni

vers

idad

Car

los

III

28

Blanquear

z1

z3

z2

y1

y3

y2

x1

x3

x2

yj

yi

θij

x

z

Mientras no se llegue a separación:•Aplicar SICA en cada plano bidimensional yi,yj:

Se calculan momentos Mij4

Se calcula θij que minimiza φSICA(θij, Mij

4), y se rota.

y

SICA: N dimensiones

Page 15: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

15

Uni

vers

idad

Car

los

III

29

Inicializar Momentos, M4

Blanquear

Mientras no se llegue a separación:•Aplicar SICA en cada plano bidimensional yi,yj:

Se calculan rotan momentos M4: Mij4

Se calcula θij que minimiza φSICA(θij, Mij4) y

se rota.

y

M4 requiere ¼ de la memoria necesaria en el

JADE

El número de operaciones disminuye

SICA inicializado: ISICA

Uni

vers

idad

Car

los

III

30

2 4 6 8 10 120

1

2

3

4

η n

Número de fuentes, N.

n=50 n=100n=200n=300

n=103

n= 1010SICA

ISICA

OSICA¿Cuándo usar inicialización?

¿Cuando n >>0? (Cardoso , 1999)

MACsno inicializado

ηn=MACsinicializado

(n : número de muestras)

SICA si N≥8ISICA si N<8

Page 16: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

16

Uni

vers

idad

Car

los

III

31

0.5 1 1.5 2

-10-505

Indi

cede

Sepa

raci

ón (d

B)

0.5 1 1.5 20

2

4 x 107

Flop

s

0.5 1 1.5 20123

Tiem

po C

PU (s

g)

Muestras x 104

JADE ME (Comon)

ISICA SICA

SICA

6 fuentes uniformemente distribuidas

Uni

vers

idad

Car

los

III

32

SICA

0.1 0.2 0.3 0.4 0.51520253035

Indi

cede

Sepa

raci

ón (d

B)

0.5 1 1.5 20

2

4x 108

Flop

s

0.5 1 1.5 20

10

20

Tiem

po

CPU

(sg)

ISICA SICA JADE ME (Comon)

Muestras x 104

12 fuentes:− 9 uniformentedistribuidas− 3 gaussianas al cubo

Page 17: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

17

Uni

vers

idad

Car

los

III

33

Parte III

Gradiente natural y relativo

Uni

vers

idad

Car

los

III

34

Escenario en BSS

En espacios euclídeos, la ley de aprendizaje basada en el gradiente (estocástico) permite alcanzar una solución:

− El algoritmo es estable cuando el contraste es mínimo.Problema − el espacio de las matrices “invertibles” B no es euclídeo.

Algoritmos adaptativos de BSS

1 ( )t t tλ φ+ = − ∇B B B

Axt Bt

ytst

1−≈B AMezcla

Separación

Page 18: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

18

Uni

vers

idad

Car

los

III

35

Gradiente relativoGradiente convencional: espacio euclídeo− la transformación infinitesimal de B se expresa como

Gradiente relativo: − la transformación infinitesimal de B se expresa como

( )→ + = +B I B B Bεε

→ +B B ε

B+B Bε

+B εEspacio de las

matrices de separación

Uni

vers

idad

Car

los

III

36

Gradiente relativoGradiente convencional: espacio euclídeo

Gradiente relativo:

Comparación:

( | () ( ) ( ) )oφ φ φ+ ∇ += +B B Bε ε ε

, 1

donde |N

Tij ij

i j

Traza A B=

= = ∑A B A B y ( )ijBφφ ∂

∇ =∂

B

( | () ( ) ( ) )oφ φ φ+ ∇ += +B B B B Bε ε ε

ˆ ( ) ( ) Tφ φ∇ ∇=B B B

B+B Bε

+B εEspacio de las

matrices de separación

ˆ ( )φ∇ B( )φ∇ B

ˆ( | () ( ) ( ) )oφ φ φ+ ∇ += +B B B Bε ε ε

Page 19: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

19

Uni

vers

idad

Car

los

III

37

Gradiente naturalGradiente natural:− Planteamiento: encontrar dB que minimiza

Comparación:

( |) ( ) ( )d dφ φ φ+ ∇= +B B B B B2 2teniendo en cuenta que d ε=B

B+B Bε

+B εEspacio de las

matrices de separación

ˆ ( )φ∇ B( )φ∇ B

min ( )d

dφ +B

B Bd+B B

( )φ∇ B gradiente natural

ˆ( ) ( ) ( ) Tφ φ φ∇ ∇ ∇= =B B B B B B

Uni

vers

idad

Car

los

III

38

Gradiente convencional y natural(a) Gradiente convencional(b) Gradiente natural

Page 20: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

20

Uni

vers

idad

Car

los

III

39

Gradiente convencional y naturalGradiente convencional y natural

Uni

vers

idad

Car

los

III

40

Algoritmo de aprendizajeAlgoritmo basado en el Gradiente convencional:

− En el caso de emplear ML:

• Teniendo en cuenta que

Por tanto

• y que

1 ( )t t tλ φ+ = − ∇B B B

( )( )-11 ( )

TTt t tλ ϕ+ = − −B B y y I B

( ) 1( ) log ( ) ( )= = ( )

( )y k k i i

j i i jij i i

p q y d q y x yB q y

ϕ −∂ − ′

− ∂

∫ y yB y

[ ] [ ]1 1

( )( ) | ( ) ( ) log

( ) ( )y

ML ML y yN N

pK p q p d

q s q sϕ ϕ = = = ∫

yy Bx y s y y

.( ) ( ) log ( ) log det( )

cte

y yH p p d= − =∫y y y y B

( )1( )T

H −∇ =B y B

Page 21: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

21

Uni

vers

idad

Car

los

III

41

Algoritmo de aprendizajeAlgoritmo basado en el Gradiente natural:

− En el caso de emplear:

Algoritmo basado en el gradiente relativo

B+B Bε

+B εEspacio de las

matrices de separación

ˆ ( )φ∇ B( )φ∇ B

min ( )d

dφ +B

B Bd+B B

( )φ∇ B gradiente natural

1 ( )t t tλ φ+ = − ∇B B B

( )1 ( )Tt t tλ ϕ+ = − −B B y y I B

[ ]MLφ y

1, ,

( )siendo ( ) "score function"( )

T i i

i i i N

q yq y

ϕ=

′= − …

y

( )1 ( )Tt t λ ϕ+ = − −B B y y I

ˆ( ) ( ) ( ) Tφ φ φ∇ ∇ ∇= =B B B B B B

Uni

vers

idad

Car

los

III

42

Algoritmo de aprendizajeAlgoritmo ML − Gradiente natural:

− Gradiente relativo

− Gradiente convencional− ¿ϕ(y)?: si no se conoce, se emplean funciones no

lineales y3, y5, ...• Al multiplicar ϕi(yi) por yj se generan productos cruzados

( )1 ( )Tt t tλ ϕ+ = − −B B y y I B

( )1 ( )Tt t λ ϕ+ = − −B B y y I

ϕ(y)

y

( )( )11 ( )

TTt t tλ ϕ −+ = − −B B y y I B

Page 22: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

22

Uni

vers

idad

Car

los

III

43

Algoritmo de aprendizaje¿ϕ(y)?: − Supongamos una fdp Laplaciana

[ ] 1, ,1, ,

( )entonces ( ) sgn( )( )

T i ii i N

i i i N

q y yq y

ϕ=

=

′= − =

……

y

ϕ(y)

y

21( )2

yiq y e−=

Uni

vers

idad

Car

los

III

44

[ ] 0)sgn(E 12 =−+−= dcbayy

Centros de masa de cada cuadrante

y1

y2y2

y1

abc

d

( )( ) kH

kkkk BIyyBB −−=+ sgn1 λ

Máxima Verosimilitud, Gradiente Natural

( ) ( )( ) kH

kkkk Iλ ByyBB −−=+ sgn1 ϕ

Momentos de orden superior

La función signo: centro de masa

Page 23: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

23

Uni

vers

idad

Car

los

III

45

Versión Ortogonal: Median-EASIEl algoritmo EASI (Equivariant Adaptive Separation via Independence) actualiza la matriz de separación según la siguiente ley de aprendizaje:

Blanqueado Rotación

( ) kH

kkHkk

Hkkkk ByyyyIyyBB )()(1 ϕϕ −+−−=+ λ

Median-EASI:

( ) kH

kkHkk

Hkkkk ByyyxIyyBB )(sgn()sgn()()sgn(1 ϕϕ )−+−−=+ λ

Uni

vers

idad

Car

los

III

46

M-EASI: Recuperación de fases

EASI

M-EASI

Page 24: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

24

Uni

vers

idad

Car

los

III

472000 4000 6000 80000

10

20

Muestras

Indi

cede

Sep

. (dB

) EASI M-EASI

2000 4000 6000 80000

10

20

Muestras

Indi

cede

Sep

.(dB

) EASI M-EASI

M-EASI: mezclas ruidosas

Con ruido

Sin ruido

Uni

vers

idad

Car

los

III

48

Estabilidad: caso regular

-4 -2 0 2 4

κi-γj

4

2

κi-γj 0

-2

-4

Estable

ML,Gradiente NaturalML,Gradiente Mediana

Page 25: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

25

Uni

vers

idad

Car

los

III

49

Parte IV

Aplicaciones

Uni

vers

idad

Car

los

III

50

SICA en ECG Fetal

ECG

Page 26: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

26

Uni

vers

idad

Car

los

III

51

ECG

SICA en ECG Fetal

Uni

vers

idad

Car

los

III

52

SICA en ECG Fetal: Carga Computacional

Método FlOps Tiempo de CPU

SICA 6.7 106 0.52

JADE 15.1 106 (∆ = 125%) 0.69 (∆ = 32%)

Page 27: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

27

Uni

vers

idad

Car

los

III

53

x1

x2

x3x’3

x’2

x’1

x y=Bx x’

Se Obtienen Registros

ERP

ICA Componentes Independientes

El personal especializado selecciona una componente para proyectarla en el cuero cabelludoB B-1

SICA en ERP- EEG

Uni

vers

idad

Car

los

III

54

SICA en ERP- EEG

Page 28: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

28

Uni

vers

idad

Car

los

III

55

SICA en ERP- EEG

Uni

vers

idad

Car

los

III

56

SICA en EEGCarga Computacional y Separación

Método FlOps Tiempo de CPU (sg) p.v.a.f

SICA 6.5 106 0.61 97%

E. Infomax 49.7 106 (∆ = 664%) 3.19 (∆ = 422%) 88%

JADE 40.2 106 (∆ = 518%) 2.09 (∆ = 242%) 95%

Page 29: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

29

Uni

vers

idad

Car

los

III

57

CDMA y BSSSistema CDMA con N-usuarios:

La señal recibida x es la superposición de las señales ensanchadas de los N usuarios más ruido aditivo gaussiano.

b1

b2

bN

...

code1

code2

codeN

L chips

P1

P2

PN

ruido

L chips

1L1NNL1L nbΗx ×××× +=

NL×H

BSS permite recuperar b a partir de x sin conocer H→ independencia estadísitica

Uni

vers

idad

Car

los

III

58

Arquitectura del Rx CDMAArquitectura RX ciego para CDMA

− El separador de subespacio proyecta el espacio de entrada (L) en el subespacio de señal (N) : SVD, MPLL (Barry 1998), ...

− El bloque separador recupera los usuarios.

Rx CDMA Ciego

Canal=f(H)xt zt yt

L x N N x L N x N

bt

γt

Separador

SubespacioBSS

S

Page 30: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

30

Uni

vers

idad

Car

los

III

59

Subespacio I-WR (semiciego)

Subespacio I -MEASI (ciego)

Subespacio II-MEASI (ciego)

MMSE

Filtro Adaptado

Rx CDMA: MUD

0 1000 2000 3000 40000

5

10

15

208 Usuarios SNR: 20 MAI: 0

SIN

R (d

B)

Muestras

0 1000 2000 3000 40000

5

10

15

20

SIN

R (d

B)

8 Usuarios SNR: 20 MAI: 30

Muestras 0 1000 2000 3000 4000

0

5

10

15

20

SIN

R (d

B)

8 Usuarios SNR: 20 MAI: 15

Muestras 0

Uni

vers

idad

Car

los

III

60

Rx CDMA: BER

0 2 4 6 8 10 12

10-4

10-3

10-2

10-1

8 usuarios y MAI: 15

BER Rx's con M-EASI

Otro Rx ciego (1998)

SNR

Filt. Adap

MMSE

Page 31: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

31

Uni

vers

idad

Car

los

III

61

Descomposición imagen

ICAB

Procesado componentes

Composición imagen

I xt yt

X=

I=n

m/k x n/k

k x k

m

xt

Procesado ICA de imagen

Uni

vers

idad

Car

los

III

62

Descomposición Imagen BG

InserciónComponentes

Composición Imagen

B-1G

Descomposición Marca BM

Extraccióncomponentes

marca

Descomposición imagen selladaBG

Composición MarcaB-1

W

ManipulacionesAtaques

Procesado ICA de imagen

Page 32: Separación Ciega de Fuentes al Aplicación de Técnicas de ...fran/Cursos/BSS/BSS_ICA.pdf · 4 Universidad Carlos III 7 Separación de fuentes Mezcla instantánea de 2 fuentes independientes

32

Uni

vers

idad

Car

los

III

63

Sellado Robusto

Sella

do R

obus

to

Orig

inal

Rec

orte

y ru

ido

JPEG

80%

Suav

izad

o

Uni

vers

idad

Car

los

III

64

Sella

do R

obus

to

Orig

inal

Rec

orte

y ru

ido

JPEG

80%

Suav

izad

o