1 algebra lineal y vectores aleatorios
TRANSCRIPT
INTRODUCCIÓN 1. Álgebra lineal y vectores aleatorios 2. Distribución normal multivariante ANÁLISIS DE LA MATRIZ DE COVARIANZAS 3. Componentes principales 4. Análisis factorial 5. Correlaciones canónicas CLASIFICACIÓN 6. Análisis discriminante 7. Análisis de conglomerados
ANÁLISIS MULTIVARIANTE
1
1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS
Vectores Ortogonalización de Gram-Schmidt Matrices ortogonales Autovalores y autovectores Formas cuadráticas Vectores y matrices aleatorias Matriz de datos
2
3EJEMPLOS
ALGEBRA LINEAL
Vectores
Matriz de datos: p variables observadas en n objetos
4
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
321
3333231
2232221
1131211
pen
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
321
3333231
2232221
1131211
pen
Objeto_1
Objeto_n
Variable_1 Variable_p
ALGEBRA LINEAL
Vectores
Dados
px
x
x 1
py
y
y 1
se define:
1. Suma
pp yx
yx
yx 11
5
ALGEBRA LINEAL
Vectores
2. Producto de un escalar por un vector
pxc
xc
xc 1
3. Producto escalar de dos vectores
pp
p
iii yxyxyxyxyxyx
111
',
6
ALGEBRA LINEAL
Vectores
4. Norma de un vector
Propiedades
p
iixxxxxx
1
22/1)'('
zxbyxabzayx ,,,
xyyx ,,
00,0, xxxyxx
x xx x
7
ALGEBRA LINEAL
Vectores
5. Distancia entre dos vectores
6. Ángulo entre dos vectores
yxyxd ),(
y
x
yx y
x
yx
8
yx
yx,cos
yxyx 0cos0,
ALGEBRA LINEAL
Vectores
Desigualdad de Cauchy-Schwarz
yxyx ,
Consecuencia:
9
1cos1
1,
1
,
yx
yx
yxyxyx
ALGEBRA LINEAL
Vectores
7. Ortogonalidad
8. Ortonormalidad
nuuu ,,, 21 jiuu ji ,
es ortonormal si es ortogonal
y todos los vectores tienen norma 1, es decir,
es ortogonal si
10
neee ,,, 21
iei 1
ALGEBRA LINEAL
Vectores
Ejemplo
11
cos)(),()(?)(
)(,)(
3
0
1
2
0
1
vvudivvuiii
uiivui
vu
ALGEBRA LINEAL
Vectores
Un conjunto de vectores nuuu ,,, 21
es linealmente independiente si
n
n
iii cccuc
211
0
(la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0)
12
=0
ALGEBRA LINEAL
Vectores
Proposición. Todo conjunto ortogonal de vectores no nulos es linealmente independiente.
nuuu ,,, 21 ortogonal nuuu ,,, 21 l.i.
00,
0,,
0
11
11
jjj
jjjnnj
nn
cuu
uucucucu
ucuc
Demostración
13
ALGEBRA LINEAL
Vectores
Proyección de x sobre y
14
yy
yxy
yy
yxxpr y 2
,
,
,)(
ALGEBRA LINEAL
Vectores
Ejemplo
15
?)(
?)(
1
1
2
3
0
1
ypr
xpr
yx
x
y
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
V subespacio vectorial de psi V es espacio vectorial,
;,, bayVvues decir, si Vbvau
Dado A =
n
iiii cucAspan
1
:
nuuu ,,, 21
Propiedades
subespaciounesAspanii
AspanAi
)()(
)(
16
pV
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Proposición
n
i
uuspanv
niuv
,,
,,1
1
0,,,
,,
11
1
i
n
ii
n
iii
n
uvcucvvu
uuspanu Demostración
17
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
111
11
11
1
222
231
11
1333
111
1222
11
,
,
,
,
,
,
,
,,
,
nnn
nnnnn u
uu
uxu
uu
uxxu
uuu
uxu
uu
uxxu
uuu
uxxu
xu
Sean
Dado un conjunto de vectores l.i., se puede construir otro conjunto ortogonal que genere elmismo espacio.
linealmente independientes nxxx ,,, 21
18
ALGEBRA LINEAL
Ortogonalización de Gram-Schmidt
Entonces:
ortogonalesuuii
uuspanxxspani
n
nn
,,)(
,,,,)(
1
11
19
ALGEBRA LINEAL
Matrices ortogonales
Matrices ortogonales
Anxn; inversa A-1: A A-1 = A-1A = I.
A’ transpuesta de A.
Qnxn es ortogonal si Q’Q = QQ’ = I.(las columnas de una matriz ortogonal son vectores ortonormales)
mnmm
n
mxn
aaa
aaa
A
21
11211
20
ALGEBRA LINEAL
Matrices ortogonales
Propiedades
QyQxy
x
21
xQxiii
QyQxyxii
yxQyQxi
ortogonal
matrizQyx p
)(
)(
,,)(
; ,
ALGEBRA LINEAL
Autovalores y autovectores
Anxn; xAxquetalx 0
x
autovalor de A
x es autovector asociado a
0
0)(,0
0,0
0 ,0
IA
xIAx
IxAxx
xAxx
Polinomiocaracterístico
Ecuacióncaracterística
22
ALGEBRA LINEAL
Autovalores y autovectores
Ejemplo
Autovalores y autovectores de
23
15
51A
ALGEBRA LINEAL
Autovalores y autovectores
Propiedades
..
,)(
)(
21
22
1121
21
ilsonxyxautovalorconx
autovalorconxii
trAi n
Diagonalización de matrices
jiijnxn aaAAsimétricaA '
nnn
n
nxn
aa
a
aaa
A
1
12
11211
24
ALGEBRA LINEAL
Autovalores y autovectores: diagonalización
Si A simétrica entonces
'
'
'
0
0
2
1
2
1
21
nn
nnxn
e
e
e
eeeA
existen autovalores reales n ,,1 con autovectores asociados nee ,,1
ortonormales tales que
P P’D
A=PDP’, siendo D diagonal y P ortogonal
(Toda matriz simétrica es diagonalizable)
25
ALGEBRA LINEAL
Ejemplo
Diagonalizar
26
22
23A
Autovalores y autovectores: diagonalización
ALGEBRA LINEAL
Autovalores y autovectores:representación espectral
Sea
n ,,1 con autovectores ortonormales nee ,,1
tales que
Si A es simétrica entonces existen autovalores reales
.''222
'111 nnn eeeeeeA
.
1
12
11211
nnn
n
nxn
aa
a
aaa
A
27
ALGEBRA LINEAL
Ejemplo
Descomposición espectral de
28
62
29A
Autovalores y autovectores:representación espectral
ALGEBRA LINEAL
Formas cuadráticas
Anxn simétrica;
n
jii
n
jjiij
n
i
n
j
n
iiijjiij
nnnnjiijnnn
nnnn
n
n
xxaxaxxa
xxaxxaxxaxaxa
x
x
x
aa
a
aaa
xxxxf
1 11 1 1
2
11211222
111
2
1
1
21
11211
21
2
)(
nx ,
nx
x
x 1
f(x)=x’ A x es una forma cuadrática
29
ALGEBRA LINEAL
Formas cuadráticas
Ejemplo
Expresar matricialmente la forma cuadrática
Escribir en forma cuadrática
30
32312123
22
21321 546325),,( xxxxxxxxxxxxf
2
12121 22
21),(
x
xxxxxf
ALGEBRA LINEAL
Formas cuadráticas
Como Anxn es simétrica, es diagonalizable,
se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:
,
0
0
')(1
211
1
n
iii
nn
n y
y
y
yyDyyyf
se tiene
.)( 2
1
211
2nn
n
iii yyyyf
31
Formas cuadráticas
x2
x1 y2y1
e2e1 2λ
c
1λ
c
ALGEBRA LINEAL32
y los autovectores x’Ax=c2 representa geométricamente una elipseen
2222
211
2
2
'''
cyycxPDPxcAxx
; los autovalores son 21 normalizados son e1 y e2.
2
Formas cuadráticas
ALGEBRA LINEAL33
Ejemplo
Representar, hallar los ejes y obtener la expresión
reducida de
9135
513
2
121
x
xxx
Formas cuadráticas
Clasificación de formas cuadráticas
ALGEBRA LINEAL34
Sea f(x) = x’ A x
f es definida positiva si
f es semidefinida positiva si
f es semidefinida negativa si
f es definida negativa si
f es indefinida si
0)(,0 xfx0)(, xfx n
0)(,0 xfx
0)(0)( 2121 xfyxfquetalxyx nn
0)(, xfx n
Formas cuadráticas
Sean los autovalores de A
f es definida positiva
f es semidefinida positiva
f es semidefinida negativa
f es definida negativa
f es indefinida
ALGEBRA LINEAL
0,,01 n 0,,01 n
0,,01 n 0,,01 n
0,0 ji
35
n ,,1
Raíz cuadrada de una matriz
B es raíz de A si A=BB;
ALGEBRA LINEAL
n
iii eeA
1
'
Raíz cuadrada de una matriz:
A semidefinida positiva;
B=A1/2 ; A=A1/2 A1/2
Si A es simétrica y A=PDP’ con
descomposición espectral
entonces:
36
Formas cuadráticas
ALGEBRA LINEAL
Raíz cuadrada de una matriz:
'
'
0
0
'
0
0
1
12/1
1
ii
n
ii
n
n
ee
PPA
PPASea
'1
'
/10
0/1
1
11
ii
n
i in
eePPA
Nota:
37
Descomposición singular de una matriz
ALGEBRA LINEAL
i
Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
VUAk
00
0
0
01
es un valor singular de A, si 2
i es autovalor de AA’.
Descomposición singular
Sea A una matriz mxn; k ,,1 valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
38
Vectores y matrices aleatorias
22 )]([)(
)(
aleatoria variable
iiiiii
ii
i
XEXEXV
XE
X
mnmm
n
p XXX
XXX
X
X
X
21
112111
;
Vectoraleatorio
Matrizaleatoria
31
Vectores y matrices aleatorias
)(
)( 11
pp XE
XE
EX
Se llama vector de medias a:
y covarianza entre dos variables a
Se define la matriz de covarianzas de X como:
)].)([(),( jjiijiij EXXEXXEXXCov
ppp
p
XVX
1
111
40
:Entonces . , ;constantes c ,11
VXEX
c
c
X
X
X
pp
ccXcVii
cXcEi
')'( )(
')'( )(
'.)( )(
.)( )(
:Entonces .constantes de matriz
CCCXVii
CEXCXEi
Cmxp
Vectores y matrices aleatorias
Vectores y matrices aleatorias
ALGEBRA LINEAL
Ejemplo
42
42
26
0
1
2
2
123
212
121
2
1
XXY
XXY
XXY
X
XX
Vectores y matrices aleatorias
)()()()()()()(
)()(
)()(
)()()(
1
111
YEXEYXEYiiiBXAEAXBEii
XEXE
XEXE
AXAEAXEi
mxn
mnm
n
Propiedades
Sea Xmxn y sean Akxm y Bnxr matrices de constantes.
Entonces:
43
Vectores y matrices aleatorias
,
1
1
1
21
221
112
pp
p
p
rr
rr
rr
Matriz de correlaciones
,2/12/1 VVen forma matricial:
donde V es la matriz de varianzas:
2
2111
0
0
0
0
ppp
V
donde ;jjii
ijijr
44
Vectores y matrices aleatorias
)2(
)1(
1
1
1
;X
X
X
X
X
X
X
X
X
X
p
r
r
p
Partición de un vector aleatorio
)2(
)1(
Vector de medias:
Sea
Matriz de covarianzas:
2221
1211
),(),()()(
)2()1()2()1('2112
)2(22
)1(11
ji XXCovXXCovXVXV
, donde
45
Matriz de datos
46
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
321
3333231
2232221
1131211
pen
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
321
3333231
2232221
1131211
pen
Objeto_1
Objeto_n
Variable_1 Variable_p
n
xx
n
xx
n
iip
p
n
ii
111
1
Matriz de datos
47
px
x
x 1
Vector de medias:
Matriz de varianzas y covarianzas:
donde
ppp
p
n
ss
ss
S
1
111
nxxxxs jkj
n
kikiij /)()(
1
Matriz de correlaciones:2/12/1 nnn VSVR , donde
pp
n
s
s
V
0
011
Matriz de datos
; ...,,,; 21
1
diiXXX
X
X
X n
p
Proposición
n
XX
n
ii
1
Dado
48
n
nSEiii
nXVii
XEi
n
1)()(
/)()(
)()(
Matriz de datos
49
La matriz de datos se puede representar como:
Diagrama de dispersión, n puntos en el espaciop
x1
x2
p=2
x1
x2
x3p=3
Como para p>3 no es posible representarlo, se utilizan
diagramas de dispersión múltiple con pares de
variables.
Matriz de datos
50
Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en n
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
321
3333231
2232221
1131211
pen
Objeto_1
Objeto_n
Variable_1 Variable_p
nxp
npnnn
p
p
p
X
xxxx
xxxx
xxxx
xxxx
321
3333231
2232221
1131211
pen
Objeto_1
Objeto_n
Variable_1 Variable_p
Y1 Y2 Y3 Yp
Para cuatro variables:
34333231
24232221
14131211
xxxx
xxxx
xxxx
X
Y1 Y2 Y3 Y4
Y1 Y4
Y3
Y2
Matriz de datos
51
y forma el mismo ángulo con todos
los ejes.
1
1
11 nx
n1
Vector de unos: n unos
Propiedades
es el vector unitario que forma el mismo
ángulo en todas las direcciones.
n/1
Matriz de datos
52
Proyección de un vector sobre el vector
i
i
i
n
jij
ii
x
x
xn
xy
ypr 1111,1
1,)( 1
1
:1
yi
1 1ix
Matriz de datos
53
1
111
i
ni
i
ini
ii
i x
x
x
xx
xx
d
Vector de desviaciones a la media:
Matriz de datos
54
Entonces:
ij
jjii
ij
jjii
ij
ji
ji
ji
ijjkj
n
kikiji
iiiiniiii
rss
s
nsns
ns
dd
dddd
nsxxxxdd
nsdxxxxd
,),cos(
)()(,
)(...)(
1
2221
Matriz de datos
55
ppp
p
pp
XE
X
X
X
1
11111
;)(;
Varianza generalizada y varianza total:
Matriz de datos
56
Varianza generalizada de X:
Varianza total de X:
Varianza generalizada muestral:
Varianza total muestral:
)det(
pptraza 11)(
ppn ssStraza 11)(
)det( nn SS
Matriz de datos
57
Interpretación geométrica
Área =
Varianza generalizada en
pn n
VolumenS
2
||)1(cos1 2122211
2221121 nSnrssnnsnssendd
p
58EJEMPLOS
59EJEMPLOS
60EJEMPLOS
Matriz de datos
61
ppppp
p
n
pp b
b
b
c
c
c
ss
ss
S
x
x
x
X
X
X
11
1
11111
;;;;
Combinaciones lineales de las componentes de
una variable
y las combinaciones lineales:
Media muestral de c’X:
Varianza muestral de c’X:
Covarianza muestral de c’X y b’X:
pp
pp
XbXbXbXcXcXc
11
11
''
xc'cSc n'
bSc n'
Matriz de datos
62ALGEBRA LINEAL
Ejemplo
31
21
3
2
1
2'32'
014
012
013
102
XXXbXXXc
X
X
X
XX
63EJEMPLOS
64EJEMPLOS
65EJEMPLOS
66EJEMPLOS
67EJEMPLOS
68EJEMPLOS
69EJEMPLOS