manua análisis multivariante

7/31/2019 manua anlisis multivariante

1/295

NUEVOS MTODOS DE ANLISISMULTIVARIANTE

Carles M. Cuadras

21 de marzo de 2012


2/295

2

Es propiedad del autor.

cC. M. CuadrasCMC EditionsManacor 3008023 Barcelona, Spain


3/295

ndice general

1. DATOS MULTIVARIANTES 111.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.2. Matrices de datos . . . . . . . . . . . . . . . . . . . . . . . . . 111.3. La matriz de centrado . . . . . . . . . . . . . . . . . . . . . . 121.4. Medias, covarianzas y correlaciones . . . . . . . . . . . . . . . 131.5. Variables compuestas . . . . . . . . . . . . . . . . . . . . . . . 141.6. Transformaciones lineales . . . . . . . . . . . . . . . . . . . . . 141.7. Teorema de la dimensin . . . . . . . . . . . . . . . . . . . . . 151.8. Medidas globales de variabilidad y dependencia . . . . . . . . 161.9. Distancias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171.10. Algunos aspectos del clculo matricial . . . . . . . . . . . . . . 19

1.10.1. Descomposicin singular . . . . . . . . . . . . . . . . . 191.10.2. Inversa generalizada . . . . . . . . . . . . . . . . . . . 191.10.3. Aproximacin matricial de rango inferior . . . . . . . . 201.10.4. Transformacin procrustes . . . . . . . . . . . . . . . . 21

1.11. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221.12. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2. NORMALIDAD MULTIVARIANTE 272.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.2. Distribucin normal multivariante . . . . . . . . . . . . . . . . 28

2.2.1. Denicin . . . . . . . . . . . . . . . . . . . . . . . . . 282.2.2. Propiedades . . . . . . . . . . . . . . . . . . . . . . . . 29

2.2.3. Caso bivariante . . . . . . . . . . . . . . . . . . . . . . 302.3. Distribucin de Wishart . . . . . . . . . . . . . . . . . . . . . 312.4. Distribucin de Hotelling . . . . . . . . . . . . . . . . . . . . . 322.5. Distribucin de Wilks . . . . . . . . . . . . . . . . . . . . . . . 332.6. Relaciones entre Wilks, Hotelling y F . . . . . . . . . . . . . . 35

3


4/295

4 NDICE GENERAL

2.7. Distribucin multinomial . . . . . . . . . . . . . . . . . . . . . 36

2.8. Distribuciones con marginales dadas . . . . . . . . . . . . . . . 372.9. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3. INFERENCIA MULTIVARIANTE 413.1. Conceptos bsicos . . . . . . . . . . . . . . . . . . . . . . . . . 413.2. Estimacin de medias y covarianzas . . . . . . . . . . . . . . . 423.3. Tests multivariantes . . . . . . . . . . . . . . . . . . . . . . . . 43

3.3.1. Test sobre la media: una poblacin . . . . . . . . . . . 433.3.2. Test sobre la media: dos poblaciones . . . . . . . . . . 443.3.3. Comparacin de medias . . . . . . . . . . . . . . . . . 44

3.4. Teorema de Cochran . . . . . . . . . . . . . . . . . . . . . . . 45

3.5. Construccin de tests multivariantes . . . . . . . . . . . . . . 483.5.1. Razn de verosimilitud . . . . . . . . . . . . . . . . . . 483.5.2. Principio de unin-interseccin . . . . . . . . . . . . . . 50

3.6. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513.7. Anlisis de perles . . . . . . . . . . . . . . . . . . . . . . . . 573.8. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

4. ANALISIS DE CORRELACION CANONICA 614.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614.2. Correlacin mltiple . . . . . . . . . . . . . . . . . . . . . . . 614.3. Correlacin cannica . . . . . . . . . . . . . . . . . . . . . . . 634.4. Correlacin cannica y descomposicin singular . . . . . . . . 664.5. Signicacin de las correlaciones cannicas . . . . . . . . . . . 674.6. Test de independencia . . . . . . . . . . . . . . . . . . . . . . 67

4.6.1. Razn de verosimilitud . . . . . . . . . . . . . . . . . . 684.6.2. Principio de unin interseccin . . . . . . . . . . . . . . 68


5. ANALISIS DE COMPONENTES PRINCIPALES 735.1. Denicin y obtencin de las componentes principales . . . . . 73

5.2. Variabilidad explicada por las componentes principales . . . . 755.3. Representacin de una matriz de datos . . . . . . . . . . . . . 765.4. Inferencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

5.4.1. Estimacin y distribucin asinttica . . . . . . . . . . . 795.4.2. Tests de hiptesis . . . . . . . . . . . . . . . . . . . . . 80


5/295

NDICE GENERAL 5

5.5. Nmero de componentes principales . . . . . . . . . . . . . . . 82

5.5.1. Criterio del porcentaje . . . . . . . . . . . . . . . . . . 825.5.2. Criterio de Kaiser . . . . . . . . . . . . . . . . . . . . . 835.5.3. Test de esfericidad . . . . . . . . . . . . . . . . . . . . 835.5.4. Criterio del bastn roto . . . . . . . . . . . . . . . . . . 83

5.6. Biplot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 845.7. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 855.8. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

6. ANLISIS FACTORIAL 916.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 916.2. El modelo unifactorial . . . . . . . . . . . . . . . . . . . . . . 92

6.3. El modelo multifactorial . . . . . . . . . . . . . . . . . . . . . 946.3.1. El modelo . . . . . . . . . . . . . . . . . . . . . . . . . 946.3.2. La matriz factorial . . . . . . . . . . . . . . . . . . . . 956.3.3. Las comunalidades . . . . . . . . . . . . . . . . . . . . 956.3.4. Nmero mximo de factores comunes . . . . . . . . . . 966.3.5. El caso de Heywood . . . . . . . . . . . . . . . . . . . 976.3.6. Un ejemplo . . . . . . . . . . . . . . . . . . . . . . . . 97

6.4. Teoremas fundamentales . . . . . . . . . . . . . . . . . . . . . 996.5. Mtodo del factor principal . . . . . . . . . . . . . . . . . . . 1016.6. Mtodo de la mxima verosimilitud . . . . . . . . . . . . . . . 102

6.6.1. Estimacin de la matriz factorial . . . . . . . . . . . . 1026.6.2. Hiptesis sobre el nmero de factores . . . . . . . . . . 103

6.7. Rotaciones de factores . . . . . . . . . . . . . . . . . . . . . . 1046.7.1. Rotaciones ortogonales . . . . . . . . . . . . . . . . . . 1046.7.2. Factores oblicuos . . . . . . . . . . . . . . . . . . . . . 1056.7.3. Rotacin oblicua . . . . . . . . . . . . . . . . . . . . . 1066.7.4. Factores de segundo orden . . . . . . . . . . . . . . . . 108

6.8. Medicin de factores . . . . . . . . . . . . . . . . . . . . . . . 1096.9. Anlisis factorial conrmatorio . . . . . . . . . . . . . . . . . . 1106.10. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

7. ANALISIS CANONICO DE POBLACIONES 1157.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1157.2. Variables cannicas . . . . . . . . . . . . . . . . . . . . . . . . 1167.3. Distancia de Mahalanobis y transformacin cannica . . . . . 1187.4. Representacin cannica . . . . . . . . . . . . . . . . . . . . . 119


6/295

6 NDICE GENERAL

7.5. Aspectos inferenciales . . . . . . . . . . . . . . . . . . . . . . . 121

7.5.1. Comparacin de medias . . . . . . . . . . . . . . . . . 1217.5.2. Comparacin de covarianzas . . . . . . . . . . . . . . . 1217.5.3. Test de dimensionalidad . . . . . . . . . . . . . . . . . 1227.5.4. Regiones condenciales . . . . . . . . . . . . . . . . . . 123

7.6. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

8. ESCALADO MULTIDIMENSIONAL (MDS) 1298.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1298.2. Cuando una distancia es eucldea? . . . . . . . . . . . . . . . 1308.3. El anlisis de coordenadas principales . . . . . . . . . . . . . . 1328.4. Similaridades . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

8.5. Nociones de MDS no mtrico . . . . . . . . . . . . . . . . . . 1378.6. Distancias estadsticas . . . . . . . . . . . . . . . . . . . . . . 140

8.6.1. Variables cuantitativas . . . . . . . . . . . . . . . . . . 1408.6.2. Variables binarias . . . . . . . . . . . . . . . . . . . . . 1418.6.3. Variables categricas . . . . . . . . . . . . . . . . . . . 1428.6.4. Variables mixtas . . . . . . . . . . . . . . . . . . . . . 1438.6.5. Otras distancias . . . . . . . . . . . . . . . . . . . . . . 143


9. ANALISIS DE CORRESPONDENCIAS 1539.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1539.2. Cuanticacin de las variables categricas . . . . . . . . . . . 1559.3. Representacin de las y columnas . . . . . . . . . . . . . . . 1569.4. Representacin conjunta de las y columnas . . . . . . . . . . 1589.5. Soluciones simtrica y asimtrica . . . . . . . . . . . . . . . . 1619.6. Variabilidad geomtrica (inercia) . . . . . . . . . . . . . . . . 1629.7. Analisis de Correspondencias Mltiples . . . . . . . . . . . . . 1659.8. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1679.9. MDS ponderado . . . . . . . . . . . . . . . . . . . . . . . . . . 1719.10. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

10.CLASIFICACION 17910.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17910.2. Jerarqua indexada . . . . . . . . . . . . . . . . . . . . . . . . 18010.3. Geometra ultramtrica . . . . . . . . . . . . . . . . . . . . . . 182


7/295

NDICE GENERAL 7

10.4. Algoritmo fundamental de clasicacin . . . . . . . . . . . . . 186

10.5. Equivalencia entre jerarqua indexada y ultramtrica . . . . . 18610.6. Algoritmos de clasicacin jerrquica . . . . . . . . . . . . . . 18710.6.1. Mtodo del mnimo . . . . . . . . . . . . . . . . . . . . 18910.6.2. Mtodo del mximo . . . . . . . . . . . . . . . . . . . . 190

10.7. Otras propiedades del mtodo del mnimo . . . . . . . . . . . 19210.8. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19410.9. Clasicacin no jerrquica . . . . . . . . . . . . . . . . . . . . 19810.10.Nmero de clusters . . . . . . . . . . . . . . . . . . . . . . . . 19910.11.Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

11.ANALISIS DISCRIMINANTE 203

11.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20311.2. Clasicacin en dos poblaciones . . . . . . . . . . . . . . . . . 20411.2.1. Discriminador lineal . . . . . . . . . . . . . . . . . . . 20411.2.2. Regla de la mxima verosimilitud . . . . . . . . . . . . 20511.2.3. Regla de Bayes . . . . . . . . . . . . . . . . . . . . . . 205

11.3. Clasicacin en poblaciones normales . . . . . . . . . . . . . . 20611.3.1. Discriminador lineal . . . . . . . . . . . . . . . . . . . 20611.3.2. Regla de Bayes . . . . . . . . . . . . . . . . . . . . . . 20711.3.3. Probabilidad de clasicacin errnea . . . . . . . . . . 20711.3.4. Discriminador cuadrtico . . . . . . . . . . . . . . . . . 20711.3.5. Clasicacin cuando los parmetros son estimados . . . 20811.3.6. Un ejemplo . . . . . . . . . . . . . . . . . . . . . . . . 208

11.4. Discriminacin en el caso de k poblaciones . . . . . . . . . . . 21111.4.1. Discriminadores lineales . . . . . . . . . . . . . . . . . 21111.4.2. Regla de la mxima verosimilitud . . . . . . . . . . . . 21211.4.3. Regla de Bayes . . . . . . . . . . . . . . . . . . . . . . 21311.4.4. Un ejemplo clsico . . . . . . . . . . . . . . . . . . . . 213

12.DISCRIMINACION LOGISTICA Y BASADA EN DISTAN-CIAS 21512.1. Anlisis discriminante logstico . . . . . . . . . . . . . . . . . . 215

12.1.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . 21512.1.2. Modelo de regresin logstica . . . . . . . . . . . . . . . 21612.1.3. Estimacin de los parmetros . . . . . . . . . . . . . . 21712.1.4. Distribucin asinttica y test de Wald . . . . . . . . . 21812.1.5. Ajuste del modelo . . . . . . . . . . . . . . . . . . . . . 219


8/295

8 NDICE GENERAL

12.1.6. Curva ROC . . . . . . . . . . . . . . . . . . . . . . . . 220

12.1.7. Comparacin entre discriminador lineal y logstico . . . 22212.2. Anlisis discriminante basado en distancias . . . . . . . . . . . 22512.2.1. La funcin de proximidad . . . . . . . . . . . . . . . . 22512.2.2. La regla discriminante DB . . . . . . . . . . . . . . . . 22612.2.3. La regla DB comparada con otras . . . . . . . . . . . . 22712.2.4. La regla DB en el caso de muestras . . . . . . . . . . . 228

12.3. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

13.EL MODELO LINEAL 23313.1. El modelo lineal . . . . . . . . . . . . . . . . . . . . . . . . . . 23313.2. Suposiciones bsicas del modelo . . . . . . . . . . . . . . . . . 234

13.3. Estimacin de parmetros . . . . . . . . . . . . . . . . . . . . 23513.3.1. Parmetros de regresin . . . . . . . . . . . . . . . . . 23513.3.2. Varianza . . . . . . . . . . . . . . . . . . . . . . . . . . 236

13.4. Algunos modelos lineales . . . . . . . . . . . . . . . . . . . . . 23713.4.1. Regresin mltiple . . . . . . . . . . . . . . . . . . . . 23713.4.2. Diseo de un factor . . . . . . . . . . . . . . . . . . . . 23813.4.3. Diseo de dos factores . . . . . . . . . . . . . . . . . . 238

13.5. Hiptesis lineales . . . . . . . . . . . . . . . . . . . . . . . . . 23913.6. Inferencia en regresin mltiple . . . . . . . . . . . . . . . . . 24213.7. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

14.ANLISIS DE LA VARIANZA (ANOVA) 24514.1. Diseo de un factor . . . . . . . . . . . . . . . . . . . . . . . . 24514.2. Diseo de dos factores . . . . . . . . . . . . . . . . . . . . . . 24714.3. Diseo de dos factores con interaccin . . . . . . . . . . . . . . 24914.4. Diseos multifactoriales . . . . . . . . . . . . . . . . . . . . . . 25114.5. Modelos log-lineales . . . . . . . . . . . . . . . . . . . . . . . . 252

14.5.1. Ejemplo . . . . . . . . . . . . . . . . . . . . . . . . . . 25514.6. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

15.ANLISIS DE LA VARIANZA (MANOVA) 257

15.1. Modelo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25715.2. Estimacin de parmetros . . . . . . . . . . . . . . . . . . . . 25815.3. Tests de hiptesis lineales . . . . . . . . . . . . . . . . . . . . 26115.4. Manova de un factor . . . . . . . . . . . . . . . . . . . . . . . 26315.5. Manova de dos factores . . . . . . . . . . . . . . . . . . . . . . 264


9/295

NDICE GENERAL 9

15.6. Manova de dos factores con interaccin . . . . . . . . . . . . . 265

15.7. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26615.8. Otros criterios . . . . . . . . . . . . . . . . . . . . . . . . . . . 26815.9. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

16.FUNCIONES ESTIMABLES MULTIVARIANTES 27116.1. Funciones estimables . . . . . . . . . . . . . . . . . . . . . . . 27116.2. Teorema de Gauss-Markov . . . . . . . . . . . . . . . . . . . . 27216.3. Funciones estimables multivariantes . . . . . . . . . . . . . . . 27316.4. Anlisis cannico de fpem . . . . . . . . . . . . . . . . . . . . 274

16.4.1. Distancia de Mahalanobis . . . . . . . . . . . . . . . . 27416.4.2. Coordenadas cannicas . . . . . . . . . . . . . . . . . . 275

16.4.3. Regiones condenciales . . . . . . . . . . . . . . . . . . 27616.5. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27616.6. Complementos . . . . . . . . . . . . . . . . . . . . . . . . . . . 280


10/295

10 NDICE GENERAL

P R OLOGO

El Anlisis Multivariante es un conjunto de mtodos estadsticos y matem-ticos, destinados a describir e interpretar los datos que provienen de la ob-servacin de varias variables estadsticas, estudiadas conjuntamente.

Este libro es una presentacin convencional de los principales modelos ymtodos del Anlisis Multivariante, con referencias a algunas contribucionesrecientes.

La exposicin mantiene un cierto rigor matemtico, compensado con una

clara orientacin aplicada. Todos los mtodos se ilustran con ejemplos, quejustican su aplicabilidad. Para examinar los datos y ver ms ejemplos con-sltese la pgina web

www:ub:edu=stat=cuadras=cuad:html

Esta obra tiene como precedentes la monograa Mtodos de Anlisis Fac-torial (Pub. no. 7, Laboratorio de Clculo, Universidad de Barcelona, 1974),y el libro Mtodos de Anlisis Multivariante (EUNIBAR, 1981; PPU, 1991;EUB, 1996, Barcelona).

El autor se reserva el derecho de ampliar el texto e introducir mejoras.La primera versin apareci en 2007. La segunda versin (2010) contienecorrecciones, ampliaciones y un ndice alfabtico. La tercera versin (2011)contiene algunas correcciones y nuevas referencias bibliogrcas. La cuartaversin (2012) incorpora ms secciones y ejemplos.

Cmo citar este libro:

C. M. CuadrasNuevos Mtodos de Anlisis MultivarianteCMC EditionsBarcelona, 2012


11/295

Captulo 1

DATOS MULTIVARIANTES

1.1. Introduccin

El anlisis multivariante (AM) es la parte de la estadstica y del anlisisde datos que estudia, analiza, representa e interpreta los datos que resultende observar un nmero p > 1 de variables estadsticas sobre una muestra de nindividuos. Las variables observables son homogneas y correlacionadas, sinque alguna predomine sobre las dems. La informacin estadstica en AM es

de carcter multidimensional, por lo tanto la geometra, el clculo matricialy las distribuciones multivariantes juegan un papel fundamental.

La informacin multivariante es una matriz de datos, pero a menudo, enAM la informacin de entrada consiste en matrices de distancias o similari-dades, que miden el grado de discrepancia entre los individuos. Comenzare-mos con las tcnicas que se basan en matrices de datos.

1.2. Matrices de datos

Supongamos n individuos !1; : : : ; !n y p variables X1; : : : ; X p: Sea xij =Xj(!i) la observacin de la variable Xj sobre el individuo !i: La matriz de

11


12/295

12 CAPTULO 1. DATOS MULTIVARIANTES

datos multivariantes es

X =

0BBBBB@x11 x1j x1p... . . . ... . . . ...xi1 xij xip...

. . ....

. . ....

xn1 xnj xnp

1CCCCCALas las de X se identican con los individuos y las columnas de X con lasvariables. Indicaremos:

1. xi la la i-sima de X:

2. Xj

la columna j-sima de X:

3. x = (x1; : : : ; xj; : : : ; xp)0 el vector (la) de las medias de las variables,siendo

xj =1

n

nXi=1

xij :

4. La matriz simtrica p p de covarianzas muestrales

S =

0

BB@s11 s12 s1ps21 s22 s2p

: : : : : :

sp1 sp2 spp

1

CCA;

siendo

sjj 0 =1

n

nXi=1

(xij xj)(xij0 xj0)

la covarianza entre las variables j; j0: Naturalmente, x y S son medidasmultivariantes de tendencia central y dispersin.

1.3. La matriz de centrado

Si 1 =(1; : : : ; 1)0 es el vector columna de unos de orden n 1, y J = 110es la matriz n n de unos, ciertas caractersticas multivariantes se expresanmejor a partir de la matriz de centrado H; denida como

H = I 1n

J


13/295


14/295


donde rij =cor(Xi; Xj) es el coeciente de correlacin (muestral) entre las

variables Xi; Xj ; que verica:R = D1SD1; S = DRD; (1.1)

siendo D la matriz diagonal con las desviaciones tpicas de las variables.

1.5. Variables compuestas

Algunos mtodos de AM consisten en obtener e interpretar combina-ciones lineales adecuadas de las variables observables. Una variable compues-ta Y es una combinacin lineal de las variables observables con coecientes

a = (a1; : : : ; ap)0 Y = a1X1 + + apXp:Si X =[X1; : : : ; X p] es la matriz de datos, tambin podemos escribir

Y = Xa:

Si Z = b1X1 + + bpXp = Xb es otra variable compuesta, se verica:1. Y = x0a; Z=x0b:

2. var(Y) = a0Sa, var(Z) = b0Sb:

3. cov(Y; Z) = a0Sb:

Ciertas variables compuestas reciben diferentes nombres segn la tc-nica multivariante: componentes principales, variables cannicas, funcionesdiscriminantes, etc. Uno de los objetivos del Anlisis Multivariante es encon-trar variables compuestas adecuadas que expliquen aspectos relevantes de losdatos.

1.6. Transformaciones lineales

Sea T una matriz p

q: Una transformacin lineal de la matriz de datos

esY = XT:

Las columnas Y1; : : : ; Y q de Y son las variables transformadas.

Propiedades:


15/295

1.7. TEOREMA DE LA DIMENSIN 15

1. y0=x0T; donde y es el vector de medias de Y:

2. SY = T0ST; donde SY es la matriz de covarianzas de Y:

Demost.:y0= 1n1

0Y = 1n10XT =x0T: SY = 1nY

0HY = 1nT0X0HXT = T0ST:

1.7. Teorema de la dimensin

La matriz de covarianzas S es (semi)denida positiva, puesto que:

a0Sa =1

na0X0HXa =

1

na0X0HHXa = b0b 0;

siendo b =n1=2HXa:El rango r = rang(S) determina la dimensin del espacio vectorial gener-

ado por las variables observables, es decir, el nmero de variables linealmenteindependientes es igual al rango de S:

Teorema 1.7.1 Si r = rang(S) p hay r variables linealmente independi-entes y las otras p r son combinacin lineal de estas r variables.Demost.: Podemos ordenar las p variables de manera que la matriz de covar-ianzas de X1; : : : ; X r sea no singular

0B@ s11 s1r... . . . ...sr1 srr

1CAsj1 sjr

Sea Xj; j > r: Las covarianzas entre Xj y X1; : : : ; X r verican:

sjj =rXi=1

aisji ; sji =rXi0=1

ai0sii0:

Entonces

var(Xj Pri=1 aiXi) = sjj +Pri;i0=1 aiai0sii0 2Pri=1 aisji=Pri=1 aisji +

Pri=1 ai(Pri0=1 ai0sii0) 2

Pri=1 aisji

=Pri=1 aisji +

Pri=1 aisji 2

Pri=1 aisji

= 0:


16/295


Por lo tanto

Xj rXi=1

aiXi = c =) Xj = c +rXi=1

aiXi

donde c es una constante.

Corolario 1.7.2 Si todas las variables tienen varianza positiva (es decir,ninguna se reduce a una constante) y r = rang(R) p; hay r variableslinealmente independientes y las otras p r son combinacin lineal de estasr variables.

Demost.: De (1.1) deducimos que r = rang(R) = rang(S):

1.8. Medidas globales de variabilidad y de-pendencia

Una medida de la variabilidad global de las p variables debe ser funcinde la matriz de covarianzas S: Sean 1; : : : ; p los valores propios de S: Lassiguientes medidas tienen especial inters en AM.

a) Varianza generalizada:

jS

j=1

p:

b) Variacin total:tr(S) =1 + + p

Una medida de dependencia global debe ser funcin de la matriz de cor-relaciones R: Un coeciente de dependencia es

2 = 1 jRj;

que verica:

1. 0 2 1:2. 2 = 0 si y slo si las p variables estan incorrelacionadas.

3. 2 = 1 si y slo si hay relaciones lineales entre las variables.


17/295

1.9. DISTANCIAS 17

Demost.:

1. Sean 1; : : : ; p los valores propios deR

. Si g y a son las medias ge-omtrica y aritmtica de p nmeros positivos, se verica g a: Entonces, detr(R) =p

(jRj)1=p= (1 p)1=p (1 + + p)=p = 1y por lo tanto 0 det(R) 1:

2. R = I (matriz identidad) si y slo si las p variables estn incorrela-cionadas y entonces 1 jIj =0:

3. Si 2 = 1; es decir, jRj =0; entonces rang(R)


18/295


Observaciones

Un cambio de escala de una variable Xj es una transformacin Yj = Xj ;donde es una constante. La distancia dM es muy adecuada en AM debidoa que verica:

a) dE supone implcitamente que las variables son incorrelacionadas y no esinvariante por cambios de escala.

b) dP tambin supone que las variables estn incorrelacionadas pero es in-variante por cambios de escala.

c) dM tiene en cuenta las correlaciones entre las variables y es invariante portransformaciones lineales no singulares de las variables, en particularcambios de escala.

Las distancias dE y dP son casos particulares de dM cuando la matriz decovarianzas es la identidad Ip y diag(S), respectivamente. En efecto:

dE(i; j)2 = (xi xj)0(xi xj);

dP(i; j)2 = (xi xj)0[diag(S)]1(xi xj):

La distancia de Mahalanobis (al cuadrado) puede tener otras versiones:

1. Distancia de una observacin xi al vector de medias x de X :

(xi x)0S1(xi x)

2. Distancia entre dos poblaciones representadas por dos matrices de datosXn1p; Yn2p :

(x y)0S1(x y);

donde x; y son los vectores de medias y

S = (n1S1 + n2S2)=(n1 + n2)

es la media ponderada de las correspondientes matrices de covarianzas.


19/295

1.10. ALGUNOS ASPECTOS DEL CLCULO MATRICIAL 19

1.10. Algunos aspectos del clculo matricial

1.10.1. Descomposicin singular

Sea A un matriz de orden m n con m n: Se llama descomposicin envalores singulares de A a

A = UDsV0

donde U es matriz m n cuyas columnas son vectores ortonormales, Ds esuna matriz diagonal n n con los valores singulares

s1 sr sr+1 = = sn = 0;y V es una matriz n

n ortogonal. Se verica:

1. El rango de A es el nmero r de valores singulares positivos.

2. U contiene los vectores propios (unitarios) de AA0; siendo U0U = In:

3. V contiene los vectores propios (unitarios) de A0A; siendo V0V =VV0 = In:

4. Si m = n y A es simtrica, entonces U = V y A = UDsU0 es ladesocmposicin espectral de A: Los valores singulares son los valorespropios de A:

1.10.2. Inversa generalizada

Si A es una matriz cuadrada de orden nn no singular, es decir, rang(A) =n; existe la matriz inversa A1 tal que

AA1 = A1A = In:

Si el rango es rang(A) = r < n; o A no es matriz cuadrada, la inversa noexiste, pero existe la inversa generalizada o g-inversa A:

Sea A un matriz de orden mn con m n: Se llama inversa generalizadade A o g-inversa, a una matriz A que verica:

AAA = A:

La g-inveresa no es nica, pero si A verica adems:

AAA = A; (AA)0 = AA (AA)0 = AA;


20/295


entonces la g-inversa A es nica.

Sea rang(A) = r y A = UDsV0 la descomposicin singular de A; conDs = diag(s1; : : : ; sr; 0; : : : ; 0):

EntoncesDs = diag(s

11 ; : : : ; s

1r ; 0; : : : ; 0):

y la matriz m nA = VDs U

0

es una g-inversa de A: En efecto,

AAA = UDsV0VDs U0UDsV0 = A:

1.10.3. Aproximacin matricial de rango inferior

Sea A = (aij) un matriz de orden mn con m n y rango r: Supongamosque deseamos aproximar A por otra matriz A = (aij); del mismo orden mnpero de rango k < r; de modo que

tr[(A A)0(A A)] =m

Xi=1n

Xj=1(aij aij)2 = mnimo.

Si A = UDsV0 es la descomposicin en valores singulares de A; entonces lasolucin es

A = UDsV0; (1.5)

donde Ds es diagonal con los k primeros valores singulares de A; siendo losrestantes valores nulos, es decir

Ds = diag(s1; : : : ; sk; 0; : : : ; 0):

Es la llamada aproximacin de Eckart Young.

Por ejemplo, si

A =

0BB@1 3 22 0 14 5 63 2 1

1CCA


21/295

1.10. ALGUNOS ASPECTOS DEL CLCULO MATRICIAL 21

entonces

A =

0BB@0;49 0;42 0;520;16 0;61 0;410;86 0;18 0;370;32 0;63 0;63

1CCA0@ 10;14 0 00 2;295 0

0 0 1;38

1A0@ 0;50 0;59 0;620;86 0;40 0;310;06 0;69 0;71

1Ay la aproximacin de rango 2 es

A =

0BB@

1;72 3;84 2;901;99 0;001 0;993;99 4;99 5;982;99 1;99 1;00

1CCAsiendo

A =

0BB@0;49 0;42 0;520;16 0;61 0;410;86 0;18 0;370;32 0;63 0;63

1CCA0@ 10;14 0 00 2;295 0

0 0 0

1A0@ 0;50 0;59 0;620;86 0;40 0;310;06 0;69 0;71

1A :En particular, si B es matriz simtrica semidenida positiva de rango r y

B = TDT0 es la descomposicin espectral (con los valores propios ordenados

de mayor a menor), entonces la mejor aproximacin de rango k < r es lamatriz

B= TDT0; (1.6)

donde D contiene los k primeros valores propios de B:

1.10.4. Transformacin procrustes

Sea A un matriz de orden mn con m n: Sea B otra matriz del mismoorden y escala (misma media y varianza para las columnas). Supongamos quequeremos transformar A en AT;siendo T matriz n n ortogonal, de modoque AT sea lo ms prxima posible a B, es decir tr[(AT B)0(AT B)] =mnimo. Si obtenemos la desomposicin en valores singulares

A0B = UDsV0;

entonces la solucin esT = UV0: (1.7)


22/295


AT se conoce como la transformacin procrustes.

En el caso general, seanX

;Y

dos matrices n p; con n p; y vectores(las) de medias x; y: Deseamos aproximar X a Y mediante contraccin,traslacin y rotacin. Consideremos la transformacin

Y = bXT + 1c;

donde b es una constante escalar,T es matriz p p ortogonal, 1 es el vectorn1 de unos y c es un vector (la) 1p de constantes. Se trata de encontrarb; T; c, de modo que Y sea lo ms prximo posible a Y en el sentido deque tr[(Y Y)0(Y Y)] =mnimo. Es decir, para cada par de columnasxj; yj se desea hallar el vector

yj = bT0xj + cj1

lo ms prximo posible a yj:Si X;Y son las matrices centradas, obtenemos primero la desomposicin

singularX0Y = UDsV

0:

Indicando M1=2 = F1=2F0; siendo M = FF0 la descomposicin espectralde la matriz simtrica M;la solucin es

b = tr(X0YY

0X)1=2=tr(X

0X); T = UV0; c = y bxT:

Una medida del grado de relacin lineal entre X e Y, llamada coecienteprocrustes, y que toma valores entre 0 y 1, es

P2XY = [tr(X0YY

0X)1=2]2=[tr(X

0X)tr(Y

0Y)]: (1.8)

Si p = 1 el anlisis procrustes equivale a una regresin lineal de Y sobreX;

y = bx + y bxsiendo b = sxy=s2x y PXY = sxy=(sxsy) el coeciente de correlacin ordinario.

1.11. Ejemplos

Ejemplo 1.11.1La Tabla 1.1 contiene los datos de n = 28 alcornoques y p = 4 variables,

que miden los depsitos de corcho (en centigramos) en cada uno de los cuatropuntos cardinales: N, E, S, W.


23/295

1.11. EJEMPLOS 23

N E S W N E S W72 66 76 77 91 79 100 7560 53 66 63 56 68 47 5056 57 64 58 79 65 70 6141 29 36 38 81 80 68 5832 32 35 36 78 55 67 6030 35 34 26 46 38 37 3839 39 31 27 39 35 34 3742 43 31 25 32 30 30 3237 40 31 25 60 50 67 5433 29 27 36 35 37 48 3932 30 34 28 39 36 39 31

63 45 74 63 50 34 37 4054 46 60 52 43 37 39 5047 51 52 43 48 54 57 43

Tabla 1.1: Depsitos de corcho (centigramos) de 28 alcornoques en las cuatrodirecciones cardinales.

Medias, covarianzas y correlaciones

Vector de medias

x0=(50;536; 46;179; 49;679; 45;179)

Matriz de covarianzas

S =

0BB@280 216 278 218

212 221 165337 250

218

1CCAMatriz de correlaciones

R =

0BB@1 0;885 0;905 0;883

1 0;826 0;7691 0;923

1

1CCA


24/295


Figura 1.1: Distribucin de las variables N, E, S, W y relaciones entre cadapar de variables de la Tabla 1.1.

Variables compuestas

Las siguientes variables compuestas explican diferentes aspectos de lavariabilidad de los datos:

Media VarianzaContraste eje N-S con eje E-W: Y1 = N + S E W 8.857 124.1Contraste N-S: Y2 = N S 0.857 61.27Contraste E-W: Y3 = E W 1.000 99.5

Variables normalizadasUna variable compuesta est normalizada si la suma de cuadrados de

sus coecientes es 1. La normalizacin evita que la varianza tome un valorarbitrario. La normalizacin de Y1; Y2; Y3 dar:

Media Varianza:

Z1 = (N + S E W)=2 4.428 31.03Z2 = (N S)=p2 0.606 30.63Z3 = (E W)=

p2 0.707 49.75

Interpretacin


25/295

1.11. EJEMPLOS 25

La normalizacin de las variables consigue que estas tengan varianzas

ms homogneas. La principal direccin de variabilidad aparece al hacer lacomparacin del eje N-S con el eje E-W.

Visualizacin de datos

En los captulos siguientes veremos mtodos y tcnicas de visualizacin dedatos multivariantes. Como norma general es conveniente, antes de realizarel anlisis, examinar y revisar los datos. La Figura 1.1 contiene un grcoque permite visualizar la distribucin de las 4 variables de la Tabla 1.1 y lasrelaciones lineales, o regresin lineal, entre cada par de variables.

Ejemplo 1.11.2

Se consideran n = 25 familias y se miden las variables (vase la Tabla1.2):

X1 = long. cabeza primer hijo, X2 = ancho cabeza primer hijo,Y1 = long. cabeza segundo hijo, Y2 = ancho cabeza segundo hijo.

Efectuando un anlsis procrustes para estudiar el grado de coincidenciade la matriz X (dos primeras columnas) con la matriz Y (tercera y cuartacolumna), se obtienen los vectores de medias

x = (187;4; 151;12); y=(183;32; 149;36);

los valores b = 0;716; c = (57;65; 31;17) y la matriz de rotacin

T =

0;997 0;076

0;076 0;997

:

Los primeros 4 valores de las matrices Y y la transformacin procrustesY = bXT + 1c; son:

Y1 Y2 Y1 Y

2

179 145201 152

185 149188 149

185;6 152;3188;8 148;2

178;9 146;8180;0 150;4

El coeciente procrustes es R2P = 0;551:


26/295


X1 X2 Y1 Y2 X1 X2 Y1 Y2

191 155 179 145195 149 201 152181 148 185 149183 153 188 149176 144 171 142208 157 192 152189 150 190 149197 159 189 152188 152 197 159192 150 187 151186 161 179 158

179 147 183 147195 153 174 150

202 160 190 159194 154 188 151163 137 161 130195 155 183 158186 153 173 148181 145 182 146175 140 165 137192 154 185 152174 143 178 147176 139 176 143197 167 200 158

190 153 187 150

Tabla 1.2: Longitud y ancura del primer y segundo hijo en 25 familias.

1.12. Complementos

La descomposicin en valores singulares de una matriz es una idea sencil-la pero muy til en Anlisis Multivariante. Generaliza los vectores y valorespropios de una matriz, permite calcular inversas generalizadas y es fundamen-tal en Anlisis de Correlacin Cannica y en Anlisis de Correspondencias.

Vase Golub y Reinsch (1970).La aproximacin de una matriz por otra de rango inferior se debe a Eckart

y Young (1936), y es la versin matricial de la reduccin de la dimensin,uno de los objetivos tpicos del Anlisis Multivariante.

La transformacin procrustes fue estudiada independientemente por N.Cli y P. H. Schonemann en 1966. Permite transformar una matriz en otray estudiar el grado de coincidencia entre dos matrices de datos, medianteuna generalizacin multivariante de la ecuacin de regresin. Vase Gower(1971b), Mardia (1979) y Seber (1984).


27/295

Captulo 2

NORMALIDADMULTIVARIANTE

2.1. Introduccin

Los datos en AM suelen provenir de una poblacin caracterizada poruna distribucin multivariante. Sea X =(X1; : : : ; X p) un vector aleatorio condistribucin absolutamente continua y funcin de densidad f(x1; : : : ; xp): Esdecir, f verica:

1) f(x1; : : : ; xp) 0; para todo (x1; : : : ; xp) 2 Rp:2) RRp f(x1; : : : ; xp)dx1 dxp = 1:Conocida f(x1; : : : ; xp) podemos encontrar la funcin de densidad de cada

variable marginal Xj mediante la integral

fj(xj) =

Zf(x1; : : : ; xj; : : : ; xp)dx1 dxj1dxj+1 dxp:

Como en el caso de una matriz de datos, es importante el vector de medias

= (E(X1); : : : ; E (Xp))0;

donde E(Xj) es la esperanza de la variable marginal Xj; y la matriz decovarianzas = (ij); siendo ij =cov(Xi; Xj); ii =var(Xi): Teniendo en

cuenta que los elementos de la matriz (X)(X)0; de orden p p; son(Xi i)(Xj j) y que cov(Xi; Xj) = E(Xi i)(Xj j); la matriz decovarianzas = (ij) es

= E[(X)(X)0]:

27


28/295

28 CAPTULO 2. NORMALIDAD MULTIVARIANTE

En este captulo introducimos y estudiamos la distribucin normal mul-

tivariante y tres distribuciones relacionadas con las muestras multivariantes:Wishart, Hotelling y Wilks.

2.2. Distribucin normal multivariante

2.2.1. Denicin

Sea Xuna variable aleatoria con distribucin N(; 2); es decir, con media y varianza 2: La funcin de densidad de X es:

f(x; ;

2

) =

1

p2 e1

2(x

)2=2

=

(2)1=2

p2 e1

2(x

) 1

2(x

)

(2.1)

Evidentemente se verica:

X = + Y donde Y N(0; 1): (2.2)Vamos a introducir la distribucin normal mutivariante Np(; ) como

una generalizacin de la normal univariante. Por una parte, (2.1) sugieredenir la densidad de X = (X1; : : : ; X p)0 Np(; ) segn:

f(x; ; ) =jj1=2

(p2)p

e1

2(x)01(x); (2.3)

siendo x = (x1; : : : ; xp)0; = (1; : : : ; p)0 y = (ij) una matriz denida

positiva, que como veremos, es la matriz de covarianzas. Por otra parte,(2.2) sugiere denir la distribucin X = (X1; : : : ; X p)0 Np(; ) como unacombinacin lineal de p variables Y1; : : : ; Y p independientes con distribucinN(0; 1):

X1 = 1 + a11Y1 + + a1pYp...

...Xp = p + ap1Y1 + + appYp

(2.4)

que podemos escribir como X =+AY (2.5)

siendo Y =(Y1; : : : ; Y p)0 y A = (aij) una matriz p p que verica AA0 = :

Proposicin 2.2.1 Las dos deniciones (2.3) y (2.4) son equivalentes.


29/295

2.2. DISTRIBUCIN NORMAL MULTIVARIANTE 29

Demost.: Segn la frmula del cambio de variable

fX(x1; : : : ; xp) = fY(y1(x); : : : ; yp(x))@y@x

siendo yi = yi(x1; : : : ; xp), i = 1; : : : ; p, el cambio y J = @y@x

el jacobiano delcambio. De (2.5) tenemos

y = A1(x ) )@y@x = jA1j

y como las p variables Yi son N(0; 1) independientes:

fX(x1; : : : ; xp) = (1=p2)pe12P

pi=1 y

2i jA1j: (2.6)

Pero 1 = (A1)0(A1) y por lo tanto

y0y = (x )0(A1)0(A1)(x ) = (x )01(x ): (2.7)

Substituyendo (2.7) en (2.6) y de jA1j2 = jj1 obtenemos (2.3).

2.2.2. Propiedades

1. De (2.5) es inmediato que E(X) = y que la matriz de covarianzas es

E[(X)(X)0]=E(AYY0A0) = AIpA0 = :

2. La distribucin de cada variable marginal Xi es normal univariante:

Xi N(i; ii); i = 1; : : : ; p :

Es consecuencia de la denicin (2.4).

3. Toda combinacin lineal de las variables X1; : : : ; X p

Z = b0 + b1X1 + + bpXpes tambin normal univariante. En efecto, de (2.4) resulta que Z escombinacin lineal de N(0; 1) independientes.


30/295


4. Si =diag(11; : : : ; pp) es matriz diagonal, es decir, ij = 0; i 6= j; en-

tonces las variables (X1; : : : ; X p) son estocsticamente independientes.En efecto, la funcin de densidad conjunta resulta igual al producto delas funciones de densidad marginales:

f(x1; : : : ; xp; ; ) = f(x1; 1; 11) f(xp; p; pp)

5. La distribucin de la forma cuadrtica

U = (x )01(x )es ji-cuadrado con p grados de libertad. En efecto, de (2.5) U = Y0Y =

Ppi=1 Y

2i es suma de los cuadrados de p variables N(0; 1) independi-

entes.

2.2.3. Caso bivariante

Cuando p = 2; la funcin de densidad de la normal bivariante se puedeexpresar en funcin de las medias y varianzas 1;

21; 2;

22 y del coeciente

de correlacin =cor(X1; X2) :

f(x1; x2) =1

212p

12exp[1

21

12f (x11)2

21

2 (x11)1

(x22)2

+ (x22)2

22

;

siendo 1 < < +1: (Figura 2.1). Se verica:1. Hay independencia estocstica si y slo si = 0:

2. La distribucin de la variable marginal Xi es N(i; 2i ):

3. La funcin de densidad de X2 condicionada a X1 = x1 es

f(x2jx1) = 12p

2(1 2) exp[[(x2 2 (2=1)(x1 1)]2

222(1 2)];

densidad de la distribucin normal N(2+(2=1)(x11); 22(12)):4. La regresin es de tipo lineal, es decir, las curvas de regresin de la

mediax2 = E(X2jX1 = x1); x1 = E(X1jX2 = x2);

son las rectas de regresin.


31/295

2.3. DISTRIBUCIN DE WISHART 31

Figura 2.1: Funcin de densidad de una distribucin normal bivariante de

medias 1 y 1, desviaciones tpicas 2 y 2, coeciente de correlacin 0.8.

2.3. Distribucin de Wishart

La distribucin de Wishart es la que sigue una matriz aleatoria simtricadenida positiva, generaliza la distribucin ji-cuadrado y juega un papel im-portante en inferencia multivariante. Un ejemplo destacado lo constituye ladistribucin de la matriz de covarianzas S; calculada a partir de una matrizde datos donde las las son observaciones normales multivariantes.

Denicin

Si las las de la matriz Znp son independientes Np(0; ) entonces diremosque la matriz Q = Z0Z es Wishart Wp(; n); con parmetros y n gradosde libertad.

Textos avanzados prueban que cuando es denida positiva y n p; ladensidad de Q es

f(Q) =cjQj(np1) exp(12

tr(1Q));

siendoc1 = 2np=2p(p1)=4jjn=2

pQi=1

(1

2(n + 1 i):

Propiedades:


32/295


1. Si Q1; Q2 son independientes Wishart Wp(; m); Wp(; n); entonces la

sumaQ

1 +Q

2 es tambin Wishart Wp(; m + n):2. Si Q es Wishart Wp(; n); y separamos las variables en dos conjuntos

y consideramos las particiones correspondientes de las matrices y Q

=

11 1221 22

; Q =

Q11 Q12Q21 Q22

;

Entonces Q11 es Wp(11; n) y Q22 es Wp(22; n):

3. Si Q es Wishart Wp(; n) y T es una matriz p q de constantes, en-tonces T0QT es Wq(T0T; n): En particular, si t es un vector, entonces

t0Qtt0t

es 2n:

2.4. Distribucin de Hotelling

Es una generalizacin multivariante de la distribucin t de Student.

Denicin

Si y es Np(0; I); Q es Wishart Wp(I; m) y adems y; Q son independientes,entoncesT2 = my0Q1y

sigue la distribucin T2 de Hotelling, que se indica por T2(p; m):

Propiedades:

1. Si x es Np(;) independiente de M que es Wp(; m), entonces

T2 = m(x)0M1(x) T2(p; m):

2. T2 est directamente relacionada con la distribucin de Fisher-Snedecor

T2(p; m) mpm p + 1 F

pmp+1:


33/295

2.5. DISTRIBUCIN DE WILKS 33

3. Si x; S son el vector de medias y la matriz de covarianzas de la matrizXnp con las independientes Np(; ); entonces

(n 1)(x)0S1(x) T2(p; n 1);

y por lo tanton p

p(x)0S1(x) Fpnp:

4. Si x; S1;y; S2 son el vector de medias y la matriz de covarianzas delas matrices Xn1p; Yn2p; respectivamente, con las independientesNp(; ); y consideramos la estimacin conjunta centrada de

eS= (n1S1 + n2S2)=(n1 + n2 2);entonces

T2 =n1n2

n1 + n2(xy)0eS1(x y) T2(p; n1 + n2 2)

y por lo tanton1 + n2 1 p(n1 + n2 2)p T

2 Fpn1+n21p:

2.5. Distribucin de WilksLa distribucin F con m y n grados de libertad surge considerando elcociente

F =A=m

B=n;

donde A; B sn ji-cuadrados estocsticamente independientes con m y n gra-dos de libertad. Si consideramos la distribucin

=A

A + B;

la relacin entre y Fm

n ; as como la inversa Fn

m, es

Fmn =n

m

1 ; Fnm =

m

n

1

:

La distribucin de Wilks generaliza esta relacin.


34/295


Denicin

Si las matrices A; B de ordenpp son independientes Wishart Wp(; m); Wp(; n),respectivamente, con m p; la distribucin del cociente de determinantes

=jAj

jA + Bjes, por denicin, la distribucin lambda de Wilks, que indicaremos por(p; m; n):Propiedades:

1. 0 1 y adems no depende de : Por lo tanto, podemosestudiarla suponiendo = I:

2. Su distribucin es equivalente a la del producto de n variables betaindependientes:

(p; m; n) nQi=1

Ui;

donde Ui es beta B(12(m + i p); 12p): (Obsrvese que debe ser m p):3. Los parmetros se pueden permutar manteniendo la misma distribu-

cin. Concretamente:

(p; m; n) (n; m + n p; p):4. Para valores 1 y 2 de p y n; la distribucin de equivale a la F; segn

las frmulas1

mn

Fnm (p = 1)1

mp+1p

Fpmp+1 (n = 1)1

pp

m1n

F2n2(m1) (p = 2)1

pp

mp+1p F

2p2(mp+1) (n = 2)

(2.8)

5. En general, una transformacin de equivale, exacta o asintticamente,a la distribucin F: Si (p; nq; q) es Wilks con n relativamente grande,consideremos

F =ms 2

pq

1 1=s

1=s(2.9)

con m = n(p+q+1)=2, = (pq2)=4; s =p

(p2q2 4)=(p2 + q2 5):Entonces F sigue asintticamente la distribucin F con pqy (ms2)g. de lib. (Rao, 1973, p.556).


35/295

2.6. RELACIONES ENTRE WILKS, HOTELLING Y F 35

0.0 0.2 0.4 0.6 0.8 1.00.00

0.05

0.10

0.15

0.20

x

y

Figura 2.2: Un ejemplo de funcin de densidad lambda de Wilks.

2.6. Relaciones entre Wilks, Hotelling y F

A. Probemos la relacin entre y F cuando p = 1: Sean A 2m; B 2nindependientes. Entonces = A=(A + B) (1; m ; n) y F = (n=m)A=B =(n=m)F Fmn : Tenemos que = (A=B)=(A=B + 1) = F =(1 + F); luegoF = =(1) ) (n=m)=(1) Fmn : Mas si F Fmn entonces 1=F Fnm:Hemos demostrado que:

1 (1;m;n)

(1; m ; n)

m

n Fnm: (2.10)

B. Recordemos que y es un vector columna y por lo tanto yy0 es una matrizp p. Probemos la relacin entre las distribuciones T2 y F: Tenemos T2 =my0Q1y; donde Q es Wp(I;m); y yy0 es Wp(I;1): Se cumple

jQ + yy0j = jQjj1+y0Q1yj;

que implica1+y0Q1y = jQ + yy0j=jQj = 1=;

donde = jQj=jQ + yy0j (p; m; 1) (1; m+1p; p): Adems y0Q1

y =1= 1 = (1 )=: De (2.10) tenemos que y0Q1y(m + 1 p)=p Fpm+1py por lo tanto

T2 = my0Q1y mpm + 1 p F

pm+1p:


36/295


2.7. Distribucin multinomial

Supongamos que la poblacin es la reunin disjunta de k sucesos ex-cluyentes A1; : : : ; Ak;

= A1 + + Ak;con probabilidades positivas P(A1) = p1; : : : ; P (Ak) = pk; vericando

p1 + +pk = 1:

Consideremos n observaciones independientes y sea (f1; : : : ; f k) el vector conlas frecuencias observadas de A1; : : : ; Ak; siendo

f1 + + fk = n: (2.11)

La distribucin multinomial es la distribucin de f = (f1; : : : ; f k) con funcinde densidad discreta

f(f1; : : : ; f k) =n!

f1! fk!pf11 pfkk :

En el caso k = 2 tenemos la distribucin binomial.Indiquemos p = (p1; : : : ; pk)0:

1. El vector de medias de f es = np:2. La matriz de covarianzas de f es C = n[diag(p) pp0): Es decir:

cii = npi(1 pi);cij = npipj si i 6= j:

Puesto que C1 = 0; la matriz C es singular. La singularidad se debe aque se verica (2.11). Una g-inversa de C es (vase Seccin 1.10):

C =1

ndiag(p11 ; : : : ; p

1k ): (2.12)

Puesto que C(I 110) = C, es fcil ver que otra g-inversa es

C =1

ndiag(p11 ; : : : ; p

1k )(I 110):


37/295

2.8. DISTRIBUCIONES CON MARGINALES DADAS 37

2.8. Distribuciones con marginales dadas

Sea H(x; y) la funcin de distribucin bivariante de dos variables aleato-rias (X; Y): La funcin H es

H(x; y) = P(X x; Y y):Consideremos las distribuciones marginales, es decir las distribuciones uni-variantes de X y de Y :

F(x) = P(X x) = H(x; 1);G(y) = P(Y y) = H(1; y):

Un procedimiento para la obtencin de modelos de distribuciones bivariantesconsiste en encontrar H a partir de F; G y posiblemente algn parmetro.Si suponemos X; Y independientes, una primera distribucin es

H0(x; y) = F(x)G(y):

M. Frchet introdujo las distribuciones bivariantes

H(x; y) = maxfF(x) + G(y) 1; 0g;H+(x; y) = mnfF(x); G(y)g

y demostr la desigualdad

H(x; y) H(x; y) H+(x; y):Cuando la distribucin es H; entonces se cumple la relacin funcional entreX; Y

F(X) + G(Y) = 1:

y la correlacin (si existe) es mnima. Cuando la distribucin es H+,entonces se cumple la relacin funcional entre X; Y

F(X) = G(Y)

y la correlacin (si existe) + es mxima. Previamente W. Hoeding habaprobado la siguiente frmula para la covarianza

cov(X; Y) =ZR2

(H(x; y) F(x)G(y))dxdy


38/295


y demostrado la desigualdad

+;donde ; y + son las correlaciones entre X; Y cuando la distribucinbivariante es H; H y H+; respectivamente.

Posteriormente, diversos autores han propuesto distribuciones bivariantesparamtricas a partir de las marginales F; G, que en algunos casos contienen aH; H0 y H+: Escribiendo F;G;Hpara indicar F(x); G(y); H(x; y); algunasfamilias son:

1. Farlie-Gumbel-Morgenstern:

H = F G[1 + (1 F)(1 G)]; 1 1:

2. Clayton-Oakes:

H = [F + G 1]1=; 1 < 1:

3. Ali-Mikhail-Haq:

H = F G=[1 (1 F)(1 G)] 1 1:

4. Cuadras-Aug:

H = (mnfF; Gg)(F G)1; 0 1:

5. Familia de correlacin:

H(x; y) = F(mnfx; yg) + (1 )F(x)J(y); 1 1;siendo J(y) = [G(y) F(y))=(1 ) una funcin de distribucin uni-variante.

2.9. ComplementosLa distribucin normal multivariante es, con diferencia, la ms utilizada

en anlisis multivariante. Textos como Anderson (1956), Rao (1973), Rencher(1995, 1998), se basan, casi exclusivamente, en la suposicin de normalidad.


39/295

2.9. COMPLEMENTOS 39

Ms recientemente se han estudiado generalizaciones, como las distribuciones

elpticas, cuya densidad es de la formaf(x) = jj1=2g((x)01(x));

donde g es una funcin positiva creciente. Otras distribuciones importantesson la multinomial y la Dirichlet.

Cuando se estudiaron muestras normales multivariantes, pronto se plantela necesidad de encontrar la distribucin de la matriz de covarianzas, y dealgunos estadsticos apropiados para realizar tests multivariantes. As fue co-mo J. Wishart, H. Hotelling y S. S. Wilks propusieron las distribuciones quellevan sus nombres, en los aos 1928, 1931 y 1932, respectivamente.

El estudio de las distribuciones con marginales dadas proporciona unmtodo de construccin de distribuciones univariantes y multivariantes. Al-gunas referencias son: Hutchinson y Lai (1990), Joe (1997), Nelsen (2006),Cuadras y Aug (1981), Cuadras (1992a, 2006, 2009). La frmula de Hoed-ing admite la siguiente generalizacin (Cuadras, 2002, 2010):

cov((X); (Y)) =ZR2

(H(x; y) F(x)G(y))d(x)d(y):

Vase tambin Quesada-Molina (1992).


40/295



41/295

Captulo 3

INFERENCIAMULTIVARIANTE

3.1. Conceptos bsicos

Sea f(x;) un modelo estadstico. La funcin score se dene como

z(x;) =@

@log f(x;):

Una muestra multivariante est formada por las n las x01; : : : ; x0p indepen-

dientes de una matriz de datos Xnp: La funcin de verosimilitud es

L(X;) =nYi=1

f(xi;):

La funcin score de la muestra es

z(X;) =nXi=1

@

@log f(xi;):

La matriz de informacin de Fisher F() es la matriz de covarianzas dez(X;): Cuando un modelo estadstico es regular se verica:

a) E(z(X;)) = 0:

b) F() =E(z(X;)z(X;)0):Un estimador t(X) de es insesgado si E(t(X)) = : La desigualdadde Cramr-Rao dice que si cov(t(X)) es la matriz de covarianzas de t(X),entonces

cov(t(X)) F()1;

41


42/295

42 CAPTULO 3. INFERENCIA MULTIVARIANTE

en el sentido de que la diferencia cov(t(X))F()1 es una matriz semi-

denida positiva.Un estimadorb del parmetro desconocido es mximo verosmil si max-imiza la funcin L(X;): En condiciones de regularidad, podemos obtenerbresolviendo la ecuacin

nXi=1

@

@log f(xi;) = 0:

Entonces el estimador mximo verosmilbn obtenido a partir de una muestrade tamao n satisface:

a) Es asintticamente normal con vector de medias y matriz de covar-ianzas (nF1())

1; donde F1() es la matriz de informacin de Fisher parauna sola observacin.

b) Si t(X) es estimador insesgado de tal que cov(t(X)) = (nF1())1;

entonces bn = t(X):c) bn converge en probabilidad a :

3.2. Estimacin de medias y covarianzas

Si las n las x01; : : : ; x0n de Xnp son independientes Np(; ) la funcin

de verosimilitud es

L(X;; ) = det(2)n=2 exp(12

nXi=1

(xi )1(xi )0)Se vericaPn

i=1(xi )01(xi ) =Pni=1(xi x)01(xi x) + n(x )01(x )

= trf1Pni=1(xi x)(xi x)0g+n(x )01(x )

y por lo tanto el logaritmo de L se puede expresar como

log L(X;; ) = n2

log det(2) n2

tr(1S)n2

(x )01(x ):

Derivando matricialmente respecto de y de 1 tenemos@@ log L = n

1(x ) = 0;@

@1 log L =n2 [ S (x )(x )0] = 0:


43/295

3.3. TESTS MULTIVARIANTES 43

Las estimaciones mximo-verosmiles de ; son pues

b = x; b = S:Si slo es desconocido, la matriz de informacin de Fisher es

F() = E(n1(x )n1(x )0) = n1

y como cov(x) = =n; tenemos x que alcanza laa cota de Cramr-Rao.Probaremos ms adelante que:

1. x es Np(; =n):

2. x y S son estocsticamente independientes.

3. nS sigue la distribucin de Wishart.

3.3. Tests multivariantes

Un primer mtodo para construir tests sobre los parmetros de una poblacinnormal, se basa en las propiedades anteriores, que dan lugar a estadsticoscon distribucin conocida (ji-cuadrado, F).

3.3.1. Test sobre la media: una poblacin

Supongamos que las las de Xnp son independientes Np(; ): Sea 0un vector de medias conocido. Queremos realizar un test sobre la hiptesis

H0 : = 0

1. Si es conocida, como x es Np(; =n); el estadstico de contraste es

n(x0)01(x0) 2p:

2. Si es desconocida, como (n 1)(x)0S1(x) T2(p; n 1); elestadstico de contraste es

n pp

(x0)0S1(x0) Fpnp: (3.1)

En ambos casos se rechaza H0 para valores grandes signicativos del es-tadstico.


44/295


3.3.2. Test sobre la media: dos poblaciones

Supongamos ahora que tenemos dos matrices de datos independientesXn1p; Yn2p que provienen de distribuciones Np(1; ); Np(2; ): Quere-mos construir un test sobre la hiptesis

H0 : 1 = 2:

1. Si es conocida, como (xy) es Np(1 2; (1=n1 + 1=n2)) el es-tadstico de contraste es

n1n2n1 + n2

(xy)01(x y) 2p:

2. Si es desconocida, el estadstico de contraste es

n1 + n2 1 p(n1 + n2 2)p

n1n2n1 + n2

(xy)0eS1(x y) Fpn1+n21p:3.3.3. Comparacin de medias

Supongamos que las las de g matrices de datos son independientes, yque provienen de la observacin de g poblaciones normales multivariantes:

matriz orden medias covarianzas distribucion

X1 n1 p x1 S1 Np(1; )X2 n2 p x2 S2 Np(2; )...

......

......

Xg ng p xg Sg Np(g; )

(3.2)

El vector de medias generales y la estimacin centrada de la matriz decovarianzas comn son

x =1

n

gXi=1

nixi; S =1

n ggXi=1

niSi;

siendo Si = n1i X0iHXi; n =Pgi=1 ni:Deseamos construir un test para decidir si podemos aceptar la hiptesis

de igualdad de medias

H0 : 1 = 2 = = g:


45/295


46/295


Anlogamente, si v = (v1; : : : ; vn)0; z0= v0X es tambin normal.

Las esperanzas dey

;z

son: E(y

) = (Pni=1 ui); E(z) = (Pni=1 vi): Lascovarianzas entre y y z son:E[(yE(y))(zE(z))0]=Pni=1 uivjE[(xi )(xj )0]

=Pni=1 uiviE[(xi )(xj )0] = u0v = 0;

lo que prueba la independencia estocstica entre y y z:

Teorema 3.4.2 Sea X(n p) una matriz de datos Np(0; ) y sea C(n n)una matriz simtrica.

1. X0CX tiene la misma distribucin que una suma ponderada de matricesWp(; 1); donde los pesos son valores propios de C:

2. X0CX es WishartWp(; r) si y slo siC es idempotente y rang(C) = r:

Demost.: Sea

C =nXi=1

iuiu0i

la descomposicin espectral de C, es decir, Cui = iui: Entonces

X0CX =Xiy0iyiPor el Lema 3.4.1 anterior, las las y0i de la matriz

Y =

0B@ y01

...y0n

1CA =0B@ u

01X...

u0nX

1CA ;son tambin independientes Np(0; ) y cada yiy0i es Wp(; 1):

Si C2 = C entonces Cui = iui siendo i = 0 1: Por lo tanto r =tr(C)y

X0CX =rXi=1

yiy0i Wp(; r):

El siguiente resultado se conoce como teorema de Craig, y junto con elteorema de Cochran, permite construir tests sobre vectores de medias.


47/295

3.4. TEOREMA DE COCHRAN 47

Teorema 3.4.3 SeaX(np) una matriz de datosNp(; ) y seanC1(nn);C

2(nn) matrices simtricas. EntoncesX0C

1X

es independiente deX0C

2X

si C1C2 = 0:

Demost.:C1=Pni=1 i(1)uiu

0i; X

0C1X =P

i(1)yiy0i;

C2=Pnj=1 j(2)vjv

0j ; X

0C2X =P

j(2)zjz0j;

siendo y0i = u0iX; z

0j = v

0jX: Por otra parte

C1C2 =X

i(1)j(2)uiu0ivjv

0j;

C1C2 = 0 )i(1)j(2)u0ivj = 0; 8i;j:Si suponemos i(1)j(2)

6= 0; entonces por el Lema 3.4.1 y0i(1

p) = u0iX es

independiente de z0j(1p) = v0jX: AsX0C1X es independiente de X0C2X:Una primera consecuencia del teorema anterior es la independencia entre

vectores de medias y matrices de covarianzas muestrales. En el caso univari-ante p = 1 es el llamado teorema de Fisher.

Teorema 3.4.4 Sea X(n p) una matriz de datos Np(; ): Entonces :1. La media x es Np(; =n):

2. La matriz de covarianzasS = X0HX=n verica nS Wp(; n 1):3. x y S son estocsticamente independientes.

Demost.: Consideremos C1 = n1110: Tenemos rang(C1) = 1; X0C1X =xx0:Consideremos tambin C2 = H: Como C1C2 = 0 deducimos que x es inde-pendiente de S:

Por otra parte, como H2 = H; H1 = 0; rang(H) =n 1; H tiene el valorpropio 1 con multiplicidad n 1: As ui; vector propio de valor propio 1;es ortogonal a 1; resultando que y0i = u

0iX verica E(y

0i) = (Pn=1 ui) =

(u0i1)=0 = 0: Si uj es otro vector propio, yi; yj son independientes (Lema3.4.1). Tenemos que nS =

Pn1i=1 yiy

0i; donde los yiy

0i son Wp(; 1) independientes.

Teorema 3.4.5 Sean Xi; matrices de datos independientes de orden ni pcon distribucin Np(i; ); i = 1; : : : g; n =P

gi=1 ni: Si la hiptesis nula

H0 : 1 = 2 = = ges cierta, entonces B; W son independientes con distribuciones Wishart:

B Wp(; g 1); W Wp(; n g):


48/295


Demost.: Escribimos las matrices de datos como una nica matriz

X =

264 X1...Xg

375 :Sean

11 = (1; : : : ; 1; 0; : : : ; 0); : : : ; 1g = (0; : : : 0; 1; : : : 1);1 =Pgi=1 1i = (1; : : : ; 1; : : : ; 1; : : : ; 1);

donde 11 tiene n1 unos y el resto ceros, etc. Sean tambin

Ii = diag(1i); I =Pgi=1 Ii;

Hi = Ii n1

i 1i10iC1 =

Pgi=1 Hi; C2 =

Pgi=1 n

1i 1i1

0i n1110:

Entonces

C21 = C1; C22 = C2; C1C2 = 0;

rang(C1) = n k; rang(C2) = g 1;W = X0C1X; B = X

0C2X:

El resultado es consecuencia de los Teoremas 3.4.4 y 3.4.5.

3.5. Construccin de tests multivariantes3.5.1. Razn de verosimilitud

Supongamos que la funcin de densidad de (X1; : : : ; X p) es f(x;); dondex 2Rp y 2 ; siendo una regin paramtrica de dimensin geomtricar: Sea 0 una subregin paramtrica de dimensin s, y planteamos eltest de hiptesis

H0 : 2 0 vs H1 : 2 0:

Sea x1; : : : ; xn una muestra de valores independientes de X , consideremosla funcin de verosimilitud

L(x1; : : : ; xn; ) =nYi=1

f(x;)


49/295

3.5. CONSTRUCCIN DE TESTS MULTIVARIANTES 49

y sea

b el estimador mximo verosmil de 2 : Consideremos anloga-

mente b0, el estimador de mxima verosimilitud de 2 0: Tenemos que bmaximiza L sin restricciones yb0 maximiza L cuando se impone la condicinde que pertenezca a 0: La razn de verosimilitud es el estadstico

R =L(x1; : : : ; xn;b0)L(x1; : : : ; xn;b) ;

que satisface 0 R 1: Aceptamos la hiptesis H0 si R es prxima a 1 yaceptamos la alternativa H1 si R es signicativamente prximo a 0.

El test basado en R tiene muchas aplicaciones en AM, pero en la mayorade los casos su distribucin es desconocida. Existe un importante resultado(atribuido a Wilks), que dice que la distribucin de -2 veces el logaritmo de

R es ji-cuadrado con r s g.l. cuando el tamao de la muestra n es grande.Teorema 3.5.1 Bajo ciertas condiciones de regularidad, se verica:

2log R es asintticamente 2rs;donde s = dim(0) < r = dim().

Entonces rechazamos la hiptesis H0 cuando 2log R sea grande y sig-nicativo. Veamos dos ejemplos.

Test de independencia

Si (X1; : : : ; X p) es N(; ); y queremos hacer un test sobre la indepen-dencia estocstica de las variables, entonces

0 = f(; 0)g; s = 2p; = f(; )g; r = p +p(p + 1)=2;

donde 0 es diagonal. 0 contiene las p medias de las variables y las pvarianzas. es cualquier matriz denida positiva. Se demuestra (Seccin5.4.2) que

2log R = n log jRj;donde R es la matriz de correlaciones. El estadstico n log jRj es asintti-camente ji-cuadrado con

q = p +p(p + 1)=2 2p = p(p 1)=2 g.l.Si las variables son independientes, tendremos que R I; n log jRj 0; yes probable que 2q = n log jRj no sea signicativo.


50/295


51/295

3.6. EJEMPLOS 51

Teorema 3.5.2 En el test sobre el vector de medias, la T2 de Hotelling y la

t de Student estn relacionadas por

T2 = maxa

t2(a):

Demost.: (x 0) es un vector columna y podemos escribir t2(a) como

t2(a) = (n 1) a0(x 0)(x 0)0a

a0Sa

Sea A = (x 0)(x 0)0 matriz de orden p p y rango 1: Si v1 satisfaceAv1 = 1Sv1 entonces

1 = maxv

v0Avv0Sv

:

De (x 0)(x 0)0v1 = 1Sv1 resulta que S1(x 0)(x 0)0v1 = 1v1y de la identidad

S1(x 0)(x 0)0(S1(x 0)) = (x 0)0S1(x 0)(S1(x 0))

vemos que 1 = (x 0)0S1(x 0); v1 = S1(x 0): Por lo tanto

T2 = maxa

t2(a) = (n 1)(x 0)0S1(x 0):

3.6. Ejemplos

Ejemplo 3.6.1

Se desean comparar dos especies de moscas de agua: Amerohelea fasci-nata, Amerohelea pseudofascinata. En relacin a las variables X1 = long.antena, X2 = long. ala (en mm), para dos muestras de tamaos n1 = 9 yn2 = 6; se han obtenido las matrices de datos de la Tabla 3.1.

Vectores de medias (valores multiplicados por 100):

x= (141;33; 180;44); y = (122;67; 192;67):


52/295


Amerohelea fascinata A. pseudofascinatan1 = 9 n2 = 6

X1 X21;38 1;641;40 1;701;24 1;721;36 1;741;38 1;821;48 1;821;54 1;821;38 1;901;56 2;08

X1 X21;14 1;781;20 1;861;18 1;961;30 1;961;26 2;001;28 2;00

Tabla 3.1: X1 = long. antena, X2 = long. ala (en mm), para dos muestras detamao n1 = 9 y n2 = 6;.

Matrices de covarianzas:

S1=

98;00 80;8380;83 167;78

S2=

39;47 43;4743;47 77;87

:

Estimacin centrada de la matriz de covarianzas comn:

bS= 113 (8S1 + 5S2) = 75;49 66;4666;46 133;81 :Distancia de Mahalanobis entre las dos muestras:

D2 = (x y)bS1(x y)0 = 15;52:Estadstico T2 :

T2 =6 96 + 9

D2 = 55;87

Estadstico F :9 + 6 1 2

2(9 + 6 2)T2 = 25;78

F212

Decisin: rechazamos la hiptesis de que las dos especies son iguales (Nivelde signicacin=0;001):

Ejemplo 3.6.2


53/295

3.6. EJEMPLOS 53

Comparacin de las especies virginica, versicolor, setosa de ores del

gnero Iris (datos de R. A. Fisher, Tabla 3.2), respecto a las variables quemiden longitud y anchura de spalos y ptalos:

X1; X2 = long:; anch:(sepalos); X3; X4 = long:; anch:(petalos):

Vectores de medias y tamaos mustrales:

I. setosa (5;006; 3;428; 1;462; 0;246) n1 = 50I. versicolor (5;936; 2;770; 4;260; 1;326) n2 = 50

I. virginica (6;588; 2;974; 5;550; 2;026) n3 = 50

Matriz dispersin entre grupos:

B =

0BB@63;212 19;953 165;17 71;278

11;345 57;23 22;932436;73 186;69

80;413

1CCAMatriz dispersin dentro grupos:

W =0BB@ 38;956 12;630 24;703 5;64516;962 8;148 4;80827;322 6;284

6;156

1CCALambda de Wilks:

=jWj

jW + Bj = 0;02344(4; 147; 2)

Transformacin a una F aplicando (2.9):

! F = 198;95 F8288Decisin: las diferencias entre las tres especies son muy signicativas.


54/295


X1 X2 X3 X4 X1 X2 X3 X4 X1 X2 X3 X45.1 3.5 1.4 0.2 7.0 3.2 4.7 1.4 6.3 3.3 6.0 2.54.9 3.0 1.4 0.2 6.4 3.2 4.5 1.5 5.8 2.7 5.1 1.94.7 3.2 1.3 0.2 6.9 3.1 4.9 1.5 7.1 3.0 5.9 2.14.6 3.1 1.5 0.2 5.5 2.3 4.0 1.3 6.3 2.9 5.6 1.85.0 3.6 1.4 0.2 6.5 2.8 4.6 1.5 6.5 3.0 5.8 2.25.4 3.9 1.7 0.4 5.7 2.8 4.5 1.3 7.6 3.0 6.6 2.14.6 3.4 1.4 0.3 6.3 3.3 4.7 1.6 4.9 2.5 4.5 1.75.0 3.4 1.5 0.2 4.9 2.4 3.3 1.0 7.3 2.9 6.3 1.84.4 2.9 1.4 0.2 6.6 2.9 4.6 1.3 6.7 2.5 5.8 1.84.9 3.1 1.5 0.1 5.2 2.7 3.9 1.4 7.2 3.6 6.1 2.55.4 3.7 1.5 0.2 5.0 2.0 3.5 1.0 6.5 3.2 5.1 2.04.8 3.4 1.6 0.2 5.9 3.0 4.2 1.5 6.4 2.7 5.3 1.94.8 3.0 1.4 0.1 6.0 2.2 4.0 1.0 6.8 3.0 5.5 2.14.3 3.0 1.1 0.1 6.1 2.9 4.7 1.4 5.7 2.5 5.0 2.05.8 4.0 1.2 0.2 5.6 2.9 3.6 1.3 5.8 2.8 5.1 2.4

5.7 4.4 1.5 0.4 6.7 3.1 4.4 1.4 6.4 3.2 5.3 2.35.4 3.9 1.3 0.4 5.6 3.0 4.5 1.5 6.5 3.0 5.5 1.85.1 3.5 1.4 0.3 5.8 2.7 4.1 1.0 7.7 3.8 6.7 2.25.7 3.8 1.7 0.3 6.2 2.2 4.5 1.5 7.7 2.6 6.9 2.35.1 3.8 1.5 0.3 5.6 2.5 3.9 1.1 6.0 2.2 5.0 1.55.4 3.4 1.7 0.2 5.9 3.2 4.8 1.8 6.9 3.2 5.7 2.35.1 3.7 1.5 0.4 6.1 2.8 4.0 1.3 5.6 2.8 4.9 2.04.6 3.6 1.0 0.2 6.3 2.5 4.9 1.5 7.7 2.8 6.7 2.05.1 3.3 1.7 0.5 6.1 2.8 4.7 1.2 6.3 2.7 4.9 1.84.8 3.4 1.9 0.2 6.4 2.9 4.3 1.3 6.7 3.3 5.7 2.15.0 3.0 1.6 0.2 6.6 3.0 4.4 1.4 7.2 3.2 6.0 1.85.0 3.4 1.6 0.4 6.8 2.8 4.8 1.4 6.2 2.8 4.8 1.85.2 3.5 1.5 0.2 6.7 3.0 5.0 1.7 6.1 3.0 4.9 1.85.2 3.4 1.4 0.2 6.0 2.9 4.5 1.5 6.4 2.8 5.6 2.14.7 3.2 1.6 0.2 5.7 2.6 3.5 1.0 7.2 3.0 5.8 1.64.8 3.1 1.6 0.2 5.5 2.4 3.8 1.1 7.4 2.8 6.1 1.95.4 3.4 1.5 0.4 5.5 2.4 3.7 1.0 7.9 3.8 6.4 2.05.2 4.1 1.5 0.1 5.8 2.7 3.9 1.2 6.4 2.8 5.6 2.25.5 4.2 1.4 0.2 6.0 2.7 5.1 1.6 6.3 2.8 5.1 1.54.9 3.1 1.5 0.2 5.4 3.0 4.5 1.5 6.1 2.6 5.6 1.4

5.0 3.2 1.2 0.2 6.0 3.4 4.5 1.6 7.7 3.0 6.1 2.35.5 3.5 1.3 0.2 6.7 3.1 4.7 1.5 6.3 3.4 5.6 2.44.9 3.6 1.4 0.1 6.3 2.3 4.4 1.3 6.4 3.1 5.5 1.84.4 3.0 1.3 0.2 5.6 3.0 4.1 1.3 6.0 3.0 4.8 1.85.1 3.4 1.5 0.2 5.5 2.5 4.0 1.3 6.9 3.1 5.4 2.15.0 3.5 1.3 0.3 5.5 2.6 4.4 1.2 6.7 3.1 5.6 2.44.5 2.3 1.3 0.3 6.1 3.0 4.6 1.4 6.9 3.1 5.1 2.34.4 3.2 1.3 0.2 5.8 2.6 4.0 1.2 5.8 2.7 5.1 1.95.0 3.5 1.6 0.6 5.0 2.3 3.3 1.0 6.8 3.2 5.9 2.35.1 3.8 1.9 0.4 5.6 2.7 4.2 1.3 6.7 3.3 5.7 2.54.8 3.0 1.4 0.3 5.7 3.0 4.2 1.2 6.7 3.0 5.2 2.35.1 3.8 1.6 0.2 5.7 2.9 4.2 1.3 6.3 2.5 5.0 1.94.6 3.2 1.4 0.2 6.2 2.9 4.3 1.3 6.5 3.0 5.2 2.05.3 3.7 1.5 0.2 5.1 2.5 3.0 1.1 6.2 3.4 5.4 2.35.0 3.3 1.4 0.2 5.7 2.8 4.1 1.3 5.9 3.0 5.1 1.8

Tabla 3.2: Longitud y anchura de spalos y ptalos de 3 especies del gnero

Iris: Setosa, Versicolor, Virginica.


55/295

3.6. EJEMPLOS 55

Ejemplo 3.6.3

Consideremos los siguientes datos (tamaos muestrales, medias, desvia-ciones tpicas, matrices de covarianzas) de p = 2 variables X (longitud delfmur), Y (longitud del hmero), obtenidas sobre dos poblaciones (Anglo-indios, Indios) .

Medias X Yn1 = 27 460.4 335.1n2 = 20 444.3 323.2Diferencia 16.1 11.9Desv. tpicas 23.7 18.2

Matriz covarianzasbS = 561;7 374;2374;2 331;24

Correlacin: r = 0;867

Suponiendo normalidad, los tests t de comparacin de medias para cadavariable por separado son:

Variable X t = 2;302 (45 g.l.) (p = 0;0259);Variable Y t = 2;215 (45 g.l.) (p = 0;0318):

A un nivel de signicacin 0; 05 se concluye que hay diferencias signicativaspara cada variable por separado.

Utilicemos ahora las dos variables conjuntamente. La distancia de Maha-lanobis entre las dos poblaciones es d0bS1d =0;4777; siendo d =(16; 1; 11;9):La T2 de Hotelling es

T2 =27 2027 + 20

0;4777 = 5;488

que convertida en una F da:

F =27 + 20 1 2(27 + 20 2)2 5;488 = 2;685 (2 y 44 g.l.) (p = 0;079):

Esta F no es signicativa al nivel 0.05. Por lo tanto ambos tests univariantes

resultan signicativos, pero el test bivariante no, contradiciendo la creenciade que un test multivariante debera proporcionar mayor signicacin que untest univariante.

Interpretemos geomtricamente esta paradoja (conocida como paradojade Rao). Con nivel de signicacin 0,05, y aplicando el test T2 de Hotelling,


56/295


aceptaremos la hiptesis nula bivariante si el vector diferencia d = (x y)0

pertenece a la elipsen1n2

n1 + n2d0

561; 7 374; 2374; 2 331; 24

1d 3;2;

donde 3.2 es el punto crtico para una F con 2 y 44 g. l. As pues no haysignicacin si x; y verican la inecuacin

0; 040369x2 0; 09121xy + 0; 06845 6y2 3;2:Anlogamente, en el test univariante y para la primera variable x, la

diferncia d = x1 x2 debe vericar

jrn1n2n1 + n2

( ds1

)j 2;

siendo 2 el valor crtico para una t con 45 g. l. Procederamos de forma similarpara la segunda variable y. Obtenemos as las cuatro rectas

Variable x : 0; 143x = 2; Variable y : 0; 1862y = 2:En la Figura 3.1 podemos visualizar la paradoja. Los valores de la difer-

encia que estn a la derecha de la recta vertical rx son signicativos parala variable x: Anlogamente los que estn por encima de la recta horizontalry lo son para la y: Por otra parte, todos los valores que estn fuera de laelipse (regin F) son signicativos para las dos variables. Hay casos en quex; y por separado no son signicativos, pero conjuntamente s. No obstante,existe una pequea regin por encima de ry y a la derecha de rx que caedentro de la elipse. Para los datos del ejemplo, se obtiene el punto sealadocon el signo +, para el cual x e y son signicativas pero no (x; y): Asx e yson signicativas si el punto se encuentra en el cuadrante A. (Una simetracon respecto al origen nos permitira considerar otras dos rectas y la reginB).

Pues bien, el test con x y el test con y por separado, son tests t distintosdel test T2 empleado con (x; y); equivalente a una F. Tales tests no tienen

por qu dar resultados compatibles. Las probabilidades de las regiones derechazo son distintas. Adems, la potencia del test con (x; y) es superior,puesto que la probabilidad de la regin F es mayor que las probabilidadessumadas de las regiones A y B.

Para ver ms ejemplos, consltese Baillo y Gran (2008).


57/295

3.7. ANLISIS DE PERFILES 57

Figura 3.1: Un test de comparacin de poblaciones bivariante puede resultarmenos signicativo que dos tests univariantes con las variables marginales.

3.7. Anlisis de perles

Supongamos que las las de una matriz de datos X(n p) provienen deuna distribucin Np(; ): Estamos interesados en establecer una hiptesislineal sobre = (1; : : : ; p)

0: Por ejemplo, que las medias univariantes son

iguales:H0 : 1 = = p

Esta hiptesis slo tiene sentido si las variables observables son comparables.Consideremos la matriz de orden (p 1) p

C =

0BB@1 1 0 00 1 1 0

0 9 9 1

1CCALa hiptesis es equivalente a

H0 : C = 0

Aceptar H0 es lo mismo que decir que las medias de las p 1 variablesX1X2; X2X3; : : : ; X p1Xp son iguales a cero. Por lo tanto aplicaremos


58/295


el test de la T2 de Hotelling a la matriz de datos Y = XC: Bajo la hiptesis

nulaT2 = (n1)(Cx)0(CSC0)1(Cx) = n(Cx)0(CbSC0)1(Cx) T2(p1; n1);siendo bS la matriz de covarianzas con correccin de sesgo. Aplicando (3.1)con p 1 variables

n p + 1p 1 (Cx)

0(CbSC0)1(Cx) Fp1np+1Rechazaremos la hiptesis nula si el valor F resulta signicativo.

Consideremos los datos del ejemplo 1.11.1. Queremos estudiar si las me-

dias poblacionales de N, E, S, W son iguales. En este caso

C =

0@ 1 1 0 00 1 1 00 0 1 1

1Ay la T2 de Hotelling es :

T2 = n(Cx)0(CbSC0)1Cx = 20;74Bajo la hiptesis nula, sigue una T2(3; 23): Convertida en una F se obtiene

F(3; 25) = [25=(27 3)]T2

= 6;40: El valor crtico al nivel 0;05 es 2;99: Haydiferencias signicativas a lo largo de las cuatro direcciones cardinales.

3.8. Complementos

C. Stein prob que la estimacin b = x de de la distribucin Np(; )puede ser inadmisible si p 3; en el sentido de que no minimiza

p

Xi=1(

bi i)2;

y propuso una mejora de aquel estimador. B. Efron y C. Morris explicaronesa peculiaridad desde una perspectiva bayesiana. S. M. Stigler di una in-teresante explicacin en trminos de regresin, justicando por qu p 3(consultar Cuadras, 1991).


59/295


El principio es debido a S. N. Roy, pero no siempre es aplicable. El test de

mxima-verosimilitud es atribuido a S. Wilks y es ms general. Es interesantenotar que 2log se puede interpretar como una distancia de Mahalanobis.Otros tests semejantes fueron propuestos por C. R. Rao y A. Wald. ConsultarCuadras y Fortiana (1993b), Rao (1973).

En general, es necesario corregir los tests multiplicando por una con-stante a n de conseguir tests insesgados (la potencia del test ser siemprems grande que el nivel de signicacin). Por ejemplo, es necesario hacer lamodicacin de G. E. P. Box sobre el test de Bartlett para comparar matricesde covarianzas (Seccin 7.5.2).

Para datos de tipo mixto o no normales, se puede plantear la comparacinde dos poblaciones utilizando distancias entre las observaciones, calculando

coordenadas principales mediante MDS, y a continuacin aplicando el modelode regresin multivariante. Vase Cuadras y Fortiana (2004), Cuadras (2008).


60/295


61/295

Captulo 4

ANALISIS DECORRELACION CANONICA

4.1. Introduccin

En este captulo estudiamos la relacin multivariante entre vectores aleato-rios. Introducimos y estudiamos las correlaciones cannicas, que son gener-alizaciones de las correlaciones simple y mltiple.

Tenemos tres posibilidades para relacionar dos variables:

La correlacin simple si X; Y son dos v.a.

La correlacin mltiple si Y es una v.a. y X = (X1; : : : ; X p) es un vectoraleatorio.

La correlacin cannica si X = (X1; : : : ; X p) e Y = (Y1; : : : ; Y q) son dosvectores aleatorios.

4.2. Correlacin mltiple

Queremos relacionar una variable respuesta Y con p variables cuantitati-vas explicativas X1; : : : ; X p; que suponemos centradas. El modelo de regresinmltiple consiste en encontrar la combinacin lineal

bY = 1X1 + + pXp61


62/295

62 CAPTULO 4. ANALISIS DE CORRELACION CANONICA

que mejor se ajuste a la variable Y: Sea la matriz de covarianzas de X y

= (1; : : : ; p)0 el vector columna con las covarianzas j = cov(Y; Xj); j =1; : : : ; p : El criterio de ajuste es el de los mnimos cuadrados.

Teorema 4.2.1 Los coecientesb = (b1; : : : ;bp) que minimizan la cantidadE(Y bY)2 verican la ecuacin

b = 1: (4.1)Demost.:

() = E(Y

bY)2

= E(Y)2 + E(

bY)2 2E(Y

bY)

= var(Y) + 0 20Derivando vectorialmente respecto de e igualando a 0

@

@() = 2 2 = 0:

La variable prediccin es bY = Xb =b1X1 + +bpXp: Si ponemosY = bY + eY ;

entonces

eY es la variable residual.

La correlacin mltiple entre Y y X1; : : : ; X p es, por denicin, la cor-relacin simple entre Y y la mejor prediccin bY = Xb: Se indica porR = cor(Y;bY):

Se verica:

1. 0 R 1:2. R = 1 si Y es combinacin lineal de X1; : : : ; X p:

3. R = 0 si Y est incorrelacionada con cada una de las variables Xi:

Teorema 4.2.2 La variable prediccin bY ; residual eY y la correlacin mlti-ple R cumplen:

1. bY e eY son variables incorrelacionadas.


63/295

4.3. CORRELACIN CANNICA 63

2. var(Y) =var(

bY)+var(

eY):

3. R2 =var(bY)=var(Y):Demost.: 1) es consecuencia de b = : En efecto,

cov(bY ; eY) = E(bYeY) = E(b0X0(Y b0X))= b0 b0b = 0:

2) es consecuencia inmediata de 1). Finalmente, de

cov(Y;

bY) = cov(Y; pi=1

biXi) =

pi=1

bii =

b0 =

b0

b = var(

bY);

obtenemosR2 =

cov2(Y;bY)var(Y)var(bY) = var(bY)var(Y) : (4.2)

4.3. Correlacin cannica

Sean X = (X1; : : : ; X p); Y = (Y1; : : : ; Y q) dos vectores aleatorios de di-mensiones p y q: Planteemos el problema de encontrar dos variables com-puestas

U = Xa = a1X1 +

+ apXp; V = Yb = b1Y1 +

+ bpYq;

siendo a = (a1; : : : ; ap)0; b = (b1; : : : ; bp)0 tales que la correlacin entre ambas

cor(U; V)

sea mxima. Indiquemos por S11; S22 las matrices de covarianzas (muestrales)de las variables X; Y; respectivamente, y sea S12 la matriz p q con lascovarianzas de las variables X con las variables Y: Es decir:

X Y

X S11 S12Y S21 S22

donde S21 = S012:Podemos suponer

var(U) = a0S11a =1; var(V) = b0S22b =1:


64/295


65/295


66/295


67/295

4.5. SIGNIFICACIN DE LAS CORRELACIONES CANNICAS 67

4.5. Signicacin de las correlaciones canni-

casHemos encontrado las variables y correlaciones cannicas a partir de las

matrices de covarianzas y correlaciones muestrales, es decir, a partir de mues-tras de tamao n: Naturalmente, todo lo que hemos dicho vale si sustituimosS11; S12; S22 por las versiones poblacionales 11; 12; 22: Sean

1 2 m

las m = mnfp; qg correlaciones cannicas obtenidas a partir de 11; 12; 22,soluciones de:

j12122 21 211j = 0:Si queremos decidir cules son signicativas, supongamos normalidad multi-variante, indiquemos 0 = 1 y planteemos el tests

Hk0 : k > k+1 = = m = 0; (k = 0; 1; : : : ; m);

que equivale a rang(122 21) = k: El test de Bartlett-Lawley demuestra quesi Hk0 es cierta, entonces

Lk = [n 1 k 12

(p + q+ 1) +kXi=1

r2i ]log[mY

i=k+1

(1 r2i )

es asintticamente ji-cuadrado con (m k)(p k) g.l. Este test se aplicasecuencialmente: si Li es signicativo para i = 0; 1; : : : ; k 1; pero Lk no essignicativo, entonces se acepta Hk0 :

4.6. Test de independencia

Suponiendo normalidad, armar que X es independiente de Y consisteen plantear

H0 : 12 = 0; H1 : 12 6= 0:Podemos resolver este test de hiptesis de dos maneras.


68/295

68 CAPTULO 4. ANALISIS DE CORRELACION CANONICA

4.6.1. Razn de verosimilitud

Si la hiptesis es cierta, entonces el test de razn de verosimilitud (Seccin3.5.1) se reduce al estadstico

=jSj

jS11jjS22j =jRj

jR11jjR22j ;

que sigue la distribucin lambda de Wilks (p; n 1 q; q); equivalente a(q; n 1 p; q): Rechazaremos H0 si es pequea y signicativa (Mardiaet al. 1979, Rencher, 1998).

Es fcil probar que es funcin de las correlaciones cannicas

= jI S122 S21S111 S12j =mYi=1

(1 r2i ):

4.6.2. Principio de unin interseccin

Consideremos las variables U = a1X1 + + apXp;V = b1Y1 + + bpYq:La correlacin entre U; V es

(U; V) =a01212bp

a11ap

b022b

H0 equivale a (U; V) = 0 para todo U;V: La correlacin muestral es

r(U; V) =a0S12bp

a0S11ap

b0S22b:

Aplicando el principio de unin interseccin (Seccin 3.5.2), aceptaremos H0si r(U; V) no es signicativa para todo U;V; y aceptaremos H1 si r(U; V) essignicativa para algn par U;V: Este criterio nos lleva a estudiar la signi-cacin de

r1 = maxU;V

r(U; V)

es decir, de la primera correlacin cannica. Por tanto, el test es:

H0 : 1 = 0; H1 : 1 > 0:

Existen tablas especiales para decidir si r1 es signicativa (Morrison, 1976),pero tambin se puede aplicar el estadstico L0 de Bartlett-Lawley.


69/295

4.7. EJEMPLOS 69

4.7. Ejemplos

Se consideran los datos de n = 25 familias para las variables (vase laTabla 1.2):

X1 = long. cabeza primer hijo, X2 = ancho cabeza primer hijo,Y1 = long. cabeza segundo hijo, Y2 = ancho cabeza segundo hijo,

La matriz de correlaciones es:

R =

0

BB@1 0;7346 0;7108 0;7040

0;7346 1 0;6932 0;80860;7108 0;6932 1 0;8392

0;7040 0;8086 0;8392 1

1

CCAEntonces:

R11 =

1 0;7346

0;7346 1

; R12 =

0;7108 0;70400;6932 0;8086

;

R22 =

1 0;8392

0;8392 1

:

Las races de la ecuacin:

jR12R122 R21 R11j = 0;4603632 0;287596 + 0;000830 = 0son: 1 = 0;6218, 2 = 0;0029; y por tanto las correlaciones cannicas son:

r1 = 0;7885; r2 = 0;0539:

Los vectores cannicos normalizados son:

a1 = (0;0566; 0;0707)0; a2 = (0;1400; 0;1870)0;

b1 = (0;0502; 0;0802)0; b2 = (0;1760; 0;2619)0:

Las variables cannicas con variaza 1 son:

U1 = 0;0566X1 + 0;0707X2; V1 = 0;0502Y1 + 0;0802Y2; (r1 = 0;7885);

U2 = 0;1400X1 0;1870X2; V2 = 0;1760Y1 0;2619Y2; (r2 = 0;0539):La dependencia entre (X1; X2) y (Y1; Y2) viene dada principalmente por larelacin entre (U1; V1) con correlacin 0;7885; ms alta que cualquier cor-relacin entre una variable Xi y una variable Yj : Podemos interpretar las


70/295


71/295


Las variables cannicas son:

U1 = +0;083X1 0;372X2 0;1130X3 + 0;555X4; (r1 = 0;8377);V1 = +0;706Y1 + 0;339Y2;U2 = +1;928X1 + 2;4031;546X2 + 1;127X3 + 1;546X4; (r2 = 0;4125):V2 = +1;521Y1 1;642Y2;

Las primeras variables cannicas U1; V1; que podemos escribir conven-cionalmente como

U1 = +0;083CU 0;372PSC 0;1130PP + 0;555ERC,V1 = +0;706(Juan/Joan) + 0;339(Juana/Joanna),

nos indican que las regione ms catalanas, en el sentido de que los nombrescastellanos Juan y Juana no predominan tanto sobre los catalanes Joan yJoanna, tienden a votar ms a CU y ERC, que son partidos nacionalistas.Las regiones con predominio de voto al PSC o al PP, que son partidos centra-listas, estn en general, ms castellanizadas. Las segundas variables cannicastienen una interpretacin ms dicil.

4.8. Complementos

El anlisis de correlacin cannica (ACC) fu introducido por H. Hotellingen 1935, que buscaba la relacin entre tests mentales y medidas biomtricas,a n de estudiar el nmero y la naturaleza de las relaciones entre mente ycuerpo, que con un anlisis de todas las correlaciones sera difcil de interpre-tar. Es un mtodo de aplicacin limitada, pero de gran inters terico puestoque diversos mtodos de AM se derivan del ACC.

Aplicaciones a la psicologa se pueden encontrar en Cooley y Lohnes(1971), Cuadras y Snchez (1975). En ecologa se ha aplicado como un mode-lo para estudiar la relacin entre presencia de especies y variables ambientales(Gittings, 1985).

La distribucin de las correlaciones cannicas es bastante complicada.

Solamente se conocen resultados asintticos (Muirhead, 1982).En ciertas aplicaciones tiene inters considerar medidads globales de aso-ciacin entre dos matrices de datos X; Y; de rdenes n p y n q respecti-vamente, observadas sobre el mismo conjunto de n individuos. Una medidainteresante

manua análisis multivariante

Documents