u1. procesos y series de tiempo

Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías

1

Universidad Abierta y a Distancia de México

Licenciatura en Matemáticas

8° cuatrimestre

Estadística III

Información general de la asignatura

Clave:

050930935



2

Índice Unidad 1. Procesos y Series de Tiempo.................................................................................. 3

Presentación de la unidad ........................................................................................................ 3

Propósitos de la unidad ........................................................................................................... 3

Competencia específica ........................................................................................................... 3

1.1. Procesos de 2° orden y series de tiempo ......................................................................... 3

1.1.1. Procesos de segundo orden ....................................................................................... 4

1.1.2. Procesos estacionarios .............................................................................................. 5

1.1.3. Procesos estacionarios de segundo orden ............................................................... 6

1.1.4. Ejemplos ...................................................................................................................... 8

1.1.5. Relaciones entre las formas de estacionariedad .................................................... 10

1.2. La sucesión de autocorrelación ...................................................................................... 12

1.2.2. La sucesión de autocorrelación ............................................................................... 12

Actividad 1. Estacionariedad ................................................................................................. 14

1.3. El espacio de variables aleatorias con segundo momento finito ................................. 14

1.3.1. Variables aleatorias con 2° momento finito ............................................................. 15

1.3.2. Desigualdades importantes ...................................................................................... 16

1.3.3. Operadores de retraso .............................................................................................. 16

1.4. Procesos ARMA ....................................................................................................... 20

1.4.1. Proceso de ruido blanco ........................................................................................... 20

1.4.2. Proceso de promedios móviles ................................................................................ 20

1.4.3. Proceso autorregresivo ............................................................................................ 22

1.4.4. Proceso ARMA(p,q) ................................................................................................... 28

Actividad 2. Uso de software ................................................................................................. 31

1.5. La sucesión de autocorrelación parcial ......................................................................... 31

1.5.1. Procesos autorregresivos y el proceso de sucesión de autocorrelación parcial . 32

Actividad 3. Simulación de un proceso ARMA en R ............................................................. 34

Autoevaluación ....................................................................................................................... 34

Evidencia de Aprendizaje. Ajuste de modelos ARMA .......................................................... 34

Autorreflexiones ..................................................................................................................... 35

Cierre de la unidad .................................................................................................................. 35

Referencias Bibliográficas ..................................................................................................... 36



3

Unidad 1. Procesos y Series de Tiempo

Presentación de la unidad

En esta unidad se revisarán las definiciones de proceso estocástico de de segundo orden,

procesos estacionarios y procesos estacionarios de segundo orden. Se verá que esta última

clase de procesos tienen la característica de tener valor esperado y sucesión de autocovarianza

que no cambian con el índice de tiempo.

Teniendo en mente esta característica de los momentos de primer y segundo orden para un

proceso estacionario de segundo orden, se revisarán los procesos de ruido blanco,

autorregresivo y de promedios móviles, estudiando las condiciones bajo las cuales estos

procesos son estacionarios de segundo orden. Este análisis nos permitirá identificar las

propiedades estadísticas de los modelos lineales de series de tiempo, conocidos en literatura

como procesos ARMA( ).

Propósitos de la unidad

Identificarás las nociones de Proceso Estocástico Estacionario y Estacionario de

Segundo Orden

Identificarás las relaciones entre los diferentes tipos de estacionariedad.

Determinarás las condiciones sobre los parámetros de cada proceso, que hacen que

este sea estacionario de segundo orden.

Competencia específica

Identificar las propiedades estadísticas de los modelos de series de tiempo lineales mediante

la definición de los modelos de ruido blanco, de promedios móviles, y autorregresivo.

1.1. Procesos de 2° orden y series de tiempo

La medición de una cantidad de interés a lo largo de varios instantes en el tiempo es un proceso

que emerge en forma natural en diferentes ámbitos de estudio. En economía si nos interesa la

evolución de algún índice, se consideran mediciones de este registradas por ejemplo cada mes

durante varios años. Para este ejemplo, pueden tenerse en mente varios objetivos como saber

si hay un patrón que se repite en intervalos de tiempo con la misma longitud (existencia de

ciclos). También puede ser de interés predecir el valor del índice una unidad de tiempo después

de la última observación. Otro ejemplo se da en estudios ecológicos, donde se tienen



4

mediciones anuales de la temperatura global del planeta tierra y la pregunta a contestar es si

existe una tendencia de estas observaciones a tener mayor magnitud a lo largo de diferentes

tiempos.

La metodología estadística para trabajar con observaciones de algún fenómeno hechas en

varios tiempos se conoce como series de tiempo.

Desde un punto de vista teórico, el modelo matemático para pensar en una serie de

observaciones indexadas en el tiempo es un proceso estocástico. A continuación estudiamos

brevemente este tema.

En esta unidad denota al conjunto índice de tiempo, este conjunto se toma como un modelo

de la colección de tiempos en los que se observan mediciones con respecto a un fenómeno de

intéres. Para nuestros objetivos, el conjunto puede estardado por los números enteros

ó bien por el conjunto de los números naturales

Un proceso estocástico es una colección de variables aleatorias indexadas en el conjunto

Para cada la variable aleatoria está definida en el espacio de probabilidad .

Una serie de tiempo es una realización del proceso , es decir, para

y las observaciones son la serie de tiempo.

Recordemos que la información necesaria para describir el comportamiento de una variable

aleatoria está dada en su función de distribución de probabilidades

.

1.1.1. Procesos de segundo orden

Los procesos estocásticos con los cuales vamos a trabajar tienen caractersticas basadas en

sus momentos de primer y segundo orden. Por esta razón resultará importante revisar algunas

nociones referentes variables aleatorias con segundo momento finito.

Ahora, supóngase que para cada variable aleatoria indexada en existen su valor medio

y su varianza Usando notación de integral de Stieltjes

∫

(1)



5

∫

(2)

Para nosotros serán de interés los procesos estocásticos para los cuales la media y la varianza,

definidas por estas expresiones, existen. Recordemos que una condición equivalente a la

existencia de (1) y de (2), es la existencia de segundo momento finito

Lema 1.1 y existen si y sólo si existe.

Demostración: Recordemos que si es finita, entonces es finita ya que

∫

∫

∫

y como ∫

∫

entonces es finita.

Por otra parte

es decir, la varianza de es la suma de dos cantidades finitas. Entonces y son

finitos. Inversamente si y son finitos entonces como

tenemos que

es finito.

Decimos que el proceso es un proceso de orden si .

1.1.2. Procesos estacionarios

Será difícil trabajar con cualquier proceso estocástico arbitrario para tratar de describir

fenómenos en la naturaleza. Por esta razón en una primera forma de restringir nuestra

búsqueda, propondremos que los procesos con los que se trate tengan una característica de

“invarianza” de sus propiedades estocásticas en el tiempo. Esta forma de invarianza se conoce

como estacionariedad y básicamente se tiene que los procesos estacionarios son aquellos para

los cuales las distribuciones de probabilidades asociadas a cada variable dentro del proceso no

cambian con el indice de tiempo.

Sea un proceso estocástico y para cada , tomemos . Las

distribuciones de probabilidad conjuntas del vector aleatorio

están dadas por

(3)



6

Estas distribuciones se llaman distribuciones de dimensión finita del proceso .

Definición 1. [Proceso estacionario]

Un proceso se llama estacionario si para todo , para cualesquiera

elementos de y para todo tal que , la función de distribución

conjunta del vector

es igual a la distribución conjunta del vector

En otras palabras, las propiedades estocásticas de un proceso estacionario no cambian al

pasar el tiempo. Para comprender mejor esta definición, consideremos y Entonces

si y el proceso es estacionario, la distribución de las variables y es la misma,

pero tambien la distribución de y es la misma. Esta situación se ilustra en la figura 1.1. En

dónde, el eje horizontal representa el tiempo y el eje vertical el valor de Asimismo

representamos las parejas con un carácter Para cada tiempo la distribución de

es la misma (como se muestra en la figura 2).

Algunos autores usan el nombre completamente estacionario o estrictamente estacionario

para este tipo de procesos.

Figura 1: Proceso completamente estacionario

1.1.3. Procesos estacionarios de segundo orden

Como un modelo para datos reales los procesos estacionarios resultan restrictivos, ya que se

está pidiendo que la distribución de cada variable sea la misma independientemente de en



7

que tiempo se observa. A continuación se relaja la definición de proceso completamente

estacionario al pedir condiciones que pueden ser cumplidas más fácilmente por datos reales.

Definición 2. [Proceso estacionario de orden]

Un proceso de orden se llama débilmente estacionario ó estacionario de orden

si:

Para cada , para cualesquiera y para todo tal que

, todos los momentos de orden 1 y 2 del vector

son iguales a los correspondientes

momentos de orden 1 y 2 del vector , es decir

(4)

donde y ∑ .

La definición 2 debilita la definición 1, en el sentido de que para un proceso estacionario de

segundo orden la distribución de puede ser diferente a la distribución de pero los

momentos (

) y son los mismos que los momentos

y

Entonces si por ejemplo se tendrá que

(5)

es decir, la media del proceso es constante. Análogamente para la estacionariedad de

segundo orden implica que

(6)

Notemos que de (5) y (6) se sigue que para un proceso estacionario de segundo orden

es decir media y varianza son cantidades que no dependen de En forma análoga se sigue de

(4) que



8

Figura 2: Proceso estacionario de segundo orden

1.1.4. Ejemplos

Ejemplo (Variables aleatorias independientes e idénticamente distribuidas con segundo

momento finito)

Sea una sucesión de variables aleatorias independientes e idénticamente distribuidas

tal que entonces

es fuertemente estacionario y estacionario de

orden.

Para nuestro siguiente ejemplo necesitamos una definición:

Definición 3. [Matriz no negativo definida]

Una matriz simétrica de dimensiones se llama no negativo definida si para cada

= tenemos que

Dado un vector aleatorio

de dimensión su matriz de varianzas covarianzas es

la matriz de dimensiones simétrica y con entrada dada por

(la

covarianza entre y

) para

Los procesos Gaussianos son una clase muy importante de procesos de segundo orden. Se

caracterizan por el hecho de que sus distribuciones de dimensión finita son distribuciones

normales multivariadas. Como la distribución normal multivariada esta caracterizada por un

vector de medias y una matriz de varianzas covarianzas al establecer condiciones sobre

estas dos cantidades se podemos encontrar ejemplos de procesos estacionarios



9

Ejemplo (Proceso Gaussiano)

Sea un proceso Gaussiano, es decir, es un proceso de orden tal que

para cada y para cada , existen y una matriz de

dimensiones , simétrica y no negativo definida tales que

[

]

∫

∫

donde y .

Para construir un segundo ejemplo de un proceso que es estacionario fuerte y estacionario de

orden fijamos

,

y

{

(8)

de donde y es una matriz con todos los elementos de la diagonal igual a y todos los

elementos fuera de la diagonal igual a El proceso construido así es fuertemente

estacionario en virtud de que y caracterizan a la distribución Normal y en nuestro ejemplo no

dependen de por lo que se sigue que las distribuciones de

y de

son iguales.

Por otra parte, es estacionario de orden, ya que , y de la ecuación (8)

Notemos que definida a través de la ecuación (8) es no negativa definida, un argumento para

verificarlo se da a continuación. Si y para tomamos , podemos calcular



10

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

Se tienen dos escenarios

Caso 1: Si ∑ ∑

, entonces

Caso 2: Si ∑ ∑

, entonces ∑ ∑

∑ ∑

de donde

∑

∑

∑

∑

∑

∑

1.1.5. Relaciones entre las formas de estacionariedad

Es natural que te realices esta pregunta ¿Cuál es la relación entre estacionariedad y

estacionariedad de segundo orden?

Para responder a esta pregunta, podemos mencionar lo siguiente:

En general se tendrá que:

(i) Si es estacionario fuerte y además es un proceso de orden, entonces es

estacionario de orden, o bien estacionariedad fuerte y existencia de momentos de

orden implica estacionariedad débil.

Sin embargo,

(ii) Si es estacionario de orden, entonces no necesariamente es fuertemente

estacionario. Probaremos (i) en el caso de variables aleatorias absolutamente continuas.

Asumiendo estacionariedad fuerte tenemos:



11

donde la segunda igualdad se sigue de la definición de estacionariedad fuerte. Sean la

densidad de la y tales que , entonces

∫

∫

ya que al tener y la misma función de distribución entonces y tienen la misma

función de densidad. Por lo tanto

∫

Como lo anterior se vale para cualesquiera y tales que y , podemos concluir que

. Ahora hay que demostrar que la varianza no cambia con traslaciones del tiempo,

es decir:

∫

∫

por lo tanto .

Por último, denotamos por a la función de densidad conjunta de

∫

∫

∫

∫



12

ya que la definición de estacionariedad fuerte dice que

y por lo tanto las correspondientes densidades bivariadas son iguales.

Entonces

[ ] ∫

∫

La anterior discusión se puede elaborar en forma análoga en el caso de variables aleatorias

discretas.

Ejemplo

(De acuerdo a ii, estacionarionariedad de orden, no necesariamente implica

estacionariedad)

Sea una sucesión de variables aleatorias independientes tales que

y Entonces tenemos que y

Claramente no es fuertemente estacionario ya que para cada

pero

tenemos que , tambien que y que

por ser variables independientes. De esta forma

. Por lo tanto si es estacionario de segundo orden.

1.2. La sucesión de autocorrelación

Por ser menos restrictivos en sus supuestos, se trbajará los procesos estacionarios de segundo

orden. Por lo cual será de interés analizar las características de los momentos de segundo

orden para esta clase de procesos. En particular un momento que nos ayuda a cuantificar el

grado de dependencia (en un sentido lineal) entre dos variables del proceso estocástico, es la

covarianza entre estas dos variables. Para procesos estacionarios de segundo orden esta

covarianza tiene propiedades que se estudian a continuación.

1.2.2. La sucesión de autocorrelación

Consideremos y sea un proceso estacionario de orden. Entonces,

tomando



13

si ahora tomamos

(9)

Es decir

(10)

y las últimas dos cantidades dependen de y sólo a través de . En otras palabras, para

un proceso estacionario de orden la covarianza entre y es función de . Así, la

covarianza entre y vale lo mismo que la covarianza entre y .

De la anterior observación, definimos la sucesión de autocovarianza del proceso

como

Notemos que para Por otra parte y en virtud de las ecuaciones (9) y

(10), esta sucesión es una función par de , es decir,

véase la figura 3.

Asimismo, se define la sucesión de autocorrelación (ACF) del proceso como

La ACF es tal que Además para cada como consecuencia de la

desigualdad de Cauchy Schwarz (desigualdad (a) en la sección 1.3), se tiene

Aunque puede suceder que dos procesos estacionarios de segundo orden tengan la misma

sucesión de autocovarianza (autocorrelación), dentro de una clase particular de procesos que

introducimos a continuación, la sucesión se usará para diagnosticar qué tipo de

proceso no resulta inadecuado como modelo para un conjunto de datos.



14

Figura 3: Gráfica de una sucesión de covarianza

Actividad 1. Estacionariedad

Por medio de esta actividad, Resolverás ejercicios sobre estacionariedad. Para ello

1. Descarga el documento “Act. 1. Ejercicios de estacionariedad”.

2. Lee las instrucciones y resuelve los problemas que se plantean, tomando en cuenta el

contenido que hasta el momento has revisado.

3. Guarda y envía tu reporte al portafolio de evidencias con la nomenclatura

MEST3_U1_A1_XXYZ.

4. Espera la retroalimentación de tu Facilitador(a).

* Recuerda consultar la Escala de evaluación de la actividad para saber qué aspectos se

tomarán en cuenta para su revisión

1.3. El espacio de variables aleatorias con segundo momento finito



15

Es de menester revisar sin demostrar algunas propiedades matemáticas del entorno en el cual

se puede concebir (para fines teóricos) a los procesos de segundo orden, la clase de variables

aleatorias dentro de la cual yacen los procesos estacionarios de segundo orden. Las

demostraciones de varios de estas propiedades se pueden consultar por ejemplo en Laha y

Rohatgi (1979) o Royden (1968). Las proyecciones ortogonales juegan un papel importante

tanto en inferencia estadística (teorema de Rao-Blackwell) como en regresión. Para el contexto

de series de tiempo, observarás que estos conceptos nos ayudan a dar una solución al

problema de predicción

1.3.1. Variables aleatorias con 2° momento finito

Definición 4 [Espacio de variables aleatorias con segundo momento finito]

Sea un espacio de probabilidad, se define

El conjunto tiene estructura de espacio vectorial sobre el campo de los números

reales. Por ejemplo, dadas en tenemos que casi seguramente con respecto a

(11)

ya que para se tiene

Tomando valor esperado en (11) se obtiene

de donde se tienes que si

Se puede además definir un producto interno para Este esta dado por

y tiene las siguientes propiedades para en

Con este producto interno se define la siguiente norma para



16

√ √

Esta norma caracteriza la llamada convergencia en media cuadrática, para variables aleatorias

con segundo momento finito.

Notemos que si entonces correspondientemente

√

1.3.2. Desigualdades importantes

Se tienen además dos desigualdades cruciales las cuales no demostraremos.

a) • Desigualdad de Cauchy-Schwarz: Dadas en

| | (12)

b) Desigualdad de Minkowski: Dadas en

A continuación presentamos una operación que se usará frecuentemente en la descripción y

tratamiento de los procesos estocásticos y métodos a estudiar en el curso.

1.3.3. Operadores de retraso

Definición 5 [Operadores de retraso y diferencia]

Sea un proceso de segundo orden. El operador de retraso está dado por la

relación

El operador de diferencia queda definido por

Se tiene que y estas operaciones son lineales, dados dos procesos de

segundo orden y



17

Se puede definir la aplicación iterada (composición) de estos operadores, por ejemplo

con la convención de que donde es el operador identidad.

Lo anterior permite trabajar con operadores definidos como polinomios, por ejemplo

el cual actua sobre como

Para un número complejo, considera el polinomio obtenido al reemplazar a por

El teorema fundamental del álgebra (véase por ejemplo Kurosh, 1972 o Lang,

1974), nos dice si y son las raíces de entonces este se puede escribir como

y en nuestro caso y

es decir

Ahora, aplicando el operador

a

(

* (

*

(

*

(13)

De (13) vemos que y

son el mismo operador.

Esta correspondencia entre operaciones algebráicas con polinomios de variable compleja y

los correspondientes polinomios donde la variable es será usada más adelante.

En particular, para un número real tal que será de interés el operador inverso del

operador dado por

∑

(14)



18

En Radjavi y Rosenthal (2003), se establece el lado derecho de (14) es otro operador de en

que está bien definido. Notemos que formalmente (14) es un inverso de ya que

∑

∑

∑

∑

∑

Un problema que emerge en la práctica es el problema de la proyección ortogonal. Por ejemplo,

en el espacio vectorial euclidiano con el producto interno

para en Consideremos vectores y en y el subespacio de dado por

Supón que tenemos el problema de encontrar el vector en que minimiza la distancia entre

y el vector se conoce como la proyección ortogonal de sobre y además de ser un

elemento de cumple la condición de ortogonalidad

(15)

Ahora supón que

y

Como entonces existen y

en tales que además la condición (15) implica que –

y que – estas son dos ecuaciones lineales con incógnitas y que se

pueden escribir

(16)

Para los vectores especificados arriba tenemos

y el sistema de ecuaciones lineales (16) tiene

solución y entonces

La notación nos ayudará a ser

más específicos posteriormente, ya que indica el espacio sobre el cual proyectamos. Ahora

pensemos en el mismo problema de encontrar una proyección ortogonal, pero considerando

y variables aleatorias y en El teorema de la proyección ortogonal

(véase Shumway y Stoffer, 2006, apéndice B o también Brockwell y Davis, 2009, capítulo ) nos

dice que si entonces existe en

que minimiza la distancia entre y



19

La variable aleatoria pertenece a por lo cual además se satisface la

condición de ortogonalidad

(17)

Supón ahora que las variables aleatorias y tienen media en tal caso

y y debido a la condición de ortogonalidad (17) se tiene el

sistema de ecuaciones lineales

(18)

Si conoces las covarianzas y entonces

puedes dar solución al sistema para conocer y Por último, verás como estas ideas ayudan

a resolver el problema de predicción.

Sea un proceso estacionario de segundo orden tal que Supón que dadas las

variables queremos predecir el valor de una observación futura en función de

Para lo anterior se denota por a esta función de la historia del proceso. En un

sentido práctico nos concentramos en el caso de que es una función lineal del pasado, es

decir

∑

(19)

A continuación vamos a escribir esta tarea en el contexto del problema de la proyección

ortogonal, sean y queremos encontrar la variable aleatoria en

el subespacio ∑ que minimiza la distancia entre

y Usando el teorema de la proyección ortogonal podemos encontrar los coeficientes

en (19) que definen a al resolver el sistema lineal

(ecuaciones de predicción)

o equivalentemente (dado que )



20

(20)

La proposición 5.1.1 en el libro de Brockwell y Davis (2009), establece si y

cuando entonces las ecuaciones de predicción (??) tienen solución. En la

siguiente unidad veremos que estas condiciones sobre son válidas para un proceso

ARMA( ) causal.

1.4. Procesos ARMA

Es momento de observar algunos procesos estacionarios de orden que son utilizados para

modelar datos. Estos procesos forman parte de la familia de procesos lineales y en su

definición se recuperan ideas de teora de regresión lineal en el sentido de que para cada tiempo

el valor observado puede pensarse como la respuesta en un modelo de regresión. Para

este modelo de regresión las variables de control son: los valores observados a tiempos

pasados (antes de ) y valores de otro proceso a tiempos pasados.

Primeramente estudiamos las propiedades de este otro proceso al cual llamaremos ruido

blanco. En lo que sigue asumiremos que

1.4.1. Proceso de ruido blanco

Sea una sucesión de variables aleatorias no-correlacionadas, tal que y

, . Entonces y , luego

{ {

(21)

El ruido blanco es un proceso estacionario de segundo orden, ya que la media, la varianza y la

covarianza entre cualesquiera dos variables del proceso son constantes independientes del

tiempo y por ende se satisface la condición (4) revisada en el subtema 1.1.3.

Este proceso parece muy simple pero servirá como el material principal para construir casos

más sofisticados.

1.4.2. Proceso de promedios móviles



21

Para en diremos que el proceso se llama de promedios móviles con orden q

(MA(q)), si se puede escribir como

donde y son constantes reales, El proceso es ruido blanco con ,

y .

Debido a las propiedades del valor esperado se tiene Vamos a calcular la sucesión

de autocovarianza de para lo cuál primeramente asume y observa que el proceso

es tal que

Sea , se puede escribir

(∑

)(∑

)

∑

∑

y luego, por linealidad de la esperanza

∑

∑

Usando que es ruido blanco, de la ecuación (21) se concluye que el valor esperado en

cada término de la suma se anula siempre que no se de la condición , es decir

cuando y en cuyo caso el valor esperado vale . Pero como se debe tener

que o bien . Entonces y por lo tanto . De estas

observaciones se obtiene que

{

(∑

)

Dentro de las actividades a desarrollar esta probar la siguiente afirmación: Si entonces



22

{

(∑

)

Al comparar los casos, el caso y el caso concluimos que

{

( ∑

)

Nota que no depende de y sólo depende de y no de De lo anterior

podemos establecer que si es un proceso MA(q), entonces y además

es decir se satisface la condición (4). Por lo tanto no hay

restricciones sobre los valores y para que sea estacionario de segundo

orden y podemos escribir y observando que ∑

, deducimos

que

{

∑

∑

(22)

Observa que para el caso de los procesos de promedios móviles, de acuerdo a sucesión de

autocorrelación o función de autocorrelación (ACF) (22) si entonces Es decir,

para un proceso MA( ), su ACF correspondiente es diferente de

sólo para valores de en el rango y se cancela para los valores de

que no sean estos números enteros. Como podrás observar en el siguiente ejemplo, este

comportamiento de la ACF no sucede en los procesos autorregresivos y por esta razón será

importante recordar que para los procesos MA( ), la ACF se comporta como en la ecuación

(22), la cual nos da información del valor de Dicho de otra forma, si se tiene un proceso del

cual sólose conoce y esta se comporta como la ecuación (22), entonces dentro de la clase

de procesos de promedios móviles el proceso MA( ) es un candidato para usarse como

modelo.

1.4.3. Proceso autorregresivo



23

Para en diremos que el proceso se llama autorregresivo de orden (AR( )), si

se puede escribir como

(23)

donde y , , son constantes reales y el proceso es ruido blanco con

, y .

Con la notación del operador de retraso definido en la sección anterior podemos escribir (23)

como:

(24)

A diferencia de los procesos MA que siempre son estacionarios, los procesos AR( ) no

resultan estacionarios para cualesquiera valores de , Comenzaremos por

estudiar el caso

Considera el siguiente proceso

con ruido blanco con media y varianza

De la discusión respecto al operador de retraso en el subtema 1.3.3, siempre que

podemos escribir

∑

∑

∑

∑

∑

∑

(25)

Esta es la conocida representación MA( ) para un proceso autorregresivo, escribir así al

proceso AR( ) te permitirá calcular sus momentos en forma análoga a como se hizo para el

proceso MA( ) en el inciso (b). Con este fin sea

y al tomar el valor esperado en

ambos lados de (25)

( ∑

+ (26)



24

(∑

+

∑

En la penúltima igualdad, el intercambio entre valor esperado y suma se puede justificar con los

teoremas de convergencia monótona y convergencia dominada (Royden, 1968).

Como en el caso MA( ), podemos volver a tomar y tenemos

[(∑

+(∑

+]

[∑

∑

]

∑

∑

De nueva cuenta, el intercambio entre valor esperado y suma se puede justificar con los

teoremas de convergencia dominada y monótona. Luego

∑

∑

pero por ser un proceso de ruido blanco,

{

Entonces si

∑

∑

∑

(

)

(27)



25

toda vez que Por otra parte, si entonces es no negativo cuando

en tal caso

∑

∑

∑

(

)

(28)

Combinando (27) y (28) concluimos que en general (para cualquier en tal que )

(

+ (29)

De (26) y (29) observamos que y no dependen de y que

sólo depende de Entonces el proceso AR( ) es estacionario de orden bajo el supuesto de

que

y

Claramente, para un proceso AR( ),

el comportamiento de la sucesión de autocorrelación es radicalmente diferente al de la

correspondiente sucesión de autocorrelación de un proceso MA( ), en el sentido de que para el

proceso AR( ) esta sucesión no se cancela a partir de un valor entero como sucede en la

ecuacion (22). Por esta razón, cuando estamos tratando de identificar si un modelo

autorregresivo se podría usar para los datos, la ACF no es una herramienta útil ya que no nos

da una idea de lo que vale Como se verá mas adelante en el tema 1.5 para identificar

modelos autorregresivos para los datos se requiere usar otra sucesión de autocorrelación

conocida como autocorrelación parcial (PACF).

Para en el campo de los números complejos sea el polinomio obtenido al

reemplazar por en el operador Una observación que será importante es que

restringir a a que su raíz esté afuera del conjunto conduce a la condición

de estacionariedad .

Pasemos a tratar ahora el caso

Considérese ahora un proceso de segundo orden tal que para cada

(30)



26

donde y son números reales y es un proceso de ruido blanco con y

Sea

con Vamos a usar el mismo argumento que

lleva a la ecuación (13). Con este fin escribimos

en donde . Equivalentemente

con las raíces de dadas por

.

Sean

,

Usando la correspondencia entre y ilustrada en la ecuación

(31), escribimos el polinomio de retraso como

(31)

Así, usando (31) escribimos (30) como

y podemos pensar en los operadores y de acuerdo a (14), siempre que

(32)

Asumiendo estas condiciones

Para justificar la última igualdad, sean

y

Tenemos que

ya que

Consecuentemente, usando (14)



27

[ ∑

∑

]

[∑

]

∑

{

}

∑

{

} ∑

{

}

∑

(33)

donde se denota

Al igual que en el caso AR( ) (donde se usó la condición

) en este caso bajo las restricciones (32) hemos escrito al proceso AR( ) en una

representación MA( ). Lo anterior sera útil para calcular media y sucesión de autocovarianza

del proceso, para hacer esto sea

y calculando valor esperado en ambos lados

de (33)

( ∑

+ ∑

(34)

Tomamos y vamos a calcular la covarianza

[(∑

+(∑

+]

[∑

∑

]

∑

∑

El valor esperado en cada sumando se anula siempre que no suceda que Si

entonces ∑

Por otra parte si entonces

( ∑

+ (∑

+



28

Ambos casos se pueden escribir en la expresión

(∑

+ (35)

Nota que ∑ es finita. Para ver esto, bajo las condiciones (32) se tiene que

∑ luego dada existe tal que si entonces De aquí

se sigue que si de donde ∑ es finita.

De (34) y (35) observamos que y no dependen de y que

sólo depende de Entonces el proceso AR( ) es estacionario de orden bajo las condiciones

(32) y en tal caso y ∑

.

Observa que en la condición de estacionariedad para el proceso AR( ) dada en la ecuación

(32), se restringe a que las raíces del polinomio autorregresivo estén

fuera del circulo unitario en

Se podría proseguir en forma análoga para estudiar la estacionariedad de los procesos AR( ),

pero el teorema 1.7 que aparece al final de esta sección tiene el objetivo de llevar a cabo

esta generalizacion. A continuación definimos la clase general de procesos que serán el objeto

de nuestro estudio y aplicación en el resto del curso.

1.4.4. Proceso ARMA(p,q)

Para y en diremos que el proceso se llama autorregresivo y de promedios

móviles de ordenes y (ARMA( )), si se puede escribir como

(36)

donde y , , , son constantes reales y el proceso es ruido

blanco con , y

Definiendo los polinomios autorregresivo y de promedios móviles como

podemos escribir (36) como

Nota que



29

• Si ( ), entonces es un modelo MA(q).

• Si ( ), entonces es un modelo AR(p).

Como ya haz revisado anteriormente, para estudiar la estacionariedad de los procesos

ARMA( ), usaremos sin demostrar un teorema del libro de Brockwell y Davis (1991), para lo

cual necesitamos algunos resultados y definiciones previos

Definición 6. [Causalidad]

Un proceso ARMA( ) definido por la ecuación (36) se llama causal (función causal de ),

si existe una sucesión de constantes tales que ∑ y

∑

(37)

La ecuación anterior se conoce en la literatura como Modelo lineal general ó Promedios

moviles de orden + .

Ejemplo:

• El proceso de Ruido Blanco es causal considerando en la definición de causalidad

• El proceso MA( ) es causal considerando en la definición de causalidad

y si

• El proceso AR( ) es causal siempre que se tenga la condición en cuyo caso

Proposición 1.5 Sea un proceso estacionario de segundo orden con función de

autocovarianza Asumiendo que ∑ , entonces la serie

∑ converge absolutamente con probabilidad uno y en media cuadrática. Además el

proceso

∑

(38)

es un proceso estacionario de segundo orden con función de autocovarianza

∑

∑

(39)

La demostración de este resultado puede encontrarse en el libro de Brockwell y Davis (1991),

capítulo Lo cual no se demuestra dado la complejidad y corresponde a un nivel mas elevado.



30

Respecto a esta proposición, una observación importante es que si se toma con un

proceso de ruido blanco en la ecuación (38) y si conocemos tal que ∑ y el

proceso satisface la ecuación (38), se obtiene que es estacionario de segundo orden

y su autocovarianza está dada en (39). Entonces si tenemos un proceso ARMA( ) tal

que es causal, se sigue de la proposición 1.5 que es estacionario de segundo orden

con sucesión de autocovarianza ∑

Corolario 1.6 Si es un proceso ARMA( ) causal, entonces es estacionario de

segundo orden.

Otra aplicación de la proposición 1.5, es si se toma un proceso con

Como ya se estableció en el último ejemplo que sigue a la definición 6, es causal

con entonces de la proposición es estacionario de orden con

que es un resultado que ya se había desarrollado cuando estudiamos el proceso AR( ).

Para terminar esta sección enunciamos sin demostrar un teorema del libro de Brockwell y Davis

(1991), que a la luz de la última observación, establece cuándo un proceso ARMA( ) es

estacionario de segundo orden. Sean y

los polinomios autorregresivo y de promedios móviles que definen al proceso ARMA( ).

Teorema 1.7 [Causalidad para procesos ARMA]

Sea un proceso ARMA(p,q) para el cual los polinomios y no tienen ceros en

común.

Entonces es un proceso causal si y sólo si tal que .

Otra condición importante en los procesos ARMA( ) es conocida como invertibilidad:

Definición 7 [Invertibilidad]

Un proceso ARMA( ) definido por la ecuación (36) se llama invertible , si existe una sucesión

de constantes tales que ∑ y

∑

(40)

Ejemplo

Un proceso AR( ), siempre es invertible. Para ver lo

anterior sean y si



31

Ejemplo

Un proceso MA( ), tal que es invertible. En efecto, escribimos

con y de la relación (14) se tiene que

∑

∑

con tal que ∑

El siguiente teorema da condiciones necesarias y suficientes para invertibilidad.

Teorema 1.8 [Invertibilidad para procesos ARMA)]

Sea un proceso ARMA(p,q) para el cual los polinomios y no tienen ceros en

común, entonces es invertible si y sólo si tal que . .

En el capitulo del libro de Guerrero (2009), se establece que la importancia del concepto de

invertibilidad radica en que todo proceso invertible está determinado de manera única por su

ACF.

Actividad 2. Uso de software

A través de esta actividad, podrás resolver ejercicios, con la ayuda del programa estadístico

R. para ello:

1. Descarga el documento llamado “Act. 2. Uso de Software”

2. Resuelve los ejercicios que se presentan en el documento descargable

3. Guarda y envía tu documento con la nomenclatura MTOPG_U1_A2_XXYZ.




1.5. La sucesión de autocorrelación parcial

Tal como se observó en la sección anterior, la sucesión de autocorrelación no resulta una

herramienta útil en la identificación de un modelo AR( ) para unos datos ya que no proporciona

una idea del valor del orden de autorregresión Por esta razón se requiere estudiar otra



32

estructura de dependencia del proceso estacionario de segundo orden la cual ayude a

identificar posibles modelos autorregresivos. A menos que se indique lo contrario, supondremos

que es estacionario de segundo orden con media

1.5.1. Procesos autorregresivos y el proceso de sucesión de

autocorrelación parcial

Para definir la sucesión de autocorrelación parcial, recordemos del tema 1.3 que dada la historia

del proceso podemos encontrar el predictor de al resolver las

ecuaciones de predicción (??), donde ∑

En general, usando los mismos resultados sobre proyecciónes ortogonales, dadas variables

aleatorias y en y considerando

∑ es posible aproximar a encontrando

la mejor combinación lineal ∑ en El adjetivo mejor es en el sentido de que

∑ es tal que

∑

Para cada sean ∑ el

subespacio de generado por las combinaciones lineales de

Consideremos los elementos de dados por y

Estos son las

mejores combinaciones lineales para explicar a y

Definición 8 [Sucesión de autocorrelación parcial]

La sucesión de autocorrelación parcial (PACF) del proceso es la sucesión de

correlaciones

(41)

Asumiendo que el proceso es Gaussiano, en el apéndice del libro de Madsen (2008), se

demuestra que la definición 8 de la PACF y la definición 9 abajo son equivalentes. Para cada

consideremos el sistema lineal

(

,(

, (

, (42)



33

Notemos que al dividir el sistema de ecuaciones (??) por se obtiene el sistema de

ecuaciones (42). En Brockwell y Davis (2009), proposición 5.1.1, se establece que este sistema

tiene solución si es un proceso estacionario de segundo orden con sucesión de

autocovarianza tal que si

Definición 9 [Sucesión de autocorrelación parcial]

La sucesión de autocorrelación parcial (PACF) del proceso es la sucesión

(43)

donde esta determinada en forma única por (42).

Recordando la regla de Cramer para sistemas lineales y utilizando esta equivalencia de las

definiciones 8 y 9, la PACF del proceso se calcula como

|

|

|

|

|

|

|

|

Se puede demostrar que cuando es un proceso AR( ) causal

entonces

(44)

Es decir, para los procesos autorregresivos, la PACF se hace cero para cada lag después del

valor del orden Este comportamiento es el análogo al comportamiento de la ACF para los

procesos de promedios móviles. En la siguiente unidad vamos a dar un argumento para ver que

(44) es cierta.

Por esta razón, la PACF será la correlación que resulta útil para identificar un modelo AR( )

adecuado para los datos.



34

Actividad 3. Simulación de un proceso ARMA en R

A traves de esta actividad, simularás un proceso ARMA en en lenguaje R, para después

representar tus conclusiones dentro del foro. para ello

1. Descarga el documento llamado “Act. 3. Simulación de un proceso ARMA en R”

2. Realiza los lineamientos que se indican en el documento descargable

3. Ingresa al foro para anotar tus conclusiones sobre cada unos de los elementos

solicitados en el documento descargable.

4. Revisa las aportaciones de dos de tus compañeros, ratificando sus resultados,

aceptando o rechazando sus aportaciones.

Consulta la Rúbrica general de la participación en foros, que se encuentra en la sección

Material de apoyo.

Autoevaluación

Para reforzar los conocimientos relacionados con los temas que se abordaron en esta unidad

del curso, es necesario que resuelvas la autoevaluación.

Ingresa al Aula virtual para realizar tu actividad.

Evidencia de Aprendizaje. Ajuste de modelos ARMA

A través de esta actividad, podrás comparar los diferentes modelos de la clase ARMA. Para

ello:

1. Descarga el documento llamado “EA. Ajuste de un modelo ARMA”

2. De acuerdo a elementos que se presentaron durante la unidad de modelos ARMA,

realiza una tabla comparativa.

3. Guarda y envía tu documento con la nomenclatura MTOPG_U1_A2_XXYZ.






35

Autorreflexiones

Como parte de cada unidad, es importante que ingreses al foro Preguntas de autorreflexión y

leas los cuestionamientos que formuló tu Facilitador(a), ya que a partir de ellos debes elaborar

tu Autorreflexión y enviarla mediante la herramienta Autorreflexiones. No olvides que también

se toman en cuenta para la calificación final.

Cierre de la unidad

Los procesos estacionarios de segundo orden tiene la caracteirstica de tener momentos como

media, varianza y sucesión de autocovarianza tales que no dependen del índice del tiempo .

Bajo algunas condicones los modelos ARMA son de la clase de prosesos estacionaros de

2° orden cuyos elementos han sido utilizados para modelar fenómenos rales. Por ejemplo en

econometría para describir y predecir algún indice ecónomico, en ecología para estudiar

tendencias en la temperatura global del planeta y en general en fenómenos en donde hay

observaciones indexdas en el tiempo. El dominio de este tema te permitirá proponer modelos

para datos que guardan dependencia en el tiempo.

Para saber más

En esta sección podrás encontrar referencias complementarias para reforzar los conocimientos

adquiridos en la unidad. Comenzaremos por referir las notas del profesor Richard Smith de la

universidad de Carolina del Norte (Chapell Hill).

http://www.stat.unc.edu/faculty/rs/s133/tsnotes.pdf

La sección 2 de estas notas trata el tema de los procesos estacionarios de segundo orden, los

procesos ARMA( ), las sucesiones de autocovarianza y autocorrelación y su relación con la

densidad espectral del proceso. Las secciones 1 y 2 de las notas de la profesora Gesine Reinert

también explican los temas referentes a procesos ARMA( ) y sus propiedades de momentos

de segundo orden.

http://www.stats.ox.ac.uk/~reinert/time/notesht10short.pdf

Por ultimo, un muy buen archivo de documentos que tratan el tema del aprendizaje de series de

tiempo utilizando el paquete se encuentra en

http://blog.revolutionanalytics.com/2013/06/learning-time-series-with-r.html

http://www.stat.unc.edu/faculty/rs/s133/tsnotes.pdf

http://www.stats.ox.ac.uk/~reinert/time/notesht10short.pdf

http://blog.revolutionanalytics.com/2013/06/learning-time-series-with-r.html



36

Referencias Bibliográficas

Brockwell, J.D. y Davis, A. (2009). Time series: Theory and Methods. New York,

Springer-Verlag.

Cowpertwait, P.S.P. (2010). Introductory Time Series with R. New York, Springer-Verlag.

Guerrero, V.M. (2009). Análisis Estadístico de Series de Tiempo Económicas.

México, Just in Time press.

Shumway, R.H. y Stoffer, D.S. (2010). Time Series Analysis and Its Applications: with

R examples. New York, Springer-Verlag.

u1. procesos y series de tiempo

Documents