cadenas de markov: aspectos teóricos...una cadena de markov finita es un proceso de markov finito...
TRANSCRIPT
Definiciones básicas
Def. Las probabilidades de transición en el n-ésimo paso para un proceso de Markov , denotado por pij(n) son
pij(n) = P{Xn = xj | Xn-1 = xi}.
Una Cadena de Markov finita es un proceso de Markov finito tal que las probabilidades de transición pij
(n) no dependen de n. Por lo que basta denotarlas por pij.
Def. La matriz de transición de para una cadena de Markov es la matriz P con entradas pij. El vector de probabilidad inicial es el vector π0 = {pj
(0)} = {P[X0 = j]}.
Definiciones básicas
Nota. El vector de probabilidad inicial yla matriz de transición determinancompletamente el proceso de unacadena de Markov, pues son suficientespara construir toda la medida de lasposibles trayectorias. Por lo queusualmente hablaremos de tener unamatriz de transiciones P, aunque elvector inicial varias de las veces puedeser diferente.
Teorema
Sea Xn una v.a. en el tiempo n para un
proceso finito de Markov con probabilidades
de transición pij(n), entonces
P{Xn = xv} = σ𝑢𝑃 𝑋𝑛−1 = 𝑥𝑢 𝑝𝑢𝑣(𝑛)
Demostración:
Para encontrar la probabilidad deseada,
debemos ir agregando los pesos de todas las
trayectorias. Así, si j, k, …, u es una secuencia
posible de estados
P{Xn = xv} = σ𝑗,𝑘,…,𝑢𝑃[𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 = 𝑥𝑢˄ 𝑋𝑛 = 𝑥𝑣] =
σ𝑗,𝑘,…,𝑢𝑃ൣ
൧
𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 =
𝑥𝑢 · 𝑃[𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 = 𝑥𝑢˄ 𝑋𝑛 = 𝑥𝑣]
Por la propiedad de Markov
σ𝑗,𝑘,…,𝑢𝑃 𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 = 𝑥𝑢 · 𝑝𝑢𝑣(𝑛)
]
Si en esta última suma u lo mantenemos fijo y sumamos los índices restantes obtenemos
P{Xn = xv} = σ𝑢𝑃 𝑋𝑛−1 = 𝑥𝑢 𝑝𝑢𝑣(𝑛)
#
Podemos escribir el resultado de este teorema en forma matricial. Sea πn un vector fila el cual nos da la medida inducida para la v.a. de salida
Xn. Es decir, 𝜋𝑛 = 𝑝1(𝑛)
, 𝑝2(𝑛)
, … , 𝑝𝑟(𝑛)
, donde
𝑝𝑗(𝑛)
= 𝑃 𝑋𝑛 = 𝑥𝑗 es la probabilidad de que después de n pasos, el proceso esté en el estado xj. Entonces, el resultado del teorema anterior puede escribirse en la forma
𝜋𝑛 = 𝜋𝑛−1 · 𝑃(𝑛) para n ≥ 1. Por aplicación sucesiva de este resultado se tiene
𝜋𝑛 = 𝜋0 · 𝑃(1) · 𝑃(2) · ⋯ · 𝑃(𝑛)
En el caso de una CM todas las P(n) son las mismas, con lo que se obtiene el siguiente resultado:
Teorema
Sea 𝜋𝑛 la medida inducida para la v.a.
de salida Xn para una CM con vector de
probabilidad inicial 𝜋0 y matriz de
transición P. Entonces,
𝜋𝑛 = 𝜋0 · 𝑃𝑛
Definición
Los elementos minimales del
ordenamiento parcial de las clases de
equivalencia son llamados conjuntos
ergódicos. Los elementos restantes son
llamados conjuntos transitorios. Los
elementos de un conjunto transitorio son
llamados estados transitorios. Los
elementos de un conjunto ergódico, son
llamados ergódicos (o no transitorios).
Notas
Cada ordenamiento parcial finito debe contener al menos un elemento minimal, es decir, al menos un conjunto ergódico en una CM.
Sin embargo, no es necesario que haya un conjunto transitorio.
Esto significa que la CM consta de un solo conjunto ergódico, o varios conjuntos ergódicos, que no se comunican entre sí.
Si un conjunto ergódico consta de un solo elemento, entonces, se tiene un estado del cual ya no se puede dejar, a tal estado se le conoce como absorvente.
Teorema
Un estado xi es absorvente sí y sólo si
pii = 1.
Demostración. Se deja como ejercicio.
Ejemplo
Si se tiene la siguiente matriz de
transiciones de un proceso de Markov
Si suponemos que se inicia en el estado
x3, entonces π0 = (0,0,1,0,0).
Ejemplo
Y se supone el siguiente comportamiento:
¿Qué son π1, π2, π3? Interpretar.
Clasificaciones y estados
Es conveniente usar la clasificación de
estados para llegar a una forma
canónica de nuestra matriz de
transiciones. Vamos a renumerar a
nuestros estados en la forma siguiente:
Los elementos de una clase de
equivalencia dada, recibirán números
consecutivos.
Clasificaciones y estados
Los conjuntos mínimos vendrán primero,luego los conjuntos que están un nivel porencima de los conjuntos mínimos, luego seestablecerán los que estarán a dos niveles porencima de los conjuntos mínimos, etc. Estonos asegurará que podemos pasar de unestado determinado a otro en la misma clase,o a un estado en una clase anterior, pero no aun estado en una clase posterior. Si las clasesde equivalencia dispuestas como se describeaquí son u1, u2, ..., uk, entonces nuestra matrizaparecerá de la siguiente manera:
Clasificaciones y estados
Para ilustrar la idea, supongamos k = 5.
Clasificaciones y estados
Aquí las Pi representan a las matrices de
transición dentro de una clase de
equivalencia dada. La región 0 consiste de
puros ceros. La matriz Ri tendrá puros
ceros si Pi es un conjunto ergódico, de lo
contrario tendrá elementos distintos de
cero. De esta manera, es fácil ver lo que
ocurre cuando P es elevada a potencias.
Las potencias de P tendrán un
comportamiento similar a P.
Comentarios
Lo anterior nos muestra que una clase de equivalencia dada, la podemos estudiar o analizar de manera aislada, tratando a la submatriz Pi.
También podemos hacer una subdivisión de las clases de equivalencia. Es decir, una clase de equivalencia puede ser particionada en clases cíclicas.
Si hay sólo una clase cíclica, se dice que la clase de equivalencia es regular, de lo contrario se dice que es cíclica.
Comentarios
Si una clase de equivalencia es regular,entonces después de suficiente tiempotranscurrido, el proceso puede estar encualquier estado de la clase, sin importar encual estado de la clase inició.
Esto significa que para potenciassuficientemente altas de Pi, todas las entradasserán positivas.
Si la clase de equivalencia es cíclica, entoncesninguna potencia de Pi puede ser positiva.
Partiendo de esta clasificación de estados,podemos llegar a una clasificación de lascadenas de Markov (CM).
Clasificación de CM
1. Cadenas sin conjuntos transitorios. Sicontienen más de un conjunto ergódico,entonces entre ellos no existe algunainteracción.
Por lo tanto, podemos tener dos o máscadenas de Markov no relacionadasagrupadas juntas.
Esas cadenas pueden ser estudiadas demanera separada, por lo que sin pérdidade generalidad, podemos asumir que lacadena entera es un conjunto ergódicosimple. Si sucede esto, la CM es ergódica.
Clasificación de CM
1a. El conjunto ergódico es regular.regular.
1b. El conjunto ergódico es cíclico. En estecaso, la CM es cíclica. Entonces, talcadena tiene un período d, y sus estadosson subdivididos en d conjuntos cíclicos (d> 1). Esto significa que saliendo de unacierta posición se moverá a través de losconjuntos cíclicos en un orden definido,retornando al conjunto del estado de iniciodespués de d pasos.
Clasificación de CM
2. Cadenas con conjuntos transitorios.En tal cadena, el proceso se muevehacia los conjuntos ergódicos.
Como se verá más adelante, laprobabilidad de que el proceso esté enun conjunto ergódico tiende a 1, y no sepuede salir una vez que se entre.
Por lo que es muy fructífero clasificar alas cadenas por medio de sus conjuntosergódicos.
Clasificación de CM
2a. Todos los conjuntos ergódicos sonconjuntos unitarios. A tal cadena, se lellama cadena absorvente.
En este caso, el proceso eseventualmente atrapado en un estadosimple (absorvente).
Este tipo de proceso también puede sercaracterizado por el hecho de que todoslos estados ergódicos son estadosabsorbentes.
Clasificación de CM
2b. Todos los conjuntos ergódicos sonregulares, pero no todos son conjuntosunitarios.
2c. Todos los conjuntos ergódicos son cíclicos.
2d. Hay ambos conjuntos ergódicos cíclicos yregulares.
Por supuesto en cada una de esas clases,podemos clasificar a las cadenas de acuerdoa cuántos conjuntos ergódicos hay.
Una pregunta de interés es, ¿Cuándo hay unoo más conjuntos ergódicos?
Ejemplo 1
¿Cómo es la siguiente CM?
Ejemplo 2
¿Cómo es la siguiente CM?
Ejemplo 3
¿Cómo es la siguiente CM?
Ejemplo 4
¿Cómo es la siguiente CM?
Ejemplo 5
¿Cómo es la siguiente CM?
Ejercicio 1
Llevamos a cabo una secuencia de
experimentos de la siguiente manera: Al
principio se tira una moneda. entonces,
si el experimento n-1 resulta sol,
lanzamos una moneda; si sale águila,
arrojamos una moneda que tiene
probabilidad 1/n de salir sol. ¿Cuáles
son las probabilidades de transición?
¿Qué tipo de proceso es este?
Ejercicio 2
Consideremos una CM con espacio deestados {0,1} y matriz de transición
Suponiendo que la cadena inicia en elestado 0 en el tiempo 0, calcular laprobabilidad de que esté en el estado 1 enel tiempo n = 3.
Ejercicio 3 Consideremos una CM con espacio de
estados {0,…,5} y matriz de transición
¿Cuántas y cuales clases hay? ¿Cuáles sontransitorias y cuáles recurrentes?
Suponiendo que la cadena inicia en el estado0. ¿Cuál es la probabilidad de que esté en elestado 0 después de un tiempo grande?
Ejercicio 4
Consideremos la CM con espacio de estados S = {1,2,3,4,5} y matriz de transición
¿Es la cadena irreducible? ¿Cuál es el período de la cadena?