Cadenas de Markov

Ingeniería Matemática

Proceso estocástico:

• Es un conjunto o sucesión de variables aleatorias: {Xt}

definidas en un mismo espacio de probabilidad.• Normalmente el índice t ϵT representa un tiempo y Xt el

estado del proceso estocástico en el instante t.• El proceso puede ser de tiempo discreto o continuo si T esdiscreto o continuo.• Si el proceso es de tiempo discreto, usamos enteros pararepresentar el índice: {X0, X1, ...}

Ejemplos de procesos estocásticos:

1. Serie mensual de ventas de un producto2. Estado de una máquina al final de cada semana

(funciona/averiada)3. Nº de clientes esperando en una cola cada 30 segundos4. Marca de detergente que compra un consumidor cada vez

que hace la compra. Se supone que existen 7 marcas diferentes

5. Nº de unidades en almacén al finalizar la semana

Introducción

Las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas.

Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad, etc.

1. Definición de Cadena de Markov

• Una Cadena de Markov (CM) es:• Un proceso estocástico• Con un número finito de estados (M+1)• Con probabilidades de transición

estacionarias• Que tiene la propiedad markoviana

PROPIEDAD MARKOVIANA

Un proceso estocástico tiene la propiedad markoviana si las probabilidades de transición en un paso sólo dependen del estado del sistema en el período anterior (memoria limitada o falta de memoria)

PROPIEDAD MARKOVIANA

PROPIEDAD MARKOVIANA

PROPIEDAD MARKOVIANA

Otros ejemplos:

• Comportamiento (sube/baja) del precio de las acciones hoy depende de lo ocurrido ayer

• El modelo de mercado de acciones cambia de tal manera que el que suba o no mañana depende de si subió o no hoy y ayer.( Implícitamente se puede recoger información de más de un período, es decir recolectar una cantidad arbitraria de historia, pero se incrementan el número de estados)

• Problema de la ruina de un jugador de casino

Ejercicio

• Suponga que la probabilidad de lluvia mañana es 0.5 si hoy llueve y que la probabilidad de un día sin lluvia mañana es 0.9 si hoy no llueve. Suponga además que las probabilidades no cambian si se proporciona información de días anteriores.

a) Explique por qué las suposiciones anteriores implican que la propiedad Markoviana se cumple para la evolución del clima.

b) Formule la evolución del clima como una cadena de Markov, definiendo sus estados y proporcionando la matriz de transición.

Ecuaciones de Chapman-Kolmogorov

Casos especiales:

Si m=1

Si m=n-1

La matriz de transición a n pasos se puede obtener de la siguiente

manera:

Ejemplo:1. En el ejemplo de inventarios visto inicialmente encuentre :

a. Dado que se tiene una cámara al final de una semana, la probabilidad de que no haya cámaras en inventario dos semanas después

b. Dado que se tienen dos cámaras al final de una semana, la probabilidad de que haya tres cámaras en el almacén dos semanas después.

c. Dado que queda una cámara al final de una semana, la probabilidad de que no hayan cámaras en inventario 4 semanas más tarde.

Probabilidades incondicionales del estado

• Las probabilidades de transición de uno o n pasos son probabilidades condicionales.

• Si se desea la probabilidad incondicional P{Xn}=j, es necesario especificar la distribución de probabilidad del estado inicial, o sea P{X0=i}, para i=0, 1, … ,M. Entonces

P{Xn=j}=P{X0=0}p0j(n)+P{X0=1}p1j

(n)+…+P{X0=M}pMj(n)

• En el ejemplo de inventarios, se supuso que se tenían tres unidades en inventario. Encuentre la probabilidad incondicional de que hayan tres cámaras en inventario dos semanas después de que el sistema se puso en marcha.

• En el caso práctico de data-crédito, se le pide a Ud. encontrar el porcentaje de gente que mantiene el crédito calificado como excelente luego de tres períodos de haber iniciado el proceso. ¿Cuál sería una visión general del estado de la economía a futuro?

Clasificación de estados de una cadena de Markov

• Los estados de las cadenas de Markov, se clasifican de acuerdo a las propiedades de sus probabilidades de transición.

Se dice que el estado j es accesible desde el estado i si pij

(n)>0, para alguna n ≥0.

Se dice que los estados i y j se comunican, si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j.

• De manera general

1. Cualquier estado se comunica consigo mismo

2. Si el estdo i se comunica con el estado j, entonces el estado j se comunica con el estado i.

3. Si el estado i se comunica con el estado j y el estado j se comunica con el estado k, entonces el estado i se comunica con el estado k.

• Como consecuencia de estas propiedades de comunicación, se puede hacer una partición del espacio de estados en clases ajenas, en las cuales, dos estados que se comunican pertenecen a una misma clase. Si existe solo una clase, es decir todos los estados se comunican, se dice que la cadena de Markov es irreducible.

Ejemplos:

• Encuentre las clases ajenas en el segundo ejemplo de acciones y en el ejemplo de la ruina del jugador de casino.

• Un estado se llama transitorio si, después de haber entrado a este estado, el proceso nunca regresa a él, es decir un estado es transitorio si y solo si existe un estado j (j≠i) que es accesible desde el estado i, pero no viceversa, esto es, el estado i no es accesible desde el estado j.

• Se dice que un estado es recurrente si, después de haber entrado a este estado, el proceso definitivamente regresará a ese estado. Un estado es recurrente si y solo si no es transitorio.

• Un tipo especial de estado recurrente es aquel estado al cual el proceso una vez que entró en él nunca saldrá de este estado, este tipo de estado se dice absorbente. Por lo tanto, el estado i es absorbente si y solo si pii=1

• La recurrencia es una propiedad de clase, es decir, todos los estados de una clase son recurrentes o transitorios.

• El periodo de un estado i se define como el entero t (t>1) si pii(n)=0 para todos los valores de n distintos de t, 2t, 3t, … y t es el entero más grande con esta propiedad.

Propiedades a largo plazo de las cadenas de Markov

• Existe una probabilidad límite de que el sistema se encuentre en el estado j después de un número grande de transiciones, y esta propiedad es independiente del estado inicial.

• Para una cadena de Markov irreducible ergódica

• Donde las πj satisfacen de manera única las siguientes ecuaciones de estado estable:

• Los valores πj reciben el nombre de probabilidades de estado estable.