I. Cadenas de Markov

Las Cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionara en el futuro dependen solo del estado actual en que se encuentra el proceso y por lo tanto, son independientes de los eventos que ocurrieron en el pasado. Muchos procesos se ajustan a esta descripción por lo que las cadenas de Markov constituyen una clase de modelo probabilístico de gran importancia.

Las Cadenas de Markov proporcionan las bases para el estudio de los modelos de decisión, ya que existe una amplia gama de aplicaciones de las cadenas de Markov. La lista continua de manera indefinida, pero por el momento veremos una descripción de los procesos estocásticos en general y de las cadenas de Markov en particular.

1.1 Procesos EstocásticosSe definen como una colección indexada de variables aleatorias (X,), donde el índice “t” toma valores de un conjunto “T” dado. Con frecuenta “T” se considera el conjunto de enteros no negativos mientras que X, representa una característica de interés cuantificable en el tiempo “t”.Por ejemplo:

X, puede representar los niveles de invetario al final de la semana “t”.Los procesos estocásticos son de interés para describir el comporatmiento de un sistema en operación durante algunos periodos.

1.2 Dwdwdwa