Cadenas de Márkov

Concepto

Básicamente, una cadena es un proceso en tiempo discreto (también se puede suponer su continuidad, pero esta tarea sobrepasa el ámbito en el que se enmarca esta publicación) en el que una variable aleatoria va cambiando de estado con el paso del tiempo. O, en otras palabras, una cadena representa un sistema que varía su estado a lo largo del tiempo. Un estado es una caracterización de la situación en la que se halla un determinado sistema en un instante dado, y puede ser tanto cuantitativo como cualitativo. En términos coloquiales, un estado es la respuesta a la pregunta ¿Cómo están las cosas? En términos más formales, el estado de un sistema en un determinado instante es una variable aleatoria cuyos valores solo pueden pertenecer al conjunto de posibles estados del sistema, que son mutuamente excluyentes. El sistema que pretende modelizar una cadena es, por consiguiente, una variable aleatoria que cambia de valor (cuantitativo o cualitativo) en el tiempo. A dicho cambio se le denomina transición.

Propiedades

Las cadenas de Márkov tienen la propiedad de que la probabilidad de que la variable aleatoria en cuestión se encuentre en un estado j en el instante t solo depende del estado en que se encontraba el sistema en el instante t-1, y no de los anteriores a este último. En este sentido, las cadenas de Márkov tienen memoria, si bien dicha memoria está restringida al último estado de la variable.

A modo de ejemplo: la probabilidad de que el valor de una acción bursátil evolucione al alza, a la baja o repita en una determinada sesión bursátil depende únicamente de si subió, bajó o permaneció constante en la sesión precedente

Utilización y probabilidades

Las cadenas de Márkov han sido ampliamente utilizadas en numerosos campos de la ciencia y, en particular, en el de las Ciencias Sociales.

Retomando la terminología formal, considérese una sucesión de variables aleatorias {X_t}, t = 0, 1, 2, ..., n-2, n-1, n, ...

Pues bien, dicha sucesión de variables aleatorias constituirá una cadena de Márkov si se verifica que:

P (X_n = j/X₀ = i₀, X₁ = i₁,...., X_n-1 = i_i-1)= P (X_n= j/X_n-1 = i_i-1)

En caso de que P (Xn = j/X0 = i0, X1 = i1, ..., X n-1 = ii-1, Xn-2 = ii-2) la cadena se denominaría de segundo orden. Es decir, en el ejemplo utilizado anteriormente, si la probabilidad de evolución al alza, a la baja o de mantenimiento del valor de una acción bursátil dependiese únicamente de si dicha acción subió o bajó o repitió valor en las dos sesiones precedentes.

De manera análoga se definirían las cadenas de Márkov de tercer, cuarto, ... orden.

Por otra parte, una cadena de Márkov se califica de homogénea si las probabilidades de paso de un estado a otro no dependen del instante temporal que se considere.

P(X_n = j/ X_n-1 = i_i-1) P_ij ∀n

A ellas nos ceñiremos en lo que resta de exposición. En el ejemplo que se viene arrastrando, la probabilidad de que el valor de una determinada acción bursátil evolucione al alza, a la baja o permanezca igual en una determinada sesión bursátil depende únicamente de si subió o bajó o se mantuvo constante en la sesión precedente, y ello independientemente del instante de tiempo en el que se pretende calcular dicha probabilidad (última sesión del mes de mayo de 2009, o primera de julio de 2009, u otra cualquiera).

Las probabilidades de paso de un estado i a otro j (P_ij). se denominan probabilidades de transición. En caso de que P_ij > 0, se dice que el estado E_i puede comunicar con el estado E_i. La comunicación se dice que es mutua si P_ij > 0.

Si se consideran m posibles estados, E₁, E₂, ..., E_m mutuamente excluyentes, para cada i fijo, el conjunto de probabilidades P_ij, J = 1, 2, ..., m, define una distribución de probabilidad, puesto que en cualquier eslabón de la cadena tiene que darse uno de los estados E₁, E₂, ..., E_m. Esto es:

En el ejemplo que se viene utilizando, supóngase que el valor bursátil en cuestión subió en una determinada sesión. Pues bien, lógicamente, dada esta condición, la suma de las probabilidades de que en la sesión siguiente el valor suba, baje o se mantenga, es la unidad, puesto que los estados considerados son todos los posibles y además son mutuamente excluyentes. En otros términos, es seguro que alguna de las tres situaciones se tiene que dar.

La matriz que contiene las probabilidades de transición de un estado a otro en una cadena homogénea se denomina matriz de transición y viene dada por

Como puede observarse, se trata de una matriz cuadrada con tantas filas y columnas como estados tiene el sistema. Los elementos de la matriz representan la probabilidad de que el siguiente estado sea el correspondiente a la columna si el estado actual es el correspondiente a la fila.

En el caso en que, P_ij = P_oj, ij = 1, 2, ..., m, es decir, en el caso en que las probabilidades de transición de un estado a otro fuesen independientes del estado de partida, la cadena recibe el calificativo de ergódica.

Otra probabilidad ciertamente relevante en el contexto de las cadenas de Márkov es la probabilidad de alcanzar un determinado estado E_j en n pasos o etapas. Nótese que se desconoce el estado inicial en el que se encontraba el sistema.

Denomínese P_i⁽⁰⁾, i = 1, 2, ..., m, la probabilidad de que el sistema ocupe inicialmente el i-ésimo estado (y resulta evidente que alguno de ellos tiene que estar ocupando inicialmente, por lo que la suma de dichas probabilidades es la unidad). Denomínese P_j⁽¹⁾ la probabilidad de que se alcance el estado E_j en un solo paso. Por el Teorema de la Probabilidad Total,

De aquí, resulta evidente que:

Esto es, en notación matricial:

P⁽¹⁾ = p₍₀₎ T

Procediendo de forma recursiva se tiene que:

donde Tⁿ es denominada matriz de transición en n etapas.

Por tanto, generalizando las expresiones anteriores, se puede concluir que:

p^{(n + r)} = p^(r) Tⁿ

Si existe límite para la distribución p⁽ⁿ⁾ cuando el número de transiciones tiende a infinito, se dice que el sistema se encuentra en régimen permanente o de equilibrio. Si no es así, el sistema se encontrará en régimen transitorio.

Por otra parte, si T^k se hace tender k a infinito y existe límite:

La cadena recibe el calificativo de asintóticamente ergódica.

¿Cómo se calculan en este caso las probabilidades P_i? En una cadena ergódica se verifica que:

y dado que T^(k) = T^(k)

T^(k+1) = T^k+1 = T^kT

en el límite se tiene que Ω = ΩT, es decir, (T - I) Ω = 0, ecuación matricial de donde se obtienen fácilmente las probabilidades deseadas.

Si se conociese de antemano el estado inicial en el que se encontraba el sistema, entonces cobra relevancia la probabilidad p_ij⁽ⁿ⁾ = p_ij⁽ⁿ⁾ = P(X_n = j/X₀ = i), que representa la probabilidad de que la cadena esté en el j-ésimo estado tras haber empezado en el i-ésimo estado y haber transcurrido n pasos o etapas.

Si el paso del estado inicial i al estado final j se efectuase en dos pasos o transiciones, tomando como apoyo la conocida relación entre sucesos, P (A [cap ] B/ C) = P (A/B [cap ] C) P (B / C) y haciendo

A → X₂j

B → X₁k

C → X₀i

Se tiene que:

De manera análoga, si el paso del estado (conocido) i-ésimo al estado j-ésimo se realiza en tres etapas, se tendría:

En general, si el paso se realiza en n etapas, se tiene que:

relación que es conocida como Ecuación de Chapman-Kolmogorov.

Puede apreciarse que las matrices de transición son de la forma: