Entropía

Concepto

El término entropía (tendencia natural de la pérdida del orden) lo podemos encontrar en muy diversas disciplinas y puede referirse a:

En física y química a:

• — Entropía termodinámica, una magnitud que mide la parte de la energía que no puede utilizarse para producir un trabajo; es el grado de desorden que poseen las moléculas que integran un cuerpo, o también el grado de irreversibilidad alcanzada después de un proceso que implique transformación de energía.
• — Entropía de formación, la diferencia de entropía o desorden en el proceso de formación de sustancias a partir de sus elementos constituyentes.
• — Entropía de Kolmogórov objeto o dimensión estudiado en la física y matemáticas a partir de las homotecias (un tipo de transformación geométrica).

En astrofísica y cosmología, a la entropía de los agujeros negros.

En lingüística y semiótica: es el nivel o grado de información discursiva frecuentemente ponderado por la cantidad de lexemas. Así se considera que un discurso con muchos neologismos es más entrópico que uno con pocos neologismos (notar que el mayor grado de neologismos puede aportar más información pero también —si es exagerado— caos en la información).

En teoría de la información a:

• — Entropía en la información, el grado de incertidumbre que existe sobre un conjunto de datos.
• — Entropía de Shannon.
• — Entropía de Alfred Rényi; (d) Entropía condicional.

En ecología la entropía es una medida asociada a la biodiversidad.

En matemáticas a:

• — Entropía topológica, la correspondiente a la cantidad real asociada a todo sistema topológicamente dinámico.
• — Entropía métrica, la correspondiente a la cantidad real asociada a todo sistema dinámico medible.

Información y entropía

Los conceptos de información y entropía están ampliamente relacionados entre sí, aunque se tardó años en el desarrollo de la mecánica estadística y la teoría de la información para hacer esto aparente. Nos centraremos en la entropía desde la teoría de la información. Esta entropía se llama frecuentemente entropía de Shannon, en honor a Claude E. Shannon.

El concepto básico de entropía en teoría de la información tiene mucho que ver con la incertidumbre que existe en cualquier experimento o señal aleatoria. Es también la cantidad de "ruido" o "desorden" que contiene o libera un sistema. De esta forma, podremos hablar de la cantidad de información que lleva una señal.

Como ejemplo, consideremos algún texto escrito en español codificado como una cadena de letras, espacios y signos de puntuación (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (por ejemplo, ‘y´ ), mientras otros sí lo son (como la ‘a´ ), la cadena de caracteres no será tan "aleatoria" (o equiprobable) como podría llegar a ser. Obviamente, no podemos predecir con exactitud cuál será el siguiente carácter en la cadena, y eso la haría aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948 “A Mathematical Theory of Communication”.

Shannon ofrece una definición de entropía que satisface las siguientes afirmaciones:

La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.

Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.

Ejemplos de máxima entropía pueden ser: Suponiendo que estamos a la espera de un texto, por ejemplo un cable con un mensaje. En dicho cable solo se reciben las letras en minúscula de la (a hasta la z), entonces si el mensaje que nos llega es "qalmnbphijcdgketrsfuvxyzwño" el cual posee una longitud de 27 caracteres, se puede decir que este mensaje llega a nosotros con la máxima entropía (o desorden posible) ya que es poco probable que se pueda pronosticar la entrada de caracteres ya que estos no se repiten y además no están ordenados en una forma predecible.

Formalmente, la entropía nos indica el límite teórico para la compresión de datos. También es una medida de la información contenida en el mensaje. Su cálculo se realiza mediante la siguiente fórmula:

Una variable aleatoria χ puede tomar distintos valores posibles en distintas repeticiones (realizaciones del experimento). Como algunos valores de χ son más probables que otros, existe una distribución de probabilidad de los valores de χ, la cual depende del experimento elegido.

La entropía asociada a la variable χ es un número que depende directamente de la distribución de probabilidad de χ e indica lo plana que es esa distribución. Una distribución es plana (tiene alta entropía) cuando todos los valores de χ tienen probabilidades similares, mientras que es poco plana cuando algunos valores de χ son mucho más probables que otros. En una distribución de probabilidad plana (con alta entropía) es difícil poder predecir cuál es el próximo valor de χ que va a presentarse, ya que todos los valores de χ son igualmente probables.

Si a cada posible valor de χ que pueda ocurrir se le asigna una cierta combinación de dígitos binarios 0 o 1 para diferenciarlo de los demás, la cantidad promedio de dígitos binarios que hay que asignarle a los distintos valores de χ es (aproximadamente) igual a la entropía de la distribución de probabilidad de χ. Los valores 0 o 1 usados suelen llamarse bits. Además, la metodología comúnmente usada para asignar combinaciones de valores 0 o 1 a los distintos valores posibles de χ se conoce con el nombre de codificación Huffman.

Así, la entropía definida por Shannon, referida a la teoría de la información, hace referencia a la cantidad media de información que contiene una variable aleatoria o, en particular, una fuente de transmisión binaria. La información que aporta un determinado valor χ_i de una variable aleatoria discreta χ se define como:

I (χ_i) = log₂ (1/p(χ_i))

cuya unidad es el bit utilizándose el logaritmo en base 2 (por ejemplo, cuando se emplea el logaritmo neperiamo se habla de nats). La entropía o información media de la variable aleatoria discreta, χ, se determina como la información media del conjunto de valores discretos que puede adoptar (también medida en bits):

H (χ) = Σ_ip(χ_i) x log₂ (1/p(χ_i))

Además de su definición y estudio, Shannon demostró analíticamente que la entropía es el límite máximo al que se puede comprimir una fuente sin ninguna pérdida de información.

Finalmente, una mención especial a la entropía de Kolmogórov, que se define como principio que mide la pérdida de información a lo largo de la evolución del sistema. También es definida como la suma de exponentes de Liapunov. Esta entropía tiene una gran importancia en su aplicación a sistemas de los que no se dispone más que de series temporales de valores de una determinada variable. Su fórmula matemática viene definida por subconjuntos, de tal manera que:

H (C) = log (N)

El tamaño es de 2ⁿ subconjuntos. Si lo definimos en sistema binario, este tiene una extensión de N bits.

Una fórmula alternativa de la entropía de Kolmogórov es:

H (C) = log(L/2_e)

ideada también por el matemático Kolmogórov, después de que Claude E. Shannon fuera tachado de demasiado orientado a la tecnología.