Newtonpedia EN
Inicio › Informática › Entropía de la información
Informática · 1948

Entropía de la información

Medida de la incertidumbre o de la información promedio que contiene una fuente de mensajes, expresada en bits.

Año
1948
Protagonistas
Claude Elwood Shannon
Sección
Informática

Historia

La entropía de la información es una magnitud que cuantifica cuánta sorpresa, o cuánta incertidumbre, encierra un mensaje o una variable aleatoria. Su importancia radica en que permite saber el número mínimo de bits necesario para representar un mensaje sin perder datos, algo que hoy está detrás de la compresión de archivos, las comunicaciones digitales y buena parte de la informática.

La idea de que un suceso poco probable aporta más información que uno esperado es intuitiva. Si alguien nos dice que mañana saldrá el sol, apenas nos cuenta nada; si nos avisa de que nevará en el desierto, nos sorprende mucho más. A partir de esa observación, se define la información de un suceso como el logaritmo del inverso de su probabilidad, de modo que cuanto menos probable es, mayor es su información. La entropía es entonces el valor medio de esa información, ponderado por la probabilidad de cada suceso posible.

Antes de Shannon, los ingenieros de telecomunicaciones ya tenían nociones intuitivas sobre la transmisión de mensajes y su coste, y los telegrafistas habían diseñado códigos como el Morse, que asigna símbolos más cortos a las letras más frecuentes. También el físico Ludwig Boltzmann había formulado, en el siglo XIX, una expresión estadística de la entropía termodinámica con una estructura matemática muy parecida. Sin embargo, nadie había establecido una medida general de la información aplicable a cualquier fuente de mensajes.

Claude Elwood Shannon, ingeniero y matemático de los Laboratorios Bell, publicó en 1948 el artículo «Una teoría matemática de la comunicación». En él describía un sistema de comunicación formado por una fuente, un transmisor, un canal, un receptor y un destino, y se preguntaba cómo garantizar que el receptor pudiera identificar con exactitud lo que la fuente había emitido. Shannon propuso una definición de la entropía que cumplía una serie de condiciones razonables: que variara de forma continua con las probabilidades, que no dependiera del orden de los sucesos y que alcanzara su máximo cuando todos los sucesos fueran igualmente probables. Demostró además que la entropía marca un límite absoluto para la compresión sin pérdidas, y, en su teorema de codificación para canales con ruido, que es posible transmitir información con poca probabilidad de error incluso por canales imperfectos, siempre que la velocidad no supere la capacidad del canal.

La acogida fue muy favorable entre los ingenieros y matemáticos, y el trabajo se convirtió en el punto de partida de la teoría de la información. Con el tiempo se extendió a la criptografía, la estadística, el aprendizaje automático y la biología. Shannon mostró que la entropía de la información y la entropía termodinámica de Boltzmann y Gibbs comparten la misma forma matemática, aunque se refieran a fenómenos distintos. Algoritmos como el de Huffman, de 1952, aplican el principio de asignar códigos cortos a los símbolos frecuentes para comprimir datos, y técnicas posteriores como LZW o la deflación aprovechan probabilidades de secuencias de símbolos para lograr compresiones aún mayores.

Hoy la entropía de Shannon está presente en casi cualquier tecnología digital: en la compresión de imágenes, audio y vídeo, en la corrección de errores de las redes móviles, en los sistemas de almacenamiento, en la evaluación de la seguridad de los cifrados y en la construcción de árboles de decisión en el aprendizaje automático. Medir cuánta información contiene realmente un mensaje sigue siendo una pregunta central de la ciencia de la información.

Cronología

  • 1877Boltzmann formula una expresión estadística de la entropía termodinámica con una estructura matemática semejante a la de Shannon.
  • 1948Shannon publica «Una teoría matemática de la comunicación», donde define la entropía de la información.
  • 1952David Huffman desarrolla un método de codificación óptimo que asigna códigos cortos a los símbolos más frecuentes.

Curiosidades y anécdotas

Un nombre con historia

Según las fuentes de referencia, la entropía de Shannon recibe también los nombres de entropía de la información o entropía de Shannon, en honor a su autor.

Monedas y dados

Una moneda justa aporta exactamente un bit de información en cada lanzamiento, mientras que un dado tiene más entropía porque cada resultado es menos probable.

Protagonistas

Otros hitos de informática