Solución:
De modo que la cita de Pratchett parece referirse a la energía, más que a la entropía. Supuse que podría afirmar lo contrario si asume que “la entropía es conocimiento”, pero creo que eso es exactamente al revés: creo que el conocimiento es un caso especial de bajo entropía. Pero tu pregunta sigue siendo interesante.
La entropía $ S $ en termodinámica está relacionada con el número de estados indistinguibles que puede ocupar un sistema. Si todos los estados indistinguibles son igualmente probables, el número de “microestados” asociados con un sistema es $ Omega = exp (S / k) $, donde la constante $ k approx rm25 , meV / 300 , K $ está relacionado con la cantidad de energía intercambiada por los sistemas termodinámicos a diferentes temperaturas.
El ejemplo canónico es un frasco de monedas de un centavo. Supongamos que dejo caer 100 monedas al suelo. Hay 100 formas en las que puedo tener un mano a mano y el resto con cruz; hay $ 100 cdot99 / 2 $ formas de tener dos cabezas; hay $ 10 cdot99 cdot98 / 6 $ formas de tener tres cabezas; hay alrededor de $ 10 ^ 28 $ formas de tener cuarenta cabezas y $ 10 ^ 29 $ formas de tener cincuenta cabezas. Si dejas caer un frasco de monedas de un centavo, no los encontrarás al 3% de cara a cara, como tampoco te caerá un rayo mientras te estás repartiendo una escalera real: hay demasiadas otras alternativas.
La conexión con la termodinámica se produce cuando no todos mis microestados tienen la misma energía, de modo que mi sistema puede intercambiar energía con su entorno al tener transiciones. Por ejemplo, suponga que mis 100 centavos no están en el piso de mi cocina, sino en el piso de mi camioneta con la llanta desequilibrada. La vibración significa que cada centavo tiene la posibilidad de volcarse, lo que tenderá a impulsar la distribución hacia 50-50. Pero si hay alguna otra interacción que hace que el heads-up sea más probable que el tails-up, entonces 50-50 no es donde me detendré. Tal vez tengo un pasajero obsesivo que da la vuelta a todos los centavos de la cola hacia arriba. Si la sacudida y el volteo aleatorio son lo suficientemente lentos como para que pueda voltearlos a todos, eso es efectivamente “temperatura cero”; si la sacudida y el cambio aleatorio son tan vigorosos que normalmente un centavo se voltea antes de que corrija el siguiente, eso es “temperatura infinita”. (Esto es en realidad parte de la definición de temperatura).
La entropía de Boltzmann que utilicé anteriormente, $$ S_B = k_B ln Omega, $$ es exactamente lo mismo como la entropía de Shannon, $$ S_S = k_S ln Omega, $$ excepto que la constante de Shannon es $ k_S = ( ln 2) rm , bit $, de modo que un sistema con diez bits de entropía de información puede estar en cualquiera de los estados $ Omega = 2 ^ 10 $.
Esta es una declaración con consecuencias físicas. Supongamos que compro una tarjeta SD de dos terabytes (aparentemente el estándar lo admite) y la lleno con cuarenta horas de video de mis conejillos de indias convirtiendo el heno en caca. Al reducir el número de estados posibles de la tarjeta SD de $ Omega = 2 times2 ^ 40 times8 $ a uno, la definición de Boltzmann me dice que he reducido la entropía termodinámica de la tarjeta en $ Delta S = 2.6 rm , meV / K $. Esa reducción de entropía debe equilibrarse con un aumento igual o mayor de entropía en cualquier otra parte del universo, y si hago esto a temperatura ambiente, ese aumento de entropía debe ir acompañado de un flujo de calor de $ Delta Q = T Delta S = 0,79 rm , eV = 10 ^ – 19 , julio $.
Y aquí nos encontramos con evidencia práctica y experimental de una diferencia entre la información y la entropía termodinámica. El consumo de energía al escribir una tarjeta SD es de milivatios o vatios, y transferir mi película de conejillo de indias de cuarenta horas no será una operación breve, esos $ 10 ^ – 19 rm , J $ adicionales, energía suficiente para conducir un Transición atómica infrarroja única, que tengo que pagar por saber que cada bit de la tarjeta SD no es nada en comparación con los otros costos de funcionamiento del dispositivo.
La entropía de la información es parte, pero no casi la totalidad, de la entropía termodinámica total de un sistema. La entropía termodinámica incluye información de estado sobre cada átomo de cada transistor que forma cada bit, y en cualquier sistema biestable habrá muchas, muchas configuraciones microscópicas que corresponden a “encendido” y muchas, muchas configuraciones microscópicas distintas que corresponden a “apagado”. . “
CuriousOne pregunta,
¿Cómo es que la entropía de Shannon del texto de un folio de Shakespeare no cambia con la temperatura?
Esto se debe a que cualquier medio de almacenamiento de información efectivo debe operar a una temperatura efectivamente cero; de lo contrario, los bits se voltean y la información se destruye. Por ejemplo, tengo una obra completa de Shakespeare que tiene aproximadamente 1 kg de papel y una entropía de información de unos pocos megabytes.
Esto significa que cuando se imprimió el libro hubo un gasto de energía extra mínimo de $ 10 ^ – 25 rm , J = 1 , mu eV $ asociado con poner esas palabras en la página en ese orden en lugar de cualquier otro. . Sabiendo lo que hay en el libro reduce su entropía. Saber si el libro es primero un soneto o se reproduce primero reduce aún más su entropía. Saber que “Viaje lejos / No te quedes / Encuéntrame todos al romper el día” en la página 158 reduce su entropía aún más, porque si tu cerebro está en el estado de baja entropía en el que conoces Sueño de una noche de verano, sabes que debe comience en la página 140 o 150 más o menos. Y que yo le dijera cada uno de estos hechos y, concomitantemente, la reducción de su entropía se asoció con una energía extra de una fracción de un nano-eV, totalmente perdida en el metabolismo de mi cerebro, la energía mecánica de mis dedos, la energía de operación de mi computadora, la energía de operación de mi conexión a Internet al disco en el centro de datos de StackExchange donde se almacena esta respuesta, y así sucesivamente.
Si elevo la temperatura de esta Obra Completa de 300 k a 301 K, elevo su entropía en $ Delta S = Delta Q / T = 1 , rm kJ / K $, que corresponde a muchos yottabytes de información; sin embargo, el libro está hábilmente organizado para que la información desorganizada no afecte la disposición de las palabras en las páginas. Sin embargo, si trato de almacenar un megajulio extra de energía en este libro, en algún momento de su camino hacia una temperatura de 1300 kelvin se transformará en una pila de cenizas. Las cenizas son de alta entropía: es imposible distinguir las cenizas de “Los trabajos perdidos del amor” de las cenizas de “Timón de Atenas”.
La entropía de la información — que ha sido remoto de un sistema donde se almacena la información — es un pequeño subconjunto de la entropía termodinámica, y solo puede almacenar información de manera confiable en partes de un sistema que están efectivamente a temperatura cero.
Un gas ideal monoatómico de, digamos, átomos de argón también se puede dividir en subsistemas donde la entropía depende o no de la temperatura. Los átomos de argón tienen al menos tres formas independientes de almacenar energía: movimiento de traslación, excitaciones electrónicas y excitaciones nucleares.
Suponga que tiene un mol de átomos de argón a temperatura ambiente. La entropía de traslación viene dada por la ecuación de Sackur-Tetrode y depende de la temperatura. Sin embargo, el factor de Boltzmann para el primer estado excitado a 11 eV es $$ exp frac -11 rm , eV k cdot300 rm , K = 10 ^ – 201 $$ y así el El número de átomos de argón en el primer estado excitado (o superior) es exactamente cero y hay entropía cero en el sector de excitación electrónica. La entropía de excitación electrónica permanece exactamente cero hasta que los factores de Boltzmann para todos los estados excitados suman $ 10 ^ – 24 $, de modo que hay en promedio un átomo excitado; eso sucede en algún lugar alrededor de la temperatura $$ T = frac -11 rm , eV k ln 10 ^ – 24 = 2500 rm , K. $$ Entonces, a medida que aumenta la temperatura de su mol de argón de 300 K a 500 K, el número de átomos excitados en su mol cambia de exactamente cero a exactamente cero, que es una configuración de entropía cero, independiente de la temperatura, en un proceso puramente termodinámico.
Del mismo modo, incluso a decenas de miles de kelvin, la entropía almacenada en las excitaciones nucleares es cero, porque la probabilidad de encontrar un núcleo en el primer estado excitado alrededor de 2 MeV es muchos órdenes de magnitud menor que el número de átomos en su muestra.
Asimismo, la entropía termodinámica de la información en mis Obras completas de Shakespeare es, si no nula, muy baja: hay un pequeño número de configuraciones de texto que corresponden a Obras completas de Shakespeare en lugar de El Señor de los anillos o Ulises. o un Don Quijote del mismo material con masa equivalente. La entropía de información (“Las obras completas de Shakespeare llenan unos pocos megabytes”) me dice la entropía termodinámica mínima que tenía que ser remoto del sistema para organizarlo en una obra completa de Shakespeare, y un costo energético asociado con la transferencia de esa entropía a otra parte; esos costos son diminuto en comparación con los intercambios totales de energía y entropía involucrados en la impresión de un libro.
Mientras la temperatura de mi libro se mantenga sustancialmente por debajo de 506 kelvin, la probabilidad de que cualquier letra del libro cambie espontáneamente para parecerse a otra letra o como una mancha ilegible es cero, y los cambios de temperatura son reversibles.
Este argumento sugiere, por cierto, que si desea almacenar información en un sistema mecánico cuántico, debe almacenarla en el estado fundamental, que el sistema ocupará a temperatura cero; por lo tanto, necesita encontrar un sistema que tenga múltiples estados fundamentales degenerados. Un ferromagnet tiene un estado fundamental degenerado: los átomos del imán quieren alinearse con sus vecinos, pero la dirección que eligen alinear no tiene restricciones. Una vez que un ferromaimán ha “elegido” una orientación, tal vez con la ayuda de un campo de alineación externo, esa dirección es estable siempre que la temperatura esté sustancialmente por debajo de la temperatura de Curie, es decir, los cambios modestos de temperatura no causan entropía. crecientes fluctuaciones en la orientación del imán. Es posible que esté familiarizado con los mecanismos de almacenamiento de información que funcionan según este principio.
Formalmente, las dos entropías son la misma cosa. La entropía de Gibbs, en termodinámica, es $$ S = -k_B sum p_i ln p_i $$ mientras que la entropía de Shannon de la teoría de la información es $$ H = – sum p_i log_2 p_i. $$ Estos son iguales a algunos factores numéricos. Dado un conjunto estadístico, puede calcular su entropía (termodinámica) utilizando la entropía de Shannon y luego multiplicando por constantes.
Sin embargo, en cierto sentido tiene razón. A menudo, cuando la gente habla de la entropía de Shannon, solo la usa para contar cosas que percibimos intuitivamente como información. Por ejemplo, se podría decir que la entropía de un transistor, puesto en “encendido” o “apagado” con la misma probabilidad, es de 1 bit.
Pero el La entropía termodinámica del transistor es miles, si no millones de veces mayor, porque cuenta todo, es decir, las configuraciones de todos los átomos que componen el transistor. (Si desea explicárselo a sus colegas programadores, diga que no cuentan si cada átomo individual está “encendido” o “apagado”).
En general, la cantidad de información “intuitiva” (como bits o palabras en un libro) es una fracción totalmente insignificante de la entropía total. La entropía termodinámica de una biblioteca es aproximadamente la misma que la de un almacén de libros en blanco.
Para ser honesto, creo que esta pregunta no está realmente resuelta, o al menos que aún no existe un consenso en la comunidad científica sobre cuál es la respuesta.
Mi comprensión de la relación es, creo, ligeramente diferente a knzhou, rob o CuriousOne. Tengo entendido que se puede pensar en la entropía termodinámica como una aplicación particular de la entropía de la información. En particular, se pueden aplicar los principios de la información y la entropía informativa para preguntar cuánto se sabe sobre el estado de un sistema cuántico y, bajo ciertas condiciones, la entropía termodinámica de Boltzmann parece recuperarse.
Como ejemplo concreto, un experimento reciente relacionado con esta pregunta (1) estudia la “entropía de entrelazamiento” de un sistema cuántico en interacción, que es una aplicación de la entropía informativa a un estado cuántico. En las circunstancias apropiadas (mirando la matriz de densidad de una sola partícula de un estado cuántico termalizado), esta entropía informativa se muestra idéntica a la entropía termodinámica de Boltzmann.
Desde este punto de vista, la termodinámica es “solo” una aplicación particular de los principios informativos. Por supuesto, también se pueden aplicar principios de información a sistemas completamente diferentes, como libros y comunicaciones por radio, etc. Como resultado, las entropías termodinámicas e informativas son no lo mismo, pero están dos aplicaciones particulares del mismo principio general.
Sin embargo, esta opinión no es compartida por todos, y aunque esta correspondencia parece funcionar en algunos casos como el experimento anterior, queda por explicar en un contexto más general.
Dos preguntas algo relacionadas que pueden resultarle interesantes:
Conversión espontánea de calor en trabajo a temperaturas negativas
¿Cuáles son los fenómenos responsables del aumento irreversible de la entropía?
Apéndice: Jerarquía de entropía
Aquí está la jerarquía de entropías que estoy reclamando aquí (ignorando constantes como $ k_B $):
-
Entropía de Shannon: $ S_ textrm Shannon = – sum_i p_i log p_i $. Describe, aproximadamente, cuánto se sabe sobre el estado de algún sistema, siendo $ i $ los posibles estados. Este sistema podría ser, por ejemplo, un string de bits binarios.
-
Aplicando esto a un estado cuántico desconocido, se obtiene la entropía de Gibbs: $ S_ textrm Gibbs = – sum_i p_i log p_i $, donde $ i $ son ahora específicamente los posibles estados cuánticos del sistema. Para que esta expresión tenga sentido físico, $ i $ deben ser los estados propios del sistema en una base en la que la matriz de densidad es diagonal *. Con esta estipulación, $ S_ textrm Gibbs $ es idéntica a la entropía de Von Neumann de un estado cuántico: $ S_ textrm VN = – text tr ( rho log rho) $, con $ rho $ la matriz de densidad.
-
La entropía de entrelazamiento es simplemente una aplicación de $ S_ textrm VN $ a un subconjunto espacial particular de un sistema (generalmente aislado): $ S_ EE, A = – text tr ( rho_A log rho_A ) $, donde $ rho_A $ es la matriz de densidad resultante de la traza parcial sobre la matriz de densidad de un sistema grande, manteniendo solo un subsistema local. En otras palabras, es la entropía de una parte particular de algún sistema más grande.
-
La afirmación muy no trivial hecha en (1) (y en otros lugares) es que para un sistema termalizado, el $ S_ EE, A $ de un subsistema local pequeño $ rho_A $ es equivalente a la entropía termodinámica de Boltzmann, definida como: $ S_ textrm Boltz = – sum_i (p_ i, textrm th log p_ i, textrm th) $, con $ p_ i, textrm th = frac e ^ – E_i / k_B T sum_i e ^ – E_i / k_B T $, $ i $ como los posibles estados de $ rho_A $ y $ k_B T $ elegidos para que el sistema tiene la energía media correcta. Esta afirmación se conoce, por cierto, como la “hipótesis de termalización del estado propio”.
* No hay nada demasiado misterioso en este requisito: es simplemente porque para que la entropía tenga algunas propiedades “agradables” como la aditividad, el estado $ i $ no debe estar correlacionado.