Saltar al contenido

¿Cómo se obtiene la entropía de la distribución normal?

Esta es la contestación más correcta que encomtrarás aportar, pero estúdiala detenidamente y analiza si se adapta a tu trabajo.

Solución:

Observe que $ln(colorazulsqrtcolornegrox) = ln(x^colorazulfrac12) = colorbluefrac12ln(x)$ para todo $x > 0$. Usando esta identidad, reescribamos la entropía máxima, $frac12 + ln(sqrt2pisigma)$, como sigue: $$ beginalign frac 12 + ln(sqrt2pisigma) &= frac12 + ln(colorazulsqrtcolornegro2 pisigma^2) \ &= frac12 + colorazulfrac12ln(2pisigma^2) &= frac12(1 + ln(2pisigma^2)) \ &= frac12(ln(mathrme) + ln(2pisigma^2)) \ &= frac12ln(2pimathrmesigma^2) endalign $$ Entonces, la entropía informado en Wikipedia es correcto.

Para una distribución continua como Normal/Gaussiana, calculamos la entropía diferencial.

Puede encontrar la derivación aquí http://www.biopsychology.org/norwich/isp/chap8.pdf

Para obtener más información sobre la entropía diferencial, recomiendo el libro “Elementos de la teoría de la información” de Cover y Thomas.

Ya obtuviste algunas buenas respuestas, pensé que podría agregar algo más útil que es no es realmente una respuestapero tal vez sea bueno si encuentra que la entropía diferencial es un concepto extraño.

Dado que no podemos almacenar exactamente un número real o continuo, la entropía para distribuciones continuas significa conceptualmente algo diferente a la entropía para distribuciones discretas.

Significa la información requerida salvo la resolución de representación. Tomemos por ejemplo la distribución uniforme en $[0,2^a-1]$ por un entero $a$. En una resolución entera tendrá $2^a$ estados equiprobables y eso le daría $a$ bits de entropía. Además, la entropía diferencial es $log(2^a-0)$, que resulta ser la misma. Pero si queremos otra resolución, por supuesto se requieren menos o más bits. La resolución doble ($pm 0.5$) requeriría 1 bit más (en promedio).

Si te gustó nuestro trabajo, puedes dejar una división acerca de qué le añadirías a este enunciado.

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *