11 votos

Es el diferencial de la entropía siempre menos que infinito?

Para cualquier variable aleatoria continua, decir $X$, es su diferencial de la entropía siempre menos de $\infty$? (Está bien si es $-\infty$.) Si no, ¿cuál es la condición necesaria y suficiente para que sea menos de $\infty$?

7voto

Jon Ownbey Puntos505

Pensé acerca de esta cuestión un poco más y logró encontrar un contra-ejemplo, gracias también a la Piotr los comentarios de arriba. La respuesta a la primera pregunta es no, el diferencial de la entropía de una variable aleatoria continua (RV) es que no siempre menos de $\infty$. Por ejemplo, considere la posibilidad de un continuo RV X, cuya pdf $$f(x) = \frac{\log(2)}{x \log(x)^2}$$ para $x > 2$.

No es difícil comprobar que su diferencial de la entropía es infinito. Se crece muy lentamente a pesar de que (aprox. de forma logarítmica).

Para la 2ª pregunta, yo soy no consciente de un simple condición necesaria y suficiente. Sin embargo, una respuesta parcial es el siguiente. Categorizar un continuo RV en uno de los siguientes 3 Tipos en función de su soporte, es decir

Tipo 1: un continuo RV cuyo apoyo es acotado, es decir, contenida en [a,b].
Tipo 2: un continuo RV cuyo apoyo es la mitad acotado, es decir, contenida en [a,$\infty$) o ($-\infty$,a]
Tipo 3: un continuo RV cuyo apoyo es ilimitado.

Entonces tenemos el siguiente -

Para un Tipo 1 RV, su entropía es siempre menor que $\infty$, incondicionalmente.
Para el Tipo 2 de RV, su entropía es menor que $\infty$, si su media ($\mu$) es finito.
Para un Tipo 3 RV, su entropía es menor que $\infty$, si su varianza ($\sigma^2$) es finito.

El diferencial de la entropía de un Tipo 1 RV es menor que la de la correspondiente distribución uniforme, es decir,$log(b-a)$, un Tipo de 2 RV, que de la distribución exponencial, es decir,$1+log(|\mu-a|)$, y un Tipo de 3 RV, que de la distribución Gaussiana, es decir,$\frac{1}{2} log(2{\pi}e\sigma^2)$.

Tenga en cuenta que para un Tipo de 2 o 3 RV, la condición anterior es sólo una condición suficiente. Por ejemplo, considere el Tipo 2 de RV con $$f(x) = \frac{3}{x^2}$$ para $x > 3$. Claramente, su media es infinita, pero su entropía es de 3.1 nats. O considere la posibilidad de un Tipo de 3 RV con $$f(x) = \frac{9}{|x|^3}$$ para $|x| > 3$. Su varianza es infinita, pero su entropía es de 2.6 nats. Así que sería muy bueno, si alguien puede dar una o más elegante respuesta para esta parte.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by: