Logo
Unionpedia
Comunicación
Disponible en Google Play
¡Nuevo! ¡Descarga Unionpedia en tu dispositivo Android™!
Gratis
¡Más rápido que el navegador!
 

Entropía cruzada

Índice Entropía cruzada

En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número medio de bits necesarios para identificar un evento de un conjunto de posibilidades, si un esquema de codificación está basado en una distribución de probabilidad dada q, más que en la verdadera distribución p. La entropía cruzada para dos distribuciones p y q sobre el mismo espacio de probabilidad se define como sigue: donde H(p) es la entropía de p, y D_(p || q) es la divergencia de Kullback-Leibler entre q y p (también conocida como entropía relativa).

9 relaciones: Bit, Distribución de probabilidad, Divergencia de Kullback-Leibler, Entropía, Entropía condicional, Espacio de probabilidad, Teoría de la información, Variable aleatoria, Variable discreta y variable continua.

Bit

En informática o teoría de la información, el bit corresponde a un dígito del sistema de numeración binario y representa la unidad mínima de información.

¡Nuevo!!: Entropía cruzada y Bit · Ver más »

Distribución de probabilidad

En teoría de la probabilidad y estadística, la distribución de probabilidad de una variable aleatoria es una función que asigna a cada suceso definido sobre la variable, la probabilidad de que dicho suceso ocurra.

¡Nuevo!!: Entropía cruzada y Distribución de probabilidad · Ver más »

Divergencia de Kullback-Leibler

En teoría de la probabilidad y teoría de la información, la divergencia de Kullback-Leibler (KL) (también conocida como divergencia de la información, ganancia de la información, entropía relativa o KLIC por sus siglas en inglés) es una medida no simétrica de la similitud o diferencia entre dos funciones de distribución de probabilidad P y Q. KL mide el número esperado de extra bits requeridos en muestras de código de P cuando se usa un código basado en Q, en lugar de un código basado en P. Generalmente P representa la "verdadera" distribución de los datos, observaciones, o cualquier distribución teórica.

¡Nuevo!!: Entropía cruzada y Divergencia de Kullback-Leibler · Ver más »

Entropía

En termodinámica, la entropía (simbolizada como S) es una magnitud física para un sistema termodinámico en equilibrio.

¡Nuevo!!: Entropía cruzada y Entropía · Ver más »

Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

¡Nuevo!!: Entropía cruzada y Entropía condicional · Ver más »

Espacio de probabilidad

En teoría de probabilidades, un espacio probabilístico o espacio de probabilidad es un concepto matemático que sirve para modelar un cierto experimento aleatorio.

¡Nuevo!!: Entropía cruzada y Espacio de probabilidad · Ver más »

Teoría de la información

La teoría de la información, también conocida como teoría matemática de la comunicación (Inglés: mathematical theory of communication) o teoría matemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940.

¡Nuevo!!: Entropía cruzada y Teoría de la información · Ver más »

Variable aleatoria

En probabilidad y estadística, una variable aleatoria es una función que asigna un valor, usualmente numérico, al resultado de un experimento aleatorio.

¡Nuevo!!: Entropía cruzada y Variable aleatoria · Ver más »

Variable discreta y variable continua

Una variable discreta es una variable que no puede tomar algunos valores dentro de un mínimo conjunto numerable, quiere decir, no acepta cualquier valor, únicamente aquellos que pertenecen al conjunto,otra manera de explicar este tipo de variables es como aquella que puede tomar únicamente un número de valores finito.

¡Nuevo!!: Entropía cruzada y Variable discreta y variable continua · Ver más »

Redirecciona aquí:

Entropia cruzada.

SalienteEntrante
¡Hey! ¡Ahora tenemos Facebook! »