Logo
Unionpedia
Comunicación
Disponible en Google Play
¡Nuevo! ¡Descarga Unionpedia en tu dispositivo Android™!
Descargar
¡Más rápido que el navegador!
 

Divergencia de Kullback-Leibler

Índice Divergencia de Kullback-Leibler

En teoría de la probabilidad y teoría de la información, la divergencia de Kullback-Leibler (KL) (también conocida como divergencia de la información, ganancia de la información, entropía relativa o KLIC por sus siglas en inglés) es una medida no simétrica de la similitud o diferencia entre dos funciones de distribución de probabilidad P y Q. KL mide el número esperado de extra bits requeridos en muestras de código de P cuando se usa un código basado en Q, en lugar de un código basado en P. Generalmente P representa la "verdadera" distribución de los datos, observaciones, o cualquier distribución teórica.

13 relaciones: Bit, Codificación Huffman, Continuidad absoluta, Desigualdad de Jensen, Distancia, Función de densidad de probabilidad, Función de distribución, Función de verosimilitud, Máxima verosimilitud, Nat (unidad), Teoría de la información, Teoría de la probabilidad, Teorema de Radon–Nikodym.

Bit

En informática o teoría de la información, el bit corresponde a un dígito del sistema de numeración binario y representa la unidad mínima de información.

¡Nuevo!!: Divergencia de Kullback-Leibler y Bit · Ver más »

Codificación Huffman

En ciencias de la computación y teoría de la información, la codificación Huffman es un algoritmo usado para compresión de datos.

¡Nuevo!!: Divergencia de Kullback-Leibler y Codificación Huffman · Ver más »

Continuidad absoluta

En cálculo, la continuidad absoluta es una propiedad de un función referida a su suavidad, que a su vez es una condición más restrictiva que la de ser simplemente continua y uniformemente continua.

¡Nuevo!!: Divergencia de Kullback-Leibler y Continuidad absoluta · Ver más »

Desigualdad de Jensen

En matemáticas, la desigualdad de Jensen para funciones convexas relaciona el valor que asigna a una integral con la integral de esa misma función permutando, por así decirlo, la función y la integral.

¡Nuevo!!: Divergencia de Kullback-Leibler y Desigualdad de Jensen · Ver más »

Distancia

En las matemáticas, la distancia entre dos puntos del espacio euclídeo equivale a la longitud del segmento de la recta que los une, expresado numéricamente.

¡Nuevo!!: Divergencia de Kullback-Leibler y Distancia · Ver más »

Función de densidad de probabilidad

En la teoría de la probabilidad, la función de densidad de probabilidad, función de densidad, o simplemente densidad de una variable aleatoria continua describe la probabilidad relativa según la cual dicha variable aleatoria tomará determinado valor.

¡Nuevo!!: Divergencia de Kullback-Leibler y Función de densidad de probabilidad · Ver más »

Función de distribución

En la teoría de la probabilidad y en estadística, la función de distribución acumulada (FDA, designada también a veces simplemente como función de distribución o FD) o función de probabilidad acumulada asociada a una variable aleatoria real X sujeta a cierta ley de distribución de probabilidad, es una función matemática de la variable real x que describe la probabilidad de que X tenga un valor menor o igual que x.Intuitivamente, asumiendo la función f como la ley de distribución de probabilidad, la FDA sería la función con la recta real como dominio, con imagen del área hasta aquí de la función f, siendo aquí el valor x para la variable aleatoria real X.La FDA asocia a cada valor x, la probabilidad del ''evento'': «la variable X toma valores menores o iguales a x».

¡Nuevo!!: Divergencia de Kullback-Leibler y Función de distribución · Ver más »

Función de verosimilitud

En estadística, la función de verosimilitud (o, simplemente, verosimilitud) es una función de los parámetros de un modelo estadístico que permite realizar inferencias acerca de su valor a partir de un conjunto de observaciones.

¡Nuevo!!: Divergencia de Kullback-Leibler y Función de verosimilitud · Ver más »

Máxima verosimilitud

En estadística, la estimación por máxima verosimilitud (conocida también como EMV y, en ocasiones, MLE por sus siglas en inglés) es un método habitual para ajustar un modelo y estimar sus parámetros.

¡Nuevo!!: Divergencia de Kullback-Leibler y Máxima verosimilitud · Ver más »

Nat (unidad)

La unidad natural de información (símbolo: nat), a veces también nit o nepit, se utiliza para medir la información o entropía.

¡Nuevo!!: Divergencia de Kullback-Leibler y Nat (unidad) · Ver más »

Teoría de la información

La teoría de la información, también conocida como teoría matemática de la comunicación (Inglés: mathematical theory of communication) o teoría matemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940.

¡Nuevo!!: Divergencia de Kullback-Leibler y Teoría de la información · Ver más »

Teoría de la probabilidad

La teoría de la probabilidad es una rama de las matemáticas que estudia los fenómenos aleatorios y estocásticos.

¡Nuevo!!: Divergencia de Kullback-Leibler y Teoría de la probabilidad · Ver más »

Teorema de Radon–Nikodym

En matemáticas y particularmente en teoría de la medida, el teorema de Radon–Nikodym establece condiciones bajo las cuales se pueden generar medidas con signo absolutamente continuas respecto a una medida dada.

¡Nuevo!!: Divergencia de Kullback-Leibler y Teorema de Radon–Nikodym · Ver más »

Redirecciona aquí:

Divergencia de Kullback Leibler.

SalienteEntrante
¡Hey! ¡Ahora tenemos Facebook! »