¿Cuáles son las aplicaciones de la covarianza?

Reducción de dimensionalidad:

Uno de los usos más comunes para la covarianza es para la integración de datos / reducción de dimensionalidad / extracción de características, un ejemplo clave de esto es el análisis de componentes principales http://en.m.wikipedia.org/wiki/P…

La covarianza entre variables en un conjunto de datos puede ayudar a revelar un espacio de dimensión inferior que aún puede capturar la mayoría de la varianza en los datos, es decir, puede ser posible combinar variables que están altamente correlacionadas (tienen alta covarianza) sin perder demasiado información.

Análisis de correlación canónica (CCA):

Otro uso interesante: análisis de correlación canónica http://en.m.wikipedia.org/wiki/C…

Una aplicación interesante de las cuales es el aprendizaje de múltiples vistas:
http://dl.acm.org/citation.cfm?i…
http: //www-stat.wharton.upenn.ed…

El aprendizaje de múltiples vistas generalmente aprovecha los datos adicionales en forma de múltiples conjuntos de características independientes y completas para datos junto con datos sin etiquetar para mejorar el modelado.

Uno de los primeros documentos que demuestran la efectividad del aprendizaje de múltiples vistas que ilustra la idea subyacente: http://dl.acm.org/citation.cfm?i…

Clasificación y selección de características para clasificación

La correlación / covarianza de características con la etiqueta (o basada en la etiqueta) también se usa para muchos métodos de aprendizaje automático. Por ejemplo, muchos métodos de selección de funciones utilizan este http://en.m.wikipedia.org/wiki/F…

Uno de los enfoques más rápidos y simples para la selección de características es filtrar cierto número de características que están menos correlacionadas con la variable etiqueta / respuesta. Esto también se puede hacer para reducir rápidamente la cantidad de funciones a una cantidad más manejable antes de usar un método de selección más costoso.

Otro ejemplo desde una perspectiva generativa hasta la clasificación: análisis discriminante lineal:
http://en.m.wikipedia.org/wiki/L…

La aplicación principal de la covarianza es verificar el alcance de la relación lineal entre dos variables.

Se puede demostrar (usando la desigualdad de Cauchy-Schwarz) que la covarianza siempre se encuentra entre dos límites que son el producto de las desviaciones estándar de las dos variables:

[matemáticas] – \ sigma_X \ sigma_Y \ leq {\ sigma_ {XY}} \ leq + \ sigma_X \ sigma_Y [/ math]

donde [math] \ sigma_ {XY} [/ math] es la covarianza de X e Y y [math] \ sigma_ {X} [/ math] y [math] \ sigma_ {Y} [/ math] son ​​las desviaciones estándar de X e Y respectivamente.

La situación de igualdad puede surgir solo cuando [math] \ sigma_ {X} [/ math] y [math] \ sigma_ {Y} [/ math] [math] [/ math] son ​​proporcionales (esto se deduce de nuevo del Cauchy-Schwarz desigualdad) es decir

[matemáticas] (X- \ mu_X) = k (y- \ mu_Y) [/ matemáticas]

[matemáticas] Y = (\ frac {1} {k}) X + (\ mu_Y – \ frac {\ mu_X} {k}) [/ matemáticas] que tiene la forma

[matemáticas] Y = AX + b [/ matemáticas] – una relación lineal.

Por lo tanto, la covarianza mide el grado de relación lineal entre dos variables.

Si la covarianza alcanza un valor máximo de + [math] \ sigma_X \ sigma_Y [/ math], entonces la relación es puramente lineal. Si alcanza un valor mínimo de – [matemática] \ sigma_X \ sigma_Y [/ matemática], entonces la relación sigue siendo puramente lineal, pero en la dirección opuesta, es decir, un aumento en X provoca una disminución en Y y viceversa. Si la covarianza alcanza algún valor entre estos extremos, entonces la relación tiene componentes lineales y no lineales.