Combinación de variables aleatorias

Solución determinista

Uno de los ejercicios más habituales por su sencillez es encontrar simplemente un valor determinista (un estadístico) para la combinación de variables.

El estadístico buscado podría ser la media, el valor más probable (la moda) o incluso la mediana, aunque en el caso de variables aleatorias normales estos tres coinciden.

Para un conjunto de variables normales la solución determinista buscada y denominada en algunos documentos como máximo-verosímil es aquélla que minimiza la ​distacia de Mahalanobis al valor más probable o medio.

Sea la combinación de variables aleatorias:

V ~ Normal(Mu, Sigma)
F(V)==0

la solución determinista buscada Nu minimiza la distancia:

distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))

donde V representa al conjunto de variables aleatorias, Mu sus medias y Sigma su matriz de covarianza, F(V)==0 son las restricciones sobre V, y Nu es el valor determinista buscado de la solución de la combinación.

Combinación lineal de variables aleatorias normales

A continuación deducimos la solución a la combinación lineal de variables aleatorias normales.

Sea V un conjunto de n variables aleatorias distribuidas como una normal multivariada:

V ~ Normal(Mu, Sigma)

donde Mu (nx1) es el vector de medias y Sigma (nxn) su matriz de covarianza, y

B · Z = C

un sistema de m restricciones lineales sobre las variables, donde B (mxn) es la matriz del sistema lineal y C (mx1) es su término constante.

El objetivo es encontrar la solución Nu que minimiza la distancia de Mahalanobis al vector de medias:

min. distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))

Solucionamos el problema mediante el método de los ​multiplicadores de Lagrange:

min. L(Z, Lambda) = (Z-Mu)'·Sigma**-1·(Z-Mu) - Lambda·(B·Z-C) 

donde L(Z, Lambda) es la función de Lagrange y Lambda (mx1) el vector de multiplicadores de Lagrange.

Derivando respecto a Z y Lambda obtenemos:

d[L(Z,Lambda]/d[Lambda] = B·Z - C == 0

que es la restricción lineal sobre las variables y

d[L(Z,Lambda]/d[Z] = 2 Inv[Sigma]·(Z-Mu) + B'·Lambda == 0

Si despejamos Lambda de la segunda ecuación usando la primera:

2 Inv[Sigma]·(Z-Mu) == - B'·Lambda
Z-Mu == - 1/2 Sigma·B'·Lambda
B·(Z-Mu) == C-B·Mu == - 1/2 B·Sigma·B'·Lambda
Lambda == -2 Inv[B·Sigma·B']·B·(Z-Mu)

y sustituyendo de nuevo en la segunda ecuación y despejando Z encontramos:

Z == Mu - 1/2 Sigma·B'·Lambda == Mu + Sigma·B'·Inv[B·Sigma·B']·B·(Z-Mu)

Nota Matemática

Se han hecho uso de algunos resultados de derivación matricial como:

d[X']/d[X] = I
d[A'·X]/d[X] = d[X'·A]/d[X] = A
d[X'·X]/d[X] = 2 X
d[X'·B·X]/d[X] = (B+B')·X =(si B es simétrica)= 2 B·X

donde X y A son matrices columna, B es una matriz cuadrada e I es la matriz identidad.

Para obtener estos resultados puede hacerse la siguiente consideración:

d[f(X)]/d[X] == d/d[X] · f[X]

donde la derivada se puede ver como un producto matricial entre un operador columna de derivadas:

d/d[X] = (d/dx1, d/dx2, ..., d/dxn)'

y la matriz a derivar.