Combinación de variables aleatorias

Solución determinista

Uno de los ejercicios más habituales por su sencillez es encontrar simplemente un valor determinista (un estadístico) para la combinación de variables.

El estadístico buscado podría ser la media, el valor más probable (la moda) o incluso la mediana, aunque en el caso de variables aleatorias normales estos tres coinciden.

Para un conjunto de variables normales la solución determinista buscada y denominada en algunos documentos como máximo-verosímil es aquélla que minimiza la ​distacia de Mahalanobis al valor más probable o medio.

Sea la combinación de variables aleatorias:

V ~ Normal(Mu, Sigma)
F(V)==0

la solución determinista buscada Nu minimiza la distancia:

distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))

donde V representa al conjunto de variables aleatorias, Mu sus medias y Sigma su matriz de covarianza, F(V)==0 son las restricciones sobre V, y Nu es el valor determinista buscado de la solución de la combinación.

Combinación lineal de variables aleatorias normales

A continuación deducimos la solución a la combinación lineal de variables aleatorias normales.

Sea V un conjunto de n variables aleatorias distribuidas como una normal multivariada:

V ~ Normal(Mu, Sigma)

donde Mu (nx1) es el vector de medias y Sigma (nxn) su matriz de covarianza, y

B · V = C

un sistema de m restricciones lineales sobre las variables, donde B (mxn) es la matriz del sistema lineal y C (mx1) es su término constante.

El objetivo es encontrar la solución Z que minimiza la distancia de Mahalanobis al vector de medias:

min. distM(Z, Mu; Sigma) = Sqrt[(Z-Mu)'·Inv[Sigma]·(Z-Mu)]

Solucionamos el problema mediante el método de los ​multiplicadores de Lagrange:

min. L(Z, Lambda) = (Z-Mu)'·Sigma**-1·(Z-Mu) - Lambda·(B·Z-C) 

donde L(Z, Lambda) es la función de Lagrange y Lambda (mx1) el vector de multiplicadores de Lagrange.

Derivando respecto a Z y Lambda obtenemos:

d[L(Z,Lambda]/d[Lambda] = B·Z - C == 0

que es la restricción lineal sobre las variables y

d[L(Z,Lambda]/d[Z] = 2 Inv[Sigma]·(Z-Mu) + B'·Lambda == 0

Si despejamos Lambda de la segunda ecuación usando la primera:

2 Inv[Sigma]·(Z-Mu) == - B'·Lambda
Z-Mu == - 1/2 Sigma·B'·Lambda
B·(Z-Mu) == C-B·Mu == - 1/2 B·Sigma·B'·Lambda
Lambda == -2 Inv[B·Sigma·B']·B·(Z-Mu)

y sustituyendo de nuevo en la segunda ecuación y despejando Z encontramos:

Z == Mu - 1/2 Sigma·B'·Lambda == Mu + Sigma·B'·Inv[B·Sigma·B']·B·(Z-Mu)

Nota Matemática

Se han hecho uso de algunos resultados de derivación matricial como:

d[X']/d[X] = I
d[A'·X]/d[X] = d[X'·A]/d[X] = A
d[X'·X]/d[X] = 2 X
d[X'·B·X]/d[X] = (B+B')·X =(si B es simétrica)= 2 B·X

donde X y A son matrices columna, B es una matriz cuadrada e I es la matriz identidad.

Para obtener estos resultados puede hacerse la siguiente consideración:

d[f(X)]/d[X] == d/d[X] · f[X]

donde la derivada se puede ver como un producto matricial entre un operador columna de derivadas:

d/d[X] = (d/dx1, d/dx2, ..., d/dxn)'

y la matriz a derivar.

Combinación de variables separable

En general el problema de encontrar una solución determinista para una combinación de variables aleatorias no puede resolverse mediante un algoritmo de optimización.

Sin embargo hay un caso particular, que denominaremos combinación separable y que se encuentra a menudo en modelación, que sí puede resolverse.

Sea V un conjunto de n variables aleatorias distribuidas como una normal multivariada:

V ~ Normal(Mu, Sigma)

donde Mu (nx1) es el vector de medias y Sigma (nxn) su matriz de covarianza, y sea

F(V1) = V2

una restricción separable, donde V1 (n1x1) y V2 (n2x1) son dos subconjuntos complementarios de V (n=n1+n2x1):

V' = (V1', V2')

La condición de encontrar el valor Nu que minimice la distancia:

distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))

sujeta a las restricciones anteriores puede escribirse como la minimización de una función de N1 no restringida

min. (Mu-Nu(Nu1))'·Sigma**-1·(Mu-Nu(Nu1))

donde

Nu(Nu1)' = (Nu1', F(Nu1)') 

Combinación lineal de variables aleatorias separable

Un caso muy común de combinación separable es aquel en el que la restricción es lineal pudiéndose escribir de la forma:

V ~ Normal(Mu, Sigma)
A·V1 + B == V2

donde V'=(V1,V2)' es el conjunto de variables aleatorias separadas en dos subconjuntos V1 (n1x1) y V2 (n2x1) y A (n1xn1) y B (n1x1) son las matrices de la restricción lineal. Nótese que el número de variables separadas V2 es igual al número de restricciones lineales (dimensiones de las matrices A y B).