Combinación de variables aleatorias

Solución determinista

Uno de los ejercicios más habituales por su sencillez es encontrar simplemente un valor determinista (un estadístico) para la combinación de variables.

El estadístico buscado podría ser la media, el valor más probable (la moda) o incluso la mediana, aunque en el caso de variables aleatorias normales estos tres coinciden.

Para un conjunto de variables normales la solución determinista buscada y denominada en algunos documentos como máximo-verosímil es aquélla que minimiza la ​distacia de Mahalanobis al valor más probable o medio.

Sea la combinación de variables aleatorias:

V ~ Normal(Mu, Sigma)
F(V)=0

la solución determinista buscada Nu minimiza la distancia:

distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))

donde V representa al conjunto de variables aleatorias, Mu sus medias y Sigma su matriz de covarianza, F(V)=0 son las restricciones sobre V, y Nu es el valor determinista buscado de la solución de la combinación.

Combinación lineal de variables aleatorias normales

A continuación deducimos la solución a la combinación lineal de variables aleatorias normales.

Sea V un conjunto de n variables aleatorias distribuidas como una normal multivariada:

V ~ Normal(Mu, Sigma)

donde Mu (nx1) es el vector de medias y Sigma (nxn) su matriz de covarianza, y

B · V = C

un sistema de m restricciones lineales sobre las variables, donde B (mxn) es la matriz del sistema lineal y C (mx1) es su término constante.

El objetivo es encontrar la solución Z que minimiza la distancia de Mahalanobis al vector de medias:

min. distM(Z, Mu; Sigma) = Sqrt[(Z-Mu)'·Inv[Sigma]·(Z-Mu)]

Solucionamos el problema mediante el método de los ​multiplicadores de Lagrange:

min. L(Z, Lambda) = (Z-Mu)'·Sigma**-1·(Z-Mu) - Lambda·(B·Z-C) 

donde L(Z, Lambda) es la función de Lagrange y Lambda (mx1) el vector de multiplicadores de Lagrange.

Derivando respecto a Z y Lambda obtenemos:

d[L(Z,Lambda]/d[Lambda] = B·Z - C = 0

que es la restricción lineal sobre las variables y

d[L(Z,Lambda]/d[Z] = 2 Inv[Sigma]·(Z-Mu) + B'·Lambda = 0

Si despejamos Lambda de la segunda ecuación usando la primera:

2 Inv[Sigma]·(Z-Mu) = - B'·Lambda
Z-Mu = - 1/2 Sigma·B'·Lambda
B·(Z-Mu) = C-B·Mu = - 1/2 B·Sigma·B'·Lambda
Lambda = -2 Inv[B·Sigma·B']·(C-B·Mu)

y sustituyendo de nuevo en la segunda ecuación y despejando Z encontramos:

Z = Mu - 1/2 Sigma·B'·Lambda = Mu + Sigma·B'·Inv[B·Sigma·B']·(C-B·Mu)

Nota Matemática

Se han hecho uso de algunos resultados de derivación matricial como:

d[X']/d[X] = I
d[A'·X]/d[X] = d[X'·A]/d[X] = A
d[X'·X]/d[X] = 2 X
d[X'·B·X]/d[X] = (B+B')·X =(si B es simétrica)= 2 B·X

donde X y A son matrices columna, B es una matriz cuadrada e I es la matriz identidad.

Para obtener estos resultados puede hacerse la siguiente consideración:

d[f(X)]/d[X] = d/d[X] · f[X]

donde la derivada se puede ver como un producto matricial entre un operador columna de derivadas:

d/d[X] = (d/dx1, d/dx2, ..., d/dxn)'

y la matriz a derivar.

Combinación de variables aleatorias separable

En general el problema de encontrar una solución determinista para una combinación de variables aleatorias no puede resolverse mediante un algoritmo de optimización.

Sin embargo hay un caso particular, que denominaremos combinación separable y que se encuentra a menudo en modelación, que sí puede resolverse.

Sea V un conjunto de n variables aleatorias distribuidas como una normal multivariada:

V ~ Normal(Mu, Sigma)

donde Mu (nx1) es el vector de medias y Sigma (nxn) su matriz de covarianza, y sea

F(V1) = V2

una restricción separable, donde V1 (n1x1) y V2 (n2x1) son dos subconjuntos complementarios de V (n=n1+n2x1):

V' = (V1', V2')

La condición de encontrar el valor Nu que minimice la distancia:

distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))

sujeta a las restricciones anteriores puede escribirse como la minimización de una función de N1 no restringida

min. (Mu-Nu(Nu1))'·Sigma**-1·(Mu-Nu(Nu1))

donde

Nu(Nu1)' = (Nu1', F(Nu1)') 

Combinación lineal de variables aleatorias separable

Un caso muy común de combinación separable es aquel en el que la restricción es lineal pudiéndose escribir de la forma:

V ~ Normal(Mu, Sigma)
A·V1 + B = V2

donde V'=(V1,V2)' es el conjunto de variables aleatorias separadas en dos subconjuntos V1 (n1x1) y V2 (n2x1) y A (n1xn1) y B (n1x1) son las matrices de la restricción lineal. Nótese que el número de variables separadas V2 es igual al número de restricciones lineales (dimensiones de las matrices A y B).

Combinación lineal de variables aleatorias trans-normales

Anteriormente encontramos la solución determinista para una combinación lineal de variables aleatorias normales:

V ~ Normal(Mu, Sigma)
B · V = C

minimizando la distancia de Mahalanobis de la solución al vector de medias:

Z = Mu + Sigma·B'·Inv[B·Sigma·B']·(C-B·Mu)

Hay una situación más general que ésta que admite una solución similar. Se trata del caso, más general, en el que la familia de variables aleatorias se pueda expresar como una transformación de variables aleatorias normales,

T(V) ~ Normal(Mu, Sigma)
B · V = C

donde T es una transformación inversible de las variables aleatorias.

A esta nueva familia de variables aleatroias la podemos denominar trans-normales en analogía al nombre que reciben cuando la transformación es el logaritmo: log-normales.

Para el caso de la combinación lineal de variables trans-normales, podemos encontrar la solución determinista que minimiza la distancia de Mahalanobis en el espacio transformado:

distM(T(Z), Mu; Sigma) = Sqrt((T(Z)-Mu)'·Sigma**-1·(T(Z)-Mu))

replanteando el problema como:

W ~ Normal(Mu, Sigma)
B · S(W) = C

donde S=inv(T) es la transformación inversa de T.

La solución Y=T(Z) al nuevo problema sobre variables normales puede obtenerse mediante la resolución de la equción matricial no-lineal siguiente:

Y = T( S(Mu) + M(Y)·B'·Inv[B·M(Y)·B']·(C-B·S(Mu)) )

con:

M(Y) = D[S(Y)]·Sigma·D[S(y)]'

donde D[S(Y)] es la matriz de derivadas de S en Y:

D[S(Y)] = d/d[Y] · S(Y)'

cuyo elemento i,j es:

D[S(Y)]_i,j = d[S(Y)_i]/dY_j

Nótese que la ecuación:

Y = T( S(Mu) + M(Y)·B'·Inv[B·M(Y)·B']·(C-B·S(Mu)) )

coincide con la encontrada anteriormente cuando la transformación es la identidad:

T(U) = U
S(W) = W
M(Y) = Sigma

En general, sin embargo, la ecuación no puede obtenerse analíticamente aunque puede resolverse numéricamente de manera recursiva en pocas iteraciones utilizando como solución inicial el vector de medias:

Y_0=Mu
Y_(n+1) = T( S(Mu) + M(Y_n)·B'·Inv[B·M(Y_n)·B']·(C-B·S(Mu)) )

=>! Es necesario demostrar o comprobar esto