= Combinación de variables aleatorias =

== Solución determinista ==

Uno de los ejercicios más habituales por su sencillez es encontrar simplemente un valor determinista (un estadístico) para la combinación de variables.

El estadístico buscado podría ser la media, el valor más probable (la moda) o incluso la mediana, aunque en el caso de variables aleatorias normales estos tres coinciden.

Para un conjunto de variables normales la solución determinista buscada y denominada en algunos documentos como máximo-verosímil es aquélla que minimiza la [http://es.wikipedia.org/wiki/Distancia_de_Mahalanobis distacia de Mahalanobis] al valor más probable o medio.

Sea la combinación de variables aleatorias: 
{{{
V ~ Normal(Mu, Sigma)
F(V)==0
}}}
la solución determinista buscada {{{Nu}}} minimiza la distancia:
{{{
distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))
}}}
donde {{{V}}} representa al conjunto de variables aleatorias, {{{Mu}}} sus medias y {{{Sigma}}} su matriz de covarianza, {{{F(V)==0}}} son las restricciones sobre {{{V}}}, y {{{Nu}}} es el valor determinista buscado de la solución de la combinación.

=== Combinación lineal de variables aleatorias normales ===

A continuación deducimos la solución a la combinación lineal de variables aleatorias normales.

Sea {{{V}}} un conjunto de {{{n}}} variables aleatorias distribuidas como una normal multivariada:
{{{
V ~ Normal(Mu, Sigma)
}}}
donde {{{Mu (nx1)}}} es el vector de medias y {{{Sigma (nxn)}}} su matriz de covarianza, y 
{{{
B · V = C
}}}
un sistema de {{{m}}} restricciones lineales sobre las variables, donde {{{B (mxn)}}} es la
matriz del sistema lineal y {{{C (mx1)}}} es su término constante.

El objetivo es encontrar la solución {{{Z}}} que minimiza la distancia de Mahalanobis al vector
de medias:
{{{
min. distM(Z, Mu; Sigma) = Sqrt[(Z-Mu)'·Inv[Sigma]·(Z-Mu)]
}}}

Solucionamos el problema mediante el método de los [http://es.wikipedia.org/wiki/Multiplicadores_de_Lagrange multiplicadores de Lagrange]:
{{{
min. L(Z, Lambda) = (Z-Mu)'·Sigma**-1·(Z-Mu) - Lambda·(B·Z-C) 
}}}
donde {{{L(Z, Lambda)}}} es la función de Lagrange y {{{Lambda (mx1)}}} el vector de multiplicadores de Lagrange.

Derivando respecto a {{{Z}}} y {{{Lambda}}} obtenemos:
{{{
d[L(Z,Lambda]/d[Lambda] = B·Z - C == 0
}}}
que es la restricción lineal sobre las variables y 
{{{
d[L(Z,Lambda]/d[Z] = 2 Inv[Sigma]·(Z-Mu) + B'·Lambda == 0
}}}

Si despejamos {{{Lambda}}} de la segunda ecuación usando la primera:
{{{
2 Inv[Sigma]·(Z-Mu) == - B'·Lambda
Z-Mu == - 1/2 Sigma·B'·Lambda
B·(Z-Mu) == C-B·Mu == - 1/2 B·Sigma·B'·Lambda
Lambda == -2 Inv[B·Sigma·B']·B·(Z-Mu)
}}}
y sustituyendo de nuevo en la segunda ecuación y despejando {{{Z}}} encontramos:
{{{
Z == Mu - 1/2 Sigma·B'·Lambda == Mu + Sigma·B'·Inv[B·Sigma·B']·B·(Z-Mu)
}}}

=== Nota Matemática ===

Se han hecho uso de algunos resultados de derivación matricial como:
{{{
d[X']/d[X] = I
d[A'·X]/d[X] = d[X'·A]/d[X] = A
d[X'·X]/d[X] = 2 X
d[X'·B·X]/d[X] = (B+B')·X =(si B es simétrica)= 2 B·X
}}}
donde {{{X}}} y {{{A}}} son matrices columna, {{{B}}} es una matriz cuadrada
e {{{I}}} es la matriz identidad.

Para obtener estos resultados puede hacerse la siguiente consideración:
{{{
d[f(X)]/d[X] == d/d[X] · f[X]
}}}
donde la derivada se puede ver como un producto matricial entre un operador
columna de derivadas:
{{{
d/d[X] = (d/dx1, d/dx2, ..., d/dxn)'
}}} 
y la matriz a derivar.

=== Combinación de variables separable ===

En general el problema de encontrar una solución determinista para una combinación de variables aleatorias
no puede resolverse mediante un algoritmo de optimización.

Sin embargo hay un caso particular, que denominaremos combinación separable y que se encuentra a menudo en modelación, que sí puede resolverse.

Sea {{{V}}} un conjunto de {{{n}}} variables aleatorias distribuidas como una normal multivariada:
{{{
V ~ Normal(Mu, Sigma)
}}}
donde {{{Mu (nx1)}}} es el vector de medias y {{{Sigma (nxn)}}} su matriz de covarianza, y sea
{{{
F(V1) = V2
}}}
una restricción separable, donde {{{V1 (n1x1)}}} y {{{V2 (n2x1)}}} son dos subconjuntos complementarios de {{{V (n=n1+n2x1)}}}:
{{{
V' = (V1', V2')
}}}

La condición de encontrar el valor {{{Nu}}} que minimice la distancia:
{{{
distM(Nu, Mu; Sigma) = Sqrt((Mu-Nu)'·Sigma**-1·(Mu-Nu))
}}}
sujeta a las restricciones anteriores puede escribirse como la minimización
de una función de N1 no restringida
{{{
min. (Mu-Nu(Nu1))'·Sigma**-1·(Mu-Nu(Nu1))
}}}
donde
{{{
Nu(Nu1)' = (Nu1', F(Nu1)') 
}}}

=== Combinación lineal de variables aleatorias separable ===

Un caso muy común de combinación separable es aquel en el que la restricción es lineal pudiéndose escribir de la forma:
{{{
V ~ Normal(Mu, Sigma)
A·V1 + B == V2
}}}
donde {{{V'=(V1,V2)'}}} es el conjunto de variables aleatorias separadas en dos subconjuntos {{{V1 (n1x1)}}} y {{{V2 (n2x1)}}} y
{{{A (n1xn1)}}} y {{{B (n1x1)}}} son las matrices de la restricción lineal.
Nótese que el número de variables separadas {{{V2}}} es igual al número de restricciones lineales (dimensiones de las matrices {{{A}}} y {{{B}}}).