Changes between Initial Version and Version 1 of Combinations/LinearNormalSolution

Timestamp:

Sep 14, 2010, 10:39:42 AM (14 years ago)

Author:

Pedro Gea

Comment:

--

Combinations/LinearNormalSolution

@@ +1 @@
+
+= Combinación de variables aleatorias =
+
+== Combinación lineal de variables aleatorias normales ==
+
+A continuación deducimos la solución a la combinación lineal de variables aleatorias normales.
+
+Sea {{{V}}} un conjunto de {{{n}}} variables aleatorias distribuidas como una normal multivariada:
+{{{
+V ~ Normal(Mu, Sigma)
+}}}
+donde {{{Mu (nx1)}}} es el vector de medias y {{{Sigma (nxn)}}} su matriz de covarianza, y 
+{{{
+B · V = C
+}}}
+un sistema de {{{m}}} restricciones lineales sobre las variables, donde {{{B (mxn)}}} es la
+matriz del sistema lineal y {{{C (mx1)}}} es su término constante.
+
+El objetivo es encontrar la solución {{{Z}}} que minimiza la distancia de Mahalanobis al vector
+de medias:
+{{{
+min. distM(Z, Mu; Sigma) = Sqrt[(Z-Mu)'·Inv[Sigma]·(Z-Mu)]
+}}}
+
+Solucionamos el problema mediante el método de los [http://es.wikipedia.org/wiki/Multiplicadores_de_Lagrange multiplicadores de Lagrange]:
+{{{
+min. L(Z, Lambda) = (Z-Mu)'·Sigma**-1·(Z-Mu) - Lambda·(B·Z-C) 
+}}}
+donde {{{L(Z, Lambda)}}} es la función de Lagrange y {{{Lambda (mx1)}}} el vector de multiplicadores de Lagrange.
+
+Derivando respecto a {{{Z}}} y {{{Lambda}}} obtenemos:
+{{{
+d[L(Z,Lambda]/d[Lambda] = B·Z - C = 0
+}}}
+que es la restricción lineal sobre las variables y 
+{{{
+d[L(Z,Lambda]/d[Z] = 2 Inv[Sigma]·(Z-Mu) + B'·Lambda = 0
+}}}
+
+Si despejamos {{{Lambda}}} de la segunda ecuación usando la primera:
+{{{
+2 Inv[Sigma]·(Z-Mu) = - B'·Lambda
+Z-Mu = - 1/2 Sigma·B'·Lambda
+B·(Z-Mu) = C-B·Mu = - 1/2 B·Sigma·B'·Lambda
+Lambda = -2 Inv[B·Sigma·B']·(C-B·Mu)
+}}}
+y sustituyendo de nuevo en la segunda ecuación y despejando {{{Z}}} encontramos:
+{{{
+Z = Mu - 1/2 Sigma·B'·Lambda = Mu + Sigma·B'·Inv[B·Sigma·B']·(C-B·Mu)
+}}}
+
+== Nota Matemática ==
+
+Se han hecho uso de algunos resultados de derivación matricial como:
+{{{
+d[X']/d[X] = I
+d[A'·X]/d[X] = d[X'·A]/d[X] = A
+d[X'·X]/d[X] = 2 X
+d[X'·B·X]/d[X] = (B+B')·X =(si B es simétrica)= 2 B·X
+}}}
+donde {{{X}}} y {{{A}}} son matrices columna, {{{B}}} es una matriz cuadrada
+e {{{I}}} es la matriz identidad.
+
+Para obtener estos resultados puede hacerse la siguiente consideración:
+{{{
+d[f(X)]/d[X] = d/d[X] · f[X]
+}}}
+donde la derivada se puede ver como un producto matricial entre un operador
+columna de derivadas:
+{{{
+d/d[X] = (d/dx1, d/dx2, ..., d/dxn)'
+}}} 
+y la matriz a derivar.