Changes between Initial Version and Version 1 of IntroModels

Timestamp:

Sep 15, 2010, 9:32:22 AM (14 years ago)

Author:

Pedro Gea

Comment:

--

IntroModels

@@ +1 @@
+= Modelos =
+
+A continuación presentamos una introducción a los conceptos implementados en MMS en torno al módulo de modelos. El documento no pretende ser exhaustivo ni en el desarrollo de los conceptos matemáticos utilizados (véase la documentación técnica correspondiente), ni en la descripción de su implementación en MMS, sino que pretende de la manera más sencilla posible introducir al usuario en los principales conceptos utilizados en MMS que le permitan tener una visión global de cómo está estructurado el módulo de modelos.
+
+== El modelo ==
+
+Los modelos que sirven como punto de partida en el desarrollo de MMS son los modelos lineales o de regresión ampliados con ciertas no-linealidades para tratar problemas más complejos. Estos modelos extendidos admiten entre otras características, una transformación previa del output, términos explicativos que proceden de un filtro no lineal, estructura de covarianzas en el ruido e incluso nuevas regresiones sobre sus parámetros.
+
+El concepto de modelo implementado en MMS hace referencia al modelo jerárquico formado por uno o varios modelos lineales sobre las observaciones junto a algún modelo lineal sobre sus parámetros.
+
+Cada uno de los modelos de observaciones que forman parte del modelo jerárquico es conocido como submodelo, mientras que los modelos de parámetros se denominan jerarquías en alusión a la jerarquía de parámetros a la que dan lugar.
+
+ * Modelo
+  * Submodelos
+  * Jerarquías
+ 
+== El submodelo ==
+
+El concepto de submodelo en MMS corresponde con el concepto más común de modelo y se refiere a cada uno de los modelos de observaciones que forman parte de una entidad mayor formada por varios submodelos que es el modelo (el modelo jerárquico).
+
+El submodelo o modelo de observaciones (para distinguirlo del modelo jerárquico o de los modelos de parámetros o jerarquías) es esencialmente un modelo lineal formado por una variable explicada o output, descrita como una suma de términos explicativos más un ruido, error o término no explicado.
+
+ * Submodelo
+  * Output
+  * Términos explicativos
+  * Ruido
+ 
+De manera general podríamos expresar la ecuación de un submodelo como:
+{{{
+//#!latex
+Y=\sum_{i}{\beta_i X_i} +N
+}}}
+
+{{{
+Y = Sum_i(β_i X_i) + N
+}}}
+donde {{{Y}}} es el output, {{{E_i = β_i X_i}}} son los términos explicativos y {{{N}}} es el ruido.
+
+=== El output ===
+
+El output del modelo es la variable explicada u observaciones que se está modelando.
+
+No todas las variables pueden ser descritas con un modelo aditivo, pero en ocasiones basta una transformación de las observaciones para encontrar un output adecuado. Por ello en MMS las variables de los modelos admiten una transformación que permita describirlas mediante un modelo lineal.
+
+Con la aparición de la transformación aparece una cierta ambigüedad en el concepto de output, ya que hay dos variables, la variable original sin transformar y la variable transformada.  En MMS adoptamos el criterio de llamar observaciones a la primera y output a la segunda, de modo que el output continua siendo el término explicado (situado a la izquierda de la ecuación):
+{{{
+Y = T(V)
+}}}
+donde {{{Y}}} continua siendo el output, {{{T}}} es la transformación y {{{V}}} son las observaciones.
+
+=== Los términos explicativos ===
+
+El output en un modelo lineal es explicado como una suma de términos que denominamos términos explicativos. Los términos explicativos tienen la forma de un producto de un coeficiente, el parámetro, por una variable comúnmente denominada variable explicativa o input. El término explicativo se puede expresar como:
+{{{
+E_i = β_i X_i
+}}}
+donde {{{E_i}}} es el término explicativo {{{i}}}-ésimo, {{{β_i}}} su parámetro y {{{X_i}}} su input.
+
+Los términos explicativos se pueden generalizar y así introducir relaciones no lineales como una función de varias variables explicativas y varios parámetros, que en general podemos denominar no-lineales:
+{{{
+E_i = β_i f_i(U_j; δ_k)
+}}}
+donde {{{U_j}}} representa al conjunto de variables explicativas o inputs y {{{δ_k}}} al conjunto de parámetros no-lineales. Al factor {{{f_i(U_j; δ_k)}}} que sustituye al input {{{X_i}}} lo denominamos filtro del término explicativo.
+
+=== El ruido ===
+
+En un modelo lineal el término que recoge la parte no explicada del output se conoce como error, ruido o perturbación. Comúnmente este término admite las hipótesis de normalidad con media cero, varianza constante e independencia de las perturbaciones:
+{{{
+E[N_i] = 0
+Var(N_i) = σ^2
+E[N_i N_(j≠i)] = 0
+}}}
+es decir:
+{{{
+N ~ Normal(0, σ^2 I)
+}}}
+
+Los modelos lineales descritos se pueden extender si consideramos que el ruido tiene la estructura de un proceso ARIMA:
+{{{
+N ~ ARIMA(R; ϕ_i, θ_j)
+}}}
+donde {{{ϕ_i}}} y {{{θ_j}}} son los parámetros de ruido ARIMA y {{{R}}} sus residuos que ahora representan a las perturbaciones que admiten la hipótesis de normalidad anterior:
+{{{
+R ~ Normal(0, σ^2 I)
+}}}
+
+== La jerarquía ==
+
+Un modelo jerárquico se caracteriza por la posibilidad de expresar nuevas relaciones lineales entre sus parámetros, de modo que un parámetro o un conjunto de parámetro pueda describirse como una regresión con nuevos parámetros, conocidos como hiperparámetros.
+
+En MMS, estos nuevos modelos lineales sobre los parámetros de los submodelos se conocen como modelos de parámetros o jerarquías. De manera análoga a los submodelos una jerarquía está formada por un conjunto de parámetros explicados -el output-, un conjunto de términos explicativos y un ruido o parte no explicada.
+
+ * Jerarquía
+  * Parámetros explicados
+  * Términos de la jerarquía
+  * Ruido
+ 
+Una jerarquía puede expresarse en forma de ecuación como:
+{{{
+ζ = Sum_i(γ_i Z_i) + N
+}}}
+donde {{{ζ}}} representa al conjunto de parámetros explicados o output de la jerarquía, {{{H_i = γ_i Z_i}}} a cada uno de los términos explicativos de la jerarquía y {{{N}}} al ruido.
+
+=== Output de la jerarquía ===
+
+El output de la jerarquía es el conjunto o la selección de parámetros que va a expresarse como una regresión de los nuevos parámetros:
+{{{
+ζ = {β_h}
+}}}
+
+Este conjunto de parámetros {{{ {β_h} }}} no está limitado a los parámetros de los submodelos sino que puede estar formado por cualquier parámetro de un submodelo o de una jerarquía ya definida.
+
+Aún más, el output de una jerarquía puede estar formado por combinaciones lineales de parámetros, de modo que un elemento del output puede ser (i) un parámetro de un submodelo, (ii) un parámetro de una jerarquía o (iii) una combinación lineal de parámetros. 
+
+De manera general podemos expresar cada elemento del output como:
+{{{
+ζ_h = Sum_(i∈C_h)(α_(h,i) β_i)
+}}}
+donde {{{ζ_h}}} es el elemento {{{h}}}-ésimo del output y {{{α_(h,i)}}} son los coeficientes de la combinación lineal {{{C_h}}} de parámetros {{{β_i}}}.
+
+=== Términos de la jerarquía ===
+
+El output de la jerarquía, como en otro modelo lineal, es explicado como una suma de términos que aquí denominamos términos de la jerarquía. Éstos tienen la forma de un producto de un coeficiente, el hiperparámetro, por un conjunto de coeficientes que hacen las veces de inputs de la jerarquía y que dan significado a los hiperparámetros. El término de una jerarquía se puede expresar como:
+{{{
+H_i = γ_i Z_i
+}}}
+donde {{{H_i}}} es el término {{{i}}}-ésimo, {{{γ_i}}} su hiperparámetro y {{{Z_i}}} el “hiperinput” que expresa las posibles relaciones lineales entre los parámetros explicados en la jerarquía.
+
+=== Ruido ===
+
+El término de ruido o perturbaciones de una jerarquía es similar al de un submodelo y comúnmente admite las hipótesis de normalidad con media cero, varianza constante e independencia:
+{{{
+N ~ Normal(0, σ^2 I)
+}}}
+Este término puede extenderse eliminando la hipótesis de varianza constante e independencia entre las perturbaciones e introduciendo en general una matriz de covarianza de forma que:
+{{{
+N ~ Normal(0, Σ)
+}}}
+donde {{{Σ}}} es la matriz de covarianza.
+
+== Información a priori ==
+
+El modelo en MMS dispone de la posibilidad de añadir información a priori sobre los parámetros o sobre combinaciones lineales de ellos. 
+Esta información a priori puede ser de dos tipos: una distribución de probabilidad normal a priori y una restricción de dominio. Éstas pueden expresarse como:
+{{{
+ζ_h^((0)) ~ Normal(μ_h, σ_h^2)
+ζ_(h,min) < ζ_h < ζ_(h,max)
+}}}
+donde {{{ζ_h}}} es un parámetro o combinación de parámetros cualquiera del modelo, {{{μ_h}}} y {{{σ_h^2}}} son los parámetros de su distribución normal a priori, y {{{ζ_(h,min)}}} y  {{{ζ_(h,max)}}} los extremos de su intervalo de dominio.
+
+