Changes between Version 1 and Version 2 of GLM

Timestamp:

Aug 7, 2014, 10:40:11 AM (10 years ago)

Author:

Pedro Gea

Comment:

--

GLM

@@ -20 +20 @@
 y su inversa:
 {{{
-InvLogit(z) = 1/(1+Exp(-z))
+InvLogit(z) = 1/(1+Exp(-z)) = Exp(z)/(Exp(z)+1)
 }}}
 
 === Verosimilitud y derivadas ===
+
+==== Log-Likelihood ====
+
+El logaritmo de la verosimilitud (''log-likelihood'') es:
+{{{
+LogL = Sum_i( Y_i*Log(P_i) + (1-Y_i)*Log(1-P_i) )
+}}}
+donde el subíndice {{{i}}} hace referencia a la {{{i}}}-ésima observación.
+
+Teniendo en cuenta que la probabilidad de la {{{i}}}-ésima observación viene dada por:
+{{{
+P_i = InvLogit(B'X_i) = 1/(1+Exp(-B'X_i))
+}}}
+podemos escribir:
+{{{
+LogL = Sum_i( Y_i*Log(1/(1+Exp(-B'X_i))) + (1-Y_i)*Log(1-1/(1+Exp(-B'X_i))) ) =
+
+     = - Sum_i( Y_i*Log(1+Exp(-B'X_i)) + (1-Y_i)*Log(1+Exp(B'X_i)) )
+}}}
+
+==== Gradient ====
+
+La primera derivada respecto a la matriz de parámetros ({{{B}}}) es el gradiente del logaritmo de la verosimilitud:
+
+{{{
+Grad = d(LogL(B))/dB = - Sum_i( Y_i*Exp(-B'X)*(-X_i)/(1+Exp(-B'X)) + (1-Y_i)*Exp(B'X)*X_i/(1+Exp(B'X)) )
+
+}}}