close Warning: Can't synchronize with repository "(default)" (/var/svn/mms does not appear to be a Subversion repository.). Look in the Trac log for more information.

Opened 13 years ago

Closed 11 years ago

#967 closed enhancement (fixed)

Resultados (estadísticos) resumen de un submodelo

Reported by: atorre Owned by: Pedro Gea
Priority: blocker Milestone: Dev.1 Diagnosis
Component: Results Keywords: reports, estimation, submodel, roc, auc, gini, ks, fit, residuos, schwarz, aic
Cc: prcoco.bbvasp@…

Description

Hola MMS,
sería ideal tener un método que devolviera los principales resultados (estadísticos) de un submodelo (estimado). Dichos resultados pueden variar en función del tipo de modelo. Sirva este ticket para generar un listado inicial que se podrá ir completando posteriormente.

Hay algunos que aplican a todos los modelos:
.- estadísticos del output y del output estimado por el submodelo: media, desviación típica, mínimo, máximo, etc. A partir de éstos, se puede mostrar el fit.
.- estadísticos de los residuos: media, desviación típica, máximo.
.- Schwarz, AIC... revisar #421.
.- MAPE

Para los tipos de modelo Logit, Probit, se suelen utilizar los AUC ROC, Gini, KS... revisar #347 y #702.

Adicionalmente (I), se solicita que exista un método de las estimaciones que extraigan esta información para todos sus submodelos.

Adicionalmente (II), se solicita que existan opciones de botón derecho desde el interfaz que permitan mostrar estos resultados fácilmente.

Adicionalmente (III), se sugiere que para la implementación de dichos métodos se tenga en cuenta que se podría pedir dichos resultados para toda la muestra del submodelo o para una submuestra del mismo. Esto es, en un submodelo de tipo ARIMA se podría requerir los resultados del submodelo en una indicadora del fechado. Por ejemplo, si es un modelo en fechado Diario, se podría solicitar calcular los resultados en los Lunes

CalInd(WD(1), Diario)

o cuando el output es mayor que v1 o cuando la variable x está entre v2 y v3.

Attachments (1)

roc.tol (4.0 KB) - added by Pedro Gea 13 years ago.

Download all attachments as: .zip

Change History (12)

comment:1 Changed 13 years ago by atorre

Subo una nueva versión del cálculo de ROC: roc.tol

comment:2 Changed 13 years ago by atorre

Falta, al menos, esta función:

Matrix TruncDecimal_M(Matrix r, Real numDec)
{
  Real aux = 10^numDec;
  RProd(Floor(RProd(r, aux)), 1/aux)
};

comment:3 Changed 13 years ago by Pedro Gea

(In [3213]) Refs #999, #967
Se incoporan mecanismos para la obtención de los residuos estarizados relacionados con los priors del modelo. (#999)
Se incorpora asimismo un primer método para obtener estadísticos sencillos de los resultados. (#967)

comment:4 Changed 13 years ago by Pedro Gea

(In [3221]) Refs #967
Se crea un nuevo conjunto de funciones DAt* para la obtención de estadísticos de datos (series, matrices, ...) tratados por referencia (estructuras @Serie, @Matrix, ...).
Se integran estos métodos en la obtención de los estadísticos básicos de los resultados.
Se crea una opción de menú contextual en los resultados del submodelo.

comment:5 Changed 13 years ago by Pedro Gea

Status: newaccepted

Los estadísticos básicos para los resultados implementados en el menú contextual se obtienen de la combinación de un resultado de la lista:

  • Output ( = Noise+Filter )
  • Noise
  • Filter ( = Sum(ExpTerms) )
  • AdditiveFilter ( = Sum(AdditiveExpTerms) )
  • Residuals ( = (MA/ARI):Residuals )
  • Prediction ( = Output-Residuals)
  • Observations ( = InvT(Output)+AdditiveFilter )
  • FilteredObservations ( = InvT(Output) )
  • ObsPrediction ( = InvT(Prediction)+AdditiveFilter )

y un estadístico de los siguientes:

  • Size ( = Tamaño de datos (no omitidos) )
  • Sum
  • Maximum
  • Minimum
  • Mean
  • Sigma (StandardDeviation)
  • Variance
  • Asymmetry
  • Kurtosis
  • Percentile_05 ( = Quantile_0.05 )
  • Quartile_1 ( = Quantile_0.25 )
  • Median ( = Quantile_0.50 )
  • Quartile_3 ( = Quantile_0.75 )
  • Percentile_95 ( = Quantile_0.95 )

comment:6 Changed 13 years ago by Pedro Gea

(In [3223]) Refs #967, #1012
Se incorporan los mecanismos para obtener parcialmente los resultados de estimación y sus estadísticos. (#967)
Se renombran los menús contextuales que ofrecían los resultados y las previsiones: (#1012)

  • (@Submodel.Results en estimaciones) de "Mostrar resultados" a "Resultados"
  • (@Submodel.Forecast en previsiones) de "Mostrar resultados" a "Resultados (de estimación)"
  • (@Submodel.Forecast en previsiones) de "Mostrar previsión (media)" a "Previsiones (media)"
  • (@Submodel.Forecast en previsiones) de "Mostrar previsión (bandas)" a "Previsiones (bandas)"

Se mejora el método de obtención de previsiones medias para que pueda obtener la de los términos explicativos cuando sólo se selecciona un submodelo tal y como ocurre con los resultados de estimación.


Changed 13 years ago by Pedro Gea

Attachment: roc.tol added

comment:7 Changed 13 years ago by Pedro Gea

(In [3247]) Refs #967
Se añade acceso a resultados ROC para los submodelos de tipo Probit y Logit.

comment:8 Changed 13 years ago by atorre

Hola MMS,
¿podrías poner un ejemplo con código TOL de cómo se obtienen los estadísticos de un submodelo?

Qué hay de las otras peticiones: Schwarz, AIC, MAPE...?

Y de las "Adicionales"?

comment:9 Changed 12 years ago by Pedro Gea

(In [3320]) Refs #567, #967, #1075, #602
Se añade un nuevo archivo con los cálculos de estadísticos del modelo.

comment:10 Changed 12 years ago by Pedro Gea

(In [3771]) Refs #352, #421, #967, #1075
Se facilita así mismo la obtención del número de parámetros de un submodelo, del criterio de información de Akaike (AIC) y del criterio de información bayesiano o de Schwarz (BIC).

comment:11 Changed 11 years ago by Pedro Gea

Resolution: fixed
Status: acceptedclosed
Note: See TracTickets for help on using tickets.