Ticket #904: _preEstimation.tol

//////////////////////////////////////////////////////////////////////////////
// FILE    : _preEstimation.tol
// AUTHOR : Luis Miguel Pérez Liberal (lmperez@bayesinf.com)
// PURPOSE : Pre-Estimation diagnosis functions
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Matrix DinamicAutoCor(Serie serie, TimeSet tms, Real times, Real interval)
//////////////////////////////////////////////////////////////////////////////
{
  BinGroup("|",For(1,times,Matrix (Real j)
  {
    Serie s = SubSer(serie,Succ(Last(serie),tms,-interval*j),Last(serie));
    Matrix SubCol(AutoCor(s,times),[[ 2 ]])
  }))
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("It gives the autocorrelation function for different history
momments, for instance:

Matrix DinamicAutoCor(
  GenSerie.Normal(500,\"P1DIF1AR0MA1\"),
  Diario,
  30,
  10
);",
DinamicAutoCor);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Matrix DinamicPartAutoCor(Serie serie, TimeSet tms, Real times, Real interval)
//////////////////////////////////////////////////////////////////////////////
{
  BinGroup("|",For(1,times,Matrix (Real j)
  {
    Serie s = SubSer(serie,Succ(Last(serie),tms,-interval*j),Last(serie));
    Matrix SubCol(PartAutoCor(s,times),[[ 2 ]])
  }))
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("It gives the partial autocorrelation function for different
history momments, for instance:

Matrix DinamicPartAutoCor(
  GenSerie.Normal(500,\"P1DIF1AR0MA1\"),
  Diario,
  30,
  10
);",
DinamicPartAutoCor);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Set GetDistACF(Serie serie, Real seasonality, TimeSet tms, Real times,
  Real interval)
//////////////////////////////////////////////////////////////////////////////
{
  Matrix m1 = DinamicAutoCor(    serie,tms,times,interval);
  Matrix m2 = DinamicPartAutoCor(serie,tms,times,interval);

  Set AR1 = SetHistCon(MatSet(SubRow(m1, [[ 1 ]]))[1],20);
  Set AR2 = SetHistCon(MatSet(SubRow(m1, [[ 2 ]]))[1],20);
  Set MAP = SetHistCon(MatSet(SubRow(m2, [[ seasonality ]]))[1],20);

  Set Eval("Set GetDistACF."+Name(serie)+" = [[ 
    AR1,
    AR2,
    Set Eval(\"Set MA"+IntText(seasonality)+" = MAP;\")
  ]];")
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Calcula las funciones de distribución de las funciones de
autocorrelación simple y parcial dinámicamente en el tiempo.
Es muy útil para detectar outputs con estructura y raíces arima variantes en
el tiempo.",
GetDistACF);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Real Densidad(Serie serie, Date ini, Date fin)
//////////////////////////////////////////////////////////////////////////////
{
  Real datos  = Card(DatesInd(serie));
  Real fechas = Card(Dates(Dating(serie),ini,fin));
  Real datos/fechas
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Devuelve la densidad de una serie entre dos fechas, sin tener
en cuenta a los ceros como datos",
Densidad);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Real Densidad.0(Serie serie, Date ini, Date fin)
//////////////////////////////////////////////////////////////////////////////
{
  Real datos  = Card(DatesIndComplet(serie));
  Real fechas = Card(Dates(Dating(serie),ini,fin));
  Real datos/fechas
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Devuelve la densidad de una serie entre dos fechas, teniendo
en cuenta a los ceros como datos",
Densidad.0);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Set Analisis.Densidad(Serie serie, Date ini, Date fin)
//////////////////////////////////////////////////////////////////////////////
{
  Real densidad   = Densidad(  serie,ini,fin);
  Real densidad.0 = Densidad.0(serie,ini,fin);

  Set Eval("Set _.densidad."+Name(serie)+" = [[ densidad, densidad.0 ]];")
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Analiza las densidades de un set de series",
Analisis.Densidad);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Set Densidad.Dif(Serie serie, Date ini, Date fin, Set diferencias)
//////////////////////////////////////////////////////////////////////////////
{//Set diferencias = For(1,14,Polyn (Real j){ 1-B^j });

  Set EvalSet(diferencias,Real (Polyn p)
  {
    Real If(LE(Card(DatesIndComplet(serie)),Degree(p)),
    {
      Real densDif = Densidad(serie, ini, fin);
      Real Eval("Real densidadDif."+IntText(Degree(p))+" = densDif;")
    },
    {
      Real densDif = Densidad(p:serie, ini, fin);
      Real Eval("Real densidadDif."+IntText(Degree(p))+" = densDif;")
    })
  })
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Devuelve un set con las densidades de las diferencias aplica"+
"das. Ejemplo:

Serie serie = GenSerie.Normal(500,\"P1DIF1AR0MA1\");
Set Analisis.Densidad.Dif(
  serie,
  First(serie),
  Last(serie),
  Set For(1,14,Polyn (Real j){ Polyn 1-B^j })
);",
Densidad.Dif);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Set Analisis.Densidad.Dif(Serie serie, Date ini, Date fin, Set diferencias)
//////////////////////////////////////////////////////////////////////////////
{
  Set densidades = Densidad.Dif(serie, ini, fin, diferencias);
  // Miro si alguna densidad es cero
  Real fix = If(SetProd(densidades),False,True);

  Real con = 0;
  // Si alguna densidad es cero, saco cual es
  Real pol = If(Not(fix),0,
    Real Select(densidades,Real (Real r)
    {
      Real con := con + 1;
      Real If(r,False,con)
    })[1]
  );

  Real min = MinS(serie);
  Real max = MaxS(serie);

  Real m = If(fix,pol,Round(SetAvr(densidades),4));
  Real s = If(fix,?,  Round(SetStDs(densidades),4));
  Real k = If(fix,?,  Round(SetKurtosis(densidades),4));

  Set Eval("Set _.densidad.Dif."+Name(serie)+" = [[ min,max,m,s,k ]];")
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Analiza las densidades de las diferencias aplicadas a un Set
de series y devuelve para cada serie: minimo, máximo, numero de datos, media
de las distintas densidades de direncia, sigma y kurtosis. Si alguna densidad
de diferencia es cero, entonces devuelve como media el orden de la diferencia
que anula a la serie.

Es útil para detectar sevicios fijos y veitar errores de Marquardt en series
planas",
Analisis.Densidad.Dif);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Real Analisis.Nulo(Serie serie, Date ini, Date fin)
//////////////////////////////////////////////////////////////////////////////
{
  Serie serie2 = SubSer(serie,ini,fin);
  Real  count  = Card(DatesIndComplet(serie2));
  Real  sNula  = If(EQ(count,0),True,False);

  Real Eval("Real _.Nulo."+Name(serie)+" = sNula;")
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Analiza las series que son enteras de nulos y devuelve 
verdadero en el caso que lo sean",
Analisis.Nulo);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Set Analisis.Omitidos(Serie serie, Date ini, Date fin)
//////////////////////////////////////////////////////////////////////////////
{
  Serie serie2    = SubSer(serie,ini,fin);
  Real  nDias     = Card(Dates(Dating(serie),ini,fin));
  Real  nDatos    = Card(DatesIndComplet(serie2));
  Real  nOmitidos = nDias - nDatos;

  Date ini2 = Max(First(serie2),Succ(fin,Dating(serie),-7*4));
  // para que dé 1 la densidad de omitidos. Es para evitar el error cuando
  // ambas fechas coinciden
  Real k = If(ini2>=Last(serie2),1,0);

  Serie serie3 = SubSer(serie2,ini2,fin);

  Real nDiasFin     = If(k,1,Card(Dates(Dating(serie),First(serie3),fin)));
  Real nDatosFin    = If(k,0,Card(DatesIndComplet(serie3)));
  Real nOmitidosFin = If(k,1,nDiasFin - nDatosFin);

  Set Eval("Set _.Omitidos."+Name(serie)+" = [[ 
    nOmitidos,
    nDias,
    nOmitidosFin,
    nDiasFin
  ]];")
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Analiza el número de omitidos de un set de series",
Analisis.Omitidos);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
Set Analisis.NivelMed(Serie serie, Date ini, Date fin)
//////////////////////////////////////////////////////////////////////////////
{
  Serie serie2 = SubSer(serie,ini,fin);

  Real venta = SumS(serie2);
  Real cont  = Card(Dates(Dating(serie),ini,fin));
  Real datos = Card(DatesIndComplet(serie2));

  Real medTot = Round(venta/cont,4);
  Real medDat = Round(venta/datos,4);

  Set Eval("Set _.NivelMed."+Name(serie)+" = [[ medDat,medTot ]];")
};
//////////////////////////////////////////////////////////////////////////////
PutDescription("Analiza la venta media de un set de series entre dos fechas.
Devuelve primero la media en su fechado no nulo y segundo la media en el 
total del fechado",
Analisis.NivelMed);
//////////////////////////////////////////////////////////////////////////////


//////////////////////////////////////////////////////////////////////////////
// END
//////////////////////////////////////////////////////////////////////////////