Estadísticos curva ROC

[lmperez]

Hola MMS, en la función de botón derecho que calcula los estadísticos de una estimación Probit o Logit (Tabular Estadísticos ROC), ¿Sería posible introducir también el KS?

Otra pregunta, si queremos tabular los estadísticos de la curva ROC de todos los submodelos estimados, ¿hay alguna forma de sacarlos todos en una misma tabla? Es decir, pinchar sobre el objeto estimación por ejemplo y tener la misma función "Tabular Estadísticos ROC" dentro de un EvalSet. No lo he encontrado y no sé si ya existe.

Otra cosa, cuando graficamos la curva ROC, ¿sería posible que la función "Obtener Curva ROC (Interpolada)" devolviese también la diagonal? Normalmente es muy intuitivo compararlas cuando se hace una presentación.

[Pedro Gea]

Hay dos propuestas de mejora:

• Añadir la diagonal al gráfico ROC.

• Devolver el coeficiente K-S (Kolmogorov-Smirnov): máxima diferencia entre el TPR (tasa de verdaderos positivos) y el FPR (tasa de falsos positivos). Es decir, máxima distancia vertical entre la curva ROC y su diagonal.

y una duda:

• ¿Se pueden obtener los estadísticos ROC sobre distintos submodelos en una misma tabla?

La respuesta es sí, basta con desplegar el menú contextual sobre la selección de más de un submodelo probit o logit. Si los submodelos están en estimaciones diferentes se pueden extraer en la consola o llevar al spool para poder hacer la selección múltiple.

[Pedro Gea]

Nota: La curva ROC con diagonal puede obtenerse con la opción de menú contextual "Informes ROC / Otras curvas ROC" en la que se puede elegir qué estadísticos poner en abscisas (eje de las x) y cual o cuales en ordenadas (eje de las y). Bastaría escoger el FPR en primer lugar (las x) y luego el mismo FPR y el TPR para graficar la diagonal y la curva ROC respectivamente.

[Pedro Gea]

El coeficiente KS (como la propia curva ROC) presenta cierta ambigüedad y depende del criterio de ordenación utilizado (véase ​TOL#1668).

A continuación se muestra un mecanismo para obtener el KS a partir de un objeto de la clase @Submodel.Results:

Real ks = MatMax(QltvRespModel::ROC.Report(sR::GetOutput.(?), sR::GetPrediction.(?), 
  [["FPR","TPR"]], 200, "*")*Col(-1,1));

se usan 200 divisiones (o puntos de corte) y el modo promedio.