A pesar de los innegables beneficios derivados de su mayor capacidad de predicción, los modelos basados en técnicas Machine Learning (aprende de los datos que maneja) «encuentran algunas barreras de entrada en los entornos regulados, como son las áreas de concesión de créditos en entidades financieras, principalmente por la sensación de ‘caja negra’ que envuelve a esta tecnología», constatan en la consultora AIS Group.

Para resolver esa desconfianza y simplificar su utilización, la consultora ha lanzado AIS Master, una herramienta que facilita la trazabilidad de los modelos Machine Learning. En realidad, AIS Master nació como una herramienta interna para el uso de los consultores de la firma, pero «su practicidad, su agilidad y sus logros en cuanto a productividad llevaron a la compañía a evolucionarla para poder llevar sus resultados y ventajas a las entidades financieras», señala José Manuel Aguirre, director comercial de AIS Group.

Ayuda a comprender los datos (análisis exploratorio) y el modelo construido a partir de esos datos, y facilita el seguimiento y análisis del comportamiento de éste, favoreciendo el uso de las metodologías Machine Learning. «Algo muy deseable, porque su utilización ofrece unos resultados de mayor calidad que los modelos convencionales, algo especialmente relevante cuando son parte de la decisión o estrategia de un área o entidad», subrayan en Ais

Comprender los datos

Un modelo Machine Learning aprende de los datos que maneja. Si la información no es coherente, el modelo extraerá conclusiones incorrectas, «algo inaceptable cuando sus resultados afectan a decisiones como la concesión de créditos», subrayan en la consultora. AIS Master facilita este análisis exploratorio de los datos. Y también genera automáticamente la documentación del análisis de las variables, llegando a reducir radicalmente el tiempo empleado de 3 semanas a 1 hora en modelos de 1.000 variables.

Una vez construido el modelo, AIS Master permite saber qué impacto tiene cada variable en el resultado final y cuál es su tendencia. Esto es imprescindible para discernir los criterios detrás de la decisión y es especialmente relevante en los modelos que están sujetos a la supervisión, ya que el Banco de España exige que esto esté documentado.

AIS Master ayuda a comprender el modelo, saber qué variables intervienen y qué peso tiene cada una. Una funcionalidad fruto del trabajo del I+D de AIS, resultado de combinar su experiencia en modelos de Machine Learning por un lado y en gestión de riesgos por otro y de conocer las exigencias del regulador al analizar un modelo.

Comportamiento del modelo

AIS Master ayuda a controlar el proceso de aprendizaje automático de los modelos Machine Learning. Periódicamente y a medida que se va nutriendo de más datos, genera nuevos modelos que compara con el modelo en producción de la entidad.

La herramienta dispone de alertas de autoaprendizaje que, a la vista de los resultados comparativos, puede recomendar la sustitución del modelo en producción por otro candidato. Según los expertos de AIS, en el ámbito de la gestión de Riesgos es recomendable realizar este análisis de comportamiento y actualización cada 6 meses, al tratarse de un área donde la estabilidad del modelo es muy relevante. En cambio, en áreas como la valoración automática de inmuebles, donde el entorno es mucho más cambiante, para obtener resultados óptimos, es conveniente ajustarlo más a menudo.

“AIS Master aporta agilidad a la hora de comprender y realizar el seguimiento de los modelos machine learning y de analizar su comportamiento. La herramienta no funciona sola y está dirigida a  los equipo de expertos que desarrollan y analizan los modelos. No sustituye a las áreas de desarrollo de modelos, pero ayuda a reducir los tiempos, a entender los datos, a saber cómo se construye el modelo machine learning y cómo se comporta», explica José Manuel Aguirre.

«En este sentido es una herramienta totalmente alineada con las últimas recomendaciones del Banco de España en su publicación ‘Inteligencia artificial en los servicios financieros‘, donde aconseja a las entidades servirse de ésta para mitigar sus riesgos, evitando caer en sesgos y haciendo lo posible por tratar de comprender el razonamiento de los algoritmos para llegar a una conclusión concreta.”

AIS Master incluye un potente entorno gráfico que facilita enormemente la comprensión de la operativa y la explicación del funcionamiento del modelo. “Muestra los pasos que sigue el modelo para tomar las decisiones,  eliminando la sensación de “caja negra”, que es el gran hándicap para la adopción de los modelos Machine Learning”, resalta Aguirre.

AIS Master no es una herramienta exclusiva para modelos Machine Learning. Puede trabajar también con modelos construidos con otras técnicas.