Motor de evaluación de riesgos en tiempo real – Prueba de concepto

Manual de Talend Big Data y Machine Learning

Eche un vistazo a las demás entregas de la serie:

Configuración de Sandbox

Mantenimiento predictivo de IoTMotor de recomendacionesOptimización de almacenes de datos

Introducción

En este ejemplo, un banco por Internet está intentando mitigar su exposición y su riesgo dirigiendo sus ofertas de crédito solo a los clientes considerados de bajo riesgo y con mayor probabilidad de aceptar dichas ofertas. Esta tarea, gracias a las API web y el machine learning, empleará un modelo de árbol de decisiones para determinar, desde el inicio de sesión, si mostrar una oferta de crédito específica o no ofrecer ninguna.

Esquema de evaluación de riesgos en tiempo real de Sandbox


Lo más destacado

Machine Learning

Aproveche la potencia de las capacidades de machine learning de Talend para crear un modelo de árbol de decisiones.

datos en streaming con spark

Tiempo real/Spark Streaming

Utilice Spark para ejecutar sus tareas en streaming con Apache Kafka.

NoSQL/SQL

Utilice distintos modelos de bases de datos: Cassandra, MySQL


Ejecución

Acceda al portal de casos prácticos de evaluación de riesgos en tiempo real desde la página de carga de Sandbox para obtener indicaciones de ejecución rápida y una interfaz web interactiva.

Acceso a la evaluación de riesgos en tiempo real de Sandbox

Abra Talend Studio en el entorno Sandbox. Para este ejemplo trabajaremos en la carpeta RealTimeRiskAssessmentEngine que encontrará en la vista del repositorio. Analizaremos tareas de los diseños de tarea Standard, Big Data Batch y Big Data Streaming. Cuando esté listo para empezar, realice los siguientes pasos:

  1. Navegue hasta la carpeta RealTimeRiskAssessmentEngine en tareas Standard. Ejecute la tarea Step_01_SetupMarketingCampaignsEnv. Esta tarea inicializa el entorno de demostración a partir de la plataforma de big data seleccionada. Concretamente, carga los datos en el HDFS y en una base de datos NoSQL para poder recuperar rápidamente los datos. Entorno de configuración de la evaluación de riesgos de Sandbox
  2. Navegue hasta la carpeta RealTimeRiskAssessmentEngine en tareas Big Data Batch. Ejecute la tarea Step_02_Train_MarketingCampaignData .Esta tarea utiliza un conjunto de datos anterior para entrenar un modelo de árbol de decisiones mediante un componente tDecisionTreeModel de Talend. Modelo de entrenamiento de la evaluación de riesgos de Sandbox
  3. Opcional: Navegue hasta la carpeta RealTimeRiskAssessmentEngine en tareas Big Data Batch. Ejecute la tarea Step_02bis_Test_MarketingCampaignData .Los resultados de esta tarea permiten visualizar la proporción de predicciones acertadas en comparación con los falsos positivos. En terminología de machine learning, a esto se le llama la matriz de confusión o de errores: un compendio de resultados de predicciones sobre un problema de clasificación. Esta tarea sirve como prueba de nuestro modelo de entrenamiento para un conjunto de datos diferenciado. Modelo de pruebas de la evaluación de riesgos de Sandbox
  4. Navegue hasta la carpeta RealTimeRiskAssessmentEngine en tareas Big Data Streaming. Ejecute la tarea Step_03_RealtimeConversionPrediction. Esta tarea logrará predecir, en tiempo real, el anuncio que se le mostrará al usuario.Predicción de la evaluación de riesgos de Sandbox
  5. Navegue hasta la carpeta RealTimeRiskAssessmentEngine en tareas Standard. Ejecute las tareas Step_04_AdService y Step_05_LoginService. Estas tareas proporcionan API web al portal web de evaluación de riesgos en tiempo real y le permite comprobar los resultados.

    Step_04_AdService

    Servicio de anuncios de la evaluación de riesgos de Sandbox

    Step_05_LoginService

    Servicio de inicio de sesión a la evaluación de riesgos de Sandbox

  6. Con los servicios web ejecutándose, navegue a la página del portal de evaluación de riesgos en tiempo real o vuelva a cargarla. Cumplimente el impreso de la página web y observe el resultado del anuncio mostrado. Este ejemplo proporciona una base de datos de unos 1500 usuarios. Inicie sesión con un identificador de 0 a 1547 y observe el resultado. Para la mayoría de usuarios, no se muestra el anuncio. Sin embargo, en algunos casos le indicará que se mostrará un determinado anuncio comercial dirigido al usuario identificado. Por ejemplo, inicie sesión con el ID 569 para ver la indicación del anuncio comercial dirigido. Si inicia sesión dos veces con el mismo identificador de usuario, la decisión resultante se mostrará sin vacilación, porque los anuncios dirigidos se van guardando durante el proceso.


Conclusión

Este ejemplo resalta el uso del machine learning y Spark para proporcionar información y procesamiento de decisiones inmediatos. Hemos decidido realizar campañas comerciales dirigidas a unos clientes en concreto mediante un modelo de árbol de decisiones.

| Last Updated: junio 26th, 2019