Real-time Big Data Platform

Gestión ESB (versión de software descargable)

• Repositorio integrado de artefactos
• Gestión y autorización de identidades

Calidad de big data

• Limpieza, perfilado, enmascaramiento, análisis y correspondencia de datos en Spark y Hadoop
• Machine learning para correspondencia de datos y eliminación duplicados
• Perfilado de archivos HDFS

Componentes

• Componentes Hadoop: HDFS, Hbase, Hive, Pig, Sqoop
• Gestión de archivos: abrir, mover, comprimir y descomprimir sin programar
• Controle y orqueste los flujos e integraciones de datos con tareas maestras
• Mapee, agregue, clasifique, enriquezca y fusione datos
• Compatibilidad estándar: REST, SOAP, OpenID Connect, OAuth, SAML, WSDL, SWAGGER(tm), etc.
• Compatibilidad transportes/protocolos: HTTP, JMS, MQTT, AMQP, UDP, Apache Kafka, WebSphere MQ, etc.
• Enterprise Integration Patterns para mediación de servicios, encaminamiento y mensajería

Conectores

• Cloud: Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform, etc.
• Distribuciones de big data compatibles: Amazon EMR, Azure HDInsight, Cloudera, Google Dataproc, Hortonworks, MapR

Preparación y administración de datos

• Dos licencias gratuitas con cualquier suscripción
• Importe, exporte y combine datos desde cualquier base de datos, archivo Excel o CSV
• Importe, exporte y combine archivos CSV, Parquet y AVRO**
• Exportación a Tableau
• Acceso a conjuntos de datos autorizados en autoservicio y a demanda
• Comparta preparaciones y conjuntos de datos
• Haga efectivas sus preparaciones en cualquier flujo de integración de datos o de big data
• Haga efectivas sus preparaciones en cualquier flujo de integración de datos en cloud
• Descubrimiento automático, normalización, perfiles automáticos, sugerencias inteligentes y visualización de datos
• Personalización de tipos semánticos para perfiles automáticos y normalización
• Muestreo inteligente y selectivo y ejecuciones completas
• Rastreo y enmascaramiento de datos con seguridad por función
• Funciones de limpieza y enriquecimiento
• Data Stewardship App para el procesamiento y certificación de datos
• Defina modelos y semántica de datos y cree perfiles en función de los mismos. Defina y aplique reglas
• Fusione y establezca correspondencias de datos, resuelva errores de datos y arbitre sobre los mismos (clasificación y certificación)
• Orqueste y colabore en actividades durante campañas
• Defina funciones de usuarios, flujos de trabajo y prioridades, asigne y delegue tareas, etiquete y comente
• Incruste gobernanza y administración en los flujos de integración de datos y gestione los rechazos
• Incruste certificación humana y resolución de errores en procesos de MDM
• Tome decisiones sobre correspondencias que no pueden procesarse automáticamente
• Elimine datos duplicados a escala con machine learning
• Auditoría y seguimiento de actividades de resolución de errores de datos. Seguimiento del progreso de las campañas. Deshacer/rehacer en función de las necesidades empresariales

Integración ágil de aplicaciones (versión de software descargable)

• Ruta y datos de arrastrar y soltar y creación de servicios web/REST
• Entrega y encaminamiento de mensajes y eventos con Enterprise Integration Patterns (EIP)

Herramientas de diseño y productividad

• Genera código nativo por lotes en MapReduce y Spark
• Genera código nativo en Spark Streaming
• Mapeo visual para JSON, XML y EDI complejos en Spark
• Diseñador de taras Spark y MapReduce
• Compatibilidad de distribución dinámica
• Programador de tareas Hadoop con YARN
• Seguridad Hadoop para Kerberos
• Ingesta, carga y descarga de datos a un data lake
• Entorno de diseño gráfico
• Colaboración en equipo con repositorio compartido
• Integración continua/Entrega continua
• Mapeo visual para JSON, XML y EDI complejos
• Auditoría, comparación de tareas, análisis de impacto, pruebas, depuración y afinación
• Metadata bridge para la importación/exportación y la gestión centralizada de metadatos
• Ejecución y paralelización a distancia
• Esquema dinámico, joblets reutilizables y proyectos de referencia
• Compatibilidad ETL y ELT
• Asistentes y visor de datos interactivo
• Versionado
• Captura de datos modificados (CDC)
• Documentación automática

Licencia y asistencia

• Licencia por suscripción con garantía e indemnización
• Dos licencias gratuitas de Data Preparation y dos licencias gratuitas de Data Stewardship con cualquier suscripción a Talend
• Disponible como servicio cloud y como software descargable

Gestión y seguimiento

• Alta disponibilidad, equilibrio de cargas, tolerancia a fallos para tareas
• Gestor de despliegues y colaboración en equipo
• Gestione usuarios, grupos, funciones, proyectos y licencias
• Plan de ejecución, programador de tiempos y eventos
• Puntos de control, recuperación de errores
• Gestión de contextos (dev, QA, prod)
• Seguimiento de actividad
• Direcciones IP estáticas*
• Exportación de registros a S3 para tareas*
• Entornos (dos para productos de nivel Entry, ilimitado para los Platform)*

Calidad y gobernanza de datos

• Perfiles y análisis de datos con diagramas y datos pormenorizados
• Automatice la resolución de errores y ejecución de reglas para la calidad de los datos
• Limpieza y enmascaramiento de datos
• Portal de calidad de datos con seguimiento, informes y consolas de control
• Descubrimiento semántico con detección automática de modelos
• Consolidación completa
• Muestreo de datos
• Enriquecimiento, armonización, coincidencias parciales y eliminación de datos duplicados

API Development

• Diseñador de API por contrato
• Simulación automática de API
• Automatización de pruebas de API
• Documentación de API alojadas
• Importación de contratos de API a Talend Studio

Perfiles de datos avanzados

• Detección de patrones fraudulentos usando la Ley de Benford
• Estadística avanzada con umbrales indicadores
• Análisis de conjuntos de columnas
• Análisis avanzados de coincidencias
• Análisis de correlación de columnas temporales