Real-time Big Data Platform

Calidad de big data

• Limpieza, perfilado, enmascaramiento, análisis y correspondencia de datos en Spark y Hadoop
• Machine learning para correspondencia de datos y eliminación de duplicados
• Compatibilidad con Cloudera Navigator y Apache Atlas
• Perfilado de archivos HDFS

Calidad y gobernanza de datos

• Perfiles y análisis de datos con diagramas y datos pormenorizados
• Automatice la resolución de errores y ejecución de reglas para la calidad de los datos
• Limpieza y enmascaramiento de datos
• Portal de calidad de datos con seguimiento, informes y consolas de control
• Descubrimiento semántico con detección automática de modelos
• Consolidación completa (solamente Hybrid y Elastic)
• Muestreo de datos
• Enriquecimiento, armonización, coincidencias parciales y eliminación de duplicados

Componentes

• Componentes Hadoop: HDFS, Hbase, Hive, Pig, Sqoop
• Gestión de archivos: abrir, mover, comprimir y descomprimir sin programar
• Controle y orqueste los flujos e integraciones de datos con tareas maestras
• Mapee, agregue, clasifique, enriquezca y fusione datos
• Compatibilidad estándar: REST, SOAP, OpenID Connect, OAuth, SAML, STS, WSDL, SWAGGER, etc.
• Compatibilidad transportes/protocolos: HTTP, JMS, MQTT, AMQP, UDP, Apache Kafka, WebSphere MQ, etc.
• Enterprise Integration Patterns para mediación de servicios, encaminamiento y mensajería

Conectores

• Nube: Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform, etc.
• Distribuciones de big data compatibles: Amazon EMR, Azure HDInsight, Cloudera, Google Dataproc, Hortonworks, MapR
• Spark MLlib (clasificación, agrupación en clústeres, recomendación, regresión)
• NoSQL: Cassandra, Couchbase, DynamoDB, MongoDB, Neo4j, etc.
• Componentes de mensajería de alta velocidad (Kafka, Kinesis, Flume)
• RDBMS: Oracle, Teradata, Microsoft SQL Server, etc.
• SaaS: Marketo, Salesforce, NetSuite, etc.
• Paquetes de aplicaciones: SAP, Microsoft Dynamics, Sugar CRM, etc.
• Tecnologías: Dropbox, Box, SMTP, FTP/SFTP, LDAP, etc.
• Servicios opcionales de validación de direcciones de terceros

Gestión ESB (versión de software descargable)

• Seguimiento JMX, Service Activity Monitoring
• Seguimiento del sistema
• Visibilidad con estadísticas en directo de la actividad del flujo de mensajes
• Repositorio integrado de artefactos
• Servicio de registro de eventos centralizado, servicio de aprovisionamiento
• Complementos HypericHQ
• Job conductor
• Gestión y autorización de identidades
• Gran disponibilidad para servicios web

Gestión y seguimiento

• Alta disponibilidad, equilibrio de cargas, tolerancia a fallos para tareas
• Gestor de despliegues y colaboración en equipo
• Gestione usuarios, grupos, funciones, proyectos y licencias
• Control del ciclo de vida Amazon EC2
• Plan de ejecución, programador de tiempos y eventos
• Puntos de control, recuperación de errores
• Gestión de contextos (dev, QA, prod)
• Seguimiento de actividad
• Servidor de registro y consola de control

Herramientas de diseño y productividad

• Genera código nativo en Spark Streaming
• Mapeo visual para XML y EDI complejos en Spark
• Diseñador de taras Spark y MapReduce
• Genera código nativo por lotes en MapReduce y Spark
• Programador de tareas Hadoop con YARN
• Seguridad Hadoop para Kerberos
• Ingesta, carga y descarga de datos a un data lake
• Mensajería corporativa (JMS, ActiveMQ, AMQP)
• Diseñador de herramientas y tareas para desarrolladores basado en Eclipse
• Colaboración en equipo con repositorio compartido
• Integración continua/Entrega continua
• Auditoría, comparación de tareas, análisis de impacto, pruebas, depuración y afinación
• Metadata bridge para la importación/exportación y la gestión centralizada de metadatos
• Ejecución y paralelización a distancia
• Esquema dinámico, joblets reutilizables y proyectos de referencia
• Gestor de repositorio
• Compatibilidad ETL y ELT
• Asistentes y visor de datos interactivo
• Versioning
• Captura de datos modificados (CDC)
• Sistema de gestión de reglas profesionales (Drools)
• Documentación automática

Integración ágil de aplicaciones (versión de software descargable)

• Ruta y datos de arrastrar y soltar y creación de servicios web/REST
• Seguridad de servicios web con WS-Policy
• Entrega y encaminamiento de mensajes y eventos con Enterprise Integration Patterns (EIP)
• Localizador y registro de servicios
• Creación, mediación y simulación de servicios
• Pruebas de servicios web funcionales, de carga y de seguridad
• Línea de comandos y herramientas de secuencias
• Especificación XML para la gestión de claves (XKMS)

Licencia y asistencia

• Licencia por suscripción con garantía e indemnización

Paquete y despliegue de ESB (versión de software descargable)

• Despliegue de ESB y flexibilidad de contenedores
• Paquete OSGI desplegado en Talend Runtime
• Paquete Spring Boot desplegado como microservicio

Perfiles de datos avanzados

• Detección de patrones fraudulentos usando la Ley de Benford
• Análisis de conjuntos de columnas
• Análisis avanzado de coincidencias
• Análisis de correlación de columnas temporales

Preparación y administración de datos

• Importe, exporte y combine datos desde cualquier archivo Excel o CSV
• Exportación a Tableau
• Acceso a conjuntos de datos autorizados en autoservicio y a demanda
• Comparta preparaciones y conjuntos de datos
• Haga efectivas sus preparaciones en cualquier flujo de integración de big data y en la nube
• Ejecute preparaciones en Apache Beam (versión de software descargable)
• Descubrimiento automático, normalización y perfiles automáticos de tipos semánticos personalizados
• Muestreo inteligente y selectivo y ejecuciones completas
• Rastreo y enmascaramiento de datos con seguridad por función
• Funciones de limpieza y enriquecimiento
• Data Stewardship App para el procesamiento y certificación de datos