Procesamiento por lotes o en flujo: ¿Cuál escoger y en qué momento?

Procesamiento por lotes o en flujo: ¿Cuál escoger y en qué momento?

  • Nick Piette
    Nick Piette joined Talend in 2017 as the Director of Evangelism. In this role, Nick is responsible for providing thought leadership, brand awareness and community outreach. Prior to Talend, Nick held roles in customer support, technical presales and product management at a leading integration company.

Es de todos conocido que los datos de empresa requieren cambios constantemente y últimamente esos cambios están acelerándose. De repente, las empresas que en su día procesaban todos sus big data localmente se han pasado a cloud. Los frameworks que conocíamos y tanto nos gustaban se han vuelto obsoletos de la noche a la mañana. No obstante, persiste un debate interesante, que es cómo procesar los datos más rápidamente. Se suele hablar de dos formas de procesar datos hoy en día:

  • Procesamiento por lotes
  • Procesamiento en flujo

El procesamiento por lotes se aplica a los datos no continuos. Es fantástico para manejar conjuntos de datos rápidamente, pero no cumple ni de lejos los requisitos en tiempo real de la mayoría de empresas actuales. El procesamiento en flujo sí se aplica a los datos continuos y es realmente la solución perfecta para transformar los big data en datos rápidos.

Cada enfoque tiene sus pros y sus contras. Al fin y al cabo, elegir entre lotes o flujos dependerá del caso concreto de cada empresa. Sin embargo, hay una serie de preguntas y contextos de uso que debemos tener en cuenta al elegir nuestro enfoque de procesamiento de datos. En nuestro último episodio de Craft Beer and Data, Mark Balkenende y yo nos adentramos en el debate sobre el procesamiento por lotes o en flujo.

Respondimos algunas preguntas interesantes, como “¿Alguna vez los datos son realmente en tiempo real?” También hablamos sobre si la arquitectura Lambda había pasado realmente a mejor vida, y analizamos algunas cuestiones que es necesario plantearse para optar entre procesar por lotes o en flujo.

Antes de saltar al vídeo (pequeña cuña publicitaria), ¡nos llevamos a Craft Beer and Data de viaje! Eche un vistazo a nuestra página de actividades y acompáñenos cuando organicemos alguna cerca de donde vive. También nos encantaría saber qué opina sobre el debate sobre el procesamiento por lotes o en flujo. Envíeme su opinión por Twitter a @Nick_Piette.

Join The Conversation

0 Comments

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *