Canalización de datos con Apache Kafka: 36% aumento de la precisión en la toma de decisiones

Mediante el flujo de datos de Apache Kafka, Innowise proporcionó una canalización de datos fluida para la toma de decisiones y el análisis informados.

Cliente

Industria

Automoción, Fabricación

Región

Cliente desde

2023

Nuestro cliente es una multinacional especializada en la fabricación de una amplia gama de vehículos de pasajeros y comerciales, motocicletas, motores y turbomaquinaria.

La información detallada sobre el cliente no puede divulgarse en virtud de las disposiciones del acuerdo de confidencialidad.

Desafío

Ineficacia operativa y falta de conocimiento de los flujos de trabajo empresariales

El fabricante de automóviles, una entidad global con sucursales y centros de distribución en todos los continentes, se enfrentaba a una importante gestión de datos dilema. Varias unidades de la empresa funcionaban de forma independiente, lo que generaba ineficacia y falta de conocimiento de las operaciones, las ventas, la gestión de proyectos y otros aspectos.

La multiplicidad de fuentes de datos daba lugar a la duplicación de esfuerzos, a la inconsistencia en la calidad de los datos y a una importante fuga de recursos, ya que los equipos de distintas ubicaciones se esforzaban por conciliar la información. Esta fragmentación obstaculizaba la capacidad del fabricante para tomar decisiones estratégicas con conocimiento de causa de forma rápida y eficaz.

Además, el cliente tenía dificultades para acceder a los datos en tiempo real necesarios para la toma de decisiones estratégicas. Los retrasos en el procesamiento y el intercambio de datos hacían que se perdieran oportunidades y se respondiera tarde a las demandas del mercado, ya que las tendencias del mercado y las preferencias de los consumidores evolucionan con rapidez.

El cliente buscaba una solución integral para unificar fuentes de datos dispares en un sistema cohesionado y garantizar la escalabilidad para adaptarse a futuras ampliaciones de la empresa.

Solución

Canalización de datos Apache para integrar fuentes de datos dispares en un único sistema cohesionado.

Innowise ofreció un enfoque transformador centrado en la integración de Apache Kafka para abordar los retos del cliente. En pocas palabras, convertimos los flujos de información existentes del cliente en flujos de datos Kafka para garantizar un flujo de datos ininterrumpido, análisis en tiempo real y visualizaciones completas.

Conector Kafka para fuente de datos codebeamer

Nuestra tarea inicial fue crear una arquitectura para descargar información de fuentes de datos y transmitirla a Apache Kafka. En primer lugar, construimos un conector para Codebeamer, una plataforma integral de gestión de proyectos que el cliente utilizaba para el desarrollo de software y la colaboración. Elegimos Apache Kafka por su excepcional capacidad para gestionar flujos de datos a gran escala, de alto rendimiento y en tiempo real de forma tolerante a fallos, escalable y distribuida.

Inicialmente, los especialistas de Innowise analizaron exhaustivamente la documentación de la API de Codebeamer para identificar los métodos más eficientes para extraer datos del proyecto, incluyendo elementos de trabajo, conjuntos de cambios y actividades del usuario. También examinamos el mecanismo de autenticación, los límites de solicitud de datos y los formatos de retorno de la API.

Basándonos en el análisis de la API, diseñamos la arquitectura del conector centrándonos en la modularidad, la escalabilidad y la tolerancia a fallos. Nuestros ingenieros de software utilizaron Java para codificar el conector, que se encargaba de enlazar con la API de Codebeamer, obtener datos y escribirlos en un tema de Kafka. Implementamos un convertidor para transformar los datos del formato de Codebeamer a un formato compatible con Kafka. Esto incluía la asignación de varios campos de datos a pares clave-valor de Kafka y la gestión de variaciones de esquema. Por último, nuestro equipo de proyecto gestionó una configuración robusta, permitiendo a los usuarios especificar dinámicamente las credenciales de la API, los intervalos de sondeo y los temas de Kafka de destino.

En la primera etapa, el conector sondea la API de Codebeamer para obtener datos nuevos y actualizados a intervalos configurables. A continuación, transformaba los datos en un formato compatible con Kafka, garantizando que cada pieza de información se representara como un evento discreto. Utilizamos las capacidades de procesamiento por lotes para gestionar de forma eficiente grandes volúmenes de datos sin sobrecargar la API de Codebeamer o el clúster de Kafka.

Conector Kafka Fuente de datos FTP

Además, desarrollamos un conector Kafka personalizado para una fuente de datos FTP, un componente crítico para consolidar varios archivos y formatos, incluidos JSON, XML y CSV. El conector interactuaba con el servidor FTP y supervisaba eficazmente los archivos nuevos y actualizados, extrayéndolos y transportándolos al ecosistema Kafka.

Hemos implementado un sólido mecanismo de vigilancia de archivos para detectar cuándo se añaden archivos nuevos o se modifican los existentes. Incorporamos una lógica de análisis sintáctico inteligente que podía reconocer automáticamente y procesar correctamente cada tipo de archivo para gestionar la diversidad de formatos de archivo (JSON, XML, CSV). Esto era crucial para transformar los datos estructurados y semiestructurados de estos archivos en un formato uniforme adecuado para el streaming a través de Kafka.

Tecnologías

Backend

Máquina virtual Java 17, Kotlin, Spring

CI/CD

CI/CD in situ

Proceso

Nuestro equipo de proyecto siguió un curso de proyecto bien estructurado, con entregables al final de cada etapa para garantizar la alineación con los objetivos del cliente. Nuestro enfoque se basó en el marco Scrum, lo que facilitó la flexibilidad, la mejora continua y una sólida participación del cliente a lo largo de todo el proyecto.

En un principio, nuestros analistas de negocio organizaron talleres con el cliente para comprender su panorama de datos, identificaron las fuentes de datos clave y definieron el alcance de la integración de Kafka. A partir de esa información, elaboraron un plan de proyecto completo y una lista de requisitos para los conectores Kafka.

Tras recopilar los requisitos, nuestros desarrolladores diseñaron la arquitectura de los conectores Kafka. A su vez, ingenieros de QA realizó exhaustivas comprobaciones, incluidas pruebas unitarias, de integración y de rendimiento, para garantizar la fiabilidad y eficacia de los conectores.

Por último, desplegamos los conectores en el entorno del cliente e impartimos sesiones de formación para su equipo sobre la gestión y utilización de las nuevas soluciones de flujo de datos.

Durante todo el proyecto, la comunicación con el cliente fue una prioridad absoluta. Utilizamos Slack para la comunicación diaria y Zoom para las reuniones semanales y las revisiones de los sprints. El seguimiento de las tareas y la gestión del proyecto se llevaron a cabo a través de Jira, lo que permitió una visibilidad transparente del progreso del proyecto y la responsabilidad de todos los miembros del equipo.

En la actualidad, nuestro equipo de proyecto realiza pequeños ajustes cuando es necesario. Además, el cliente tiene previsto solicitarnos más proyectos de flujo de datos en el futuro.

Equipo

Propietario de producto

Arquitecto de soluciones

Responsable técnico

Desarrolladores de Back-end

Resultados

44% aumento de la accesibilidad a los datos tras implementar data pipeline con Apache Kafka

Innowise desarrolló un sistema de conectores que agrega información de las fuentes de datos del cliente y la transforma en flujos de datos Apache Kafka. Al integrar fuentes de datos dispares en una canalización de datos de Apache unificada y en tiempo real, abordamos los principales retos de fragmentación, escalabilidad e integración de datos. El fabricante de automóviles se beneficia ahora de un silo de datos mitigado, una toma de decisiones informada y análisis transparentes que fomentan el crecimiento del negocio.

Nuestra solución de flujo de datos basada en Kafka está diseñada para escalar, de modo que el cliente pueda crecer rápidamente y añadir nuevas fuentes de datos sin comprometer el rendimiento.

Duración del proyecto

Noviembre de 2022 - En curso

36%

aumento de la precisión en la toma de decisiones

44%

aumento de la accesibilidad a los datos

Casos relacionados

Póngase en contacto con nosotros

Reservar una llamada o rellene el siguiente formulario y nos pondremos en contacto con usted cuando hayamos procesado su solicitud.

Nombre

Empresa

Correo electrónico

Teléfono

Mensaje Por favor, facilítenos detalles del proyecto, duración, tecnologías, especialistas informáticos necesarios y otra información relevante.

Grabe un mensaje de voz sobre su proyecto
para ayudarnos a comprenderlo mejor.

Adjunte los documentos adicionales si es necesario

Cargar archivo

Puede adjuntar hasta 1 archivo de 2 MB en total. Archivos válidos: pdf, jpg, jpeg, png

Le informamos de que cuando haga clic en el botón Enviar, Innowise procesará sus datos personales de acuerdo con nuestra Política de privacidad con el fin de proporcionarle la información adecuada.

¿Qué pasa después?

Una vez recibida y procesada su solicitud, nos pondremos en contacto con usted para detallar las necesidades de su proyecto y firmar un acuerdo de confidencialidad que garantice la confidencialidad de la información.

Después de examinar los requisitos, nuestros analistas y desarrolladores elaboran una propuesta de proyecto con el alcance de las obras, el tamaño del equipo, el tiempo y las estimaciones de costos.

Concertamos una reunión con usted para discutir la oferta y llegar a un acuerdo.

Firmamos un contrato y comenzamos a trabajar en su proyecto lo más rápido posible.

Canalización de datos con Apache Kafka: 36% aumento de la precisión en la toma de decisiones

Cliente

Desafío

Ineficacia operativa y falta de conocimiento de los flujos de trabajo empresariales

Solución

Canalización de datos Apache para integrar fuentes de datos dispares en un único sistema cohesionado.

Conector Kafka para fuente de datos codebeamer

Conector Kafka Fuente de datos FTP

Tecnologías

Proceso

Equipo

Resultados

44% aumento de la accesibilidad a los datos tras implementar data pipeline con Apache Kafka

Casos relacionados

Póngase en contacto con nosotros

¿Qué pasa después?

Vamos a^●desarrollar
software juntos!

Hacer otra petición

Cerrar

Canalización de datos con Apache Kafka: 36% aumento de la precisión en la toma de decisiones

Cliente

Desafío

Ineficacia operativa y falta de conocimiento de los flujos de trabajo empresariales

Solución

Canalización de datos Apache para integrar fuentes de datos dispares en un único sistema cohesionado.

Conector Kafka para fuente de datos codebeamer

Conector Kafka Fuente de datos FTP

Tecnologías

Proceso

Equipo

Resultados

44% aumento de la accesibilidad a los datos tras implementar data pipeline con Apache Kafka

Casos relacionados

Póngase en contacto con nosotros

¿Qué pasa después?

Vamos a●desarrollar software juntos!

Suscríbase a a nuestro boletín

Hacer otra petición

Cerrar

Vamos a^●desarrollar
software juntos!

Suscríbase a
a nuestro boletín