Pipelines de données avec Apache Kafka : 36% d'augmentation de la précision de la prise de décision

Notre tâche initiale consistait à créer une architecture pour décharger les informations des sources de données et les transmettre à Apache Kafka. Tout d'abord, nous avons construit un connecteur pour Codebeamer, une plateforme complète de gestion de projet que le client utilisait pour le développement de logiciels et la collaboration. Nous avons choisi Apache Kafka en raison de sa capacité exceptionnelle à gérer des flux de données à grande échelle, à haut débit et en temps réel, de manière tolérante aux pannes, évolutive et distribuée. 

Dans un premier temps, les spécialistes d'Innowise ont analysé en détail la documentation de l'API de Codebeamer afin d'identifier les méthodes les plus efficaces pour extraire les données du projet, y compris les éléments de travail, les ensembles de modifications et les activités des utilisateurs. Nous avons également examiné le mécanisme d'authentification, les limites des demandes de données et les formats de retour de l'API.

Sur la base de l'analyse de l'API, nous avons conçu l'architecture du connecteur en mettant l'accent sur la modularité, l'évolutivité et la tolérance aux pannes. Nos ingénieurs logiciels ont utilisé Java pour coder le connecteur, qui était responsable de la liaison avec l'API de Codebeamer, de la récupération des données et de leur écriture dans un sujet Kafka. Nous avons mis en œuvre un convertisseur pour transformer les données du format Codebeamer en un format compatible avec Kafka. Cela comprenait le mappage de divers champs de données aux paires clé-valeur de Kafka et la gestion des variations de schéma. Enfin, notre équipe de projet a géré une configuration robuste, permettant aux utilisateurs de spécifier dynamiquement les identifiants API, les intervalles d'interrogation et les sujets Kafka cibles.

Dans un premier temps, le connecteur a interrogé l'API de Codebeamer pour récupérer les données nouvelles et mises à jour à des intervalles configurables. Ensuite, il a transformé les données dans un format compatible avec Kafka, en veillant à ce que chaque élément d'information soit représenté comme un événement discret. Nous avons utilisé les capacités de traitement par lots pour gérer efficacement de grands volumes de données sans surcharger l'API de Codebeamer ou le cluster Kafka.