Datenpipelines mit Apache Kafka: 36% Steigerung der Entscheidungsgenauigkeit

Unsere anfängliche Aufgabe bestand darin, eine Architektur zu schaffen, um Informationen aus Datenquellen auszulagern und sie an Apache Kafka zu übertragen. Zunächst bauten wir einen Konnektor für Codebeamer, eine umfassende Projektmanagement-Plattform, die der Kunde für die Softwareentwicklung und Zusammenarbeit nutzte. Wir haben uns für Apache Kafka entschieden, weil es die außergewöhnliche Fähigkeit besitzt, große Datenströme mit hohem Durchsatz und in Echtzeit auf eine fehlertolerante, skalierbare und verteilte Weise zu verarbeiten. 

Zunächst analysierten die Spezialisten von Innowise die API-Dokumentation von Codebeamer umfassend, um die effizientesten Methoden zum Extrahieren von Projektdaten, einschließlich Work Items, Changesets und Benutzeraktivitäten, zu ermitteln. Wir untersuchten auch den Authentifizierungsmechanismus, die Grenzen der Datenanforderung und die Rückgabeformate der API.

Auf der Grundlage der API-Analyse entwarfen wir die Konnektorarchitektur mit Schwerpunkt auf Modularität, Skalierbarkeit und Fehlertoleranz. Unsere Softwareingenieure verwendeten Java, um den Konnektor zu programmieren, der für die Verknüpfung mit der API von Codebeamer, das Abrufen von Daten und das Schreiben in ein Kafka-Thema verantwortlich war. Wir implementierten einen Konverter, um die Daten aus dem Codebeamer-Format in ein Kafka-kompatibles Format umzuwandeln. Dazu gehörten die Zuordnung verschiedener Datenfelder zu den Schlüssel-Wert-Paaren von Kafka und die Handhabung von Schema-Variationen. Schließlich sorgte unser Projektteam für eine robuste Konfiguration, die es den Benutzern ermöglichte, dynamisch API-Anmeldeinformationen, Abfrageintervalle und Kafka-Zielthemen festzulegen.

In der ersten Phase rief der Konnektor die API von Codebeamer ab, um neue und aktualisierte Daten in konfigurierbaren Intervallen abzurufen. Anschließend wurden die Daten in ein Kafka-kompatibles Format umgewandelt, um sicherzustellen, dass jede Information als einzelnes Ereignis dargestellt wird. Wir nutzten die Stapelverarbeitungsfunktionen, um große Datenmengen effizient zu verarbeiten, ohne die API von Codebeamer oder den Kafka-Cluster zu überlasten.