Datenpipelines mit Apache Kafka: 36% Steigerung der Entscheidungsgenauigkeit

Mithilfe von Apache Kafka Data Streaming stellte Innowise eine reibungslose Datenpipeline für fundierte Entscheidungen und Analysen bereit.

Der Kunde

Branche

Automobilindustrie, Fertigung

Region

Kunde seit

2023

Unser Kunde ist ein multinationales Unternehmen, das sich auf die Herstellung einer breiten Palette von Personen- und Nutzfahrzeugen, Motorrädern, Motoren und Turbomaschinen spezialisiert hat.

Detaillierte Information über den Kunden kann aufgrund der Bestimmungen des NDA nicht veröffentlicht werden.

Herausforderung

Ineffiziente Abläufe und mangelnder Einblick in die Geschäftsabläufe

Der Automobilhersteller, ein weltweit tätiges Unternehmen mit Niederlassungen und Händlerzentren auf allen Kontinenten, sah sich mit einem erheblichen Datenmanagements Dilemma. Verschiedene Abteilungen innerhalb des Unternehmens arbeiteten unabhängig voneinander, was zu Ineffizienzen und mangelndem Einblick in Betrieb, Vertrieb, Projektmanagement und mehr führte.

Mehrere Datenquellen führten zu Doppelarbeit, uneinheitlicher Datenqualität und erheblichem Ressourcenverbrauch, da Teams an verschiedenen Standorten um den Abgleich von Informationen bemüht waren. Diese Fragmentierung behinderte die Fähigkeit des Herstellers, schnell und effektiv fundierte, strategische Entscheidungen zu treffen.

Darüber hinaus hatte der Kunde Probleme mit dem Zugriff auf Echtzeitdaten, die für die strategische Entscheidungsfindung benötigt wurden. Der Austausch von Daten und Verzögerungen bei der Verarbeitung führten zu verpassten Gelegenheiten und verspäteten Reaktionen auf Marktanforderungen, da sich Markttrends und Verbraucherpräferenzen schnell entwickeln.

Der Kunde suchte nach einer umfassenden Lösung, um die unterschiedlichen Datenquellen in einem zusammenhängenden System zu vereinheitlichen und die Skalierbarkeit zur Anpassung an künftige Geschäftserweiterungen zu gewährleisten.

Lösung

Apache-Datenpipeline zur Integration unterschiedlicher Datenquellen in ein einziges kohärentes System

Innowise bot einen transformativen Ansatz, bei dem die Integration von Apache Kafka im Mittelpunkt stand, um die Herausforderungen des Kunden zu bewältigen. Einfach ausgedrückt: Wir wandelten die bestehenden Informationsflüsse des Kunden in Kafka-Datenströme um, um einen ununterbrochenen Datenfluss, Echtzeit-Analysen und umfassende Visualisierungen zu gewährleisten.

Kafka-Konnektor für Codebeamer-Datenquelle

Unsere anfängliche Aufgabe bestand darin, eine Architektur zu schaffen, um Informationen aus Datenquellen auszulagern und sie an Apache Kafka zu übertragen. Zunächst bauten wir einen Konnektor für Codebeamer, eine umfassende Projektmanagement-Plattform, die der Kunde für die Softwareentwicklung und Zusammenarbeit nutzte. Wir haben uns für Apache Kafka entschieden, weil es die außergewöhnliche Fähigkeit besitzt, große Datenströme mit hohem Durchsatz und in Echtzeit auf eine fehlertolerante, skalierbare und verteilte Weise zu verarbeiten.

Zunächst analysierten die Spezialisten von Innowise die API-Dokumentation von Codebeamer umfassend, um die effizientesten Methoden zum Extrahieren von Projektdaten, einschließlich Work Items, Changesets und Benutzeraktivitäten, zu ermitteln. Wir untersuchten auch den Authentifizierungsmechanismus, die Grenzen der Datenanforderung und die Rückgabeformate der API.

Auf der Grundlage der API-Analyse entwarfen wir die Konnektorarchitektur mit Schwerpunkt auf Modularität, Skalierbarkeit und Fehlertoleranz. Unsere Softwareingenieure verwendeten Java, um den Konnektor zu programmieren, der für die Verknüpfung mit der API von Codebeamer, das Abrufen von Daten und das Schreiben in ein Kafka-Thema verantwortlich war. Wir implementierten einen Konverter, um die Daten aus dem Codebeamer-Format in ein Kafka-kompatibles Format umzuwandeln. Dazu gehörten die Zuordnung verschiedener Datenfelder zu den Schlüssel-Wert-Paaren von Kafka und die Handhabung von Schema-Variationen. Schließlich sorgte unser Projektteam für eine robuste Konfiguration, die es den Benutzern ermöglichte, dynamisch API-Anmeldeinformationen, Abfrageintervalle und Kafka-Zielthemen festzulegen.

In der ersten Phase rief der Konnektor die API von Codebeamer ab, um neue und aktualisierte Daten in konfigurierbaren Intervallen abzurufen. Anschließend wurden die Daten in ein Kafka-kompatibles Format umgewandelt, um sicherzustellen, dass jede Information als einzelnes Ereignis dargestellt wird. Wir nutzten die Stapelverarbeitungsfunktionen, um große Datenmengen effizient zu verarbeiten, ohne die API von Codebeamer oder den Kafka-Cluster zu überlasten.

Kafka-Anschluss FTP-Datenquelle

Außerdem entwickelten wir einen benutzerdefinierten Kafka-Konnektor für eine FTP-Datenquelle, eine wichtige Komponente für die Konsolidierung verschiedener Dateien und Formate, einschließlich JSON, XML und CSV. Der Konnektor wurde mit dem FTP-Server verbunden und überwachte effizient neue und aktualisierte Dateien, extrahierte und transportierte sie in das Kafka-Ökosystem.

Wir haben einen robusten Datei-Überwachungsmechanismus implementiert, der erkennt, wenn neue Dateien hinzugefügt oder bestehende Dateien geändert werden. Wir haben eine intelligente Parsing-Logik eingebaut, die jeden Dateityp automatisch erkennen und korrekt verarbeiten kann, um die Vielfalt der Dateiformate (JSON, XML, CSV) zu bewältigen. Dies war entscheidend für die Umwandlung der strukturierten und halbstrukturierten Daten in diesen Dateien in ein einheitliches Format, das für das Streaming durch Kafka geeignet ist.

Technologien

Back-End

Virtuelle Java-Maschine 17, Kotlin, Spring

CI/CD

CI/CD vor Ort

Prozess

Unser Projektteam verfolgte einen gut strukturierten Projektverlauf mit Ergebnissen am Ende jeder Phase, um die Übereinstimmung mit den Zielen des Kunden sicherzustellen. Unser Ansatz basierte auf dem Scrum-Framework, das Flexibilität, kontinuierliche Verbesserungen und ein starkes Kundenengagement während des gesamten Projekts ermöglichte.

Zunächst führten unsere Business-Analysten Workshops mit dem Kunden durch, um dessen Datenlandschaft zu verstehen, die wichtigsten Datenquellen zu identifizieren und den Umfang der Kafka-Integration zu definieren. Auf der Grundlage dieser Informationen erstellten sie einen umfassenden Projektplan und eine Liste der Anforderungen für die Kafka-Konnektoren.

Nach dem Erfassen der Anforderungen entwarfen unsere Entwickler die Architektur für die Kafka-Konnektoren. Der Reihe nach, QA-Ingenieure führte umfangreiche Prüfungen durch, darunter Unit-, Integrations- und Leistungstests, um die Zuverlässigkeit und Effizienz der Steckverbinder zu gewährleisten.

Schließlich haben wir die Konnektoren in der Kundenumgebung implementiert und Schulungen für das Kundenteam zur Verwaltung und Nutzung der neuen Datenstreaming-Lösungen durchgeführt.

Während des gesamten Projekts hatte die Kommunikation mit dem Kunden höchste Priorität. Wir nutzten Slack für die tägliche Kommunikation und Zoom für wöchentliche Check-Ins und Sprint-Reviews. Die Aufgabenverfolgung und das Projektmanagement wurden über Jira verwaltet, was einen transparenten Einblick in den Projektfortschritt und die Verantwortlichkeit für alle Teammitglieder ermöglichte.

Zurzeit nimmt unser Projektteam bei Bedarf kleinere Anpassungen vor. Außerdem plant der Kunde, uns in Zukunft für weitere Datenstreaming-Projekte in Anspruch zu nehmen.

Team

Produktverantwortlicher

Lösungsarchitekt

Technischer Leiter

Backend-Entwickler

Ergebnisse

44% Verbesserung des Datenzugriffs nach Implementierung einer Datenpipeline mit Apache Kafka

Innowise entwickelte ein System von Konnektoren, das Informationen aus den Datenquellen des Kunden zusammenfasst und in Apache Kafka-Datenströme umwandelt. Durch die Integration unterschiedlicher Datenquellen in eine einheitliche, in Echtzeit strömende Apache-Datenpipeline haben wir die zentralen Herausforderungen der Datenfragmentierung, Skalierbarkeit und Integration bewältigt. Der Automobilhersteller profitiert nun von einer Entschärfung der Datensilos, einer fundierten Entscheidungsfindung und transparenten Analysen, die das Unternehmenswachstum fördern.

Unsere Kafka-basierte Daten-Streaming-Lösung ist skalierbar, so dass der Kunde schnell wachsen und neue Datenquellen hinzufügen kann, ohne die Leistung zu beeinträchtigen.

Projektdauer

November 2022 - Laufend

36%

Erhöhung der Entscheidungsgenauigkeit

44%

Verbesserung der Zugänglichkeit von Daten

Unsere aktuellen Fallstudien

Kontaktieren Sie uns!

Einen Anruf buchen oder füllen Sie das Formular unten aus und wir melden uns bei Ihnen, sobald wir Ihre Anfrage bearbeitet haben.

Name

Unternehmen

E-Mail

Telefon

Nachricht Bitte fügen Sie Projektdetails, Dauer, Technologie-Stack, benötigte IT-Experten und andere Infos bei.

Bitte fügen Sie Projektdetails, Dauer, Technologie-Stack, benötigte IT-Experten
und andere Infos bei.

Hängen Sie nach Bedarf zusätzliche Dokumente an.

Datei hochladen

Sie können bis zu 1 Datei von insgesamt 2 MB anhängen. Gültige Dateien: pdf, jpg, jpeg, png

Bitte beachten Sie, dass Innowise mit dem Anklicken der Schaltfläche 'Senden' Ihre persönlichen Daten nach der Datenschutzrichtlinie verarbeiten wird, um Ihnen die gewünschten Informationen zukommen zu lassen.

Wie geht es weiter?

Sobald wir Ihre Anfrage erhalten und bearbeitet haben, werden wir uns mit Ihnen in Verbindung setzen, um Ihre Projektanforderungen zu besprechen und eine NDA (Vertraulichkeitserklärung) für die Vertraulichkeit der Informationen zu unterzeichnen.

Nach der Prüfung der Anforderungen erstellen unsere Analysten und Entwickler einen Projektvorschlag, der Arbeitsumfang, Teamgröße, Zeit- und Kostenschätzung enthält.

Wir vereinbaren einen Termin mit Ihnen, um das Angebot zu besprechen und eine Vereinbarung mit Ihnen zu treffen.

Wir unterzeichnen einen Vertrag und beginnen umgehend mit der Arbeit an Ihrem Projekt.