Datapijplijnen met Apache Kafka: 36% toename in nauwkeurigheid van besluitvorming

Met behulp van Apache Kafka datastreaming zorgde Innowise voor een soepele datapijplijn voor geïnformeerde besluitvorming en analyses.

Klant

Industrie

Auto-industrie, Productie

Regio

Klant sinds

2023

Onze klant is een multinational die gespecialiseerd is in de productie van een divers scala aan personen- en bedrijfsvoertuigen, motorfietsen, motoren en turbomachines.

Gedetailleerde informatie over de klant kan niet openbaar worden gemaakt krachtens de bepalingen van de NDA.

Uitdaging

Operationele inefficiëntie en een gebrek aan inzicht in zakelijke workflows

De autofabrikant, een wereldwijde entiteit met vestigingen en dealercentra verspreid over de continenten, werd geconfronteerd met een aanzienlijk gegevensbeheer dilemma. Verschillende afdelingen binnen het bedrijf werkten onafhankelijk van elkaar, wat leidde tot inefficiëntie en een gebrek aan inzicht in onder andere bedrijfsvoering, verkoop en projectmanagement.

Meerdere gegevensbronnen leidden tot dubbel werk, een inconsistente gegevenskwaliteit en een aanzienlijk beslag op de middelen omdat teams op verschillende locaties worstelden om informatie met elkaar in overeenstemming te brengen. Deze versnippering belemmerde het vermogen van de fabrikant om snel en effectief weloverwogen strategische beslissingen te nemen.

Bovendien had de klant moeite om toegang te krijgen tot realtime gegevens die nodig waren voor strategische besluitvorming. Vertragingen bij het delen en verwerken van gegevens resulteerden in gemiste kansen en late reacties op vragen uit de markt, omdat markttrends en consumentenvoorkeuren snel evolueren.

De klant zocht een allesomvattende oplossing om ongelijksoortige gegevensbronnen te verenigen in een samenhangend systeem en schaalbaarheid te garanderen om toekomstige bedrijfsuitbreidingen aan te kunnen.

Oplossing

Apache datapijplijn om ongelijksoortige gegevensbronnen te integreren in één samenhangend systeem

Innowise bood een transformerende aanpak gericht op de integratie van Apache Kafka om de uitdagingen van de klant aan te pakken. Simpel gezegd hebben we de bestaande informatiestromen van de klant omgezet in Kafka-datastromen om te zorgen voor een ononderbroken datastroom, realtime analyses en uitgebreide visualisaties.

Kafka-connector voor codebeamer-gegevensbron

Onze eerste taak was het creëren van een architectuur om informatie uit gegevensbronnen te halen en door te sturen naar Apache Kafka. Eerst bouwden we een connector voor Codebeamer, een uitgebreid projectmanagementplatform dat de klant gebruikte voor softwareontwikkeling en samenwerking. We kozen Apache Kafka vanwege zijn uitzonderlijke vermogen om grootschalige, high-throughput en real-time datastromen te verwerken op een fouttolerante, schaalbare en gedistribueerde manier.

In eerste instantie hebben de specialisten van Innowise de API-documentatie van Codebeamer uitgebreid geanalyseerd om de meest efficiënte methoden te identificeren voor het extraheren van projectgegevens, waaronder werkitems, wijzigingenreeksen en gebruikersactiviteiten. We onderzochten ook het authenticatiemechanisme, de limieten voor gegevensverzoeken en de retourformaten van de API.

Op basis van de API-analyse ontwierpen we de connector-architectuur met een focus op modulariteit, schaalbaarheid en fouttolerantie. Onze software-ingenieurs gebruikten Java om de connector te coderen, die verantwoordelijk was voor het linken naar Codebeamer's API, het ophalen van data en het schrijven naar een Kafka topic. We implementeerden een converter om de gegevens te transformeren van Codebeamer's formaat naar een Kafka-compatibel formaat. Dit omvatte het mappen van verschillende gegevensvelden naar Kafka's key-value paren en het afhandelen van schemavariaties. Tot slot beheerde ons projectteam een robuuste configuratie, waarmee gebruikers dynamisch API-referenties, polling-intervallen en Kafka-onderwerpen konden specificeren.

In de eerste fase peilde de connector de API van Codebeamer om met configureerbare intervallen nieuwe en bijgewerkte gegevens op te halen. Daarna werden de gegevens omgezet in een Kafka-compatibel formaat, zodat elk stukje informatie wordt weergegeven als een discrete gebeurtenis. We maakten gebruik van mogelijkheden voor batchverwerking om grote hoeveelheden gegevens efficiënt te verwerken zonder de API van Codebeamer of het Kafka-cluster te overweldigen.

Kafka-connector FTP-gegevensbron

Ook ontwikkelden we een aangepaste Kafka-connector voor een FTP-gegevensbron, een essentieel onderdeel voor het consolideren van verschillende bestanden en formaten, waaronder JSON, XML en CSV. De connector koppelde met de FTP-server en controleerde efficiënt op nieuwe en bijgewerkte bestanden, en extraheerde en transporteerde deze naar het Kafka-ecosysteem.

We hebben een robuust bestandsbewakingsmechanisme geïmplementeerd om te detecteren wanneer nieuwe bestanden worden toegevoegd of bestaande bestanden worden gewijzigd. We hebben intelligente parsinglogica ingebouwd die automatisch elk bestandstype herkent en correct verwerkt om de diversiteit aan bestandsformaten (JSON, XML, CSV) aan te kunnen. Dit was cruciaal voor het transformeren van de gestructureerde en semigestructureerde gegevens in deze bestanden naar een uniform formaat dat geschikt is voor streaming via Kafka.

Technologieën

Backend

Java virtuele machine 17, Kotlin, Spring

CI/CD

CI/CD op locatie

Proces

Ons projectteam volgde een goed gestructureerd projectverloop, met deliverables aan het einde van elke fase om afstemming op de doelen van de klant te garanderen. Onze aanpak was gebaseerd op het Scrum-raamwerk, dat flexibiliteit, voortdurende verbetering en een sterke betrokkenheid bij de klant gedurende het hele project mogelijk maakte.

In eerste instantie hielden onze bedrijfsanalisten workshops met de klant om inzicht te krijgen in hun gegevenslandschap, identificeerden ze de belangrijkste gegevensbronnen en bepaalden ze de reikwijdte van de Kafka-integratie. Op basis van die informatie brachten ze een uitgebreid projectplan en een lijst met vereisten voor de Kafka-connectoren in kaart.

Na het verzamelen van de vereisten ontwierpen onze ontwikkelaars de architectuur voor de Kafka-connectoren. Op hun beurt, QA ingenieur voerde uitgebreide controles uit, waaronder eenheids-, integratie- en prestatietests, om de betrouwbaarheid en efficiëntie van connectoren te garanderen.

Tot slot implementeerden we de connectoren in de omgeving van de klant en verzorgden we trainingssessies voor het team van de klant over het beheren en gebruiken van de nieuwe oplossingen voor datastreaming.

Tijdens het hele project was communicatie met de klant een topprioriteit. We gebruikten Slack voor dagelijkse communicatie en Zoom voor wekelijkse check-ins en sprintbesprekingen. Het bijhouden van taken en projectbeheer werden beheerd via Jira, waardoor de voortgang van het project inzichtelijk werd en alle teamleden verantwoording konden afleggen.

Op dit moment maakt ons projectteam kleine aanpassingen als dat nodig is. Bovendien is de klant van plan om ons in de toekomst te benaderen voor meer datastreamingprojecten.

Team

Product Owner

Oplossing Architect

Technisch leider

Back-End Ontwikkelaars

Resultaten

44% boost in toegankelijkheid van gegevens na implementatie van datapijplijn met Apache Kafka

Innowise heeft een systeem van connectoren ontwikkeld dat informatie uit de databronnen van de klant verzamelt en omzet in Apache Kafka datastromen. Door ongelijksoortige gegevensbronnen te integreren in een verenigde, real-time streaming Apache datapijplijn, hebben we de belangrijkste uitdagingen aangepakt op het gebied van datafragmentatie, schaalbaarheid en integratie. De autofabrikant profiteert nu van minder datasilo's, goed geïnformeerde besluitvorming en transparante analyses die de bedrijfsgroei bevorderen.

Onze op Kafka gebaseerde oplossing voor datastreaming is schaalbaar, zodat de klant snel kan groeien en nieuwe gegevensbronnen kan toevoegen zonder dat dit ten koste gaat van de prestaties.

Duur van het project

November 2022 - Doorlopend

36%

toename in nauwkeurigheid bij besluitvorming

44%

boost in toegankelijkheid van gegevens

Gerelateerde gevallen

Neem contact met ons op!

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens verwerkt in overeenstemming met ons Privacybeleid om u van de juiste informatie te voorzien.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken.