Datapipelines med Apache Kafka: 36% ökning av noggrannheten i beslutsfattandet

Med hjälp av Apache Kafka-datastreaming fick Innowise en smidig datapipeline för välgrundat beslutsfattande och analys.

Kund

Industri

Fordon, tillverkning

Region

Kund sedan

2023

Vår kund är ett multinationellt företag som specialiserar sig på tillverkning av ett brett utbud av passagerar- och kommersiella fordon, motorcyklar, motorer och turbomaskiner.

Detaljerad information om kunden kan inte lämnas ut enligt bestämmelserna i NDA.

Utmaning

Ineffektivitet i verksamheten och brist på insikt i arbetsflödena

Fordonstillverkaren, en global enhet med filialer och återförsäljarcenter över hela världen, stod inför en betydande datahantering, dilemma. Olika enheter inom företaget arbetade självständigt, vilket ledde till ineffektivitet och bristande insikt i verksamhet, försäljning, projektledning med mera.

Flera datakällor ledde till dubbelarbete, inkonsekvent datakvalitet och en betydande resursförbrukning när team på olika platser kämpade för att stämma av information. Denna fragmentering hindrade tillverkarens förmåga att fatta välgrundade, strategiska beslut snabbt och effektivt.

Dessutom hade kunden problem med att få tillgång till realtidsdata som behövdes för strategiskt beslutsfattande. Förseningar i datadelning och bearbetning ledde till missade möjligheter och försenade svar på marknadens krav, eftersom marknadstrender och konsumentpreferenser utvecklas snabbt.

Kunden sökte en heltäckande lösning för att förena olika datakällor till ett sammanhängande system och säkerställa skalbarhet för att anpassa sig till framtida affärsexpansioner.

Lösning

Apache data pipeline för att integrera olika datakällor till ett enda sammanhängande system

Innowise erbjöd ett transformativt tillvägagångssätt centrerat kring integrering av Apache Kafka för att hantera kundens utmaningar. Enkelt uttryckt omvandlade vi kundens befintliga informationsflöden till Kafka-dataströmmar för att säkerställa oavbrutet dataflöde, realtidsanalys och omfattande visualiseringar.

Kafka-koppling för codebeamer-datakälla

Vår första uppgift var att skapa en arkitektur för att avlasta information från datakällor och överföra den till Apache Kafka. Först byggde vi en connector för Codebeamer, en omfattande projekthanteringsplattform som kunden använde för mjukvaruutveckling och samarbete. Vi valde Apache Kafka på grund av dess exceptionella förmåga att hantera storskaliga dataströmmar med hög genomströmning och i realtid på ett feltolerant, skalbart och distribuerat sätt.

Inledningsvis analyserade Innowises specialister Codebeamers API-dokumentation för att identifiera de mest effektiva metoderna för att extrahera projektdata, inklusive arbetsobjekt, ändringar och användaraktiviteter. Vi undersökte också autentiseringsmekanismen, gränserna för dataförfrågningar och API:ets returformat.

Baserat på API-analysen utformade vi connector-arkitekturen med fokus på modularitet, skalbarhet och feltolerans. Våra programvaruingenjörer använde Java för att koda connectorn, som ansvarade för att länka till Codebeamers API, hämta data och skriva dem till ett Kafka-ämne. Vi implementerade en konverterare för att omvandla data från Codebeamers format till ett Kafka-kompatibelt format. Detta inkluderade mappning av olika datafält till Kafkas nyckelvärdepar och hantering av schemavariationer. Slutligen hanterade vårt projektteam robust konfiguration, vilket gjorde det möjligt för användare att dynamiskt ange API-autentiseringsuppgifter, pollingintervall och Kafka-målämnen.

I det första steget pollade connectorn Codebeamers API för att hämta ny och uppdaterad data med konfigurerbara intervall. Därefter omvandlades data till ett Kafka-kompatibelt format, vilket säkerställer att varje informationsbit representeras som en diskret händelse. Vi använde batchbearbetning för att effektivt hantera stora datamängder utan att överbelasta Codebeamers API eller Kafka-klustret.

Kafka-anslutning FTP-datakälla

Vi utvecklade också en anpassad Kafka-connector för en FTP-datakälla, en kritisk komponent för att konsolidera olika filer och format, inklusive JSON, XML och CSV. Anslutningen kopplades till FTP-servern och övervakade effektivt nya och uppdaterade filer, extraherade och transporterade dem till Kafka-ekosystemet.

Vi har implementerat en robust filövervakningsmekanism för att upptäcka när nya filer läggs till eller befintliga filer ändras. Vi införde intelligent parsinglogik som automatiskt kunde känna igen och korrekt bearbeta varje filtyp för att hantera de många olika filformaten (JSON, XML, CSV). Detta var avgörande för att omvandla de strukturerade och halvstrukturerade data som fanns i filerna till ett enhetligt format som lämpade sig för streaming via Kafka.

Teknik

Backend

Virtuell Java-maskin 17, Kotlin, Spring

CI/CD

CI/CD på plats

Process

Vårt projektteam följde ett välstrukturerat projektförlopp, med leveranser i slutet av varje steg för att säkerställa att kundens mål uppfylldes. Vårt arbetssätt grundade sig på Scrum-ramverket, vilket möjliggjorde flexibilitet, ständiga förbättringar och ett starkt kundengagemang under hela projektet.

Inledningsvis genomförde våra affärsanalytiker workshops med kunden för att förstå deras datalandskap, identifiera viktiga datakällor och definiera omfattningen av Kafka-integrationen. Baserat på den informationen kartlade de en omfattande projektplan och en lista med krav för Kafka-anslutningarna.

Efter att ha samlat in kraven utformade våra utvecklare arkitekturen för Kafka-anslutningarna. I tur och ordning, QA-ingenjörer utförde omfattande kontroller, inklusive enhets-, integrations- och prestandatester, för att säkerställa kontaktdonens tillförlitlighet och effektivitet.

Slutligen distribuerade vi connectorerna i kundens miljö och anordnade utbildningstillfällen för kundens team om hantering och användning av nya lösningar för dataströmning.

Under hela projektet var kommunikationen med kunden av högsta prioritet. Vi använde Slack för daglig kommunikation och Zoom för veckovisa incheckningar och sprintgenomgångar. Uppgiftsspårning och projektledning hanterades via Jira, vilket möjliggjorde transparent insyn i projektets framsteg och ansvarsskyldighet för alla teammedlemmar.

För närvarande gör vårt projektteam mindre justeringar efter behov. Dessutom planerar kunden att vända sig till oss för fler datastreamingprojekt i framtiden.

Team

Produktägare

Lösningsarkitekt

Teknisk ledare

Back-end utvecklare

Resultat

44% ökad datatillgänglighet efter implementering av datapipeline med Apache Kafka

Innowise utvecklade ett system av connectorer som aggregerar information från kundens datakällor och omvandlar den till Apache Kafka-dataströmmar. Genom att integrera olika datakällor i en enhetlig, realtidsströmmande Apache-datapipeline tog vi itu med de centrala utmaningarna med datafragmentering, skalbarhet och integration. Fordonstillverkaren drar nu nytta av minskad datasilo, välgrundat beslutsfattande och transparenta analyser som främjar affärstillväxten.

Vår Kafka-baserade lösning för datastreaming är skalbar så att kunden kan växa snabbt och lägga till nya datakällor utan att kompromissa med prestandan.

Projektets löptid

November 2022 - Löpande

36%

ökad noggrannhet i beslutsfattandet

44%

ökad tillgänglighet till data

Relaterade fall

Kontakta oss!

Boka ett samtal eller fyll i formuläret nedan så återkommer vi till dig när vi har behandlat din förfrågan.

Namn

Företag

E-post

Telefon

Meddelande Vänligen inkludera projektinformation, varaktighet, teknologistack, IT-proffs som behövs och annan relevant information

Spela in ett röstmeddelande om ditt projekt för att hjälpa oss att förstå det bättre

Bifoga ytterligare dokument vid behov

Ladda upp filen

Du kan bifoga upp till 1 fil på totalt 2 MB. Giltiga filer: pdf, jpg, jpeg, png

Observera att när du klickar på knappen Skicka kommer Innowise att behandla dina personuppgifter i enlighet med vår Integritetspolicy för att ge dig lämplig information.

Vad händer härnäst?

Efter att ha mottagit och behandlat din begäran kommer vi att återkomma till dig inom kort för att specificera dina projektbehov och underteckna en NDA för att säkerställa konfidentialitet av information.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma överens.

Vi skriver på ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt.