Datapipelines med Apache Kafka: 36% stigning i beslutningstagningens nøjagtighed

Vores første opgave var at skabe en arkitektur til at aflaste information fra datakilder og overføre den til Apache Kafka. Først byggede vi en connector til Codebeamer, en omfattende projektstyringsplatform, som kunden brugte til softwareudvikling og samarbejde. Vi valgte Apache Kafka på grund af dens enestående evne til at håndtere datastrømme i stor skala, med høj kapacitet og i realtid på en fejltolerant, skalerbar og distribueret måde. 

I første omgang analyserede Innowise's specialister Codebeamers API-dokumentation grundigt for at identificere de mest effektive metoder til at udtrække projektdata, herunder work items, changesets og brugeraktiviteter. Vi undersøgte også godkendelsesmekanismen, grænserne for dataforespørgsler og API'ens returformater.

Baseret på API-analysen designede vi connector-arkitekturen med fokus på modularitet, skalerbarhed og fejltolerance. Vores softwareingeniører brugte Java til at kode connectoren, som var ansvarlig for at linke til Codebeamers API, hente data og skrive dem til et Kafka-emne. Vi implementerede en konverter til at omdanne data fra Codebeamers format til et Kafka-kompatibelt format. Dette omfattede kortlægning af forskellige datafelter til Kafkas nøgleværdipar og håndtering af skemavariationer. Endelig sørgede vores projektteam for robust konfiguration, så brugerne dynamisk kunne angive API-legitimationsoplysninger, polling-intervaller og mål for Kafka-emner.

I den første fase pollede connectoren Codebeamers API for at hente nye og opdaterede data med konfigurerbare intervaller. Derefter omdannede den dataene til et Kafka-kompatibelt format og sikrede, at hvert stykke information blev repræsenteret som en diskret begivenhed. Vi brugte batch-behandling til effektivt at håndtere store datamængder uden at overvælde Codebeamers API eller Kafka-klyngen.