Datapipelines med Apache Kafka: 36% økning i beslutningsnøyaktighet

Vår første oppgave var å lage en arkitektur for å avlaste informasjon fra datakilder og overføre den til Apache Kafka. Først bygget vi en kobling til Codebeamer, en omfattende prosjektstyringsplattform som kunden brukte til programvareutvikling og samarbeid. Vi valgte Apache Kafka på grunn av dets eksepsjonelle evne til å håndtere datastrømmer i stor skala, med høy gjennomstrømning og i sanntid på en feiltolerant, skalerbar og distribuert måte. 

Innowises spesialister analyserte innledningsvis Codebeamers API-dokumentasjon grundig for å identifisere de mest effektive metodene for å hente ut prosjektdata, inkludert arbeidselementer, endringssett og brukeraktiviteter. Vi undersøkte også autentiseringsmekanismen, grensene for dataforespørsler og API-ens returformater.

Basert på API-analysen designet vi connector-arkitekturen med fokus på modularitet, skalerbarhet og feiltoleranse. Programvareingeniørene våre brukte Java til å kode konnektoren, som var ansvarlig for å koble til Codebeamers API, hente data og skrive dem til et Kafka-emne. Vi implementerte en konverter for å transformere dataene fra Codebeamers format til et Kafka-kompatibelt format. Dette inkluderte mapping av ulike datafelter til Kafkas nøkkelverdipar og håndtering av skjemavariasjoner. Til slutt håndterte prosjektteamet vårt robust konfigurasjon, slik at brukerne dynamisk kunne spesifisere API-legitimasjon, pollingintervaller og Kafka-emner.

I første trinn pollet koblingen Codebeamers API for å hente nye og oppdaterte data med konfigurerbare intervaller. Deretter transformerte den dataene til et Kafka-kompatibelt format, slik at hver enkelt del av informasjonen ble representert som en diskret hendelse. Vi benyttet oss av batchbehandling for å håndtere store datamengder på en effektiv måte uten å overbelaste Codebeamers API eller Kafka-klyngen.