Potoki danych z Apache Kafka: wzrost dokładności podejmowania decyzji o 36%

Korzystając ze strumieniowego przesyłania danych Apache Kafka, Innowise zapewnił płynny potok danych do świadomego podejmowania decyzji i analiz.

Klient

Branża

Motoryzacja, Produkcja

Region

Klient od

2023

Naszym klientem jest międzynarodowa korporacja specjalizująca się w produkcji różnorodnych pojazdów osobowych i użytkowych, motocykli, silników i maszyn turbinowych.

Szczegółowe informacje o kliencie nie mogą być ujawnione zgodnie z postanowieniami NDA.

Wyzwanie

Nieefektywność operacyjna i brak wglądu w biznesowe przepływy pracy

Producent motoryzacyjny, globalny podmiot z oddziałami i centrami dealerskimi na wszystkich kontynentach, stanął w obliczu znaczącego wyzwania zarządzania danymi dylemat. Różne jednostki w firmie działały niezależnie, co skutkowało nieefektywnością i brakiem wglądu w operacje, sprzedaż, zarządzanie projektami i nie tylko.

Wiele źródeł danych prowadziło do powielania wysiłków, niespójnej jakości danych i znacznego drenażu zasobów, ponieważ zespoły w różnych lokalizacjach starały się pogodzić informacje. Ta fragmentacja utrudniała producentowi podejmowanie świadomych, strategicznych decyzji szybko i skutecznie.

Ponadto klient miał trudności z dostępem do danych w czasie rzeczywistym, potrzebnych do podejmowania strategicznych decyzji. Opóźnienia w udostępnianiu i przetwarzaniu danych skutkowały niewykorzystanymi szansami i spóźnionymi reakcjami na potrzeby rynku, ponieważ trendy rynkowe i preferencje konsumentów szybko ewoluowały.

Klient poszukiwał kompleksowego rozwiązania w celu ujednolicenia różnych źródeł danych w spójny system i zapewnienia skalowalności w celu dostosowania do przyszłych ekspansji biznesowych.

Wdrożenie

Potok danych Apache do integracji różnych źródeł danych w jeden spójny system

Innowise zaoferowało transformacyjne podejście skoncentrowane na integracji Apache Kafka w celu sprostania wyzwaniom klienta. Mówiąc najprościej, przekształciliśmy istniejące przepływy informacji klienta w strumienie danych Kafka, aby zapewnić nieprzerwany przepływ danych, analizy w czasie rzeczywistym i kompleksowe wizualizacje.

Konektor Kafka dla źródła danych codebeamer

Naszym początkowym zadaniem było stworzenie architektury umożliwiającej pobieranie informacji ze źródeł danych i przesyłanie ich do Apache Kafka. Najpierw zbudowaliśmy konektor dla Codebeamer, kompleksowej platformy zarządzania projektami, której klient używał do tworzenia oprogramowania i współpracy. Wybraliśmy Apache Kafka ze względu na jego wyjątkową zdolność do obsługi strumieni danych na dużą skalę, o wysokiej przepustowości i w czasie rzeczywistym, w sposób odporny na błędy, skalowalny i rozproszony.

Początkowo specjaliści Innowise kompleksowo przeanalizowali dokumentację API Codebeamer, aby zidentyfikować najbardziej wydajne metody wyodrębniania danych projektu, w tym elementów roboczych, zestawów zmian i działań użytkowników. Zbadaliśmy również mechanizm uwierzytelniania, limity żądań danych i formaty zwracane przez API.

W oparciu o analizę API zaprojektowaliśmy architekturę konektora z naciskiem na modułowość, skalowalność i odporność na błędy. Nasi inżynierowie oprogramowania wykorzystali język Java do zakodowania konektora, który był odpowiedzialny za łączenie się z interfejsem API Codebeamer, pobieranie danych i zapisywanie ich w temacie Kafka. Zaimplementowaliśmy konwerter do przekształcania danych z formatu Codebeamer do formatu kompatybilnego z Kafka. Obejmowało to mapowanie różnych pól danych na pary klucz-wartość Kafki i obsługę różnych schematów. Wreszcie, nasz zespół projektowy zarządzał solidną konfiguracją, umożliwiając użytkownikom dynamiczne określanie poświadczeń API, interwałów odpytywania i docelowych tematów Kafka.

W pierwszym etapie konektor odpytywał API Codebeamer w celu pobrania nowych i zaktualizowanych danych w konfigurowalnych odstępach czasu. Następnie przekształcał dane do formatu kompatybilnego z Kafka, zapewniając, że każda informacja jest reprezentowana jako zdarzenie dyskretne. Wykorzystaliśmy możliwości przetwarzania wsadowego, aby wydajnie obsługiwać duże ilości danych bez obciążania interfejsu API Codebeamer lub klastra Kafka.

Konektor Kafka Źródło danych FTP

Opracowaliśmy również niestandardowy konektor Kafka dla źródła danych FTP, krytycznego komponentu do konsolidacji różnych plików i formatów, w tym JSON, XML i CSV. Konektor łączył się z serwerem FTP i skutecznie monitorował nowe i zaktualizowane pliki, wyodrębniając je i przenosząc do ekosystemu Kafka.

Wdrożyliśmy solidny mechanizm monitorowania plików w celu wykrywania dodawania nowych plików lub modyfikacji istniejących plików. Włączyliśmy inteligentną logikę parsowania, która mogła automatycznie rozpoznawać i poprawnie przetwarzać każdy typ pliku w celu obsługi różnorodnych formatów plików (JSON, XML, CSV). Miało to kluczowe znaczenie dla przekształcania ustrukturyzowanych i częściowo ustrukturyzowanych danych w tych plikach w jednolity format odpowiedni do przesyłania strumieniowego przez Kafkę.

Technologie

Back-end

Maszyna wirtualna Java 17, Kotlin, Spring

CI/CD

CI/CD on-premise

Proces

Nasz zespół projektowy podążał za dobrze zorganizowanym przebiegiem projektu, z rezultatami na końcu każdego etapu, aby zapewnić zgodność z celami klienta. Nasze podejście opierało się na frameworku Scrum, ułatwiając elastyczność, ciągłe doskonalenie i silne zaangażowanie klienta w cały projekt.

Początkowo nasi analitycy biznesowi przeprowadzili warsztaty z klientem, aby zrozumieć jego krajobraz danych, zidentyfikować kluczowe źródła danych i zdefiniować zakres integracji Kafka. Na podstawie tych informacji opracowali kompleksowy plan projektu i listę wymagań dla konektorów Kafka.

Po zebraniu wymagań nasi programiści zaprojektowali architekturę dla konektorów Kafka. Po kolei, Inżynierowie QA przeprowadziła szeroko zakrojone kontrole, w tym testy jednostkowe, integracyjne i wydajnościowe, aby zapewnić niezawodność i wydajność złączy.

Na koniec wdrożyliśmy konektory w środowisku klienta, zapewniając sesje szkoleniowe dla zespołu klienta w zakresie zarządzania i korzystania z nowych rozwiązań do strumieniowego przesyłania danych.

Podczas całego projektu komunikacja z klientem była najwyższym priorytetem. Wykorzystaliśmy Slack do codziennej komunikacji i Zoom do cotygodniowych odpraw i przeglądów sprintów. Śledzenie zadań i zarządzanie projektami odbywało się za pośrednictwem Jira, co zapewniało przejrzysty wgląd w postępy projektu i odpowiedzialność wszystkich członków zespołu.

Obecnie nasz zespół projektowy wprowadza drobne poprawki w razie potrzeby. Poza tym, klient planuje zwrócić się do nas z prośbą o realizację większej liczby projektów streamingu danych w przyszłości.

Zespół

Właściciel produktu

Architekt rozwiązań

Kierownik techniczny

Programistów back-end

Wyniki

44% Zwiększenie dostępności danych po wdrożeniu potoku danych z Apache Kafka

Innowise opracowało system konektorów, który agreguje informacje ze źródeł danych klienta i przekształca je w strumienie danych Apache Kafka. Integrując różne źródła danych w ujednolicony, strumieniowy potok danych Apache w czasie rzeczywistym, rozwiązaliśmy podstawowe wyzwania związane z fragmentacją danych, skalowalnością i integracją. Producent z branży motoryzacyjnej korzysta teraz z ograniczonego silosu danych, świadomego podejmowania decyzji i przejrzystych analiz, które sprzyjają rozwojowi biznesu.

Nasze rozwiązanie do strumieniowego przesyłania danych oparte na Kafce jest skalowalne, dzięki czemu klient może szybko się rozwijać i dodawać nowe źródła danych bez uszczerbku dla wydajności.

Czas trwania projektu

Listopad 2022 r. - w toku

36%

zwiększenie dokładności podejmowania decyzji

44%

zwiększenie dostępności danych

Podobne projekty

Skontaktuj się z nami!

Zadzwoń lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość Prosimy o podanie szczegółów projektu, czasu trwania, stosu technologicznego, potrzebnych specjalistów IT i innych istotnych informacji.

Nagraj wiadomość głosową na temat
projekt, który pomoże nam lepiej go zrozumieć

W razie potrzeby dołącz dodatkowe dokumenty

Prześlij plik

Można załączyć maksymalnie 1 plik o łącznej wielkości 2 MB. Ważne pliki: pdf, jpg, jpeg, png

Informujemy, że po kliknięciu przycisku Wyślij Innowise będzie przetwarzać Twoje dane osobowe zgodnie z naszą Polityką prywatności w celu dostarczenia Ci odpowiednich informacji.

Co będzie dalej?

Po otrzymaniu i przetworzeniu Twojego zgłoszenia skontaktujemy się z Tobą wkrótce, aby wyszczególnić potrzeby projektu i podpisać umowę o zachowaniu poufności, aby zapewnić poufność informacji.

Po przeanalizowaniu wymagań, nasi analitycy i programiści opracowują projekt z zakresem prac, wielkością zespołu, czasem i kosztami szacunki.

Umówimy się z Tobą na spotkanie, aby omówić ofertę i dojść do porozumienia porozumienia.

Podpisujemy umowę i rozpoczynamy pracę nad projektem tak szybko, jak to możliwe.