Tietoputket Apache Kafkan avulla: 36% päätöksenteon tarkkuuden kasvu

Apache Kafka -tiedonsiirron avulla Innowise tarjosi sujuvan dataputken tietoon perustuvaa päätöksentekoa ja analytiikkaa varten.

Asiakas

Teollisuus

Autoteollisuus, Valmistus

Alue

Asiakas vuodesta

2023

Asiakkaamme on monikansallinen yritys, joka on erikoistunut valmistamaan monenlaisia henkilö- ja hyötyajoneuvoja, moottoripyöriä, moottoreita ja turbokoneita.

Yksityiskohtaisia tietoja asiakkaasta ei voida luovuttaa NDA:n määräysten nojalla.

Haaste

Toiminnan tehottomuus ja puutteellinen näkemys liiketoiminnan työnkuluista.

Autovalmistaja, joka on maailmanlaajuinen yksikkö, jolla on toimipisteitä ja jälleenmyyntikeskuksia eri puolilla mantereita, joutui kohtaamaan merkittävän tiedonhallinta dilemma. Yrityksen eri yksiköt toimivat itsenäisesti, mikä johti tehottomuuteen ja puutteelliseen näkemykseen toiminnasta, myynnistä, projektinhallinnasta ja muusta.

Useat tietolähteet johtivat päällekkäisiin toimiin, epäjohdonmukaiseen tietojen laatuun ja huomattavaan resurssien kulumiseen, kun eri paikkakunnilla toimivat tiimit kamppailivat tietojen yhteensovittamisesta. Tämä hajanaisuus haittasi valmistajan kykyä tehdä tietoon perustuvia strategisia päätöksiä nopeasti ja tehokkaasti.

Lisäksi asiakkaalla oli vaikeuksia saada strategiseen päätöksentekoon tarvittavaa reaaliaikaista tietoa. Tietojen jakamisen ja käsittelyn viivästyminen johti siihen, että tilaisuuksia jäi käyttämättä ja markkinavaatimuksiin reagoitiin myöhässä, sillä markkinasuuntaukset ja kuluttajien mieltymykset muuttuvat nopeasti.

Asiakas etsi kattavaa ratkaisua, jolla yhdistetään eri tietolähteet yhtenäiseksi järjestelmäksi ja varmistetaan skaalautuvuus liiketoiminnan tuleviin laajennuksiin sopeutumiseksi.

Ratkaisu

Apachen dataputki erilaisten tietolähteiden integroimiseksi yhdeksi yhtenäiseksi järjestelmäksi.

Innowise tarjosi transformatiivisen lähestymistavan, joka keskittyi Apache Kafkan integrointiin asiakkaan haasteiden ratkaisemiseksi. Yksinkertaisesti sanottuna muutimme asiakkaan nykyiset tietovirrat Kafka-tietovirroiksi varmistaaksemme keskeytymättömän tiedonkulun, reaaliaikaisen analytiikan ja kattavat visualisoinnit.

Kafka-liitin codebeamer-tietolähteelle

Alkuperäinen tehtävämme oli luoda arkkitehtuuri, jonka avulla tiedot voidaan purkaa tietolähteistä ja siirtää Apache Kafkaan. Ensin rakensimme liittimen Codebeamerille, joka on kattava projektinhallinta-alusta, jota asiakas käytti ohjelmistokehitykseen ja yhteistyöhön. Valitsimme Apache Kafkan sen poikkeuksellisen kyvyn käsitellä suuria, suuren läpimenon ja reaaliaikaisia tietovirtoja vikasietoisesti, skaalautuvasti ja hajautetusti.

Aluksi Innowise:n asiantuntijat analysoivat Codebeamerin API-dokumentaatiota kattavasti, jotta he löytäisivät tehokkaimmat menetelmät projektitietojen, kuten työtehtävien, muutossarjojen ja käyttäjän toimintojen, poimimiseksi. Tutkittiin myös todennusmekanismia, tietopyyntöjen rajoituksia ja API:n palautusformaatteja.

API-analyysin perusteella suunnittelimme liitinarkkitehtuurin keskittyen modulaarisuuteen, skaalautuvuuteen ja vikasietoisuuteen. Ohjelmistoinsinöörimme käyttivät Javaa liittimen koodaamiseen, joka vastasi Codebeamerin API:n linkittämisestä, tietojen noutamisesta ja kirjoittamisesta Kafka-aiheeseen. Toteutimme muuntimen, jolla tiedot muunnettiin Codebeamerin formaatista Kafka-yhteensopivaan muotoon. Tähän sisältyi eri tietokenttien kuvaaminen Kafkan avain-arvopareiksi ja skeemavaihteluiden käsittely. Lopuksi projektiryhmämme hoiti vankan konfiguroinnin, jonka avulla käyttäjät voivat määrittää dynaamisesti API-tunnukset, kyselyvälit ja Kafka-kohdeaiheet.

Ensimmäisessä vaiheessa liitin haki Codebeamerin API:sta uusia ja päivitettyjä tietoja määritettävin väliajoin. Sitten se muutti tiedot Kafka-yhteensopivaan muotoon varmistaen, että jokainen tieto esitetään erillisenä tapahtumana. Hyödynsimme eräkäsittelyominaisuuksia suurten tietomäärien tehokkaaseen käsittelyyn Codebeamerin API:n tai Kafka-klusterin kuormittumatta.

Kafka-liitin FTP-tietolähde

Kehitimme myös mukautetun Kafka-liittimen FTP-tietolähteelle, joka on kriittinen komponentti erilaisten tiedostojen ja tiedostomuotojen, kuten JSONin, XML:n ja CSV:n, yhdistämisessä. Liitin oli yhteydessä FTP-palvelimeen ja valvoi tehokkaasti uusia ja päivitettyjä tiedostoja, poimi ne ja siirsi ne Kafka-ekosysteemiin.

Toteutimme vankan tiedostojen tarkkailumekanismin, joka havaitsee, kun uusia tiedostoja lisätään tai olemassa olevia tiedostoja muutetaan. Sisällytimme älykkään jäsennyslogiikan, joka pystyy automaattisesti tunnistamaan ja käsittelemään oikein kunkin tiedostotyypin ja käsittelemään erilaiset tiedostomuodot (JSON, XML, CSV). Tämä oli ratkaisevan tärkeää, jotta näissä tiedostoissa olevat rakenteiset ja puolistrukturoidut tiedot voitiin muuntaa yhtenäiseen muotoon, joka soveltui Kafkan kautta tapahtuvaan suoratoistoon.

Teknologiat

Back-end

Java-virtuaalikone 17, Kotlin, Spring

CI/CD

CI/CD on-premise

Prosessi

Projektiryhmämme noudatti hyvin jäsenneltyä projektin kulkua, ja jokaisen vaiheen lopussa oli toimituksia, joilla varmistettiin yhdenmukaisuus asiakkaan tavoitteiden kanssa. Lähestymistapamme perustui Scrum-kehykseen, mikä mahdollisti joustavuuden, jatkuvan parantamisen ja asiakkaan vankan sitoutumisen koko hankkeen ajan.

Aluksi liiketoiminta-analyytikkomme järjestivät asiakkaan kanssa työpajoja, joissa selvitettiin asiakkaan tietomaailmaa, tunnistettiin keskeiset tietolähteet ja määriteltiin Kafka-integraation laajuus. Näiden tietojen perusteella he laativat kattavan projektisuunnitelman ja luettelon Kafka-liittimien vaatimuksista.

Vaatimusten keräämisen jälkeen kehittäjämme suunnittelivat Kafka-liittimien arkkitehtuurin. Vuorostaan, QA insinöörit suoritti laajoja tarkastuksia, kuten yksikkö-, integrointi- ja suorituskykytestejä, liittimien luotettavuuden ja tehokkuuden varmistamiseksi.

Lopuksi otimme liittimet käyttöön asiakkaan ympäristössä ja järjestimme asiakkaan tiimille koulutustilaisuuksia uusien tiedonsiirtoratkaisujen hallinnasta ja hyödyntämisestä.

Viestintä asiakkaan kanssa oli koko projektin ajan ensisijaisen tärkeää. Käytimme Slackia päivittäiseen yhteydenpitoon ja Zoomia viikoittaisiin tarkistuksiin ja sprinttiarviointeihin. Tehtävien seuranta ja projektinhallinta hoidettiin Jiran avulla, mikä mahdollisti läpinäkyvän näkyvyyden projektin etenemiseen ja vastuuvelvollisuuden kaikille tiimin jäsenille.

Tällä hetkellä projektiryhmämme tekee pieniä muutoksia tarpeen mukaan. Lisäksi asiakas aikoo lähestyä meitä tulevaisuudessa useampien tiedonsiirtoprojektien toteuttamiseksi.

Joukkue

Tuotteen omistaja

Ratkaisuarkkitehti

Tekninen johtaja

Back-End-kehittäjät

Tulokset

44% Tietojen saatavuuden parantaminen Apache Kafkan kanssa toteutetun dataputken käyttöönoton jälkeen.

Innowise kehitti liitinjärjestelmän, joka kokoaa yhteen asiakkaan tietolähteiden tiedot ja muuntaa ne Apache Kafka -tietovirroiksi. Integroimalla hajanaiset tietolähteet yhtenäiseksi, reaaliaikaiseksi suoratoistoputkeksi Apachen dataputkistoon ratkaisimme tiedon pirstaloitumisen, skaalautuvuuden ja integroinnin keskeiset haasteet. Autovalmistaja hyötyy nyt lievennetystä datasiilosta, tietoon perustuvasta päätöksenteosta ja läpinäkyvästä analytiikasta, jotka edistävät liiketoiminnan kasvua.

Kafka-pohjainen datan suoratoistoratkaisumme on rakennettu skaalautuvaksi, jotta asiakas voi kasvaa nopeasti ja lisätä uusia tietolähteitä suorituskyvystä tinkimättä.

Hankkeen kesto

Marraskuu 2022 - Jatkuva

36%

päätöksenteon tarkkuuden lisääntyminen

44%

tietojen saatavuus paranee

Liittyvät tapaukset

Ota yhteyttä

Varaa puhelu tai täytä alla oleva lomake, niin otamme sinuun yhteyttä, kun olemme käsitelleet pyyntösi.

Nimi

Yritys

Sähköposti

Puhelin

Viesti

Lähetä meille ääniviesti

Liitä asiakirjoja

Lataa tiedosto

Voit liittää 1 enintään 2 Mt:n tiedoston. Hyväksytyt tiedostomuodot: pdf, jpg, jpeg, png.

Klikkaamalla Lähetä, annat suostumuksesi siihen, että Innowise käsittelee henkilötietojasi meidän Tietosuojakäytäntö antaa sinulle asiaankuuluvia tietoja. Antamalla puhelinnumerosi suostut siihen, että voimme ottaa sinuun yhteyttä puheluiden, tekstiviestien ja viestisovellusten kautta. Puhelu-, viesti- ja datahintoja voidaan soveltaa.

Voit myös lähettää meille pyyntösi
osoitteeseen contact@innowise.com

Mitä tapahtuu seuraavaksi?

Kun olemme vastaanottaneet ja käsitelleet pyyntösi, otamme sinuun yhteyttä ja kerromme yksityiskohtaisesti projektin tarpeet ja allekirjoitamme NDA-sopimuksen luottamuksellisuuden varmistamiseksi.

Tutkittuaan toiveesi, tarpeesi ja odotuksesi tiimimme suunnittelee projektin ehdotuksen, jossa esitetään työn laajuus, tiimin koko, aika- ja kustannusarviot.

Järjestämme kanssasi tapaamisen, jossa keskustellaan tarjouksesta ja sovitaan yksityiskohdista.

Lopuksi allekirjoitamme sopimuksen ja aloitamme projektisi toteuttamisen heti.

Tietoputket Apache Kafkan avulla: 36% päätöksenteon tarkkuuden kasvu

Asiakas

Haaste

Toiminnan tehottomuus ja puutteellinen näkemys liiketoiminnan työnkuluista.

Ratkaisu

Apachen dataputki erilaisten tietolähteiden integroimiseksi yhdeksi yhtenäiseksi järjestelmäksi.

Kafka-liitin codebeamer-tietolähteelle

Kafka-liitin FTP-tietolähde

Teknologiat

Prosessi

Joukkue

Tulokset

44% Tietojen saatavuuden parantaminen Apache Kafkan kanssa toteutetun dataputken käyttöönoton jälkeen.

Liittyvät tapaukset

Ota yhteyttä

Mitä tapahtuu seuraavaksi?

Tarvitsetko muita palveluja?

Tilaa osoitteeseen uutiskirjeemme

Tilaa
osoitteeseen uutiskirjeemme