Tiedonhallinnan optimointi: 20%:n vähennys tietojen tallennuskustannuksissa.

Innowise on rakentanut yrityksen tietovaraston, automatisoinut ETL-prosessit ja visualisoinut tiedot parempien data-analytiikka televiestintäalalla.

Asiakas

Teollisuus
Alue
EU
Asiakas vuodesta
2022

Asiakkaamme on johtava eurooppalainen televiestintäyhtiö. Se on vahvasti läsnä markkinoilla ja palvelee laajaa käyttäjäkuntaa varmistaen johdonmukaiset viestintäpalvelut. 

Yksityiskohtaisia tietoja asiakkaasta ei voida luovuttaa NDA:n määräysten nojalla.

Haaste:
Liiketoiminta-analytiikan haasteiden voittaminen tiedonhallintapalveluiden avulla

Teknologian kehittyessä ja tietolähteiden laajentuessa asiakkaamme joutui järjestämättömien tietojen sokkeloon. Päähaasteena oli yhtenäisen järjestelmän puuttuminen eri lähteistä peräisin olevien tietojen yhdistämiseksi ja analysoimiseksi, mikä haittasi strategista suunnittelua ja päätöksentekokykyä.
Muita kysymyksiä olivat:

  • Hidas tiedonsaanti. Tietojen hakemiseen ja käsittelyyn kului paljon aikaa, mikä johti toiminnan tehottomuuteen ja seisokkiaikoihin.
  • Kalliit varastointiratkaisut. Tietojen tallennusta ei optimoitu, mikä johti liian korkeisiin kustannuksiin.
  • Manuaaliset ETL-prosessit. Tietojen louhinta, muuntaminen ja lataaminen (ETL) tapahtui manuaalisesti, mikä teki siitä hankalaa ja virhealtista.
  • Riittämättömät raportointimekanismit. Olemassa olevat raportit ja kojelaudat eivät olleet tarpeeksi interaktiivisia ja oivaltavia, jotta ne olisivat helpottaneet tietoon perustuvaa päätöksentekoa.
Nämä haasteet mielessä pitäen asiakas lähestyi Innowise:tä vertaansa vailla olevien tiedonhallintapalvelujemme vuoksi ja odotti vankkaa ja skaalautuvaa järjestelmää, jolla se voisi uudistaa data-analyysiprosessinsa.

Ratkaisu:
Kattavat ETL-palvelut ja tietovarastointipalvelut teleyritykselle

Ymmärrettyämme asiakkaan haasteet aloitimme perusteellisen analyysin, jotta saimme selville asiakkaan tarpeet kokonaisuudessaan. Asiakkaan ekosysteemi koostui erilaisista tietolähteistä, joista kukin sisälsi arvokkaita tietoja, jotka jäivät hyödyntämättä integraation puutteen vuoksi. Tämän kuilun kuromiseksi umpeen ehdotimme kattavan tiedonhallintajärjestelmän luomista ETL-palveluidemme puitteissa. Järjestelmä suunniteltiin integroimaan erilaiset tietolähteet saumattomasti sekä jalostamaan ja jäsentämään tietoja, jotta ne olisivat valmiita analytiikkaa ja päätöksentekoa varten.

Tiedonkeruu ja integrointi

Käyttämällä Python-skriptejä ja Apache Sparkin hajautettuja tietojenkäsittelyominaisuuksia syötimme tietoja eri lähteistä, kuten relaatiotietokannoista, NoSQL-tietovarastoista ja tiedostojärjestelmistä. Tämä mahdollisti kehittäjillemme yhtenäisen tietomaailman, mikä helpotti myöhempien ETL-prosessien ja analytiikan saatavuutta.

ETL-palvelut Apache Airflow -ohjelmalla

Perustuen kokemukseemme laajamittaisesta tietojenkäsittelystä valitsimme Apache Airflow'n asiakkaiden ETL-putkien orkestrointiin. Apache Airflow'n dynaamisen työnkulun avulla virtaviivaistimme tietojen louhintaa, muuntamista ja lataamista, varmistimme johdonmukaisuuden ja poistimme mahdolliset ristiriidat ennen tietojen tallentamista varastoon.

Tietovarastointipalvelut lumihiutaleen avulla

Snowflake nousi kärkiehdokkaaksi testattuaan erilaisia tietovarastointiratkaisuja sen kyvyn käsitellä suuria tietokokonaisuuksia ja samanaikaisia käsittelyominaisuuksia perusteella. Rakensimme yrityksen tietovaraston, joka varmisti, että tiedot tallennettiin ja haettiin ennennäkemättömällä nopeudella, mikä täytti yhden asiakkaan tärkeimmistä tarpeista.

Analytiikan tehostaminen Tableaun käyttöönottopalveluilla

Asiakkaan vaatimuksista kävi ilmi, että visualisointi oli ratkaiseva osa-alue, joka puuttui. Erilaisista BI-työkaluista Tableau oli selkeä voittaja tässä hankkeessa. Kehitimme Snowflaken tietojen avulla moduulin, jossa on interaktiivisia koontitauluja, jotka antavat jatkuvasti asiakkaan työntekijöille syvällisiä näkemyksiä ja mahdollistavat tietojen vuorovaikutuksen ja analysoinnin monin eri tavoin, mikä edistää tietoon perustuvaa ympäristöä.

Tietojenkäsittelyn automatisointi

Automaatio on välttämätöntä nykypäivän nopeatempoisessa liiketoimintaympäristössä. Apache Airflow'n avulla automatisoimme ja ajoitimme tietojen päivitykset varastossa, jotta asiakas saa reaaliaikaiset tiedot käyttöönsä ilman manuaalisia käynnistyksiä.

Tietoturva

Tiimimme vahvisti asiakkaan tallennustiloissa olevat tiedot. Integroimme edistyksellisiä todennus- ja valtuutusprotokollia ja käytimme salausmekanismeja varmistaaksemme tietojen pyhyyden ja turvallisuuden aina.

Teknologiat ja työkalut

Tietojen käsittely
Python, Apache Spark, Apache Airflow
MySQL, MongoDB, Snowflake
Visualisointityökalut
Jatkuva käyttöönotto
Docker, Jenkins
Konfiguraation hallinta
Ansible
Tarkistuksen valvontajärjestelmät
Git
Verkonhallintajärjestelmät
Zabbix
Palvelimen valvonta
Grafana, Prometheus
Lokien hallinta
ELK-pino (Elasticsearch, Logstash, Kibana)
Jira, Selenium

Prosessi

Kokemuksemme perusteella olemme kehittäneet ja hienosäätäneet jäsennellyn työnkulun, jonka avulla voimme ETL-palvelut ja tietovarastointipalvelut räätälöidään asiakkaidemme tarpeiden mukaan. Tämä strategisiin vaiheisiin jaettu lähestymistapa varmisti sujuvan etenemisen alusta loppuun. 

 

Löytämisvaihe

Ennen teknisiin yksityiskohtiin syventymistä työskentelimme asiakkaamme kanssa ymmärtääkseen hänen tiedonhallintaan liittyvät haasteensa. Näin pystyimme ymmärtämään heidän kipupisteensä ja yhdenmukaistamaan visiomme. Tämän vaiheen lopussa meillä oli selkeä Vision- ja Scope-asiakirja, jossa hahmoteltiin projektin etenemissuunnitelma.

Tietojen integrointivaihe

Selvitysvaiheen jälkeen tärkein tavoitteemme oli yhdistää hajanainen tietomaailma. Integroimalla eri lähteistä peräisin olevia tietoja rakensimme yhtenäisen ympäristön, jossa jokainen tieto löysi oikean paikkansa.

ETL-kehitysvaihe

Tietojen integroinnin jälkeen oli varmistettava sujuva tiedonkulku. Suunnittelimme vankat ETL-putket, jotka muuttavat raakadatan käyttökelpoisiksi oivalluksiksi. Huolellisen testauksen ja hiomisen avulla onnistuimme automatisoimaan ja tehostamaan ETL-prosessia.

Tietovarastointi

Kun ETL-putket oli otettu käyttöön, tarvitsimme voimalaitoksen asiakastietojen tallentamiseen. Hyödyntämällä Snowflake-ominaisuuksia tarjosimme skaalautuvan tallennustilan, joka varmisti tietojen nopean haun.

UI/UX-suunnittelu ja kojelautojen kehittäminen

Varaston tietojen perusteella laadimme käyttäjäystävälliset Tableau-mittaristot. Ymmärrettävän suunnittelun ansiosta varmistimme, että tiedot olivat loppukäyttäjien saatavilla ja helposti omaksuttavissa.

Testaus ja toteutus

Kun lähestyimme maaliviivaa, keskityimme ongelmien ratkaisemiseen ja ratkaisun toteuttamiseen. Iteraatioiden ja palautteen perusteella kehitimme täysin toimivan tiedonhallintajärjestelmän. Noudatimme ketterää menetelmää koko prosessin ajan varmistaaksemme joustavuuden ja reagointikyvyn. Ensisijaisia asiakaskommunikaatiokanavia olivat Slack ja Zoom, ja Jira toimi kätevänä työkaluna tehtävien seurantaan ja hallintaan.

Joukkue

1
Tietoarkkitehti
2
Tiedot Engineers
1
Projektipäällikkö
1
liiketoiminta-analyytikko
1
BI-kehittäjä
2
QA Engineers
1
Tietokannan ylläpitäjä
2
DevOps Engineers
1
Turvallisuusanalyytikko

Tulokset: kehittynyt data-analytiikka tietoliikenneteollisuudessa ja 20%:n vähennys datan tallennuskustannuksissa.

Ratkaisullamme oli mullistava vaikutus asiakkaan toimintaan ja data-analytiikka televiestintäalalla:

  • Nopea tiedonsaanti. Snowflake-ominaisuuksien ansiosta tiedonsaantiaika lyheni 5 sekuntiin.
  • Kustannusten optimointi. Saavutimme 20%:n vähennyksen tietojen tallennuskustannuksissa, mikä johti merkittäviin säästöihin.
  • Parannettu suorituskyky. Interaktiivisten Tableau-raporttien luominen lisäsi työntekijöiden tehokkuutta ja tuottavuutta.
  • Saumaton automaatio. Apache Airflow -ohjelman käyttöönotto ETL-prosesseja varten poisti manuaaliset tehtävät ja virtaviivaisti toimintoja.
  • Parempi päätöksenteko. Parempien raporttien ja analyysien ansiosta päätöksenteon tarkkuus kasvoi 30%.

Parannetun tiedonhallinnan avulla ratkaisimme asiakkaan huolen tiedon pirstaloitumisesta ja loimme perustan tuleville laajennuksille ja integraatioille varmistaen, että asiakas pysyy data-analytiikan ja -hallinnan eturintamassa.

Hankkeen kesto
  • tammikuu 2022 - tammikuu 2023

20%

tietojen tallennuskustannusten vähentäminen

30%

päätöksenteon tarkkuuden lisääntyminen

    Ota yhteyttä

    Varaa puhelu tai täytä alla oleva lomake, niin otamme sinuun yhteyttä, kun olemme käsitelleet pyyntösi.

    Lähetä meille ääniviesti
    Liitä asiakirjoja
    Lataa tiedosto

    Voit liittää 1 enintään 2 Mt:n tiedoston. Hyväksytyt tiedostomuodot: pdf, jpg, jpeg, png.

    Klikkaamalla Lähetä, annat suostumuksesi siihen, että Innowise käsittelee henkilötietojasi meidän Tietosuojakäytäntö antaa sinulle asiaankuuluvia tietoja. Antamalla puhelinnumerosi suostut siihen, että voimme ottaa sinuun yhteyttä puheluiden, tekstiviestien ja viestisovellusten kautta. Puhelu-, viesti- ja datahintoja voidaan soveltaa.

    Voit myös lähettää meille pyyntösi
    osoitteeseen contact@innowise.com

    Mitä tapahtuu seuraavaksi?

    1

    Kun olemme vastaanottaneet ja käsitelleet pyyntösi, otamme sinuun yhteyttä ja kerromme yksityiskohtaisesti projektin tarpeet ja allekirjoitamme NDA-sopimuksen luottamuksellisuuden varmistamiseksi.

    2

    Tutkittuaan toiveesi, tarpeesi ja odotuksesi tiimimme suunnittelee projektin ehdotuksen, jossa esitetään työn laajuus, tiimin koko, aika- ja kustannusarviot.

    3

    Järjestämme kanssasi tapaamisen, jossa keskustellaan tarjouksesta ja sovitaan yksityiskohdista.

    4

    Lopuksi allekirjoitamme sopimuksen ja aloitamme projektisi toteuttamisen heti.

    nuoli