Datahåndtering i banksektoren: 34% reduksjon i databehandlingstid

Innowise har utviklet et sentralisert arkiv for å lagre, behandle og sikre store mengder data knyttet til bedriftskunder, bankkontoer og betalingstransaksjoner.

Kunde

Industri

Banking

Region

Kunde siden

2021

Vår kunde er en fremtredende finansinstitusjon som tilbyr banktjenester til privatpersoner og bedrifter, formuesforvaltning, forsikring, megling og mye mer. De ble grunnlagt tidlig på 1900-tallet og har utviklet seg betydelig gjennom tiårene, og har tatt i bruk ny teknologi og nye metoder for å forbedre kundeopplevelsen og effektiviteten i driften.

Detaljert informasjon om kunden kan ikke utleveres i henhold til bestemmelsene i NDA.

Utfordring

Ulik bankrelatert data på tvers av ulike kilder som hindret beslutningstaking

Kunden vår hadde utfordringer med å håndtere og hente ut verdi fra de enorme og voksende datamengdene på tvers av bedriftskunder, bankkontoer og betalingstransaksjoner. Dataene var spredt over flere eldre systemer, og banken hadde store utfordringer med databehandling og analyse, og slet med å få innsikt i tide til å ta beslutninger. I tillegg manglet den eksisterende infrastrukturen skalerbarhet, samtidig som det ble uholdbart å opprettholde ulike foreldede systemer.

Et annet problem som sprang ut av denne sentrale utfordringen, var at det var vanskelig å overholde de strenge bankrelaterte lovkravene. Systemene for datalagring og -håndtering var spredte, noe som gjorde det vanskelig å spore, rapportere og revidere data på en effektiv måte. Dette økte risikoen for ufrivillige lovbrudd, ettersom bankansatte måtte bruke mye tid på å samle inn og verifisere data.

Som et resultat av dette ga kunden Innowise i oppdrag å bygge en robust datasjøarkitektur som kunne konsolidere de ulike datasettene deres i ett enkelt, skalerbart og sikkert miljø for datahåndtering i banksektoren. De var på jakt etter en praktisk løsning for å holde oversikt over informasjon om kunder, kontoer og transaksjoner, overholde lovpålagte standarder og akselerere syklusen fra rådata til handlingsrettet forretningsinnsikt.

Løsning

Utvikling av en datasjø for lagring av rensede og strukturerte bankdata

Vi utviklet en sentralisert database for å lagre og integrere datastrømmer fra en rekke ulike kilder, inkludert elektroniske banktjenester, mobilapplikasjoner og sosiale medier. Våre erfarne spesialister implementerte en medallion lakehouse-arkitektur, med fokus på en ACID-drevet, flerlagstilnærming for å bygge en felles sannhetskilde for lagring av bankdata.

Lagdeling av data

Grunnlaget for datasjøen, bronselaget, inneholder rådata fra ulike kilder som JSON-filer, RDBMS og mer, som lagres sikkert i sin opprinnelige form. Basert på bronselaget foredler sølvlaget disse dataene, renser og normaliserer dem for avanserte analyser. Til slutt, i toppen av datastrukturen, gull-laget, finner vi aggregerte data på forretningsnivå for rapportering på høyt nivå og instrumentbord, slik at banken kan generere innsikt som kan brukes til handling.

Prosjektteamet vårt identifiserte alle potensielle datakilder, inkludert transaksjonssystemer, kundedatabaser, nettportaler og mer. Spesialistene våre kartla hver enkelt datakilde, og forsto formatet, oppdateringsfrekvensen og relevansen. Som det viktigste trinnet utviklet vi automatiserte datainntaksrørledninger ved hjelp av ETL-verktøy (extract, transform, load) for å håndtere ulike dataformater som CSV, JSON, XML og RDBMS. Avhengig av datakildens art etablerte vi sanntids- eller batchprosesseringspipelines.

Sanntidsrørledninger ble brukt for datastrømmer som krevde umiddelbar behandling (for eksempel transaksjonsdata), mens batchbehandling var forbeholdt mindre tidssensitive data. Etter hvert som dataene kom inn i bronselaget, gjennomgikk de en innledende valideringsprosess som sjekket integritet, formatkonsistens og eventuelle korrupte eller ufullstendige poster.

Sølvlaget: databehandling og foredling

På dette stadiet fokuserte prosjektteamet vårt på å berike rådataene fra bronselaget og omforme dem til et mer strukturert og brukbart format. Våre godkjente utviklere identifiserte og korrigerte typografiske feil, inkonsekvenser i dataformatet og uoverensstemmelser, og fjernet dupliserte poster for å unngå villedende innsikt. Vi implementerte strategier for imputering og flagging av data for datasett med manglende verdier, og sendte disse postene til videre gjennomgang avhengig av arten og betydningen av de tapte dataene.

Deretter forbedret prosjektteamet vårt dataene ved å legge til relevant kontekst eller tilleggsinformasjon. For eksempel utvidet vi transaksjonsdataene med demografisk informasjon om kundene, noe som muliggjorde en mer omfattende analyse. Etter at dataene var bearbeidet og aggregert, brukte vi indekseringsteknikker for raskere spørring og gjenfinning. Til slutt kryssrefereres og kobles data fra ulike kilder, og liknende informasjon fra ulike kilder konsolideres til enhetlige datasett, noe som gjør det enklere å utføre helhetlige analyser. Ved å sørge for at dataene er rene, konsistente og velstrukturerte, har vi banet vei for avansert analyse og business intelligence i gulllaget.

Det gylne laget: analyseklare data

Gullaget er toppen av datasjø-arkitekturen vår, der data omdannes til analyseklar informasjon som er spesielt skreddersydd for analyse, rapportering og beslutningstaking på høyt nivå. Data fra sølvlaget aggregeres ytterligere for å skape omfattende sammendrag på høyt nivå. Vi fokuserte på å oppsummere data på måter som samsvarer med viktige forretningsmessige beregninger og mål, for eksempel kredittrisikovurderinger, markedstrender eller kundesegmentering.

Utviklerne våre designet og implementerte interaktive dashbord og rapporter som gir bankens beslutningstakere innsikt og visualiseringer i sanntid. Med fokus på sikkerhet etablerte vi et robust rammeverk for datastyring for å håndtere datakvalitet, brukervennlighet og sikkerhet. Ingeniørene våre sørget for en skalerbar arkitektur som tok høyde for økende datamengder og kompleksitet uten at ytelsen ble forringet, samtidig som integriteten og påliteligheten til analyseresultatene ble opprettholdt.

I gulllaget gjorde vi data til en strategisk ressurs, slik at banken kunne ta informerte beslutninger, forstå kundenes behov bedre og holde seg i forkant i den konkurranseutsatte bankbransjen.

Basert på raffinerte bankrelaterte data gjorde Innowise det mulig for kunden å implementere NBA-metodikken (Next Best Action) og NBO-metodikken (Next Best Offer). NBA prioriterer en kundesentrert tilnærming og analyserer nylige interaksjoner for å foreslå de mest egnede tiltakene, inkludert å sende bursdagsmeldinger, forbedre servicekvaliteten, samle inn tilbakemeldinger, gi instruksjoner om onboarding og mer. Ved hjelp av prediktiv analyse velger NBA tiltak som er skreddersydd for kundens nåværende situasjon, med sikte på å oppnå positive resultater. NBO optimaliserer i sin tur utvalget av personaliserte tilbud fra kundens omfattende produktutvalg. NBO evaluerer og foreslår automatisk produkter som sannsynligvis vil falle i smak hos kundene, ved å levere tilbud på riktig tidspunkt, til riktig pris og gjennom de mest effektive kanalene.

I tillegg konsoliderte utviklerne våre data fra ulike tabeller og modeller som var lagret i datavarehuset, for å skape omfattende, sammenhengende og praktiske profiler for hver enkelt kunde, noe som muliggjør bedre informerte beslutninger og handlinger. Den omfattende og gjennomtenkte tilnærmingen til håndtering av analyseklare data sikrer at banken kan utnytte dataene til sitt fulle potensial, øke konverteringsfrekvensen og drive frem vekst.

Teknologier

Data Engineering

Cloudera Data Platform, Hadoop, Spark, Airflow

Back-end

Python, Fast API, Scala, Akka

Database

MS SQL Server, Oracle

BI-verktøy

Power BI, SSRS, QlickView

Prosess

Innowise vant en anbudskonkurranse før vi gikk i gang med prosjektet. Etter at vi vant anbudskonkurransen, gikk vi i gang med programvareutviklingsprosessen og demonstrerte vår kompetanse og tilpasning til kundens visjon.

Vi opprettet en PoC med sikte på å bruke Kubernetes og gå bort fra de eksisterende Cloudera-baserte systemene. På grunn av begrensningene i kundens nåværende datasenter viste de imidlertid tegn til nøling når det gjaldt implementering og støtte for Kubernetes.

I kartleggingsfasen gjorde prosjektteamet vårt grundige undersøkelser for å forstå det nåværende datalandskapet og identifisere viktige datakilder og krav. Deretter laget vi et detaljert design som inneholdt bronse-, sølv- og gulllagene for databehandling og -foredling, og sørget for at dataene flyter sømløst i samsvar med ACID-prinsippene. Deretter utførte vi omfattende testing for å garantere integriteten og ytelsen til datasjøen, og implementerte en tilbakemeldingsmekanisme for kontinuerlig forbedring. Til slutt implementerte prosjektteamet vårt datasjøen, integrerte den med bankens eksisterende systemer og sørget for opplæring og støtte til bankens ansatte.

Team

Business Analisten

Prosjektleder

BI-utvikler

Dataingeniører

DevOps-ingeniør

Data Quality Engineer

Resultater

Strømlinjeformede dataprosesser og overholdelse av regelverk etter utvikling av datasjøen

Implementeringen av datasjøen for bankkunden vår har gitt transformative resultater på tvers av ulike dimensjoner av virksomheten. Mens de tidligere slet med fragmentert og ustrukturert informasjon spredt over flere kilder, har de nå enkel og forutsigbar tilgang til bedriftskundedata, bankkontoer og informasjon om betalingstransaksjoner. Bankens team opererer nå med pålitelige og konsistente data, noe som baner vei for mer nøyaktige analyser og rapportering. Konsolideringen av data i én enkelt, skalerbar Lakehouse-arkitektur har ført til betydelige kostnadsbesparelser innen datalagring og -administrasjon ved at overflødige systemer er eliminert og dataprosessene effektivisert.

Integrasjonen av automatiserte datapipelines og strømlinjeformede datalag har redusert databehandlingstiden betraktelig, noe som muliggjør raskere beslutningstaking og mer responsiv kundeservice.

Kunden vår har også forbedret kunderelasjonsstyringen og forretningsresultatene ved å levere personaliserte, tidsriktige og relevante tiltak og tilbud basert på raffinerte og standardiserte data. Denne tilnærmingen har økt konverteringer og inntekter og optimalisert markedsføringsbudsjettene ved å målrette skreddersydde tilbud kun til interesserte potensielle kunder.

Med den nye datasjøen har dessuten compliance-rapporteringen blitt mer effektiv i en bransje der lovbrudd kan få betydelige konsekvenser.

Prosjektets varighet

Mars 2021 - Løpende

34%

reduksjon i databehandlingstid

26%

forbedring i samsvarsrapportering

Relaterte saker

Ta kontakt med oss!

Bestill en samtale eller fyll ut skjemaet nedenfor, så kontakter vi deg så snart vi har behandlet forespørselen din.

Hva skjer videre?

Etter at vi har mottatt og behandlet forespørselen din, vil vi komme tilbake til deg innen kort tid for å beskrive prosjektbehovene dine og undertegne en taushetserklæring for å sikre informasjonens konfidensialitet.

Etter å ha undersøkt kravene, utarbeider våre analytikere og utviklere en prosjektforslag med arbeidsomfang, teamstørrelse, tid og kostnader estimater.

Vi arrangerer et møte med deg for å diskutere tilbudet og komme til en avtale.

Vi signerer en kontrakt og begynner å jobbe med prosjektet ditt så raskt som mulig.