Datahantering inom banksektorn: 34% minskning av databehandlingstiden

Innowise har utvecklat ett centraliserat arkiv för att lagra, bearbeta och säkra stora mängder data som rör företagskunder, bankkonton och betalningstransaktioner.

Kund

Industri

Banking

Region

Kund sedan

2021

Vår kund är ett framstående finansinstitut som erbjuder banktjänster till privatpersoner och företag, förmögenhetsförvaltning, försäkringar, mäklartjänster med mera. De grundades i början av 1900-talet och har utvecklats avsevärt under årtiondena och anammat ny teknik och praxis för att förbättra kundupplevelsen och den operativa effektiviteten.

Detaljerad information om kunden kan inte lämnas ut enligt bestämmelserna i NDA.

Utmaning

Olika bankrelaterade data från olika källor som försvårade beslutsfattandet

Vår kund stod inför utmaningar med att hantera och utvinna värde ur de stora och växande volymerna av data om företagskunder, bankkonton och betalningstransaktioner. Med data spridda över flera äldre system upplevde banken betydande utmaningar med databehandling och analys och kämpade för att få insikter i rätt tid för beslutsfattande. Dessutom saknade den befintliga infrastrukturen skalbarhet, samtidigt som det blev ohållbart att underhålla olika föråldrade system.

En annan fråga som härrörde från denna centrala utmaning var svårigheten att uppfylla stränga bankrelaterade myndighetskrav. Systemen för datalagring och datahantering var utspridda, vilket gjorde det svårt att spåra, rapportera och granska data på ett effektivt sätt. Detta ökade risken för ofrivilliga överträdelser eftersom bankrepresentanterna var tvungna att lägga mycket tid på att samla in och verifiera data.

Kunden gav därför Innowise i uppdrag att bygga en robust data lake-arkitektur som kunde konsolidera deras olika datauppsättningar till en enda, skalbar och säker miljö för datahantering, inom banksektorn. De sökte en bekväm lösning för att hålla reda på information om kunder, konton och transaktioner och följa regleringsstandarder, vilket påskyndar cykeln från rådata till handlingsbara affärsinsikter.

Lösning

Utveckling av datasjöar för lagring av rensad och strukturerad bankdata

Vi utvecklade en centraliserad databas för att lagra och integrera dataströmmar som samlats in från en mängd olika källor, inklusive elektroniska banktjänster, mobila applikationer och sociala medier. Våra erfarna specialister implementerade en medallion lakehouse-arkitektur, med fokus på en ACID-driven, flerskiktad metod för att bygga en enda sanningskälla för lagring av bankdata.

Skiktning av data

Grunden för datasjön, bronslagret, innehåller rådata som hämtas från olika källor som JSON-filer, RDBMS med mera, och som lagras säkert i sin ursprungliga form. Baserat på bronslagret förädlar silverlagret dessa data, rensar och normaliserar dem för avancerad analys. Slutligen innehåller datastrukturens höjdpunkt, guldlagret, aggregat på affärsnivå för rapportering på hög nivå och instrumentpaneler, vilket gör det möjligt för banken att generera handlingsbara insikter.

Vårt projektteam identifierade alla potentiella datakällor, inklusive transaktionssystem, kunddatabaser, onlineportaler och mycket mer. Våra specialister kartlade varje datakälla och förstod dess format, uppdateringsfrekvens och relevans. Som ett viktigt steg utvecklade vi automatiserade pipelines för datainmatning med hjälp av ETL-verktyg (extract, transform, load) för att hantera olika dataformat som CSV, JSON, XML och RDBMS. Beroende på datakällans karaktär etablerade vi pipelines för realtids- eller batchbearbetning.

Pipelines i realtid användes för dataströmmar som krävde omedelbar behandling (t.ex. transaktionsdata), medan batchbehandling reserverades för mindre tidskänsliga data. När data kom in i bronslagret genomgick de en första valideringsprocess som kontrollerade integritet, formatkonsistens och eventuella korrupta eller ofullständiga poster.

Silverlager: databehandling och förädling

I det här skedet fokuserade vårt projektteam på att berika rådata från bronslagret och omvandla dem till ett mer strukturerat och användbart format. Våra kontrollerade utvecklare identifierade och korrigerade typografiska fel, inkonsekvenser i dataformat och avvikelser samt tog bort dubbla poster för att undvika missvisande insikter. Vi implementerade strategier för imputering och flaggning av data för dataset med saknade värden och skickade dessa poster för ytterligare granskning beroende på arten och betydelsen av förlorade data.

Därefter förbättrade vårt projektteam uppgifterna genom att lägga till relevant sammanhang eller ytterligare information. Till exempel kompletterade vi transaktionsdata med demografisk information om kunderna, vilket möjliggjorde en mer omfattande analys. När data hade förfinats och aggregerats använde vi indexeringstekniker för snabbare frågor och hämtning. Slutligen korsrefereras och länkas data från olika källor, medan liknande information från olika källor konsolideras till enhetliga dataset, vilket gör det lättare att utföra holistiska analyser. Genom att se till att data är rena, konsekventa och välstrukturerade har vi banat väg för avancerad analys och business intelligence i guldlagret.

Gyllene lager: data som är redo för analys

Guldlagret är toppen av vår datasjöarkitektur, där data omvandlas till analysklar information som är särskilt anpassad för analys, rapportering och beslutsfattande på hög nivå. Data från silverlagret aggregeras ytterligare för att skapa omfattande sammanfattningar på hög nivå. Vi fokuserade på att sammanfatta data på sätt som överensstämmer med viktiga affärsmått och mål, till exempel kreditriskbedömningar, marknadstrender eller kundsegmentering.

Våra utvecklare utformade och implementerade interaktiva instrumentpaneler och rapporter som gav bankens beslutsfattare insikter och visualiseringar i realtid. Med fokus på säkerhet etablerade vi ett robust ramverk för datastyrning för att hantera datakvalitet, användbarhet och säkerhet. Våra ingenjörer såg till att arkitekturen var skalbar och kunde hantera växande datavolymer och komplexitet utan att prestandan försämrades och med bibehållen integritet och tillförlitlighet i analysresultaten.

I guldlagret förvandlade vi data till en strategisk tillgång som gjorde det möjligt för banken att fatta välgrundade beslut, bättre förstå kundernas behov och ligga steget före i den konkurrensutsatta bankbranschen.

Baserat på förfinade bankrelaterade data gjorde Innowise det möjligt för kunden att implementera metoderna Next Best Action (NBA) och Next Best Offer (NBO). NBA prioriterar ett kundcentrerat tillvägagångssätt och analyserar de senaste interaktionerna för att föreslå de mest lämpliga åtgärderna, inklusive att skicka födelsedagsmeddelanden, förbättra servicekvaliteten, samla in feedback, tillhandahålla instruktioner för ombordstigning med mera. Genom att utnyttja prediktiv analys väljer NBA åtgärder som är skräddarsydda för kundens aktuella situation och strävar efter positiva resultat. NBO optimerar i sin tur urvalet av personliga erbjudanden från en kunds omfattande produktsortiment. NBO utvärderar och föreslår automatiskt produkter som sannolikt kommer att gå hem hos kunderna genom att leverera erbjudanden vid rätt tidpunkt, till rätt pris och via de mest effektiva kanalerna.

Dessutom konsoliderade våra utvecklare data från olika tabeller och modeller som lagrats i datalagret för att skapa omfattande, sammanhängande och praktiska profiler för varje kund, vilket möjliggör bättre underbyggda beslut och åtgärder. Det omfattande och genomtänkta tillvägagångssättet för att hantera data som är redo för analys säkerställer att banken kan utnyttja sin data till sin fulla potential, öka konverteringsgraden och driva på tillväxten.

Teknik

Data Engineering

Cloudera Data Platform, Hadoop, Spark, Airflow

Back-end

Python, Fast API, Scala, Akka

Databas

MS SQL Server, Oracle

BI-verktyg

Power BI, SSRS, QlickView

Process

Innowise vann en konkurrensutsatt upphandling innan vi började med projektet. Efter att ha vunnit upphandlingen påbörjade vi mjukvaruutvecklingsprocessen och demonstrerade våra färdigheter och vår anpassning till kundens vision.

Vi skapade en PoC, med målet att använda Kubernetes och flytta bort från de befintliga Cloudera-baserade systemen. Men på grund av begränsningarna i kundens nuvarande datacenter visade de tecken på tveksamhet när det gällde implementering och support av Kubernetes.

Under upptäcktsfasen genomförde vårt projektteam grundliga undersökningar för att förstå det aktuella datalandskapet och identifiera viktiga datakällor och krav. Därefter skapade vi en detaljerad design som omfattade brons-, silver- och guldlagren för databehandling och förädling, vilket säkerställde att data flödade sömlöst i enlighet med ACID-principerna. Därefter utförde vi omfattande tester för att garantera datasjöns integritet och prestanda, och implementerade en feedbackmekanism för kontinuerlig förbättring. Slutligen lyckades vårt projektteam framgångsrikt driftsätta datasjön, integrera den med bankens befintliga system och tillhandahålla utbildning och support till bankens anställda.

Team

Affärsanalytiker

Projektledare

BI-utvecklare

Dataingenjörer

DevOps-ingenjör

Ingenjör inom datakvalitet

Resultat

Effektiviserade dataprocesser och efterlevnad av regelverk efter utveckling av datasjö

Implementeringen av datasjön för vår bankkund har gett omvälvande resultat i olika dimensioner av deras verksamhet. Från att tidigare ha kämpat med fragmenterad och ostrukturerad information från flera olika källor har de nu enkel och förutsägbar åtkomst till företagskunddata, bankkonton och information om betalningstransaktioner. Bankens team arbetar nu med tillförlitliga och konsekventa data, vilket banar väg för mer exakta analyser och rapportering. Konsolideringen av data till en enda skalbar Lakehouse-arkitektur har lett till betydande kostnadsbesparingar inom datalagring och datahantering genom att redundanta system har eliminerats och dataprocesserna har effektiviserats.

Integrationen av automatiserade data pipelines och strömlinjeformade datalager har avsevärt minskat databehandlingstiden, vilket möjliggör snabbare beslutsfattande och mer lyhörd kundservice.

Vår kund har också förbättrat hanteringen av kundrelationer och affärsprestanda genom att leverera personliga, aktuella och relevanta åtgärder och erbjudanden baserade på förfinade och standardiserade data. Detta tillvägagångssätt har ökat konverteringarna och intäkterna och optimerat marknadsföringsbudgetarna genom att rikta skräddarsydda erbjudanden endast till intresserade prospekt.

Med den nya datasjön har dessutom rapporteringen av efterlevnad blivit mer effektiv i en bransch där lagöverträdelser kan få betydande konsekvenser.

Projektets löptid

Mars 2021 - Löpande

34%

minskning av tiden för databehandling

26%

förbättring av rapportering av efterlevnad

Relaterade fall

Kontakta oss!

Boka ett samtal eller fyll i formuläret nedan så återkommer vi till dig när vi har behandlat din förfrågan.

Namn

Företag

E-post

Telefon

Meddelande Vänligen inkludera projektinformation, varaktighet, teknologistack, IT-proffs som behövs och annan relevant information

Spela in ett röstmeddelande om ditt projekt för att hjälpa oss att förstå det bättre

Bifoga ytterligare dokument vid behov

Ladda upp filen

Du kan bifoga upp till 1 fil på totalt 2 MB. Giltiga filer: pdf, jpg, jpeg, png

Observera att när du klickar på knappen Skicka kommer Innowise att behandla dina personuppgifter i enlighet med vår Integritetspolicy för att ge dig lämplig information.

Vad händer härnäst?

Efter att ha mottagit och behandlat din begäran kommer vi att återkomma till dig inom kort för att specificera dina projektbehov och underteckna en NDA för att säkerställa konfidentialitet av information.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma överens.

Vi skriver på ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt.