Por favor, deixe os seus contactos, enviar-lhe-emos o nosso whitepaper por e-mail
Autorizo o tratamento dos meus dados pessoais para o envio de materiais de marketing personalizados em conformidade com a Política de privacidade. Ao confirmar a submissão, o utilizador aceita receber materiais de marketing
Obrigado!

O formulário foi enviado com sucesso.
Encontrará mais informações na sua caixa de correio.

O Innowise é uma empresa internacional de desenvolvimento de software de ciclo completo fundada em 2007. Somos uma equipa de mais de 1600+ profissionais de TI que desenvolvem software para outros profissionais em todo o mundo.
Sobre nós
O Innowise é uma empresa internacional de desenvolvimento de software de ciclo completo fundada em 2007. Somos uma equipa de mais de 1600+ profissionais de TI que desenvolvem software para outros profissionais em todo o mundo.

Gestão de dados no sector bancário: redução de 34% no tempo de processamento de dados

A Innowise desenvolveu um repositório centralizado para armazenar, processar e proteger grandes quantidades de dados relacionados com clientes empresariais, contas bancárias e transacções de pagamento.

Cliente

Indústria
Banking
Região
UE
Cliente desde
2021

O nosso cliente é uma instituição financeira proeminente que oferece serviços de banca de retalho, banca de empresas, gestão de património, seguros, serviços de corretagem e muito mais. Fundada no início do século XX, a instituição evoluiu significativamente ao longo das décadas, adoptando novas tecnologias e práticas para melhorar a experiência do cliente e a eficiência operacional.

As informações pormenorizadas sobre o cliente não podem ser divulgadas ao abrigo das disposições do NDA.

Desafio

Dados bancários díspares em várias fontes que dificultavam a tomada de decisões

O nosso cliente enfrentou desafios na gestão e extração de valor dos vastos e crescentes volumes de dados sobre clientes empresariais, contas bancárias e transacções de pagamento. Com os dados dispersos por vários sistemas antigos, o banco enfrentava desafios significativos de processamento e análise de dados, lutando para obter informações atempadas para a tomada de decisões. Além disso, a infraestrutura existente carecia de escalabilidade, enquanto a manutenção de vários sistemas obsoletos se tornava insustentável. 

Outra questão decorrente deste desafio central era a dificuldade de cumprir os rigorosos requisitos regulamentares relacionados com a atividade bancária. Os sistemas de armazenamento e gestão de dados estavam dispersos, o que dificultava o controlo, a comunicação e a auditoria dos dados de forma eficaz. Este facto aumentava o risco de violações involuntárias, uma vez que os representantes bancários tinham de despender muito tempo na recolha e verificação de dados.

Como resultado, o cliente encomendou à Innowise a construção de uma arquitetura robusta de data lake que pudesse consolidar os seus diversos conjuntos de dados num ambiente único, escalável e seguro para gestão de dados no sector bancário. Procuravam uma solução conveniente para acompanhar as informações sobre clientes, contas e transacções e cumprir as normas regulamentares, acelerando o ciclo desde a introdução de dados em bruto até às informações comerciais accionáveis.

Solução

Desenvolvimento de um lago de dados para armazenar dados bancários limpos e estruturados

Desenvolvemos uma base de dados centralizada para armazenar e integrar fluxos de dados recolhidos a partir de uma variedade de fontes, incluindo serviços bancários electrónicos, aplicações móveis e redes sociais. Os nossos especialistas experientes implementaram uma arquitetura medallion lakehouse, concentrando-se numa abordagem ACID orientada para várias camadas para criar uma única fonte de verdade para o armazenamento de dados bancários.  

Camadas de dados

A base do lago de dados, a camada bronze, contém dados brutos ingeridos de várias fontes, como ficheiros JSON, RDBMS, etc., armazenados de forma segura na sua forma original. Com base na camada bronze, a camada prata refina esses dados, limpando-os e normalizando-os para análises avançadas. Por fim, o pináculo da estrutura de dados, a camada dourada, contém agregados a nível empresarial para relatórios e painéis de controlo de alto nível, permitindo ao banco gerar conhecimentos accionáveis.

A nossa equipa de projeto identificou todas as potenciais fontes de dados, incluindo sistemas transaccionais, bases de dados de clientes, portais online, entre outros. Os nossos especialistas mapearam cada fonte de dados, compreendendo o seu formato, frequência de atualização e relevância. Como etapa principal, desenvolvemos pipelines de ingestão de dados automatizados usando ferramentas ETL (extrair, transformar, carregar) para lidar com diferentes formatos de dados, como CSV, JSON, XML e RDBMS. Dependendo da natureza da fonte de dados, estabelecemos pipelines de processamento em tempo real ou em lote. 

Os pipelines em tempo real foram utilizados para fluxos de dados que exigiam um processamento imediato (como dados transaccionais), enquanto o processamento em lote foi reservado para dados menos sensíveis ao tempo. À medida que os dados entravam na camada de bronze, eram submetidos a um processo de validação inicial, verificando a integridade, a consistência do formato e quaisquer registos corrompidos ou incompletos.

Camada prateada: processamento e refinamento de dados

Nesta fase, a nossa equipa de projeto concentrou-se em enriquecer os dados brutos da camada bronze e transformá-los num formato mais estruturado e utilizável. Os nossos programadores, que foram verificados, identificaram e corrigiram erros tipográficos, inconsistências no formato dos dados e discrepâncias, bem como removeram registos duplicados para evitar informações enganadoras. Implementámos estratégias de imputação de dados e de sinalização para conjuntos de dados com valores em falta, enviando estes registos para análise posterior, dependendo da natureza e da importância dos dados perdidos.

Em seguida, a nossa equipa de projeto melhorou os dados, acrescentando contexto relevante ou informações adicionais. Por exemplo, aumentámos os dados das transacções com informações demográficas dos clientes, permitindo uma análise mais abrangente. Depois de os dados terem sido refinados e agregados, aplicámos técnicas de indexação para uma consulta e recuperação mais rápidas. Por fim, os dados de diferentes fontes são cruzados e ligados, enquanto informações semelhantes de várias fontes são consolidadas em conjuntos de dados unificados, facilitando a realização de análises holísticas. Ao garantir que os dados são limpos, consistentes e bem estruturados, abrimos o caminho para análises avançadas e business intelligence na camada dourada.

Camada dourada: dados prontos para análise

A camada dourada é o ápice da nossa arquitetura de lago de dados, onde os dados são transformados em informações prontas para análise, especificamente adaptadas para análise de alto nível, relatórios e tomada de decisões. Os dados da camada prateada são ainda agregados para criar resumos abrangentes e de alto nível. Concentrámo-nos em resumir os dados de forma a que se alinhem com as principais métricas e objectivos empresariais, tais como avaliações de risco de crédito, tendências de mercado ou segmentação de clientes.

Os nossos programadores conceberam e implementaram dashboards e relatórios interactivos, dando aos decisores do banco informações e visualizações em tempo real. Com foco na segurança, estabelecemos uma estrutura robusta de governança de dados para gerenciar a qualidade, usabilidade e segurança dos dados. Os nossos engenheiros asseguraram uma arquitetura escalável, acomodando volumes de dados e complexidade crescentes sem degradação do desempenho e mantendo a integridade e fiabilidade dos resultados analíticos. 

Na camada dourada, transformámos os dados num ativo estratégico, permitindo ao banco tomar decisões informadas, compreender melhor as necessidades dos clientes e manter-se à frente no competitivo sector bancário. 

Assim, com base em dados bancários refinados, a Innowise permitiu que o cliente implementasse as metodologias Next Best Action (NBA) e Next Best Offer (NBO). A NBA dá prioridade a uma abordagem centrada no cliente, analisando as interacções recentes para sugerir as acções mais adequadas, incluindo o envio de mensagens de aniversário, a melhoria da qualidade do serviço, a recolha de feedback, o fornecimento de instruções de integração, etc. Ao tirar partido da análise preditiva, a NBA selecciona acções adaptadas à situação atual do cliente, com vista a obter resultados positivos. Por sua vez, o NBO optimiza a seleção de ofertas personalizadas a partir da vasta gama de produtos de um cliente. O NBO avalia e sugere automaticamente os produtos susceptíveis de serem aceites pelos clientes, apresentando ofertas no momento certo, ao preço certo e através dos canais mais eficazes.

Além disso, os nossos programadores consolidaram dados de diferentes tabelas e modelos armazenados no armazém de dados para criar perfis abrangentes, coesos e práticos para cada cliente, permitindo decisões e acções mais bem informadas. A abordagem abrangente e cuidadosa da gestão de dados prontos para análise garante que o banco pode aproveitar ao máximo o potencial dos seus dados, aumentando as taxas de conversão e impulsionando o crescimento.

Tecnologias

Data Engineering

Cloudera Data Platform, Hadoop, Spark, Airflow

Back-end

Python, API rápida, Scala, Akka

Base de dados

MS SQL Server, Oracle

Ferramentas de BI

Power BI, SSRS, QlickView

Processo

A Innowise ganhou um concurso público antes de mergulhar no projeto. Após o nosso sucesso no concurso, iniciámos o processo de desenvolvimento de software, demonstrando as nossas competências e o alinhamento com a visão do cliente.

Criámos um PoC, com o objetivo de utilizar o Kubernetes e de nos afastarmos dos sistemas existentes baseados no Cloudera. No entanto, devido às limitações do atual centro de dados do cliente, este mostrou sinais de hesitação relativamente à implementação e suporte de Kubernetes.

Durante a fase de descoberta, a nossa equipa de projeto conduziu uma investigação exaustiva para compreender o panorama atual dos dados e identificar as principais fontes e requisitos de dados. Posteriormente, criámos um design detalhado que incorporou as camadas bronze, prata e ouro para processamento e refinamento de dados, assegurando que os dados fluem sem problemas de acordo com os princípios ACID. De seguida, realizámos testes exaustivos para garantir a integridade e o desempenho do lago de dados, implementando um mecanismo de feedback para melhoria contínua. Por fim, a nossa equipa de projeto implementou com êxito o lago de dados, integrando-o nos sistemas existentes do banco e fornecendo formação e apoio aos funcionários do banco.

Equipa

2

Analistas de negócios

1

Gestor de projectos

1

Programador de BI

3

Engenheiros de dados

2

Engenheiro DevOps

1

Engenheiro de qualidade de dados

Resultados

Processos de dados simplificados e conformidade regulamentar após o desenvolvimento do lago de dados

A implementação do lago de dados para o nosso cliente bancário produziu resultados transformadores em várias dimensões das suas operações. Anteriormente a braços com informações fragmentadas e não estruturadas espalhadas por várias fontes, agora acedem sem esforço a dados de clientes empresariais, contas bancárias e informações sobre transacções de pagamento com previsibilidade e facilidade. As equipas do banco operam agora com dados fiáveis e consistentes, abrindo caminho para análises e relatórios mais precisos. A consolidação de dados numa arquitetura lakehouse única e escalável conduziu a poupanças de custos significativas no armazenamento e gestão de dados, em resultado da eliminação de sistemas redundantes e da simplificação dos processos de dados.

A integração de condutas de dados automatizadas e camadas de dados simplificadas reduziu significativamente o tempo de processamento de dados, permitindo uma tomada de decisões mais rápida e um serviço ao cliente mais reativo.

Além disso, o nosso cliente melhorou a gestão da relação com o cliente e o desempenho comercial, fornecendo acções e ofertas personalizadas, oportunas e relevantes com base em dados refinados e normalizados. Esta abordagem aumentou as conversões e as receitas e optimizou os orçamentos de marketing, direccionando ofertas personalizadas apenas para os potenciais clientes interessados.

Além disso, com o novo lago de dados, os relatórios de conformidade tornaram-se mais eficientes num sector em que as violações legais podem ter consequências significativas.

Duração do projecto
  • março de 2021 - Em curso

34%

redução do tempo de processamento de dados

26%

 melhoria dos relatórios de conformidade

Contactar-nos!

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

    Inclua os detalhes do projeto, a duração, o conjunto de tecnologias, os profissionais de TI necessários e outras informações relevantes
    Gravar uma mensagem de voz sobre o seu
    projeto para nos ajudar a compreendê-lo melhor
    Anexar documentos adicionais, se necessário
    Enviar ficheiro

    Pode anexar até 1 ficheiro de 2MB no total. Ficheiros válidos: pdf, jpg, jpeg, png

    Informamos que, ao clicar no botão Enviar, o Innowise's processará os seus dados pessoais de acordo com a nossa Política de Privacidade com o objectivo de lhe fornecer informações adequadas.

    O que é que acontece a seguir?

    1

    Após termos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projecto e assinar um NDA para garantir a confidencialidade das informações.

    2

    Após a análise dos requisitos, os nossos analistas e programadores elaboram uma proposta de projecto com o âmbito dos trabalhos, tamanho da equipa, tempo e custos e custos.

    3

    Marcamos uma reunião consigo para discutir a oferta e chegar a um acordo.

    4

    Assinamos um contrato e começamos a trabalhar no seu projecto o mais rapidamente possível.

    Obrigado!

    A sua mensagem foi enviada.
    Processaremos o seu pedido e contactá-lo-emos o mais rapidamente possível.

    Obrigado!

    A sua mensagem foi enviada.
    Processaremos o seu pedido e contactá-lo-emos o mais rapidamente possível.

    seta