Migração e integração de dados ESG: redução de 20% nos custos operacionais

A Innowise criou uma solução sólida baseada na nuvem para uma organização de inovação climática, tornando a migração e a integração de dados mais fáceis e nivelando os relatórios ESG.

Cliente

Indústria
Ambiente
Região
UE
Cliente desde
2024

O nosso cliente é uma das principais organizações europeias que presta serviços de consultoria para ajudar as empresas a implementar políticas de sustentabilidade e a integrar práticas sustentáveis nas suas operações.

As informações pormenorizadas sobre o cliente não podem ser divulgadas ao abrigo das disposições do NDA.

Desafio

Atualização dos sistemas de dados antigos para simplificar a comunicação de informações ESG e reduzir os custos

O cliente enfrentou vários obstáculos com os seus sistemas de dados antigos, maioritariamente geridos através da Talend. Esta configuração limitava a flexibilidade e não apoiava os seus objectivos de relatórios de sustentabilidade. Para resolver esses problemas, eles precisavam de uma arquitetura escalável e nativa da nuvem para melhorar o gerenciamento de dados, reduzir custos e oferecer suporte a relatórios internos e análises avançadas para sustentabilidade e ESG (Ambiental, Social e Governança). Foi então que pediram ajuda à equipa da Innowise. Os principais desafios do projeto incluíam:

  • Migração e integração de dados: Mudando seus fluxos de trabalho de dados do Talend para o Azure As funções precisavam de um pipeline de ingestão de dados suave que pudesse lidar com várias fontes, como servidores SFTP e APIs externas.
  • Apoio à elaboração de relatórios ESG e de sustentabilidade: O cliente necessitava de uma infraestrutura de dados criada para elaborar relatórios precisos e fiáveis sobre métricas de sustentabilidade.
  • Eficiência de custos e escalabilidade: Com o aumento do volume e da complexidade dos dados, o cliente precisava de uma solução que minimizasse os custos de manutenção e optimizasse a utilização dos recursos. Uma arquitetura escalável era essencial - uma arquitetura que pudesse automatizar os fluxos de trabalho de dados, aperfeiçoar a utilização de recursos e suportar o crescimento futuro sem grandes alterações.

Solução

Atualização dos sistemas de dados antigos para simplificar a comunicação de informações ESG e reduzir os custos

A Innowise criou uma solução completa de migração e integração de dados que cobria todas as necessidades do cliente. Transferimos os principais fluxos de trabalho de dados do Talend para o Azure Functions, ligámo-nos ao Snowflake para um processamento de dados avançado e actualizámos os seus relatórios ESG - fornecendo tudo o que é necessário para uma gestão de dados sem problemas e para manter o controlo da sustentabilidade.

Análise e planeamento de requisitos

O nosso analista comercial e o analista ESG trabalharam em estreita colaboração com a equipa do cliente para aprofundar os seus requisitos. Concentrámo-nos em compreender exatamente que dados precisavam de ser migrados do seu sistema Talend antigo e que fluxos de trabalho eram prioritários. Ao obter uma imagem clara das suas necessidades de relatórios ESG, certificámo-nos de que a solução capturaria todas as métricas chave para relatórios precisos e transparentes. 

A nossa equipa também definiu objectivos de escalabilidade a longo prazo para lidar com o futuro volume crescente de dados para análise de rastreio, concebendo uma arquitetura flexível desde o início.

Configuração das funções do Azure

A equipa da Innowise desenvolveu Funções personalizadas do Azure que extraem automaticamente dados do sistema antigo do cliente através de SFTP e APIs. Definimos accionadores programados para manter as transferências de dados em sintonia com os seus ciclos de relatórios ESG. Para garantir que todo o processo decorre da melhor forma possível e que todos os erros são resolvidos rapidamente, os nossos especialistas integraram o Azure Application Insights. 

Graças à arquitetura sem servidor, os custos mantiveram-se baixos, uma vez que os recursos só foram utilizados durante o processamento de dados. Ao contrário das configurações tradicionais, não havia servidores inactivos a aumentar as despesas.

Integração do Snowflake e processamento de dados

Utilizámos o Snowflake como plataforma principal para armazenamento e análise de dados e criámos tabelas de preparação para gerir e organizar os dados recebidos antes de serem submetidos a um processamento mais profundo. As funções Azure trataram da primeira ronda de transformações de dados. Por outro lado, o Snowflake assumiu o processamento mais complexo com scripts SQL, moldando os dados para corresponderem às métricas ESG e de sustentabilidade e garantindo que cumprem as normas de comunicação. Além disso, construímos pipelines de dados para armazenar dados históricos, que apoiaram a análise de tendências e forneceram ao cliente uma visão clara do seu impacto de sustentabilidade ao longo do tempo.

Integração com sistemas de terceiros

Para facilitar o intercâmbio de dados, integrámos vários sistemas de terceiros na configuração da migração de dados:

  • Cezanne HR: Cezanne foi a ferramenta de gestão de tempo centralizada para toda a organização.
  • Serviço SFTP do HSBC: este serviço seguro trata das transferências de dados financeiros, proporcionando conformidade e segurança de dados para as transacções.
  • Unit4 ERP: Embora o cliente utilizasse principalmente a Unit4 como ERP, estava em vias de mudar para uma nova plataforma. A nossa abordagem de integração suportou tanto o sistema ERP atual como o futuro, permitindo uma transição fácil sem interromper as operações diárias.

Relatórios de sustentabilidade e EGS

Para apoiar os objectivos de sustentabilidade do cliente, a nossa equipa criou uma arquitetura de dados sólida que garante que os seus relatórios ESG são claros e precisos. A nossa solução incluiu algumas partes cruciais:

  • Controlo das emissões de carbono: criámos condutas de dados para obter dados de emissões de carbono de todo o tipo de fontes, como registos de utilização de energia e registos de transporte. Tudo foi centralizado no Snowflake, tornando mais fácil para o cliente obter uma visão clara e simplificada da sua pegada de carbono. Com todos estes fluxos de dados num único local, o cliente podia controlar e gerir eficazmente as emissões nas suas operações.
  • Recolha de dados sobre o impacto social: Ao integrar dados dos sistemas de RH do cliente, como o Cezanne, facilitámos a recolha de métricas de impacto social. Esta configuração permite à empresa reportar métricas chave - como diversidade, tempo de formação e projectos comunitários - sem complicações. Os fluxos de dados automatizados fornecem uma visão clara do seu desempenho social, garantem a conformidade e ajudam a empresa a afinar as suas estratégias ESG.
  • Métricas de governação: O sistema processou os principais dados financeiros e operacionais dos serviços SFTP do HSBC para atingir todos os objectivos de relatórios de governação do cliente, incluindo aspectos como o fornecimento ético, a conformidade e as pistas de auditoria. Com estas métricas comunicadas com exatidão, o cliente podia manter as suas operações transparentes e responsáveis.
  • Painéis de controlo em tempo real: Para dar às partes interessadas informações rápidas e acionáveis, ligámos o Snowflake ao Power BI e criámos painéis de controlo ESG em tempo real. Estes painéis colocaram em foco as principais métricas de sustentabilidade, como a utilização de energia, a redução de resíduos e a diversidade. Com actualizações em tempo real, o cliente podia acompanhar de perto o seu progresso em direção aos objectivos climáticos, tomando decisões informadas e promovendo a responsabilidade.

Segurança e conformidade dos dados

Mantivemos os seus dados seguros, utilizando ligações SFTP encriptadas e as sólidas funcionalidades de segurança da Snowflake. Todas as transferências de dados de e para a Snowflake foram totalmente compatíveis com o RGPD, o que é crucial para o tratamento de informações sensíveis de RH e ESG. Além disso, os nossos especialistas em segurança configuraram o controlo de acesso baseado em funções (RBAC) no Snowflake, para que apenas as pessoas certas pudessem aceder ou atualizar as métricas ESG.

Tecnologias

Linguagens e estruturas de programação

.NET, SQL

Serviços em nuvem

Funções do Azure, perspectivas de aplicação do Azure

Armazenamento de dados

Snowflake

Protocolos de transferência de dados

SFTP

Monitorização e registo

Monitor Azure

Ferramentas de visualização

Power BI

VCS

Git, GitHub

Ensaios

NUnit

Processo

Gerimos o projeto utilizando o método Agile, dividindo-o em fases claras e geríveis para nos mantermos eficientes e em sincronia com os objectivos do cliente. Cada fase foi cuidadosamente planeada, executada e revista com o cliente. Graças aos sprints regulares e à integração contínua, mantivemos as coisas em movimento e ajustámo-nos rapidamente ao feedback. O nosso gestor de projeto realizou check-ins semanais para partilhar actualizações, responder a perguntas e obter aprovações em marcos importantes. Esta abordagem estruturada manteve-nos no caminho certo, reduziu os riscos e ajudou-nos a apresentar resultados de alta qualidade atempadamente, correspondendo perfeitamente às expectativas do cliente.

Equipa

1
Gestor de projectos
1
Analista ESG
1
Analista de negócios
2
Engenheiros de dados
1
Arquiteto de nuvem
1
Consultor ESG
1
Engenheiro de QA

Resultados

Melhoria da exatidão dos dados e redução dos custos de elaboração de relatórios

O projeto já produziu resultados significativos, colocando o cliente no caminho certo para atingir os seus objectivos de sustentabilidade. Com a mudança para as funções Azure, o cliente aumentou a eficiência do processamento de dados em 30%, acelerou os fluxos de dados e reduziu o tempo de obtenção de informações. A integração do Snowflake forneceu acesso em tempo real a métricas ESG críticas, o que aumentou a precisão dos relatórios em 25% e melhorou a conformidade e a transparência. 

A configuração sem servidor também reduziu os custos operacionais em 20%, dando ao cliente uma solução escalável e económica pronta para crescer com as necessidades futuras. Agora, eles estão preparados para tomar decisões mais inteligentes e orientadas por dados e continuar avançando em seus esforços de inovação climática.

Na próxima fase, o cliente planeia adicionar análises preditivas com aprendizagem automática para previsões ESG, integrar a IoT para uma recolha de dados mais rigorosa e adotar uma monitorização de conformidade baseada em IA para se manter a par da evolução das regras ESG.

Duração do projecto
  • junho de 2024 - Em curso
30%

aumento da eficiência do processamento de dados

20%

redução dos custos operacionais

Contactar-nos

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

    Envie-nos uma mensagem de voz
    Anexar documentos
    Enviar ficheiro

    Pode anexar um ficheiro com um máximo de 2MB. Formatos de ficheiro válidos: pdf, jpg, jpeg, png.

    Ao clicar em Enviar, o utilizador autoriza a Innowise a processar os seus dados pessoais de acordo com a nossa Política de privacidade para lhe fornecer informações relevantes. Ao enviar o seu número de telefone, o utilizador aceita que o possamos contactar através de chamadas de voz, SMS e aplicações de mensagens. Poderão ser aplicadas tarifas de chamadas, mensagens e dados.

    Pode também enviar-nos o seu pedido
    para contact@innowise.com

    O que é que acontece a seguir?

    1

    Assim que tivermos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projeto e assinar um NDA para garantir a confidencialidade.

    2

    Depois de analisar os seus desejos, necessidades e expectativas, a nossa equipa elaborará uma proposta de projeto com o âmbito do trabalho, a dimensão da equipa, o tempo e as estimativas de custos.

    3

    Marcaremos uma reunião consigo para discutir a oferta e acertar os pormenores.

    4

    Por fim, assinaremos um contrato e começaremos a trabalhar no seu projeto imediatamente.

    Спасибо!

    Cообщение отправлено.
    Мы обработаем ваш запрос и свяжемся с вами в кратчайшие сроки.

    Obrigado!

    A sua mensagem foi enviada.
    Processaremos o seu pedido e contactá-lo-emos o mais rapidamente possível.

    Obrigado!

    A sua mensagem foi enviada. 

    Processaremos o seu pedido e contactá-lo-emos logo que possível.

    seta