Migração e integração de dados ESG: redução de 20% nos custos operacionais

A Innowise criou uma solução sólida baseada na nuvem para uma organização de inovação climática, tornando a migração e a integração de dados mais fáceis e nivelando os relatórios ESG.

Cliente

Indústria

Ambiente

Região

Cliente desde

2024

O nosso cliente é uma das principais organizações europeias que presta serviços de consultoria para ajudar as empresas a implementar políticas de sustentabilidade e a integrar práticas sustentáveis nas suas operações.

As informações pormenorizadas sobre o cliente não podem ser divulgadas ao abrigo das disposições do NDA.

Desafio

Migração de sistemas antigos para relatórios ESG escaláveis e nativos da nuvem

O cliente enfrentou vários obstáculos com os seus sistemas de dados antigos, maioritariamente geridos através da Talend. Esta configuração limitava a flexibilidade e não apoiava os seus objectivos de relatórios de sustentabilidade. Para resolver esses problemas, eles precisavam de uma arquitetura escalável e nativa da nuvem para melhorar o gerenciamento de dados, reduzir custos e oferecer suporte a relatórios internos e análises avançadas para sustentabilidade e ESG (Ambiental, Social e Governança). Foi então que pediram ajuda à equipa da Innowise. Os principais desafios do projeto incluíam:

Migração e integração de dados: Mudando seus fluxos de trabalho de dados do Talend para o Azure As funções precisavam de um pipeline de ingestão de dados suave que pudesse lidar com várias fontes, como servidores SFTP e APIs externas.
Apoio à elaboração de relatórios ESG e de sustentabilidade: O cliente necessitava de uma infraestrutura de dados criada para elaborar relatórios precisos e fiáveis sobre métricas de sustentabilidade.
Eficiência de custos e escalabilidade: Com o aumento do volume e da complexidade dos dados, o cliente precisava de uma solução que minimizasse os custos de manutenção e optimizasse a utilização dos recursos. Uma arquitetura escalável era essencial - uma arquitetura que pudesse automatizar os fluxos de trabalho de dados, aperfeiçoar a utilização de recursos e suportar o crescimento futuro sem grandes alterações.

Solução

Atualização dos sistemas de dados antigos para simplificar a comunicação de informações ESG e reduzir os custos

A Innowise criou uma solução completa de migração e integração de dados que cobria todas as necessidades do cliente. Transferimos os principais fluxos de trabalho de dados do Talend para o Azure Functions, ligámo-nos ao Snowflake para um processamento de dados avançado e actualizámos os seus relatórios ESG - fornecendo tudo o que é necessário para uma gestão de dados sem problemas e para manter o controlo da sustentabilidade.

Análise e planeamento de requisitos

O nosso analista comercial e o analista ESG trabalharam em estreita colaboração com a equipa do cliente para aprofundar os seus requisitos. Concentrámo-nos em compreender exatamente que dados precisavam de ser migrados do seu sistema Talend antigo e que fluxos de trabalho eram prioritários. Ao obter uma imagem clara das suas necessidades de relatórios ESG, certificámo-nos de que a solução capturaria todas as métricas chave para relatórios precisos e transparentes.

A nossa equipa também definiu objectivos de escalabilidade a longo prazo para lidar com o futuro volume crescente de dados para análise de rastreio, concebendo uma arquitetura flexível desde o início.

Configuração das funções do Azure

A equipa da Innowise desenvolveu Funções personalizadas do Azure que extraem automaticamente dados do sistema antigo do cliente através de SFTP e APIs. Definimos accionadores programados para manter as transferências de dados em sintonia com os seus ciclos de relatórios ESG. Para garantir que todo o processo decorre da melhor forma possível e que todos os erros são resolvidos rapidamente, os nossos especialistas integraram o Azure Application Insights.

Graças à arquitetura sem servidor, os custos mantiveram-se baixos, uma vez que os recursos só foram utilizados durante o processamento de dados. Ao contrário das configurações tradicionais, não havia servidores inactivos a aumentar as despesas.

Integração do Snowflake e processamento de dados

Utilizámos o Snowflake como plataforma principal para armazenamento e análise de dados e criámos tabelas de preparação para gerir e organizar os dados recebidos antes de serem submetidos a um processamento mais profundo. As funções Azure trataram da primeira ronda de transformações de dados. Por outro lado, o Snowflake assumiu o processamento mais complexo com scripts SQL, moldando os dados para corresponderem às métricas ESG e de sustentabilidade e garantindo que cumprem as normas de comunicação. Além disso, construímos pipelines de dados para armazenar dados históricos, que apoiaram a análise de tendências e forneceram ao cliente uma visão clara do seu impacto de sustentabilidade ao longo do tempo.

Integração com sistemas de terceiros

Para facilitar o intercâmbio de dados, integrámos vários sistemas de terceiros na configuração da migração de dados:

Cezanne HR: Cezanne foi a ferramenta de gestão de tempo centralizada para toda a organização.
Serviço SFTP do HSBC: este serviço seguro trata das transferências de dados financeiros, proporcionando conformidade e segurança de dados para as transacções.
Unit4 ERP: Embora o cliente utilizasse principalmente a Unit4 como ERP, estava em vias de mudar para uma nova plataforma. A nossa abordagem de integração suportou tanto o sistema ERP atual como o futuro, permitindo uma transição fácil sem interromper as operações diárias.

Relatórios de sustentabilidade e EGS

Para apoiar os objectivos de sustentabilidade do cliente, a nossa equipa criou uma arquitetura de dados sólida que garante que os seus relatórios ESG são claros e precisos. A nossa solução incluiu algumas partes cruciais:

Controlo das emissões de carbono: criámos condutas de dados para obter dados de emissões de carbono de todo o tipo de fontes, como registos de utilização de energia e registos de transporte. Tudo foi centralizado no Snowflake, tornando mais fácil para o cliente obter uma visão clara e simplificada da sua pegada de carbono. Com todos estes fluxos de dados num único local, o cliente podia controlar e gerir eficazmente as emissões nas suas operações.
Recolha de dados sobre o impacto social: Ao integrar dados dos sistemas de RH do cliente, como o Cezanne, facilitámos a recolha de métricas de impacto social. Esta configuração permite à empresa reportar métricas chave - como diversidade, tempo de formação e projectos comunitários - sem complicações. Os fluxos de dados automatizados fornecem uma visão clara do seu desempenho social, garantem a conformidade e ajudam a empresa a afinar as suas estratégias ESG.
Métricas de governação: O sistema processou os principais dados financeiros e operacionais dos serviços SFTP do HSBC para atingir todos os objectivos de relatórios de governação do cliente, incluindo aspectos como o fornecimento ético, a conformidade e as pistas de auditoria. Com estas métricas comunicadas com exatidão, o cliente podia manter as suas operações transparentes e responsáveis.
Painéis de controlo em tempo real: Para dar às partes interessadas informações rápidas e acionáveis, ligámos o Snowflake ao Power BI e criámos painéis de controlo ESG em tempo real. Estes painéis colocaram em foco as principais métricas de sustentabilidade, como a utilização de energia, a redução de resíduos e a diversidade. Com actualizações em tempo real, o cliente podia acompanhar de perto o seu progresso em direção aos objectivos climáticos, tomando decisões informadas e promovendo a responsabilidade.

Segurança e conformidade dos dados

Mantivemos os seus dados seguros, utilizando ligações SFTP encriptadas e as sólidas funcionalidades de segurança da Snowflake. Todas as transferências de dados de e para a Snowflake foram totalmente compatíveis com o RGPD, o que é crucial para o tratamento de informações sensíveis de RH e ESG. Além disso, os nossos especialistas em segurança configuraram o controlo de acesso baseado em funções (RBAC) no Snowflake, para que apenas as pessoas certas pudessem aceder ou atualizar as métricas ESG.

Tecnologias

Linguagens e estruturas de programação

.NET, SQL

Serviços em nuvem

Funções do Azure, perspectivas de aplicação do Azure

Armazenamento de dados

Snowflake

Protocolos de transferência de dados

SFTP

Monitorização e registo

Monitor Azure

Ferramentas de visualização

Power BI

VCS

Git, GitHub

Ensaios

NUnit

Processo

Gerimos o projeto utilizando o método Agile, dividindo-o em fases claras e geríveis para nos mantermos eficientes e em sincronia com os objectivos do cliente. Cada fase foi cuidadosamente planeada, executada e revista com o cliente. Graças aos sprints regulares e à integração contínua, mantivemos as coisas em movimento e ajustámo-nos rapidamente ao feedback. O nosso gestor de projeto realizou check-ins semanais para partilhar actualizações, responder a perguntas e obter aprovações em marcos importantes. Esta abordagem estruturada manteve-nos no caminho certo, reduziu os riscos e ajudou-nos a apresentar resultados de alta qualidade atempadamente, correspondendo perfeitamente às expectativas do cliente.

Equipa

Gestor de projectos

Analista ESG

Analista de negócios

Engenheiros de dados

Arquiteto de nuvem

Consultor ESG

Engenheiro de QA

Resultados

Melhoria da exatidão dos dados e redução dos custos de elaboração de relatórios

O projeto já produziu resultados significativos, colocando o cliente no caminho certo para atingir os seus objectivos de sustentabilidade. Com a mudança para as funções Azure, o cliente aumentou a eficiência do processamento de dados em 30%, acelerou os fluxos de dados e reduziu o tempo de obtenção de informações. A integração do Snowflake forneceu acesso em tempo real a métricas ESG críticas, o que aumentou a precisão dos relatórios em 25% e melhorou a conformidade e a transparência.

A configuração sem servidor também reduziu os custos operacionais em 20%, dando ao cliente uma solução escalável e económica pronta para crescer com as necessidades futuras. Agora, eles estão preparados para tomar decisões mais inteligentes e orientadas por dados e continuar avançando em seus esforços de inovação climática.

Na próxima fase, o cliente planeia adicionar análises preditivas com aprendizagem automática para previsões ESG, integrar a IoT para uma recolha de dados mais rigorosa e adotar uma monitorização de conformidade baseada em IA para se manter a par da evolução das regras ESG.

Duração do projecto

junho de 2024 - Em curso

30%

aumento da eficiência do processamento de dados

20%

redução dos custos operacionais

Casos relacionados

Contactar-nos

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem Inclua os detalhes do projeto, a duração, o conjunto de tecnologias, os profissionais de TI necessários e outras informações relevantes

Gravar uma mensagem de voz sobre o seu
projeto para nos ajudar a compreendê-lo melhor

Anexar documentos adicionais, se necessário

Enviar ficheiro

Pode anexar até 1 ficheiro de 2MB no total. Ficheiros válidos: pdf, jpg, jpeg, png

Informamos que, ao clicar no botão Enviar, o Grupo Innowise processará os seus dados pessoais de acordo com os nossos Política de privacidade com o objetivo de lhe fornecer informações adequadas. Ao fornecer um número de telefone e enviar este formulário, está a consentir ser contactado por mensagem de texto SMS. Podem ser aplicadas taxas de mensagens e dados. Pode responder STOP para optar por não receber mais mensagens. Responder Ajuda para obter mais informações.

O que é que acontece a seguir?

Após termos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projecto e assinar um NDA para garantir a confidencialidade das informações.

Após a análise dos requisitos, os nossos analistas e programadores elaboram uma proposta de projecto com o âmbito dos trabalhos, tamanho da equipa, tempo e custos e custos.

Marcamos uma reunião consigo para discutir a oferta e chegar a um acordo.

Assinamos um contrato e começamos a trabalhar no seu projecto o mais rapidamente possível.