ESG data migration and integration

A Innowise criou uma solução sólida baseada na nuvem para uma organização de inovação climática, tornando a migração e a integração de dados mais fáceis e nivelando os relatórios ESG.

Desafio

O cliente enfrentou vários obstáculos com os seus sistemas de dados antigos, maioritariamente geridos através da Talend. Esta configuração limitava a flexibilidade e não apoiava os seus objectivos de relatórios de sustentabilidade. Para resolver esses problemas, eles precisavam de uma arquitetura escalável e nativa da nuvem para melhorar o gerenciamento de dados, reduzir custos e oferecer suporte a relatórios internos e análises avançadas para sustentabilidade e ESG (Ambiental, Social e Governança). Foi então que pediram ajuda à equipa da Innowise. Os principais desafios do projeto incluíam:

Migração e integração de dados: Mudando seus fluxos de trabalho de dados do Talend para o Azure As funções precisavam de um pipeline de ingestão de dados suave que pudesse lidar com várias fontes, como servidores SFTP e APIs externas.
Apoio à elaboração de relatórios ESG e de sustentabilidade: O cliente necessitava de uma infraestrutura de dados criada para elaborar relatórios precisos e fiáveis sobre métricas de sustentabilidade.
Eficiência de custos e escalabilidade: Com o aumento do volume e da complexidade dos dados, o cliente precisava de uma solução que minimizasse os custos de manutenção e optimizasse a utilização dos recursos. Uma arquitetura escalável era essencial - uma arquitetura que pudesse automatizar os fluxos de trabalho de dados, aperfeiçoar a utilização de recursos e suportar o crescimento futuro sem grandes alterações.

Solução

A Innowise criou uma solução completa de migração e integração de dados que cobria todas as necessidades do cliente. Transferimos os principais fluxos de trabalho de dados do Talend para o Azure Functions, ligámo-nos ao Snowflake para um processamento de dados avançado e actualizámos os seus relatórios ESG - fornecendo tudo o que é necessário para uma gestão de dados sem problemas e para manter o controlo da sustentabilidade.

Análise e planeamento de requisitos

O nosso analista comercial e o analista ESG trabalharam em estreita colaboração com a equipa do cliente para aprofundar os seus requisitos. Concentrámo-nos em compreender exatamente que dados precisavam de ser migrados do seu sistema Talend antigo e que fluxos de trabalho eram prioritários. Ao obter uma imagem clara das suas necessidades de relatórios ESG, certificámo-nos de que a solução capturaria todas as métricas chave para relatórios precisos e transparentes.

A nossa equipa também definiu objectivos de escalabilidade a longo prazo para lidar com o futuro volume crescente de dados para análise de rastreio, concebendo uma arquitetura flexível desde o início.

Configuração das funções do Azure

A equipa da Innowise desenvolveu Funções personalizadas do Azure que extraem automaticamente dados do sistema antigo do cliente através de SFTP e APIs. Definimos accionadores programados para manter as transferências de dados em sintonia com os seus ciclos de relatórios ESG. Para garantir que todo o processo decorre da melhor forma possível e que todos os erros são resolvidos rapidamente, os nossos especialistas integraram o Azure Application Insights.

Graças à arquitetura sem servidor, os custos mantiveram-se baixos, uma vez que os recursos só foram utilizados durante o processamento de dados. Ao contrário das configurações tradicionais, não havia servidores inactivos a aumentar as despesas.

Integração do Snowflake e processamento de dados

Utilizámos o Snowflake como plataforma principal para armazenamento e análise de dados e criámos tabelas de preparação para gerir e organizar os dados recebidos antes de serem submetidos a um processamento mais profundo. As funções Azure trataram da primeira ronda de transformações de dados. Por outro lado, o Snowflake assumiu o processamento mais complexo com scripts SQL, moldando os dados para corresponderem às métricas ESG e de sustentabilidade e garantindo que cumprem as normas de comunicação. Além disso, construímos pipelines de dados para armazenar dados históricos, que apoiaram a análise de tendências e forneceram ao cliente uma visão clara do seu impacto de sustentabilidade ao longo do tempo.

Integração com sistemas de terceiros

Para facilitar o intercâmbio de dados, integrámos vários sistemas de terceiros na configuração da migração de dados:

Cezanne HR: Cezanne foi a ferramenta de gestão de tempo centralizada para toda a organização.
Serviço SFTP do HSBC: este serviço seguro trata das transferências de dados financeiros, proporcionando conformidade e segurança de dados para as transacções.
Unit4 ERP: Embora o cliente utilizasse principalmente a Unit4 como ERP, estava em vias de mudar para uma nova plataforma. A nossa abordagem de integração suportou tanto o sistema ERP atual como o futuro, permitindo uma transição fácil sem interromper as operações diárias.

Relatórios de sustentabilidade e EGS

Para apoiar os objectivos de sustentabilidade do cliente, a nossa equipa criou uma arquitetura de dados sólida que garante que os seus relatórios ESG são claros e precisos. A nossa solução incluiu algumas partes cruciais:

Controlo das emissões de carbono: criámos condutas de dados para obter dados de emissões de carbono de todo o tipo de fontes, como registos de utilização de energia e registos de transporte. Tudo foi centralizado no Snowflake, tornando mais fácil para o cliente obter uma visão clara e simplificada da sua pegada de carbono. Com todos estes fluxos de dados num único local, o cliente podia controlar e gerir eficazmente as emissões nas suas operações.
Recolha de dados sobre o impacto social: Ao integrar dados dos sistemas de RH do cliente, como o Cezanne, facilitámos a recolha de métricas de impacto social. Esta configuração permite à empresa reportar métricas chave - como diversidade, tempo de formação e projectos comunitários - sem complicações. Os fluxos de dados automatizados fornecem uma visão clara do seu desempenho social, garantem a conformidade e ajudam a empresa a afinar as suas estratégias ESG.
Métricas de governação: O sistema processou os principais dados financeiros e operacionais dos serviços SFTP do HSBC para atingir todos os objectivos de relatórios de governação do cliente, incluindo aspectos como o fornecimento ético, a conformidade e as pistas de auditoria. Com estas métricas comunicadas com exatidão, o cliente podia manter as suas operações transparentes e responsáveis.
Painéis de controlo em tempo real: Para dar às partes interessadas informações rápidas e acionáveis, ligámos o Snowflake ao Power BI e criámos painéis de controlo ESG em tempo real. Estes painéis colocaram em foco as principais métricas de sustentabilidade, como a utilização de energia, a redução de resíduos e a diversidade. Com actualizações em tempo real, o cliente podia acompanhar de perto o seu progresso em direção aos objectivos climáticos, tomando decisões informadas e promovendo a responsabilidade.

Segurança e conformidade dos dados

Mantivemos os seus dados seguros, utilizando ligações SFTP encriptadas e as sólidas funcionalidades de segurança da Snowflake. Todas as transferências de dados de e para a Snowflake foram totalmente compatíveis com o RGPD, o que é crucial para o tratamento de informações sensíveis de RH e ESG. Além disso, os nossos especialistas em segurança configuraram o controlo de acesso baseado em funções (RBAC) no Snowflake, para que apenas as pessoas certas pudessem aceder ou atualizar as métricas ESG.

Tecnologias

Linguagens e estruturas de programação

.NET, SQL

Serviços em nuvem

Azure Functions, Azure Application Insights

Armazenamento de dados

Snowflake

Protocolos de transferência de dados

SFTP

Monitorização e registo

Azure Monitor

Ferramentas de visualização

Power BI

VCS

Git, GitHub

Ensaios

NUnit

Processo

Gerimos o projeto utilizando o método Agile, dividindo-o em fases claras e geríveis para nos mantermos eficientes e em sincronia com os objectivos do cliente. Cada fase foi cuidadosamente planeada, executada e revista com o cliente. Graças aos sprints regulares e à integração contínua, mantivemos as coisas em movimento e ajustámo-nos rapidamente ao feedback. O nosso gestor de projeto realizou check-ins semanais para partilhar actualizações, responder a perguntas e obter aprovações em marcos importantes. Esta abordagem estruturada manteve-nos no caminho certo, reduziu os riscos e ajudou-nos a apresentar resultados de alta qualidade atempadamente, correspondendo perfeitamente às expectativas do cliente.

Equipa necessária

Gestor de projectos

Analista ESG

Analista de negócios

Engenheiros de dados

Arquiteto de nuvem

Consultor ESG

Engenheiro de QA

Resultados

The project has already delivered significant results, putting the client on the fast track to hit their sustainability goals. By switching to Azure Functions, the client boosted data processing efficiency, sped up data flows and reduced time-to-insight. The Snowflake integration provided real-time access to critical ESG metrics, which increased reporting accuracy and improved compliance and transparency.

The serverless setup also slashed operational costs, giving the client a scalable, budget-friendly solution ready to grow with future needs. Now, they’re set up to make smarter, data-driven decisions and continue advancing their climate innovation efforts.

Casos relacionados

Contactar-nos

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem

Envie-nos uma mensagem de voz

Anexar documentos

Enviar ficheiro

Pode anexar um ficheiro com um máximo de 2MB. Formatos de ficheiro válidos: pdf, jpg, jpeg, png.

Ao clicar em Enviar, o utilizador autoriza a Innowise a processar os seus dados pessoais de acordo com a nossa Política de privacidade para lhe fornecer informações relevantes. Ao enviar o seu número de telefone, o utilizador aceita que o possamos contactar através de chamadas de voz, SMS e aplicações de mensagens. Poderão ser aplicadas tarifas de chamadas, mensagens e dados.

Pode também enviar-nos o seu pedido
para contact@innowise.com

O que é que acontece a seguir?

Assim que recebermos e processarmos o seu pedido, entraremos em contacto consigo para necessidades do seu projeto e assinar um NDA para garantir a confidencialidade.

Depois de analisarmos os seus desejos, necessidades e expectativas, a nossa equipa elaborará uma proposta de projeto proposta de projeto com o âmbito do trabalho, dimensão da equipa, tempo e estimativas de custos.

Marcaremos uma reunião consigo para discutir a oferta e acertar os pormenores.

Por fim, assinaremos um contrato e começaremos a trabalhar no seu projeto imediatamente.