ESG data migration and integration

Innowise stworzył solidne rozwiązanie oparte na chmurze dla organizacji zajmującej się innowacjami klimatycznymi, ułatwiając migrację i integrację danych oraz usprawniając raportowanie ESG.

Wyzwanie

Klient napotkał kilka przeszkód związanych ze starszymi systemami danych, zarządzanymi głównie przez Talend. Taka konfiguracja ograniczała elastyczność i nie pozwalała na realizację celów związanych z raportowaniem zrównoważonego rozwoju. Aby uporać się z tymi problemami, potrzebował skalowalnej, natywnej dla chmury architektury, która usprawniłaby zarządzanie danymi, obniżyła koszty i wspierała zarówno wewnętrzne raportowanie, jak i zaawansowaną analitykę w zakresie zrównoważony rozwój i ESG (środowiskowe, społeczne i zarządzania). Właśnie wtedy zwrócili się o pomoc do zespołu Innowise. Główne wyzwania projektu obejmowały:

Migracja i integracja danych: Przeniesienie przepływu danych z Talend do Azure Functions wymagało płynnego potoku pozyskiwania danych, który mógłby obsługiwać różne źródła, takie jak serwery SFTP i zewnętrzne interfejsy API.
Wsparcie w zakresie raportowania ESG i zrównoważonego rozwoju: Klient potrzebował infrastruktury danych zbudowanej w celu dokładnego i wiarygodnego raportowania wskaźników zrównoważonego rozwoju.
Efektywność kosztowa i skalowalność: Przy rosnącej ilości i złożoności danych, klient potrzebował rozwiązania, które zminimalizowałoby koszty utrzymania i zoptymalizowało wykorzystanie zasobów. Skalowalna architektura była niezbędna - taka, która mogłaby zautomatyzować przepływy pracy danych, zwiększyć wykorzystanie zasobów i wspierać przyszły rozwój bez konieczności dokonywania dużych przeróbek.

Rozwiązanie

Innowise opracowało kompletne rozwiązanie do migracji i integracji danych, które zaspokoiło wszystkie potrzeby klienta. Przenieśliśmy kluczowe przepływy danych z Talend do Azure Functions, połączyliśmy się ze Snowflake w celu zaawansowanego przetwarzania danych i zaktualizowaliśmy raportowanie ESG - zapewniając wszystko, co niezbędne do sprawnego zarządzania danymi i śledzenia zrównoważonego rozwoju.

Analiza i planowanie wymagań

Nasz analityk biznesowy i analityk ESG ściśle współpracowali z zespołem klienta, aby dokładnie poznać jego wymagania. Skoncentrowaliśmy się na dokładnym zrozumieniu, jakie dane należy przenieść ze starszego systemu Talend i które przepływy pracy są priorytetowe. Uzyskując jasny obraz ich potrzeb w zakresie raportowania ESG, upewniliśmy się, że rozwiązanie będzie przechwytywać wszystkie kluczowe wskaźniki w celu dokładnego i przejrzystego raportowania.

Nasz zespół wyznaczył również długoterminowe cele w zakresie skalowalności, aby obsłużyć rosnącą ilość danych do analizy śledzenia w przyszłości, projektując elastyczną architekturę od samego początku.

Konfiguracja funkcji Azure

Zespół Innowise opracował niestandardowe funkcje Azure które automatycznie pobierają dane ze starszego systemu klienta za pośrednictwem SFTP i interfejsów API. Skonfigurowaliśmy zaplanowane wyzwalacze, aby transfery danych były zgodne z cyklami raportowania ESG. Aby upewnić się, że cały proces przebiega tak płynnie, jak to możliwe, a wszystkie błędy są szybko rozwiązywane, nasi eksperci zintegrowali Azure Application Insights.

Dzięki architekturze bezserwerowej koszty pozostały niskie, ponieważ zasoby były wykorzystywane tylko podczas przetwarzania danych. W przeciwieństwie do tradycyjnych konfiguracji, nie było bezczynnych serwerów generujących koszty.

Integracja i przetwarzanie danych Snowflake

Wykorzystaliśmy Snowflake jako podstawową platformę do przechowywania i analizy danych oraz utworzyliśmy tabele przejściowe do zarządzania i organizowania przychodzących danych przed poddaniem ich głębszemu przetwarzaniu. Funkcje Azure obsługiwały pierwszą rundę transformacji danych. Z drugiej strony, Snowflake zajął się bardziej złożonym przetwarzaniem za pomocą skryptów SQL, kształtując dane tak, aby pasowały do wskaźników ESG i zrównoważonego rozwoju oraz zapewniając ich zgodność ze standardami raportowania. Ponadto zbudowaliśmy potoki danych do przechowywania danych historycznych, które wspierały analizę trendów i zapewniły klientowi jasny obraz jego wpływu na zrównoważony rozwój w czasie.

Integracja z systemami innych firm

Aby ułatwić płynną wymianę danych, zintegrowaliśmy kilka systemów innych firm z konfiguracją migracji danych:

Cezanne HR: Cezanne, będący narzędziem klienta do śledzenia kart czasu pracy pracowników, służył jako scentralizowane narzędzie do zarządzania czasem w całej organizacji.
Usługa HSBC SFTP: Ta bezpieczna usługa obsługuje transfery danych finansowych, zapewniając zarówno zgodność, jak i bezpieczeństwo danych dla transakcji.
Unit4 ERP: Podczas gdy klient korzystał głównie z Unit4 jako swojego systemu ERP, był w trakcie przechodzenia na nową platformę. Nasze podejście integracyjne wspierało zarówno obecne, jak i przyszłe systemy ERP, umożliwiając łatwe przejście bez przerywania codziennych operacji.

Zrównoważony rozwój i raportowanie EGS

Aby wesprzeć cele klienta w zakresie zrównoważonego rozwoju, nasz zespół stworzył solidną architekturę danych, która zapewnia przejrzystość i dokładność raportów ESG. Nasze rozwiązanie obejmowało kilka kluczowych elementów:

Śledzenie emisji dwutlenku węgla: Skonfigurowaliśmy potoki danych, aby pobierać dane dotyczące emisji dwutlenku węgla z różnych źródeł, takich jak rejestry zużycia energii i dzienniki transportu. Wszystko zostało scentralizowane w Snowflake, co ułatwiło klientowi uzyskanie przejrzystego, usprawnionego widoku jego śladu węglowego. Mając wszystkie te strumienie danych w jednym miejscu, mógł skutecznie śledzić i zarządzać emisjami w całej swojej działalności.
Gromadzenie danych dotyczących wpływu społecznego: Integrując dane z systemów HR klienta, takich jak Cezanne, ułatwiliśmy gromadzenie wskaźników wpływu społecznego. Ta konfiguracja pozwala firmie raportować kluczowe wskaźniki - takie jak różnorodność, czas szkolenia i projekty społeczne - bez kłopotów. Zautomatyzowane przepływy danych zapewniają jasny obraz ich wyników społecznych, gwarantują zgodność i pomagają firmie dostosować strategie ESG.
Wskaźniki zarządzania: System przetwarzał kluczowe dane finansowe i operacyjne z usług SFTP HSBC, aby osiągnąć wszystkie cele klienta w zakresie raportowania ładu korporacyjnego, w tym takie kwestie jak etyczne pozyskiwanie, zgodność z przepisami i ścieżki audytu. Dzięki dokładnemu raportowaniu tych wskaźników klient mógł zachować przejrzystość i odpowiedzialność swoich operacji.
Pulpity nawigacyjne w czasie rzeczywistym: Aby zapewnić interesariuszom szybkie i przydatne informacje, połączyliśmy Snowflake z Power BI i stworzyliśmy pulpity nawigacyjne ESG w czasie rzeczywistym. Te pulpity nawigacyjne pozwoliły skupić się na kluczowych wskaźnikach zrównoważonego rozwoju - takich jak zużycie energii, redukcja odpadów i różnorodność. Dzięki aktualizacjom w czasie rzeczywistym klient mógł uważnie śledzić swoje postępy w realizacji celów klimatycznych, podejmować świadome decyzje i promować odpowiedzialność.

Bezpieczeństwo danych i zgodność z przepisami

Zapewniliśmy bezpieczeństwo danych, korzystając z szyfrowanych połączeń SFTP i solidnych funkcji bezpieczeństwa Snowflake. Każdy transfer danych do i ze Snowflake był w pełni zgodny z RODO, co ma kluczowe znaczenie dla obsługi wrażliwych informacji HR i ESG. Ponadto nasi eksperci ds. bezpieczeństwa skonfigurowali w Snowflake kontrolę dostępu opartą na rolach (RBAC), dzięki czemu tylko właściwe osoby mogły uzyskiwać dostęp do wskaźników ESG lub je aktualizować.

Technologie

Języki programowania i frameworki

.NET, SQL

Usługi chmurowe

Azure Functions, Azure Application Insights

Hurtownie danych

Snowflake

Protokoły transferu danych

SFTP

Monitorowanie i rejestrowanie

Azure Monitor

Narzędzia do wizualizacji

Power BI

VCS

Git, GitHub

Testowanie

NUnit

Proces

Zarządzaliśmy projektem przy użyciu Agile, dzieląc go na jasne, łatwe w zarządzaniu fazy, aby zachować wydajność i synchronizację z celami klienta. Każdy etap był starannie planowany, realizowany i weryfikowany z klientem. Dzięki regularnym sprintom i ciągłej integracji, utrzymywaliśmy rzeczy w ruchu i szybko dostosowywaliśmy się do informacji zwrotnych. Nasz kierownik projektu przeprowadzał cotygodniowe odprawy, aby dzielić się aktualizacjami, odpowiadać na pytania i uzyskiwać zatwierdzenia na kluczowych etapach. Takie ustrukturyzowane podejście utrzymywało nas na dobrej drodze, zmniejszało ryzyko i pomogło nam dostarczać wysokiej jakości wyniki na czas, idealnie spełniając oczekiwania klienta.

Team required

Kierownik projektu

Analityk ESG

Analityk biznesowy

Inżynierowie danych

Cloud Architect

Konsultant ESG

QA Engineer

Wyniki

The project has already delivered significant results, putting the client on the fast track to hit their sustainability goals. By switching to Azure Functions, the client boosted data processing efficiency, sped up data flows and reduced time-to-insight. The Snowflake integration provided real-time access to critical ESG metrics, which increased reporting accuracy and improved compliance and transparency.

The serverless setup also slashed operational costs, giving the client a scalable, budget-friendly solution ready to grow with future needs. Now, they’re set up to make smarter, data-driven decisions and continue advancing their climate innovation efforts.

Powiązane projekty

Skontaktuj się z nami

Umów się na rozmowę lub wypełnij poniższy formularz, a my odezwiemy się do Ciebie po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość

Wyślij nam wiadomość głosową

Załącz dokumenty

Prześlij plik

Można załączyć 1 plik o rozmiarze do 2 MB. Prawidłowe formaty plików: pdf, jpg, jpeg, png.

Klikając "Wyślij", wyrażasz zgodę na przetwarzanie Twoich danych osobowych przez Innowise zgodnie z naszą Polityką Prywatności w celu przekazania Ci odpowiednich informacji. Podając numer telefonu, zgadzasz się na kontakt za pośrednictwem połączeń głosowych, SMS-ów lub komunikatorów. Mogą obowiązywać opłaty za połączenia, wiadomości i transmisję danych.

Możesz także wysłać swoje zapytanie
na contact@innowise.com

Co dalej?

Po otrzymaniu i przetworzeniu zgłoszenia skontaktujemy się z Tobą, aby szczegółowo opisać projekt i podpisać umowę NDA w celu zapewnienia poufności.

Po zapoznaniu się z Twoimi potrzebami i oczekiwaniami, nasz zespół opracuje projekt wraz z zakresem prac, wielkością zespołu, wymaganym czasem i szacunkowymi kosztami.

Zorganizujemy spotkanie w celu omówienia oferty i ustalenia szczegółów.

Na koniec podpiszemy umowę, błyskawicznie rozpoczynając pracę nad projektem.