Migracja i integracja danych ESG: redukcja kosztów operacyjnych o 20%

Innowise stworzył solidne rozwiązanie oparte na chmurze dla organizacji zajmującej się innowacjami klimatycznymi, ułatwiając migrację i integrację danych oraz usprawniając raportowanie ESG.

Klient

Branża

Środowisko

Region

Klient od

2024

Nasz klient jest jedną z wiodących europejskich organizacji świadczących usługi konsultingowe, które pomagają firmom wdrażać politykę zrównoważonego rozwoju i integrować zrównoważone praktyki z ich działalnością.

Szczegółowe informacje o kliencie nie mogą być ujawnione zgodnie z postanowieniami NDA.

Wyzwanie

Modernizacja starszych systemów danych w celu usprawnienia sprawozdawczości ESG i obniżenia kosztów

Klient napotkał kilka przeszkód związanych ze starszymi systemami danych, zarządzanymi głównie przez Talend. Taka konfiguracja ograniczała elastyczność i nie pozwalała na realizację celów związanych z raportowaniem zrównoważonego rozwoju. Aby uporać się z tymi problemami, potrzebował skalowalnej, natywnej dla chmury architektury, która usprawniłaby zarządzanie danymi, obniżyła koszty i wspierała zarówno wewnętrzne raportowanie, jak i zaawansowaną analitykę w zakresie zrównoważony rozwój i ESG (środowiskowe, społeczne i zarządzania). Właśnie wtedy zwrócili się o pomoc do zespołu Innowise. Główne wyzwania projektu obejmowały:

Migracja i integracja danych: Przeniesienie przepływu danych z Talend do Azure Functions wymagało płynnego potoku pozyskiwania danych, który mógłby obsługiwać różne źródła, takie jak serwery SFTP i zewnętrzne interfejsy API.
Wsparcie w zakresie raportowania ESG i zrównoważonego rozwoju: Klient potrzebował infrastruktury danych zbudowanej w celu dokładnego i wiarygodnego raportowania wskaźników zrównoważonego rozwoju.
Efektywność kosztowa i skalowalność: Przy rosnącej ilości i złożoności danych, klient potrzebował rozwiązania, które zminimalizowałoby koszty utrzymania i zoptymalizowało wykorzystanie zasobów. Skalowalna architektura była niezbędna - taka, która mogłaby zautomatyzować przepływy pracy danych, zwiększyć wykorzystanie zasobów i wspierać przyszły rozwój bez konieczności dokonywania dużych przeróbek.

Rozwiązanie

Modernizacja starszych systemów danych w celu usprawnienia sprawozdawczości ESG i obniżenia kosztów

Innowise opracowało kompletne rozwiązanie do migracji i integracji danych, które zaspokoiło wszystkie potrzeby klienta. Przenieśliśmy kluczowe przepływy danych z Talend do Azure Functions, połączyliśmy się ze Snowflake w celu zaawansowanego przetwarzania danych i zaktualizowaliśmy raportowanie ESG - zapewniając wszystko, co niezbędne do sprawnego zarządzania danymi i śledzenia zrównoważonego rozwoju.

Analiza i planowanie wymagań

Nasz analityk biznesowy i analityk ESG ściśle współpracowali z zespołem klienta, aby dokładnie poznać jego wymagania. Skoncentrowaliśmy się na dokładnym zrozumieniu, jakie dane należy przenieść ze starszego systemu Talend i które przepływy pracy są priorytetowe. Uzyskując jasny obraz ich potrzeb w zakresie raportowania ESG, upewniliśmy się, że rozwiązanie będzie przechwytywać wszystkie kluczowe wskaźniki w celu dokładnego i przejrzystego raportowania.

Nasz zespół wyznaczył również długoterminowe cele w zakresie skalowalności, aby obsłużyć rosnącą ilość danych do analizy śledzenia w przyszłości, projektując elastyczną architekturę od samego początku.

Konfiguracja funkcji Azure

Zespół Innowise opracował niestandardowe funkcje Azure które automatycznie pobierają dane ze starszego systemu klienta za pośrednictwem SFTP i interfejsów API. Skonfigurowaliśmy zaplanowane wyzwalacze, aby transfery danych były zgodne z cyklami raportowania ESG. Aby upewnić się, że cały proces przebiega tak płynnie, jak to możliwe, a wszystkie błędy są szybko rozwiązywane, nasi eksperci zintegrowali Azure Application Insights.

Dzięki architekturze bezserwerowej koszty pozostały niskie, ponieważ zasoby były wykorzystywane tylko podczas przetwarzania danych. W przeciwieństwie do tradycyjnych konfiguracji, nie było bezczynnych serwerów generujących koszty.

Integracja i przetwarzanie danych Snowflake

Wykorzystaliśmy Snowflake jako podstawową platformę do przechowywania i analizy danych oraz utworzyliśmy tabele przejściowe do zarządzania i organizowania przychodzących danych przed poddaniem ich głębszemu przetwarzaniu. Funkcje Azure obsługiwały pierwszą rundę transformacji danych. Z drugiej strony, Snowflake zajął się bardziej złożonym przetwarzaniem za pomocą skryptów SQL, kształtując dane tak, aby pasowały do wskaźników ESG i zrównoważonego rozwoju oraz zapewniając ich zgodność ze standardami raportowania. Ponadto zbudowaliśmy potoki danych do przechowywania danych historycznych, które wspierały analizę trendów i zapewniły klientowi jasny obraz jego wpływu na zrównoważony rozwój w czasie.

Integracja z systemami innych firm

Aby ułatwić płynną wymianę danych, zintegrowaliśmy kilka systemów innych firm z konfiguracją migracji danych:

Cezanne HR: Cezanne, będący narzędziem klienta do śledzenia kart czasu pracy pracowników, służył jako scentralizowane narzędzie do zarządzania czasem w całej organizacji.
Usługa HSBC SFTP: Ta bezpieczna usługa obsługuje transfery danych finansowych, zapewniając zarówno zgodność, jak i bezpieczeństwo danych dla transakcji.
Unit4 ERP: Podczas gdy klient korzystał głównie z Unit4 jako swojego systemu ERP, był w trakcie przechodzenia na nową platformę. Nasze podejście integracyjne wspierało zarówno obecne, jak i przyszłe systemy ERP, umożliwiając łatwe przejście bez przerywania codziennych operacji.

Zrównoważony rozwój i raportowanie EGS

Aby wesprzeć cele klienta w zakresie zrównoważonego rozwoju, nasz zespół stworzył solidną architekturę danych, która zapewnia przejrzystość i dokładność raportów ESG. Nasze rozwiązanie obejmowało kilka kluczowych elementów:

Śledzenie emisji dwutlenku węgla: Skonfigurowaliśmy potoki danych, aby pobierać dane dotyczące emisji dwutlenku węgla z różnych źródeł, takich jak rejestry zużycia energii i dzienniki transportu. Wszystko zostało scentralizowane w Snowflake, co ułatwiło klientowi uzyskanie przejrzystego, usprawnionego widoku jego śladu węglowego. Mając wszystkie te strumienie danych w jednym miejscu, mógł skutecznie śledzić i zarządzać emisjami w całej swojej działalności.
Gromadzenie danych dotyczących wpływu społecznego: Integrując dane z systemów HR klienta, takich jak Cezanne, ułatwiliśmy gromadzenie wskaźników wpływu społecznego. Ta konfiguracja pozwala firmie raportować kluczowe wskaźniki - takie jak różnorodność, czas szkolenia i projekty społeczne - bez kłopotów. Zautomatyzowane przepływy danych zapewniają jasny obraz ich wyników społecznych, gwarantują zgodność i pomagają firmie dostosować strategie ESG.
Wskaźniki zarządzania: System przetwarzał kluczowe dane finansowe i operacyjne z usług SFTP HSBC, aby osiągnąć wszystkie cele klienta w zakresie raportowania ładu korporacyjnego, w tym takie kwestie jak etyczne pozyskiwanie, zgodność z przepisami i ścieżki audytu. Dzięki dokładnemu raportowaniu tych wskaźników klient mógł zachować przejrzystość i odpowiedzialność swoich operacji.
Pulpity nawigacyjne w czasie rzeczywistym: Aby zapewnić interesariuszom szybkie i przydatne informacje, połączyliśmy Snowflake z Power BI i stworzyliśmy pulpity nawigacyjne ESG w czasie rzeczywistym. Te pulpity nawigacyjne pozwoliły skupić się na kluczowych wskaźnikach zrównoważonego rozwoju - takich jak zużycie energii, redukcja odpadów i różnorodność. Dzięki aktualizacjom w czasie rzeczywistym klient mógł uważnie śledzić swoje postępy w realizacji celów klimatycznych, podejmować świadome decyzje i promować odpowiedzialność.

Bezpieczeństwo danych i zgodność z przepisami

Zapewniliśmy bezpieczeństwo danych, korzystając z szyfrowanych połączeń SFTP i solidnych funkcji bezpieczeństwa Snowflake. Każdy transfer danych do i ze Snowflake był w pełni zgodny z RODO, co ma kluczowe znaczenie dla obsługi wrażliwych informacji HR i ESG. Ponadto nasi eksperci ds. bezpieczeństwa skonfigurowali w Snowflake kontrolę dostępu opartą na rolach (RBAC), dzięki czemu tylko właściwe osoby mogły uzyskiwać dostęp do wskaźników ESG lub je aktualizować.

Technologie

Języki programowania i frameworki

.NET, SQL

Usługi chmurowe

Azure Functions, Azure Application Insights

Hurtownie danych

Snowflake

Protokoły transferu danych

SFTP

Monitorowanie i rejestrowanie

Monitor Azure

Narzędzia do wizualizacji

Power BI

VCS

Git, GitHub

Testowanie

NUnit

Proces

Zarządzaliśmy projektem przy użyciu Agile, dzieląc go na jasne, łatwe w zarządzaniu fazy, aby zachować wydajność i synchronizację z celami klienta. Każdy etap był starannie planowany, realizowany i weryfikowany z klientem. Dzięki regularnym sprintom i ciągłej integracji, utrzymywaliśmy rzeczy w ruchu i szybko dostosowywaliśmy się do informacji zwrotnych. Nasz kierownik projektu przeprowadzał cotygodniowe odprawy, aby dzielić się aktualizacjami, odpowiadać na pytania i uzyskiwać zatwierdzenia na kluczowych etapach. Takie ustrukturyzowane podejście utrzymywało nas na dobrej drodze, zmniejszało ryzyko i pomogło nam dostarczać wysokiej jakości wyniki na czas, idealnie spełniając oczekiwania klienta.

Zespół

Kierownik projektu

Analityk ESG

Analityk biznesowy

Inżynierowie danych

Cloud Architect

Konsultant ESG

QA Engineer

Wyniki

Większa dokładność danych i niższe koszty raportowania

Projekt przyniósł już znaczące rezultaty, wprowadzając klienta na szybką ścieżkę do osiągnięcia celów zrównoważonego rozwoju. Przechodząc na Azure Functions, klient zwiększył wydajność przetwarzania danych o 30%, przyspieszył przepływ danych i skrócił czas oczekiwania na wgląd. Integracja Snowflake zapewniła dostęp w czasie rzeczywistym do krytycznych wskaźników ESG, co zwiększyło dokładność raportowania o 25% oraz poprawiło zgodność i przejrzystość.

Bezserwerowa konfiguracja obniżyła również koszty operacyjne o 20%, dając klientowi skalowalne, przyjazne dla budżetu rozwiązanie gotowe do rozwoju wraz z przyszłymi potrzebami. Teraz mogą podejmować mądrzejsze, oparte na danych decyzje i kontynuować wysiłki na rzecz innowacji klimatycznych.

W następnej fazie klient planuje dodać analitykę predykcyjną z uczeniem maszynowym do prognozowania ESG, zintegrować IoT w celu dokładniejszego gromadzenia danych i przyjąć monitorowanie zgodności oparte na sztucznej inteligencji, aby być na bieżąco ze zmieniającymi się zasadami ESG.

Czas trwania projektu

Czerwiec 2024 r. - w toku

30%

zwiększenie wydajności przetwarzania danych

20%

redukcja kosztów operacyjnych

Podobne projekty

Skontaktuj się z nami

Umów się na rozmowę lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość

Wyślij nam wiadomość głosową

Załącz dokumenty

Prześlij plik

Można załączyć 1 plik o rozmiarze do 2 MB. Prawidłowe formaty plików: pdf, jpg, jpeg, png.

Klikając przycisk Wyślij, użytkownik wyraża zgodę na przetwarzanie przez Innowise jego danych osobowych zgodnie z naszą polityką prywatności. Politykę Prywatności w celu dostarczenia użytkownikowi odpowiednich informacji. Podając swój numer telefonu, użytkownik wyraża zgodę na kontaktowanie się z nim za pośrednictwem połączeń głosowych, wiadomości SMS i aplikacji do przesyłania wiadomości. Mogą obowiązywać opłaty za połączenia, wiadomości i transmisję danych.

Możesz również przesłać nam swoje zapytanie
na adres contact@innowise.com

Co dalej?

Po otrzymaniu i przetworzeniu wniosku skontaktujemy się z Tobą, by zidentyfikować potrzeby projektu i podpisać umowę o zachowaniu poufności.

Po przeanalizowaniu Twoich potrzeb i oczekiwań, nasz zespół opracuje propozycję projektu z zakresem prac, wielkością zespołu, czasem i szacunkowymi kosztami.

Zorganizujemy spotkanie w celu omówienia oferty i ustalenia szczegółów.

Na koniec podpiszemy umowę, błyskawicznie rozpoczynając pracę nad projektem.