Bogata w funkcje platforma do przetwarzania dokumentów dla banków i przedsiębiorstw

Zbudowanie podstawowego modułu parsowania dla platformy zarządzania umowami Leganta, który rozbija złożone dokumenty prawne na ustrukturyzowane, możliwe do przeszukiwania dane i integruje sztuczną inteligencję do automatycznej klasyfikacji pól i semantycznej analizy treści (gotowe do DORA / NIS2).

Branża Information technology, Legal

Pracownicy <50

Region Niemcy

Usługi Backend development, Tworzenie frontendu

Klient od 2024

Opis klienta

Podsumuj artykuł za pomocą AI

LEGANTA® to niemiecka firma technologiczna tworząca platformę do zarządzania dokumentami przeznaczoną dla organizacji obsługujących duże ilości umów, głównie instytucji finansowych i przedsiębiorstw. Główna idea produktu jest prosta: zamiast zmuszać ludzi do przewijania 60- lub 80-stronicowych plików PDF w poszukiwaniu tego, czego potrzebują, system konwertuje te dokumenty na ustrukturyzowane, przeszukiwalne obiekty, które użytkownicy mogą filtrować, aktualizować i pracować z nimi bezpośrednio. Ważnymi zastosowaniami są semantyczne transformacje umów DORA / NIS2.

Leganta zgłosiła się do Innowise, aby zbudować centralny element tego produktu. Moduł ten jest odpowiedzialny za pobieranie nieprzetworzonego pliku PDF z umową i dzielenie go na sekcje semantyczne, które mogą być następnie przetwarzane przez istniejący system wewnętrzny.

Zespół Innowise przejął odpowiedzialność za znaczną część nowego produktu od samego początku naszego zaangażowania. Bardzo ściśle współpracowali z naszym kierownikiem technicznym, aby poznać obecną bazę kodu, pomóc w projektowaniu architektury i byli zaangażowani w podejmowanie decyzji architektonicznych od pierwszego dnia projektu. Przez cały czas trwania tej współpracy cieszyliśmy się dobrą komunikacją, z częstymi codziennymi spotkaniami standup i regularnie zaplanowanymi sesjami synchronizacji.

Hugo Christian Rieß CEO, LEGANTA

Wyzwanie

Firma Leganta potrzebowała niezawodnego, zautomatyzowanego sposobu na pobranie surowego kontraktu PDF i przekształcenie go w ustrukturyzowane obiekty, aby eksperci nie musieli robić tego ręcznie. Zbudowanie tego modułu od podstaw było głównym wyzwaniem w tym projekcie.

Czasochłonne przetwarzanie ręczne. Wcześniej pracownicy ręcznie czytali ogromne umowy w celu wyodrębnienia określonych podmiotów. Ta ręczna procedura spowalniała operacje i zwiększała ryzyko błędu ludzkiego.
Przeciążenie informacyjne. Umowy korporacyjne zawierają nadmierne ilości tekstu. Użytkownicy potrzebują metody izolowania kluczowych obiektów danych, aby skutecznie przygotować dokumenty do integracji ERP lub podpisów elektronicznych.
Zgodność z prawem. Zautomatyzowana modyfikacja tekstu wiąże się z poważnym ryzykiem prawnym. System musi zachować dokładne oryginalne brzmienie klauzul prawnych, aby zapobiec błędnej interpretacji lub sporom umownym.

Brak bazy danych lub logiki parsowania. Klient nie miał istniejącej podstawy do analizowania umów, ale wiedział, że chce korzystać z MongoDB. Projekt wymagał skonfigurowania bazy danych od podstaw i zbudowania na niej całej podstawowej logiki w celu obsługi nowej funkcjonalności.
Nieprzewidywalne formaty dokumentów. Umowy korporacyjne mają różne style, nieregularne układy i złożone spisy treści. Leganta potrzebowała niezawodnego algorytmu do precyzyjnego wyodrębniania tekstu z tych nieprzewidywalnych plików PDF.
Cloud i wdrożenie lokalne. Leganta wymagała, aby platforma działała płynnie zarówno jako rozwiązanie hostowane w chmurze, jak i lokalna instalacja lokalna, aby zadowolić różnych klientów korporacyjnych. Podstawowa architektura musiała wykorzystywać wszechstronne narzędzia do konteneryzacji, takie jak Docker i Kubernetes, aby od samego początku obsługiwać te podwójne środowiska hostingowe.

Rozwiązanie

Aby sprostać tym wyzwaniom, Innowise zbudował moduł parsowania dokumentów od podstaw. Prace obejmowały logikę backendu, interfejs frontendowy i infrastrukturę wdrożeniową, przy czym dwaj programiści podzielili się obowiązkami w całym stosie.

Parsowanie dokumentów i segmentacja semantyczna

Pierwszym zadaniem było zbudowanie silnika parsującego. Zaczęliśmy od integracji Apache POI, aby wyodrębnić zawartość tekstową z przesłanych umów PDF, wraz z metadanymi formatowania osadzonymi w każdym pliku. Wykorzystaliśmy te metadane, style nagłówków, podziały akapitów i grubości czcionek jako sygnały sterujące logiką parsowania.

Nasz zespół opracował niestandardowy algorytm segmentacji, który dzieli wyodrębniony tekst na jednostki semantyczne: poszczególne klauzule, sekcje i pola danych, które użytkownicy mogą następnie przeglądać, edytować i pracować z nimi bezpośrednio.
Opracowaliśmy reguły segmentacji i przetestowaliśmy je na rzeczywistych próbkach umów, aż wyniki były spójne i znaczące. Przechowujemy wszystkie przeanalizowane sekcje jako ustrukturyzowane obiekty w MongoDB.
Na frontendzie zbudowaliśmy dwupanelowy interfejs. Umieściliśmy oryginalny plik PDF po lewej stronie, aby użytkownicy zawsze mieli wgląd w dokument źródłowy, a po prawej stronie zbudowaliśmy edytowalną tabelę przeanalizowanych sekcji. W ten sposób użytkownicy mogą porównać źródło z wyodrębnionymi danymi w dowolnym momencie.
Nasi eksperci rozszerzyli również bibliotekę renderowania plików PDF typu open source, ponieważ darmowa wersja nie obsługiwała niektórych przypadków brzegowych, więc ręcznie dostosowaliśmy ją do poziomu płatnych alternatyw.
Stworzyliśmy również zestaw narzędzi do edycji, dzięki czemu użytkownicy mogą w razie potrzeby poprawiać dane wyjściowe. Mogą łączyć sekcje, które algorytm podzielił nieprawidłowo, dostosowywać tytuły, wypełniać pola i zmieniać dowolną część struktury przed zapisaniem. Zaprojektowaliśmy przepływ tak, aby był szybki, ponieważ dokładność parsowania zależy od jakości dokumentu, a użytkownicy często muszą wprowadzać poprawki.

System szablonów dla powtarzających się typów dokumentów

Gdy już podstawowe parsowanie działało, zbudowaliśmy na nim system szablonów. Pomysł zrodził się z praktycznej obserwacji: organizacje przetwarzające duże ilości podobnych umów, takie jak banki korzystające ze standardowych umów kredytowych, wielokrotnie napotykają te same struktury dokumentów.

Stworzyliśmy funkcję save-as-template, która pozwala użytkownikom przechwycić w pełni ustrukturyzowany i poprawiony dokument jako wzorzec wielokrotnego użytku. Gdy pojawia się nowa umowa o podobnej strukturze, system automatycznie stosuje ten wzorzec podczas parsowania.
W przypadku dokumentów dopasowanych do szablonu dokładność pierwszego przejścia jest znacznie wyższa, a czas spędzany przez użytkowników na ręcznej weryfikacji odpowiednio spada.

Integracja sztucznej inteligencji do klasyfikacji pól

Równolegle z naszą pracą, eksperci klienta opracowali warstwę klasyfikacji opartą na GPT, która znajduje się na szczycie analizowanych sekcji. Jej zadaniem jest klasyfikowanie każdej sekcji względem wewnętrznych typów jednostek platformy.

Naszym zadaniem było upewnienie się, że przeanalizowane dane wyjściowe są czysto przekazywane do tej warstwy. To powiedziawszy, ustrukturyzowaliśmy sekcje tak, aby były konsekwentnie ograniczone i dobrze uformowane, aby klasyfikacja AI mogła działać niezawodnie na nich.
Ściśle współpracowaliśmy z zespołem klienta w zakresie formatu przekazywania między dwiema warstwami. Zespół klienta zbudował warstwę AI po swojej stronie. Naszym zadaniem było dopilnowanie, aby przeanalizowane sekcje zostały do niej wprowadzone w czysty sposób.

Warstwa zarządzania projektami i dokumentami

Wokół silnika parsującego zbudowaliśmy pełną warstwę zarządzania, z którą użytkownicy wchodzą w interakcję każdego dnia.

Nasz zespół stworzył strukturę projektu, która pozwala użytkownikom grupować powiązane dokumenty w ramach pojedynczej umowy lub negocjacji. Stworzyliśmy również przepływ przesyłania i cyklu życia dokumentów oraz pełną warstwę CRUD do zarządzania zarówno projektami, jak i dokumentami.
Skonfigurowaliśmy H2 jako lekki, samodzielny magazyn poświadczeń i ról, oddzielając go od głównych danych dokumentów w MongoDB.

Infrastruktura i wdrożenie

Napisaliśmy pliki Dockerfile dla wszystkich usług, skonfigurowaliśmy wdrożenia i usługi Kubernetes, skonfigurowaliśmy ingress z certyfikatami TLS i zbudowaliśmy potok CI na GitHub Actions, aby obsłużyć etapy kompilacji, wypychania obrazów i publikowania.

Wdrożyliśmy platformę na infrastrukturze dostarczonej przez Syseleven, niemieckiego partnera chmurowego Leganta.
Skonstruowaliśmy konteneryzowaną konfigurację tak, aby obsługiwała również wdrażanie lokalne w lokalizacjach klientów, czego Leganta wymaga od niektórych swoich klientów korporacyjnych.

Współpraca z zespołem Leganta układała się dobrze od samego początku. Kierownik techniczny klienta był dostępny, miał jasność co do tego, czego potrzebuje i był otwarty, gdy mieliśmy inne podejście do czegoś. Weszliśmy, zapoznaliśmy się z tym, co już tam było i od tego momentu wspólnie opracowaliśmy architekturę. Na początku zakres był naprawdę otwarty, a jedynym twardym wymaganiem było MongoDB, więc wiele decyzji technicznych zapadło w wyniku ciągłej dyskusji. Ten rodzaj współpracy jest łatwiejszy, gdy druga strona dobrze zna swój produkt, a zespół Leganta tak właśnie zrobił. Pracujemy nad tym projektem od początku 2024 roku, a rytm pracy pozostał spójny przez cały czas.

Dmitry Nazarevich Dyrektor ds. technologii

Technologie

Backend

Java 17, Spring Boot

Frontend

Vue.js, Vuetify, TypeScript, Pinia

Baza danych (główna)

MongoDB

Baza danych (autoryzacja)

Przetwarzanie PDF

Apache POI

CI

GitHub Actions

Testowanie

Testy jednostkowe, testy integracyjne (backend), Selenium (frontend)

Kontenery

Docker, Kubernetes

Zespół

Programista Back-End

Programista Full-Stack

Wyniki

Czas trwania projektu

Luty 2024-2025

Moduł parsowania działa i jest w fazie produkcyjnej. Leganta wykorzystuje go jako punkt wejścia do swojego przepływu pracy w zakresie zarządzania umowami.

Skrócenie czasu strukturyzacji umowy z godzin do sekund. Obecnie system tworzy wstępnie przeanalizowaną strukturę w około 10 sekund. Podczas demonstracji pełna umowa, sprawdzona, poprawiona w razie potrzeby i całkowicie wypełniona, była gotowa w ciągu godziny. W przypadku dokumentów, które pasują do istniejącego szablonu, początkowe parsowanie jest zbliżone do ostatecznej wersji z minimalną wymaganą korektą.
Szablony przyspieszają powtarzalną pracę za każdym razem. Po ustrukturyzowaniu i zapisaniu umowy jako szablonu, kolejne dokumenty tego samego typu automatycznie wykorzystują tę strukturę. Organizacje obsługujące duże ilości podobnych umów, których głównym celem są banki, dostrzegają korzyści związane z każdą przetwarzaną umową.
Platforma wdrożona i działająca w środowisku produkcyjnym. Platforma obsługuje zarówno infrastrukturę chmurową, jak i wdrożenia lokalne dla klientów korporacyjnych, którzy tego potrzebują. Od momentu rozpoczęcia projektu zespół utrzymuje stały, dwutygodniowy cykl wydawniczy.
Silnik transformacji semantycznej. LEGANTA® zapewnia możliwość transformacji semantycznej, która przekształca dowolny dokument w dowolnie wybrane struktury docelowe. Umożliwia to precyzyjne dostosowanie do celów specyficznych dla klienta i płynną integrację z istniejącymi krajobrazami IT. W swojej istocie silnik interpretuje dokumenty jako semantyczne przestrzenie informacyjne. Restrukturyzuje je i wzbogaca, dzięki czemu organizacje mogą osadzać wynikowe dane bezpośrednio w swoich systemach operacyjnych, zgodności, ryzyka lub analitycznych, bez konieczności ręcznej przebudowy.
Bezproblemowa integracja systemu. Rozwiązanie bezbłędnie współdziała z istniejącymi modułami uwierzytelniania i innymi modułami klienta oraz umożliwia płynny eksport danych do innych systemów wewnętrznych.

Zespół dostarczył wszystko, co zostało zaplanowane i wysłane w spójnym, dwutygodniowym cyklu wydawniczym. Moduł parsowania został uruchomiony, a Leganta zaczęła go używać w codziennym obiegu umów.

Spis treści

Zbuduj i ulepsz swoją platformę dzięki Innowise

Powiązane projekty

Skontaktuj się z nami

Umów się na rozmowę lub wypełnij poniższy formularz, a my odezwiemy się do Ciebie po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość

Wyślij nam wiadomość głosową

Załącz dokumenty

Prześlij plik

Można załączyć 1 plik o rozmiarze do 2 MB. Prawidłowe formaty plików: pdf, jpg, jpeg, png.

Klikając "Wyślij", wyrażasz zgodę na przetwarzanie Twoich danych osobowych przez Innowise zgodnie z naszą Politykę Prywatności w celu przekazania Ci odpowiednich informacji. Podając numer telefonu, zgadzasz się na kontakt za pośrednictwem połączeń głosowych, SMS-ów lub komunikatorów. Mogą obowiązywać opłaty za połączenia, wiadomości i transmisję danych.

Możesz także wysłać swoje zapytanie
na contact@innowise.com

Co dalej?

Po otrzymaniu i przetworzeniu zgłoszenia skontaktujemy się z Tobą, aby szczegółowo opisać projekt i podpisać umowę NDA w celu zapewnienia poufności.

Po zapoznaniu się z Twoimi potrzebami i oczekiwaniami, nasz zespół opracuje projekt wraz z zakresem prac, wielkością zespołu, wymaganym czasem i szacunkowymi kosztami.

Zorganizujemy spotkanie w celu omówienia oferty i ustalenia szczegółów.

Na koniec podpiszemy umowę, błyskawicznie rozpoczynając pracę nad projektem.