Platforma internetowa do rekonstrukcji części ciała 3D

Firma Innowise opracowała rewolucyjne narzędzie do automatycznej rekonstrukcji 3D kości, skóry i innych narządów na podstawie zdjęć rentgenowskich i tomografii komputerowej w oparciu o algorytmy ML.

Klient

Branża

Opieka zdrowotna, IoT

Region

Klient od

2021

Nasz klient to firma produkująca sprzęt medyczny, wytwarzająca zaawansowane technologicznie urządzenia i oprogramowanie wspomagające pracę klinicystów.

Szczegółowe informacje o kliencie nie mogą być ujawnione zgodnie z postanowieniami NDA.

Wyzwanie

Wraz z rozwojem branży opieki zdrowotnej stale pojawiają się nowe, przełomowe technologie. Ponieważ chirurgia wymaga kompetencji i dokładności, lekarze potrzebują precyzyjnego sprzętu medycznego, który łagodzi ludzkie błędy i zapobiega nieprzewidzianym okolicznościom.

Nasz klient potrzebował oprogramowania do modelowania ciała w 3D, zdolnego do odtwarzania kości, skóry i innych narządów na podstawie zdjęć rentgenowskich i tomografii komputerowej. Przekształcając płaskie skany w trójwymiarowe modele wolumetryczne, lekarze mogliby poprawić widoczność podczas leczenia pacjentów i uzyskać lepszy wgląd w choroby i nieprawidłowości. Studenci i stażyści mogliby również wykorzystywać te trójwymiarowe modele medyczne do ćwiczenia diagnostyki i zabiegów chirurgicznych przed ich wykonaniem.

Wdrożenie

Naszym głównym zadaniem było organiczne zintegrowanie platformy konstrukcyjnej 3D z ekosystemem klienta i zapewnienie jej kompatybilności ze zdjęciami rentgenowskimi i skanami CT eksportowanymi z radiologii, kardiologii i innych laboratoriów, tak aby można było uzyskać do nich dostęp na szpitalnych stacjach roboczych i osobistych laptopach.

Zgodność z DICOM

Wcześniej upewniliśmy się, że nasza platforma internetowa bezproblemowo współpracuje z plikami DICOM. Format obrazowania cyfrowego i komunikacji w medycynie (DICOM) jest powszechnym standardem wymiany informacji o obrazowaniu medycznym i powiązanych danych. Po tym kroku położyliśmy nacisk na dodatkowe zabezpieczenia, ponieważ pliki DICOM zawierają poufne informacje zdrowotne.

W rezultacie nasi dedykowani programiści stworzyli przestrzeń, w której przechowywane są wszystkie zaimportowane pliki DICOM z danymi o pacjentach, ich diagnozach, leczeniu, datach i wynikach badań.

Od zdjęć rentgenowskich i tomografii komputerowej po wizualizacje 3D

Chociaż technika bezkontrastowa jest dostępna do rekonstrukcji 3D, dożylne (IV) skany kontrastowe (bezbarwne płyny na bazie jodu) są zalecane do dokładniejszych wizualizacji 3D.

Po pobraniu zdjęcia rentgenowskiego lub tomografii komputerowej do systemu wystarczy kilka kliknięć, aby przekształcić czarno-białe obrazy w trójwymiarowe rekonstrukcje. Aby określić poziom szczegółowości 3D, klinicyści ręcznie ustawiają wartości progowe tłumienia. Podczas gdy platforma skanuje każdy przekrój CT linia po linii, rejestruje dokładne współrzędne każdego piksela, który wykazuje wartość tłumienia większą niż próg. Następnie te wybrane piksele reprezentują woksele, które zawierają fragmenty ciała gęstsze niż wybrany próg. W rezultacie po tych manipulacjach pojawiają się wolumetryczne rekonstrukcje 3D.
Po zakończeniu renderowania 3D klinicyści mogą zarządzać obiektami za pomocą wygodnego paska narzędzi z lupą do powiększania / pomniejszania, paska cieni gradientu do dodawania / usuwania skóry, tkanek, mięśni i struktur kostnych oraz nożyczek do odcinania nadmiaru części. Niemniej jednak głównym narzędziem jest sześcian, który pozwala praktykom obracać obraz wokół własnej osi i uzyskać dokładniejszy obraz patologii.

Inteligentny menedżer ROI

Aby wyróżnić patologię, nasz zespół opracował zaawansowany menedżer ROI (region zainteresowania - granice guza). Tutaj lekarze podkreślają patologie, dzięki czemu są one natychmiast rozpoznawalne w rekonstrukcjach 3D po renderowaniu. Umieszczając kropki na guzach, klinicyści mierzą zasięg zmian, aby podejmować decyzje dotyczące operacji chirurgicznych. Ponadto klinicyści mogą zmieniać nazwy i wyróżniać strefy patologiczne różnymi kolorami, aby odróżniały się od zdrowych obszarów. Aby segmentacja była jeszcze bardziej precyzyjna, nasz zespół ustawił progi, wartości pikseli i wstępne podglądy, aby umożliwić bardziej szczegółowe dostosowanie 3D. Obejmuje to generowanie szczegółowych raportów z anatomicznymi adnotacjami i etykietami, a także pomiar odległości między narządami w celu dokładniejszego planowania chirurgicznego.

Po zakończeniu wszystkich etapów przetwarzania, praktycy mogą eksportować i udostępniać obraz 3D, ustawiając oceny zgodnie z rolami użytkowników.

Technologie i narzędzia

Back-end

Python, FastAPI, PyQt

Front-end

JavaScript, React

Bazy danych

MS SQL Server

ML, MLOps

Weights and Biases, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, monitorowanie modelu, punkt końcowy wnioskowania)

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Proces

Mimo że projekt był ambitny i wymagający, nasi specjaliści byli w stanie zakończyć go sukcesem. Najpierw nasi specjaliści oszacowali zakres prac i ocenili główne kamienie milowe. Aby spełnić wymagania techniczne i biznesowe, wybraliśmy najlepiej dopasowany stos technologiczny w oparciu o naszą rozległą wiedzę.

Nasz dedykowany zespół wykorzystał Python do stworzenia oprogramowania do modelowania medycznego 3D i zapewnienia płynnej integracji z innymi firmami. Ponieważ kosztowny sprzęt po stronie klienta nie był racjonalny finansowo, w pełni wykorzystaliśmy możliwości AWS, aby rozwikłać architekturę oprogramowania w chmurze. Dzięki bramkom API opracowaliśmy również wersję desktopową, która działa tak samo jak platforma internetowa.

Aby rekonstrukcja 3D była dokładna i niezawodna, wykorzystaliśmy różne narzędzia i podejścia ML do rozwiązywania zadań wykrywania, klasyfikacji i segmentacji, a także etykietowania danych. Dodatkowo, nasz zespół projektowy wykorzystał możliwości ML i wizji komputerowej w celu zwiększenia poziomu modeli treningowych. Aby spełnić wymagania klienta, Innowise zastosował kilka równoległych podejść do natywnego przetwarzania 3D i wycinków obrazu. W rezultacie zaprezentowaliśmy innowacyjne narzędzie do renderowania 3D z automatycznym potokiem opartym na ML do ponownego szkolenia i wprowadzania modeli do produkcji dostosowanych do potrzeb medycznych.

Nasz zespół pracował na podstawie zwinnej metodologii rozwoju Scrum z regularnymi spotkaniami zespołowymi i komunikacją przez Google Meet. Obecnie projekt jest w toku, a Innowise nieustannie pracuje nad dalszym rozwojem platformy i zapewnieniem integracji z zewnętrznymi aplikacjami i usługami medycznymi.

Zespół

Kierownik projektu

Inżynierowie ML

Programistów back-end

Programistów front-end

Projektant UI/UX

Inżynierowie QA

Wyniki

Modelowanie 3D w branży medycznej zapewnia niesamowite możliwości rekonstrukcji kości ze skanów rentgenowskich tomografii komputerowej (CT) w nieinwazyjny sposób. W rezultacie nasza najwyższej klasy platforma do renderowania 3D umożliwia specjalistom precyzyjne mierzenie obszarów nowotworów i innych patologii, monitorowanie narządów w czasie, ocenę składu tkanek i dokładną ocenę złamań bez konieczności dotykania pacjenta. Od teraz lekarze mogą dokładnie zobaczyć anatomię i zdiagnozować różne choroby, które są niewidoczne przy użyciu tradycyjnych metod. Co więcej, nasze rozwiązanie umożliwia generowanie szczegółowych raportów z anatomicznymi adnotacjami i etykietami, a także pomiar odległości między narządami w celu dokładniejszego planowania operacji. Z pomocą naszej platformy chirurdzy mogą teraz planować swoje operacje w bardziej precyzyjny i wydajny sposób.

Czas trwania projektu

Styczeń 2021 r. - w trakcie realizacji

Podobne projekty

Skontaktuj się z nami!

Zadzwoń lub wypełnij poniższy formularz, a my skontaktujemy się z Tobą po przetworzeniu Twojego zgłoszenia.

Nazwa

Firma

E-mail

Telefon

Wiadomość Prosimy o podanie szczegółów projektu, czasu trwania, stosu technologicznego, potrzebnych specjalistów IT i innych istotnych informacji.

Nagraj wiadomość głosową na temat
projekt, który pomoże nam lepiej go zrozumieć

W razie potrzeby dołącz dodatkowe dokumenty

Prześlij plik

Można załączyć maksymalnie 1 plik o łącznej wielkości 2 MB. Ważne pliki: pdf, jpg, jpeg, png

Informujemy, że po kliknięciu przycisku Wyślij Innowise będzie przetwarzać Twoje dane osobowe zgodnie z naszą Polityką prywatności w celu dostarczenia Ci odpowiednich informacji.

Co będzie dalej?

Po otrzymaniu i przetworzeniu Twojego zgłoszenia skontaktujemy się z Tobą wkrótce, aby wyszczególnić potrzeby projektu i podpisać umowę o zachowaniu poufności, aby zapewnić poufność informacji.

Po przeanalizowaniu wymagań, nasi analitycy i programiści opracowują projekt z zakresem prac, wielkością zespołu, czasem i kosztami szacunki.

Umówimy się z Tobą na spotkanie, aby omówić ofertę i dojść do porozumienia porozumienia.

Podpisujemy umowę i rozpoczynamy pracę nad projektem tak szybko, jak to możliwe.