Webbplattform för rekonstruktion av 3D-kroppsdelar

Innowise har utvecklat ett revolutionerande verktyg för automatisk 3D-rekonstruktion av ben, hud och andra organ från röntgen-och CT-skanningar baserade på ML-algoritmer.

Kund

Industri

Hälso- och sjukvård, IoT

Region

Kund sedan

2021

Vår kund är ett medicinskt utrustningsföretag som tillverkar högteknologiska enheter och programvara som hjälper kliniker i deras dagliga arbete.

Detaljerad information om kunden kan inte lämnas ut enligt bestämmelserna i NDA.

Utmaning

I takt med att hälso- och sjukvården utvecklas utvecklas ständigt nya disruptiva tekniker. Eftersom kirurgi kräver kompetens och noggrannhet behöver läkare exakt medicinsk utrustning som mildrar mänskliga fel och förhindrar oförutsedda omständigheter.

Vår klient krävde en 3D-kroppsmodelleringsprogramvara som kan återskapa ben, hud och andra organ från röntgenstrålar och datortomografi. Genom att konvertera platta skanningar till tredimensionella volymetriska modeller skulle läkare kunna förbättra synligheten vid behandling av patienter och få mer insikt i sjukdomar och avvikelser. Studenter och praktikanter skulle också använda dessa 3D-medicinska modeller för att öva diagnostik och kirurgiska ingrepp innan de utför dem.

Lösning

Vår huvuduppgift var att organiskt integrera 3D-byggplattformen i kundens ekosystem och göra den kompatibel med röntgenstrålar och CT-skanningar exporterade från radiologi, kardiologi och andra laboratorier så att de kunde nås över sjukhusarbetsstationer och personliga bärbara datorer.

DICOM-kompatibilitet

I förväg såg vi till att vår webbplattform sömlöst fungerar med DICOM-filer. Digital bildbehandling och kommunikation i medicin (DICOM) är en vanlig standard för utbyte av medicinsk bildinformation och relaterad data. Efter detta steg betonade vi ytterligare säkerhetsskydd eftersom DICOM-filer innehåller konfidentiell hälsoinformation.

Som ett resultat har våra dedikerade utvecklare skapat ett utrymme där alla importerade DICOM-filer med data om patienter, deras diagnoser, behandling, datum och testresultat lagras.

Från röntgen och CT-skanningar till 3D-visualiseringar

Även om icke-kontrasttekniken är tillgänglig för 3D-rekonstruktion rekommenderas intravenösa (IV) kontrastskanningar (färglösa vätskor baserade på jod) för mer exakta 3D-visualiseringar.

Så snart röntgen-eller CT-skanningen laddas ner i systemet tar det bara ett par klick för att göra svartvita bilder till tredimensionella rekonstruktioner. För att bestämma nivån på 3D-detaljer ställer kliniker manuellt tröskeldämpningsvärden. Medan plattformen skannar varje CT-skiva rad för rad, registrerar den de exakta koordinaterna för varje pixel som visar ett dämpningsvärde som är större än tröskeln. Sedan representerar dessa valda pixlar voxlar som innehåller kroppsfragment tätare än den valda tröskeln. Som ett resultat uppträder volymetriska 3D-rekonstruktioner efter dessa manipuleringar.
När 3D-rendering är klar kan kliniker hantera objekt genom ett bekvämt verktygsfält med ett förstoringsglas för att zooma in/ut, en lutningsskärm för att lägga till/ta bort hud, vävnad, muskler och benstrukturer och sax för att skära bort överflödiga delar. Ändå är huvudverktyget en kub som gör det möjligt för utövare att rotera en bild på sin axel och ge en mer exakt bild av patologin.

Smart ROI-ansvarig

För att lyfta fram patologi utvecklade vårt team en avancerad ROI-chef (intresseområde - tumörens gränser). Här markerar läkare patologier så att de omedelbart känns igen i 3D-rekonstruktionerna efter rendering. Genom att placera prickar på tumörerna mäter kliniker omfattningen av lesioner för att fatta informativa beslut om kirurgiska operationer. Dessutom kan kliniker byta namn på och markera patologiska zoner i olika färger så att de sticker ut från friska områden. För att göra segmenteringen ännu mer exakt sätter vårt team trösklar, pixelvärden och preliminära förhandsgranskningar för att möjliggöra mer detaljerad 3D-anpassning. Detta inkluderar att generera detaljerade rapporter med anatomiska anteckningar och etiketter, samt mäta avstånd mellan organ för mer exakt kirurgisk planering.

När alla bearbetningssteg har slutförts kan utövare exportera och dela 3D-bilden och ställa in åsnor enligt användarnas roller.

Teknik och verktyg

Back-end

Python, FastAPI, PyQt

Front-end

JavaScript, React

Databaser

MS SQL Server

ML, MLOps

Vikter och bias, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, modellövervakning, slutpunkt för inferens)

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Process

Även om projektet var ambitiöst och utmanande kunde våra specialister slutföra det framgångsrikt. Först uppskattade våra specialister omfattningen av arbetet och utvärderade viktiga milstolpar. För att möta tekniska och affärsmässiga krav valde vi den bäst lämpade tekniska stacken baserat på vår omfattande expertis.

Vårt dedikerade team använde Python för att skapa 3D medicinsk modelleringsprogramvara och säkerställa smidiga tredjepartsintegrationer. Eftersom dyr hårdvara på klientsidan inte var ekonomiskt rationell, utnyttjade vi AWS-funktioner för att riva upp molnprogramvaruarkitekturen. Genom API-gateways utvecklade vi också en stationär version som fungerar på samma sätt som webbplattformen.

För att göra 3D-rekonstruktion korrekt och tillförlitlig använde vi olika ML-verktyg och metoder för att lösa detekterings -, klassificerings- och segmenteringsuppgifter samt datamärkning. Dessutom använde vårt projektteam ML-kapacitet och datorvision för att öka nivån på träningsmodeller. För att möta kundens krav tog Innowise flera samtidiga tillvägagångssätt när det gäller inbyggd 3D-och bildskärningsbehandling. Som ett resultat presenterade vi ett innovativt 3D-renderingsverktyg med en ML-baserad automatisk pipeline för omskolning och produktion av modeller anpassade till medicinska behov.

Vårt team arbetade utifrån Scrum agile utvecklingsmetodik med regelbundna teammöten och kommunikation via Google Meet. För närvarande pågår projektet med innowise Group som kontinuerligt arbetar med att vidareutveckla plattformen och säkerställa integrationer med medicinska appar och tjänster från tredje part.

Team

Projektledare

ML Ingenjörer

Back-end utvecklare

Front-end-utvecklare

UI/UX-designer

QA-ingenjörer

Resultat

3D-modellering inom den medicinska industrin ger fantastiska möjligheter att rekonstruera ben från datortomografi (CT) röntgenskanningar på ett icke-invasivt sätt. Som ett resultat gör vår toppnivå 3D-renderingsplattform det möjligt för proffs att exakt mäta tumörområden och andra patologier, övervaka organ över tid, utvärdera vävnadssammansättning och noggrant bedöma frakturer utan att behöva röra en patient. Från och med nu ser läkare noggrant anatomin och diagnostiserar olika sjukdomar som är osynliga genom traditionella metoder. Dessutom möjliggör vår lösning för att generera detaljerade rapporter med anatomiska anteckningar och etiketter, samt mäta avstånd mellan organ för mer exakt kirurgisk planering. Med hjälp av vår plattform kan kirurger nu planera sin verksamhet på ett mer exakt och effektivt sätt.

Projektets löptid

Januari 2021 - pågår

Relaterade fall

Kontakta oss!

Boka ett samtal eller fyll i formuläret nedan så återkommer vi till dig när vi har behandlat din förfrågan.

Namn

Företag

E-post

Telefon

Meddelande Vänligen inkludera projektinformation, varaktighet, teknologistack, IT-proffs som behövs och annan relevant information

Spela in ett röstmeddelande om ditt projekt för att hjälpa oss att förstå det bättre

Bifoga ytterligare dokument vid behov

Ladda upp filen

Du kan bifoga upp till 1 fil på totalt 2 MB. Giltiga filer: pdf, jpg, jpeg, png

Observera att när du klickar på knappen Skicka kommer Innowise att behandla dina personuppgifter i enlighet med vår Integritetspolicy för att ge dig lämplig information.

Vad händer härnäst?

Efter att ha mottagit och behandlat din begäran kommer vi att återkomma till dig inom kort för att specificera dina projektbehov och underteckna en NDA för att säkerställa konfidentialitet av information.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma överens.

Vi skriver på ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt.