Nettplattform for rekonstruksjon av kroppsdeler i 3D

Innowise har utviklet et revolusjonerende verktøy for automatisk 3D-rekonstruksjon av bein, hud og andre organer fra røntgenbilder og CT-skanninger basert på ML-algoritmer.

Kunde

Industri

Helsetjenester, tingenes internett

Region

Kunde siden

2021

Vår kunde er et medisinsk utstyrsselskap som produserer høyteknologisk utstyr og programvare som hjelper klinikere i deres daglige arbeid.

Detaljert informasjon om kunden kan ikke utleveres i henhold til bestemmelsene i NDA.

Utfordring

Etter hvert som helsevesenet utvikler seg, dukker det stadig opp nye disruptive teknologier. Siden kirurgi krever kompetanse og nøyaktighet, trenger legene presist medisinsk utstyr som reduserer menneskelige feil og forhindrer uforutsette omstendigheter.

Kunden vår trengte en programvare for 3D-kroppsmodellering som kunne gjenskape bein, hud og andre organer fra røntgenbilder og computertomografi. Ved å konvertere flate skanninger til tredimensjonale volumetriske modeller ville leger kunne forbedre synligheten i behandlingen av pasienter og få mer innsikt i sykdommer og abnormiteter. Studenter og praktikanter vil også kunne bruke disse 3D-modellene til å øve på diagnostikk og kirurgiske inngrep før de utføres.

Løsning

Hovedoppgaven vår var å integrere 3D-konstruksjonsplattformen organisk i kundens økosystem og gjøre den kompatibel med røntgenbilder og CT-skanninger eksportert fra radiologi, kardiologi og andre laboratorier, slik at de kunne nås på tvers av sykehusets arbeidsstasjoner og personlige bærbare datamaskiner.

DICOM-kompatibilitet

På forhånd sørget vi for at nettplattformen vår fungerer sømløst med DICOM-filer. DICOM-formatet (Digital imaging and communications in medicine) er en felles standard for utveksling av medisinsk bildeinformasjon og relaterte data. Etter dette trinnet la vi vekt på ytterligere sikkerhetsbeskyttelse siden DICOM-filer inneholder konfidensiell helseinformasjon.

Som et resultat har våre dedikerte utviklere opprettet et område der alle importerte DICOM-filer med data om pasienter, deres diagnoser, behandling, datoer og testresultater lagres.

Fra røntgenbilder og CT-skanninger til 3D-visualiseringer

Selv om teknikken uten kontrast er tilgjengelig for 3D-rekonstruksjon, anbefales intravenøs (IV) kontrastskanning (fargeløse væsker basert på jod) for mer nøyaktige 3D-visualiseringer.

Så snart røntgen- eller CT-skanningen er lastet ned i systemet, tar det bare et par klikk å gjøre svart-hvitt-bilder om til tredimensjonale rekonstruksjoner. For å bestemme nivået av 3D-detaljer angir klinikerne terskelverdier for demping manuelt. Mens plattformen skanner hvert CT-snitt linje for linje, registrerer den de nøyaktige koordinatene til hver piksel som viser en dempningsverdi som er større enn terskelverdien. Deretter representerer disse valgte pikslene voxler som inneholder kroppsfragmenter som er tettere enn den valgte terskelen. Som et resultat, etter disse manipulasjonene, vises volumetriske 3D-rekonstruksjoner.
Når 3D-gjengivelsen er fullført, kan klinikere administrere objekter via en praktisk verktøylinje med et forstørrelsesglass for å zoome inn/ut, en gradientskyggelinje for å legge til/fjerne hud, vev, muskler og benstrukturer, og en saks for å klippe bort overflødige deler. Hovedverktøyet er likevel en kube som gjør det mulig for behandlere å rotere et bilde rundt sin akse og gi et mer nøyaktig bilde av patologien.

Smart ROI manager

For å fremheve patologi utviklet teamet vårt en avansert ROI-manager (region of interest - grensene til en svulst). Her markerer legene patologier slik at de er umiddelbart gjenkjennelige i 3D-rekonstruksjonene etter gjengivelsen. Ved å plassere prikker på svulstene kan klinikere måle omfanget av lesjoner for å ta informative beslutninger om kirurgiske operasjoner. Videre kan klinikerne gi nytt navn til og markere patologiske soner i forskjellige farger slik at de skiller seg ut fra friske områder. For å gjøre segmenteringen enda mer presis angir teamet vårt terskler, pikselverdier og forhåndsvisninger for å muliggjøre mer detaljert 3D-tilpasning. Dette inkluderer generering av detaljerte rapporter med anatomiske merknader og etiketter, samt måling av avstander mellom organer for mer nøyaktig kirurgisk planlegging.

Når alle behandlingstrinnene er fullført, kan behandlere eksportere og dele 3D-bildet, og angi asses i henhold til brukernes roller.

Teknologier og verktøy

Back-end

Python, FastAPI og PyQt

Front-end

JavaScript, React

Databaser

MS SQL Server

ML, MLOps

Vekter og skjevheter, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, Model Monitoring, Inference endpoint)

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Prosess

Selv om prosjektet var ambisiøst og utfordrende, klarte våre spesialister å fullføre det. Først estimerte våre spesialister arbeidsomfanget og evaluerte viktige milepæler. For å oppfylle tekniske og forretningsmessige krav valgte vi den best egnede teknologistakken basert på vår omfattende ekspertise.

Vårt dedikerte team brukte Python til å lage den medisinske 3D-modelleringsprogramvaren og sikre smidig tredjepartsintegrasjon. Siden kostbar maskinvare på klientsiden ikke var økonomisk rasjonelt, utnyttet vi AWS-egenskapene fullt ut for å løse opp programvarearkitekturen i skyen. Gjennom API-gateways utviklet vi også en desktop-versjon som fungerer på samme måte som nettplattformen.

For å gjøre 3D-rekonstruksjon nøyaktig og pålitelig brukte vi forskjellige ML-verktøy og tilnærminger for å løse deteksjons-, klassifiserings- og segmenteringsoppgaver, samt datamerking. I tillegg brukte prosjektteamet vårt ML-funksjoner og datasyn for å øke nivået på treningsmodellene. For å oppfylle kundens krav tok Innowise flere samtidige tilnærminger med hensyn til innfødt 3D- og bildeskivebehandling. Som et resultat presenterte vi et innovativt 3D-gjengivelsesverktøy med en ML-basert automatisk pipeline for omskolering og produksjon av modeller tilpasset medisinske behov.

Teamet vårt jobbet basert på den smidige utviklingsmetoden Scrum med regelmessige teammøter og kommunikasjon via Google Meet. For tiden pågår prosjektet, og Innowise jobber kontinuerlig med å videreutvikle plattformen og sikre integrasjoner med tredjeparts medisinske apper og tjenester.

Team

Prosjektleder

ML Ingeniører

Back-end-utviklere

Front-end-utviklere

UI/UX-designer

QA ingenieurs

Resultater

3D-modellering i den medisinske industrien gir fantastiske muligheter for å rekonstruere bein fra computertomografi (CT)-røntgenbilder på en ikke-invasiv måte. Som et resultat gjør vår førsteklasses 3D-gjengivelsesplattform det mulig for fagfolk å måle svulstområder og andre patologier nøyaktig, overvåke organer over tid, evaluere vevssammensetning og vurdere brudd nøyaktig uten å måtte berøre en pasient. Fra nå av kan legene se anatomien nøyaktig og diagnostisere ulike sykdommer som er usynlige med tradisjonelle metoder. Videre gjør løsningen vår det mulig å generere detaljerte rapporter med anatomiske merknader og etiketter, samt måle avstander mellom organer for mer nøyaktig kirurgisk planlegging. Ved hjelp av plattformen vår kan kirurger nå planlegge operasjonene sine på en mer presis og effektiv måte.

Prosjektets varighet

Januar 2021 - under arbeid

Relaterte saker

Ta kontakt med oss!

Bestill en samtale eller fyll ut skjemaet nedenfor, så kontakter vi deg så snart vi har behandlet forespørselen din.

Hva skjer videre?

Etter at vi har mottatt og behandlet forespørselen din, vil vi komme tilbake til deg innen kort tid for å beskrive prosjektbehovene dine og undertegne en taushetserklæring for å sikre informasjonens konfidensialitet.

Etter å ha undersøkt kravene, utarbeider våre analytikere og utviklere en prosjektforslag med arbeidsomfang, teamstørrelse, tid og kostnader estimater.

Vi arrangerer et møte med deg for å diskutere tilbudet og komme til en avtale.

Vi signerer en kontrakt og begynner å jobbe med prosjektet ditt så raskt som mulig.