Webplatform til rekonstruktion af 3D-kropsdele

Innowise har udviklet et revolutionerende værktøj til automatisk 3D-rekonstruktion af knogler, hud og andre organer fra røntgenbilleder og CT-scanninger baseret på ML-algoritmer.

Kunde

Region
EU
Kunde siden
2021

Vores kunde er en virksomhed, der fremstiller medicinsk udstyr og software, som hjælper klinikere i deres daglige arbejde.

Detaljerede oplysninger om klienten kan ikke videregives i henhold til bestemmelserne i NDA.

Udfordring

I takt med at sundhedsindustrien udvikler sig, dukker der hele tiden nye forstyrrende teknologier op. Da kirurgi kræver kompetence og nøjagtighed, har læger brug for præcist medicinsk udstyr, der mindsker menneskelige fejl og forhindrer uforudsete omstændigheder.

Vores kunde havde brug for en 3D-kropsmodelleringssoftware, der kunne genskabe knogler, hud og andre organer fra røntgenbilleder og computertomografi. Ved at konvertere flade scanninger til tredimensionelle volumetriske modeller ville lægerne kunne forbedre synligheden i behandlingen af patienter og få mere indsigt i sygdomme og abnormiteter. Studerende og praktikanter vil også kunne bruge disse medicinske 3D-modeller til at øve sig på diagnostik og kirurgiske indgreb, før de udfører dem.

Løsning

Vores hovedopgave var at integrere 3D-konstruktionsplatformen organisk i kundens økosystem og gøre den kompatibel med røntgenbilleder og CT-scanninger, der blev eksporteret fra radiologi, kardiologi og andre laboratorier, så de kunne tilgås på tværs af hospitalets arbejdsstationer og personlige laptops.

DICOM-kompatibilitet

På forhånd sikrede vi, at vores webplatform fungerer problemfrit med DICOM-filer. DICOM-formatet (Digital Imaging and Communications in Medicine) er en fælles standard for udveksling af medicinsk billedinformation og relaterede data. Efter dette trin lagde vi vægt på yderligere sikkerhedsbeskyttelse, da DICOM-filer indeholder fortrolige sundhedsoplysninger.

Derfor har vores dedikerede udviklere skabt et rum, hvor alle de importerede DICOM-filer med data om patienter, deres diagnoser, behandling, datoer og testresultater gemmes.

Fra røntgenbilleder og CT-scanninger til 3D-visualiseringer

Selvom teknikken uden kontrast er tilgængelig for 3D-rekonstruktion, anbefales intravenøse (IV) kontrastscanninger (farveløse væsker baseret på jod) til mere nøjagtige 3D-visualiseringer.

Så snart røntgen- eller CT-scanningen er downloadet til systemet, tager det kun et par klik at omdanne sort-hvide billeder til tredimensionelle rekonstruktioner. For at bestemme niveauet af 3D-detaljer indstiller klinikerne manuelt tærskelværdier for dæmpning. Mens platformen scanner hver CT-skive linje for linje, registrerer den de nøjagtige koordinater for hver pixel, der viser en dæmpningsværdi, der er større end tærsklen. Derefter repræsenterer disse udvalgte pixels voxels, der indeholder kropsfragmenter, der er tættere end den valgte tærskel. Som et resultat af disse manipulationer vises volumetriske 3D-rekonstruktioner.
Når 3D-renderingen er færdig, kan klinikeren håndtere objekter via en praktisk værktøjslinje med et forstørrelsesglas til at zoome ind/ud, en farveskala til at tilføje/fjerne hud, væv, muskler og knoglestrukturer og en saks til at skære overskydende dele væk. Hovedværktøjet er dog en terning, som gør det muligt at dreje et billede om sin egen akse og give et mere præcist billede af patologien.

Smart ROI-manager

For at fremhæve patologi har vores team udviklet en avanceret ROI-manager (region of interest - grænserne for en tumor). Her fremhæver lægerne patologier, så de straks kan genkendes i 3D-rekonstruktionerne efter rendering. Ved at placere prikker på tumorerne kan klinikerne måle omfanget af læsioner og træffe informative beslutninger om kirurgiske indgreb. Desuden kan klinikerne omdøbe og fremhæve patologiske zoner i forskellige farver, så de skiller sig ud fra sunde områder. For at gøre segmenteringen endnu mere præcis har vores team indstillet tærskler, pixelværdier og foreløbige forhåndsvisninger for at give mulighed for mere detaljeret 3D-tilpasning. Dette omfatter generering af detaljerede rapporter med anatomiske kommentarer og etiketter samt måling af afstande mellem organer til mere præcis kirurgisk planlægning.

Når alle behandlingstrin er afsluttet, kan lægerne eksportere og dele 3D-billedet og indstille analyser i henhold til brugernes roller.

Teknologier og værktøjer

Python, FastAPI, PyQt
MS SQL Server
ML, MLOps
Vægte og bias, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations
AWS (S3, EC2, Lambda), AWS SageMaker (Studio, Model Monitoring, Inference endpoint)
Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Proces

Selv om projektet var ambitiøst og udfordrende, var vores specialister i stand til at gennemføre det med succes. Først vurderede vores specialister arbejdets omfang og evaluerede de vigtigste milepæle. For at opfylde de tekniske og forretningsmæssige krav valgte vi den bedst egnede tech stack baseret på vores omfattende ekspertise.

Vores dedikerede team brugte Python til at skabe software til medicinsk 3D-modellering og sikre problemfri integration med tredjeparter. Da dyr hardware på klientsiden ikke var økonomisk rationel, udnyttede vi AWS' muligheder fuldt ud til at udvikle en cloud-softwarearkitektur. Via API-gateways udviklede vi også en desktop-version, der fungerer på samme måde som webplatformen.

For at gøre 3D-rekonstruktion nøjagtig og pålidelig brugte vi forskellige ML-værktøjer og -tilgange til at løse detekterings-, klassificerings- og segmenteringsopgaver samt datamærkning. Derudover anvendte vores projektteam ML-kapaciteter og computersyn til at øge niveauet af træningsmodeller. For at opfylde kundens krav anvendte Innowise flere samtidige tilgange til behandling af indbygget 3D og billedudsnit. Som resultat præsenterede vi et innovativt 3D-renderingsværktøj med en ML-baseret automatisk pipeline til omskoling og produktion af modeller, der er skræddersyet til medicinske behov.

Vores team arbejdede ud fra den agile udviklingsmetode Scrum med regelmæssige teammøder og kommunikation via Google Meet. I øjeblikket er projektet i gang, og Innowise arbejder løbende på at videreudvikle platformen og sikre integrationer med medicinske apps og tjenester fra tredjeparter.

Hold

1
Projektleder
4
ML Engineers
2
Back-end-udviklere
2
Front-end-udviklere
1
UI/UX-designer
2
QA Engineers
team-intelligent

Resultater

3D-modellering i den medicinske industri giver fantastiske muligheder for at rekonstruere knogler fra computertomografi (CT)-røntgenscanninger på en ikke-invasiv måde. Derfor gør vores førsteklasses 3D-renderingsplatform det muligt for fagfolk at måle tumorområder og andre patologier præcist, overvåge organer over tid, evaluere vævssammensætning og vurdere frakturer nøjagtigt uden at skulle røre ved patienten. Fra nu af kan læger nøjagtigt se anatomien og diagnosticere forskellige sygdomme, som er usynlige med traditionelle metoder. Desuden giver vores løsning mulighed for at generere detaljerede rapporter med anatomiske kommentarer og etiketter samt måle afstande mellem organer for at få en mere præcis kirurgisk planlægning. Ved hjælp af vores platform kan kirurger nu planlægge deres operationer på en mere præcis og effektiv måde.
Projektets varighed
  • Januar 2021 - i gang

    Kontakt os

    Book et opkald eller udfyld formularen nedenfor, så vender vi tilbage til dig, når vi har behandlet din anmodning.

    Send os en talebesked
    Vedhæft dokumenter
    Upload fil

    Du kan vedhæfte 1 fil på op til 2 MB. Gyldige filformater: pdf, jpg, jpeg, png.

    Ved at klikke på Send accepterer du, at Innowise behandler dine personlige data i henhold til vores Politik for beskyttelse af personlige oplysninger for at give dig relevante oplysninger. Ved at indsende dit telefonnummer accepterer du, at vi kan kontakte dig via taleopkald, sms og beskedapps. Opkalds-, besked- og datatakster kan være gældende.

    Du kan også sende os din anmodning
    til contact@innowise.com

    Hvad sker der nu?

    1

    Når vi har modtaget og behandlet din anmodning, vender vi tilbage til dig for at beskrive dine projektbehov og underskriver en NDA for at sikre fortrolighed.

    2

    Når vi har undersøgt dine ønsker, behov og forventninger, udarbejder vores team et projektforslag med forslag med arbejdets omfang, teamstørrelse, tids- og omkostningsoverslag.

    3

    Vi arrangerer et møde med dig for at diskutere tilbuddet og få detaljerne på plads.

    4

    Til sidst underskriver vi en kontrakt og begynder at arbejde på dit projekt med det samme.

    pil