Webplatform voor de reconstructie van 3D lichaamsdelen

Innowise heeft een revolutionair instrument ontwikkeld voor automatische 3D-reconstructie van botten, huid en andere organen uit röntgenfoto's en CT-scans op basis van ML-algoritmen.

Klant

Industrie

Gezondheidszorg, IoT

Regio

Klant sinds

2021

Onze klant is een bedrijf voor medische apparatuur dat high-tech apparaten en software produceert die clinici bijstaan in hun dagelijkse werk.

Gedetailleerde informatie over de klant kan niet openbaar worden gemaakt krachtens de bepalingen van de NDA.

Uitdaging

Naarmate de gezondheidszorg zich ontwikkelt, duiken er voortdurend nieuwe ontwrichtende technologieën op. Aangezien chirurgie deskundigheid en nauwkeurigheid vereist, hebben artsen nauwkeurige medische apparatuur nodig die menselijke fouten beperkt en onvoorziene omstandigheden voorkomt.

Onze klant had behoefte aan software voor 3D-lichaamsmodellering waarmee botten, huid en andere organen kunnen worden gereconstrueerd op basis van röntgenfoto's en computertomografie. Door platte scans om te zetten in driedimensionale volumetrische modellen zouden medici beter patiënten kunnen behandelen en meer inzicht krijgen in ziekten en afwijkingen. Studenten en stagiairs zouden deze medische 3D-modellen ook kunnen gebruiken om diagnoses en chirurgische ingrepen te oefenen alvorens ze uit te voeren.

Oplossing

Onze belangrijkste taak was om het 3D-constructieplatform organisch te integreren in het ecosysteem van de klant en het compatibel te maken met röntgenfoto's en CT-scans die worden geëxporteerd vanuit radiologie, cardiologie en andere laboratoria, zodat ze toegankelijk zijn via ziekenhuiswerkstations en persoonlijke laptops.

DICOM-compatibiliteit

Vooraf hebben we ervoor gezorgd dat ons webplatform naadloos werkt met DICOM-bestanden. Het DICOM-formaat (Digital imaging and communications in medicine) is een gangbare standaard voor de uitwisseling van medische beeldvormingsinformatie en aanverwante gegevens. Na deze stap legden wij de nadruk op extra beveiligingsmaatregelen, aangezien DICOM-bestanden vertrouwelijke gezondheidsinformatie bevatten.

Daarom hebben onze toegewijde ontwikkelaars een ruimte gecreëerd waar alle geïmporteerde DICOM-bestanden met gegevens over patiënten, hun diagnoses, behandeling, data en testresultaten worden opgeslagen.

Van röntgenfoto's en CT-scans tot 3D-visualisaties

Hoewel de niet-contrasttechniek toegankelijk is voor 3D-reconstructie, worden intraveneuze (IV) contrastscans (kleurloze vloeistoffen op basis van jodium) aanbevolen voor nauwkeurigere 3D-visualisaties.

Zodra de röntgen- of CT-scan in het systeem is gedownload, zijn er slechts een paar klikken nodig om zwart-witbeelden om te zetten in driedimensionale reconstructies. Om het niveau van 3D-detail te bepalen, stellen clinici handmatig drempelwaarden voor verzwakking in. Terwijl het platform elke CT-slice lijn voor lijn scant, registreert het de exacte coördinaten van elke pixel met een verzwakkingswaarde boven de drempelwaarde. Vervolgens vertegenwoordigen deze geselecteerde pixels voxels die lichaamsfragmenten bevatten die dichter zijn dan de geselecteerde drempelwaarde. Na deze manipulaties ontstaan volumetrische 3D-reconstructies.
Zodra de 3D-rendering voltooid is, kunnen clinici de objecten beheren via een handige werkbalk met een vergrootglas om in/uit te zoomen, een kleurverloopbalk om huid, weefsel, spieren en botstructuren toe te voegen/te verwijderen, en een schaar om overtollige delen weg te knippen. Het belangrijkste gereedschap is echter een kubus waarmee beoefenaars een beeld om zijn as kunnen draaien en een nauwkeuriger beeld van de pathologie kunnen krijgen.

Slimme ROI-manager

Om pathologie te markeren, ontwikkelde ons team een geavanceerde ROI (region of interest - de grenzen van een tumor) manager. Hier markeren artsen pathologieën zodat ze na rendering onmiddellijk herkenbaar zijn in de 3D-reconstructies. Door stippen op de tumoren te plaatsen, meten clinici de omvang van de laesies om informatieve beslissingen over chirurgische ingrepen te nemen. Bovendien kunnen clinici pathologische zones een andere naam geven en in verschillende kleuren markeren, zodat ze zich onderscheiden van gezonde gebieden. Om de segmentatie nog preciezer te maken, stelt ons team drempelwaarden, pixelwaarden en voorvertoningen in om meer gedetailleerde 3D-aanpassingen mogelijk te maken. Dit omvat het genereren van gedetailleerde rapporten met anatomische annotaties en labels, en het meten van afstanden tussen organen voor een nauwkeurigere chirurgische planning.

Zodra alle verwerkingsfasen zijn voltooid, kunnen de beoefenaars het 3D-beeld exporteren en delen, waarbij de asses worden ingesteld volgens de rollen van de gebruikers.

Technologieën en hulpmiddelen

Back-end

Python, FastAPI, PyQt

Front-end

JavaScript, React

Databases

MS SQL Server

ML, MLOps

Weights and Biases, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations

Cloud

AWS (S3, EC2, Lambda), AWS SageMaker (Studio, Model Monitoring, Inference endpoint).

Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Proces

Hoewel het project ambitieus en uitdagend was, konden onze specialisten het tot een goed einde brengen. Eerst schatten onze specialisten de omvang van het werk in en evalueren ze de belangrijkste mijlpalen. Om aan de technische en zakelijke eisen te voldoen, kozen we op basis van onze uitgebreide expertise de meest geschikte tech stack.

Ons toegewijde team gebruikte Python om de 3D-software voor medische modellering te maken en te zorgen voor soepele integraties met derden. Aangezien dure hardware aan de klantzijde financieel niet rationeel was, maakten we optimaal gebruik van de mogelijkheden van AWS om de cloud software architectuur te ontrafelen. Via API-gateways ontwikkelden we ook een desktopversie die dezelfde prestaties levert als het webplatform.

Om de 3D-reconstructie nauwkeurig en betrouwbaar te maken, gebruikten wij verschillende ML-tools en benaderingen voor het oplossen van detectie-, classificatie- en segmentatietaken, en voor het labelen van gegevens. Daarnaast maakte ons projectteam gebruik van ML-mogelijkheden en computer visie om het niveau van de trainingsmodellen te verhogen. Om aan de eisen van de klant te voldoen, heeft Innowise verschillende gelijktijdige benaderingen toegepast met betrekking tot native 3D en afbeelding snijwerk verwerking. Als resultaat presenteerden we een innovatieve 3D rendering tool met een op ML gebaseerde automatische pijplijn voor hertraining en het in productie nemen van modellen op maat van de medische behoeften.

Ons team werkte op basis van Scrum agile ontwikkelmethodiek met regelmatige teammeetups en communicatie via Google Meet. Momenteel loopt het project waarbij Innowise continu werkt aan de verdere ontwikkeling van het platform en zorgt voor integraties met medische apps en diensten van derden.

Team

Project
Manager

ML ingenieurs

Back-End Ontwikkelaars

Front-End Ontwikkelaars

UI/UX Ontwerper

QA Engineers

Resultaten

3D-modellering in de medische sector biedt geweldige mogelijkheden om botten op een niet-invasieve manier te reconstrueren op basis van röntgenscans met computertomografie (CT). Dankzij ons hoogwaardige 3D-renderingplatform kunnen professionals nauwkeurig tumorgebieden en andere pathologieën meten, organen in de tijd volgen, de weefselsamenstelling evalueren en fracturen nauwkeurig beoordelen zonder de patiënt daadwerkelijk te hoeven aanraken. Voortaan kunnen artsen nauwkeurig de anatomie bekijken en verschillende ziekten diagnosticeren die met traditionele methoden onzichtbaar zijn. Bovendien kunnen met onze oplossing gedetailleerde rapporten met anatomische annotaties en labels worden gegenereerd, en kunnen afstanden tussen organen worden gemeten voor een nauwkeurigere chirurgische planning. Met behulp van ons platform kunnen chirurgen hun operaties nu nauwkeuriger en efficiënter plannen.

Duur van het project

Januari 2021 - in uitvoering

Gerelateerde gevallen

Neem contact met ons op!

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens verwerkt in overeenstemming met ons Privacybeleid om u van de juiste informatie te voorzien.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken.