Web-alusta 3D-ruumiinosien rekonstruointiin

Innowise on kehittänyt mullistavan työkalun luiden, ihon ja muiden elinten automaattiseen 3D-rekonstruktioon röntgen- ja tietokonetomografiakuvista ML-algoritmien avulla.

Asiakas

Teollisuus
Alue
EU
Asiakas vuodesta
2021

Asiakkaamme on lääketieteellisiä laitteita valmistava yritys, joka valmistaa korkean teknologian laitteita ja ohjelmistoja, jotka auttavat lääkäreitä heidän päivittäisessä työssään.

Yksityiskohtaisia tietoja asiakkaasta ei voida luovuttaa NDA:n määräysten nojalla.

Haaste

Terveydenhuoltoalan kehittyessä uusia häiritseviä teknologioita syntyy jatkuvasti. Koska kirurgia edellyttää osaamista ja tarkkuutta, lääkärit tarvitsevat tarkkoja lääketieteellisiä laitteita, jotka vähentävät inhimillisiä virheitä ja estävät odottamattomia tilanteita.

Asiakkaamme tarvitsi 3D-runkomallinnusohjelmiston, jolla voidaan luoda luita, ihoa ja muita elimiä röntgenkuvista ja tietokonetomografiasta. Muuntamalla tasokuvaukset kolmiulotteisiksi tilavuusmalleiksi lääketieteen ammattilaiset voisivat parantaa näkyvyyttä potilaiden hoidossa ja saada enemmän tietoa sairauksista ja poikkeavuuksista. Opiskelijat ja harjoittelijat käyttäisivät näitä lääketieteellisiä 3D-malleja myös diagnostiikan ja kirurgisten toimenpiteiden harjoitteluun ennen niiden suorittamista.

Ratkaisu

Päätehtävämme oli integroida 3D-rakennusalusta orgaanisesti asiakkaan ekosysteemiin ja tehdä siitä yhteensopiva radiologian, kardiologian ja muiden laboratorioiden röntgen- ja tietokonetomografiakuvien kanssa, jotta niitä voitaisiin käyttää sairaalan työasemissa ja henkilökohtaisissa kannettavissa tietokoneissa.

DICOM-yhteensopivuus

Varmistimme etukäteen, että verkkoalustamme toimii saumattomasti DICOM-tiedostojen kanssa. DICOM-muoto (Digital imaging and communications in medicine) on yhteinen standardi lääketieteellisen kuvantamisen tietojen ja niihin liittyvien tietojen vaihtoon. Tämän vaiheen jälkeen korostimme lisäturvasuojauksia, koska DICOM-tiedostot sisältävät luottamuksellisia terveystietoja.

Tämän seurauksena omistautuneet kehittäjämme ovat luoneet tilan, johon tallennetaan kaikki tuotavat DICOM-tiedostot, joissa on tietoja potilaista, heidän diagnooseistaan, hoidostaan, päivämääristä ja testituloksista.

Röntgen- ja tietokonetomografiakuvista 3D-visualisointeihin

Vaikka 3D-rekonstruktiota voidaan tehdä ilman kontrastia, suonensisäisiä (IV) kontrastitutkimuksia (jodipohjaiset värittömät nesteet) suositellaan tarkempien 3D-näkymien saamiseksi.

Kun röntgen- tai tietokonetomografiakuva on ladattu järjestelmään, mustavalkokuvien muuttaminen kolmiulotteisiksi rekonstruktioiksi kestää vain muutaman napsautuksen. Kliinikot asettavat 3D-yksityiskohtien tason määrittämiseksi manuaalisesti kynnysarvot vaimennusarvoille. Kun järjestelmä skannaa jokaisen CT-viipaleen rivi riviltä, se tallentaa jokaisen sellaisen pikselin tarkat koordinaatit, jonka vaimennusarvo on suurempi kuin kynnysarvo. Sitten nämä valitut pikselit edustavat vokseleita, jotka sisältävät valittua kynnysarvoa tiheämpiä kehon osia. Näiden manipulaatioiden jälkeen saadaan tilavuuden mukainen 3D-rekonstruktio.
Kun 3D-muotoilu on valmis, lääkärit voivat hallita objekteja kätevän työkalupalkin avulla, jossa on suurennuslasi zoomaamiseen ja pienentämiseen, varjostuspalkki ihon, kudoksen, lihasten ja luisten rakenteiden lisäämiseen ja poistamiseen sekä sakset ylimääräisten osien leikkaamiseen. Tärkein työkalu on kuitenkin kuutio, jonka avulla ammattilaiset voivat kääntää kuvaa akselinsa ympäri ja antaa tarkemman kuvan patologiasta.

Älykäs ROI manager

Patologian korostamiseksi tiimimme kehitti kehittyneen ROI-managerin (region of interest - kasvaimen rajat). Tässä lääkärit korostavat patologioita, jotta ne ovat välittömästi tunnistettavissa 3D-rekonstruktioissa renderöinnin jälkeen. Sijoittamalla pisteitä kasvaimiin lääkärit mittaavat vaurioiden laajuuden ja voivat tehdä informatiivisia päätöksiä kirurgisista operaatioista. Lisäksi lääkärit voivat nimetä patologiset alueet uudelleen ja korostaa niitä eri väreillä, jotta ne erottuvat terveistä alueista. Jotta segmentoinnista tulisi entistäkin tarkempaa, tiimimme asetti kynnysarvot, pikseliarvot ja alustavat esikatselukuvat, jotta 3D:tä voidaan muokata yksityiskohtaisemmin. Tähän sisältyy yksityiskohtaisten raporttien luominen anatomisilla merkinnöillä ja merkinnöillä sekä elinten välisten etäisyyksien mittaaminen tarkempaa leikkaussuunnittelua varten.

Kun kaikki käsittelyvaiheet on saatu päätökseen, ammattilaiset voivat viedä ja jakaa 3D-kuvan ja asettaa asetukset käyttäjien roolien mukaan.

Teknologiat ja työkalut

Python, FastAPI, PyQt
MS SQL Server
ML, MLOps
Painot ja harhat, MLFlow, PyTorch, OpenCV, TensorFlow, Keras, ONNXRuntime, PyDICOM, Albumentations
AWS (S3, EC2, Lambda), AWS SageMaker (Studio, Model Monitoring, Inference endpoint).
Qase, Postman, Swagger, TestFlight, Arduino, Thonny

Prosessi

Vaikka hanke oli kunnianhimoinen ja haastava, asiantuntijamme pystyivät saattamaan sen onnistuneesti päätökseen. Asiantuntijamme arvioivat ensin työn laajuuden ja arvioivat tärkeimmät välitavoitteet. Teknisten ja liiketoiminnallisten vaatimusten täyttämiseksi valitsimme laajan asiantuntemuksemme perusteella parhaiten soveltuvan teknologiapinon.

Asialle omistautunut tiimimme käytti Python:tä lääketieteellisen 3D-mallinnusohjelmiston luomiseen ja kolmannen osapuolen sujuvien integraatioiden varmistamiseen. Koska kalliit laitteistot asiakaspuolella eivät olleet taloudellisesti järkeviä, hyödynsimme AWS:n ominaisuuksia pilviohjelmistoarkkitehtuurin purkamiseen. API-yhdyskäytävien avulla kehitimme myös työpöytäversion, joka toimii samalla tavalla kuin web-alusta.

Jotta 3D-rekonstruktiosta tulisi tarkka ja luotettava, käytimme erilaisia ML-työkaluja ja -lähestymistapoja havaitsemis-, luokittelu- ja segmentointitehtävien ratkaisemiseen sekä tietojen merkitsemiseen. Lisäksi projektiryhmämme käytti ML-ominaisuuksia ja tietokonenäköä koulutusmallien tason nostamiseksi. Asiakkaan vaatimusten täyttämiseksi Innowise käytti useita samanaikaisia lähestymistapoja natiivin 3D- ja kuvapalojen käsittelyn osalta. Tuloksena esitimme innovatiivisen 3D-renderöintityökalun, jossa on ML-pohjainen automaattinen putki lääketieteellisiin tarpeisiin räätälöityjen mallien uudelleenkoulutusta ja tuotantoon saattamista varten.

Tiimimme työskenteli ketterän Scrum-kehitysmenetelmän mukaisesti, ja tiimimme kokoontui säännöllisesti ja kommunikoi Google Meetin kautta. Tällä hetkellä hanke on käynnissä, ja Innowise työskentelee jatkuvasti alustan kehittämiseksi edelleen ja integraatioiden varmistamiseksi kolmansien osapuolten lääketieteellisten sovellusten ja palveluiden kanssa.

Joukkue

1
Projektipäällikkö
4
ML Engineers
2
Back-End-kehittäjät
2
Front-End-kehittäjät
1
UI/UX-suunnittelija
2
QA Engineers
team-innowise

Tulokset

3D-mallinnus lääketieteellisessä teollisuudessa tarjoaa uskomattomia mahdollisuuksia rekonstruoida luita tietokonetomografian (CT) röntgenkuvista ei-invasiivisesti. Huippuluokan 3D-mallinnusalustamme ansiosta ammattilaiset voivat mitata tarkasti kasvainten ja muiden patologioiden pinta-aloja, seurata elimiä ajan myötä, arvioida kudosten koostumusta ja arvioida tarkasti murtumia ilman, että heidän tarvitsee koskea potilaaseen. Tästä lähtien lääkärit voivat tarkastella tarkasti anatomiaa ja diagnosoida erilaisia sairauksia, jotka ovat näkymättömiä perinteisillä menetelmillä. Lisäksi ratkaisumme mahdollistaa yksityiskohtaisten raporttien tuottamisen anatomisine merkintöineen ja merkintöineen sekä elinten välisten etäisyyksien mittaamisen tarkempaa leikkaussuunnittelua varten. Alustamme avulla kirurgit voivat nyt suunnitella leikkauksensa entistä tarkemmin ja tehokkaammin.
Hankkeen kesto
  • Tammikuu 2021 - käynnissä

    Ota yhteyttä

    Varaa puhelu tai täytä alla oleva lomake, niin otamme sinuun yhteyttä, kun olemme käsitelleet pyyntösi.

    Lähetä meille ääniviesti
    Liitä asiakirjoja
    Lataa tiedosto

    Voit liittää 1 enintään 2 Mt:n tiedoston. Hyväksytyt tiedostomuodot: pdf, jpg, jpeg, png.

    Klikkaamalla Lähetä, annat suostumuksesi siihen, että Innowise käsittelee henkilötietojasi meidän Tietosuojakäytäntö antaa sinulle asiaankuuluvia tietoja. Antamalla puhelinnumerosi suostut siihen, että voimme ottaa sinuun yhteyttä puheluiden, tekstiviestien ja viestisovellusten kautta. Puhelu-, viesti- ja datahintoja voidaan soveltaa.

    Voit myös lähettää meille pyyntösi
    osoitteeseen contact@innowise.com

    Mitä tapahtuu seuraavaksi?

    1

    Kun olemme vastaanottaneet ja käsitelleet pyyntösi, otamme sinuun yhteyttä ja kerromme yksityiskohtaisesti projektin tarpeet ja allekirjoitamme NDA-sopimuksen luottamuksellisuuden varmistamiseksi.

    2

    Tutkittuaan toiveesi, tarpeesi ja odotuksesi tiimimme suunnittelee projektin ehdotuksen, jossa esitetään työn laajuus, tiimin koko, aika- ja kustannusarviot.

    3

    Järjestämme kanssasi tapaamisen, jossa keskustellaan tarjouksesta ja sovitaan yksityiskohdista.

    4

    Lopuksi allekirjoitamme sopimuksen ja aloitamme projektisi toteuttamisen heti.

    nuoli