Räätälöidyn kasvojentunnistusohjelmistoratkaisun esittely

Innowise on kehittänyt edistyksellisen kasvojentunnistusratkaisun, joka parantaa turvallisuutta ja tehostaa tunnistamisprosesseja.

Asiakas

Alue
AU
Asiakas vuodesta
2022

Asiakkaamme on australialainen ohjelmistokehitys- ja IT-konsultointiyritys, joka on erikoistunut räätälöityjen IT-ratkaisujen toimittamiseen vähittäiskaupan alalle. Yritys on menestyksekkäästi konseptoinut, suunnitellut ja lanseerannut digitaalisia ratkaisuja eri vähittäiskaupan kategorioihin, mukaan lukien yleiset kauppatavarat, vaatteet ja päivittäistavarakauppa.

Yritys toimii maailmanlaajuisesti - monikansallisista vähittäiskaupan yrityksistä itsenäisiin myymälänomistajiin - ja tarjoaa valikoiman erittäin skaalautuvia tuotteita ja palveluja.

Haaste

Kasvontunnistuksen tarkkuuden parantaminen vähittäiskaupan alalla

Aluksi tehtävä vaikutti suoraviivaiselta: kehittää kasvontunnistusratkaisu, joka pystyy tunnistamaan henkilöt luotettavasti reaaliajassa vähittäiskaupan ympäristöihin. Mutta jokainen, joka tuntee reaalimaailman videosyötteet, tietää, että ne ovat harvoin täydellisiä.

Suurin haaste oli epäjohdonmukainen videon laatu. Myymäläympäristöt ovat arvaamattomia - kamerat kuvaavat usein materiaalia huonossa valaistuksessa, hankalista kulmista ja jatkuvassa liikkeessä. Tämän seurauksena kasvot näyttivät epäselviltä, varjoisilta tai vääristyneiltä, minkä vuoksi järjestelmän oli vaikea tunnistaa ja kohdistaa kriittisiä kasvonpiirteitä, kuten silmiä, nenää ja suuta.

Joissakin tapauksissa epätasainen valaistus peitti kasvojen yksityiskohdat, kun taas toisissa tapauksissa epätarkkuuden ja varjojen yhdistelmä teki perinteisistä tunnistusmenetelmistä tehottomia. Nämä eivät olleet satunnaisia ongelmia - ne olivat jokapäiväisiä olosuhteita, joihin tiimimme oli vastattava.

Tämän voittamiseksi tarvitsimme muutakin kuin kehittyneitä algoritmeja. Insinööriemme oli suunniteltava järjestelmä, joka kykeni käsittelemään epätäydellisiä ja sotkuisia syötteitä - poimimaan merkityksellistä tietoa heikkolaatuisesta ja epäjohdonmukaisesta videosta, jotta saataisiin selkeitä ja käyttökelpoisia tuloksia. Yksinkertaisesti sanottuna, räätälöidyn kasvojentunnistusohjelmistoratkaisun oli toimittava todellisten haasteiden kanssa, ei taistella niitä vastaan.

Ratkaisu

Vähittäiskaupan turvallisuuden ja tehokkuuden parantaminen kasvojentunnistusjärjestelmän avulla

Tiimimme lähestymistapa räätälöityihin kasvojentunnistusohjelmistojen kehityspalveluihin keskittyi kolmeen kriittiseen tavoitteeseen: tarkkuuteen, reaaliaikaiseen käsittelyyn ja sopeutumiskykyyn heikkolaatuisiin syötteisiin.

Luotettava kasvojen tunnistus ja tunnistaminen

Ratkaisun ytimeen integroitiin kehittyneitä syväoppimisalgoritmeja, joilla varmistetaan tarkka kasvojen tunnistus ja tunnistaminen myös vaativissa olosuhteissa, kuten huonossa valaistuksessa, epätavallisissa kuvakulmissa ja matalan resoluution syötteissä.

Kasvojen tunnistaminen ja kohdistaminen

Käytimme RetinaFace-ohjelmaa sen nopeuden ja tarkkuuden vuoksi kasvojen tunnistuksessa, ja se on erityisen hyvä matalan resoluution kuvissa ja haastavissa valaistusolosuhteissa. Valitsimme MediaPipen kasvojen maamerkkien tunnistuksen, jolla tunnistetaan ja kohdistetaan kriittiset piirteet, kuten silmät, nenä ja suu. Tämän ansiosta järjestelmä pystyi käsittelemään erilaisia syötteitä vakaammin ja tarkemmin. Tämä mahdollisti kasvojen johdonmukaisen esikäsittelyn myös vääränlaisissa tai epätavallisissa kulmissa.

Tarkat kasvontunnistusmallit

Kasvontunnistuksessa käytimme ArcFace-tekniikkaa, joka tunnetaan vahvasta suorituskyvystään diskriminoivien kasvojen upotusten tuottamisessa. Tarkkuuden optimoimiseksi vähittäiskaupan ympäristöissä tiimi hienosäädti runkomallia käyttämällä alalle ominaista dataa ja kohdennettuja lisäyksiä, kuten simuloitua epätarkkuutta ja kulman vääristymää. Tämän tuloksena järjestelmä saavutti 85-90% kasvojentunnistustarkkuuden haastavissa olosuhteissa ja säilytti yli 95% tarkkuuden laadukkailla syötteillä.

Kuvan tarkkuutta ja järjestelmän suorituskykyä parantavat parannukset

Valvontamateriaalissa on usein puutteita, joten osana räätälöityjä kasvojentunnistuspalvelujamme kehitimme vankan kuvien esikäsittelyputken, jonka avulla voimme puhdistaa syötteet ennen tunnistusta.

Yksi tärkeimmistä läpimurroista oli silmien lokalisointi. MediaPipe-putkistojen integrointi paransi järjestelmän kykyä havaita silmän pupillien keskipisteet. Tämä paransi huomattavasti kasvojen kohdentamista ja vakauttamista, minkä ansiosta pystyimme suodattamaan pois kehykset, jotka oli joko kuvattu huonosti tai kohdistettu väärin. Näin vain puhtaat ja laadukkaat kehykset menivät tunnistukseen, mikä paransi järjestelmän kokonaistarkkuutta.

Tehokas eräajona tapahtuva kuvankäsittely

Meidän oli käsiteltävä valtavia määriä videodataa, joten loimme eräkuvankäsittelymoduulin, jossa käytimme PyTorchia ja MediaPipeä.

Kehitimme myös moduulin, joka poimii ja käsittelee kuvia videosisällöstä irtotavarana, mikä säästää aikaa ja vähentää manuaalista työtä. Optimoitu järjestelmä käsittelee suuria tietomääriä saumattomasti jopa kiireisissä vähittäiskaupan ympäristöissä.

Integrointi CCTV-järjestelmään

Räätälöidyn kasvojentunnistusohjelmiston integrointi CCTV-järjestelmään edellyttää kehittyneen kasvojentunnistusteknologian yhdistämistä olemassa olevaan valvontainfrastruktuuriin. Tämä integrointi muuttaa valvontakapasiteettia, jolloin henkilöt voidaan tunnistaa tarkasti ja reaaliaikaisesti myymälöissä tai varastoissa. Tällainen järjestelmä tiukentaa turvatoimia luvattoman pääsyn estämiseksi ja optimoi työntekijöiden hallintaa läsnäoloseurannan ja työkäyttäytymisen seurannan avulla. Tällaisella kokonaisvaltaisella lähestymistavalla minkä tahansa vähittäismyymälän ympäristöstä tulee paljon turvallisempi ja tehokkaampi toiminnan kannalta.

Nyt räätälöity kasvojentunnistusratkaisu käyttää CCTV-kameroiden live-videosyötteitä ja käyttää PyTorch- ja MediaPipe-pohjaisia algoritmeja havaitsemaan ja analysoimaan ainutlaatuisia kasvonpiirteitä, kuten silmien, nenän ja suun muotoa.

Järjestelmä käyttää henkilöiden uudelleen tunnistamisen (Re-ID) malleja, joiden avulla se seuraa henkilöitä kamerasta toiseen, vaikka ne olisivat peittyneitä tai siirtyisivät vyöhykkeeltä toiselle. Yhdessä PyTorchin päättelyominaisuuksiin perustuvan streamed frame-tason prosessoinnin kanssa järjestelmä tukee myös reaaliaikaista tunnistusta alle 200 ms:n latenssilla, jopa useiden live-virtojen välillä.

Teknologiat

AWS (Kinesis Video Streaming, EC2, EKS, ECR, S3, Glue).
GitHub-toiminnot, Kubernetes, Nginx
PyTorch, MediaPipe

VCS

Git, GitHub

Prosessi

Aloitimme intensiivisillä työpajoilla ymmärtääkseen projektin tavoitteet ja haasteet, kuten huonon videolaadun käsittelyn, reaaliaikaisen käsittelyn ja järjestelmän skaalautuvuuden varmistamisen. Tiimimme teki yksityiskohtaisen tarkastuksen asiakkaan CCTV-asetuksista ja arvioi kameratyypit, kuvataajuudet ja videon laadun varmistaakseen, että mukautettu kasvojentunnistusohjelmisto toimisi luotettavasti todellisissa olosuhteissa.

Järjestelmän suunnittelu ja arkkitehtuurin suunnittelu

Seuraavaksi tiimimme suunnitteli skaalautuvan, hajautetun arkkitehtuurin, joka pystyy käsittelemään useita live-striimejä samanaikaisesti. Järjestelmän jokainen osa - kasvojen havaitseminen, esikäsittely ja tunnistaminen - rakennettiin itsenäisenä komponenttina, mikä takaa sujuvan tiedonkulun ja vikasietoisuuden. Kartoitimme myös integraatiopisteet, joiden avulla ratkaisu voidaan liittää asiakkaan olemassa olevaan CCTV-verkkoon.

Kehittäminen ja täytäntöönpano

Noudatimme ketterää kehittämismenetelmää, toimitimme tulokset vaiheittain ja keräsimme säännöllisesti palautetta järjestelmän parantamiseksi. Seuraavassa kerrotaan, miten käsittelimme kutakin kriittistä osa-aluetta:

  • Kasvojen tunnistaminen ja kohdistaminen: Insinöörimme rakensivat ja optimoivat havaintoputken tulevan videon vakauttamiseksi ja käsittelivät haasteita, kuten epäjohdonmukaista valaistusta, epätavallisia kuvakulmia ja liikettä.
  • Kuvan esikäsittely: Tiimimme paransi videokuvia suodattamalla ja vakauttamalla ja varmisti, että vain puhtaat, käyttökelpoiset kuvat siirrettiin eteenpäin tunnistusta varten.
  • Tunnistusmallit: Käytimme todellisia videonäytteitä, ja hienosäädimme tunnistusputken niin, että se tunnistaa kasvot tarkasti jopa äärimmäisissä kuvakulmissa tai osittaisissa esteissä.
  • Eräkäsittelyn optimointi: Suurten videomäärien tehokkaaseen hallintaan optimoimme arkistoidun materiaalin eräajona tapahtuvan käsittelyn työnkulut ja vähensimme samalla reaaliaikaisten toimintojen kuormitusta.

Jokaisessa sprintissä suoritimme tiukkaa testausta ja suorituskyvyn seurantaa pullonkaulojen poistamiseksi ja johdonmukaisen edistymisen tukemiseksi.

Testaus ja validointi

Laadunvarmistusasiantuntijamme ovat testanneet järjestelmää ja validoineet sen suorituskyvyn todellisissa olosuhteissa. olosuhteissa:

  • Toiminnallinen testaus: Kukin moduuli testattiin erikseen ja osana koko putkilinjaa.
  • Stressitestaus: Tiimimme arvioi järjestelmän kykyä käsitellä useita kameravirtoja. raskaassa kuormituksessa.
  • Todellisen maailman validointi: Todellisten vähittäismyyntivideoiden avulla varmistimme, että järjestelmä on tuotti johdonmukaisia tuloksia myös huonossa valaistuksessa, liikkeen epätarkkuudessa tai alhaisella resoluutiolla.
  • Reunatapausten testaus: Tiimimme testasi haastavia skenaarioita, kuten osittaisia kasvoja ja äärimmäisiä kulmia taataksemme kestävyyden ja luotettavuuden.

Koko testauksen ajan seurasimme suorituskykymittareita - tarkkuutta, nopeutta ja kehysten hylkäysprosenttia - ja hienosäädimme järjestelmää optimaalisten tulosten saavuttamiseksi.

Käyttöönotto ja integrointi

Kun räätälöity kasvoanalyysiohjelmisto oli valmis, tiimimme otti sen käyttöön asiakkaan tuotantoon. ympäristöön mahdollisimman pienin häiriöin. Järjestelmä konfiguroitiin käsittelemään suoria videovirtoja ja integroimaan vaivattomasti olemassa olevaan CCTV-infrastruktuuriin. Sujuvan käyttöönoton varmistamiseksi tarjosimme myös koulutustilaisuuksia ja yksityiskohtaisen dokumentaation asiakkaan tiimille.

Käyttöönoton jälkeinen ylläpito ja tuki

Osana rooliamme räätälöityjen kasvojentunnistusohjelmistojen kehitysyhtiönä tarjoamme jatkuvasti päivityksiä ja tukea järjestelmän tehokkuuden ja skaalautuvuuden parantamiseksi.

Joukkue

1

liiketoiminta-analyytikko

1

Projektipäällikkö

1

ML Engineer

1

QA

1

Back-End-kehittäjä

1

Front-End-kehittäjä

Tulokset

Parannettu turvallisuus ja tehostettu kasvojen tunnistaminen

Tiimimme toimitti kasvojentunnistusjärjestelmän, joka vastasi onnistuneesti tärkeimpiin reaalimaailman haasteisiin, kuten matalaan resoluutioon, huonoon valaistukseen ja liikkeen epätarkkuuteen. Huolellisen suunnittelun ja optimoinnin avulla paransimme toiminnan tehokkuutta 70%:llä ja lyhensimme työntekijöiden todentamiseen kuluvaa aikaa 20 sekunnista alle 5 sekuntiin henkilöä kohden.

Insinöörimme varmistivat, että järjestelmä pystyy käsittelemään vaativia työtehtäviä ottamalla käyttöön tehokkaita prosessointiputkia. Tämän ansiosta se käsittelee nyt tuhansia kasvoja sekunnissa useiden videovirtojen kautta. Käyttämällä GPU-optimoitua AWS-infrastruktuuria ja hienosäätämällä suorituskykyä pystyimme pitämään toiminnan sujuvana ja johdonmukaisena myös vähittäiskaupan ruuhka-aikoina.

Toimintamme vahvisti myös turvallisuustuloksia. Tiimimme kehittämien reaaliaikaisten hälytysmekanismien ansiosta järjestelmä voi tuottaa välittömiä ilmoituksia luvattomista henkilöistä. Tämän seurauksena turvallisuusvasteajat lyhenivät 40%, minkä ansiosta paikan päällä toimivat tiimit voivat toimia nopeammin ja yleinen tilannetietoisuus paranee.

Luotettavuus oli keskeisellä sijalla koko hankkeen ajan. Tiimimme optimoinnit takasivat 99,9%:n käytettävyyden ja tarjosivat keskeytymättömän toiminnan kriittisille prosesseille, kuten kulunvalvonnalle ja live-seurannalle. Saumaton integrointi asiakkaan nykyisiin järjestelmiin vähensi lisäksi turvallisuuteen liittyviä vaaratilanteita 20-25%, mikä auttoi vähittäiskauppiaita luomaan turvallisempia ja paremmin hallinnoituja ympäristöjä.

Kaiken kaikkiaan ratkaisu osoittautui nopeaksi, tarkaksi ja skaalautuvaksi. Se optimoi turvallisuutta, mutta myös yksinkertaisti läsnäolojen hallintaa ja paransi päivittäisiä operatiivisia työnkulkuja, mikä toi konkreettisia tuloksia vähittäiskaupan ympäristöihin.

Hankkeen kesto
  • toukokuu 2022 - lokakuu 2022
99.8%
verifioinnit alle 200 ms per ruutu GPU-optimoidulla AWS-instanssilla.
85-90%
kasvojentunnistustarkkuus hämärässä valaistuksessa tai liikkeen sumentuessa

50%

vähemmän manuaalisia toimenpiteitä luotettavan automaattisen tunnistuksen ansiosta

    Ota yhteyttä

    Varaa puhelu tai täytä alla oleva lomake, niin otamme sinuun yhteyttä, kun olemme käsitelleet pyyntösi.

    Lähetä meille ääniviesti
    Liitä asiakirjoja
    Lataa tiedosto

    Voit liittää 1 enintään 2 Mt:n tiedoston. Hyväksytyt tiedostomuodot: pdf, jpg, jpeg, png.

    Klikkaamalla Lähetä, annat suostumuksesi siihen, että Innowise käsittelee henkilötietojasi meidän Tietosuojakäytäntö antaa sinulle asiaankuuluvia tietoja. Antamalla puhelinnumerosi suostut siihen, että voimme ottaa sinuun yhteyttä puheluiden, tekstiviestien ja viestisovellusten kautta. Puhelu-, viesti- ja datahintoja voidaan soveltaa.

    Voit myös lähettää meille pyyntösi
    osoitteeseen contact@innowise.com

    Mitä tapahtuu seuraavaksi?

    1

    Kun olemme vastaanottaneet ja käsitelleet pyyntösi, otamme sinuun yhteyttä ja kerromme yksityiskohtaisesti projektin tarpeet ja allekirjoitamme NDA-sopimuksen luottamuksellisuuden varmistamiseksi.

    2

    Tutkittuaan toiveesi, tarpeesi ja odotuksesi tiimimme suunnittelee projektin ehdotuksen, jossa esitetään työn laajuus, tiimin koko, aika- ja kustannusarviot.

    3

    Järjestämme kanssasi tapaamisen, jossa keskustellaan tarjouksesta ja sovitaan yksityiskohdista.

    4

    Lopuksi allekirjoitamme sopimuksen ja aloitamme projektisi toteuttamisen heti.

    nuoli