Introduzione di una soluzione software di riconoscimento facciale personalizzata

Innowise ha sviluppato una soluzione avanzata di riconoscimento facciale per migliorare la sicurezza e semplificare i processi di identificazione.

Cliente

Industria

Industria al dettaglio

Regione

Cliente da

2022

Il nostro cliente è una società australiana di sviluppo software e consulenza IT specializzata nella fornitura di soluzioni IT su misura per il settore della vendita al dettaglio. Grazie a una solida esperienza, ha ideato, progettato e lanciato con successo soluzioni digitali per diverse categorie di vendita al dettaglio, tra cui general merchandise, abbigliamento e alimentari.

Operando su scala globale - dalle multinazionali del retail ai proprietari di negozi indipendenti - questa azienda offre una suite di prodotti e servizi altamente scalabili.

Sfida

Migliorare l'accuratezza del riconoscimento facciale per il settore della vendita al dettaglio

All'inizio il compito sembrava semplice: sviluppare una soluzione di riconoscimento facciale in grado di identificare in modo affidabile le persone in tempo reale per gli ambienti di vendita al dettaglio. Ma chiunque abbia familiarità con i filmati del mondo reale sa che raramente sono perfetti.

La sfida principale è stata la qualità video incoerente. Gli ambienti di vendita al dettaglio sono imprevedibili: le telecamere spesso acquisiscono filmati in condizioni di scarsa illuminazione, da angolazioni scomode e in costante movimento. Di conseguenza, i volti apparivano sfocati, ombreggiati o distorti, rendendo difficile per il sistema rilevare e allineare i tratti critici del viso come occhi, naso e bocca.

In alcuni casi, l'illuminazione irregolare oscurava i dettagli del viso, mentre in altri la combinazione di sfocatura e ombre rendeva inefficaci i metodi di riconoscimento tradizionali. Non si trattava di problemi occasionali, ma di condizioni quotidiane che il nostro team doveva affrontare.

Per superare questo problema, abbiamo avuto bisogno di qualcosa di più di algoritmi avanzati. I nostri ingegneri dovevano progettare un sistema in grado di elaborare input imperfetti e disordinati, estraendo dati significativi da video di bassa qualità e incoerenti, per fornire risultati chiari e perseguibili. In poche parole, la soluzione software di riconoscimento facciale personalizzata doveva lavorare con le sfide del mondo reale, non combatterle.

Soluzione

Migliorare la sicurezza e l'efficienza del commercio al dettaglio con un sistema di riconoscimento facciale

L'approccio del nostro team ai servizi di sviluppo di software di riconoscimento facciale personalizzato si è concentrato su tre obiettivi fondamentali: precisione, elaborazione in tempo reale e adattabilità a input di bassa qualità.

Rilevamento e riconoscimento dei volti affidabili

Al centro della soluzione, abbiamo integrato algoritmi avanzati di deep learning per garantire un rilevamento e un riconoscimento preciso dei volti, anche in condizioni difficili come scarsa illuminazione, angolazioni insolite e input a bassa risoluzione.

Rilevamento e allineamento dei volti

Abbiamo utilizzato RetinaFace per la sua velocità e precisione nel rilevamento dei volti, eccellendo in particolare nelle immagini a bassa risoluzione e in condizioni di illuminazione difficili. Abbiamo optato per il rilevamento dei punti di riferimento facciali di MediaPipe per identificare e allineare le caratteristiche critiche come occhi, naso e bocca. Di conseguenza, il sistema ha potuto gestire input diversi con maggiore stabilità e precisione. Ciò ha consentito una preelaborazione coerente dei volti, anche in caso di disallineamento o angolazioni insolite.

Modelli di riconoscimento facciale accurati

Per il riconoscimento dei volti, abbiamo utilizzato la tecnica ArcFace, nota per le sue ottime prestazioni nella generazione di embeddings facciali discriminativi. Per ottimizzare l'accuratezza negli ambienti di vendita al dettaglio, il team ha messo a punto il modello di base utilizzando dati specifici del settore con incrementi mirati, tra cui la simulazione della sfocatura e della distorsione angolare. Come risultato, il sistema ha raggiunto una precisione di riconoscimento dei volti di 85-90% in condizioni difficili e ha mantenuto una precisione di oltre 95% con input di alta qualità.

Miglioramenti per la precisione delle immagini e le prestazioni del sistema

I filmati di sorveglianza presentano spesso delle imperfezioni, pertanto, nell'ambito dei nostri servizi di sviluppo del riconoscimento facciale personalizzato, abbiamo sviluppato una robusta pipeline di pre-elaborazione delle immagini per ripulire gli input prima del riconoscimento.

Una delle innovazioni principali che abbiamo apportato è stata la localizzazione degli occhi. L'integrazione delle pipeline MediaPipe ha migliorato la capacità del sistema di rilevare i centri delle pupille degli occhi. Questo ha migliorato notevolmente l'allineamento e la stabilizzazione del volto, consentendoci di filtrare i fotogrammi catturati male o non allineati. In questo modo, solo i fotogrammi puliti e di alta qualità sono stati riconosciuti, migliorando così l'accuratezza complessiva del sistema.

Elaborazione efficiente delle immagini in batch

Avevamo bisogno di gestire enormi quantità di dati video, quindi abbiamo creato un modulo di elaborazione delle immagini in batch utilizzando PyTorch e MediaPipe.

Abbiamo anche sviluppato un modulo per estrarre ed elaborare le immagini dai feed video in blocco, risparmiando tempo e riducendo il lavoro manuale. Il sistema ottimizzato gestisce senza problemi elevati volumi di dati, anche in ambienti di vendita al dettaglio molto frequentati.

Integrazione con un sistema TVCC

L'integrazione di un software di riconoscimento facciale personalizzato con un sistema di televisione a circuito chiuso (CCTV) comporta la combinazione di una tecnologia avanzata di riconoscimento facciale con l'infrastruttura di sorveglianza esistente. Questa integrazione riconfigura le capacità di sorveglianza, consentendo una precisa identificazione in tempo reale delle persone all'interno dei negozi o dei magazzini. Questo sistema rafforza le misure di sicurezza contro gli accessi non autorizzati e ottimizza la gestione dei dipendenti attraverso la rilevazione delle presenze e il monitoraggio del comportamento lavorativo. Con questo approccio olistico, l'ambiente di qualsiasi punto vendita diventa molto più sicuro ed efficiente per il funzionamento.

Ora, la soluzione di riconoscimento facciale personalizzata accede ai feed video in diretta delle telecamere a circuito chiuso e impiega algoritmi basati su PyTorch e MediaPipe per rilevare e analizzare le caratteristiche uniche del viso, come la forma degli occhi, del naso e della bocca.

Utilizzando modelli di re-identificazione delle persone (Re-ID), il sistema traccia gli individui da una telecamera all'altra, anche in caso di occlusione o durante lo spostamento da una zona all'altra. In combinazione con l'elaborazione a livello di fotogramma in streaming alimentata dalle capacità di inferenza di PyTorch, il sistema supporta anche il riconoscimento in tempo reale con una latenza inferiore a 200 ms, anche su più flussi in diretta.

Tecnologie

Back-end

.NET 6, C#, Python

Cloud

AWS (Kinesis Video Streaming, EC2, EKS, ECR, S3, Glue)

DevOps

Azioni GitHub, Kubernetes, Nginx

Apprendimento automatico

PyTorch, MediaPipe

VCS

Git, GitHub

Processo

Abbiamo iniziato con workshop intensivi per comprendere gli obiettivi del progetto e le sfide da affrontare, come ad esempio
gestire la scarsa qualità dei video, consentire l'elaborazione in tempo reale e garantire la scalabilità del sistema. Il nostro team ha eseguito un
verifica dettagliata dell'impianto TVCC del cliente, valutando i tipi di telecamere, la frequenza dei fotogrammi e la qualità video per assicurarsi che l'impianto sia stato progettato in modo da garantire la qualità del video.
Il software di riconoscimento facciale personalizzato funzionerebbe in modo affidabile in condizioni reali.

Progettazione del sistema e pianificazione dell'architettura

Successivamente, il nostro team ha progettato un'architettura scalabile e distribuita, in grado di elaborare più
flussi simultanei. Ciascuna parte del sistema - rilevamento dei volti, preelaborazione e riconoscimento - è stata costruita come un
indipendente, garantendo un flusso di dati fluido e la tolleranza ai guasti. Abbiamo anche tracciato i punti di integrazione per collegare
la soluzione con la rete TVCC esistente del cliente.

Sviluppo e implementazione

Abbiamo seguito un approccio di sviluppo agile, consegnando i risultati in fasi successive e raccogliendo feedback regolari.
per perfezionare il sistema. Ecco come abbiamo affrontato ogni area critica:

Rilevamento e allineamento dei volti: I nostri ingegneri hanno costruito e ottimizzato la pipeline di rilevamento per
stabilizzare
video in entrata, affrontando problemi come l'illuminazione incoerente, le angolazioni insolite e il movimento.
Preelaborazione dell'immagine: Il nostro team ha migliorato i fotogrammi video con il filtraggio e la stabilizzazione,
assicurando solo la pulizia,
I fotogrammi utilizzabili sono stati spostati in avanti per il riconoscimento.
Modelli di riconoscimento: Utilizzando campioni di video reali, abbiamo messo a punto la pipeline di riconoscimento.
per eseguire in modo accurato
identificare i volti, anche in presenza di angoli estremi o di ostruzioni parziali.
Ottimizzazione dell'elaborazione in lotti: Per gestire in modo efficiente i grandi volumi di video, il nostro sistema ottimizzato di
elaborazione in batch
flussi di lavoro per i filmati archiviati, riducendo al contempo il carico sulle operazioni in tempo reale.

Ad ogni sprint, abbiamo condotto test rigorosi e monitorato le prestazioni per risolvere i colli di bottiglia e le
sostenere progressi costanti.

Test e convalida

I nostri specialisti QA hanno messo alla prova il sistema per convalidarne le prestazioni in condizioni reali. condizioni reali:

Test funzionali: Ogni modulo è stato testato singolarmente e come parte dell'intera pipeline.
Stress test: Il nostro team ha valutato la capacità del sistema di elaborare più flussi di telecamere in condizioni di carico elevato.
Convalida nel mondo reale: Utilizzando i feed video di un vero e proprio punto vendita, abbiamo verificato che il sistema risultati coerenti anche in presenza di scarsa illuminazione, sfocatura del movimento o bassa risoluzione.
Test dei casi limite: Il nostro team ha testato scenari impegnativi, come facce parziali e angoli estremi, per garantire la robustezza e l'affidabilità. angoli estremi per garantire robustezza e affidabilità.

Durante i test, abbiamo monitorato le metriche delle prestazioni (accuratezza, velocità e tassi di scarto dei fotogrammi) e abbiamo messo a punto il sistema per ottenere risultati ottimali. e abbiamo messo a punto il sistema per ottenere risultati ottimali.

Distribuzione e integrazione

Una volta che il software di analisi facciale personalizzato era pronto, il nostro team lo ha implementato nell'ambiente di produzione del cliente produzione del cliente con un'interruzione minima. Il sistema è stato configurato per elaborare i flussi video in diretta e per integrarsi con l'infrastruttura TVCC esistente. Per garantire un'implementazione senza intoppi, abbiamo anche fornito sessioni di formazione e una documentazione documentazione dettagliata per il team del cliente.

Manutenzione e assistenza post-impiego

Nell'ambito del nostro ruolo di società di sviluppo di software di riconoscimento facciale personalizzato, forniamo aggiornamenti e supporto continui per migliorare l'efficienza del sistema. aggiornamenti e supporto per migliorare l'efficienza e la scalabilità del sistema.

Team

Analista aziendale

Responsabile di progetto

Ingegnere ML

Sviluppatore back-end

Sviluppatore front-end

Risultati

Maggiore sicurezza e semplificazione dell'identificazione del volto

Il nostro team ha realizzato un sistema di riconoscimento facciale che ha affrontato con successo le principali sfide del mondo reale, come la bassa risoluzione, la scarsa illuminazione e la sfocatura del movimento. Grazie a un'attenta progettazione e ottimizzazione, abbiamo migliorato l'efficienza operativa di 70%, riducendo il tempo di verifica dei dipendenti da 20 secondi a meno di 5 secondi per persona.

I nostri ingegneri si sono assicurati che il sistema fosse in grado di gestire carichi di lavoro impegnativi, implementando efficienti pipeline di elaborazione. Il risultato è che ora elabora migliaia di volti al secondo su più flussi video. Utilizzando l'infrastruttura AWS ottimizzata per le GPU e la messa a punto delle prestazioni, siamo stati in grado di mantenere un funzionamento fluido e costante, anche durante le ore di punta della vendita al dettaglio. anche durante le ore di punta della vendita al dettaglio.

I nostri sforzi hanno anche rafforzato i risultati in termini di sicurezza. I meccanismi di allarme in tempo reale sviluppati dal nostro team consentono al sistema di generare notifiche istantanee per le persone non autorizzate. Di conseguenza, i tempi di risposta della sicurezza sono diminuiti di 40%, consentendo ai team in loco di agire più rapidamente e migliorando la consapevolezza della situazione generale.

L'affidabilità è stata un obiettivo fondamentale per tutto il progetto. Le ottimizzazioni effettuate dal nostro team hanno garantito un tempo di attività del 99,9% e e hanno fornito un funzionamento ininterrotto per processi critici come il controllo degli accessi e il monitoraggio in tempo reale. La perfetta integrazione con i sistemi esistenti del cliente ha contribuito a ridurre di 20-25% gli incidenti legati alla sicurezza, aiutando i retailer a creare strutture più sicure e meglio gestite. i retailer a creare ambienti più sicuri e meglio gestiti.

Nel complesso, la soluzione si è dimostrata veloce, precisa e scalabile. Non solo ha ottimizzato la sicurezza, ma ha anche semplificato la gestione delle presenze e migliorato i flussi di lavoro operativi quotidiani, offrendo risultati tangibili per gli ambienti retail. ambienti di vendita al dettaglio.

Durata del progetto

Maggio 2022 - Ottobre 2022

99.8%

verifiche sotto i 200 ms per fotogramma su istanze AWS ottimizzate per le GPU

85-90%

accuratezza del riconoscimento facciale in condizioni di scarsa illuminazione o di sfocatura del movimento

50%

meno interventi manuali con un'identificazione automatica affidabile

Casi correlati

Contattateci!

Prenota una chiamata oppure compilate il modulo sottostante e sarete ricontattati una volta elaborata la vostra richiesta.

Nome

Azienda

Telefono

Messaggio Si prega di includere i dettagli del progetto, la durata, lo stack tecnologico, i professionisti IT necessari e altre informazioni pertinenti

Registra un messaggio vocale sul tuo
progetto per aiutarci a capirlo meglio

Allega ulteriori documenti se necessario

Caricare il file

È possibile allegare fino a 1 file di 2 MB complessivi. File validi: pdf, jpg, jpeg, png

Vi informiamo che cliccando sul pulsante Invia, Innowise tratterà i vostri dati personali in conformità con la nostra Informativa sulla privacy allo scopo di fornirvi informazioni adeguate.

Cosa succede dopo?

Dopo aver ricevuto ed elaborato la vostra richiesta, vi ricontatteremo a breve per illustrare le esigenze del progetto e firmare un NDA per garantire la riservatezza delle informazioni.

Dopo aver esaminato i requisiti, i nostri analisti e sviluppatori elaborano una proposta di progetto con l'ambito di lavoro, le dimensioni del team, i tempi e i costi stimati.

Organizziamo un incontro con voi per discutere l'offerta e giungere a un accordo.

Firmiamo un contratto e iniziamo a lavorare sul vostro progetto il prima possibile.