Introductie van een softwareoplossing voor gezichtsherkenning op maat

Innowise heeft een geavanceerde gezichtsherkenningsoplossing ontwikkeld om de beveiliging te verbeteren en identificatieprocessen te stroomlijnen.

Klant

Industrie

Detailhandel

Regio

Klant sinds

2022

Onze klant is een Australisch softwareontwikkelings- en IT-consultancybedrijf dat gespecialiseerd is in het leveren van op maat gemaakte IT-oplossingen voor de detailhandel. Met een sterke staat van dienst hebben ze met succes digitale oplossingen bedacht, ontworpen en gelanceerd in verschillende retailcategorieën, waaronder algemene koopwaar, kleding en kruidenierswaren.

Dit bedrijf is wereldwijd actief - van multinationals tot onafhankelijke winkeleigenaren - en biedt een reeks zeer schaalbare producten en diensten.

Uitdaging

Nauwkeuriger gezichtsherkenning voor de detailhandel

In eerste instantie leek de taak eenvoudig: ontwikkel een gezichtsherkenningsoplossing die betrouwbaar personen in realtime kan identificeren voor winkelomgevingen. Maar iedereen die bekend is met echte videofeeds weet dat deze zelden perfect zijn.

De grootste uitdaging was de inconsistente videokwaliteit. Winkelomgevingen zijn onvoorspelbaar - camera's maken vaak opnamen bij slecht licht, vanuit onhandige hoeken en te midden van constante beweging. Als gevolg daarvan leken gezichten wazig, in de schaduw of vervormd, waardoor het voor het systeem moeilijk was om cruciale gezichtskenmerken zoals de ogen, neus en mond te detecteren en uit te lijnen.

In sommige gevallen werden gezichtsdetails verborgen door ongelijkmatige belichting, terwijl in andere gevallen de combinatie van onscherpte en schaduwen traditionele herkenningsmethoden ineffectief maakte. Dit waren geen incidentele problemen, maar de dagelijkse omstandigheden waar ons team mee te maken had.

Om dit te voorkomen hadden we meer nodig dan geavanceerde algoritmen. Onze technici moesten een systeem ontwerpen dat in staat was om imperfecte, rommelige inputs te verwerken - het extraheren van betekenisvolle gegevens uit inconsistente video van lage kwaliteit om duidelijke en bruikbare resultaten te leveren. Simpel gezegd moest de aangepaste gezichtsherkenningssoftware werken met de echte uitdagingen, en er niet tegen vechten.

Oplossing

Meer veiligheid en efficiëntie in de detailhandel met een gezichtsherkenningssysteem

Bij de ontwikkeling van gezichtsherkenningssoftware op maat richtte ons team zich op drie cruciale doelen: nauwkeurigheid, real-time verwerking en aanpasbaarheid aan invoer van lage kwaliteit.

Betrouwbare gezichtsdetectie en -herkenning

In de kern van de oplossing hebben we geavanceerde deep learning-algoritmen geïntegreerd om nauwkeurige gezichtsdetectie en -herkenning te garanderen, zelfs onder veeleisende omstandigheden zoals slechte verlichting, ongebruikelijke hoeken en invoer met een lage resolutie.

Gezichtsdetectie en uitlijning

We gebruikten RetinaFace vanwege de snelheid en nauwkeurigheid in gezichtsdetectie, waarbij het vooral uitblinkt in afbeeldingen met een lage resolutie en lastige lichtomstandigheden. We kozen voor de gezichtsherkenningsfunctie van MediaPipe om kritieke kenmerken zoals de ogen, neus en mond te identificeren en uit te lijnen. Hierdoor kon het systeem stabieler en nauwkeuriger omgaan met verschillende inputs. Dit maakte consistente preprocessing van gezichten mogelijk, zelfs bij verkeerde uitlijning of ongebruikelijke hoeken.

Nauwkeurige gezichtsherkenningsmodellen

Voor gezichtsherkenning gebruikten we de ArcFace-techniek, die bekend staat om zijn sterke prestaties bij het genereren van discriminerende gezichtsbeddingen. Om de nauwkeurigheid voor winkelomgevingen te optimaliseren, heeft het team het ruggengraatmodel verfijnd met behulp van domeinspecifieke gegevens met gerichte augmentaties, waaronder gesimuleerde vervaging en hoekvervorming. Het resultaat was dat het systeem een nauwkeurigheid van 85-90% gezichtsherkenning behaalde onder moeilijke omstandigheden en een nauwkeurigheid van meer dan 95% behield met hoogwaardige inputs.

Verbeteringen voor beeldnauwkeurigheid en systeemprestaties

Bewakingsbeelden bevatten vaak onvolkomenheden, dus als onderdeel van onze aangepaste gezichtsherkenningsservices hebben we een robuuste beeldvoorbewerking ontwikkeld om de invoer op te schonen voor herkenning.

Een van de belangrijkste doorbraken was de lokalisatie van ogen. De integratie van MediaPipe pipelines verbeterde het vermogen van het systeem om het centrum van de oogpupillen te detecteren. Dit verbeterde de uitlijning en stabilisatie van gezichten aanzienlijk, waardoor we de frames konden uitfilteren die slecht waren vastgelegd of verkeerd waren uitgelijnd. Op deze manier werden alleen schone en hoogwaardige frames herkend, waardoor de algehele nauwkeurigheid van het systeem verbeterde.

Efficiënte beeldverwerking in batches

We moesten omgaan met enorme hoeveelheden videogegevens, dus hebben we een batch beeldverwerkingsmodule gemaakt met PyTorch en MediaPipe.

We hebben ook een module ontwikkeld om beelden uit videofeeds in bulk te extraheren en te verwerken, waardoor tijd wordt bespaard en handmatige inspanningen worden verminderd. Het geoptimaliseerde systeem verwerkt grote hoeveelheden gegevens naadloos, zelfs in drukke winkelomgevingen.

Integratie met een CCTV-systeem

De integratie van aangepaste gezichtsherkenningssoftware met een gesloten televisiecircuit (CCTV) houdt in dat geavanceerde gezichtsherkenningstechnologie wordt gecombineerd met de bestaande bewakingsinfrastructuur. Deze integratie herconfigureert de bewakingsmogelijkheden, waardoor nauwkeurige real-time identificatie van personen in winkels of magazijnen mogelijk wordt. Een dergelijk systeem verscherpt de beveiligingsmaatregelen tegen ongeautoriseerde toegang en optimaliseert het personeelsbeheer door middel van aanwezigheidsregistratie en het monitoren van werkgedrag. Met zo'n holistische aanpak wordt de omgeving van een winkel veel veiliger en efficiënter.

De oplossing voor gezichtsherkenning op maat heeft nu toegang tot live videofeeds van CCTV-camera's en gebruikt algoritmen op basis van PyTorch en MediaPipe om unieke gezichtskenmerken te detecteren en analyseren, zoals de vorm van de ogen, neus en mond.

Met behulp van Re-ID-modellen (person re-identification) volgt het systeem personen van de ene camera naar de andere, zelfs bij occlusie of terwijl ze van de ene zone naar de andere bewegen. In combinatie met gestreamde verwerking op frameniveau met de inferentiemogelijkheden van PyTorch ondersteunt het systeem ook realtime herkenning met een latentie van minder dan 200 ms, zelfs bij meerdere live streams.

Technologieën

Back-end

.NET 6, C#, Python

Cloud

AWS (Kinesis Videostreaming, EC2, EKS, ECR, S3, Glue)

DevOps

GitHub Acties, Kubernetes, Nginx

Machine learning

PyTorch, MediaPipe

VCS

Git, GitHub

Proces

We begonnen met intensieve workshops om de projectdoelen en de uitdagingen te begrijpen, zoals het omgaan met slechte videokwaliteit, het mogelijk maken van real-time verwerking en ervoor zorgen dat het systeem kon worden opgeschaald. Ons team voerde een gedetailleerde audit uit van de CCTV-installatie van de klant en beoordeelde cameratypes, beeldsnelheden en videokwaliteit om er zeker van te zijn dat de aangepaste gezichtsherkenningssoftware betrouwbaar zou werken onder echte omstandigheden.

Systeemontwerp en architectuurplanning

Vervolgens ontwierp ons team een schaalbare, gedistribueerde architectuur die in staat is om meerdere live streams tegelijk te verwerken. Elk deel van het systeem - gezichtsdetectie, voorbewerking en herkenning - werd gebouwd als een onafhankelijke component, waardoor een soepele gegevensstroom en fouttolerantie werden gegarandeerd. We brachten ook integratiepunten in kaart om de oplossing aan te sluiten op het bestaande CCTV-netwerk van de klant.

Ontwikkeling en implementatie

We volgden een Agile ontwikkelingsaanpak, leverden resultaten in fasen en verzamelden regelmatig feedback om het systeem te verfijnen. Dit is hoe we elk kritisch gebied hebben aangepakt:

Gezichtsdetectie en uitlijning: Onze technici hebben de detectiepijplijn gebouwd en geoptimaliseerd om inkomende video te stabiliseren, waarbij uitdagingen zoals inconsistente belichting, ongebruikelijke hoeken en beweging worden aangepakt.
Afbeelding voorbewerken: Ons team verbeterde de videoframes door ze te filteren en te stabiliseren, zodat alleen schone, bruikbare frames werden gebruikt voor herkenning.
Herkenningsmodellen: Met behulp van echte videomonsters hebben we de herkenningspijplijn verfijnd om gezichten nauwkeurig te identificeren, zelfs onder extreme hoeken of gedeeltelijke obstructies.
Optimalisatie van batchverwerking: Om grote videovolumes efficiënt te beheren, hebben we batchverwerkingsworkflows voor gearchiveerd beeldmateriaal geoptimaliseerd en tegelijkertijd de belasting op realtime bewerkingen verminderd.

Bij elke sprint voerden we rigoureuze tests en prestatiebewaking uit om knelpunten aan te pakken en consistente vooruitgang te ondersteunen.

Testen en valideren

Onze QA-specialisten hebben het systeem aan de tand gevoeld om de prestaties onder echte omstandigheden te valideren. omstandigheden:

Functioneel testen: Elke module werd afzonderlijk en als onderdeel van de volledige pijplijn getest.
Stresstests: Ons team evalueerde het vermogen van het systeem om meerdere camerastromen te verwerken onder zware belasting.
Validatie in de echte wereld: Met echte videobeelden uit de detailhandel controleerden we dat het systeem consistente resultaten levert, zelfs bij slechte verlichting, bewegingsonscherpte of een lage resolutie.
Testen van randgevallen: Ons team testte uitdagende scenario's zoals gedeeltelijke gezichten en extreme hoeken om robuustheid en betrouwbaarheid te garanderen.

Tijdens het testen hielden we de prestatiegegevens bij - nauwkeurigheid, snelheid en afgekeurde frames - en verfijnden het systeem voor optimale resultaten.

Inzet en integratie

Toen de aangepaste gezichtsanalysesoftware klaar was, implementeerde ons team deze in de productieomgeving van de klant met minimale verstoring. omgeving met minimale onderbreking. Het systeem werd geconfigureerd om live videostreams te verwerken en integreerde moeiteloos te integreren met de bestaande CCTV-infrastructuur. Om een soepele uitrol te garanderen, verzorgden we ook trainingssessies en gedetailleerde documentatie voor het team van de klant.

Onderhoud en ondersteuning na implementatie

Als onderdeel van onze rol als bedrijf dat gezichtsherkenningssoftware op maat ontwikkelt, bieden we voortdurend updates en ondersteuning om de efficiëntie en schaalbaarheid van het systeem te verbeteren.

Team

Bedrijfs-analist

Project Manager

ML Engineer

Back-End Ontwikkelaar

Front-End Ontwikkelaar

Resultaten

Verbeterde beveiliging en gestroomlijnde gezichtsherkenning

Ons team leverde een gezichtsherkenningssysteem dat met succes de belangrijkste uitdagingen uit de praktijk aanging, waaronder een lage resolutie, slechte verlichting en bewegingsonscherpte. Door zorgvuldig ontwerp en optimalisatie verbeterden we de operationele efficiëntie met 70%, waardoor de verificatietijd van werknemers werd teruggebracht van 20 seconden tot minder dan 5 seconden per persoon.

Onze technici zorgden ervoor dat het systeem veeleisende workloads aankon door efficiënte verwerkingspijplijnen te implementeren. Het resultaat is dat het nu duizenden gezichten per seconde verwerkt over meerdere videostreams. Door gebruik te maken van de voor GPU's geoptimaliseerde AWS-infrastructuur en de prestaties nauwkeurig af te stemmen, konden we alles soepel en consistent laten draaien, zelfs tijdens piekuren in de detailhandel.

Onze inspanningen hebben ook de beveiligingsresultaten verbeterd. De realtime waarschuwingsmechanismen die door ons team zijn ontwikkeld, stellen het systeem in staat om direct meldingen te genereren voor onbevoegde personen. Als gevolg hiervan nam de reactietijd van de beveiliging af met 40%, waardoor teams op locatie sneller konden handelen en het algehele situationele bewustzijn verbeterde.

Betrouwbaarheid was een belangrijk aandachtspunt tijdens het hele project. De optimalisaties van ons team zorgden voor 99,9% uptime en een ononderbroken werking voor kritieke processen zoals toegangscontrole en live monitoring. Naadloze integratie met de bestaande systemen van de klant droeg verder bij aan een 20-25% vermindering van beveiligingsgerelateerde incidenten, waardoor retailers veiligere en beter beheerde omgevingen konden creëren.

Over het geheel genomen bleek de oplossing snel, nauwkeurig en schaalbaar. Niet alleen de beveiliging werd geoptimaliseerd, maar ook het aanwezigheidsbeheer werd vereenvoudigd en de dagelijkse operationele workflows werden verbeterd, wat tastbare resultaten oplevert voor retailomgevingen.

Duur van het project

Mei 2022 - oktober 2022

99.8%

verificaties onder 200 ms per frame op GPU-geoptimaliseerde AWS-instanties

85-90%

nauwkeurigheid gezichtsherkenning bij weinig licht of bewegingsonscherpte

50%

minder handmatige ingrepen met betrouwbare automatische identificatie

Gerelateerde gevallen

Contacteer ons

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens zal verwerken in overeenstemming met onze Privacybeleid om u van de juiste informatie te voorzien. Door een telefoonnummer op te geven en dit formulier te verzenden, geeft u toestemming om per sms te worden gecontacteerd. Er kunnen bericht- en gegevenstarieven van toepassing zijn. U kunt op STOP antwoorden om verdere berichten te weigeren. Antwoord Help voor meer informatie.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken.