Introductie van een softwareoplossing voor gezichtsherkenning op maat

Innowise heeft een geavanceerde gezichtsherkenningsoplossing ontwikkeld om de beveiliging te verbeteren en identificatieprocessen te stroomlijnen.

Klant

Industrie

Detailhandel

Regio

Klant sinds

2022

Onze klant is een Australisch softwareontwikkelings- en IT-consultancybedrijf dat gespecialiseerd is in het leveren van op maat gemaakte IT-oplossingen voor de detailhandel. Met een sterke staat van dienst hebben ze met succes digitale oplossingen bedacht, ontworpen en gelanceerd in verschillende retailcategorieën, waaronder algemene koopwaar, kleding en kruidenierswaren.

Dit bedrijf is wereldwijd actief - van multinationals tot onafhankelijke winkeleigenaren - en biedt een reeks zeer schaalbare producten en diensten.

Uitdaging

Nauwkeuriger gezichtsherkenning voor de detailhandel

In eerste instantie leek de taak eenvoudig: ontwikkel een gezichtsherkenningsoplossing die betrouwbaar personen in realtime kan identificeren voor winkelomgevingen. Maar iedereen die bekend is met echte videofeeds weet dat deze zelden perfect zijn.

De grootste uitdaging was de inconsistente videokwaliteit. Winkelomgevingen zijn onvoorspelbaar - camera's maken vaak opnamen bij slecht licht, vanuit onhandige hoeken en te midden van constante beweging. Als gevolg daarvan leken gezichten wazig, in de schaduw of vervormd, waardoor het voor het systeem moeilijk was om cruciale gezichtskenmerken zoals de ogen, neus en mond te detecteren en uit te lijnen.

In sommige gevallen werden gezichtsdetails verborgen door ongelijkmatige belichting, terwijl in andere gevallen de combinatie van onscherpte en schaduwen traditionele herkenningsmethoden ineffectief maakte. Dit waren geen incidentele problemen, maar de dagelijkse omstandigheden waar ons team mee te maken had.

Om dit te voorkomen hadden we meer nodig dan geavanceerde algoritmen. Onze technici moesten een systeem ontwerpen dat in staat was om imperfecte, rommelige inputs te verwerken - het extraheren van betekenisvolle gegevens uit inconsistente video van lage kwaliteit om duidelijke en bruikbare resultaten te leveren. Simpel gezegd moest de aangepaste gezichtsherkenningssoftware werken met de echte uitdagingen, en er niet tegen vechten.

Oplossing

Meer veiligheid en efficiëntie in de detailhandel met een gezichtsherkenningssysteem

Bij de ontwikkeling van gezichtsherkenningssoftware op maat richtte ons team zich op drie cruciale doelen: nauwkeurigheid, real-time verwerking en aanpasbaarheid aan invoer van lage kwaliteit.

Betrouwbare gezichtsdetectie en -herkenning

In de kern van de oplossing hebben we geavanceerde deep learning-algoritmen geïntegreerd om nauwkeurige gezichtsdetectie en -herkenning te garanderen, zelfs onder veeleisende omstandigheden zoals slechte verlichting, ongebruikelijke hoeken en invoer met een lage resolutie.

Gezichtsdetectie en uitlijning

We gebruikten RetinaFace vanwege de snelheid en nauwkeurigheid in gezichtsdetectie, waarbij het vooral uitblinkt in afbeeldingen met een lage resolutie en lastige lichtomstandigheden. We kozen voor de gezichtsherkenningsfunctie van MediaPipe om kritieke kenmerken zoals de ogen, neus en mond te identificeren en uit te lijnen. Hierdoor kon het systeem stabieler en nauwkeuriger omgaan met verschillende inputs. Dit maakte consistente preprocessing van gezichten mogelijk, zelfs bij verkeerde uitlijning of ongebruikelijke hoeken.

Nauwkeurige gezichtsherkenningsmodellen

Voor gezichtsherkenning gebruikten we de ArcFace-techniek, die bekend staat om zijn sterke prestaties bij het genereren van discriminerende gezichtsbeddingen. Om de nauwkeurigheid voor winkelomgevingen te optimaliseren, heeft het team het ruggengraatmodel verfijnd met behulp van domeinspecifieke gegevens met gerichte augmentaties, waaronder gesimuleerde vervaging en hoekvervorming. Het resultaat was dat het systeem een nauwkeurigheid van 85-90% gezichtsherkenning behaalde onder moeilijke omstandigheden en een nauwkeurigheid van meer dan 95% behield met hoogwaardige inputs.

Verbeteringen voor beeldnauwkeurigheid en systeemprestaties

Bewakingsbeelden bevatten vaak onvolkomenheden, dus als onderdeel van onze aangepaste gezichtsherkenningsservices hebben we een robuuste beeldvoorbewerking ontwikkeld om de invoer op te schonen voor herkenning.

Een van de belangrijkste doorbraken was de lokalisatie van ogen. De integratie van MediaPipe pipelines verbeterde het vermogen van het systeem om het centrum van de oogpupillen te detecteren. Dit verbeterde de uitlijning en stabilisatie van gezichten aanzienlijk, waardoor we de frames konden uitfilteren die slecht waren vastgelegd of verkeerd waren uitgelijnd. Op deze manier werden alleen schone en hoogwaardige frames herkend, waardoor de algehele nauwkeurigheid van het systeem verbeterde.

Efficiënte beeldverwerking in batches

We moesten omgaan met enorme hoeveelheden videogegevens, dus hebben we een batch beeldverwerkingsmodule gemaakt met PyTorch en MediaPipe.

We hebben ook een module ontwikkeld om beelden uit videofeeds in bulk te extraheren en te verwerken, waardoor tijd wordt bespaard en handmatige inspanningen worden verminderd. Het geoptimaliseerde systeem verwerkt grote hoeveelheden gegevens naadloos, zelfs in drukke winkelomgevingen.

Integratie met een CCTV-systeem

De integratie van aangepaste gezichtsherkenningssoftware met een gesloten televisiecircuit (CCTV) houdt in dat geavanceerde gezichtsherkenningstechnologie wordt gecombineerd met de bestaande bewakingsinfrastructuur. Deze integratie herconfigureert de bewakingsmogelijkheden, waardoor nauwkeurige real-time identificatie van personen in winkels of magazijnen mogelijk wordt. Een dergelijk systeem verscherpt de beveiligingsmaatregelen tegen ongeautoriseerde toegang en optimaliseert het personeelsbeheer door middel van aanwezigheidsregistratie en het monitoren van werkgedrag. Met zo'n holistische aanpak wordt de omgeving van een winkel veel veiliger en efficiënter.

De oplossing voor gezichtsherkenning op maat heeft nu toegang tot live videofeeds van CCTV-camera's en gebruikt algoritmen op basis van PyTorch en MediaPipe om unieke gezichtskenmerken te detecteren en analyseren, zoals de vorm van de ogen, neus en mond.

Met behulp van Re-ID-modellen (person re-identification) volgt het systeem personen van de ene camera naar de andere, zelfs bij occlusie of terwijl ze van de ene zone naar de andere bewegen. In combinatie met gestreamde verwerking op frameniveau met de inferentiemogelijkheden van PyTorch ondersteunt het systeem ook realtime herkenning met een latentie van minder dan 200 ms, zelfs bij meerdere live streams.

Technologieën

Back-end

.NET 6, C#, Python

Cloud

AWS (Kinesis Videostreaming, EC2, EKS, ECR, S3, Glue)

DevOps

GitHub Acties, Kubernetes, Nginx

Machine learning

PyTorch, MediaPipe

VCS

Git, GitHub

Proces

We begonnen met intensieve workshops om de projectdoelen en uitdagingen te begrijpen, zoals
omgaan met slechte videokwaliteit, realtime verwerking mogelijk maken en ervoor zorgen dat het systeem schaalbaar is. Ons team voerde een
gedetailleerde controle van de CCTV-installatie van de klant, waarbij cameratypes, framerates en videokwaliteit worden beoordeeld om er zeker van te zijn dat de
aangepaste gezichtsherkenningssoftware betrouwbaar zou werken in echte omstandigheden.

Systeemontwerp en architectuurplanning

Vervolgens ontwierp ons team een schaalbare, gedistribueerde architectuur die in staat is om meerdere live
stromen tegelijkertijd. Elk deel van het systeem - gezichtsdetectie, voorbewerking en herkenning - is gebouwd als een
onafhankelijke component, waardoor een soepele gegevensstroom en fouttolerantie gegarandeerd zijn. We brachten ook integratiepunten in kaart om
de oplossing met het bestaande CCTV-netwerk van de klant.

Ontwikkeling en implementatie

We volgden een Agile-ontwikkelingsaanpak, leverden resultaten in fasen en verzamelden regelmatig feedback
om het systeem te verfijnen. Dit is hoe we elk kritiek gebied hebben aangepakt:

Gezichtsdetectie en uitlijning: Onze technici hebben de detectiepijplijn gebouwd en geoptimaliseerd om
stabiliseren
inkomende video, waarbij uitdagingen zoals inconsistente belichting, ongebruikelijke hoeken en beweging worden aangepakt.
Afbeelding voorbewerken: Ons team verbeterde de videoframes met filtering en stabilisatie,
Alleen schoon,
bruikbare frames naar voren geschoven voor erkenning.
Herkenningsmodellen: Met behulp van echte videomonsters hebben we de herkenningspijplijn verfijnd.
om nauwkeurig
gezichten te identificeren, zelfs onder extreme hoeken of gedeeltelijke obstructies.
Optimalisatie van batchverwerking: Om grote videovolumes efficiënt te beheren, is onze geoptimaliseerde
batchverwerking
workflows voor gearchiveerd beeldmateriaal terwijl de belasting op realtime operaties wordt verminderd.

Bij elke sprint voerden we rigoureuze tests en prestatiebewaking uit om knelpunten aan te pakken en
consistente vooruitgang ondersteunen.

Testen en valideren

Onze QA-specialisten hebben het systeem aan de tand gevoeld om de prestaties onder echte omstandigheden te valideren. omstandigheden:

Functioneel testen: Elke module werd afzonderlijk en als onderdeel van de volledige pijplijn getest.
Stresstests: Ons team evalueerde het vermogen van het systeem om meerdere camerastromen te verwerken onder zware belasting.
Validatie in de echte wereld: Met echte videobeelden uit de detailhandel controleerden we dat het systeem consistente resultaten levert, zelfs bij slechte verlichting, bewegingsonscherpte of een lage resolutie.
Testen van randgevallen: Ons team testte uitdagende scenario's zoals gedeeltelijke gezichten en extreme hoeken om robuustheid en betrouwbaarheid te garanderen.

Tijdens het testen hielden we de prestatiegegevens bij - nauwkeurigheid, snelheid en afgekeurde frames - en verfijnden het systeem voor optimale resultaten.

Inzet en integratie

Toen de aangepaste gezichtsanalysesoftware klaar was, implementeerde ons team deze in de productieomgeving van de klant met minimale verstoring. omgeving met minimale onderbreking. Het systeem werd geconfigureerd om live videostreams te verwerken en integreerde moeiteloos te integreren met de bestaande CCTV-infrastructuur. Om een soepele uitrol te garanderen, verzorgden we ook trainingssessies en gedetailleerde documentatie voor het team van de klant.

Onderhoud en ondersteuning na implementatie

Als onderdeel van onze rol als bedrijf dat gezichtsherkenningssoftware op maat ontwikkelt, bieden we voortdurend updates en ondersteuning om de efficiëntie en schaalbaarheid van het systeem te verbeteren.

Team

Bedrijfsanalist

Project
Manager

ML Engineer

Back-End Ontwikkelaar

Front-End Ontwikkelaar

Resultaten

Verbeterde beveiliging en gestroomlijnde gezichtsherkenning

Ons team leverde een gezichtsherkenningssysteem dat met succes de belangrijkste uitdagingen in de echte wereld aanging, zoals lage resolutie, slechte verlichting en bewegingsonscherpte. Door zorgvuldig ontwerp en optimalisatie hebben we de operationele efficiëntie met 70%, waardoor de verificatietijd van werknemers werd teruggebracht van 20 seconden naar minder dan 5 seconden per persoon.

Onze technici zorgden ervoor dat het systeem veeleisende werklasten aankon door efficiënte verwerkingslijnen te implementeren. Het resultaat is dat het nu duizenden gezichten per seconde verwerkt over meerdere videostreams. Door gebruik te maken van de voor GPU's geoptimaliseerde AWS-infrastructuur en de prestaties te verfijnen, konden we alles soepel en consistent laten draaien, zelfs tijdens de piekuren in de winkels. consistent te houden, zelfs tijdens winkelpiekuren.

Onze inspanningen hebben ook de beveiligingsresultaten verbeterd. De realtime waarschuwingsmechanismen die ons team heeft ontwikkeld stellen het systeem in staat om direct meldingen te genereren voor onbevoegde personen. Als gevolg hiervan is de reactietijd met 40% afgenomen, waardoor teams op locatie sneller kunnen handelen en het algehele situationele bewustzijn is verbeterd.

Betrouwbaarheid was een belangrijk aandachtspunt tijdens het hele project. De optimalisaties van ons team zorgden voor 99,9% uptime en en zorgden voor een ononderbroken werking voor kritieke processen zoals toegangscontrole en live monitoring. Naadloze integratie met de bestaande systemen van de klant droeg verder bij aan een vermindering van 20-25% van beveiligingsgerelateerde incidenten, waardoor retailers veiligere en beter beheerde omgevingen te creëren.

Over het geheel genomen bleek de oplossing snel, nauwkeurig en schaalbaar. Niet alleen de beveiliging werd geoptimaliseerd, maar ook het aanwezigheidsbeheer vereenvoudigd en de dagelijkse operationele workflows verbeterd. omgevingen.

Duur van het project

Mei 2022 - oktober 2022

99.8%

verificaties onder 200 ms per frame op GPU-geoptimaliseerde AWS-instanties

85-90%

nauwkeurigheid gezichtsherkenning bij weinig licht of bewegingsonscherpte

50%

minder handmatige ingrepen met betrouwbare automatische identificatie

Gerelateerde gevallen

Neem contact met ons op!

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens verwerkt in overeenstemming met ons Privacybeleid om u van de juiste informatie te voorzien.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken.