Apresentação de uma solução de software de reconhecimento facial personalizada

A Innowise desenvolveu uma solução avançada de reconhecimento facial para aumentar a segurança e simplificar os processos de identificação.

Cliente

Indústria

Sector retalhista

Região

Cliente desde

2022

O nosso cliente é uma empresa australiana de desenvolvimento de software e consultoria de TI especializada no fornecimento de soluções de TI à medida para o sector do retalho. Com um forte historial, conceberam, desenharam e lançaram com sucesso soluções digitais em várias categorias de retalho, incluindo mercadorias em geral, vestuário e mercearia.

Operando a uma escala global - desde empresas multinacionais de retalho a proprietários de lojas independentes - esta empresa oferece um conjunto de produtos e serviços altamente escaláveis.

Desafio

Melhorar a precisão do reconhecimento facial para o sector retalhista

No início, a tarefa parecia simples: desenvolver uma solução de reconhecimento facial que pudesse identificar de forma fiável indivíduos em tempo real para ambientes de retalho. Mas qualquer pessoa familiarizada com as transmissões de vídeo do mundo real sabe que raramente são perfeitas.

O principal desafio era a qualidade de vídeo inconsistente. Os ambientes de retalho são imprevisíveis - as câmaras captam frequentemente imagens com pouca luz, de ângulos estranhos e em constante movimento. Como resultado, os rostos apareciam desfocados, sombreados ou distorcidos, tornando difícil para o sistema detetar e alinhar caraterísticas faciais críticas como os olhos, o nariz e a boca.

Nalguns casos, a iluminação irregular obscurecia os detalhes faciais, enquanto noutros, a combinação de desfoque e sombras tornava os métodos de reconhecimento tradicionais ineficazes. Estes não eram problemas ocasionais - eram as condições diárias que a nossa equipa tinha de resolver.

Para ultrapassar este problema, precisámos de mais do que algoritmos avançados. Os nossos engenheiros tiveram de conceber um sistema capaz de processar entradas imperfeitas e confusas - extraindo dados significativos de vídeos de baixa qualidade e inconsistentes para fornecer resultados claros e acionáveis. Simplificando, a solução de software de reconhecimento facial personalizado tinha de trabalhar com os desafios do mundo real e não lutar contra eles.

Solução

Melhorar a segurança e a eficiência do comércio retalhista com um sistema de reconhecimento facial

A abordagem da nossa equipa aos serviços de desenvolvimento de software de reconhecimento facial personalizado centrou-se em três objectivos críticos: precisão, processamento em tempo real e adaptabilidade a entradas de baixa qualidade.

Deteção e reconhecimento facial fiáveis

No centro da solução, integrámos algoritmos avançados de aprendizagem profunda para garantir a deteção e o reconhecimento precisos de rostos, mesmo em condições exigentes, como iluminação insuficiente, ângulos invulgares e entradas de baixa resolução.

Deteção e alinhamento de rostos

Utilizámos o RetinaFace pela sua velocidade e precisão na deteção de rostos, destacando-se particularmente em imagens de baixa resolução e condições de iluminação difíceis. Optámos pela deteção de marcas faciais do MediaPipe para identificar e alinhar caraterísticas críticas como os olhos, o nariz e a boca. Como resultado, o sistema podia lidar com diversas entradas com maior estabilidade e precisão. Isto permitiu um pré-processamento consistente dos rostos, mesmo sob desalinhamento ou ângulos invulgares.

Modelos exactos de reconhecimento facial

Para o reconhecimento facial, utilizámos a técnica ArcFace, conhecida pelo seu forte desempenho na geração de embeddings faciais discriminativos. Para otimizar a precisão em ambientes de venda a retalho, a equipa afinou o modelo de base utilizando dados específicos do domínio com aumentos específicos, incluindo desfocagem simulada e distorção de ângulos. Como resultado, o sistema alcançou uma precisão de reconhecimento facial de 85-90% em condições difíceis e manteve uma precisão superior a 95% com entradas de alta qualidade.

Melhorias na precisão da imagem e no desempenho do sistema

As filmagens de vigilância têm frequentemente imperfeições, pelo que, como parte dos nossos serviços de desenvolvimento de reconhecimento facial personalizado, desenvolvemos um pipeline de pré-processamento de imagem robusto para limpar as entradas antes do reconhecimento.

Um dos principais avanços que trouxemos foi a localização dos olhos. A integração dos pipelines MediaPipe melhorou a capacidade do sistema para detetar os centros das pupilas dos olhos. Isto melhorou muito o alinhamento e a estabilização do rosto, permitindo-nos filtrar os fotogramas que foram mal capturados ou desalinhados. Desta forma, apenas os fotogramas limpos e de alta qualidade foram para reconhecimento, melhorando assim a precisão geral do sistema.

Processamento eficiente de imagens em lote

Precisávamos de lidar com grandes quantidades de dados de vídeo, por isso criámos um módulo de processamento de imagens em lote utilizando o PyTorch e o MediaPipe.

Também desenvolvemos um módulo para extrair e processar imagens de feeds de vídeo em massa, poupando assim tempo e reduzindo o esforço manual. O sistema optimizado lida com grandes volumes de dados sem problemas, mesmo em ambientes de retalho movimentados.

Integração com um sistema de CCTV

A integração de software de reconhecimento facial personalizado com um sistema de televisão em circuito fechado (CCTV) envolve a combinação de tecnologia avançada de reconhecimento facial com a infraestrutura de vigilância existente. Esta integração reconfigura as capacidades de vigilância, permitindo a identificação precisa e em tempo real de indivíduos dentro de lojas ou armazéns. Este sistema reforça as medidas de segurança contra o acesso não autorizado e optimiza a gestão dos empregados através do acompanhamento da assiduidade e da monitorização do comportamento no trabalho. Com esta abordagem holística, o ambiente de qualquer ponto de venda a retalho torna-se muito mais seguro e eficiente para a operação.

Agora, a solução personalizada de reconhecimento facial acede a feeds de vídeo em direto de câmaras CCTV e utiliza algoritmos baseados em PyTorch e MediaPipe para detetar e analisar caraterísticas faciais únicas, como a forma dos olhos, nariz e boca.

Utilizando modelos de reidentificação de pessoas (Re-ID), o sistema rastreia indivíduos de uma câmara para outra, mesmo com oclusão ou enquanto se deslocam de uma zona para outra. Combinado com o processamento em fluxo contínuo ao nível dos fotogramas, alimentado pelas capacidades de inferência do PyTorch, o sistema também suporta o reconhecimento em tempo real com latência inferior a 200 ms, mesmo em vários fluxos em direto.

Tecnologias

Back-end

.NET 6, C#, Python

Cloud

AWS (fluxo de vídeo Kinesis, EC2, EKS, ECR, S3, Glue)

DevOps

GitHub Actions, Kubernetes, Nginx

Aprendizagem automática

PyTorch, MediaPipe

VCS

Git, GitHub

Processo

Começámos com workshops intensivos para compreender os objectivos do projeto e os desafios em questão - como
lidar com a má qualidade do vídeo, permitir o processamento em tempo real e garantir a escalabilidade do sistema. A nossa equipa realizou uma
auditoria pormenorizada da instalação de CCTV do cliente, avaliando os tipos de câmaras, as velocidades de fotogramas e a qualidade de vídeo para garantir que o
o software de reconhecimento facial personalizado funcionaria de forma fiável em condições reais.

Conceção do sistema e planeamento da arquitetura

Em seguida, a nossa equipa concebeu uma arquitetura escalável e distribuída, capaz de processar vários ficheiros em direto
simultaneamente. Cada parte do sistema - deteção de rostos, pré-processamento e reconhecimento - foi construída como um
componente independente, assegurando um fluxo de dados sem problemas e tolerância a falhas. Também mapeámos pontos de integração para ligar
a solução com a rede de CCTV existente do cliente.

Desenvolvimento e implementação

Seguimos uma abordagem de desenvolvimento Agile, apresentando resultados por fases e recolhendo feedback regular
para aperfeiçoar o sistema. Eis como abordámos cada área crítica:

Deteção e alinhamento de rostos: Os nossos engenheiros criaram e optimizaram o pipeline de deteção para
estabilizar
vídeo de entrada, abordando desafios como iluminação inconsistente, ângulos invulgares e movimento.
Pré-processamento de imagens: A nossa equipa melhorou os fotogramas de vídeo com filtragem e estabilização,
garantindo apenas a limpeza,
quadros utilizáveis avançaram para o reconhecimento.
Modelos de reconhecimento: Utilizando amostras de vídeo do mundo real, afinámos o pipeline de reconhecimento
para obter com exatidão
identificar rostos, mesmo sob ângulos extremos ou obstruções parciais.
Otimização do processamento em lote: Para gerir grandes volumes de vídeo de forma eficiente, o nosso
processamento em lote
fluxos de trabalho para filmagens arquivadas, reduzindo simultaneamente a carga sobre as operações em tempo real.

Em cada sprint, efectuámos testes rigorosos e monitorizámos o desempenho para resolver os estrangulamentos e
apoiar um progresso consistente.

Ensaios e validação

Os nossos especialistas em controlo de qualidade colocam o sistema à prova para validar o seu desempenho em condições reais condições reais:

Testes funcionais: Cada módulo foi testado individualmente e como parte do pipeline completo.
Testes de esforço: A nossa equipa avaliou a capacidade do sistema para processar vários fluxos de câmaras sob cargas pesadas.
Validação no mundo real: Utilizando feeds de vídeo reais de retalho, verificámos que o sistema apresentou resultados consistentes, mesmo com pouca iluminação, desfocagem de movimento ou baixa resolução.
Teste de casos extremos: A nossa equipa testou cenários desafiantes como faces parciais e ângulos extremos ângulos extremos para garantir robustez e fiabilidade.

Ao longo dos testes, acompanhámos as métricas de desempenho - precisão, velocidade e taxas de rejeição de fotogramas - e ajustámos o sistema para obter os melhores resultados.

Implementação e integração

Quando o software de análise facial personalizado ficou pronto, a nossa equipa implementou-o no ambiente de produção do cliente do cliente com o mínimo de interrupções. O sistema foi configurado para processar fluxos de vídeo em direto e integrar-se e integrar-se sem esforço com a infraestrutura de CCTV existente. Para garantir uma implementação sem problemas, também fornecemos sessões de formação e documentação detalhada para a equipa do cliente.

Manutenção e suporte pós-implantação

Como parte do nosso papel como empresa de desenvolvimento de software de reconhecimento facial personalizado, fornecemos actualizações actualizações e suporte contínuos para melhorar a eficiência e a escalabilidade do sistema.

Equipa

Analista de negócios

Gestor de projectos

Engenheiro ML

Programador Back-End

Programador Front-End

Resultados

Segurança reforçada e identificação facial simplificada

A nossa equipa forneceu um sistema de reconhecimento facial que resolveu com êxito os principais desafios do mundo real, incluindo baixa resolução, pouca iluminação e desfoque de movimento. Através de uma conceção e otimização cuidadosas, melhorámos a eficiência operacional em 70%, reduzindo o tempo de verificação dos funcionários de 20 segundos para menos de 5 segundos por pessoa.

Os nossos engenheiros certificaram-se de que o sistema podia lidar com cargas de trabalho exigentes, implementando pipelines de processamento eficientes. Como resultado, ele agora processa milhares de rostos por segundo em vários fluxos de vídeo. Utilizando a infraestrutura AWS optimizada para GPU e ajustando o desempenho, conseguimos manter as coisas a funcionar sem problemas e e consistente, mesmo durante o horário de pico do varejo.

Os nossos esforços também reforçaram os resultados em matéria de segurança. Os mecanismos de alerta em tempo real desenvolvidos pela nossa equipa permitem que o sistema gere notificações instantâneas para indivíduos não autorizados. Como resultado, os tempos de resposta da segurança diminuíram em 40%, permitindo que as equipas no local actuem mais rapidamente e melhorando o conhecimento geral da situação.

A fiabilidade foi um ponto fulcral durante todo o projeto. As optimizações da nossa equipa garantiram um tempo de funcionamento de 99,9% e e proporcionaram um funcionamento ininterrupto de processos críticos como o controlo de acesso e a monitorização em tempo real. A integração perfeita com os sistemas existentes do cliente contribuiu ainda mais para uma redução de 20-25% nos incidentes relacionados com a segurança, ajudando os retalhistas a criar os retalhistas a criar ambientes mais seguros e melhor geridos.

No geral, a solução provou ser rápida, precisa e escalável. Não só optimizou a segurança, como também simplificou a gestão de assiduidade e melhorou os fluxos de trabalho operacionais diários, proporcionando resultados tangíveis para de retalho.

Duração do projecto

maio de 2022 - outubro de 2022

99.8%

verificações inferiores a 200 ms por fotograma em instâncias AWS optimizadas para GPU

85-90%

precisão do reconhecimento facial com pouca luz ou desfocagem de movimento

50%

menos intervenções manuais com uma identificação automática fiável

Casos relacionados

Contactar-nos!

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem Inclua os detalhes do projeto, a duração, o conjunto de tecnologias, os profissionais de TI necessários e outras informações relevantes

Gravar uma mensagem de voz sobre o seu
projeto para nos ajudar a compreendê-lo melhor

Anexar documentos adicionais, se necessário

Enviar ficheiro

Pode anexar até 1 ficheiro de 2MB no total. Ficheiros válidos: pdf, jpg, jpeg, png

Informamos que, ao clicar no botão Enviar, o Innowise's processará os seus dados pessoais de acordo com a nossa Política de Privacidade com o objectivo de lhe fornecer informações adequadas.

O que é que acontece a seguir?

Após termos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projecto e assinar um NDA para garantir a confidencialidade das informações.

Após a análise dos requisitos, os nossos analistas e programadores elaboram uma proposta de projecto com o âmbito dos trabalhos, tamanho da equipa, tempo e custos e custos.

Marcamos uma reunião consigo para discutir a oferta e chegar a um acordo.

Assinamos um contrato e começamos a trabalhar no seu projecto o mais rapidamente possível.