Sistema de recomendação: 72% de melhoria das vendas cruzadas através da recolha de dados para lojas em linha

A solução baseada em Python visa a automatização do sistema de recolha de dados do utilizador e a melhoria da análise do utilizador.

Cliente

Indústria

eCommerce

Região

EUA

Cliente desde

2019

O nosso cliente é uma grande loja online dos EUA. A principal gama da loja é o vestuário diversificado de várias marcas para homens, mulheres e crianças.

As informações pormenorizadas sobre o cliente não podem ser divulgadas ao abrigo das disposições do NDA.

Desafio

Temos estado a trabalhar com uma plataforma online que oferece a oportunidade de comprar roupas e acessórios de várias marcas.

O nosso cliente apresentou-nos uma arquitetura de sistema de recomendação em desenvolvimento ativo para análise e recolha de dados sobre a atividade dos utilizadores.

Solução

O nosso objetivo era criar um sistema de recolha e processamento de dados para fornecer aos compradores recomendações sobre os produtos relevantes e ao cliente informações mais pertinentes sobre a atividade do comprador num único local.

A plataforma não foi desenvolvida de raiz; modificámo-la no âmbito das tarefas do cliente. A solução é construída com base em tecnologias de nuvem, uma abordagem de desenvolvimento moderna que permite poupar em DevOps, uma vez que os serviços de nuvem oferecem tudo o que é necessário numa nuvem.

Os dados são recolhidos com base no que os clientes compram ou adicionam ao carrinho, nos seus cliques, nos movimentos do rato, etc. Além disso, o sistema cria modelos que oferecem aos compradores os produtos potencialmente desejados. Fomos responsáveis pela recolha exacta dos dados.

OPTIMIZAÇÃO DE CONSULTAS PARA CARREGAMENTO DE MÉTRICAS NO SNOWFLAKE

Foi-nos fornecido um enorme ficheiro composto por várias linhas (alguns milhares) com diferentes consultas SQL. O cliente recolhia dados de diferentes tabelas e calculava várias métricas. Havia muitas partes repetitivas do código e precisávamos de criar um gerador de consultas que, com base em vários modelos de código, alterasse os valores de entrada das consultas e as executasse em vez de executar as mesmas múltiplas consultas. Isto tornou possível criar uma ferramenta cómoda, flexível e escalável para adicionar consultas de forma rápida e dinâmica para calcular novas métricas.

AUTOMATIZAÇÃO DA GESTÃO DE DADOS

AWS é uma plataforma de nuvem da Amazon que permite aos fornecedores de aplicações, ISVs e vendedores alojar de forma rápida e segura as suas soluções - quer se trate de uma aplicação existente ou de uma nova Aplicação baseada em SaaS. O AWS Systems Manager Parameter Store garante um repositório seguro para gerir dados de configuração e palavras-passe. A nossa tarefa era automatizar a adição de novas configurações ou a alteração de configurações desactualizadas ou de palavras-passe ou dados sensíveis, para que um utilizador não tivesse de o fazer manualmente através da interface gráfica.

CONFIGURAÇÃO DO CAUDAL DE AR

No Airflow, os fluxos de trabalho são concebidos e expressos como DAGs, em que cada passo do DAG é definido como uma tarefa específica. Foi concebido com o conhecimento de que todos os processos de extração, transformação, carregamento e manipulação de dados são melhor expressos como código e, como tal, é uma plataforma baseada em código que permite iterar fluxos de trabalho de forma rápida e eficiente. Como o Airflow é altamente eficaz na organização e agendamento de fluxos de trabalho de pipeline de dados, utilizamo-lo para configurar os eventos pré-agendados. O DAG pode ser executado de hora a hora ou, por exemplo, a cada 3 horas e 30 minutos, e assim por diante. Se todas as tarefas no DAG forem concluídas com êxito, considera-se que o DAG foi concluído com êxito. É conveniente porque os DAGs são executados em qualquer altura, sem necessidade de acções manuais.

GESTÃO DE DATABRICKS

Criámos novas tarefas que liam os dados do balde S3 do cliente, realizavam algum processamento e carregavam os dados diretamente para nós no DynamoDB. Essas tarefas foram adicionadas como parte dos DAGs do Airflow para automatizar esse processo.

IMPLEMENTAÇÃO DE CI/CD

Enquanto trabalhávamos no projeto, configurámos o CI/CD, uma das práticas DevOps que permite aos programadores implementar alterações de software com maior frequência e fiabilidade, minimizar erros, aumentar a velocidade de desenvolvimento e melhorar a qualidade do produto final. Nós o habilitamos entre o GitHub e a Databricks. Assim, quando algo é alterado no GitHub, é automaticamente apresentado na nossa Databricks. E como resultado, o cliente obtém a solução de uma qualidade superior com um número mínimo de sacos.

Tecnologias e ferramentas

Principais linguagens de programação

Python, Scala, Java, SQL

Análise de dados

Scala, Python, Tableau

Serviços em nuvem

AWS (EC2, MWAA, Lambda, S3, SSM, CloudWatch, IAM, CloudFormation, CodeBuild, EMR), DataDog

Bases de dados

Snowflake, Databricks, Kafka, DynamoDB

Estruturas

Hadoop, Spark

Processo

Tendo em conta todos os requisitos do cliente e as especificidades do projeto, propusemos o Scrum como metodologia do ciclo de vida do desenvolvimento de software, utilizando o Jira e o Confluence. Quanto à ferramenta de comunicação, o cliente sugeriu a utilização do Microsoft Teams.

Com base na nossa vasta experiência no desenvolvimento de várias aplicações Web e sistemas de gestão de dados, a nossa equipa propôs o conjunto de tecnologias mais adequado.

Ao longo do projeto, realizamos reuniões diárias e semanais, revisões técnicas, revisões de sprint, retro, planeamento e reuniões individuais constantes com o líder da equipa sobre quaisquer questões ou preocupações.

Graças a um fluxo de trabalho bem planeado, bem como a processos de comunicação atempados e transparentes, conseguimos obter resultados mais rápidos e eficientes.

Equipa

Engenheiros de dados

Analistas de dados

Gestor de projectos

Gestor de produtos

Engenheiro de QA

Resultados

Após a conclusão da fase ativa do projeto, que se refere à atualização do sistema de análise de dados e de recomendação, a plataforma de compras em linha obteve um melhor desempenho, estabilidade e facilidade de utilização, aumentando assim as suas oportunidades de marketing e as suas vendas.

A equipa do projeto foi reconhecida como profissional pela sua vasta experiência técnica e elevada capacidade de comunicação. Como conseguimos organizar com sucesso a cooperação com o cliente na fase ativa do projeto, os nossos especialistas em TI continuaram a cooperar com o cliente, fornecendo apoio a longo prazo para a solução.

Duração do projecto

Desde 2022
O projeto ainda está em curso. Nesta fase, damos apoio à plataforma e implementamos novas funcionalidades

Casos relacionados

Contactar-nos!

Marcar uma chamada ou preencha o formulário abaixo e entraremos em contacto consigo assim que tivermos processado o seu pedido.

Nome

Empresa

Correio electrónico

Telefone

Mensagem Inclua os detalhes do projeto, a duração, o conjunto de tecnologias, os profissionais de TI necessários e outras informações relevantes

Gravar uma mensagem de voz sobre o seu
projeto para nos ajudar a compreendê-lo melhor

Anexar documentos adicionais, se necessário

Enviar ficheiro

Pode anexar até 1 ficheiro de 2MB no total. Ficheiros válidos: pdf, jpg, jpeg, png

Informamos que, ao clicar no botão Enviar, o Innowise's processará os seus dados pessoais de acordo com a nossa Política de Privacidade com o objectivo de lhe fornecer informações adequadas.

O que é que acontece a seguir?

Após termos recebido e processado o seu pedido, entraremos em contacto consigo para detalhar as necessidades do seu projecto e assinar um NDA para garantir a confidencialidade das informações.

Após a análise dos requisitos, os nossos analistas e programadores elaboram uma proposta de projecto com o âmbito dos trabalhos, tamanho da equipa, tempo e custos e custos.

Marcamos uma reunião consigo para discutir a oferta e chegar a um acordo.

Assinamos um contrato e começamos a trabalhar no seu projecto o mais rapidamente possível.