Système de recommandation: 72 % d'amélioration des ventes croisées grâce à la collecte de données pour les boutiques en ligne

Cette solution basée sur Python vise à automatiser le système de collecte des données des utilisateurs et à améliorer l'analyse des utilisateurs.

Client

Industrie

eCommerce

Région

USA

Client depuis

2019

Notre client est une importante boutique en ligne américaine. La gamme principale du magasin est constituée de vêtements diversifiés de différentes marques pour hommes, femmes et enfants.

Les informations détaillées sur le client ne peuvent être divulguées en vertu des dispositions de la NDA.

Défi

Nous avons travaillé avec une plateforme en ligne qui offre la possibilité d'acheter des vêtements et des accessoires de différentes marques.

Notre client nous a apporté une architecture de système de recommandation en développement actif pour l'analyse et la collecte de données sur l'activité des utilisateurs.

Solution

Notre objectif était de créer un système de collecte et de traitement des données permettant de fournir à la fois aux acheteurs des recommandations sur les produits pertinents et au client des informations plus pertinentes sur l'activité de l'acheteur en un seul endroit.

La plateforme n'a pas été développée à partir de zéro; nous l'avons modifiée dans le cadre des tâches du client. La solution est construite sur des technologies en nuage, une approche de développement moderne qui permet d'économiser sur DevOps, car les services en nuage offrent tout ce qui est nécessaire dans un nuage.

Les données sont collectées en fonction de ce que les clients achètent ou ajoutent au panier, de leurs clics, des mouvements de la souris, etc. En outre, le système crée des modèles qui proposeront aux acheteurs les biens potentiellement souhaités. Nous avons été chargés d'organiser une collecte précise des données.

OPTIMISATION DES REQUÊTES POUR TÉLÉCHARGER DES MÉTRIQUES DANS SNOWFLAKE

Nous avons reçu un énorme fichier composé de plusieurs lignes (quelques milliers) avec différentes requêtes SQL. Le client collectait des données à partir de différentes tables et calculait diverses métriques. Le code comportait de nombreuses parties répétitives et nous devions créer un générateur de requêtes qui, à partir de plusieurs modèles de code, modifiait les valeurs d'entrée des requêtes et les exécutait au lieu d'exécuter les mêmes requêtes multiples. Cela a permis de créer un outil pratique, flexible et évolutif pour ajouter rapidement et dynamiquement des requêtes afin de calculer de nouvelles métriques.

AUTOMATISATION DE LA GESTION DES DONNÉES

AWS est une plateforme cloud d'Amazon qui permet aux fournisseurs d'applications, aux éditeurs de logiciels indépendants et aux vendeurs d'héberger rapidement et en toute sécurité leurs solutions, qu'il s'agisse d'une application existante ou d'une nouvelle application. Application basée sur SaaS. Le magasin de paramètres d'AWS Systems Manager constitue un référentiel sécurisé pour la gestion des données de configuration et des mots de passe. Notre tâche consistait à automatiser l'ajout de nouvelles configurations ou la modification de configurations obsolètes, de mots de passe ou de données sensibles, de sorte qu'un utilisateur n'ait pas à le faire manuellement via l'interface graphique.

RÉGLAGE DE AIRFLOW

Dans Airflow, les flux de travail sont conçus et exprimés comme des DAGs, où chaque étape du DAG est définie comme une tâche spécifique. Airflow a été conçu en tenant compte du fait que tous les processus d'extraction, de transformation, de chargement et de manipulation des données sont mieux exprimés sous forme de code. Il s'agit donc d'une plateforme basée sur le code qui permet d'itérer les flux de travail rapidement et efficacement. Comme Airflow est très efficace pour organiser et planifier les flux de pipelines de données, nous l'utilisons pour mettre en place les événements préprogrammés. Le DAG peut s'exécuter toutes les heures ou, par exemple, toutes les 3 heures 30 minutes, et ainsi de suite. Si toutes les tâches du DAG ont été accomplies avec succès, on considère que le DAG est terminé avec succès. C'est pratique car les DAGs s'exécutent à tout moment sans qu'aucune action manuelle ne soit nécessaire.

GESTION DES DATABRICKS

Nous avons créé de nouvelles tâches qui lisaient les données à partir du seau S3 du client, effectuaient un certain traitement et téléchargeaient les données directement vers nous dans DynamoDB. Ces tâches ont été ajoutées dans le cadre des DAGs Airflow pour automatiser ce processus.

MISE EN OEUVRE DE CI/CD

Tout en travaillant sur le projet, nous avons mis en place le CI/CD, l'une des pratiques DevOps qui permet aux développeurs de déployer les modifications logicielles plus souvent et de manière plus fiable, de minimiser les erreurs, d'augmenter la vitesse de développement et d'améliorer la qualité du produit final. Nous l'avons activé entre GitHub et Databricks. Ainsi, lorsque quelque chose a changé dans GitHub, cela s'affiche automatiquement dans nos Databricks. Et par conséquent, le client obtient une solution de meilleure qualité avec un minimum de sacs.

Technologies et outils

Principaux langages de programmation

Python, Scala, Java, SQL

Analyse des données

Scala, Python, Tableau

Services cloud

AWS (EC2, MWAA, Lambda, S3, SSM, CloudWatch, IAM, CloudFormation, CodeBuild, EMR), DataDog

Bases de données

Snowflake, Databricks, Kafka, DynamoDB

Cadres de travail

Hadoop, Spark

Processus

En tenant compte de toutes les exigences du client et des spécificités du projet, nous avons proposé Scrum comme méthodologie du cycle de vie du développement logiciel en utilisant Jira et Confluence. Quant à l'outil de communication, le client a suggéré d'utiliser Microsoft Teams.

Sur la base de notre riche expérience dans le développement de diverses applications web et de systèmes de gestion de données, notre équipe a proposé la pile technologique la plus appropriée.

Tout au long du projet, nous organisons des réunions quotidiennes et hebdomadaires, des examens techniques, des examens de sprint, des rétroactions, des planifications et des réunions individuelles constantes avec le chef d'équipe pour toute question ou préoccupation.

Grâce à un flux de travail bien planifié et à des processus de communication transparents et opportuns, nous sommes en mesure de fournir des résultats plus rapidement et plus efficacement.

Équipe

Ingénieurs en données

Analystes de données

Chef de projet

Chef de produit

Ingénieur QA

Résultats

Après avoir achevé la phase active du projet, qui consiste à mettre à jour le système d'analyse des données et de recommandation, la plateforme d'achat en ligne a gagné en performance, en stabilité et en convivialité, ce qui lui a permis d'accroître ses possibilités de commercialisation et d'augmenter ses ventes.

Les membres de l'équipe du projet ont été reconnus comme des professionnels pour leur vaste expérience technique et leurs compétences élevées en matière de communication. Comme nous avons réussi à organiser la coopération avec le client dans la phase active du projet, nos experts en informatique ont continué à coopérer avec le client, fournissant un soutien à long terme pour la solution.

Durée du projet

Depuis 2022
Le projet est toujours en cours, à ce stade, nous soutenons la plateforme et mettons en œuvre de nouvelles fonctionnalités.

Exemples de projets similaires

Contactez nous!

Réserver un appel ou remplissez le formulaire ci-dessous et nous vous contacterons dès que nous aurons traité votre demande.

Nom

Entreprise

Courriel :

Téléphone

Message S’il vous plaît, ajouter les détails du projet, la durée, la pile technologique, IT spécialistes nécessaires et d'autres informations pertinentes

S’il vous plaît, ajouter les détails du projet, la durée, la pile technologique, IT spécialistes
nécessaires et d'autres informations pertinentes

Joindre des documents supplémentaires au besoin

Charger file

Vous pouvez joindre jusqu'à 1 fichier de 2MB au total. Fichiers valides : pdf, jpg, jpeg, png

Nous vous informons que lorsque vous cliquez sur le bouton Envoyer, Innowise traitera vos données personnelles conformément à notre Politique de confidentialité dans le but de vous fournir des informations appropriées.

Que se passe-t-il ensuite?

Après avoir reçu et traité votre demande, nous reviendrons vers vous pour détailler les besoins de votre projet et signer un accord de non-divulgation pour assurer la confidentialité des informations.

Après avoir examiné les exigences, nos analystes et nos développeurs élaborent une proposition de projet avec l'étendue des travaux, le nombre de membre de l'équipe, les délais et les coûts des coûts.

Nous organisons une réunion avec vous pour discuter de l'offre et parvenir à un accord.

Nous signons un contrat et commençons à travailler sur votre projet le plus rapidement possible.