Système de recommandation: 72 % d'amélioration des ventes croisées grâce à la collecte de données pour les boutiques en ligne

AUTOMATISATION DE LA GESTION DES DONNÉES

AWS est une plateforme cloud d'Amazon qui permet aux fournisseurs d'applications, aux éditeurs de logiciels indépendants et aux vendeurs d'héberger rapidement et en toute sécurité leurs solutions, qu'il s'agisse d'une application existante ou d'une nouvelle application. Application basée sur SaaS. Le magasin de paramètres d'AWS Systems Manager constitue un référentiel sécurisé pour la gestion des données de configuration et des mots de passe. Notre tâche consistait à automatiser l'ajout de nouvelles configurations ou la modification de configurations obsolètes, de mots de passe ou de données sensibles, de sorte qu'un utilisateur n'ait pas à le faire manuellement via l'interface graphique.

RÉGLAGE DE AIRFLOW

Dans Airflow, les flux de travail sont conçus et exprimés comme des DAGs, où chaque étape du DAG est définie comme une tâche spécifique. Airflow a été conçu en tenant compte du fait que tous les processus d'extraction, de transformation, de chargement et de manipulation des données sont mieux exprimés sous forme de code. Il s'agit donc d'une plateforme basée sur le code qui permet d'itérer les flux de travail rapidement et efficacement. Comme Airflow est très efficace pour organiser et planifier les flux de pipelines de données, nous l'utilisons pour mettre en place les événements préprogrammés. Le DAG peut s'exécuter toutes les heures ou, par exemple, toutes les 3 heures 30 minutes, et ainsi de suite. Si toutes les tâches du DAG ont été accomplies avec succès, on considère que le DAG est terminé avec succès. C'est pratique car les DAGs s'exécutent à tout moment sans qu'aucune action manuelle ne soit nécessaire.