System rekomendacji: 72% ulepszenie sprzedaży krzyżowej poprzez gromadzenie danych dla sklepów internetowych

AUTOMATYZACJA ZARZĄDZANIA DANYMI

AWS to platforma chmurowa firmy Amazon, która umożliwia dostawcom aplikacji, ISV i sprzedawcom szybkie i bezpieczne hostowanie ich rozwiązań - niezależnie od tego, czy jest to istniejąca aplikacja, czy nowa. Aplikacja oparta na SaaS. AWS Systems Manager Parameter Store zapewnia bezpieczne repozytorium do zarządzania danymi konfiguracyjnymi i hasłami. Naszym zadaniem było zautomatyzowanie dodawania nowych lub zmiany nieaktualnych konfiguracji lub wrażliwych haseł lub danych, tak aby użytkownik nie musiał robić tego ręcznie za pomocą interfejsu graficznego.

KONFIGURACJA PRZEPŁYWU POWIETRZA

W Airflow przepływy pracy są projektowane i wyrażane jako DAG, gdzie każdy krok DAG jest zdefiniowany jako konkretne zadanie. Został on zaprojektowany ze świadomością, że wszystkie procesy ekstrakcji, transformacji, ładowania i manipulacji danymi są najlepiej wyrażone jako kod, i jako taka jest to platforma oparta na kodzie, która umożliwia szybką i wydajną iterację przepływów pracy. Ponieważ Airflow jest wysoce skuteczny w organizowaniu i planowaniu przepływów pracy potoku danych, używamy go do konfigurowania wstępnie zaplanowanych zdarzeń. DAG może być uruchamiany co godzinę lub na przykład co 3 godziny 30 minut itd. Jeśli wszystkie zadania w DAG zostały pomyślnie zakończone, wówczas DAG jest uważany za pomyślnie zakończony. Jest to wygodne, ponieważ DAG działa przez cały czas bez konieczności wykonywania ręcznych czynności.