Aanbevelingensysteem: 72% cross-selling verbetering door gegevensverzameling voor online winkels

De op Python gebaseerde oplossing is gericht op automatisering van het systeem voor het verzamelen van gebruikersgegevens en verbetering van de gebruikersanalyse.

Klant

Industrie

eCommerce

Regio

USA

Klant sinds

2019

Onze klant is een grote USA online winkel. Het hoofdassortiment van de winkel is gediversifieerde kleding van verschillende merken voor mannen, vrouwen en kinderen.

Gedetailleerde informatie over de klant kan niet openbaar worden gemaakt krachtens de bepalingen van de NDA.

Uitdaging

We hebben samengewerkt met een online platform dat de mogelijkheid biedt om kleding en accessoires van verschillende merken te kopen.

Onze klant bracht ons een actief ontwikkelende architectuur van een aanbevelingssysteem voor analyses en het verzamelen van gegevens over gebruikersactiviteiten.

Oplossing

Ons doel was een systeem voor gegevensverzameling en -verwerking te creëren om zowel het winkelend publiek aanbevelingen voor de relevante goederen te geven als de klant op één plaats meer relevante informatie over de activiteit van de shopper te verschaffen.

Het platform is niet vanaf nul ontwikkeld; we hebben het aangepast in het kader van de taken van de klant. De oplossing is gebouwd op cloudtechnologieën, een moderne ontwikkelingsaanpak die het mogelijk maakt te besparen op DevOps, aangezien clouddiensten alles bieden wat nodig is binnen een cloud.

De gegevens worden verzameld op basis van wat klanten kopen of toevoegen aan het winkelwagentje, hun klikken, muisbewegingen, enz. Verder creëert het systeem modellen die shoppers mogelijk gewenste goederen aanbieden. Wij zijn verantwoordelijk voor het regelen van nauwkeurige gegevensverzameling.

OPTIMALISATIE VAN QUERY'S VOOR HET UPLOADEN VAN STATISTIEKEN IN SNOWFLAKE

We kregen een enorm bestand met meerdere rijen (een paar duizend) met verschillende SQL-queries. De klant verzamelde gegevens uit verschillende tabellen en berekende verschillende metrieken. Er waren veel herhalende delen van de code, en we moesten een query generator maken die, op basis van verschillende code templates, de query invoerwaarden veranderde en uitvoerde in plaats van dezelfde meerdere queries uit te voeren. Dit maakte het mogelijk een handige, flexibele en schaalbare tool te maken voor het snel en dynamisch toevoegen van queries om nieuwe metrieken te berekenen.

AUTOMATISERING VAN DATA MANAGEMENT

AWS is een cloudplatform van Amazon om app-providers, ISV's en leveranciers in staat te stellen hun oplossingen snel en veilig te hosten –, of het nu een bestaande app is of een nieuwe op SaaS gebaseerde app.AWS Systems Manager Parameter Store zorgt voor een veilige repository voor het beheren van configuratiegegevens en wachtwoorden. Onze taak was om het toevoegen van nieuwe of het wijzigen van verouderde configuraties of gevoelige wachtwoorden of gegevens te automatiseren, zodat een gebruiker dit niet handmatig hoeft te doen via de grafische interface.

LUCHTSTROOM INSTELLEN

In Airflow worden werkstromen ontworpen en uitgedrukt als DAG's, waarbij elke DAG-stap wordt gedefinieerd als een specifieke taak. Het is ontworpen in de wetenschap dat alle gegevensextractie-, transformatie-, laad- en manipulatieprocessen het best worden uitgedrukt als code, en als zodanig is het een op code gebaseerd platform dat het mogelijk maakt werkstromen snel en efficiënt te itereren. Aangezien Airflow zeer effectief is in het organiseren en plannen van datapijplijn-werkstromen, gebruiken wij het om de vooraf geplande gebeurtenissen in te stellen. DAG kunnen elk uur of bijvoorbeeld elke 3 uur en 30 minuten worden uitgevoerd. Als alle taken in de DAG met succes zijn voltooid, wordt de DAG beschouwd als succesvol afgerond. Het is handig omdat DAG's altijd lopen zonder dat er handmatige handelingen nodig zijn.

BEHEER VAN DATABANKEN

We creëerden nieuwe taken die gegevens uit de S3-bucket van de klant lazen, enige verwerking uitvoerden en gegevens rechtstreeks naar ons uploadden in DynamoDB. Deze taken werden toegevoegd als onderdeel van de Airflow DAG's om dit proces te automatiseren.

CI/CD-IMPLEMENTATIE

Tijdens het werken aan het project hebben we CI/CD opgezet, een van de DevOps-praktijken waarmee ontwikkelaars softwareveranderingen vaker en betrouwbaarder kunnen implementeren, fouten kunnen minimaliseren, de ontwikkelingssnelheid kunnen verhogen en de kwaliteit van het eindproduct kunnen verbeteren. We hebben het ingeschakeld tussen GitHub en Databricks. Dus, wanneer er iets veranderd is in GitHub, wordt het automatisch weergegeven in onze Databricks. En daardoor krijgt de klant de oplossing van een hogere kwaliteit met een minimum aan zakken.

Technologieën en hulpmiddelen

Belangrijkste programmeertalen

Python, Scala, Java, SQL

Gegevensanalyse

Scala, Python, Tableau

Cloud diensten

AWS (EC2, MWAA, Lambda, S3, SSM, CloudWatch, IAM, CloudFormation, CodeBuild, EMR), DataDog

Databases

Snowflake, Databricks, Kafka, DynamoDB

Frameworks

Hadoop, Spark

Proces

Rekening houdend met alle eisen van de klant en de specifieke kenmerken van het project, stelden wij Scrum voor als levenscyclus van softwareontwikkeling methodologie met behulp van Jira en Confluence. Als communicatiemiddel stelde de klant Microsoft Teams voor.

Op basis van onze rijke ervaring in het ontwikkelen van diverse webapplicaties en gegevensbeheersystemen heeft ons team de meest geschikte technologiestack voorgesteld.

Gedurende het project houden we dagelijkse en wekelijkse vergaderingen, technische reviews, sprint reviews, retro, planning, en constante één-op-één vergaderingen met de teamleider over eventuele vragen of problemen.

Dankzij de goed geplande werkstroom en tijdige en transparante communicatieprocessen kunnen wij sneller en efficiënter resultaten leveren.

Team

Data Ingenieurs

Gegevensanalisten

Project
Manager

Product Beheerder

QA
ingenieur

Resultaten

Na voltooiing van de actieve fase van het project, die betrekking heeft op het bijwerken van het gegevensanalyse- en aanbevelingssysteem, heeft het online winkelplatform betere prestaties, stabiliteit en bruikbaarheid gekregen, waardoor de marketingmogelijkheden zijn toegenomen en de verkoop is gestegen.

Het team van het project werd erkend als professionals vanwege hun uitgebreide technische achtergrond en hoge communicatieve vaardigheden. Omdat we erin slaagden de samenwerking met de klant in de actieve fase van het project succesvol te regelen, bleven onze IT-experts met de klant samenwerken en de oplossing op lange termijn ondersteunen.

Duur van het project

Sinds 2022
Het project loopt nog, in dit stadium ondersteunen wij het platform en implementeren wij nieuwe functionaliteiten

Gerelateerde gevallen

Neem contact met ons op!

Boek een gesprek of vul het onderstaande formulier in en we nemen contact met je op zodra we je aanvraag hebben verwerkt.

Naam

Bedrijf

E-mail

Telefoon

Bericht Voeg projectgegevens alsjeblieft, duur, technische stapel, IT-professionals nodig en andere relevante informatie toe

Neem een spraakbericht over uw
project op om het ons beter te helpen begrijpen

Voeg indien nodig aanvullende documenten bij

Bestand uploaden

Je kunt maximaal 1 bestand van 2MB bijvoegen. Geldige bestanden: pdf, jpg, jpeg, png

Wij wijzen u erop dat wanneer u op de verzendknop klikt, Innowise uw persoonsgegevens verwerkt in overeenstemming met ons Privacybeleid om u van de juiste informatie te voorzien.

Wat gebeurt er nu?

Na ontvangst en verwerking van uw aanvraag, nemen wij binnenkort contact met u op om uw projectbehoeften in detail te beschrijven en een NDA te ondertekenen om de vertrouwelijkheid van informatie te garanderen.

Na het bestuderen van de vereisten, stellen onze analisten en ontwikkelaars een projectvoorstel met de omvang van de werkzaamheden, teamgrootte, tijd en kosten schattingen.

Wij regelen een ontmoeting met u om het aanbod te bespreken en tot een overeenkomst.

We tekenen een contract en beginnen zo snel mogelijk aan uw project te werken.