Anbefalingssystem: 72 % bedre kryssalg gjennom datainnsamling for nettbutikker

Den Python-baserte løsningen tar sikte på automatisering av brukerdatainnsamlingssystemet og forbedring av brukeranalyse.

Kunde

Industri

eCommerce

Region

USA

Kunde siden

2019

Vår klient er en stor nettbutikk i USA. Hovedutvalget i butikken er diversifiserte klær av forskjellige merker for menn, kvinner og barn.

Detaljert informasjon om kunden kan ikke utleveres i henhold til bestemmelsene i NDA.

Utfordring

Vi har jobbet med en online plattform som gir mulighet til å kjøpe klær og tilbehør fra forskjellige merker.

Kunden vår brakte oss en aktivt utviklende anbefalingssystemarkitektur for analyse og innsamling av data om brukeraktivitet.

Løsning

Målet vårt var å lage et datainnsamlings- og behandlingssystem for å gi både kunder anbefalinger om relevante varer og kunden mer relevant informasjon om kundens aktivitet på ett sted.

Plattformen ble ikke utviklet fra bunnen av; vi modifiserte den innenfor rammen av kundens oppgaver. Løsningen er bygget på skyteknologier, en moderne utviklingstilnærming som gjør det mulig å spare på DevOps, ettersom skytjenester tilbyr alt som trengs i en sky.

Dataene samles inn basert på hva kundene kjøper eller legger i handlekurven, deres klikk, musebevegelser osv. Videre oppretter systemet modeller som vil tilby kundene potensielt ønskede varer. Vi har vært ansvarlig for å sørge for nøyaktig datainnsamling.

OPTIMALISERING AV SPØRRINGER FOR OPPLASTING AV BEREGNINGER TIL SNOWFLAKE

Vi fikk en enorm fil bestående av flere rader (et par tusen) med forskjellige SQL-spørringer. Kunden samlet inn data fra forskjellige tabeller og beregnet forskjellige beregninger. Det var mange repeterende deler av koden, og vi trengte å lage en spørringsgenerator som, basert på flere kodemaler, endret spørringsinngangsverdiene og kjørte dem i stedet for å utføre de samme flere spørringene. Dette gjorde det mulig å lage et praktisk, fleksibelt og skalerbart verktøy for raskt og dynamisk å legge til spørringer for å beregne nye beregninger.

AUTOMATISERING AV DATAHÅNDTERING

AWS er en skyplattform fra Amazon som gjør det mulig for apptilbydere, ISV-er og leverandører å hoste løsningene sine raskt og sikkert - enten det dreier seg om en eksisterende app eller en ny... SaaS-basert app. AWS Systems Manager Parameter Store er et sikkert lager for håndtering av konfigurasjonsdata og passord. Oppgaven vår var å automatisere tillegg av nye eller endring av utdaterte konfigurasjoner eller sensitive passord eller data, slik at brukeren slipper å gjøre det manuelt via det grafiske grensesnittet.

INNSTILLING AV LUFTSTRØM

I Airflow er arbeidsflyter utformet og uttrykt som DAG-er, der hvert DAG-trinn er definert som en spesifikk oppgave. Det er designet med kunnskapen om at alle prosesser for utvinning, transformasjon, lasting og manipulering av data best uttrykkes som kode, og som sådan er det en kodebasert plattform som gjør det mulig å iterere arbeidsflyter raskt og effektivt. Ettersom Airflow er svært effektiv når det gjelder å organisere og planlegge datapipeline-arbeidsflyter, bruker vi den til å sette opp forhåndsplanlagte hendelser. DAG kan kjøres hver time eller for eksempel hver 3. time og 30 minutter, og så videre. Hvis alle oppgavene i DAG ble fullført, anses DAG for å være fullført. Det er praktisk fordi DAG-er kjører til enhver tid uten behov for manuelle handlinger.

FORVALTNING AV DATABRIKKER

Vi opprettet nye jobber som leste data fra kundens S3-bøtte, utførte noe behandling og lastet opp data direkte til oss i DynamoDB. Disse oppgavene ble lagt til som en del av Airflow DAG-ene for å automatisere denne prosessen.

GJENNOMFØRING AV CI/CD

Mens vi jobbet med prosjektet, satte vi opp CI/CD, en av DevOps-praksisene som gjør det mulig for utviklere å distribuere programvareendringer oftere og mer pålitelig, minimere feil, øke utviklingshastigheten og forbedre kvaliteten på sluttproduktet. Vi aktiverte det mellom GitHub og Databricks. Dermed, når noe har endret seg i GitHub, vises det automatisk i Databricks. Og som et resultat får klienten løsningen av høyere kvalitet med et minimum antall poser.

Teknologier og verktøy

De viktigste programmeringsspråkene

Python, Scala, Java, SQL

Dataanalyse

Scala, Python, Tableau

Cloudtjenester

AWS (EC2, MWAA, Lambda, S3, SSM, CloudWatch, IAM, CloudFormation, CodeBuild, EMR), DataDog

Databaser

Snowflake, Databricks, Kafka, DynamoDB

Rammeverk

Hadoop, Spark

Prosess

Med tanke på alle kravene til kunden og detaljene i prosjektet, foreslo vi Scrum som en livssyklusmetodikk for programvareutvikling ved hjelp av Jira og Confluence. Når det gjelder kommunikasjonsverktøyet, foreslo kunden å bruke Microsoft Teams.

Basert på vår rike erfaring med å utvikle ulike nettapplikasjoner og datahåndteringssystemer, foreslo teamet vårt den mest egnede teknologistakken.

Gjennom hele prosjektet holder vi daglige og ukentlige møter, tekniske gjennomganger, sprintgjennomganger, retro, planlegging og kontinuerlige en-til-en-møter med teamlederen om eventuelle spørsmål eller bekymringer.

Takket være en godt planlagt arbeidsflyt og tidsriktige og transparente kommunikasjonsprosesser er vi i stand til å levere resultater raskere og mer effektivt.

Team

Dataingeniører

Dataanalytikere

Prosjektleder

Produktsjef

Kvalitets- sikringsingeniør

Resultater

Etter å ha fullført prosjektets aktive fase, som refererer til oppdatering av dataanalyse- og anbefalingssystemet, har netthandelsplattformen fått bedre ytelse, stabilitet og brukervennlighet, og dermed økt sine markedsføringsmuligheter og høyere salg.

Prosjektteamet ble anerkjent som profesjonelle på grunn av sin omfattende tekniske bakgrunn og gode kommunikasjonsevner. Ettersom vi klarte å få til et vellykket samarbeid med kunden i den aktive fasen av prosjektet, fortsatte våre IT-eksperter å samarbeide med kunden og ga langsiktig støtte til løsningen.

Prosjektets varighet

Siden 2022
Prosjektet pågår fortsatt, på dette stadiet støtter vi plattformen og implementerer ny funksjonalitet.

Relaterte saker

Ta kontakt med oss!

Bestill en samtale eller fyll ut skjemaet nedenfor, så kontakter vi deg så snart vi har behandlet forespørselen din.

Hva skjer videre?

Etter at vi har mottatt og behandlet forespørselen din, vil vi komme tilbake til deg innen kort tid for å beskrive prosjektbehovene dine og undertegne en taushetserklæring for å sikre informasjonens konfidensialitet.

Etter å ha undersøkt kravene, utarbeider våre analytikere og utviklere en prosjektforslag med arbeidsomfang, teamstørrelse, tid og kostnader estimater.

Vi arrangerer et møte med deg for å diskutere tilbudet og komme til en avtale.

Vi signerer en kontrakt og begynner å jobbe med prosjektet ditt så raskt som mulig.