DevOps-automatisering för laboratoriehanteringssystem: över 70% minskning av beräkningskostnader

AWS

Programvaruförbättring

Web

Innowise-teamet optimerade molninfrastrukturen och automatiserade CI/CD-processer för en marknadsledare inom DNA-testning, vilket ökade skalbarheten och effektiviteten i deras databehandlingsverksamhet.

Kund

Industri

Hälsovård

Region

USA

Kund sedan

2023

Vår kund är ledande inom bioteknik och specialiserar sig på DNA-testning och mikrobiom-analys. De är kända för att tillhandahålla snabba och tillförlitliga analyser med hjälp av avancerad molekylär teknik, som tillgodoser ett brett spektrum av tillämpningar inom människors hälsa, jordbruk och miljöstudier. Deras tjänster sträcker sig från studiedesign till omfattande dataanalys och bidrar till forskning och utveckling inom hälso- och sjukvårdsindustrin.

Detaljerad information om kunden kan inte lämnas ut enligt villkoren i sekretessavtalet.

Utmaning

Problem med uppdateringar av infrastruktur, migrering till GitHub och optimering av CI/CD

Vårt samarbete med kunden, som inleddes 2023, var främst inriktat på att hantera deras komplexa DevOps-utmaningar. Kunden stod inför en mångfacetterad problembild, där varje aspekt var avgörande för deras operativa effektivitet inom mikrobiomforskning:

Utbyggnad av infrastruktur och migration: Kunden var i färd med att expandera sin AWS-miljöer med uppgraderade arkitekturer. Denna expansion innebar att flera äldre miljöer migrerades till nya system.
Förvaltning av äldre infrastruktur: En annan aspekt av deras utmaning var hanteringen av äldre Terraform-kod och Kubernetes-klusterresurser. Den befintliga konfigurationen var tungrodd och föråldrad och krävde en omfattande översyn för att uppfylla nuvarande och framtida krav.
Utarmning av IP-adresspoolen: Ett kritiskt problem var att IP-adresserna tog slut på grund av ineffektiv subnetting i nätverket. Detta försvårade deras nuvarande nätverkshantering och utgjorde ett betydande hot mot deras framtida expansionsplaner.
Migrering från GitLab till GitHub: Kunden ville också övergå från GitLab till GitHub, vilket inkluderade integrationen av GitHub Codespaces. Syftet var att underlätta utveckling på distans och undvika behovet av att lagra kod på lokala maskiner, vilket ökar säkerheten och samarbetet.

Optimering av CI/CD-processer: Det fanns ett akut behov av att optimera processerna för kontinuerlig integration och kontinuerlig driftsättning (CI/CD). Att förbättra dessa processer var avgörande för att öka driftsättningens hastighet och tillförlitlighet.
Implementering av Blue/Green Deployment Strategy: Slutligen ville kunden implementera en blå/grön implementeringsstrategi. Denna strategi syftade till att minimera riskerna vid driftsättning och säkerställa sömlösa utrullningar av nya funktioner och uppdateringar.

Kunden förväntade sig att vårt team skulle ta itu med dessa utmaningar och förbättra deras operativa effektivitet, minska kostnaderna och påskynda deras utvecklingsprocess. Eftersom de specialiserat sig på mikrobiomforskning med stora behov av databehandling, var förbättringar av deras DevOps-rutiner avgörande för att stärka deras förmåga att snabbt leverera tjänster.

Lösning

DevOps-automatisering för LMS

Vår lösning för kunden fokuserade på tre kärnområden: infrastrukturoptimering, DevOps-automatisering och förbättring av CI/CD-processer.

Optimering av infrastruktur

Vi inledde vårt samarbete med att se över kundens infrastruktur. Vårt team valde en serverlös arkitektur med hjälp av AWS-tjänster. Detta tillvägagångssätt var avgörande för att hantera de stora mängder data som bearbetas vid mikrobiomanalys.

AWS-miljö och äldre migration: Vi utökade AWS-miljöerna och införde nya arkitekturer som stödde kundens tillväxt och diversifierade behov. De äldre systemen migrerades smidigt till dessa nya miljöer utan avbrott i den löpande verksamheten.
Nätverkshantering och tilldelning av IP-adresser: Utmaningen med de uttömda IP-adresserna hanterades genom att införa en strategisk subnetting-metod. Detta löste det omedelbara problemet med adressbrist och effektiviserade framtida nätverksutbyggnad.
IaC refactoring med Terraform och Terraspace: Vårt team omstrukturerade IaC-inställningen (Infrastructure as Code) och migrerade från Terraform till Terraspace. Detta förbättrade infrastrukturkodens hanterbarhet och skalbarhet och möjliggjorde hantering av flera konton.

DevOps-automatisering

Praxis för utvecklingsverksamhet var kärnan i vår lösning, som syftade till att förbättra DevOps automatisering av infrastruktur och förenkla processer.

Genomförande av Karpenter: Introduktionen av Karpenter markerade en viktig milstolpe inom resursoptimering. Verktyget minskade antalet nödvändiga maskiner och sänkte beräkningskostnaderna med 70%.
Integration av verktyg i Argo-projektet: Vi använde ArgoCD, Argo Rollouts och ArgoCD Image Updater för att automatisera distributionsprocesserna. Denna installation frigjorde utvecklarna från manuell pipelinehantering, så att de kunde fokusera på kärnutvecklingsuppgifter.
Blue-Green-Canary-modell för driftsättning: Vår implementeringsstrategi kombinerade styrkorna hos Blue/Green- och Canary-modellerna. Denna hybridstrategi påskyndade utvecklingscyklerna och minimerade riskerna med driftsättningen, vilket innebar ett betydande framsteg för kundens operativa kapacitet.

Förbättring av CI/CD-processen

Den sista pelaren i vår Tjänster för automatisering av DevOps fokuserade på att förfina CI/CD-processerna. Detta innebar en rad strategiska implementeringar som syftade till att öka prestandan.

Migrering till GitHub och integrering av Codespaces: Vi underlättade kundens övergång från GitLab till GitHub och skapade GitHub Codespaces för säkrare och effektivare kodhantering. Denna övergång förbättrade kodsäkerheten och effektiviserade arbetsflödena för utveckling.
Refaktorisering och automatisering av pipelines: Vi omstrukturerade CI/CD-pipelines för att separera kontinuerlig driftsättning från integration. Denna segmentering förbättrade driftsättningsprocessens effektivitet och minskade risken för fel.
Övervakning och kostnadsoptimering: Genom att implementera Grafana Stack och Prometheus kunde vi skapa ett omfattande övervakningssystem. Detta system hjälpte oss att spåra AWS-kostnader och optimera resursanvändningen för en kostnadseffektiv drift.

Teknik

Bakre delen

Python; FastAPI

Framändan

React; Node.js; Material UI

Databaser

PostgreSQL

Plattformar

Web

Cloud Tjänster och plattformar

AWS; Lambda-funktioner; EKS; ECR

Containerisering och hantering

Docker; Kubernetes

Infrastruktur som kod (IaC)

Helm; Terraform; Terraspace

Kontinuerlig integration och driftsättning

ArgoCD; Argo Rollouts; ArgoCD Image Updater; GitLab; GitHub; Karpenter; Kubecost

Övervakning och loggning

Grafana; Grafana Loki; Promtail; Prometheus

Nätverksförvaltning

Kubernetes CNI-plugin

Serverövervakning

Prometheus

Kvalitetssäkring

Playwright

Operativsystem

Linux; amd64; arm64

System för versionshantering

GitHub; ArgoCD

Integrationer

Microsoft AD SSO

Process

Vår process baserades på Agile-metoden med ett Scrum-ramverk som betonade flexibilitet, kontinuerlig förbättring och snabb leverans. Vi organiserade vårt arbete i sprintar på en vecka, med dagliga stand-up-möten kl. 18.00 CET för att säkerställa samsyn och ta itu med eventuella omedelbara problem. Vi höll sprintplaneringssessioner varje fredag, där teamet gemensamt granskade och planerade uppgifter för den kommande veckan. Dessa sessioner kombinerades med retrospektiv och presentationer.

Uppgiftshantering och kommunikation

Våra utvecklare hade fullt ägandeskap över backloggen, vilket gav dem frihet att hantera och planera uppgifter. Direkt kommunikation med produktägaren (PO) var sällsynt, eftersom de primära målen och kraven för uppgifterna fastställdes och ofta detaljerades av projektets ledande designer.

Utveckling och dokumentation

Vår metod för att implementera uppgifter innebar att vi utvecklade Proof of Concept-modeller (POC) för de flesta uppgifter, följt av detaljerade diagram som granskades av teamet. På så sätt kunde vi validera idéer och säkerställa genomförbarhet före fullskalig utveckling. Vi skötte projektdokumentationen noggrant för att säkerställa ett smidigt genomförande av våra uppgifter.

Cloud utmaningar inom säkerhet och DevOps-automatisering

En viktig aspekt av vårt projekt var att hantera och optimera kundens omfattande laboratoriedatarapporter, som uppgick till petabyte av data. Denna massiva datastorlek resulterade i betydande AWS-kostnader.

Sprintgenomgångar och anpassning

Vi genomförde sprintgenomgångar i slutet av varje vecka, vilket inkluderade demonstrationer av nya funktioner och diskussioner om den kommande sprinten. Dessa möten var avgörande för att vi skulle kunna anpassa våra strategier till eventuella förändrade krav.

Team

DevOps-ingenjörer

Front-end-utvecklare

Full-Stack Utvecklare

Resultat

70% minskning av beräkningskostnader

Vårt samarbete med kunden har lett till betydande förbättringar av deras DevOps-infrastruktur och processer. De viktigaste resultaten som uppnåtts är följande:

Optimering av kostnader: Implementeringen av Karpenter minskade framgångsrikt antalet maskiner som användes i klustret från 15 till 6, vilket ledde till en minskning av beräkningskostnaderna med 70%. Denna betydande kostnadsbesparing har avsevärt förbättrat kostnadseffektiviteten i deras verksamhet.
Snabbare utvecklingsprocess: Införandet av releasemodellen Blue-Green-Canary påskyndade utvecklingsprocessen avsevärt. Detta strategiska genomförande påskyndade utvecklingen och tillförde ett lager av säkerhet till lanseringsprocessen.
Förbättringar genom DevOps-automatisering: Användningen av Argo Project-verktyg har avsevärt förbättrat utvecklingspipelinen. Kundens utvecklingsteam kan nu uppdatera Kubernetes-klustret med nya applikationsversioner genom att helt enkelt pusha kod, med hela bygg- och distributionsprocessen automatiserad. Detta har kraftigt minskat den manuella inblandningen i rutinuppgifter, vilket gör att ingenjörerna kan fokusera mer på strategiska utvecklingsaktiviteter.
Förenkling av infrastrukturförvaltningen: Migreringen av Terraform-kod till Terraspace-ramverket, tillsammans med refaktoriseringen av Kubernetes klusterhantering, har förenklat infrastrukturhanteringen. Dessa förändringar har gjort det enklare och effektivare att hantera infrastrukturen.
Förbättrad observerbarhet: Integrationen av Grafana Stack och Prometheus för ytterligare mätvärden har avsevärt förbättrat systemets observerbarhet. Denna förbättring har resulterat i bättre dataövervakning, vilket underlättar mer informerat beslutsfattande och systemhantering.

För närvarande befinner vi oss i slutskedet av installationen av AWS-miljöerna och ser till att de är skräddarsydda för att uppfylla kundernas krav. Framöver finns det planer på att ytterligare förbättra releasemodellen och bygga vidare på det framgångsrika genomförandet av Blue-Green-Canary-strategin.

Projektets löptid

Juli 2022 - Pågående

70%

minskning av beräkningskostnader

utveckling hastighet ökning

50%

färre manuella ingrepp

Relaterade fall

Kontakta oss!

Boka ett samtal eller fyll i formuläret nedan så återkommer vi till dig när vi har behandlat din förfrågan.

Namn

Företag

E-post

Telefon

Meddelande Vänligen inkludera projektinformation, varaktighet, teknologistack, IT-proffs som behövs och annan relevant information

Spela in ett röstmeddelande om ditt projekt för att hjälpa oss att förstå det bättre

Bifoga ytterligare dokument vid behov

Ladda upp filen

Du kan bifoga upp till 1 fil på totalt 2 MB. Giltiga filer: pdf, jpg, jpeg, png

Observera att när du klickar på knappen Skicka kommer Innowise att behandla dina personuppgifter i enlighet med vår Integritetspolicy för att ge dig lämplig information.

Vad händer härnäst?

Efter att ha mottagit och behandlat din begäran kommer vi att återkomma till dig inom kort för att specificera dina projektbehov och underteckna en NDA för att säkerställa konfidentialitet av information.

Efter att ha undersökt kraven utarbetar våra analytiker och utvecklare en projektförslag med arbetets omfattning, lagets storlek, tid och kostnad uppskattningar.

Vi ordnar ett möte med dig för att diskutera erbjudandet och komma överens.

Vi skriver på ett kontrakt och börjar arbeta med ditt projekt så snabbt som möjligt.

DevOps-automatisering för laboratoriehanteringssystem: över 70% minskning av beräkningskostnader

Kund

Utmaning

Problem med uppdateringar av infrastruktur, migrering till GitHub och optimering av CI/CD

Lösning