Primärt användningsfall
Klassificering, regression, prognostisering, anomalidetektering, rekommendation
Chatt, sökning, sammanfattning, copiloter, innehållsgenerering, dokument Q&A
Programmeringsspråk
Python, R
Python, JavaScript / TypeScript
Stack av kärnmodell
Scikit-learn, XGBoost, PyTorch, TensorFlow
PyTorch, TensorFlow, Transformatorer för kramande ansikten
Datalager
Pandas, NumPy, funktionella pipelines
Pandas, NumPy, parsning av dokument, chunking, inbäddning
Servering/API-lager
FastAPI, Flask
FastAPI, Flask, vLLM, Ollama
App UI/prototyptillverkning
Jupyter Notebook, Streamlit, webbapp
Gradio, Streamlit, webbapp
Förvaring
PostgreSQL, MongoDB, objektlagring
PostgreSQL, MongoDB, Pinecone, Qdrant, Milvus, pgvector
Lager för återvinning
Behövs vanligtvis inte
Vektorlagring/vektorindex, inbäddningar, omrangering
Orkestrering av modeller
Batchjobb, modelländpunkter och schemalagda pipelines
LangChain, LangGraph, LlamaIndex, Semantic Kernel
Experimentspårning/utvärdering
MLflow, offline-mätningar, A/B-testning
MLflöde, snabb utvärdering, kvalitetskontroller av svar, spårning
Containerisering
Docker
Docker
Orchestration/Skalning
Kubernetes
Kubernetes
Cloud-plattform
AWS, Azure, Google Cloud
AWS, Azure, Google Cloud
Övervakning
Loggar, fördröjning, noggrannhet, drift, inframetrik
Loggar, latens, användning av token, svarskvalitet, inframätningar
CI/CD
GitHub Actions, GitLab CI, Jenkins
GitHub Actions, GitLab CI, Jenkins
Testning
Enhetstester, integrationstester, belastningstester
Enhetstester, integrationstester, belastningstester, utvärdering av prompt/output