| Primärt användningsfall | Klassificering, regression, prognostisering, anomalidetektering, rekommendation | Chatt, sökning, sammanfattning, copiloter, innehållsgenerering, dokument Q&A |
| Programmeringsspråk | Python, R | Python, JavaScript / TypeScript |
| Stack av kärnmodell | Scikit-learn, XGBoost, PyTorch, TensorFlow | PyTorch, TensorFlow, Transformatorer för kramande ansikten |
| Datalager | Pandas, NumPy, funktionella pipelines | Pandas, NumPy, parsning av dokument, chunking, inbäddning |
| Serving/API layer | FastAPI, Flask | FastAPI, Flask, vLLM, Ollama |
| App UI/prototyping | Jupyter Notebook, Streamlit, webbapp | Gradio, Streamlit, webbapp |
| Förvaring | PostgreSQL, MongoDB, objektlagring | PostgreSQL, MongoDB, Pinecone, Qdrant, Milvus, pgvector |
| Lager för återvinning | Behövs vanligtvis inte | Vektorlagring/vektorindex, inbäddningar, omrangering |
| Orkestrering av modeller | Batchjobb, modelländpunkter och schemalagda pipelines | LangChain, LangGraph, LlamaIndex, Semantic Kernel |
| Experiment tracking/evaluation | MLflow, offline-mätningar, A/B-testning | MLflöde, snabb utvärdering, kvalitetskontroller av svar, spårning |
| Containerisering | Docker | Docker |
| Orchestration/scaling | Kubernetes | Kubernetes |
| Cloud-plattform | AWS, Azure, Google Cloud | AWS, Azure, Google Cloud |
| Övervakning | Loggar, fördröjning, noggrannhet, drift, inframetrik | Loggar, latens, användning av token, svarskvalitet, inframätningar |
| CI/CD | GitHub Actions, GitLab CI, Jenkins | GitHub Actions, GitLab CI, Jenkins |
| Testning | Enhetstester, integrationstester, belastningstester | Enhetstester, integrationstester, belastningstester, utvärdering av prompt/output |