Primärer Anwendungsfall
Klassifizierung, Regression, Vorhersage, Erkennung von Anomalien, Empfehlung
Chat, Suche, Zusammenfassung, Kopiloten, Inhaltserstellung, Dokument Q&A
Programmiersprachen
Python, R
Python, JavaScript / TypeScript
Kernmodell Stack
Scikit-learn, XGBoost, PyTorch, TensorFlow
PyTorch, TensorFlow, Umarmende Gesichtstransformatoren
Datenebene
Pandas, NumPy, Funktionspipelines
Pandas, NumPy, Dokument-Parsing, Chunking, Einbettungen
Servieren/API-Schicht
FastAPI, Flask
FastAPI, Flask, vLLM, Ollama
App UI/Prototyping
Jupyter Notebook, Streamlit, Webanwendung
Gradio, Streamlit, Webanwendung
Lagerung
PostgreSQL, MongoDB, Objektspeicherung
PostgreSQL, MongoDB, Pinecone, Qdrant, Milvus, pgvector
Abrufschicht
Normalerweise nicht erforderlich
Vektorspeicher/Vektorindex, Einbettungen, Reranking
Orchestrierung von Modellen
Batch-Aufträge, Modell-Endpunkte und geplante Pipelines
LangChain, LangGraph, LlamaIndex, Semantischer Kernel
Experiment verfolgen/Bewertung
MLflow, Offline-Metriken, A/B-Tests
MLflow, zeitnahe Auswertung, Qualitätskontrolle der Antworten, Rückverfolgung
Containerisierung
Docker
Docker
Inszenierung/Skalierung
Kubernetes
Kubernetes
Cloud-Plattform
AWS, Azure, Google Cloud
AWS, Azure, Google Cloud
Monitoring
Protokolle, Latenz, Genauigkeit, Drift, Inframetriken
Protokolle, Latenz, Token-Nutzung, Antwortqualität, Infra-Metriken
CI/CD
GitHub-Aktionen, GitLab CI, Jenkins
GitHub-Aktionen, GitLab CI, Jenkins
Testen
Einheitstests, Integrationstests, Lasttests
Unit-Tests, Integrationstests, Lasttests, Prompt-/Output-Auswertung