Caso d'uso primario
Classificazione, regressione, previsione, rilevamento di anomalie, raccomandazione
Chat, ricerca, riassunto, copiloti, generazione di contenuti, Q&A di documenti
Linguaggio di programmazione
Python, R
Python, JavaScript / TypeScript
Pila del modello principale
Scikit-learn, XGBoost, PyTorch, TensorFlow
PyTorch, TensorFlow, trasformatori di facce abbracciate
Livello dati
Pandas, NumPy, pipeline di funzioni
Pandas, NumPy, parsing di documenti, chunking, embeddings
Servire/Livello API
FastAPI, Flask
FastAPI, Flask, vLLM, Ollama
App UI/prototipazione
Quaderno Jupyter, Streamlit, applicazione web
Gradio, Streamlit, web app
Immagazzinamento
PostgreSQL, MongoDB, archiviazione di oggetti
PostgreSQL, MongoDB, Pinecone, Qdrant, Milvus, pgvector
Livello di recupero
Di solito non è necessario
Archiviazione vettoriale/indice vettoriale, embeddings, reranking
Modello di orchestrazione
Lavori batch, endpoint di modelli e pipeline pianificate
LangChain, LangGraph, LlamaIndex, Kernel Semantico
Tracciamento dell'esperimento/valutazione
MLflow, metriche offline, test A/B
MLflow, valutazione tempestiva, controlli di qualità delle risposte, tracciabilità
Containerizzazione
Docker
Docker
Orchestrazione/scalare
Kubernetes
Kubernetes
Piattaforma Cloud
AWS, Azure, Google Cloud
AWS, Azure, Google Cloud
Monitoraggio
Registri, latenza, accuratezza, deriva, metriche infra
Log, latenza, utilizzo dei token, qualità delle risposte, metriche infrastrutturali
CI/CD
Azioni GitHub, GitLab CI, Jenkins
Azioni GitHub, GitLab CI, Jenkins
Test
Test unitari, test di integrazione, test di carico
Test unitari, test di integrazione, test di carico, valutazione di prompt / output