← Modèles · Outils de développement
VL
vLLM
CommunautéHigh-throughput, memory-efficient inference and serving engine for large language models, with an OpenAI-compatible API.
| S'exécute | vllm/vllm-openai:v0.31.0 |
|---|---|
| Pile technique | python |
| Provisionné pour l'application | Rien, l'application est autonome |
| Vérifié | Pas encore |
Pourquoi déployer sur Railyard
Railyard la fait tourner seule sur un serveur que vous payez déjà — aucun addon à provisionner, avec les déploiements sans interruption et la mise à l'échelle toujours inclus.
Déployer vLLM n'est qu'un élément d'une pile applicative que vous pouvez continuer à faire grandir — ajoutez une base de données, un worker, un cache ou une autre application, toujours sur les mêmes serveurs que vous payez déjà.
Idéal pour
- High-throughput self-hosted inference for an open-weight model
- An OpenAI-compatible endpoint for a model too large or too frequently used to run well on Ollama
- Serving a fine-tuned model behind your own API
Bon à savoir
- Needs a real NVIDIA GPU — there's no practical CPU fallback for serving most models
- Change the placeholder --model in the start command to the model you actually want served; first boot downloads it from Hugging Face (add HF_TOKEN for gated models)