← Templates · Dev Tools
VL
vLLM
CommunityHigh-throughput, memory-efficient inference and serving engine for large language models, with an OpenAI-compatible API.
vLLM deployen Free-Tarif, keine Karte.
Was du bekommst
- Läuft vom offiziellen Image vllm/vllm-openai:v0.31.0
- Ein Community-Template, noch nicht end-to-end vom Railyard-Team verifiziert
- Automatisches HTTPS und Zero-Downtime-Deploys
So deployst du vLLM
- 1
Einen Server verbinden
Verbinde einen DigitalOcean-, Hetzner- oder Vultr-Server mit Railyard, oder jede Linux-Box per SSH.
- 2
Auf "vLLM deployen" klicken
Railyard baut den Container.
- 3
Deine Domain einrichten
Richte deine Domain auf die App. Railyard stellt ein HTTPS-Zertifikat aus und erneuert es automatisch.
Warum auf Railyard deployen
Railyard betreibt sie eigenständig auf einem Server, den du schon bezahlst — keine Add-ons bereitzustellen, Zero-Downtime-Deploys und Skalierung trotzdem inklusive.
vLLM zu deployen ist nur ein Teil eines größeren Stacks, den du weiter ausbauen kannst — füge eine Datenbank, einen Worker, einen Cache oder eine weitere App hinzu, alles auf denselben Servern, die du schon bezahlst.
Gut für
- High-throughput self-hosted inference for an open-weight model
- An OpenAI-compatible endpoint for a model too large or too frequently used to run well on Ollama
- Serving a fine-tuned model behind your own API
Gut zu wissen
- Needs a real NVIDIA GPU — there's no practical CPU fallback for serving most models
- Change the placeholder --model in the start command to the model you actually want served; first boot downloads it from Hugging Face (add HF_TOKEN for gated models)
Häufig gestellte Fragen
Was kostet es, vLLM selbst zu hosten?
Free deckt 1 Server plus einen Datenbankserver und 3 Apps ab, keine Karte nötig. Pro kostet $19/Monat pro Team für bis zu 5 Server und unbegrenzte Apps. Team kostet $49/Monat pro Team für unbegrenzte Server. Du zahlst deinen Cloud-Anbieter direkt für den Server; Railyard berechnet keinen Aufschlag auf Compute.
Was brauche ich, um vLLM selbst zu hosten?
Einen Server von einem Anbieter wie DigitalOcean, Hetzner oder Vultr. vLLM läuft eigenständig, ohne etwas weiter bereitzustellen, mit eingerichtetem HTTPS und deiner Domain.
Wie deploye ich vLLM auf meinem eigenen Server?
Verbinde einen Server mit Railyard, klicke auf "vLLM deployen" und richte deine Domain ein. Railyard baut den Container, verdrahtet die benötigten Services und stellt automatisch ein HTTPS-Zertifikat aus.
Kann ich meine eigene Domain mit vLLM nutzen?
Ja. Richte einen DNS-Eintrag auf deinen Server und Railyard stellt automatisch ein HTTPS-Zertifikat aus und erneuert es.
Ähnliche Templates
LS LibreDB Studio A universal database GUI in your browser — Postgres, MySQL, Oracle, MongoDB, Redis, SQLite, DuckDB and more, MIT licensed. AC Ackee Open-source, privacy-focused analytics tool built on Node.js. AN Answer Open-source Q&A community platform — build a support forum for your product. AA Apache Airflow Platform to programmatically author, schedule, and monitor data workflows.