vLLM

Qué obtienes

• Corre desde la imagen oficial vllm/vllm-openai:v0.31.0
• Una plantilla comunitaria, aún no verificada de extremo a extremo por el equipo de Railyard
• HTTPS automático y despliegues sin downtime

Cómo desplegar vLLM

1. 1

   Conecta un servidor

   Conecta un servidor de DigitalOcean, Hetzner o Vultr a Railyard, o cualquier servidor Linux por SSH.

2. 2

   Haz clic en "Desplegar vLLM"

   Railyard construye el contenedor.

3. 3

   Configura tu dominio

   Apunta tu dominio a la app. Railyard emite un certificado HTTPS y lo renueva automáticamente.

Por qué desplegar en Railyard

Railyard la corre sola en un servidor que ya pagas — sin complementos que aprovisionar, con despliegues sin downtime y escalado incluidos igual.

Desplegar vLLM es una pieza de un stack más grande que puedes seguir construyendo — agrega una base de datos, un worker, un cache, u otra app, todo en los mismos servidores que ya pagas.

Ideal para

• High-throughput self-hosted inference for an open-weight model
• An OpenAI-compatible endpoint for a model too large or too frequently used to run well on Ollama
• Serving a fine-tuned model behind your own API

Bueno saber

• Needs a real NVIDIA GPU — there's no practical CPU fallback for serving most models
• Change the placeholder --model in the start command to the model you actually want served; first boot downloads it from Hugging Face (add HF_TOKEN for gated models)

Preguntas frecuentes

Plantillas relacionadas