← Templates · Ferramentas de desenvolvimento
VL

vLLM

Comunidade

High-throughput, memory-efficient inference and serving engine for large language models, with an OpenAI-compatible API.

Fazer deploy de vLLM Plano gratuito, sem cartão.

O que você ganha

  • Roda a partir da imagem oficial vllm/vllm-openai:v0.31.0
  • Um template da comunidade, ainda não verificado de ponta a ponta pela equipe do Railyard
  • HTTPS automático e deploys sem downtime

Como fazer deploy de vLLM

  1. 1

    Conecte um servidor

    Conecte um servidor DigitalOcean, Hetzner ou Vultr ao Railyard, ou qualquer máquina Linux via SSH.

  2. 2

    Clique em "Fazer deploy de vLLM"

    O Railyard constrói o container.

  3. 3

    Configure seu domínio

    Aponte seu domínio para o app. O Railyard emite um certificado HTTPS e o mantém renovado automaticamente.

Por que fazer deploy no Railyard

O Railyard roda ele sozinho em um servidor que você já paga — sem add-ons para provisionar, com deploys sem downtime e escalonamento incluídos.

Fazer deploy de vLLM é só uma peça de uma stack maior que você pode continuar construindo — adicione um banco de dados, um worker, um cache, ou outro app, tudo nos mesmos servidores que você já paga.

Ideal para

  • High-throughput self-hosted inference for an open-weight model
  • An OpenAI-compatible endpoint for a model too large or too frequently used to run well on Ollama
  • Serving a fine-tuned model behind your own API

Bom saber

  • Needs a real NVIDIA GPU — there's no practical CPU fallback for serving most models
  • Change the placeholder --model in the start command to the model you actually want served; first boot downloads it from Hugging Face (add HF_TOKEN for gated models)

Documentação do projeto ↗

Perguntas frequentes

Quanto custa fazer self-host de vLLM?
O plano Free cobre 1 servidor mais um servidor de banco de dados e 3 apps, sem cartão. O Pro custa US$19/mês por equipe para até 5 servidores e apps ilimitados. O Team custa US$49/mês por equipe para servidores ilimitados. Você paga seu provedor de cloud direto pelo servidor; o Railyard não cobra nenhuma margem sobre o compute.
O que eu preciso para fazer self-host de vLLM?
Um servidor de um provedor como DigitalOcean, Hetzner ou Vultr. vLLM roda sozinho, sem mais nada para provisionar, com HTTPS e seu domínio configurados.
Como faço deploy de vLLM no meu próprio servidor?
Conecte um servidor ao Railyard, clique em "Fazer deploy de vLLM" e configure seu domínio. O Railyard constrói o container, conecta os serviços que ele precisa, e emite um certificado HTTPS automaticamente.
Posso usar meu próprio domínio com vLLM?
Sim. Aponte um registro DNS para seu servidor e o Railyard emite e renova um certificado HTTPS automaticamente.

Templates relacionados