vLLM — это open-source библиотека для быстрого инференса и serving больших языковых моделей: высокая пропускная способность, PagedAttention, continuous batching и OpenAI-compatible API-сервер. Фокус-ключ: vllm. Канон: docs.vllm.ai Quickstart и README проекта. Соседи: Hugging Face, Ollama API, Open WebUI, pillar ИИ-автоматизация.
Если цель — «поболтать с моделью на ноутбуке», чаще проще Ollama. Если цель — нагрузить API и держать throughput — смотрите vLLM.
Offline vs online: сравнение
| Режим | Класс / команда | Порт | Формат | Для кого |
|---|---|---|---|---|
| Offline batch | LLM + SamplingParams |
нет | список промптов → generate | скрипты, бенчмарки, пакетная генерация |
| Online serve | vllm serve <model> |
localhost:8000 |
OpenAI /v1 | приложения, агенты, UI-клиенты |
| Ollama (сосед) | Ollama app / API | :11434 |
свой API + /v1 | быстрый локальный старт новичка |
| LiteLLM (сосед) | SDK / Proxy | часто :4000 |
мульти-провайдер gateway | маршрутизация к разным бэкендам |
Источник: docs.vllm.ai Quickstart (Linux; Python 3.10-3.13; uv pip install vllm —torch-backend=auto; LLM(«facebook/opt-125m»); vllm serve → :8000). README: PagedAttention, 200+ архитектур HF. Сверка: 2026-10-06. Жёсткие цены GPU/облака в ₽ не фиксируем.
Установка (NVIDIA CUDA)
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm --torch-backend=auto
# без постоянного venv:
uv run --with vllm vllm --helpДля AMD ROCm, Intel XPU, TPU, Ascend и Apple Silicon — отдельные вкладки в Installation guide; не смешивайте команды CUDA с ROCm «наугад».
Offline: первый generate
from vllm import LLM, SamplingParams
prompts = [
"Hello, my name is",
"The capital of France is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="facebook/opt-125m") # маленький пример из Quickstart
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
print(output.prompt, output.outputs[0].text)По умолчанию модели качаются с Hugging Face. Для chat/instruct моделей применяйте chat template или метод llm.chat — иначе шаблон диалога не подставится сам в generate.
Online: vllm serve
vllm serve Qwen/Qwen2.5-1.5B-Instruct
curl http://localhost:8000/v1/models
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"Qwen/Qwen2.5-1.5B-Instruct","messages":[{"role":"user","content":"Привет"}]}'Ключ опционален: --api-key или VLLM_API_KEY. Имя модели в запросе должно совпадать с той, что подняли. Для отключения generation_config из HF — флаг --generation-config vllm.
Типичные ошибки
- Ставить vLLM ради первого чата без GPU — проще Ollama/LM Studio.
- Ждать Windows как основной путь Quickstart: канон — Linux (+ отдельные бэкенды).
- Забыть chat template на instruct-модели в offline
generate. - Путать порт :8000 (vLLM) с :11434 (Ollama) и :4000 (LiteLLM).
- Выдумывать «официальную цену vLLM в ₽» — софт open-source; платите железом/облаком.
FAQ: vLLM
Что такое vLLM простыми словами?
vLLM — open-source библиотека для быстрого инференса и serving LLM. Известна PagedAttention и high-throughput serving. Есть offline batch (класс LLM) и online OpenAI-compatible сервер (по умолчанию localhost:8000). Канон: docs.vllm.ai.
Какие ОС и Python нужны?
По Quickstart: Linux; Python 3.10-3.13. На macOS отдельно есть vLLM-Metal для Apple Silicon. Установка на NVIDIA: uv venv + uv pip install vllm —torch-backend=auto.
Чем vLLM отличается от Ollama?
Ollama удобен для локального чата новичка. vLLM заточен под высокую пропускную способность serving (continuous batching, PagedAttention, OpenAI API server). Для «потыкать модель» чаще Ollama/LM Studio; для нагрузки API — vLLM.
Как поднять OpenAI-совместимый сервер?
Команда из доки: vllm serve Qwen/Qwen2.5-1.5B-Instruct — сервер на http://localhost:8000. Проверка: curl http://localhost:8000/v1/models. Опционально —api-key / VLLM_API_KEY.
Откуда vLLM берёт модели?
По умолчанию с Hugging Face. Для ModelScope задайте VLLM_USE_MODELSCOPE=True до инициализации движка.
Нужна ли видеокарта?
Для типичного CUDA-сценария — да, NVIDIA GPU. Есть бэкенды ROCm, Intel XPU, TPU, Ascend и vLLM-Metal, но это отдельные ветки установки. Новичку разумнее начинать с CUDA + маленькой instruct-модели.
Вывод
vLLM — инструмент serving: offline batch через LLM и online vllm serve на :8000. Старт с маленькой HF-модели и одной проверки /v1/models. Когда нужна система обучения под локальный стек — форматы на странице обучения.
Хотите нейросети под свои задачи, а не «для всех»?
Когда базовых гайдов уже мало, помогает разбор под вашу работу. Наставничество, курсы и подписка Артёма Денисова — все форматы на странице обучения. Модели — на Hugging Face; локальный чат — Ollama API.