Modal — это serverless AI-инфраструктура: Python-код с декоратором @app.function, нужный GPU и запуск через modal run без своего Kubernetes. Фокус-ключ: modal. Канон: Guide, GPU, Endpoints. Соседи: OpenRouter, DeepInfra, vLLM, ИИ-автоматизация.

Ниже — маршрут новичка: аккаунт → CLI → Function на GPU → при необходимости Endpoint. Тарифы и доступность GPU сверяйте в кабинете на дату запуска; рублевый прайс не фиксируем.

Три пути старта

Путь Суть Старт Когда
Function + GPU свой код в контейнере Modal @app.function(gpu="A100") инференс/батч на своём стеке
Endpoints managed inference API Proxy Token + OpenAI-compatible нужен HTTP к модели из Library
Servers низколатентный HTTP-процесс @app.server + port свой vLLM/SGLang за прокси
Sandboxes изолированный runtime docs Sandboxes агент запускает сгенерированный код
CLI setup авторизация машины pip install modal → modal setup первый день

Источник: modal.com/docs/guide (pip install modal, modal setup, Function/GPU/Endpoints/Sandboxes); docs/guide/gpu (A100/H100/L40S…); docs/guide/endpoints (Proxy Token, OpenAI-compatible). Сверка: 2026-10-11. ₽ не выдумываем.

Первый Function на Python

  1. Создайте аккаунт на modal.com.
  2. Поставьте пакет: pip install modal.
  3. Авторизуйтесь: modal setup (если не сработает — python -m modal setup).
  4. Опишите modal.App, Image и Function с нужным gpu.
  5. Запустите локально: modal run path/to/file.py. Для GPU в аккаунте нужна карта оплаты (так пишет дока).
pip install modal
modal setup

import modal

app = modal.App("example-gpu-check")
image = modal.Image.debian_slim().pip_install("torch", "numpy")

@app.function(gpu="A100", image=image)
def run():
    import torch
    assert torch.cuda.is_available()
    return torch.cuda.get_device_name(0)

@app.local_entrypoint()
def main():
    print(run.remote())

Для LLM-инференса Modal показывает примеры на Transformers/vLLM/SGLang и managed Endpoints с OpenAI-совместимым /v1/chat/completions. Model id и биллинг смотрите в дашборде на дату запуска.

Типичные ошибки

  • Ждать GPU без payment method — дока прямо пишет, что GPU требует карту в аккаунте.
  • Путать Modal Endpoints (managed API) и свой @app.function — разный биллинг и модель деплоя.
  • Брать устаревший model id из чужого туториала вместо Library/Endpoints на дату запуска.
  • Коммитить Proxy Token или токены Modal в git.
  • Фиксировать рублевый прайс секунд GPU в статье — смотрите pricing и кабинет.

FAQ: Modal

Что такое Modal простыми словами?

Modal — это serverless-платформа для AI-инфраструктуры: вы пишете Python-функции с GPU, а Modal сам поднимает контейнеры, масштабирует и считает оплату по секундам. Канон: modal.com/docs/guide.

Как сделать первый запуск?

Создайте аккаунт на modal.com, поставьте pip install modal и выполните modal setup (или python -m modal setup). Дальше запускайте скрипт через modal run path/to/file.py.

Какие GPU можно запросить?

Через аргумент gpu у @app.function: T4, L4, A10, L40S, A100, A100-40GB, A100-80GB, H100, H200, B200, B300 и др. Пример: @app.function(gpu=»A100″). Список и нюансы — в modal.com/docs/guide/gpu. Для GPU нужна карта оплаты в аккаунте.

Чем Modal отличается от OpenRouter или DeepInfra?

OpenRouter/DeepInfra дают готовый inference API к каталогу моделей. Modal ближе к своей инфраструктуре: Image, Function/Server, GPU на коде, Endpoints и Sandboxes. Соседи: /openrouter-kak-polzovatsya/, /deepinfra-kak-polzovatsya/, /vllm-kak-polzovatsya/.

Есть ли OpenAI-совместимый endpoint?

Да, у Modal Endpoints есть OpenAI- и Anthropic-совместимые вызовы для text-generation моделей. Авторизация через Proxy Token (MODAL_PROXY_TOKEN_ID.MODAL_PROXY_TOKEN_SECRET). Сверяйте modal.com/docs/guide/endpoints на дату запуска.

Есть ли цены в рублях в статье?

Нет. Смотрите modal.com/pricing и биллинг в кабинете (USD/сек GPU и токены Endpoints). Рубли не фиксируем.

Вывод

Modal — CLI setup, Function с GPU из доки, при необходимости Endpoints с Proxy Token. Старт: Guide → свой modal run → сверка GPU/Endpoints. Когда нужна система обучения под интеграции — форматы на странице обучения.

Артём Денисов — эксперт Нетологии и автор курса Яндекс Практикума по промпт-инжинирингу. Сверяет Modal с официальной докой на дату публикации.

Хотите нейросети под свои задачи, а не «для всех»?

Когда базовых гайдов уже мало, помогает разбор под вашу работу. Наставничество, курсы и подписка Артёма Денисова — все форматы на странице обучения. Соседи по стеку — ИИ-автоматизация и OpenRouter.