Baseten — это платформа для model inference и training: hosted Model APIs через OpenAI-совместимый endpoint, dedicated деплой своих моделей на GPU и обучение с последующим serving. Фокус-ключ: baseten. Канон: Overview, Quickstart. Соседи: Modal, Replicate, DeepInfra, vLLM, ИИ-автоматизация.

Ниже — маршрут новичка: API key → OpenAI SDK на inference.baseten.co/v1 → один chat completion. Model id и тарифы сверяйте в кабинете на дату запуска; рублевый прайс не фиксируем.

Три пути старта

Путь Суть Старт Когда
Model APIs hosted LLM без своего деплоя base_url=https://inference.baseten.co/v1 быстрый OpenAI-совместимый вызов
Dedicated свой model на GPU config.yaml + Baseten CLI open-source / fine-tune / custom
Training Loops или Training Jobs docs Training SFT/RL или свой training container
Sandboxes изолированный runtime для агентов docs Sandboxes код и файлы с lifetime
CLI predict быстрый тест Model API baseten model-api predict проверка модели из терминала

Источник: docs.baseten.co/overview (Model APIs, dedicated, training, engines, sandboxes); quickstart (BASETEN_API_KEY, openai SDK, base_url inference.baseten.co/v1, model zai-org/GLM-5.3, streaming, CLI predict). Сверка: 2026-10-12. ₽ не выдумываем.

Первый вызов Model APIs

  1. Создайте аккаунт на baseten.co и personal API key.
  2. Экспортируйте: export BASETEN_API_KEY=….
  3. Поставьте клиент: uv pip install openai (или npm openai).
  4. Вызовите chat.completions.create с model из каталога Model APIs (в quickstart пример — zai-org/GLM-5.3).
  5. Для dedicated смотрите Deploy your first model (config.yaml + CLI). Для прода — observability и secrets в workspace.
export BASETEN_API_KEY="YOUR_API_KEY"
uv pip install openai

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.baseten.co/v1",
    api_key=os.environ["BASETEN_API_KEY"],
)

response = client.chat.completions.create(
    model="zai-org/GLM-5.3",  # сверяйте каталог на дату запуска
    messages=[
        {"role": "user", "content": "What is inference in machine learning?"}
    ],
)
print(response.choices[0].message.content)

# CLI: baseten model-api predict --model zai-org/GLM-5.3 --content "…"

Streaming: stream=True и чтение chunk.choices[0].delta.content. Anthropic SDK для Model APIs — в beta по quickstart. Dedicated даёт контроль hardware, autoscaling и release lifecycle; engines включают Engine-Builder-LLM, BIS-LLM, BEI и custom vLLM/SGLang. Ключ — в env/workspace secrets, не в git.

Типичные ошибки

  • Путать Model APIs (hosted) и dedicated deployment — разный контроль и биллинг.
  • Копировать model id из старого туториала вместо актуального каталога Model APIs.
  • Забывать base_url=https://inference.baseten.co/v1 при вызове через OpenAI SDK.
  • Коммитить BASETEN_API_KEY в репозиторий.
  • Выдумывать рублевые тарифы GPU/токенов — смотрите кабинет Baseten.

FAQ: Baseten

Что такое Baseten простыми словами?

Baseten — платформа inference и training: hosted Model APIs (OpenAI/Anthropic-совместимые), dedicated деплой своих моделей на GPU и обучение (Loops / Training Jobs). Канон: docs.baseten.co.

С чего начать новичку?

Создайте аккаунт и personal API key, export BASETEN_API_KEY, поставьте openai SDK, вызовите chat.completions на base_url https://inference.baseten.co/v1 с model из каталога (в quickstart пример — zai-org/GLM-5.3).

Чем Model APIs отличаются от dedicated deploy?

Model APIs — готовые hosted модели без своего деплоя. Dedicated — свой open-source/fine-tuned/custom на GPU через config.yaml, Python model class или Docker + Baseten CLI. Выбор — в overview Choose how to start.

Есть ли OpenAI-совместимый endpoint?

Да для Model APIs: OpenAI Chat Completions; Anthropic Messages — в beta. base_url https://inference.baseten.co/v1, ключ BASETEN_API_KEY. CLI: baseten model-api predict.

Какие inference engines у dedicated?

В overview: Engine-Builder-LLM (TensorRT-LLM), BIS-LLM (MoE / distributed), BEI (embeddings/rerank/classify); также можно свой vLLM/SGLang в Docker. Сверяйте docs на дату запуска.

Есть ли цены в рублях в статье?

Нет. Смотрите биллинг и pricing в кабинете Baseten на дату запуска. Рубли не фиксируем.

Вывод

Baseten — ключ в env, OpenAI SDK на inference.baseten.co/v1, при необходимости dedicated через CLI. Старт: Quickstart → свой скрипт → сверка каталога/биллинга. Когда нужна система обучения под интеграции — форматы на странице обучения.

Артём Денисов — эксперт Нетологии и автор курса Яндекс Практикума по промпт-инжинирингу. Сверяет Baseten с официальной докой на дату публикации.

Хотите нейросети под свои задачи, а не «для всех»?

Когда базовых гайдов уже мало, помогает разбор под вашу работу. Наставничество, курсы и подписка Артёма Денисова — все форматы на странице обучения. Соседи по стеку — ИИ-автоматизация и Modal.