Экономика обучения

Как рассчитать стоимость обучения LLM и установить лимит расходов

Как рассчитать стоимость обучения LLM и установить лимит расходов
Temporary fallback cover; replace in editorial pass.
Продвинутый уровень Чтение: до 12 минут Практика: Python
Самое важное из мира AI — в канале MAX AgentLabОтдельные разборы, инструменты и практические схемы Читайте Agent Lab в Telegram Разборы, кейсы и новости о практических AI-агентах без лишней воды.

Стоимость обучения большой языковой модели определяется не только тарифом GPU. На итог влияют число токенов, размер модели, количество проходов по данным, MFU (эффективность использования вычислительной мощности), простои и запас на повторные запуски. Поэтому безопасный бюджет нужно считать как диапазон сценариев, а не как одно оптимистичное число.

1. Сначала отделите вычислительную оценку от цены аренды

Для предварительного расчёта удобно разделить задачу на четыре величины:

Приближённая формула для плотного обучения трансформера:

FLOP ≈ 6 × число параметров × число обучающих токенов

Коэффициент 6 — практическая оценка для forward и backward pass. Это не универсальная физическая константа: архитектура, оптимизатор, checkpointing, длина последовательности и состав операций могут изменить результат. Используйте её как стартовую оценку, а фактические метрики — для уточнения после короткого smoke-run.

Теоретическая производительность одного ускорителя задаётся в FLOP/s. Если ускорителей n_gpus, а средняя утилизация вычислений равна mfu, то эффективная производительность:

effective_flops_per_second = peak_flops_per_gpu × n_gpus × MFU

Здесь MFU не следует путать с загрузкой GPU в мониторинге. 90% загрузки памяти или 95% занятости устройства не означают 90% теоретической FLOP-производительности. Для сценарного анализа лучше считать несколько значений MFU, например 0,25, 0,40 и 0,55, если измеренного значения ещё нет.

2. Воспроизводимый расчёт GPU-часов

Возьмём условный пример: модель на 7 млрд параметров, 300 млрд обучающих токенов, 8 GPU с пиковой производительностью 312 TFLOP/s каждый и тарифом 2,40 условной денежной единицы за GPU-час. Все числа ниже — пример, а не текущая цена рынка.

Для одного сценария MFU 40%:

FLOP = 6 × 7e9 × 300e9
     = 1.26e22 FLOP

effective = 312e12 × 8 × 0.40
          = 9.984e14 FLOP/s

seconds = 1.26e22 / 9.984e14
        ≈ 12 620 секунд
        ≈ 3.51 часа wall-clock

GPU-hours = 3.51 × 8
          ≈ 28.1 GPU-часа

compute_cost = 28.1 × 2.40
             ≈ 67.4

Это только идеализированное вычислительное время. Для бюджета добавьте коэффициент накладных расходов: коммуникации между GPU, валидацию, сохранение checkpoint, загрузку данных, перезапуски и менее удачную утилизацию на первых минутах. Если вы пока не измеряли эти потери, зафиксируйте их отдельным параметром, например 1,20 или 1,30, и явно пометьте как допущение.

3. Python-калькулятор стоимости

Сохраните код в файл llm_cost.py и запускайте локально обычным интерпретатором Python 3. Команда не обращается к сети, не устанавливает пакеты и не изменяет систему:

python3 --version
python3 llm_cost.py

Калькулятор строит три сценария MFU и отдельно показывает рабочий бюджет с запасом. Перед запуском замените входные данные на свои измерения или план эксперимента.

from dataclasses import dataclass


@dataclass(frozen=True)
class TrainingPlan:
    parameters: int
    tokens: int
    gpus: int
    peak_tflops_per_gpu: float
    gpu_price_per_hour: float
    overhead: float = 1.0


def estimate(plan: TrainingPlan, mfu: float) -> dict[str, float]:
    if not 0 < mfu <= 1:
        raise ValueError("MFU должна быть в диапазоне (0, 1].")
    if plan.parameters <= 0 or plan.tokens <= 0:
        raise ValueError("Число параметров и токенов должно быть положительным.")
    if plan.gpus <= 0 or plan.peak_tflops_per_gpu <= 0:
        raise ValueError("Число GPU и пиковая производительность должны быть положительными.")
    if plan.gpu_price_per_hour < 0 or plan.overhead < 1:
        raise ValueError("Цена не может быть отрицательной, overhead должен быть >= 1.")

    total_flops = 6 * plan.parameters * plan.tokens
    effective_flops = (
        plan.peak_tflops_per_gpu * 1e12 * plan.gpus * mfu
    )
    seconds = total_flops / effective_flops * plan.overhead
    wall_hours = seconds / 3600
    gpu_hours = wall_hours * plan.gpus
    cost = gpu_hours * plan.gpu_price_per_hour

    return {
        "mfu": mfu,
        "wall_hours": wall_hours,
        "gpu_hours": gpu_hours,
        "cost": cost,
    }


plan = TrainingPlan(
    parameters=7_000_000_000,
    tokens=300_000_000_000,
    gpus=8,
    peak_tflops_per_gpu=312,
    gpu_price_per_hour=2.40,
    overhead=1.25,
)

scenarios = [0.25, 0.40, 0.55]

print("MFU | wall-clock, ч | GPU-часы | стоимость")
print("-" * 48)

for mfu in scenarios:
    result = estimate(plan, mfu)
    print(
        f"{result['mfu']:.0%} | "
        f"{result['wall_hours']:13.2f} | "
        f"{result['gpu_hours']:8.2f} | "
        f"{result['cost']:10.2f}"
    )

worst_case = estimate(plan, min(scenarios))
budget_limit = worst_case["cost"] * 1.15

print()
print(f"Лимит задания с дополнительным запасом 15%: {budget_limit:.2f}")

4. Как читать сценарный анализ MFU

При прочих равных стоимость обратно пропорциональна MFU. Если MFU вырастет с 25% до 50%, теоретическое время уменьшится примерно вдвое. Но это не означает, что нужно сразу закладывать 50%: измерение может быть получено на другой длине последовательности, другом размере batch или без учёта межузловой коммуникации.

Практическая таблица сценариев должна содержать как минимум:

Сценарий MFU Что означает Как использовать
Осторожный Низкий Первые запуски, неоптимальные коммуникации Основа лимита расходов
Рабочий Средний Ожидаемая конфигурация после настройки Планирование сроков
Оптимистичный Высокий Хорошая утилизация на стабильном участке Проверка потенциальной экономии

Для числового сценария выберите MFU по профилированию короткого запуска. Например, прогоните несколько сотен шагов с теми же batch size, sequence length, precision и схемой параллелизма. Зафиксируйте средний throughput именно после прогрева, а не максимальное значение в одном шаге.

5. Как установить лимит расходов для задания

Лимит должен быть операционным: при его достижении задание останавливается или требует ручного подтверждения. Рассчитайте его так:

лимит = стоимость осторожного сценария
       × запас на накладные расходы
       × запас на допустимый повтор

В коде выше дополнительный запас 15% применяется после сценария с минимальным MFU, а коэффициент 1,25 уже включает накладные расходы внутри обучения. Не складывайте одни и те же резервы дважды: отдельно подпишите, что именно покрывает каждый множитель.

Удобное правило для задания:

  1. зафиксировать максимальное число GPU и цену одного GPU-часа;
  2. выбрать консервативный MFU;
  3. добавить накладные расходы;
  4. добавить один понятный резерв на повторный запуск;
  5. передать лимит в оркестратор как жёсткое условие остановки.

Если платформа не умеет останавливать задачу по бюджету, реализуйте хотя бы периодическую проверку: после каждого checkpoint пересчитывайте накопленные GPU-часы и завершайте процесс до следующего платного интервала. Уточните, как провайдер округляет время: по минутам, секундам или целому часу. Это влияет на маленькие задания и частые перезапуски.

6. Проверка результата перед запуском

Выполните проверку по короткому чек-листу:

После короткого прогона сравните фактические GPU-часы с оценкой. Если отклонение устойчиво выше 10–15%, обновите MFU или overhead и пересчитайте лимит. Один удачный или неудачный шаг недостаточен для пересмотра бюджета: используйте усреднение по стабильному фрагменту запуска.

7. Типовые ошибки и ограничения

Ошибка: считать только FLOP

Теоретические FLOP не учитывают простой, обмен данными, checkpoint и очередь. Поэтому итоговая оценка должна содержать overhead и запас.

Ошибка: подменять MFU загрузкой GPU

Метрика загрузки устройства показывает занятость, но не обязательно полезные операции относительно пикового FLOP/s. Для точности используйте throughput или профилирование.

Ошибка: забывать про повторные запуски

Отдельный fine-tuning, изменение токенизатора, неудачный checkpoint или ошибка конфигурации могут потребовать повторения. Если повтор недопустим по бюджету, уменьшите размер первого эксперимента и сначала измерьте производительность.

Ограничение модели расчёта

Формула 6 × параметры × токены не заменяет отчёт провайдера и не моделирует все архитектурные особенности. Она предназначена для планирования, сравнения конфигураций и установки защитного лимита. Финальное решение принимайте по фактическому профилю и правилам биллинга выбранной инфраструктуры.

Итог

Чтобы рассчитать стоимость обучения LLM и установить лимит расходов, сначала оцените FLOP, затем переведите их в эффективное время через несколько сценариев MFU, умножьте wall-clock на число GPU и тариф, а лимит задайте по осторожному сценарию с явно документированным резервом. Такой расчёт делает допущения проверяемыми и позволяет обновить бюджет после короткого измерительного запуска.

Дополнительные практические материалы собраны в разделе Guides, а определения MFU, FLOP и GPU-часов — в Glossary.