Экономика обучения
Как рассчитать стоимость обучения LLM и установить лимит расходов

Стоимость обучения большой языковой модели определяется не только тарифом GPU. На итог влияют число токенов, размер модели, количество проходов по данным, MFU (эффективность использования вычислительной мощности), простои и запас на повторные запуски. Поэтому безопасный бюджет нужно считать как диапазон сценариев, а не как одно оптимистичное число.
1. Сначала отделите вычислительную оценку от цены аренды
Для предварительного расчёта удобно разделить задачу на четыре величины:
- объём вычислений в FLOP;
- эффективную производительность кластера;
- продолжительность работы;
- цену одного GPU-часа.
Приближённая формула для плотного обучения трансформера:
FLOP ≈ 6 × число параметров × число обучающих токенов
Коэффициент 6 — практическая оценка для forward и backward pass. Это не универсальная физическая константа: архитектура, оптимизатор, checkpointing, длина последовательности и состав операций могут изменить результат. Используйте её как стартовую оценку, а фактические метрики — для уточнения после короткого smoke-run.
Теоретическая производительность одного ускорителя задаётся в FLOP/s. Если
ускорителей n_gpus, а средняя утилизация вычислений равна
mfu, то эффективная производительность:
effective_flops_per_second = peak_flops_per_gpu × n_gpus × MFU
Здесь MFU не следует путать с загрузкой GPU в мониторинге. 90% загрузки памяти или 95% занятости устройства не означают 90% теоретической FLOP-производительности. Для сценарного анализа лучше считать несколько значений MFU, например 0,25, 0,40 и 0,55, если измеренного значения ещё нет.
2. Воспроизводимый расчёт GPU-часов
Возьмём условный пример: модель на 7 млрд параметров, 300 млрд обучающих токенов, 8 GPU с пиковой производительностью 312 TFLOP/s каждый и тарифом 2,40 условной денежной единицы за GPU-час. Все числа ниже — пример, а не текущая цена рынка.
Для одного сценария MFU 40%:
FLOP = 6 × 7e9 × 300e9
= 1.26e22 FLOP
effective = 312e12 × 8 × 0.40
= 9.984e14 FLOP/s
seconds = 1.26e22 / 9.984e14
≈ 12 620 секунд
≈ 3.51 часа wall-clock
GPU-hours = 3.51 × 8
≈ 28.1 GPU-часа
compute_cost = 28.1 × 2.40
≈ 67.4
Это только идеализированное вычислительное время. Для бюджета добавьте коэффициент накладных расходов: коммуникации между GPU, валидацию, сохранение checkpoint, загрузку данных, перезапуски и менее удачную утилизацию на первых минутах. Если вы пока не измеряли эти потери, зафиксируйте их отдельным параметром, например 1,20 или 1,30, и явно пометьте как допущение.
3. Python-калькулятор стоимости
Сохраните код в файл llm_cost.py и запускайте локально обычным
интерпретатором Python 3. Команда не обращается к сети, не устанавливает пакеты
и не изменяет систему:
python3 --version
python3 llm_cost.py
Калькулятор строит три сценария MFU и отдельно показывает рабочий бюджет с запасом. Перед запуском замените входные данные на свои измерения или план эксперимента.
from dataclasses import dataclass
@dataclass(frozen=True)
class TrainingPlan:
parameters: int
tokens: int
gpus: int
peak_tflops_per_gpu: float
gpu_price_per_hour: float
overhead: float = 1.0
def estimate(plan: TrainingPlan, mfu: float) -> dict[str, float]:
if not 0 < mfu <= 1:
raise ValueError("MFU должна быть в диапазоне (0, 1].")
if plan.parameters <= 0 or plan.tokens <= 0:
raise ValueError("Число параметров и токенов должно быть положительным.")
if plan.gpus <= 0 or plan.peak_tflops_per_gpu <= 0:
raise ValueError("Число GPU и пиковая производительность должны быть положительными.")
if plan.gpu_price_per_hour < 0 or plan.overhead < 1:
raise ValueError("Цена не может быть отрицательной, overhead должен быть >= 1.")
total_flops = 6 * plan.parameters * plan.tokens
effective_flops = (
plan.peak_tflops_per_gpu * 1e12 * plan.gpus * mfu
)
seconds = total_flops / effective_flops * plan.overhead
wall_hours = seconds / 3600
gpu_hours = wall_hours * plan.gpus
cost = gpu_hours * plan.gpu_price_per_hour
return {
"mfu": mfu,
"wall_hours": wall_hours,
"gpu_hours": gpu_hours,
"cost": cost,
}
plan = TrainingPlan(
parameters=7_000_000_000,
tokens=300_000_000_000,
gpus=8,
peak_tflops_per_gpu=312,
gpu_price_per_hour=2.40,
overhead=1.25,
)
scenarios = [0.25, 0.40, 0.55]
print("MFU | wall-clock, ч | GPU-часы | стоимость")
print("-" * 48)
for mfu in scenarios:
result = estimate(plan, mfu)
print(
f"{result['mfu']:.0%} | "
f"{result['wall_hours']:13.2f} | "
f"{result['gpu_hours']:8.2f} | "
f"{result['cost']:10.2f}"
)
worst_case = estimate(plan, min(scenarios))
budget_limit = worst_case["cost"] * 1.15
print()
print(f"Лимит задания с дополнительным запасом 15%: {budget_limit:.2f}")
4. Как читать сценарный анализ MFU
При прочих равных стоимость обратно пропорциональна MFU. Если MFU вырастет с 25% до 50%, теоретическое время уменьшится примерно вдвое. Но это не означает, что нужно сразу закладывать 50%: измерение может быть получено на другой длине последовательности, другом размере batch или без учёта межузловой коммуникации.
Практическая таблица сценариев должна содержать как минимум:
| Сценарий | MFU | Что означает | Как использовать |
|---|---|---|---|
| Осторожный | Низкий | Первые запуски, неоптимальные коммуникации | Основа лимита расходов |
| Рабочий | Средний | Ожидаемая конфигурация после настройки | Планирование сроков |
| Оптимистичный | Высокий | Хорошая утилизация на стабильном участке | Проверка потенциальной экономии |
Для числового сценария выберите MFU по профилированию короткого запуска. Например, прогоните несколько сотен шагов с теми же batch size, sequence length, precision и схемой параллелизма. Зафиксируйте средний throughput именно после прогрева, а не максимальное значение в одном шаге.
5. Как установить лимит расходов для задания
Лимит должен быть операционным: при его достижении задание останавливается или требует ручного подтверждения. Рассчитайте его так:
лимит = стоимость осторожного сценария
× запас на накладные расходы
× запас на допустимый повтор
В коде выше дополнительный запас 15% применяется после сценария с минимальным MFU, а коэффициент 1,25 уже включает накладные расходы внутри обучения. Не складывайте одни и те же резервы дважды: отдельно подпишите, что именно покрывает каждый множитель.
Удобное правило для задания:
- зафиксировать максимальное число GPU и цену одного GPU-часа;
- выбрать консервативный MFU;
- добавить накладные расходы;
- добавить один понятный резерв на повторный запуск;
- передать лимит в оркестратор как жёсткое условие остановки.
Если платформа не умеет останавливать задачу по бюджету, реализуйте хотя бы периодическую проверку: после каждого checkpoint пересчитывайте накопленные GPU-часы и завершайте процесс до следующего платного интервала. Уточните, как провайдер округляет время: по минутам, секундам или целому часу. Это влияет на маленькие задания и частые перезапуски.
6. Проверка результата перед запуском
Выполните проверку по короткому чек-листу:
- параметры модели указаны в штуках, а не в миллиардах без умножения на
1e9; - токены — это фактически обработанные токены, а не размер датасета в байтах;
- пиковая производительность соответствует выбранной точности вычислений;
- число GPU совпадает с числом оплачиваемых ускорителей;
- MFU задан как доля от 0 до 1, а не как процент 40 вместо 0,40;
- коэффициенты overhead и резерва не дублируют друг друга;
- стоимость проверена обратным расчётом: GPU-часы × цена GPU-часа.
После короткого прогона сравните фактические GPU-часы с оценкой. Если отклонение устойчиво выше 10–15%, обновите MFU или overhead и пересчитайте лимит. Один удачный или неудачный шаг недостаточен для пересмотра бюджета: используйте усреднение по стабильному фрагменту запуска.
7. Типовые ошибки и ограничения
Ошибка: считать только FLOP
Теоретические FLOP не учитывают простой, обмен данными, checkpoint и очередь. Поэтому итоговая оценка должна содержать overhead и запас.
Ошибка: подменять MFU загрузкой GPU
Метрика загрузки устройства показывает занятость, но не обязательно полезные операции относительно пикового FLOP/s. Для точности используйте throughput или профилирование.
Ошибка: забывать про повторные запуски
Отдельный fine-tuning, изменение токенизатора, неудачный checkpoint или ошибка конфигурации могут потребовать повторения. Если повтор недопустим по бюджету, уменьшите размер первого эксперимента и сначала измерьте производительность.
Ограничение модели расчёта
Формула 6 × параметры × токены не заменяет отчёт провайдера и не
моделирует все архитектурные особенности. Она предназначена для планирования,
сравнения конфигураций и установки защитного лимита. Финальное решение принимайте
по фактическому профилю и правилам биллинга выбранной инфраструктуры.
Итог
Чтобы рассчитать стоимость обучения LLM и установить лимит расходов, сначала оцените FLOP, затем переведите их в эффективное время через несколько сценариев MFU, умножьте wall-clock на число GPU и тариф, а лимит задайте по осторожному сценарию с явно документированным резервом. Такой расчёт делает допущения проверяемыми и позволяет обновить бюджет после короткого измерительного запуска.
Дополнительные практические материалы собраны в разделе Guides, а определения MFU, FLOP и GPU-часов — в Glossary.