PRACTICE / AGENT LAB
Mixture-of-Depths на игрушечном трансформере: проверяем экономию вычислений: Mixture-of-Depths на игрушечном трансформере: проверяем экономию вычислений
Этот практический материал описывает обычный трансформер тратит одинаковое число проходов по блокам на все токены независимо от их сложности. и задаёт воспроизводимый тест по теме «Mixture-of-Depths на игрушечном трансформере: проверяем экономию вычислений» без неподтверждённых обещаний результата.
Граница теста
Проверяем только сценарий: обычный трансформер тратит одинаковое число проходов по блокам на все токены независимо от их сложности.. Материал не утверждает готовность контура к production.
Минимальный сценарий
Зафиксируйте входные данные, настройки модели и критерий приёмки. Ожидаемый результат: Рабочая модель маршрутизации top-k и измерение числа обработанных токенов при разных значениях capacity.. Каждому прогону присвойте стабильный идентификатор.
Проверка
Повторите тест на одинаковом наборе, сохраните измерения и сравните их с критерием. Не подменяйте измеренные данные выводом модели.
Ограничения
Это воспроизводимый учебный сценарий, а не сертификация безопасности и не гарантия поведения в production.
Связанные измерения
Поисковые запросы ещё не валидированы.