RAG · Поиск · Инфраструктура

Миграция embedding-модели без скрытой деградации поиска

Миграция embedding-модели без скрытой деградации поиска
Temporary fallback cover; replace in editorial pass.

Замена модели для построения embedding-векторов меняет геометрию поиска. Если добавить новые векторы в старый индекс, сравнивать результаты «на глаз» или переключить модель до полной проверки, качество может ухудшиться незаметно: система продолжит отвечать, но будет находить не те фрагменты.

Уровень: средний Время чтения: до 12 минут Тема: RAG и векторный поиск
Самое важное из мира AI — в канале MAX AgentLabОтдельные разборы, инструменты и практические схемы Читайте Agent Lab в Telegram Разборы, кейсы и новости о практических AI-агентах без лишней воды.

Коротко: безопасная схема миграции

Сначала зафиксируйте текущую модель и создайте небольшой набор эталонных запросов. Затем посчитайте ответы старой и новой моделей на одном и том же наборе документов, постройте для новой модели отдельный индекс и сравните результаты. Переключайте чтение только после проверки, а старый индекс сохраняйте до завершения периода отката.

  1. Опишите контракт текущих векторов: модель, размерность, метрику и версию индекса.
  2. Соберите собственный набор запросов с ожидаемыми релевантными документами.
  3. Постройте новый индекс отдельно, не добавляя новые векторы в старый.
  4. Сравните качество, задержку, долю пустых результатов и ошибки.
  5. Переключите чтение на новый индекс после прогрева и оставьте быстрый откат.

Почему нельзя смешивать векторы

Вектор — это не универсальное представление текста. Его координаты зависят от конкретной модели и её конфигурации. Даже если две модели имеют одинаковую размерность, это не делает их векторы взаимозаменяемыми: близость между векторами может иметь другой смысл.

На практике опасная схема выглядит так: документы постепенно переиндексируются новой моделью, а запросы некоторое время кодируются старой. В индексе оказываются векторы разных версий, и итоговый рейтинг становится непредсказуемым. Проблема особенно трудно обнаруживается, если система не падает, а только начинает чаще возвращать фрагменты второго или третьего уровня релевантности.

1. Зафиксируйте текущий контракт

До выбора кандидата запишите параметры действующей конфигурации. Минимальный набор полей можно хранить рядом с настройками индекса или в реестре версий:

{
  "embedding_model": "current-model-id",
  "embedding_version": "2026-01",
  "dimensions": 1536,
  "distance_metric": "cosine",
  "chunking_version": "chunks-v3",
  "index_name": "documents_current"
}

Значения в примере условны: подставьте реальные идентификаторы и параметры своей системы. Не меняйте одновременно embedding-модель, размер чанка и стратегию поиска без отдельной маркировки. Иначе будет трудно понять, что именно повлияло на результат.

2. Соберите набор собственных запросов

Универсальный benchmark не заменяет запросы пользователей вашего продукта. Составьте набор, который отражает реальные сценарии: точные вопросы, перефразировки, короткие запросы, длинные описания, термины с опечатками и запросы, для которых релевантного документа нет.

Для каждого запроса укажите один или несколько ожидаемых документов. Это может быть ручная разметка или уже проверенный результат текущей системы, если вы отдельно убедились в его корректности.

[
  {
    "query_id": "q-001",
    "text": "Как отменить двухэтапную оплату?",
    "relevant_document_ids": ["doc-104", "doc-119"]
  },
  {
    "query_id": "q-002",
    "text": "Что делать, если webhook пришёл повторно?",
    "relevant_document_ids": ["doc-207"]
  }
]

Не подменяйте проверку числом запросов. Небольшой, но разнообразный набор полезнее большого списка почти одинаковых формулировок. Зафиксируйте его до сравнения моделей, чтобы не подгонять оценку под понравившийся результат.

3. Сравните модели на одинаковых данных

Выберите несколько кандидатов, доступных вашей инфраструктуре и допустимых по требованиям к лицензии, размещению и стоимости. Важны не только размерность и скорость. Проверяйте качество именно на собственных запросах и документах.

Для каждой модели используйте одинаковые условия:

  • одинаковый корпус документов;
  • одинаковое разбиение на чанки;
  • одинаковое количество результатов top-k;
  • одинаковую метрику внутри конкретного сравнения;
  • одинаковую процедуру обработки пустых и ошибочных ответов.

В качестве базовых показателей можно посчитать Recall@k — попал ли хотя бы один релевантный документ в первые k результатов, — и MRR — насколько высоко оказался первый релевантный результат. Эти метрики не описывают всё качество RAG, но помогают сделать сравнение воспроизводимым.

# Псевдокоманды: адаптируйте их под свой CLI или скрипт
rag embed \
  --model candidate-model-id \
  --input documents.jsonl \
  --output vectors_candidate.jsonl \
  --version candidate-2026-02

rag evaluate \
  --queries queries.jsonl \
  --index documents_candidate \
  --top-k 5 \
  --output evaluation_candidate.json

Команды выше иллюстрируют последовательность, а не готовый универсальный CLI. Перед запуском проверьте имена параметров своего инструмента и убедитесь, что вывод новой модели не записывается в рабочий индекс.

4. Версионируйте векторы и индексы

Версия должна быть видна не только в названии файла. Добавьте её в метаданные вектора и в имя физического индекса. Полезно также хранить хеш конфигурации chunking и дату построения.

{
  "document_id": "doc-104",
  "chunk_id": "doc-104-chunk-03",
  "embedding_model": "candidate-model-id",
  "embedding_version": "candidate-2026-02",
  "dimensions": 1536,
  "chunking_version": "chunks-v3",
  "vector": [0.0123, -0.0041]
}

В примере массив сокращён и не является полноценным вектором. Смысл схемы — показать, какие сведения должны сопровождать значение. Если хранилище позволяет, продублируйте критические поля на уровне коллекции или индекса, чтобы их можно было проверять до выполнения запроса.

Названия могут выглядеть так:

documents_current
documents_candidate_2026_02
documents_candidate_2026_02_shadow

Запросы к индексу должны использовать ту же версию модели, что и индекс. Это стоит проверять в коде конфигурации, а не оставлять только договорённостью между командами.

5. Постройте параллельный индекс без простоя

Параллельный индекс позволяет построить и проверить новую версию, пока старый индекс обслуживает поиск. Общая последовательность выглядит так:

  1. Зафиксируйте снимок корпуса или версию источника документов.
  2. Сгенерируйте новые векторы только новой моделью.
  3. Создайте отдельный индекс с новой размерностью и метрикой.
  4. Загрузите в него все векторы и дождитесь завершения индексации.
  5. Проверьте количество документов, чанков и отсутствие смешанных версий.
  6. Прогрейте индекс контрольными запросами.
  7. Переключите маршрутизацию чтения на новый индекс.
# Иллюстративная последовательность
rag index create documents_candidate_2026_02 \
  --dimensions 1536 \
  --metric cosine

rag index load documents_candidate_2026_02 \
  --vectors vectors_candidate_2026_02.jsonl

rag index validate documents_candidate_2026_02 \
  --model-version candidate-2026-02 \
  --chunking-version chunks-v3

rag search switch \
  --from documents_current \
  --to documents_candidate_2026_02

Если ваша система не поддерживает атомарное переключение, используйте отдельный конфигурационный параметр или service discovery. Сначала измените его в среде проверки, затем включите новый индекс для небольшой доли трафика, если такая возможность предусмотрена архитектурой.

Проверка результата после переключения

До миграции сохраните контрольные результаты для фиксированного набора запросов. После переключения выполните тот же прогон и сравните не только среднее значение, но и отдельные запросы, где результат изменился.

Что проверить Зачем
Recall@k и MRR Увидеть изменение релевантности на размеченных запросах.
Топ результатов по контрольным запросам Найти регрессии, которые скрывает среднее значение.
Размерность и версия модели Исключить смешивание несовместимых векторов.
Задержка и ошибки Проверить влияние нового индекса на эксплуатацию.
Пустые ответы Отделить ухудшение поиска от проблем фильтрации или загрузки.

Считайте миграцию завершённой только после того, как результаты удовлетворяют заранее заданным критериям. Сам факт успешной индексации не доказывает, что поиск сохранил качество.

Откат и период наблюдения

Старый индекс должен оставаться доступным, пока новая версия не пройдёт период наблюдения, установленный вашей командой. Откатом должен быть переключатель маршрутизации, а не повторная генерация векторов.

# Пример безопасного отката
rag search switch \
  --from documents_candidate_2026_02 \
  --to documents_current

Не удаляйте старый индекс сразу после переключения. Сначала сохраните его метаданные, контрольные результаты и способ возврата. Срок хранения определите внутренними требованиями к эксплуатации и стоимости хранения.

Типовые ошибки

Новая модель записывается в старую коллекцию

Это самый опасный сценарий: размерность может совпасть, поэтому техническая проверка не сработает. Разделяйте индексы физически и проверяйте версию при загрузке каждой партии векторов.

Сравниваются разные корпуса

Если одна модель получила свежие документы, а другая — старый снимок, результат нельзя честно интерпретировать как сравнение моделей. Зафиксируйте источник и версию корпуса.

Меняется сразу несколько параметров

Одновременная смена embedding-модели, chunking, фильтров и reranker усложняет диагностику. Для первой миграции изменяйте один существенный компонент за раз.

Оценивается только средний балл

Среднее значение может скрыть провал на важной категории запросов. Разбивайте результаты по типам запросов и просматривайте случаи с наибольшим изменением рейтинга.

Нет проверки версии на чтении

Даже правильно построенный индекс можно случайно вызвать неправильной моделью. Перед поиском проверяйте согласованность конфигурации запроса и метаданных индекса.

Ограничения подхода

Оценка на собственном наборе запросов не гарантирует качество на всех будущих запросах. Разметка может быть неполной, а изменение embedding-модели иногда влияет на последующие этапы — reranker, формирование контекста и ответы генеративной модели. Поэтому проверяйте не только retrieval-метрики, но и несколько сквозных сценариев RAG.

Параллельный индекс требует дополнительного места и времени на построение. В системах с постоянно меняющимся корпусом нужно отдельно продумать синхронизацию новых документов во время миграции и правило выбора версии для каждого обновления.

Итоговый чек-лист

  • Есть фиксированный набор запросов и ожидаемых релевантных документов.
  • Старая и новая модели проверены на одинаковом корпусе.
  • Для векторов указаны модель, версия, размерность и метрика.
  • Новый индекс построен отдельно от рабочего.
  • Проведена проверка количества данных и отсутствия смешанных версий.
  • Сохранены контрольные результаты до и после миграции.
  • Откат выполняется переключением на старый индекс.