Практическая статья Продвинутый уровень До 12 минут

Извлечение японских адресов: сравниваем NER и осторожное связывание кодов

Извлечение японских адресов: сравниваем NER и осторожное связывание кодов
Temporary fallback cover; replace in editorial pass.

Японский адрес можно извлечь как последовательность сущностей, но нельзя автоматически превращать каждую найденную строку в муниципальный код. В этой статье построим воспроизводимый тестовый пайплайн: сначала извлечём компоненты адреса, затем проверим словарное связывание и отдельно измерим, как часто система воздерживается от ошибочного утверждения.

Самое важное из мира AI — в канале MAX AgentLabОтдельные разборы, инструменты и практические схемы Читайте Agent Lab в Telegram Разборы, кейсы и новости о практических AI-агентах без лишней воды.

Задача: извлечь адрес, не выдумав его идентификатор

Для японских адресов типичен порядок от крупной административной единицы к мелкой: 都道府県, 市区町村, район,町名,番地 и номер здания. При этом одинаковые или похожие названия могут встречаться в разных префектурах и муниципалитетах. Нормализация строки сама по себе не доказывает, что найден правильный муниципальный код.

Поэтому полезно разделить две операции:

  1. NER — извлечение фрагментов текста и их ролей: префектура, муниципалитет, район, блок и так далее.
  2. Dictionary linking — поиск кандидатов в справочнике кодов с проверкой контекста и порогом уверенности.

Если словарь возвращает несколько правдоподобных кандидатов, корректный результат — municipality_code = null и статус ambiguous, а не выбор первого совпадения.

Минимальный контракт данных

До сравнения моделей зафиксируйте формат результата. Он должен позволять различать «сущность найдена» и «код подтверждён».

{
  "text": "東京都新宿区西新宿2丁目8-1",
  "entities": [
    {"type": "prefecture", "text": "東京都", "start": 0, "end": 3},
    {"type": "municipality", "text": "新宿区", "start": 3, "end": 6},
    {"type": "area", "text": "西新宿", "start": 6, "end": 9},
    {"type": "block", "text": "2丁目8-1", "start": 9, "end": 15}
  ],
  "linking": {
    "municipality_code": "candidate-or-null",
    "status": "linked|ambiguous|not_found",
    "candidate_count": 1,
    "evidence": ["prefecture", "municipality"]
  }
}

Значения кода и метки в этом примере являются форматом данных, а не утверждением о конкретном содержимом справочника. В реальном тесте справочник и его версию нужно хранить рядом с результатами эксперимента.

Два сравниваемых пайплайна

Вариант A: только NER

Модель получает исходную строку и возвращает спаны сущностей. Для оценки не требуется назначать административный код. Такой вариант хорошо показывает, где модель нашла адресные компоненты, но не отвечает на вопрос о принадлежности к справочнику.

Вариант B: NER плюс осторожное linking

После NER система нормализует написание, формирует запрос к локальному словарю и отбрасывает кандидатов, не согласующихся с контекстом. Связывание разрешается только при единственном кандидате или при заранее заданном минимальном разрыве между первым и вторым результатом. Иначе возвращается отказ от связывания.

def link_municipality(entity, prefecture, dictionary):
    candidates = dictionary.lookup(
        name=normalize(entity),
        prefecture=normalize(prefecture)
    )

    if len(candidates) == 0:
        return {"code": None, "status": "not_found"}

    if len(candidates) > 1:
        return {
            "code": None,
            "status": "ambiguous",
            "candidate_count": len(candidates)
        }

    return {
        "code": candidates[0].code,
        "status": "linked",
        "candidate_count": 1
    }

Это намеренно консервативная логика. Если требуется использовать ранжирование, сохраните не только лучший результат, но и список кандидатов, значения оценок и правило, по которому система приняла решение.

Воспроизводимый тест без внешних утверждений

Создайте небольшой фиксированный набор с разными случаями: однозначные адреса, варианты написания, отсутствующие записи и намеренно неоднозначные названия. Набор должен содержать ожидаемые спаны и ожидаемый статус linking. Это тестовый корпус, а не статистика по всем японским адресам.

tests/
  addresses.jsonl
  dictionary.jsonl
  expected.jsonl

python -m venv .venv
. .venv/bin/activate
python -m pip install -r requirements.txt
python evaluate.py \
  --input tests/addresses.jsonl \
  --dictionary tests/dictionary.jsonl \
  --expected tests/expected.jsonl \
  --output results.json

Команды безопасны в том смысле, что создают только локальное виртуальное окружение и файл результатов в текущем проекте. Не передавайте в тестовый скрипт реальные персональные адреса, если это не предусмотрено политикой обработки данных.

Для каждого примера сохраните:

  • исходный текст;
  • предсказанные и эталонные спаны;
  • список кандидатов словаря;
  • решение: linked, ambiguous или not_found;
  • причину отказа, если код не назначен.

Метрики: извлечение и ошибочные утверждения

Для NER используйте стандартные precision, recall и F1. Заранее выберите режим сопоставления: точное совпадение границ или overlap с минимальным порогом. Не смешивайте эти режимы в одном отчёте.

precision = true_positive / (true_positive + false_positive)
recall = true_positive / (true_positive + false_negative)
f1 = 2 * precision * recall / (precision + recall)

Для linking важна отдельная метрика — доля ошибочных утверждений. Считайте ошибочным утверждением случай, когда система вернула конкретный муниципальный код, а эталон показывает другой код или неоднозначность:

claim_error_rate =
  wrong_linked_claims / all_non_null_linking_claims

Отдельно публикуйте coverage связывания:

linking_coverage =
  linked_records / all_records

Такая пара метрик показывает компромисс. Более строгий порог может уменьшить coverage, но одновременно снизить долю ошибочных утверждений. Нельзя объявлять пайплайн лучше только потому, что у него выше доля назначенных кодов.

Минимальная таблица отчёта
Компонент Метрика Что проверяет
NER Precision / Recall / F1 Правильность границ и типов сущностей
Linking Coverage Как часто код вообще назначен
Linking Claim error rate Как часто назначенный код оказался неверным или неразрешимым
Abstention Abstention rate Как часто система предпочла не утверждать

Как проверять неоднозначность

Наличие одинакового названия муниципалитета в словаре — достаточное основание для отказа, если в тексте нет более сильного контекста. Поддерживайте явную иерархию доказательств:

  1. совпадает префектура;
  2. совпадает муниципалитет;
  3. совпадает район или町名, если поле есть в словаре;
  4. совпадают нормализованные варианты написания;
  5. остается ровно один кандидат.

Если два кандидата проходят одинаковое количество проверок, результат должен быть ambiguous. Логика «выбрать самый популярный» допустима только как отдельная эвристика с отдельной метрикой и явной маркировкой риска.

Проверка результата

После запуска сравните не только итоговые числа, но и конкретные ошибки. Удобный минимальный контрольный набор:

  • адрес с полным контекстом префектуры и муниципалитета;
  • адрес с вариацией пробелов, цифр и символов;
  • название, которого нет в словаре;
  • название с несколькими кандидатами;
  • строка, где NER ошибочно объединяет район и номер дома.

Для каждого случая проверьте, что отказ действительно сохраняет municipality_code = null, а причина не теряется при сериализации. Отдельно убедитесь, что пустые поля не превращаются в строку вроде "null".

Типовые ошибки

Смешивание извлечения и идентификации

Хорошо извлечённый текст не означает правильный код. Храните сущности и результат linking раздельно, чтобы ошибка словаря не выглядела как ошибка NER.

Молчаливый выбор первого кандидата

Порядок строк в словаре не является доказательством. При нескольких кандидатах возвращайте abstention и сохраняйте кандидатов для аудита.

Нормализация без журналирования

Если система меняет символы, пробелы или числовые обозначения, сохраняйте исходное и нормализованное значения. Иначе будет трудно понять, где возникло расхождение.

Одна итоговая цифра

F1 по NER не показывает надёжность муниципального кода. Минимальный отчёт должен разделять качество извлечения, coverage и claim error rate.

Ограничения подхода

Небольшой локальный тест не оценивает работу на всех вариантах японских адресов, исторических названиях, сокращениях, OCR-ошибках и смешанном латинско-японском тексте. Также результат зависит от версии словаря и правил нормализации.

Поэтому в отчёте фиксируйте версию корпуса, словаря, модели, конфигурацию порогов и дату запуска. Если эталон неоднозначен, не превращайте его в искусственно однозначную метку: лучше хранить допустимое множество кандидатов.

Итог

Надёжный пайплайн для японских адресов состоит из двух независимых проверок: NER отвечает за извлечение компонентов, а dictionary linking — за подтверждение административной принадлежности. Ключевая защита от ложных утверждений — явный отказ от связывания при неоднозначности. Воспроизводимый тест должен показывать не только F1, но и coverage, abstention rate и долю ошибочно назначенных кодов.

Для следующего шага см. практические guides и глоссарий терминов.