Извлечение японских адресов: сравниваем NER и осторожное связывание кодов

Японский адрес можно извлечь как последовательность сущностей, но нельзя автоматически превращать каждую найденную строку в муниципальный код. В этой статье построим воспроизводимый тестовый пайплайн: сначала извлечём компоненты адреса, затем проверим словарное связывание и отдельно измерим, как часто система воздерживается от ошибочного утверждения.
Задача: извлечь адрес, не выдумав его идентификатор
Для японских адресов типичен порядок от крупной административной единицы к мелкой: 都道府県, 市区町村, район,町名,番地 и номер здания. При этом одинаковые или похожие названия могут встречаться в разных префектурах и муниципалитетах. Нормализация строки сама по себе не доказывает, что найден правильный муниципальный код.
Поэтому полезно разделить две операции:
- NER — извлечение фрагментов текста и их ролей: префектура, муниципалитет, район, блок и так далее.
- Dictionary linking — поиск кандидатов в справочнике кодов с проверкой контекста и порогом уверенности.
Если словарь возвращает несколько правдоподобных кандидатов, корректный результат —
municipality_code = null и статус ambiguous, а не выбор первого совпадения.
Минимальный контракт данных
До сравнения моделей зафиксируйте формат результата. Он должен позволять различать «сущность найдена» и «код подтверждён».
{
"text": "東京都新宿区西新宿2丁目8-1",
"entities": [
{"type": "prefecture", "text": "東京都", "start": 0, "end": 3},
{"type": "municipality", "text": "新宿区", "start": 3, "end": 6},
{"type": "area", "text": "西新宿", "start": 6, "end": 9},
{"type": "block", "text": "2丁目8-1", "start": 9, "end": 15}
],
"linking": {
"municipality_code": "candidate-or-null",
"status": "linked|ambiguous|not_found",
"candidate_count": 1,
"evidence": ["prefecture", "municipality"]
}
}
Значения кода и метки в этом примере являются форматом данных, а не утверждением о конкретном содержимом справочника. В реальном тесте справочник и его версию нужно хранить рядом с результатами эксперимента.
Два сравниваемых пайплайна
Вариант A: только NER
Модель получает исходную строку и возвращает спаны сущностей. Для оценки не требуется назначать административный код. Такой вариант хорошо показывает, где модель нашла адресные компоненты, но не отвечает на вопрос о принадлежности к справочнику.
Вариант B: NER плюс осторожное linking
После NER система нормализует написание, формирует запрос к локальному словарю и отбрасывает кандидатов, не согласующихся с контекстом. Связывание разрешается только при единственном кандидате или при заранее заданном минимальном разрыве между первым и вторым результатом. Иначе возвращается отказ от связывания.
def link_municipality(entity, prefecture, dictionary):
candidates = dictionary.lookup(
name=normalize(entity),
prefecture=normalize(prefecture)
)
if len(candidates) == 0:
return {"code": None, "status": "not_found"}
if len(candidates) > 1:
return {
"code": None,
"status": "ambiguous",
"candidate_count": len(candidates)
}
return {
"code": candidates[0].code,
"status": "linked",
"candidate_count": 1
}
Это намеренно консервативная логика. Если требуется использовать ранжирование, сохраните не только лучший результат, но и список кандидатов, значения оценок и правило, по которому система приняла решение.
Воспроизводимый тест без внешних утверждений
Создайте небольшой фиксированный набор с разными случаями: однозначные адреса, варианты написания, отсутствующие записи и намеренно неоднозначные названия. Набор должен содержать ожидаемые спаны и ожидаемый статус linking. Это тестовый корпус, а не статистика по всем японским адресам.
tests/
addresses.jsonl
dictionary.jsonl
expected.jsonl
python -m venv .venv
. .venv/bin/activate
python -m pip install -r requirements.txt
python evaluate.py \
--input tests/addresses.jsonl \
--dictionary tests/dictionary.jsonl \
--expected tests/expected.jsonl \
--output results.json
Команды безопасны в том смысле, что создают только локальное виртуальное окружение и файл результатов в текущем проекте. Не передавайте в тестовый скрипт реальные персональные адреса, если это не предусмотрено политикой обработки данных.
Для каждого примера сохраните:
- исходный текст;
- предсказанные и эталонные спаны;
- список кандидатов словаря;
- решение:
linked,ambiguousилиnot_found; - причину отказа, если код не назначен.
Метрики: извлечение и ошибочные утверждения
Для NER используйте стандартные precision, recall и F1. Заранее выберите режим сопоставления: точное совпадение границ или overlap с минимальным порогом. Не смешивайте эти режимы в одном отчёте.
precision = true_positive / (true_positive + false_positive)
recall = true_positive / (true_positive + false_negative)
f1 = 2 * precision * recall / (precision + recall)
Для linking важна отдельная метрика — доля ошибочных утверждений. Считайте ошибочным утверждением случай, когда система вернула конкретный муниципальный код, а эталон показывает другой код или неоднозначность:
claim_error_rate =
wrong_linked_claims / all_non_null_linking_claims
Отдельно публикуйте coverage связывания:
linking_coverage =
linked_records / all_records
Такая пара метрик показывает компромисс. Более строгий порог может уменьшить coverage, но одновременно снизить долю ошибочных утверждений. Нельзя объявлять пайплайн лучше только потому, что у него выше доля назначенных кодов.
| Компонент | Метрика | Что проверяет |
|---|---|---|
| NER | Precision / Recall / F1 | Правильность границ и типов сущностей |
| Linking | Coverage | Как часто код вообще назначен |
| Linking | Claim error rate | Как часто назначенный код оказался неверным или неразрешимым |
| Abstention | Abstention rate | Как часто система предпочла не утверждать |
Как проверять неоднозначность
Наличие одинакового названия муниципалитета в словаре — достаточное основание для отказа, если в тексте нет более сильного контекста. Поддерживайте явную иерархию доказательств:
- совпадает префектура;
- совпадает муниципалитет;
- совпадает район или町名, если поле есть в словаре;
- совпадают нормализованные варианты написания;
- остается ровно один кандидат.
Если два кандидата проходят одинаковое количество проверок, результат должен быть
ambiguous. Логика «выбрать самый популярный» допустима только как отдельная
эвристика с отдельной метрикой и явной маркировкой риска.
Проверка результата
После запуска сравните не только итоговые числа, но и конкретные ошибки. Удобный минимальный контрольный набор:
- адрес с полным контекстом префектуры и муниципалитета;
- адрес с вариацией пробелов, цифр и символов;
- название, которого нет в словаре;
- название с несколькими кандидатами;
- строка, где NER ошибочно объединяет район и номер дома.
Для каждого случая проверьте, что отказ действительно сохраняет
municipality_code = null, а причина не теряется при сериализации.
Отдельно убедитесь, что пустые поля не превращаются в строку вроде
"null".
Типовые ошибки
Смешивание извлечения и идентификации
Хорошо извлечённый текст не означает правильный код. Храните сущности и результат linking раздельно, чтобы ошибка словаря не выглядела как ошибка NER.
Молчаливый выбор первого кандидата
Порядок строк в словаре не является доказательством. При нескольких кандидатах возвращайте abstention и сохраняйте кандидатов для аудита.
Нормализация без журналирования
Если система меняет символы, пробелы или числовые обозначения, сохраняйте исходное и нормализованное значения. Иначе будет трудно понять, где возникло расхождение.
Одна итоговая цифра
F1 по NER не показывает надёжность муниципального кода. Минимальный отчёт должен разделять качество извлечения, coverage и claim error rate.
Ограничения подхода
Небольшой локальный тест не оценивает работу на всех вариантах японских адресов, исторических названиях, сокращениях, OCR-ошибках и смешанном латинско-японском тексте. Также результат зависит от версии словаря и правил нормализации.
Поэтому в отчёте фиксируйте версию корпуса, словаря, модели, конфигурацию порогов и дату запуска. Если эталон неоднозначен, не превращайте его в искусственно однозначную метку: лучше хранить допустимое множество кандидатов.
Итог
Надёжный пайплайн для японских адресов состоит из двух независимых проверок: NER отвечает за извлечение компонентов, а dictionary linking — за подтверждение административной принадлежности. Ключевая защита от ложных утверждений — явный отказ от связывания при неоднозначности. Воспроизводимый тест должен показывать не только F1, но и coverage, abstention rate и долю ошибочно назначенных кодов.
Для следующего шага см. практические guides и глоссарий терминов.