E2E-разметка персональных документов

В различных продуктах Яндекса нужна быстрая и точная проверка документов, таких как паспорт или СТС. Проверяют подлинность, вносят данные при регистрации. Исторически такие проверки выполнялись асессорами, но это недешево и не всегда быстро. Распознавание и проверка документов моделями — быстрый способ, но даже малый процент ошибок зачастую критичен. Сложные кейсы вроде пересечения полей в документе, рукописного текста всегда будут встречаться, и модель будет о них спотыкаться.

В Crowd мы разработали E2E-разметку, которая объединяет модель и асессоров в один пайплайн. Подход сочетает в себе использование внутренней VLM, дообученного детектора и человеческую разметку. Сначала с помощью внутренней VLM из документов извлекаются key-value поля с уверенностями по каждому полю. Те документы, в которых модель не уверена, дальше отправляем на асессоров, но не целиком, а предварительно нарезав на layouts, чтобы снизить стоимость разметки (отдельный layout — не персональные данные).

Гибридная разметка: 1) снижает стоимость полностью человеческой разметки на один порядок; 2) позволяет перевести больше 70% потока на автоматику, благодаря чему ресурсы краудсорсинга направляются на более сложные разметки.