Layout-Aware OCR for Black Digital Archives with Unsupervised Evaluation

## Контекст Область исследования, связанная с Optical Character Recognition (OCR) для текстов в черных цифровых архивных носителях, становится все более актуальной в исследовательских и практических задачах. Многие цифровые архивы, включая новостные издания и старые документы, имеют специфические особенности типографии, визуальных деградаций и нестандартных логик разметки, что затрудняет автоматическую распознавание текста и требует развития специализированных подходов. Большинство существующих систем OCR не учитывают эти факторы, что приводит к ошибкам и неточностям в текстовом распознавании. Эта проблема является особенно актуальной для цифровых архивов черных сообществ, где существуют уникальные требования к сохранению структуры и логики разметки текста. В нашей работе мы сосредотачиваемся на этих характеристиках и предлагаем систему OCR, учитывающую логику разметки, которая включает в себя методы машинного обучения и анализа структуры текста. ## Метод Мы предлагаем разработанную систему OCR, ориентированную на разметку, которая использует сочетание нескольких технических приемов. Методология включает в себя синтетическое генерирование структурных логик разметки, виртуальное моделирование различных стилей типографии и автоматическое адаптирование моделей распознавания текста. Используется модель You Only Look Once (YOLO), адаптированная для распознавания сложных разметок. Мы также внедрили метод нейронной сети для обучения моделей с учетом контекста текста, что позволило увеличить точность распознавания в текстах, характерных для черных цифровых архивов. Использование автоматических оценочных параметров позволяет сравнить результаты с исходными данными и убедиться в том, что модель учитывает специфику разметки. ## Результаты Мы проверили нашу систему OCR на датасете, состоящем из 400 страниц из 10 различных черных цифровых архивов. Наши результаты показали, что логика разметки текста, учтенная в нашей системе, приводит к значительному повышению точности в распознавании текста и сохранению структуры. Мы также приложили три оценочных метрики: Semantic Coherence Score (SCS), Region Entropy (RE) и Textual Redundancy Score (TRS), которые помогли измерить не только точность распознавания, но и качество сохранения семантической логики и убедиться в том, что модель не утрачивает информативности в тексте. ## Значимость Наша работа имеет большое значение для сохранения и анализа цифровых архивов черных сообществ. Она может быть применена в различных областях, включая хранение и анализ исторических документов, создание моделей для распознавания текста в специ