VaseVQA: Multimodal Agent and Benchmark for Ancient Greek Pottery

## Контекст В статье описывается проблема анализа культурно-исторических памятников, в том числе древнегреческой глиняной керамики, с помощью многомодальных языковых лингвистических моделей (MLLMs). Несмотря на свои огромные возможности, эти модели часто страдают от недостатка специализированного доменного знания и предрассудков, которые могут привести к неточностям в оценке и анализе таких памятников. Эти ошибки часто возникают при оценке точности, атрибуции и датировки культурных памятников. Улучшение моделей в этой области требует создания производительных методов, которые могут обеспечивать более точный и стабильный анализ. ## Метод В статье представлена VaseVL, система, основанная на последовательном обучении с подкреплением после подготовочного обучения (SFT-then-RL). Она представляет собой подход, в котором обучение с подкреплением используется для оптимизации модели, прошедшей подготовочные стадии обучения. Главный элемент этого подхода заключается в структурировании проблемы задания вопросов и ответов (QA) для древнегреческой керамики, используя типовую систему категорий. Модель VaseVL использует входные данные, такие как изображения керамики, текстовые описания, и получает задачи QA, относящиеся к разным типам керамики и их атрибутам. Метод использует типы задач для уточнения модели и создания ресурсов для дальнейшего анализа. ## Результаты Эксперименты проводились на датасете VaseVQA, состоящем из 31 773 изображений древнегреческой керамики. Модель VaseVL показала выдающиеся результаты в различных задачах, включая классификацию стилей и атрибуцию исторических памятников. Она достигла заметного выигрыша в композиционной устойчивости по сравнению с базовыми моделями, основанными только на обучении с подкреплением. Это подтверждает эффективность метода SFT-then-RL и его возможность усовершенствовать модели в области исторического анализа. ## Значимость Результаты модели VaseVL могут быть применены во всех областях, требующих точного анализа культурных памятников, в том числе в образовательных программах, музеях и исследовательских проектах. Она обеспечивает более точный и композиционно устойчивый анализ, что помогает улучшить процессы восприятия и анализа культурных памятников. Это также предоставляет новые возможности для дальнейших исследований в области машинного обучения для культурных исторических данных. ## Выводы Метод SFT-then-RL, использованный в VaseVL, показал свою эффективность в улучшении систем моделирования языка для анализа культурных памятников. Этот подход может