RISE: Enhancing VLM Image Annotation with Self-Supervised Reasoning

#################### ## Контекст #################### Визуально-языковые модели (Vision-Language Models, VLMs) сталкиваются с трудностями при решении сложных задач аннотации изображений, таких как классификация эмоций, контекстно-зависимая распознавание объектов и семантический анализ. Эти задачи требуют высокого уровня сложного рассуждения и понимания. Несмотря на прогресс в области машинного обучения, существующие подходы, такие как Standard Supervised Fine-Tuning (SFT), оптимизируются только для достижения высокого качества аннотации, не учитывая обоснования решений. Visual Reinforcement Fine-Tuning (Visual-RFT), в свою очередь, страдает от неконсистентности Chains of Thought (CoTs) из-за отсутствия хорошо проверенных CoTs в процессе пре-тренировки. Многие попытки создать прозрачные и обоснованные модели столкнулись с проблемами в масштабировании и качестве применения. Наша модель RISE (Reason-Inspire-Strengthen-Expertise) предлагает совершенно новую архитектуру, которая способна расширять возможности VLMs в выполнении сложных контекст-зависимых задач с использованием новых, высококачественных цепей рассуждений. #################### ## Метод #################### Методология RISE состоит из двух основных этапов. В первом этапе, **Reason**, используется замкнутый цикл "аннотация-рассуждение-аннотация", основанный на reinforcement learning. Здесь происходит формирование цепей рассуждений (CoTs), которые анализируют изображения, выводят логические обоснования и возвращают итоговую аннотацию. Важной особенностью является то, что предложенные CoTs проверяются на возможность восстановить оригинальные аннотации без непосредственного доступа к исходным данным. Это позволяет достичь высокого уровня корректности и логической консистентности. Во втором этапе, **Inspire and Strengthen**, выбирается наилучшая часть CoTs, прошедшая предыдущий эксперимент, и используется для подтвреждения модели в процессе supervised fine-tuning. Далее используется reinforcement fine-tuning для дальнейшего усовершенствования модели, улучшая ясность и точность в процессе рассуждений. #################### ## Результаты #################### Мы тестировали модель RISE на сложных и простых задачах аннотации изображений, используя модель Qwen2-VL-2B. Результаты показали, что RISE-trained Qwen2-VL-2B существенно превосходит SFT и Visual-RFT в точности, устойчивости и качестве вывода. Эксперименты проводились на различных датасетах, включая задачи классификации эмоций, контекстно-зависимого распознавания объектов и семантического анализа. Например, в задаче классификации эмоций RISE показал увеличение точности более чем на 10% по сравнению с базовыми моделями. Помимо этого, RISE способен формировать понятные и логически корректные обоснования, что делает модель более интерпретируемой и надежной в с