Probing the Representational Power of Sparse Autoencoders in Vision Models

## Контекст В последние годы скрытые слои глубоких нейронных сетей стали получать всё больше внимания как источники репрезентативности, которые могут объяснить, как такие модели обрабатывают входные данные. Sparse Autoencoders (SAEs), являющиеся одним из таких инструментов, используются для расширения понимания скрытых слоев. Они обучаются восстанавливать активации из сжатой блокированной сети, чтобы выявить понятные признаки в высоком размерности. Хотя SAEs особенно популярны в области языковых моделей (LLMs), их потенциал в области визуальных моделей остается нередко недооцененным. Это делает важной целью этой работы провести подробное исследование и оценить характеристики SAEs в контексте визуальных моделей. ## Метод Для оценки мощности скрытых представлений SAEs в визуальных моделях была разработана многоэтапная методология. Во-первых, мы использовали трёхмерные модели визуального понимания, включая виджет-модели, многомодальные модели типа LMMы и диффузионные модели. Во-вторых, мы проводили эксперименты на различных образцах: OOD-обнаружении, построении онтологической структуры и контролируемой генерации. Мы разработали опытную процедуру для изучения того, как SAEs могут восстанавливать онтологическую структуру в LLMs. Для диффузионных моделей, мы использовали методы манипуляции текстовых энкодеров для управления генерацией и разработали автоматизированный канал для выявления человекопонятных признаков. В последнем этапе мы проводили исследования на многомодальных моделях типа LMM, чтобы исследовать, как SAEs могут обнаруживать взаимосвязи между визуальными и языковыми моделями. ## Результаты Наши эксперименты показали, что SAE-функции имеют сильную семантическую структуру и помогают в улучшении OOD-обнаружения. В моделях визуального понимания мы обнаружили, что SAEs могут восстановить онтологическую структуру внутренних представлений модели. В работе с диффузионными моделями мы разработали автоматический канал для выявления человекопонятных признаков и улучшили контролируемую генерацию изображений. Наконец, в многомодальных моделях типа LMM мы обнаружили, что SAEs могут выявлять общие представления между визуальными и языковыми моделями. Эти результаты показывают, что SAEs имеют высокую потенциальную ценность для улучшения интерпретируемости, общезначимости и управляемости визуальных моделей. ## Значимость Результаты этого исследования открывают путь к новым возможностям в области визуальных моделей, включая vision embedding models, multi-modal LLMs и diffusion models. SAEs могут быть использованы для улучшения интерпретируемости моделей, уве