Sample-efficient Integration of New Modalities into Large Language Models

#### Контекст В настоящее время имеется возможность обрабатывать несколько модальностей путем использования multimodal foundation models. Однако, поскольку количество возможных модальностей велико и постоянно растет, обучение модели с нуля для включения всех модальностей становится невозможным. Кроме того, внедрение новой модальности в существующую foundation model требует значительного количества парных данных, которые часто недоступны для ресурсоподдерживающих модальностей. Данная работа предлагает метод sample-efficient integration (SEMI) для включения новых модальностей в Large Language Models (LLMs). SEMI позволяет эффективно использовать небольшое количество семплов для обучения модели на различных модальностях. #### Метод SEMI основывается на использовании hypernetwork, который может адаптировать shared projector, расположенный между modality-specific encoders и LLM. Этот hypernetwork обучается на высокоресурсных модальностях (например, текст, речь, звук, видео) и может адаптироваться к нестандартным модальностям в ходе вывода. Для увеличения разнообразия модальностей, используются isometric transformations, которые позволяют увеличить количество модальностей в ходе обучения. Например, для достижения той же точности, необходимо 64 раз больше данных, если обучать projector с нуля по сравнению с 32-shot SEMI. #### Результаты На основе экспериментов было показано, что SEMI эффективно включает новые модальности в LLMs с минимальным количеством данных. За счет hypernetwork можно использовать несколько модальностей, включая satellite images, astronomical images, inertial measurements и molecules. Это позволяет максимально эффективно использовать ресурсы и находит широкое применение в области multimodal foundation models. #### Значимость SEMI расширяет возможности foundation models, их модальности и границы. Это делает их более гибкими и пригодными для различных применений, включая видеообработку, доступ к информации и даже работу с нетипичными модальностями. Этот подход может способствовать дальнейшей разработке multimodal foundation models, увеличению их модификации, а также увеличению их разнообразия и гибкости. #### Выводы В данной работе был представлен эффективный подход для интеграции новых модальностей в LLMs с минимальными обучающими данными. Этот метод может быть применен для расширения возможностей foundation models. В будущем, технологии могут быть усовершенствованы для использования в различных приложениях, включая обработку данных с различных источников, включая video, astronomy и даже специальные модальности, такие как медицинская информация.