Fine-Tuning Vision-Language Models for Neutrino Event Analysis in High-Energy Physics Experiments

#### Контекст Область ядерных и высокоэнергетических экспериментов (HEP) стала в последние годы одной из самых актуальных в области физики. Одним из ключевых задач в этой области является классификация регистрируемых в экспериментах ядерных взаимодействий. Традиционные подходы к решению этой задачи основываются на использовании глубоких нейронных сетей (CNN), которые хорошо справляются с задачей классификации изображений. Однако, недавние прогрессы в области технологий многомодальных моделей (LLMs) открыли новые возможности для решения задач, включающих не только текстовую информацию, но и множество других модальностей, в том числе визуальные данные. В данной работе мы исследуем возможности тонкой настройки (fine-tuning) многомодальных моделей для классификации взаимодействий нейтрино, используя визуальные данные от детекторов экспериментов в высокоэнергетической физике. #### Метод Для решения поставленной задачи мы использовали модель Vision-Language Model (VLM), основанную на LLaMA 3.2. Модель была приведена к работе с визуальными данными, связанными с экспериментами в высокоэнергетической физике, в частности, с классификацией ядерных взаимодействий, зарегистрированных в пикселированных детекторах. Мы применяли методы тюнинга, применяя вспомогательные модели для дообучения модели LLaMA 3.2 на визуальных данных. Мы также использовали техники градиентного подъема (gradient ascent) и минимизации потерь (loss minimization) для оптимизации модели. Это позволило нам достичь лучшей точности и большей универсальности модели при работе с визуальными данными экспериментов в высокоэнергетической физике. #### Результаты Мы провели эксперименты с использованием данных от NOvA и DUNE, которые включали в себя визуальные данные от детекторов экспериментов. Мы сравнили полученные результаты модели VLM с традиционными CNN-моделями, используемыми в этих экспериментах. Результаты показали, что модель VLM не только выполняет лучше в классификации изображений, но и позволяет более эффективно интегрировать дополнительные текстовые данные и семантические контексты. Мы отметили увеличение точности и полноты классификации, а также повышение AUC-ROC в сравнении с традиционными CNN-моделями. Эти результаты демонстрируют, что VLM может значительно улучшить процесс классификации взаимодействий нейтрино в высокоэнергетических экспериментах. #### Значимость Наши результаты открывают новые перспективы для применения многомодальных моделей в высокоэнергетической физике. Модель VLM показала свою эффективность не только в классификации взаимодействий нейтрино, но и в решении других задач