Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models

## Контекст Omni-modal Large Language Models (OLLMs), которые объединяют в себе обработку текстовых, аудио и визуальных данных, приобретают все большую популярность. Однако это создает серьезные безопасности вопросы, так как непредвиденные или вредоносные выходы могут возникнуть в результате неверного понимания значительного объема входных данных. Несмотря на существование бенчмарков для обычных текстовых LLM, нет конкретных методologi для оценки безопасности OLLMs в условиях аудио-визуальных входных данных. Это мотивирует развитие бенчмарка Omni-SafetyBench, первого подобного направлении, для эффективной оценки безопасности OLLMs. ## Метод Omni-SafetyBench включает 24 различных модальных комбинаций с 972 семплами каждого. Он поддерживает аудио-визуальные сценарии, включая специфические эксперименты на вредоносные входы. Для оценки безопасности OLLMs вводятся две новые метрики: Safety-score, основанный на показателе успешности атаки (C-ASR) и отказа (C-RR), чтобы рассмотреть возможность недоумия модели, и Cross-Modal Safety Consistency Score (CMSC-score), чтобы измерить согласованность в работе модели по разным модальностям. ## Результаты Оценка 6 открытых и 4 закрытых OLLM показала существующие проблемы: ни одна модель не показывает высокую производительность в обеих метриках, и только три модели достигли оценки выше 0.6 в каждой. Общая безопасность особенно страдает при аудио-визуальных входах. Некоторые модели показывают очень низкие результаты на определенных модальностях, достигая значений 0.14. ## Значимость Omni-SafetyBench оказывается важной инструментой для изучения проблем безопасности OLLM. Он может применяться в сферах, где возникают риски моделей, и предоставляет новые возможности для создания безопасных моделей. Результаты опытов показывают, что нужны улучшения в области оценки безопасности OLLM, а также в самих моделях, которые должны быть более состоятельными и надёжными в работе с аудио-визуальными входами. ## Выводы Omni-SafetyBench демонстрирует критические уязвимости OLLM в сфере безопасности и выделяет важность дальнейших работ по улучшению метрик, моделей и методологий для безопасного использования OLLM в сложных аудио-визуальных условиях.