Explicit Context-Driven Neural Acoustic Modeling for High-Fidelity RIR Generation

#### Контекст Реалистичное звуковое симулирование играет важную роль во многих приложениях, от виртуальной реальности до аудиоинженерии. Одной из ключевых компонент в этой области является room impulse response (RIR), которая описывает как звук распространяется от источника до слушателя в заданном пространстве. Несмотря на то, что некоторые нейросетевые подходы, основанные на неявных методах, используют контекстную информацию, такую как сценические изображения, они часто недостаточно эффективно используют геометрические характеристики среды. Это способствует недостатку точности в прогнозировании RIR. Наша мотивация заключается в разработке модели, которая более эффективно использует такие искомое пространство. #### Метод Мы предлагаем Mesh-infused Neural Acoustic Field (MiNAF), которая интегрирует нейросетевые неявные модели с явной геометрической информацией, полученной из локальных мешей среды. Каждая точка в среде активирует меш, который возвращает распределение расстояний до стен. Эта явная контекстная информация объединяется с неявными моделями, чтобы улучшить точность генерации RIR. Мы используем архитектуру сети, которая обучается на данных с несколькими зонами пространства, чтобы добиться высокой точности и универсальности. #### Результаты Мы провели эксперименты с разными наборами данных, включая сценические изображения и геометрические признаки. Выяснилось, что MiNAF превосходит современные методы в сравнительных экспериментах по метрикам качества, таким как Signal-to-Noise Ratio (SNR) и Mean Absolute Error (MAE). Наши результаты показывают, что явная геометрическая контекстная информация значительно улучшает точность в генерации RIR, особенно при ограниченных объемах обучающих данных. #### Значимость MiNAF может применяться в различных областях, таких как виртуальная реальность, симуляции аудио-сред, и звуковое моделирование в играх. Она предоставляет несколько преимуществ, включая улучшенную точность, эффективность и универсальность. Этот подход открывает новые возможности для создания более реалистичных звуковых симуляций в различных сценариях. #### Выводы Мы успешно показали, что MiNAF не только превосходит другие существующие методы, но и демонстрирует высокую универсальность и точность в различных условиях. В дальнейших исследованиях мы планируем расширить модель, включив более сложные сцены и звуковые признаки, для еще более реалистичного звукового моделирования.