In-Loop Filtering Using Learned Look-Up Tables for Video Coding
2509.09494v1
eess.IV, cs.CV, cs.MM
2025-09-13
Авторы:
Zhuoyuan Li, Jiacheng Li, Yao Li, Jialin Li, Li Li, Dong Liu, Feng Wu
Резюме на русском
#### Контекст
Видеокодирование является ключевым элементом современных технологий по трансляции и хранению видео. Одним из основных задачей видеокодирования является уменьшение визуальных артефактов и повышение качества изображения. Для этих целей применяется in-loop filtering (ILF), способ, который интегрируется в цикл кодирования для уменьшения ошибок и повышения качества видео. Недавно, нейронные сети-на основе (DNN) были применены к ILF и показали впечатляющие результаты в повышении качества. Однако, использование DNN приводит к высокой сложности вычислений и требованиям к высокопроизводительному оборудованию, что ограничивает применение таких схем в реальных условиях. Мы исследуем решение, основанное на использовании look-up tables (LUTs), которое позволяет реализовать ILF с меньшей сложностью и затратами.
#### Метод
Мы предлагаем LUT-ILF++, универсальную систему ILF, основанную на LUTs, для видеокодирования. Процесс включает несколько ключевых этапов:
1. **Обучение DNN с ограниченным диапазоном входных данных** для генерирования эффективных LUTs.
2. **Индексация LUTs** с использованием пользовательских механизмов, позволяющих хранить необходимую информацию с минимальными затратами.
3. **Кросс-компонентный механизм** для объединения работы с разными цветовыми компонентами.
4. **LUT-схема сжатия**, позволяющая уменьшить затраты на хранение LUTs.
LUT-ILF++ был реализован в VVC reference software, что позволило провести эксперименты с реальными данными.
#### Результаты
Проведенные эксперименты показали, что LUT-ILF++ дает следующие результаты:
- **0.82%/2.97%/1.63%** снижение битрейта при использовании AI/RA/BA конфигураций.
- **0.85%/4.11%/2.06%** снижение битрейта для более сложных сценариев.
- Значительно меньшее время выполнения и требования к оборудованию по сравнению с DNN-решениями.
#### Значимость
Предложенная система LUT-ILF++ может быть применена в различных областях, включая реальное время видеокодирование в телекоммуникационных сетях и потоковое видео. Она обеспечивает значительное сокращение затрат на вычисления и хранение по сравнению с DNN-решениями. Это делает ее привлекательной для следующих поколений видеокодирования.
#### Выводы
LUT-ILF++ демонстрирует эффективность в ILF, обеспечивая высокое качество изображения с низкой сложностью вычислений и затратами на хранение. В дальнейших исследованиях мы планируем расширить применение LUTs в другие аспекты видеокодирования и изучить возможности повышения производительности на более широком наборе данных.
Abstract
In-loop filtering (ILF) is a key technology in video coding standards to
reduce artifacts and enhance visual quality. Recently, neural network-based ILF
schemes have achieved remarkable coding gains, emerging as a powerful candidate
for next-generation video coding standards. However, the use of deep neural
networks (DNN) brings significant computational and time complexity or high
demands for dedicated hardware, making it challenging for general use. To
address this limitation, we study a practical ILF solution by adopting look-up
tables (LUTs). After training a DNN with a restricted reference range for ILF,
all possible inputs are traversed, and the output values of the DNN are cached
into LUTs. During the coding process, the filtering process is performed by
simply retrieving the filtered pixel through locating the input pixels and
interpolating between the cached values, instead of relying on heavy inference
computations. In this paper, we propose a universal LUT-based ILF framework,
termed LUT-ILF++. First, we introduce the cooperation of multiple kinds of
filtering LUTs and propose a series of customized indexing mechanisms to enable
better filtering reference perception with limited storage consumption. Second,
we propose the cross-component indexing mechanism to enable the filtering of
different color components jointly. Third, in order to make our solution
practical for coding uses, we propose the LUT compaction scheme to enable the
LUT pruning, achieving a lower storage cost of the entire solution. The
proposed framework is implemented in the VVC reference software. Experimental
results show that the proposed framework achieves on average 0.82%/2.97%/1.63%
and 0.85%/4.11%/2.06% bitrate reduction for common test sequences, under the AI
and RA configurations, respectively. Compared to DNN-based solutions, our
proposed solution has much lower time complexity and storage cost.
Ссылки и действия
Дополнительные ресурсы: