Roll Your Eyes: Gaze Redirection via Explicit 3D Eyeball Rotation

## Контекст ### Область исследования и проблематика Газирование (gaze redirection) — это задача, направленная на изменение направления взгляда на лицевой картине, чтобы сделать ее более привлекательной или соответствовать желаемому направлению. Одной из основных проблем текущих методов является несостоятельность в создании реалистичных трехмерных эффектов. Они часто опираются на нейронные радиентные поля (NeRF), но эти подходы не могут эффективно реплицировать трехмерные движения глаз. Эта проблема вызывает необходимость разработки более реалистичных и эффективных систем газирования. ### Мотивация Высококачественное газирование лица требует точного моделирования трехмерного строения глаза и явных движений мышц. Недостаток в существующих методах побудил нас разработать новую архитектуру, которая могла бы преодолеть эти ограничения. ## Метод ### Описание методологии Мы предлагаем новую архитектуру газирования, основанную на трёхмерной структуре глаза и использовании 3D Gaussian Splatting (3DGS). Это позволяет использовать явные трехмерные представления для моделирования глаза и связанных с ними движений. Будучи чувствительной к деталям, эта модель представляет глаза как трехмерные сферы, где каждый пиксель представляет собой трехмерный шар. ### Технические решения и архитектура Мы разработали адаптивный модуль деформации, который моделирует микро-движения мышц вокруг глаз. Этот модуль позволяет добавить реалистичные небольшие движения, такие как скрижали глаз. Мы также используем глубокую нейронную сеть для оптимизации трехмерной модели и точного узнавания желаемого направления взгляда. ## Результаты ### Описание экспериментов Мы провели эксперименты на большом датасете ETH-XGaze, который содержит разнообразные лица и направления взгляда. Мы сравнили нашу модель с текущими лидерами в области газирования. Мы измерили качество генерируемых изображений и точность определения направления взгляда. ### Полученные результаты Наши эксперименты показали, что наша модель достигает более высокого качества изображений и более точного определения направления взгляда, чем другие методы. Мы также обнаружили, что нашу модель легче адаптировать к различным типам лиц и условиям съемки. ## Значимость ### Области применения Наш подход может быть применен в различных областях, включая виртуальную реальность, игровые индустрии, интерактивные системы и анализ человеческого поведения. Также, он может быть применим в медицине для моделирования глазных движений и диагностики. ### Пре