#### Контекст Объектно-ориентированная обработка изображений требует точного понимания геометрических отношений между объектами, в том числе их порядок видимости (вложенность). Эта задача становится особенно сложной в условиях сложных и плотно взаимодействующих объектов, характерных для реального мира. Традиционные модели имеют трудности в точном определении взаимосвязей между объектами, что приводит к ошибкам в цепочках предсказаний. Модели становятся более ограниченными в своей точности и универсальности. Наша мотивация заключается в развитии более точных и универсальных моделей, которые могут выделить и интерпретировать эти отношения, особенно в сложных, нелинейных сценах. #### Метод Мы предлагаем использовать базовую модель GPT-4, тренированную на обширных данных, для оценки порядка видимости объектов на изображениях. Методом является предоставление входных изображений и сопутствующих данных в форме специально сконструированного запроса (промпта). GPT-4 анализирует изображение и выдает оценку порядка видимости в виде текстового ответа. Далее, эти текстовые данные преобразуются в матрицу видимости (или "окклюзионный матриц"), которая может быть использована для дальнейшей обработки в различных задачах, таких как построение глубинных карт или многоуровневый анализ сцены. #### Результаты Мы проводили эксперименты с двумя датасетами: COCOA и InstaOrder. Использовались различные метрики для оценки точности предсказаний. Результаты показали, что использование семантического контекста, визуальных указателей и коммонсенса позволяет GPT-4 получать более точные результаты по сравнению с базовыми методами, особенно в областях, где другие модели сталкиваются с трудностями. Модель также показала возможность решать задачи без тренировки на аннотированных данных (zero-shot learning), что делает ее универсальной и эффективной в различных условиях. #### Значимость Предложенная модель может иметь широкие применения в области компьютерного зрения, включая распознавание сцен, машинное зрение для динамических сред, а также в обобщенные задачи, требующие точного понимания взаимосвязей объектов. Ее основное преимущество заключается в том, что она может работать в zero-shot режиме, чтобы избегать проблем с нехваткой данных и делать ее более развитой в плане интеллектуального анализа. Эта модель также может повысить точность в других задачах, таких как сегментация изображений и обнаружение объектов. #### Выводы Мы доказали, что GPT-4 может быть эффективно использована для восстановления порядка видимости в сложных сценах. Наша под

#################### ## Контекст #################### Multimodal image matching является ключевым заданием в области кросс-модального визуального перцепции, слияния и анализа данных. Оно заключается в установлении пиксельных соответствий между изображениями различных модальностей, таких как RGB и энергетические изображения. Однако высокая разница в аппаратуре и внешних условиях затрудняет этот процесс. Ограниченность высококачественных данных для обучения искусственных нейронных сетей существенно снижает их точность и универсальность. Vision Foundation Model (VFM) становится решением этой проблемы: он обучен на огромных данных и производит общие, устойчивые к модальности функции, которые могут быть использованы в разных сценариях. Мы предлагаем DistillMatch — метод, использующий методы знаний видной модели VFM для повышения эффективности метода мультимодального матчинга. #################### ## Метод #################### DistillMatch использует знания от VFM (например, DINOv2 и DINOv3) для построения легковесной модели-ученика. Метод добавляет в функции выделение модальности, которое помогает сохранить специфические для модальности функции. В дополнение, мы разработали V2I-GAN, архитектуру, которая увеличивает данные с помощью перевода видимых изображений в изображения с подобным моментом. Метод DistillMatch стремится к более высокой точности и универсальности в кросс-модальном матчинге. #################### ## Результаты #################### Мы проводили эксперименты на нескольких стандартных наборах данных. DistillMatch показал существенное улучшение по сравнению с существующими методами в кросс-модальном матчинге. Он достиг более высокой точности и универсальности, особенно в сложных условиях, таких как различия в модальностях и малом количестве данных. Эти результаты подтверждают эффективность нашего подхода в адаптации к различным сценариям. #################### ## Значимость #################### DistillMatch может применяться в различных областях, таких как кросс-модальный анализ, синтез изображений и системы поиска объектов. Он предоставляет высокую точность и гибкость, что делает его полезным для сложных задач визуального перцепции. Благодаря универсальности и эффективности, DistillMatch может стать мощным инструментом для развития технологий визуального анализа. #################### ## Выводы #################### Мы предложили DistillMatch — метод мультимодального матчинга, который использует знания из VFM для повышения качества и универсальности. Мы также разработали V2I-GAN для увеличения данных. Эксперименты показали существенное улучшение по сравнению с другими методами. Будущие исследования будут уделять внимание улучшению производительности для более сложных задач.

#### Контекст Medical image enhancement и segmentation являются критически важными задачами в современной клинической практике, но они ограничены искажениями и сложными анатомическими различиями. Традиционные методы deep learning часто основываются на сложных архитектурах с ограниченной интерпретируемостью. Хотя Kolmogorov-Arnold networks предлагают интерпретируемые решения, их использование склоняет функции в развернутой форме, что ломает пространственную структуру изображений. Мы предлагаем **Functional Kolmogorov-Arnold Network (FunKAN)** — новую функциональную нейросеть, специально разработанную для обработки изображений. Она генерически обобщает теорему Колмогорова-Арнольда на функциональные пространства и использует преобразования Фурье с базисом Гермита. #### Метод FunKAN основывается на каноническом Kolmogorov-Arnold network с функциональным представлением входных данных. Чтобы сохранить пространственную структуру, мы аппроксимируем входные данные с помощью Гермитовых функций и векторизуем их. Основная архитектура состоит из нейронных слоев, которые учитывают композицию внутренних функций. Мы оптимизируем FunKAN с помощью адаптивного метода градиентов и используем третичные функции для вычисления градиентов. Для segmentation, мы расширяем FunKAN в U-FunKAN, добавив encoder-decoder с skip-connections для улучшения передачи контекста. #### Результаты Мы проверили FunKAN на нескольких задачах обработки медицинских изображений, включая suppression Gibbs ringing в MRI и benchmarking на IXI dataset. На BUSI, GlaS и CVC-ClinicDB демонстрируется высокая точность в segmentation. Наши результаты показывают, что FunKAN превосходит другие KAN-based backbones в image enhancement (PSNR, TV) и segmentation (IoU, F1). Эти результаты подтверждают что FunKAN обеспечивает высокую точность и интерпретируемость, что делает его привлекательным для clinical practice. #### Значимость FunKAN может применяться в медицинских приложениях, таких как breast cancer, gland detection, и polyp detection. Его преимущества заключаются в том, что он позволяет получить точные и интерпретируемые результаты, даже в условиях сложной анатомии и искажений. Это может привести к улучшению clinical outcomes и помочь в направлении будущих исследований в области explainable AI. #### Выводы Мы завершаем, что FunKAN является перспективным решением для задач обработки изображений в медицине. Наши результаты показывают его превосходство над другими методами в области enhancement и segmentation. Будущие исследования будут сосредоточены на расширении FunKAN для более сложных задач и улучшении его эффективности в реальном времени.

## Контекст Оценка относительного положения камеры в пространстве является ключевым вопросом в области 3D-реконструкции и локализации. Традиционные методы двух-видовой оценки положения камеры не учитывают метрические расстояния, ограничиваясь получением только масштаба перемещения камеры. Это препятствует решению задач, требующих точных метрических оценок, в случаях широких базисных расстояний, текстурно-дефицитных и отражательных поверхностей. Данная работа адресует эти сложности, предлагая новый подход, основанный на использовании подхода "вид из одной точки" (single-view reconstruction) в сочетании с геометрической оценкой положения. ## Метод Разработанная методика GARPS (Gaussian Alignment for Relative Pose Estimation) представляет собой новую архитектуру, которая использует метрическую модель глубины и методы реконструкции сцены на основе гауссовских моделей. Основной механизм состоит в том, чтобы воссоздать трёхмерную модель каждого кадра используя модель глубины и оценить относительное положение камеры через выравнивание этих трёхмерных моделей. Для того, чтобы повысить точность, алгоритм GARPS использует не только геометрическую информацию, но и консистентность цветовых признаков и семантических особенностей. Метод является тренировочно-свободным, что делает его универсальным и гибким. ## Результаты Исследования проводились на датасете Real-Estate10K, который представляет собой несколько тысяч сцен, включая различные условия съемки. Результаты показали, что GARPS превосходит общую эффективность и точность как классических, так и современных методов оценки относительного положения камеры. Особое внимание в тестах уделено обработке широких базисных расстояний и текстурно-дефицитных областей, где остальные методы часто страдают от погрешности. ## Значимость Разработанный подход имеет широкие перспективы применения в 3D-реконструкции, локализации и системах видеонаблюдения. Он отличается высокой точностью и универсальностью, поскольку не требует предварительного обучения и может обрабатывать даже трудные случаи, такие как отражательные и текстурно-дефицитные поверхности. Данный подход может стать основой для следующих исследований в области многовидовой геометрии и глубокого обучения. ## Выводы Результаты экспериментов подтверждают эффективность нового подхода GARPS в точной оценке относительных положений камер. Этот подход открывает новые горизонты для применения глубокого обучения в сложных сценах, где существуют ограничения по текстуре и базису. Будущими направлениями исследований могут стать улучшения реконструкци