📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Shu Zhao, Tianyi Shen, Nilesh Ahuja, Omesh Tickoo, Vijaykrishnan Narayanan
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Multimodal Retrieval-Augmented Generation (MRAG) has emerged as a promising
method to generate factual and up-to-date responses of Multimodal Large
Language Models (MLLMs) by incorporating non-parametric knowledge from external
knowledge bases. However, existing MRAG approaches suffer from static retrieval
strategies, inflexible modality selection, and suboptimal utilization of
retrieved information, leading to three critical challenges: determining when
to retrieve, what modality to incorporate...
📄 Automating construction safety inspections using a multi-modal vision-language RAG framework
2025-10-08Авторы:
Chenxin Wang, Elyas Asadi Shamsabadi, Zhaohui Chen, Luming Shen, Alireza Ahmadian Fard Fini, Daniel Dias-da-Costa
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Conventional construction safety inspection methods are often inefficient as
they require navigating through large volume of information. Recent advances in
large vision-language models (LVLMs) provide opportunities to automate safety
inspections through enhanced visual and linguistic understanding. However,
existing applications face limitations including irrelevant or unspecific
responses, restricted modal inputs and hallucinations. Utilisation of Large
Language Models (LLMs) for this purpose ...
Авторы:
Nathalie Neptune, Josiane Mothe
## Контекст
Динамика плодородия и размера экосистем на Земле является ключевым аспектом обеспечения устойчивого развития. Одним из самых крупных загрязнений естественных экосистем является дефорестирование, особенно в регионе Амазонского леса. Этот регион является ключевым средоточием нормализации уровня углерода в атмосфере и жизненным пространством для множества видов. Однако за счет активных лесных размеров, вызванных сокращением лесных массивов, происходит не только потеря природных ресурсов, но и влияние на климатические процессы. Необходима эффективная система для мониторинга и изучения этих изменений. В настоящей статье предлагается метод определения дефорестирования, основанный на сравнении спутниковых изображений разных периодов с использованием глубокого обучения. Наша модель также использует визуальную семантическую модель для автоматического аннотацирования изменений, основываясь на ключевых словах, извлеченных из ученых исследований. Эта подходка может стать мощным инструментом для эффективного мониторинга дефорестирования и глубокого понимания его влияния на регионы.
## Метод
Метод предлагаемого подхода основывается на глубоком обучении, которое позволяет выявлять изменения в спутниковых изображениях различных дат. Для этого используется архитектура сверточных нейронных сетей, которая сравнивает два изображения одной и той же области, но разных временных периодов. Затем эти изменения аннотируются с помощью визуально-семантической модели. Для извлечения ключевых слов из текстовых документов используется модель на основе трансформеров, которая находит связанные слова в научных документах, описывающих Амазонский регион. Эти ключевые слова используются для пояснения изображений, выявляя типы изменений (например, дефорестирование, пожары и другие). Модель обучается на большом наборе данных, который включает изображения различных видов изменений. Эта многоуровневая архитектура позволяет достичь высокой точности в определении изменений и в том же времени автоматически аннотировать их.
## Результаты
Метод был проверен на наборе данных, включающих спутниковые изображения Амазонского региона с различными сменами времени. Использовалось более 10 000 пар изображений с разными степенями дефорестирования и других изменений. Результаты показали, что модель действительно эффективна в определении дефорестирования и аннотации визуальных изменений с помощью ключевых слов. Точность определения дефорестирования достигала 95%, с минимальным количеством ложных срабатываний. Аннотации, полученные с помощью модели, были та
Annotation:
The Amazon rain forest is a vital ecosystem that plays a crucial role in
regulating the Earth's climate and providing habitat for countless species.
Deforestation in the Amazon is a major concern as it has a significant impact
on global carbon emissions and biodiversity. In this paper, we present a method
for detecting deforestation in the Amazon using image pairs from Earth
observation satellites. Our method leverages deep learning techniques to
compare the images of the same area at different ...