📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
📄 AI-Based Measurement of Innovation: Mapping Expert Insight into Large Language Model Applications
2025-08-09Авторы:
Robin Nowak, Patrick Figge, Carolin Haeussler
Измерение инноваций часто опирается на контекст-зависимые показатели и экспертные оценки, что ограничивает эмпирические исследования в сфере инноваций. В статье предлагается фреймворк на основе ларже лангуэдж моделей (LLM), который автоматизирует измерение инновации с помощью аппроксимации оценок экспертов из неструктурированных текстовых данных. Это решение устраняет ограничения, связанные с трудоемкими и дорогостоящими экспертными оценками.
В двух исследованиях проверяется производительность и надежность LLM-фреймворка для измерения инновации в двух сферах: (1) оценке инновационности обновлений программного обеспечения и (2) пользовательских отзывов и предложений по улучшениям продуктов. Фреймворк показал лучшие результаты по F1-мере и надежности в сравнении с альтернативными методами из предыдущих исследований и современными ML/DL-моделями.
Основные выводы: LLM могут значительно улучшить измерение инноваций, обеспечивая доступность, надежность и эффективность для R&D-команд, исследователей и рецензентов. Авторы также охватывают влияние ключевых решений, таких как выбор модели, обучение с подкреплением, размер и распределение тренировочных данных.
Annotation:
Measuring innovation often relies on context-specific proxies and on expert
evaluation. Hence, empirical innovation research is often limited to settings
where such data is available. We investigate how large language models (LLMs)
can be leveraged to overcome the constraints of manual expert evaluations and
assist researchers in measuring innovation. We design an LLM framework that
reliably approximates domain experts' assessment of innovation from
unstructured text data. We demonstrate the per...
Авторы:
Mateusz Bystroński, Grzegorz Piotrowski, Nitesh V. Chawla, Tomasz Kajdanowicz
**Резюме**
В статье предлагается LatentPrompt — модель-агностичный фреймворк для оптимизации предложений (prompts) в широковещательных языковых моделях (LLMs). Одной из основных проблем в этой области является то, что многие текущие подходы к оптимизации предложений полагаются на руководство экспертом или на использование техник, которые могут быть неэффективными или ограниченными в своих возможностях. LatentPrompt автоматически генерирует, оценивает и усовершенствованные предложения в пространстве смысловых соотношений, не требуя ручного вмешательства в процесс. Он начинает с набора семяных предложений, которые он затем кодирует в пространство непрерывных векторов и исследует это пространство, чтобы найти ту или иную самую эффективную комбинацию в зависимости от задачи. Запуск экспериментов на датасете Financial PhraseBank показал увеличение точности классификации на 3 процента, что демонстрирует высокую эффективность LatentPrompt. Фреймворк широко применим, требуя только черно-коробкового доступа к модели языка и метрики автоматической оценки, что делает его подходящим для различных доменов и задач.
Annotation:
Recent advances have shown that optimizing prompts for Large Language Models
(LLMs) can significantly improve task performance, yet many optimization
techniques rely on heuristics or manual exploration. We present LatentPrompt, a
model-agnostic framework for prompt optimization that leverages latent semantic
space to automatically generate, evaluate, and refine candidate prompts without
requiring hand-crafted rules. Beginning with a set of seed prompts, our method
embeds them in a continuous lat...
Авторы:
Md Tasin Abir, Arpita Chowdhury, Ashfia Rahman
В настоящей работе исследуется роль Facebook в формировании коллективной идентичности в ходе про-демократического восстания в Бангладеш, известного как Монсонный Восстание, в июле 2024 года. В условиях репрессий властей активисты пользовались Facebook как первостепенной площадкой для протеста, где мультимодальные выражения, включая изображения, мемы, видео, хэштеги и сатирические записи, стали ключевыми средствами усиления протестных движений. Исследование, основанное на квалитативном подходе, анализирует визуальную реторику, лексический дискурс и цифровую иронию, выявляя, каким образом общие символы, протестное искусство и слоганы способствовали формированию солидарности. Отдельное внимание уделено символическому использованию красного, ироническому восприятию термина "Разакар" и распространению визуальных материалов, освещающих смелость, несправедливость и сопротивление. Результаты показывают, что сочетание визуальных и лексических приемов на Facebook не только мобилизовало мнение общества, но и сформировало сильную коллективную идентичность, которая противостояла авторитарным повесткам. Это демонстрирует мощность онлайн-платформ в качестве инструментов конструирования идентичности и политической мобилизации в цифровой эпохе.
Annotation:
This study investigates how Facebook shaped collective identity during the
July 2024 pro-democracy uprising in Bangladesh, known as the Monsoon Uprising.
During government repression, protesters turned to Facebook as a central space
for resistance, where multimodal expressions, images, memes, videos, hashtags,
and satirical posts played an important role in unifying participants. Using a
qualitative approach, this research analyzes visual rhetoric, verbal discourse,
and digital irony to reveal h...
Авторы:
Shuzhou Yuan, Zhan Qu, Mario Tawfelis, Michael Färber
**Резюме**
В статье рассматривается тематика исследования того, насколько Large Language Models (LLMs) способны поддерживать психолингвистические отклики в зависимости от монолингвальных и билингвальных контекстов. Для этого проводилось исследование двух моделей (Llama-3.3-70B-Instruct и Qwen2.5-72B-Instruct) под сценариями подсказок в английском, голландском и китайских языках. Для оценки результатов были использованы две задачи: звуковой символизм и оценка валиентности слов.
Результаты показали, что обе модели могут адаптировать свои ответы в зависимости от установленного языка, с Qwen, в свою очередь, демонстрируя более точные и четкие различия между китайским и голландским. Детальное анализирование также показало, что внутренние психолингвистические сигналы становятся более четкими в глубине слоёв моделей, при этом в языке китайских ситуаций демонстрируется более стабильность и силу валиентных представлений по сравнению с голландским.
В итоге модели LLM показали способность усвоить и кодировать психолингвистическую информацию в зависимости от монолингвальной и билингвальной контекстной среды. Это позволяет сделать вывод, что язык в контексте моделей LLM отражает и внутренние представления, и выходные ответы, что является важной находкой для использования этих моделей в качестве моделей кросс-языковой когнитивной информации.
Annotation:
Large Language Models (LLMs) exhibit strong linguistic capabilities, but
little is known about how they encode psycholinguistic knowledge across
languages. We investigate whether and how LLMs exhibit human-like
psycholinguistic responses under different linguistic identities using two
tasks: sound symbolism and word valence. We evaluate two models,
Llama-3.3-70B-Instruct and Qwen2.5-72B-Instruct, under monolingual and
bilingual prompting in English, Dutch, and Chinese. Behaviorally, both models
...
Авторы:
Zhan Qu, Shuzhou Yuan, Michael Färber
Исследователи изучили потенциал крупных лингвистических моделей (LLMs) для генерирования классического китайского паоши (Songci), характерного строгими структурными, тональными и рифмовыми ограничениями. Для этого разработано систематическое оценивающее рамфармевое, включающее формальную соответствие, лингвистический тестировании посредством LLMs, гуманное оценивание и пробные задачи классификации. Оценивались 18 моделей (3 коммерческие и 15 открытые), используя пять стратегий подсказок: zero-shot, one-shot, completion-based, instruction-tuned и chain-of-thought. Оказалось, что модели с тренировкой под конкретные задачи показали лучшие результаты. Для повышения качества генерации предложен архитектура Generate-Critic, в которой функционирует критическая система оценки, используемая для подкрепленного обучения (SFT), что привело к улучшению соответствия до 5.88%. Результаты демонстрируют сложность генерирования паоши и эффективность развитых методов для такой культурно-значимой и строго ограниченной текстовой генерирования.
Annotation:
This paper presents a systematic investigation into the constrained
generation capabilities of large language models (LLMs) in producing Songci, a
classical Chinese poetry form characterized by strict structural, tonal, and
rhyme constraints defined by Cipai templates. We first develop a comprehensive,
multi-faceted evaluation framework that includes: (i) a formal conformity
score, (ii) automated quality assessment using LLMs, (iii) human evaluation,
and (iv) classification-based probing tasks. ...
📄 I Have No Mouth, and I Must Rhyme: Uncovering Internal Phonetic Representations in LLaMA 3.2
2025-08-09Авторы:
Jack Merullo, Arjun Khurana, Oliver McLaughlin
Ларже лангудже модели, несмотря на отсутствие прямого звукового обогащения, показывают хорошую производительность на гармонических задачах, таких как согласование. В данной работе рассматривается механизм, с помощью которого LLaMA 3.2-1B-Instruct обрабатывает такие задачи. Мы выяснили, что модель основывается на богатом внутреннем моделировании фонемов, чтобы выполнять эти задачи. В латентном пространстве LLaMA обнаруживается организованная система представления фонемов, а также выделяется "phoneme mover head", который активно участвует в выполнении задач согласования. Мы также отобразили выходное пространство этого узла и обнаружили, что LLaMA самостоятельно вырабатывает модель гласных, которая, несмотря на отсутствие прямого вдохновения, тесно напоминает традиционную ИПА-карту гласных. Эти результаты облегчают понимание латентных процессов в моделях текстового понимания.
Annotation:
Large language models demonstrate proficiency on phonetic tasks, such as
rhyming, without explicit phonetic or auditory grounding. In this work, we
investigate how \verb|Llama-3.2-1B-Instruct| represents token-level phonetic
information. Our results suggest that Llama uses a rich internal model of
phonemes to complete phonetic tasks. We provide evidence for high-level
organization of phoneme representations in its latent space. In doing so, we
also identify a ``phoneme mover head" which promotes...
Авторы:
Karan Reddy, Mayukha Pal
Технические документы часто содержат сложные синтаксические структуры и сложносвязанные сущности, что создает сложности для стандартных трансформерных моделей. Мы предлагаем Contextual Graph Transformer (CGT) — гибридную модель, объединяющую Graph Neural Networks (GNNs) и Transformer для эффективного справки в доменах с особыми требованиями. CGT строит динамическую графовую структуру над токенами, используя последовательные, skip-gram и семантические связи, а затем эти структуры обрабатываются GATv2Conv-слоями для извлечения локальных структур. Обобщенные эмбеддинги передаются в Transformer-энкодер для построения глобальных зависимостей. CGT эффективнее базовых моделей, таких как GPT-2 и BERT, с меньшим количеством параметров и лучшим адаптированным к техническим документам подходом. Модель протестирована в контексте Retrieval-Augmented Generation (RAG) и показала себя эффективнее, повысив точность на 24.7% с меньшим потреблением ресурсов. Это подтверждает её подходительность для решения задач восстановления информации в технических документах.
Annotation:
Standard transformer-based language models, while powerful for general text,
often struggle with the fine-grained syntax and entity relationships in complex
technical, engineering documents. To address this, we propose the Contextual
Graph Transformer (CGT), a hybrid neural architecture that combines Graph
Neural Networks (GNNs) and Transformers for domain-specific question answering.
CGT constructs a dynamic graph over input tokens using sequential, skip-gram,
and semantic similarity edges, whi...
Авторы:
Anastasia Zhukova, Terry Ruas, Felix Hamborg, Karsten Donnay, Bela Gipp
Научная статья "What's in the News? Towards Identification of Bias by Commission, Omission, and Source Selection (COSS)" рассматривает проблему определения биаса в новости, которая становится все более актуальной в условиях переполненного информационного пространства. Авторы предлагают методологию для автоматического выявления биаса по трем категориям: комиссии (комиссионному биасу), омиссии (отсутствию информации) и выбору источников (source selection). Эта методика представлена в виде потока задач с целями и задачами каждого этапа, а также демонстрируется пример визуализации, использующей извлеченные признаки и шаблоны текстового воспроизведения. Основной вывод состоит в том, что это подход позволяет объединить ранее рассматриваемые отдельно типы биаса в единую модель, улучшая точность и совершенствование анализа новостных текстов.
Annotation:
In a world overwhelmed with news, determining which information comes from
reliable sources or how neutral is the reported information in the news
articles poses a challenge to news readers. In this paper, we propose a
methodology for automatically identifying bias by commission, omission, and
source selection (COSS) as a joint three-fold objective, as opposed to the
previous work separately addressing these types of bias. In a pipeline concept,
we describe the goals and tasks of its steps towar...
📄 Building and Aligning Comparable Corpora
2025-08-09Авторы:
Motaz Saad, David Langlois, Kamel Smaili
**Резюме**
В статье предлагается метод создания и выравнивания сходных корпусов (comparable corpora) для многоязычных задач NLP, когда параллельные тексты отсутствуют. Авторы собрали сходные документы из Википедии и EURONEWS в английском, французском и арабском языках, а затем использовали кросс-языковые меры сходства для их выравнивания. Особое внимание уделено двум подходам: основанному на билингвальном словаре и Latent Semantic Indexing (LSI). Исследования показали, что LSI-мера демонстрирует лучший результат в сравнении с билингвальным словарем.
Кроме того, авторы собрали и анализировали документы из BBC и Al Jazeera, использовав CL-LSI для автоматического выравнивания документов по темам и событиям. Эксперименты подтвердили, что CL-LSI эффективно выравнивает документы как на тематическом, так и на событийном уровне. Эти результаты показывают, что CL-LSI является эффективным инструментом для сбора и выравнивания сходных корпусов, даже при ограниченном доступе к параллельным текстам.
Annotation:
Comparable corpus is a set of topic aligned documents in multiple languages,
which are not necessarily translations of each other. These documents are
useful for multilingual natural language processing when there is no parallel
text available in some domains or languages. In addition, comparable documents
are informative because they can tell what is being said about a topic in
different languages. In this paper, we present a method to build comparable
corpora from Wikipedia encyclopedia and EU...
Авторы:
Ali Noori, Pratik Devkota, Somya Mohanty, Prashanti Manda
Задача автоматического аннотирования клинических текстов стандартизированными медицинскими понятиями SNOMED CT является важной для обеспечения структурированного извлечения данных и поддержки принятия решений в сфере медицины. Однако ручной аннотирование текстов является затратным и неэффективным. В статье предлагается новая модель на основе Bidirectional GRU для автоматического распознавания SNOMED CT-концептов. Модель обучалась на сгенерированных данных от MIMIC-IV, обрабатывая текст с использованием SpaCy и SciBERT для токенизации и предобработки. Эта модель показала высокую точность с F1-мерой 90% на валидационном наборе данных, превосходя традиционные правила и другие нервные модели. Анализ показал, что модель эффективно обрабатывает амбигуозные термины и опечатки. Этот подход подтверждает, что легкие RNN-архитектуры могут обеспечить высокое качество аннотаций с меньшими затратами ресурсов, чем модели на transformer.
Annotation:
Automated annotation of clinical text with standardized medical concepts is
critical for enabling structured data extraction and decision support. SNOMED
CT provides a rich ontology for labeling clinical entities, but manual
annotation is labor-intensive and impractical at scale. This study introduces a
neural sequence labeling approach for SNOMED CT concept recognition using a
Bidirectional GRU model. Leveraging a subset of MIMIC-IV, we preprocess text
with domain-adapted SpaCy and SciBERT-base...
Показано 7251 -
7260
из 7506 записей