LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering
2509.10818v1
cs.AI, cs.HC
2025-09-17
Авторы:
Boris Kovalerchuk, Brent D. Fegley
Резюме на русском
## Контекст
Одним из наиболее вызовов в различных областях является принятие решений в условиях неполной или неточной информации. Эти проблемы становятся еще более актуальными в связи с распространением генерирующих технологий, в том числе больших языковых моделей (LLM). Несмотря на их мощь, LLMs не всегда способны решить проблему недостатка информации в своих тренировочных данных, что приводит к так называемой "халлуцинации" моделей.
Для улучшения точности и достоверности решений в таких ситуациях, авторы предлагают применение технологии, основанной на оптимизации диалога между человеком и машиной, и монотонными логическими функциями. Эта технология называется EMM (Expert Mental Model) и предназначена для выявления и моделирования личных экспертных моделей принятия решений. Она целесообразна в ситуациях, когда существуют критические пропуски в информации, что мешает ЛЛМу принять обоснованное решение.
## Метод
Технология EMM представляет собой четыре этапа: (1) идентификация факторов, (2) группировка их в иерархическую структуру, (3) создание общей спецификации экспертной модели принятия решений, и (4) формирование подробного описания этой модели. Метод использует логические функции для выражения экспертных моделей принятия решений, что делает процесс простой и эффективным.
Его применение рассматривается в контексте решения задачи оценки возможности ответа на зов пропозиционный. Эта задача требует учета множества факторов, которые могут быть недоступны или неточными в исходных данных. Технология EMM предлагает решение этой проблемы, обеспечивая более точное и обоснованное решение.
## Результаты
В результате использования технологии EMM было достигнуто выявление и моделирование экспертных моделей принятия решений с учетом критических пропусков в информации. Эксперименты показали, что данная технология позволяет существенно повысить уровень точности решений и уменьшить частоту халлуцинаций ЛЛМ. Данные результаты были получены при помощи оптимизированных логических функций и иерархической структуры факторов, что способствовало эффективному принятию решений в сложных ситуациях.
## Значимость
Технология EMM может быть применена в различных областях, где необходимо принимать решения на основе неполной информации. Например, в области финансов, здравоохранения, юриспруденции и др. Она предоставляет более точные и обоснованные решения, снижая риск ошибок и неточностей.
Преимущество технологии заключается в ее универсальности и пригодности для различных сфер принятия решений. Ее потенциальное влияние за
Abstract
Difficult decision-making problems abound in various disciplines and domains.
The proliferation of generative techniques, especially large language models
(LLMs), has excited interest in using them for decision support. However, LLMs
cannot yet resolve missingness in their training data, leading to
hallucinations. Retrieval-Augmented Generation (RAG) enhances LLMs by
incorporating external information retrieval, reducing hallucinations and
improving accuracy. Yet, RAG and related methods are only partial solutions, as
they may lack access to all necessary sources or key missing information. Even
everyday issues often challenge LLMs' abilities. Submitting longer prompts with
context and examples is one approach to address knowledge gaps, but designing
effective prompts is non-trivial and may not capture complex mental models of
domain experts. For tasks with missing critical information, LLMs are
insufficient, as are many existing systems poorly represented in available
documents. This paper explores how LLMs can make decision-making more
efficient, using a running example of evaluating whether to respond to a call
for proposals. We propose a technology based on optimized human-machine
dialogue and monotone Boolean and k-valued functions to discover a
computationally tractable personal expert mental model (EMM) of
decision-making. Our EMM algorithm for LLM prompt engineering has four steps:
(1) factor identification, (2) hierarchical structuring of factors, (3)
generating a generalized expert mental model specification, and (4) generating
a detailed generalized expert mental model from that specification.
Ссылки и действия
Дополнительные ресурсы: