A Comparative Study of Decoding Strategies in Medical Text Generation

## Контекст В настоящее время большие языковые модели (LLMs) широко используются в различных областях, включая здравоохранение, где точность и качество генерируемого текста являются критически важными. Однако существуют различные стратегии декодирования, которые могут существенно сказаться на качестве генерируемого текста. Хотя существуют многочисленные исследования, посвященные сравнению моделей, менее узнаваемым темой является влияние стратегий декодирования на качество текста, особенно в контексте медицины. Многие модели, работающие в сфере здравоохранения, показывают некоторые ограничения в точности и качестве генерируемого текста, что может быть связано с выбором стратегии декодирования. Это привело к появлению интереса к тому, как различные стратегии декодирования влияют на качество текста в задачах, таких как перевод, суммаризация, вопрос-ответ, диалог и генерация контекстных образов в медицинской сфере. Данная работа призвана проанализировать эти вопросы и обеспечить подробное понимание влияния стратегии декодирования на качество текста в здравоохранении. ## Метод Для изучения влияния стратегий декодирования были выбраны пять открытых медицинских задач: перевод, суммаризация, вопрос-ответ, диалог и генерация контекстных образов. В качестве моделей использовались 11 стратегий декодирования, включая детерминированные (например, beam search) и стохастические (например, top-k sampling). Использовались два типа языковых моделей: специализированные для медицины и общеграфические. Данные, использованные в экспериментах, были получены из открытых баз данных, аналогичных MedQA и MIMIC-III. Эксперименты проводились с разными размерами моделей, чтобы оценить влияние модели на вывод. Были использованы несколько метрик, включая BERTScore, ROUGE и MAUVE, для оценки качества генерируемого текста. ## Результаты Результаты экспериментов показали, что детерминированные стратегии, такие как beam search, показали лучшие результаты по всем задачам, в то время как стохастические стратегии, такие как top-k sampling, демонстрировали худшие результаты. Было также обнаружено, что более быстрые стратегии декодирования, такие как top-k sampling, дают худший текст, в то время как медленные стратегии, такие как beam search, дают лучший. Большие модели показали лучшие результаты в целом, однако имели дольшее время вывода. Несмотря на то, что специализированные модели медицины становятся более точными в некоторых задачах, статистический анализ не показал значительного преимущества в общем качестве. Важно отметить, что decoding strategy может оказаться более важной для качества текста