Just Because You Can, Doesn't Mean You Should: LLMs for Data Fitting

## Контекст Large Language Models (LLMs) становятся все более популярными во всех областях применения, включая задачи не связанных с языком. Одним из таких применений является использование LLMs для данных подготовки и предсказания. Несмотря на их внеграфические возможности, LLMs не являются идеальными для таких задач. Например, изменение данных, которые не имеют отношения к задаче, может вносить существенные изменения в прогнозы LLMs. Этот вопрос требует детального изучения, чтобы понять, как LLMs обрабатывают данные и как это влияет на их прогнозы. ## Метод Для изучения этой проблемы, авторы проводят подробный анализ работы LLMs на примерах данных. Они изучают, как LLMs воспринимают и интерпретируют данные, особое внимание уделяется проблемам, связанным с несбалансированным вниманием к определенным частям данных. Авторы также исследуют, как определенные внесенные изменения в данных могут повлиять на прогнозы LLMs, даже когда эти изменения не имеют отношения к задаче. ## Результаты Исследования показали, что LLMs нередко оказываются чувствительными к изменениям данных, которые не имеют отношения к задаче. Например, простое изменение имён переменных может изменить ошибку прогноза на 82%. Анализ акцентов (attention scores) открытого типа LLM показал, что он неравномерно реагирует на различные части входных данных, даже когда это не должно происходить. Также было изучено специально разработанное для данных формирования TabPFN-система, но даже она не оказалась особенно устойчивой к таким изменениям. ## Значимость Полученные результаты имеют значительное значение для различных областей, в которых используются LLM для формирования данных. Особенно важно для систем, где точность прогнозов критична, таких как финансы, медицина и исследования. Использование LLMs для таких приложений может привести к ошибкам, если не будет приняты меры по улучшению их устойчивости. ## Выводы LLMs показывают великолепную подавляющую мощь и гибкость в обработке текста. Однако, когда применяются для формирования данных, они становятся чувствительными к изменениям, влияющим на прогнозы, даже если эти изменения не имеют отношения к задаче. Этот механизм требует дальнейшего рассмотрения и улучшения. Будущие исследования должны фокусироваться на улучшении устойчивости LLMs к задачу непосредственного прогнозирования.