Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets

#### Контекст Large Language Models (LLMs), развиты для обработки естественных языков, продемонстрировали возможность общего применения в различных областях. Используя внедренное обучение (in-context learning, ICL), LLMs могут выполнять предсказательные задачи структурированных данных без прямого оптимизационного адаптирования к конкретным задачам. Однако, необходимо изучить их эффективность на реальных структурированных данных, особенно в контексте малограмотных наборов данных. В настоящем исследовании мы исследуем эмпирические возможности LLMs в качестве предсказателей для классификации, регрессии и кластеризации на небольших табличных наборах данных, а также проводим сравнение с методами машинного обучения, такими как линейные модели, пакетные методы и модели воспроизводства табличных данных. #### Метод Мы используем несколько моделей LLMs, включая GPT-5, GPT-4o, GPT-o3, Gemini-2.5-Flash и DeepSeek-R1, применяемые в условиях нескольких выводов (few-shot prompting). Для оценки качества прогнозирования мы используем метрики качества, такие как точность классификации, MAE для регрессии и silhouette score для кластеризации. Для машинного обучения мы применяем классические модели, такие как линейные регрессоры, случайный лес и модели XGBoost, а также модели Tabular Foundation Models (TFMs), оптимизированные для табличных данных. Данные для экспериментов были сгенерированы из различных типов задач наборов данных, включая категориальные и числовые признаки. #### Результаты LLMs доказали высокую эффективность в задачах классификации даже при ограниченных объемах данных, устанавливая базовые значения для нулевого обучения. Однако, в задачах регрессии, где требуется прогнозирование непрерывных значений, результаты LLMs были значительно хуже, чем у использованных ML-моделей. Это можно объяснить тем, что регрессионные задачи требуют прогнозирования в большом (или бесконечном) пространстве значений. Для кластеризации результаты LLMs также остались невысокими, что можно связать с отсутствием реального внедренного обучения в этой области. #### Значимость Наше исследование открывает новые возможности для применения LLMs в бизнес-аналитике и эксплорейторных задачах, где необходим быстрый анализ данных. Модели LLMs могут стать важной альтернативой традиционным ML-процессам в таких областях. Мы также выявили, что качество прогнозирования LLMs сильно зависит от контекстного размера и структуры карт запросов (prompts), что может помочь оптимизировать их применение в практических ситуациях. #### Выводы Мы показали, что LLMs могут выступать как универсальные предсказатели для структурированных данных, при этом имеют сильные стороны в задачах классификации и существенные ограничения в регрессии и