Subjective Behaviors and Preferences in LLM: Language of Browsing

## Контекст Современные бо LLM (Large Language Models) широко используются для решения различных задач: от генерации текстов до помощи в принятии решений. Однако, большинство тренировочных данных для этих моделей имеют широкую глобальную репрезентативность, не учитывая индивидуальных потребностей и предпочтений пользователей. Браузеры и приложения, особенно в мобильных средах, предлагают пользователям свободу в разных формах взаимодействия и браузеринга. Это поведение, как правило, является субъективным и идентично пользователю. Таким образом, вопрос о том, может ли большой модель быть эффективной для представления индивидуальных предпочтений, остается открытым. Мы исследуем, могут ли более мелкие бо быть более эффективными, чем большие, для представления индивидуальных поведений и предпочтений, особенно в области проведения браузеринга. ## Метод Мы предлагаем HeTLM (Heterogeneity-aware Training of Language Models), метод, который учитывает субъективность поведений пользователей при обучении модели. HeTLM разбивает пользователей на кластеры на основе их браузерных поведений и тренирует модель с группой параметров, отфокусированной на каждой группе. Мы сравниваем HeTLM с обычными LLM и определяем, какие модели предпочтения браузера могут лучше представлять субъективные поведения пользователей. Мы также изучаем, как поведение и предпочтения пользователей влияют на качество генерации текста в модели. ## Результаты Мы провели эксперименты с различными моделями, включая обученные с нуля модели, большие модели и HeTLM. Мы установили, что HeTLM не только представляет лучше субъективные поведения пользователей, но и показывает лучшую производительность в задачах генерации текста. Мы также обнаружили, что субъективные предпочтения пользователей могут влиять на то, как модель генерирует текст, в частности в случае самостоятельного браузеринга. Наши результаты показывают, что HeTLM может наиболее эффективно представлять индивидуальные поведения и предпочтения пользователей в сравнении с обычными моделями. ## Значимость Наши результаты показывают, что HeTLM имеет большой потенциал в области персонализации браузеринга. Он может быть применен в сфере пользовательских интерфейсов, чтобы предложить более конкретные рекомендации и улучшить пользовательский опыт. Также, мы увидели, что модель HeTLM может быть применена для создания более легковесных, но эффективных моделей, которые могут быть более экономичными в использовании ресурсов, чем большие модели. Это может иметь потенциал для улучшения браузеринга на мобильных платформах, где ресурсы часто ограничены. ## Выводы Наши резу