Towards Universal Debiasing for Language Models-based Tabular Data Generation

#### Контекст Large language models (LLMs) достигли заметных успехов в генерации табличных данных. Однако, встроенные в табличные данные исторические биасы часто приводят к усилению федеральных проблем, особенно при взаимодействии нескольких преимущественных и защищенных атрибутов. Это может привести к неравенству в выводах моделей, что не приемлемо в приложениях высокого риска, таких как финансовая индустрия или здравоохранение. Мотивация для этого исследования заключается в создании универсальной системы борьбы с биасами, которая уменьшит зависимости между преимущественными и защищенными атрибутами, сохранив при этом качество выводов. #### Метод Наша стратегия основывается на авторегрессионной структуре и аналитических распределениях выборок, собственных для LLM-based табличных генераторов. Мы оцениваем мультиплеменное взаимодействие (mutual information, MI) между преимущественными и защищенными атрибутами непосредственно из выводов модели, используя её архитектуру. Это позволяет избежать трудоемких численных оценок. Далее, мы предлагаем два метода: UDF-DPO, который интегрируется с существующими моделями LLM, и UDF-MIX, который достигает дебиасинга без изменения параметров моделей. Для эффективности мы реализовали представление MI как часть архитектуры моделей, чтобы оценивать его в реальном времени. #### Результаты Мы провели эксперименты на нескольких табличных данных с преимущественными и защищенными атрибутами. Наши результаты показали, что UDF-DPO значительно улучшает справедливость выводов, уменьшая зависимости между атрибутами без существенного снижения качества. Также, UDF-MIX достигает похожих результатов без изменения моделей LLM. В сравнении с другими алгоритмами, вставляющими уровень биаса, наши решения показали лучшую гибкость и эффективность. #### Значимость Наша работа имеет широкие приложения в сферах, где необходима справедливость выводов, такие как финансовые услуги, здравоохранение и социальные сети. Она эффективно решает проблемы биаса, снижает риски неоправданных суждений и обеспечивает более справедливую интерпретацию данных. Высокая скорость и гибкость нашего подхода делают его привлекательным для реального времени применения. #### Выводы Мы представили универсальный фреймворк для дебиасинга LLM-based табличных моделей, который эффективно решает проблемы несправедливости в выводах. Мы продемонстрировали, что наш подход оказывается эффективным в различных сценариях и может быть расширен для других моделей и приложений. Будущие исследования будут сосредоточены на расширении этого фреймворка для более сложных структур данных и при