Negative binomial regression and inference using a pre-trained transformer

#### Контекст Оценка параметров регрессии отрицательного биномиального распределения (Negative Binomial Regression, NBR) широко применяется в статистических исследованиях для анализа перекошенных распределений счётных данных. Однако в сценариях, требующих миллионов сравнений (таких как сравнение множества методик в машинном обучении), эта задача становится вычислительно трудоёмкой. Наиболее часто используемые методы оценки, такие как метод максимума вероятности (Maximum Likelihood Estimation, MLE), требуют вычисления многомерных интегралов, что замедляет работу на много раз. Имеются и другие методы, например, методы моментов, но их точность часто оставляет желать лучшего. Мы исследуем возможность использования предварительно обученной трансформерной модели для быстрого и точного вычисления параметров NBR. #### Метод Мы предлагаем использовать предварительно обученную модель, специально предназначенную для производства высокоточных оценок параметров NBR. Модель обучалась с помощью синтетических данных, генерирующихся с помощью случайных параметров NBR. Эта модель учитывает сложности в оценке NBR в масштабах миллионов сравнений. Мы изучаем, насколько хорошо эта модель может инвертировать процесс генерации данных и соответственно оценивать параметры. #### Результаты Мы провели эксперименты с различными размерами выборок и параметрами NBR. Наши результаты показали, что модель трансформера предоставляет более точные оценки параметров NBR по сравнению с MLE. Она работает 20 раз быстрее, что делает её привлекательной для высокомасштабных скринов, где быстрота критична. Однако методы моментов показали результаты, которые не уступают MLE в точности, но их вычислительная эффективность выше — они быстрее осуществляют оценки за тысячу раз меньше времени. #### Значимость Наше исследование открывает новые пути для эффективного анализа масштабных данных в сравнительных исследованиях. Использование предварительно обученных моделей трансформера позволяет ускорить работу, улучшить точность параметров и исключить необходимость в некоторых многомерных вычислениях. Это привлекательно для приложений в области машинного обучения, в том числе для обработки данных в ситуациях, когда требуется быстрота и точность. Однако методы моментов оказались более эффективными в сравнении, обеспечивая точность и быстроту, что делает их предпочтительным выбором в данной области. #### Выводы Мы успешно проверили модель трансформера для NBR, показав её преимущества в скорости и точности. Тем не менее, наше исследование также подчеркнуло значение методов моментов, которые