Хейт спич — одна из наиболее вредных и распространенных форм дискурса в социальных сетях, включая X (ранее Twitter), Facebook и Instagram. Он приводит к серьезным последствиям для индивидуумов и общества. Авторы статьи "Advancing Hate Speech Detection with Transformers: Insights from the MetaHate" предлагают использовать трансформерные модели для его автоматического замещения. Они исследовали 36 датасетов, объединенных в MetaHate (1,2 млн примеров), и сравнили такие модели, как BERT, RoBERTa, GPT-2 и ELECTRA. Файнайдженная модель ELECTRA показала F1-меру 0,8980, лучше других. Анализ ошибок показал, что модели сталкиваются с сарказмом, кодированным языком и шумом в метках. Результаты подтверждают мощность трансформеров в решении задачи детекции хейт спича и выделяют необходимость улучшения понимания контекста в моделях.

Адаптивная обработка языков, особенно в режиме одновременной передачи (SimulST), остается сложной задачей из-за конфликта между качеством перевода и задержкой. Авторы предлагают REINA (Regularized Entropy INformation Adaptation) — новую методологию оптимизации этого баланса. Основываясь на принципах информационной теории, REINA регулирует потери для обучения адаптивной стратегии, оптимально распределяющей ресурсы между ждать дополнительных данных и начать перевод. Это решение, примененное к нескольким языкам (французский, гибрид с немецким и испанским), показало сокращение задержек при сохранении высокого качества перевода. Основным выводом является, что REINA позволяет достичь сокращения задержки до 21%, сохранив высокую точность перевода в сравнении с другими подходами. Это значительно повышает эффективность SimulST-систем, улучшая задачу реалитийного времени в переводе.

Активный исследовательский потенциал в области низкобитных моделей языковых моделей лежит в развитии Quantization-Aware Training (QAT), которое включает в себя квантизацию во время обучения. Однако существующие подходы ограничиваются улучшением точности квантизации в рамках upper bound, задаваемого точностью полного точности (accuracy ceiling). Данная работа предлагает революционную методологию, позволяющую сдвинуть этот upper bound и достичь новой точности, потому что всякий раз, когда мы квантизируем full-precision model, мы уже оптимизируем ему его точность. Авторы представляют Fairy$\pm i$, первую 2-битную квантизационную модель для complex-valued LLMs. Она использует симметричность и информационную оптимальность 2-битной системы вещественных чисел $\{\pm1, \pm i\}$, что позволяет воспроизводить сложность информационного пространства с минимумом компьютерных операций. Эксперименты показывают, что Fairy$\pm i$ не только способна выйти за пределы существующих 2-битных моделей, но и достигает высокой точности и эффективности, в то же время гарантируя низкий расход ресурсов. Это действительно новая дирекция для развития highly accurate, practical LLMs.