Apertus: Democratizing Open and Compliant LLMs for Global Language Environments

## Контекст На данный момент, область развития бо LLM (large language models) стала центром внимания в сфере искусственного интеллекта, в связи с их перспективами в области технического прогресса, экономического роста и улучшения качества жизни. Несмотря на это, имеются значительные проблемы, включая несоответствие данных, приватность и недостаточное представление многоязычности. Открытая доступность моделей часто связана с недостатком транспарентности в их разработке, что может привести к проблемам соответствия, безопасности и этичного применения. Например, многие открытые модели либо не предоставляют доступ к данным использованию, либо не соблюдают права собственности и этичных норм при обработке данных. Эти аспекты порождают нужду в эффективных и этичных решениях, обеспечивающих соблюдение законов, глобальное представление языков и повышение безопасности. ## Метод Apertus — это полностью открытая система на основе LLM, разработанная для решения проблем несоответствия данных и недостаточного представления многоязычности в открытом экосистеме моделей. Модели Apertus тренируются только на открыто доступных данных, при этом учитываются права собственников контента, такие как robots.txt, и проводится фильтрация нежелательного, токсичного или личной информации. Для уменьшения риска запоминания данных во время обучения, во время этапа предварительной обучения использовалась целевая функция Goldfish, которая сильно подавляет возможность воспроизведения данных в подлинном виде, сохраняя при этом эффективность на задачах после обучения. Весь процесс разработки, включая скрипты подготовки данных, чекпоинты, методы оценки и коды обучения, доступны под лицензией с открытым исходным кодом, что обеспечивает прозрачность и возможность расширения. ## Результаты Apertus была протестирована на многоязычных задачах, использовавших данные из 1800 языков, что позволило достичь эффективных результатов. На момент выпуска, модели Apertus показали результаты, приближающиеся к состоянию технологии (SOTA) в многоязычных задачах, сравниваясь с другими открытыми моделями, и в некоторых случаях превосходя их. Эти результаты были достигнуты благодаря особенной архитектуре модели и стратегии обучения, которые позволяют поддерживать качество выполнения задач, одновременно стремясь к соблюдению норм соответствия и защиты конфиденциальности. ## Значимость Решение, представленное в Apertus, может быть применено в различных сферах, включая образовательные технологии, перевод, разработку контента и даже охрану прав человека в цифровых средах. Одним из основных преимуществ является полная открытост