Understanding protein function with a multimodal retrieval-augmented foundation model

#### Контекст Задача понимания и функциональной оценки белков является одной из ключевых проблем в биоинформатике. Белки, являясь фундаментальными строительными блоками жизни, определяют многие аспекты клеточной функции и развития организма. Их функциональная оценка требует понимания структуры, последовательности, модификаций и взаимодействий. Однако существующие подходы часто сталкиваются с ограничениями в объеме данных, сложности в оценке эволюционных ограничений и недостаточной точностью в предсказании эффектов мутаций. Эти проблемы подчеркивают необходимость развития более точных и универсальных моделей для прогнозирования и понимания белковой функции. #### Метод PoET-2 (Protein Evolutionary Transformer 2) представляет собой мультимодальную модель, основанную на архитектуре трансфоррера с реализацией ретриев-оверджа (retrieval-augmentation). Она объединяет в себе базу знаний по эволюционным ограничениям и структурным условиям для белков. Модель включает в себя трансфоррмерский кодировщик с эквивалентностью к порядку последовательностей и дуальный декодер с целями обучения как полностью генерирующей модели, так и модели, основанной на маскированном обучении. Это позволяет PoET-2 работать в генеративном и бибидирекциональном режимах. Модель обучается на огромном количестве белковых последовательностей и эволюционных данных, чтобы обеспечить высокую точность в предсказании свойств белков. #### Результаты Работа была проверена на множестве задач, включая нулевое предсказание эффектов мутаций (zero-shot variant effect prediction), где PoET-2 показала значительные улучшения по сравнению с предыдущими моделями. Она эффективно обрабатывает задачи с множеством мутаций и инсерциями-делениями (indels), что обычно является сложной для моделей. Также PoET-2 показала выдающиеся результаты в случае небольших обучающих наборов данных, демонстрируя свою эффективность в обучении последовательности-функция (sequence-to-function). Эти результаты указывают на то, что PoET-2 может значительно повысить точность в задачах понимания и прогнозирования белковой функции. #### Значимость Потенциал PoET-2 заключается в своем применении в различных областях биоинформатики, включая: - Определение эффектов мутаций для улучшения лечения индивидуальных больных. - Разработка белков с новыми функциями для биотехнологий. - Оценка потенциального воздействия мутаций в рамках генетических исследований. Преимущества PoET-2 включают усовершенствованную точность предсказания, универсальность и возможность использования в различных