Reverse-Complement Consistency for DNA Language Models

## Контекст Одна из основных свойств DNA — то, что последовательность и её обратный комплемент (Reverse Complement, RC) часто несут одинаковое биологическое значение. Однако современные DNA языковые модели часто не учитывают эту симметрию, что приводит к несогласованным прогнозам для последовательности и её RC-ансамбля. Это снижает надежность и эффективность таких моделей в задачах, связанных с геномическими данными. Наша мотивация заключается в создании моделей, которые будут учитывать эту симметрию и обеспечивать точные и надежные результаты в различных геномных задачах. ## Метод Мы предлагаем Reverse-Complement Consistency Regularization (RCCR) — простой, многозадачный и модельно-агностичный подход к оптимизации DNA языковых моделей. Основная идея заключается в том, чтобы добавить функцию потерь, которая оценивает разность между прогнозами модели для последовательности и её RC-соответствия. Это решение интегрирует ключевую биологическую природу DNA непосредственно в процесс обучения модели, что позволяет повысить её точность и устойчивость к ошибкам при работе с RC-соответствиями. ## Результаты Мы проверили RCCR на трех моделях DNA языковых моделей: Nucleotide Transformer, HyenaDNA и DNABERT-2. Эти модели были тестируются на широком спектре геномных задач, включая последовательностные классификации, регрессионные задачи и профильные предсказания. Результаты показали, что RCCR существенно сокращает количество несогласованных прогнозов (RC-переключений) и уменьшает ошибки, при этом сохраняя или даже улучшая общую точность модели по сравнению с такими методами, как RC-дата-аугментация и тест-тайм-авгментация. ## Значимость Предложенный подход имеет широкое применение в области геномики и биоинформатики. Он позволяет создавать модели, которые более точно отражают биологические свойства DNA. Преимущество RCCR в том, что он обеспечивает высокую надежность и эффективность, не требуя значительных дополнительных ресурсов для обучения. Это делает его привлекательным для применения в различных геномных задачах, включая геномный анализ, разработку новых лекарств и транскриптоманикские исследования. ## Выводы Мы продемонстрировали, что RCCR значительно улучшает устойчивость моделей к несогласованности RC-прогнозов, при этом сохраняя высокую точность задач. Этот подход может стать основой для развития биологически-ориентированных глубоких моделей в будущем. Мы планируем провести дальнейшие исследования по оптимизации RCCR и его применению в сложных геномных задачах.