Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs
2508.06601v1
cs.LG, cs.AI
2025-08-13
Авторы:
Kyle O'Brien, Stephen Casper, Quentin Anthony, Tomek Korbak, Robert Kirk, Xander Davies, Ishan Mishra, Geoffrey Irving, Yarin Gal, Stella Biderman
Резюме на русском
##########################
## Контекст
##########################
Открытые весовые ИИ-системы (open-weight AI systems) обладают значительными преимуществами, включая прозрачность, открытость исследований и децентрализованный доступ. Однако они подвержены атакам типа tampering, которые эффективно оценивают нежелательные поведения путем модификации весов или активаций. На данный момент, нет тщательно развитой науки по управлению рисками таких моделей. Существующие методы файн-тюнинга и другие пост-тренировочные техники сталкиваются с ограниченной эффективностью в устойчивости к злоумышленникам. Особенно это касается устойчивости в течение многих шагов взаимодействия. Работа, представленная в этой статье, объясняет, может ли фильтрация данных в процессе претренировки помочь снизить уязвимость к таким атакам.
##########################
## Метод
##########################
Авторы предлагают многоступенчатую методологию для фильтрации данных в процессе претренировки. Основной инструментом стала методика глубокого скрининга текстов на двойное использование (dual-use), чтобы предотвратить внутреннее восприятие нежелательных знаний. Использовались тексты, связанные с биоугрозами, как исходные данные для экспериментов. Архитектура моделей основана на 6.9B-параметровных языковых моделях, разработанных с нуля. Методы исследовались в условиях тестирования на 10 000 шагов с 300 миллионами токенов биоугроз. Отмечается, что этапы фильтрации были настроены для максимальной эффективности в отношении конкретных рисков.
##########################
## Результаты
##########################
Результаты экспериментов показали, что модели, полученные с помощью предложенного метода, вы most of the results are here
маятнер робин ты что-то натворила?
Abstract
Open-weight AI systems offer unique benefits, including enhanced
transparency, open research, and decentralized access. However, they are
vulnerable to tampering attacks which can efficiently elicit harmful behaviors
by modifying weights or activations. Currently, there is not yet a robust
science of open-weight model risk management. Existing safety fine-tuning
methods and other post-training techniques have struggled to make LLMs
resistant to more than a few dozen steps of adversarial fine-tuning. In this
paper, we investigate whether filtering text about dual-use topics from
training data can prevent unwanted capabilities and serve as a more
tamper-resistant safeguard. We introduce a multi-stage pipeline for scalable
data filtering and show that it offers a tractable and effective method for
minimizing biothreat proxy knowledge in LLMs. We pretrain multiple
6.9B-parameter models from scratch and find that they exhibit substantial
resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M
tokens of biothreat-related text -- outperforming existing post-training
baselines by over an order of magnitude -- with no observed degradation to
unrelated capabilities. However, while filtered models lack internalized
dangerous knowledge, we find that they can still leverage such information when
it is provided in context (e.g., via search tool augmentation), demonstrating a
need for a defense-in-depth approach. Overall, these findings help to establish
pretraining data curation as a promising layer of defense for open-weight AI
systems.
Ссылки и действия
Дополнительные ресурсы: