A Dual-Axis Taxonomy of Knowledge Editing for LLMs: From Mechanisms to Functions

## Контекст Large language models (LLMs) получают большой объем знаний из больших текстовых корпусов. Однако эти знания могут стать устаревшими или неточными со временем. Ретренировка модели для исправления таких ошибок является компьютерно-затратным процессом. Кроме того, ретренировка может привести к потере существующих знаний или изменению общей модели. Для этих причин, модификация внутренних знаний моделей без полной ретренировки является эффективным альтернативным подходом. Такие методы называются "knowledge editing". Они предназначены для точного обновления фактических данных, сохранив все остальные качества модели. Пока что существуют существующие исследования, которые описывают механизмы модификации знаний, например, изменение параметров модели или использование внешней памяти. Однако, они не учитывают функцию, которую выполняет информация, которую необходимо изменить. В нашей работе мы предлагаем дополнительный подход, основывающийся на функциональной категоризации знаний, чтобы предложить более широкое представление. ## Метод Мы предлагаем двухосновную систему типологии для знаний, которые могут быть изменены в LLM. Одна ось определяется методом модификации (например, изменение параметров, внешняя память), а другая — функцией, которую выполняет соответствующая информация. Например, можно изменять фактические знания (такие как данные об истории или физике), временные знания (как события или сроки), концептуальные знания (как понятия или термины), коммуникативные знания (как синонимы или простые вопросы) и социальные знания (такие как социальные или культурные связи). Наша типология позволяет понять, какие методы лучше подходят для каждого типа знаний, и почему. ## Результаты Мы применили нашу систему типологии к различным моделям LLM и данным, проводя эксперименты для оценки того, насколько эффективны различные методы для каждого типа знаний. Наши результаты показали, что некоторые методы лучше подходят для определенных типов знаний, в то время как другие лучше подходят для других. Например, для фактических знаний вызывается более высокая точность при использовании методов, которые изменяют параметры модели. Тем не менее, для временных знаний, такие как сроки или даты, более эффективны методы, которые используют внешнюю память. ## Значимость Наша система типологии может быть применена в различных областях, включая образование, искусственный интеллект, робототехнику и др. Это позволяет моделям LLM быть более точными и реагировать более оперативно на изменения в своих з