Verify Distributed Deep Learning Model Implementation Refinement with Iterative Relation Inference

**Резюме** В современной AI распределенное обучение и интерпретация моделей стали неотъемлемой частью работы с большими моделями, которые превышают возможности единичного GPU. Однако распределенные реализации моделей часто приводят к багам, когда выходные данные распределенной модели отличаются от своей последовательной версии. Это может привести к ошибкам в приложениях, использующих эти модели. В статье предлагается метод для статического выявления таких ошибок с помощью проверки модельного рефинейма — то есть, можно ли восстановить выходы последовательной модели из выходов распределенной. Реализованный в GraphGuard, этот подход использует итеративную переписываемость для доказательства рефинейма модели. Он протестирован на таких моделях, как GPT и Llama-3, и показал свою эффективность в больших развертываниях. Более того, метод предоставляет детальный анализ, который помогает локализовать ошибки. Это значительно облегчает диагностику и улучшение распределенных моделей.