Algorithms and data structures for automatic precision estimation of neural networks

2509.24607v1 cs.DS, cs.AI, cs.LG, cs.NA, math.NA 2025-10-01
Авторы:

Igor V. Netay

Резюме на русском

## Контекст Область исследования автоматической оценки точности вычислений в нейронных сетях является важной для обеспечения надежности, точности и понимаемости результатов. Нейронные сети часто используются в задачах, требующих высокой точности вычислений, таких как классификация, регрессия и детекция объектов. Однако недооценка точности вычислений может привести к значительным ошибкам в результатах. Эти проблемы становятся актуальными при проведении тренировочных процессов и применении нейронных сетей в реальном мире, где точность и надежность критичны. Недостаточное учету точности может привести к непредсказуемости и неточности результатов. Это мотивирует разработку систем автоматической оценки точности вычислений в нейронных сетях. ## Метод Разработанная методология включает в себя разработку алгоритмов и структур данных для оценки точности вычислений в нейронных сетях. Алгоритмы основываются на мониторинге и анализе вычислений во время тренировочных процессов и оценки точности выходных данных. Для этого используется архитектура с несколькими уровнями мониторинга, включающей в себя модули для вычисления интервальных приближений, отслеживания вычислительных ошибок и анализа точности градиентов. Эта методология гарантирует высокую точность оценки и сохранение высокой производительности нейронных сетей во время тренировки и интерпретации результатов. ## Результаты На основе разработанной методологии проводились ряд экспериментов на различных нейронных сетях, включая традиционные модели и текущие модели с высокой сложностью. Эксперименты показали, что почти все нейронные сети имеют существенные вычислительные неточности, которые могут повлиять на результаты тренировки и распознавания. Результаты показали, что применение автоматической оценки точности может подтвердить возможность улучшения точности сетей, а также идентифицировать значимые источники ошибок. Это позволяет снизить риски и улучшить надежность нейронных сетей. ## Значимость Система автоматической оценки точности вычислений в нейронных сетях имеет широкие применения в области разработки и эксплуатации нейронных сетей. Это может применяться в медицинских приложениях, финансовых системах, а также в любых других системах, где точность вычислений критична. Основное преимущество этой системы заключается в возможности выявлять и контролировать вычислительные неточности, что позволяет повысить надежность и понимание результатов. Эта система может способствовать улучшению показателей моделей и уменьшить риски ошибок в реальном применении. ## Выводы Разработанные алгоритмы и структуры данных

Abstract

We describe algorithms and data structures to extend a neural network library with automatic precision estimation for floating point computations. We also discuss conditions to make estimations exact and preserve high computation performance of neural networks training and inference. Numerical experiments show the consequences of significant precision loss for particular values such as inference, gradients and deviations from mathematically predicted behavior. It turns out that almost any neural network accumulates computational inaccuracies. As a result, its behavior does not coincide with predicted by the mathematical model of neural network. This shows that tracking of computational inaccuracies is important for reliability of inference, training and interpretability of results.

Ссылки и действия