Группа физиков-теоретиков из Гарварда опубликовала исследование, раскрывающее математическую природу масштабирования искусственных нейросетей. Учёные доказали, что эффективность ИИ следует не случайным эмпирическим правилам, а фундаментальным законам статистической механики и теории случайных матриц. Используя концепцию перенормировки из квантовой теории поля, они объяснили, как шум в данных влияет на обучение моделей, вызывая неявную регуляризацию и определяя границы улучшения. Исследование вводит понятие «барьера инициализации» — точки, после которой дальнейшее увеличение ширины сети перестаёт приносить пользу из-за доминирования случайных параметров.

Команда применила S-преобразование из свободной теории вероятностей, чтобы заменить сложные вычисления простыми аналитическими формулами. Это позволило точно связать ошибку обучения с тестовой ошибкой, прогнозируя эффективность модели без дорогостоящих тестов. Работа выделяет четыре режима работы нейросетей — от доминирования сигнала до ограничения шумом — и показывает, как структура данных определяет скорость обучения.

Исследование также объясняет феномен «двойного спуска», ранее считавшийся аномалией. Учёные показали, что это закономерная физическая сингулярность, при которой после первоначального ухудшения качество модели улучшается. Теория универсальна — применима как к простым моделям, так и к сложным архитектурам. Результат — «карта» узких мест в развитии ИИ, которая может заменить эмпирический подбор на интеллектуальное проектирование.