Исследователь Goodfire: нейронные сети понятнее, чем принято считать

Главный тезис

Исследователь ИИ-стартапа Goodfire Ник Каммарата 15 октября опубликовал эссе «Neural Networks Are Already Clean» («Нейронные сети уже чистые») объёмом 26 000 слов. В нём он утверждает, что нейронные сети значительно понятнее, чем принято считать: собственные механизмы сети — это читаемые строительные блоки, а перспективы механистической интерпретируемости заметно лучше, чем он опасался.

Этот тезис прямо бросает вызов консенсусу отрасли вокруг суперпозиции (superposition) и полисемантичности (polysemanticity). Согласно этому консенсусу, нейроны хранят несколько понятий смешанно, накладываясь друг на друга, — поэтому почти невозможно выделить и прочитать, что именно «означает» каждый отдельный нейрон. Каммарата возражает: по его словам, отрасль неверно оценила глубину проблемы, и эта оценка чрезмерно пессимистична.

Каммарата опирается на предварительные проверки, проведённые командой Goodfire. По итогам аудита модели Qwen3-32B примерно 90% нейронных кластеров выполняют одну основную задачу, около 7% — две связанные задачи; лишь 2–4% остаются непонятными. Команда обнаружила схожие результаты в моделях с триллионами параметров, включая Kimi K3, — то есть закономерности, найденные на малых моделях, наблюдаются и в крупнейших системах.

Эссе также переосмысливает классический пример: знаменитый нейрон «машина и кошка» модели InceptionV1 — это не случайная суперпозиция, а детектор общей V-образной формы — кошачьей морды или передней части автомобиля. С помощью улучшенных инструментов 99–100% нейронов последнего слоя этой модели теперь легко интерпретируются, пишет автор.

Состояние области интерпретируемости сегодня

Цель направления механистической интерпретируемости — читать нейронные сети изнутри: понимать, как каждый нейрон или группа нейронов вносит вклад в решения модели. По господствующему сегодня взгляду этому мешает суперпозиция — один нейрон смешанно хранит несколько несвязанных понятий. По оценке Джейкоба Хилтона из Alignment Research Center, исследователи понимают менее 0,01% внутренних механизмов крупнейших языковых моделей. Каммарата хочет перерисовать именно эту пессимистичную картину: по его словам, механизмы сети — читаемые строительные блоки, и ситуация не так страшна, как её рисуют.

Почему этот спор важен

MIT Technology Review 19 октября осветил эссе в эксклюзивном интервью и представил его как тезис, «перевернувший ИИ-мир». По данным издания, один исследователь назвал его «большим моментом в истории науки», другой — «самой важной ИИ-статьёй года». Уже сами эти оценки показывают, насколько острым стал спор.

Вопрос в центре спора конкретен: являются ли нейроны от природы «чистыми» или эта чистота — лишь случайный результат на малых, старых моделях. Каммарата защищает первый ответ, критики — второй. Обе стороны призывают к осторожности в выводах — одна потому, что ставка тезиса высока, другая потому, что доказательства пока не опубликованы открыто.

Ответ критиков

Профессор Стэнфордского университета Крис Поттс оценил материалы, представленные Каммаратой, как «не более чем предположение» и заявил: «этот блог-пост ничуть не облегчает проблемы». По его мнению, эссе предлагает вывод, основанный на личных наблюдениях, а не на технических доказательствах.

Исследователь Alignment Research Center Джейкоб Хилтон напоминает, что учёные понимают менее 0,01% внутренних механизмов крупнейших языковых моделей. На его взгляд, масштаб проблемы столь велик, что одно эссе не может радикально его изменить.

Нил Нанда из Google DeepMind нашёл работу интересной, но не считает её серьёзным событием для области интерпретируемости в целом. Общее для всех трёх критиков — разрыв между масштабом тезиса и открытыми техническими доказательствами, которые его поддерживают. Мнения всех трёх экспертов собраны в эксклюзивном материале MIT Technology Review от 19 октября.

Автор и дальнейшие шаги

Ник Каммарата ранее был одним из пионеров, разрабатывавших инструменты механистической интерпретируемости в OpenAI. По его словам, большую часть прошлого года он тратил около десяти часов в день на изучение нейронов, — и выводы эссе — результат этой ежедневной работы.

Команда Goodfire планирует в ближайшее время опубликовать технические результаты по современным большим языковым моделям. Эти результаты проверят силу тезиса: критики как раз ждут выхода этих открытых данных. Полный текст эссе из 26 000 слов открыто опубликован на официальном сайте Goodfire.

«Кажется, у меня есть хорошие новости о природе нейронных сетей». — Ник Каммарата, «Neural Networks Are Already Clean» (Goodfire)