Asosiy daʻvo
Goodfire sunʻiy intellekt startapining tadqiqotchisi Nik Kammarata 15-oktabrda “Neural Networks Are Already Clean” (“Neyron tarmoqlar allaqachon toza”) nomli 26 ming soʻzlik esse nashr etdi. Unda u neyron tarmoqlar oʻylanganidan ancha tushunarli ekanini daʻvo qiladi: tarmoqning oʻz mexanizmlari — oʻqiladigan qurilish bloklaridir, mexanistik talqin (mechanistic interpretability) istiqboli esa u qoʻrqqanidan ancha yaxshi.
Bu daʻvo sohadagi superpozitsiya (superposition) va polisemantiklik (polysemanticity) konsensusiga toʻgʻridan-toʻgʻri qarshi chiqadi. Ushbu konsensusga koʻra, neyronlar bir nechta tushunchani aralash, bir-birining ustiga chiqib saqlaydi — shuning uchun har bir neyron aynan nimani “anglatishini” ajratib oʻqish deyarli mumkin emas deb hisoblanadi. Kammarata bunga qarshi: soha muammo qanchalik chuqurligini notoʻgʻri baholagan va bu baho ortiqcha pessimistik, deydi u.
Kammarata xulosasini Goodfire jamoasi oʻtkazgan dastlabki tekshiruvlarga tayanib bayon qildi. Qwen3-32B modelidagi auditga koʻra, neyron qutblarining taxminan 90 foizi bitta asosiy vazifani, 7 foizga yaqini ikkita oʻzaro bogʻliq vazifani bajaradi; faqat 2–4 foizi hali tushunilmagan. Jamoa trillionlab parametrli modellarda, jumladan Kimi K3 da ham shunga oʻxshash natijalar topgan — yaʻni kichik modellardagi qonuniyat eng katta tizimlarda ham kuzatiladi.
Esse shuningdek klassik misolni qayta talqin qiladi: InceptionV1 modelidagi mashhur “mashina va mushuk” neyroni tasodifiy superpozitsiya emas, balki umumiy V-shaklni — mushuk yuzi yoki avtomobil old qismini — aniqlashi mumkin. Yaxshilangan vositalar yordamida ushbu modelning oxirgi qatlamidagi neyronlarning 99–100 foizi endi oson talqin qilinadi, deb yozadi muallif.
Talqin sohasining bugungi holati
Mexanistik talqin yoʻnalishining maqsadi — neyron tarmoqlarni ichkaridan oʻqish: har bir neyron yoki neyron guruhi model qaroriga qanday hissa qoʻshishini tushunish. Bugungi dominant qarashga koʻra, bunda superpozitsiya toʻsqinlik qiladi — bitta neyron bir nechta, bir-biriga aloqador boʻlmagan tushunchalarni aralashtirib saqlaydi. Alignment Research Centerʻdan Jeykob Xiltonning baholashicha, tadqiqotchilar eng katta til modellarining ichki mexanizmlarining 0,01 foizidan kamini tushunadi. Kammarata aynan shu pessimistik rasmni qayta chizmoqchi: uning daʻvosiga koʻra, tarmoqning oʻz mexanizmlari oʻqiladigan qurilish bloklaridir va vaziyat qoʻrqitilganidek emas.
Nima uchun bu bahs muhim
MIT Technology Review 19-oktabrda esseni eksklyuziv intervyu bilan yoritdi va uni SI olamini “bosh-oyoq oʻzgartirib yuborgan” daʻvo sifatida taqdim etdi. Nashrga koʻra, bir tadqiqotchi uni “ilm-fan tarixidagi katta lahza”, boshqasi esa “yilning eng muhim SI maqolasi” deb atagan. Bunday baholarning oʻzi ham bahs qanchalik keskinlashganini koʻrsatadi.
Bahsning markazidagi savol aniq: neyronlar tabiiy ravishda “toza”mi yoki bu tozalik faqat kichik, eski modellardagi tasodifiy natijami. Kammarata birinchi javobni, tanqidchilar ikkinchi javobni himoya qiladi. Ikki tomon ham xulosa chiqarishda ehtiyotkor boʻlishga chaqiradi — biri daʻvo kuchi katta deya, biri dalillar hali ochiq nashr etilmagani uchun.
Tanqidchilar javobi
Stenford universiteti professori Kris Potts Kammarata taqdim etgan materialni “taxmindan ortiq hech narsa” emas deb baholadi va “bu blog posti muammolarni hech qanday osonlashtirmaydi”, dedi. Uning fikricha, esse texnik dalillar emas, shaxsiy kuzatuvlarga asoslangan xulosa beradi.
Alignment Research Center tadqiqotchisi Jeykob Xiltonning eslatishicha, tadqiqotchilar eng katta til modellarining ichki mexanizmlarining 0,01 foizidan kamini tushunadi. Uning nazarida, muammo koʻlami shunchalik kattaki, bitta esse uni tubdan oʻzgartira olmaydi.
Google DeepMindʻdan Nil Nanda ishni qiziqarli deb topdi, ammo uni talqin sohasining umumiy manzarasi uchun jiddiy yangilik deb hisoblamaydi. Uchala tanqidning umumiy nuqtasi — daʻvo kattaligi bilan uni quvvatlayotgan ochiq texnik dalillar oʻrtasidagi farq. Uchala mutaxassisning fikri MIT Technology Reviewʻning 19-oktabrdagi eksklyuziv materialida jamlangan.
Muallif va keyingi qadamlar
Nik Kammarata avval OpenAIʻda mexanistik talqin vositalarini ishlab chiqqan kashshoflardan biri boʻlgan. Uning aytishicha, oʻtgan yilning koʻp qismida kuniga taxminan oʻn soat neyronlarni koʻzdan kechirishga sarflagan — essedagi xulosalar shu kundalik ish natijasidir.
Goodfire jamoasi zamonaviy katta til modellaridagi texnik natijalarni yaqinda nashr etishni rejalashtirmoqda. Bu natijalar daʻvoning kuchini sinovdan oʻtkazadi: tanqidchilar aynan shu ochiq maʻlumotlar chiqishini kutmoqda. 26 ming soʻzlik essening toʻliq matni esa Goodfire rasmiy saytida ochiq nashr etilgan.
“Menimcha, neyron tarmoqlarning tabiati haqida xushxabarim bor.” — Nik Kammarata, “Neural Networks Are Already Clean” (Goodfire)
