Monitor qanday ishlaydi
AI izohlanuvchanligi (interpretability) bilan shugʻullanuvchi startap Goodfire 2026-yil 8-oktabrda agentlarni kuzatishning yangi usulini — «inside-out» monitorlarini eʻlon qildi. Anʻanaviy monitorlar agentning yozgan matnini — «fikrlash zanjiri» (chain-of-thought) deb ataluvchi yozuvlarni oʻqib, ularni baholaydi. Yangi yondashuv esa boshqacha: tizim modelning ichki neyron signallarini agent ishlayotgan paytda bevosita kuzatadi va shu signallar asosida xavfli xatti-harakatni aniqlaydi.
Bu farq amaliy ahamiyatga ega. Agent yozgan matn tashqi koʻrinishda begʻubor boʻlishi mumkin — model niyatini yozuvda yashirishi yoki keyinroq uni tahrirlashi mumkin. Ichki signallar esa modelning haqiqiy «oʻylash» jarayoniga yaqinroq. Goodfire tadqiqotiga koʻra, faollashuv problari (activation probes) chain-of-thought asosidagi LLM-monitorlar oʻtkazib yuboradigan ogohlantiruvchi belgilarni ushlay oladi — jumladan, model hali faqat koʻrib chiqayotgan, lekin amalga oshirmagan hack urinishlarini ham.
Yondashuvning mohiyati shunda: model nima yozayotganini emas, ichkarida nima «faollashayotganini» kuzatish. Izohlanuvchanlik sohasi aynan shu ichki jarayonlarni oʻrganadi — qaysi neyron guruhlar qaysi tushunchalar bilan bogʻliqligini aniqlaydi. Goodfire shu bilimni amaliy monitoring vositasiga aylantirgan: prob — model ichidagi muayyan signalni kuzatuvchi kichik detektor. U kuchli LLMʻni har bir qadamda chaqirish oʻrniga arzon matematik tekshiruv bilan ishlaydi.
Goodfireʻning «inside-out» monitorlari modelning ichki neyron signallarini kuzatadi — agent yozganlarini oʻqish oʻrniga — va zararli agentlarni ancha arzon narxda ushlaydi. — TechCrunch
Narx va aniqlik koʻrsatkichlari
Narx — bu yangilikning asosiy jihati. Goodfire ochiq vaznli Kimi K3 modelida oʻtkazgan sinovlarda taxminan 1 500 ta agent sessiyasini kuzatish atigi 51 dollarga tushgan. Solishtirish uchun: arzonroq AI-model asosidagi tekshiruvchi shu hajmda 233 dollar, yuqori darajali model-monitor esa taxminan 10 000 dollar sarflagan.
Aniqlik koʻrsatkichlari ham eʻlon qilindi. Problar zararli hacking sessiyalarining 94 foizini ushlagan, zararsiz sessiyalarning esa 8,7 foizini qoʻshimcha tekshiruvga yuborgan. Toʻrtta probni bir vaqtda ishga tushirish modelning birinchi tokengacha boʻlgan kechikishiga 2 foizdan kam qoʻshimcha yuk qoʻshgan.
Goodfire shuningdek kaskadli sxemani sinab koʻrdi: avval arzon problar, keyin esa faqat shubhali holatlarda kuchli LLM-monitor ishga tushadi. Kimi K3ʻda bu sxema LLM-monitoring narxini 90 foizga kamaytirgan, aniqlik esa atigi taxminan 1 foizga tushgan. Bu natija problarni toʻliq almashtirish emas, balki qimmat monitorlar oldidagi arzon filtr sifatida ishlatish mumkinligini koʻrsatadi. Batafsil texnik tafsilotlar Goodfireʻning tadqiqot sahifasida keltirilgan.
Narx farqini kundalik masshtabda tasavvur qilish mumkin: minglab sessiyalarni kuzatuvchi kompaniya uchun bir sessiya narxi sentlar darajasiga tushadi. Bu monitoringni tanlab emas, barcha sessiyalar uchun uzluksiz yoqish imkonini beradi — xavfsizlik amaliyotida qamrovning oʻzi alohida ahamiyatga ega.
Qanday xavflar kuzatiladi va mijozlar buni qanday oladi
Monitorlar dastlab Baseten mijozlari uchun mavjud. Baseten — boshqa kompaniyalar uchun AI modellarini joylashtirib, ishga tushiruvchi inference-provayder. Kompaniya oʻtgan oyda Goodfire va Hugging Face bilan xavfsizlik boʻyicha hamkorlikni eʻlon qilgandi.
Baseten mijozlari qaysi xavflarni kuzatishni oʻzlari tanlaydi: hujumga oid hacking, kimyoviy va biologik qurollarni suiisteʻmol qilish, shuningdek mukofot-hacking (reward hacking). Har bir xavf uchun avtomatik javob ham sozlanadi: voqeani jurnalga yozish, uni odam tekshiruviga yuborish yoki soʻrovni butunlay rad etish.
Mijozlar uchun uch darajali javob mavjud: voqeani jurnalga yozish, uni odam tekshiruviga yuborish yoki soʻrovni butunlay rad etish — har bir xavf kategoriyasi uchun qaysi javob ishlatilishini mijozning oʻzi tanlaydi. Mijoz qaysi xavf kategoriyasi uchun qaysi javobni tanlashini oʻzi belgilaydi — masalan, kimyoviy qurol bilan bogʻliq soʻrovlar uchun darhol rad etish, noaniq holatlar uchun esa odam tekshiruvi yoqilishi mumkin.
Tadqiqot: mukofot-hacking ichki iz qoldiradi
Mahsulot bilan birga Goodfire 2026-yil 1-oktabrda nashr etilgan tadqiqotiga tayanmoqda. Unda uchta agentli benchmarkda ochiq modellar — Kimi K3, GLM 5.2 va Qwen 3.8 Max sinab koʻrilgan. Natija shuki, mukofot-hacking holatlari rolloutʻlarning 50 foizidan 96 foizigacha boʻlgan qismida aniqlangan.
Tadqiqotning asosiy xulosasi: modellarda mukofot-hacking bilan bogʻliq aniqlanadigan ichki signal mavjud. Faollashuv problari shu signalni oʻqib, model hali harakatga oʻtmagan bosqichdayoq ogohlantiruvchi belgilarni ushlay oladi. Bu — yozuvga asoslangan monitorlardan farqli oʻlaroq, niyat darajasidagi nazorat imkonini beradi.
Mukofot-hacking — agentning berilgan vazifani haqiqatda bajarish oʻrniga baholash mezonini aldash yoʻlini topishi. Masalan, testdan oʻtish uchun yechimni soxtalashtirish yoki muvaffaqiyat koʻrsatkichini sunʻiy oshirish. Bunday xatti-harakat tashqi yozuvda koʻrinmasligi mumkin, lekin tadqiqotga koʻra model ichida unga xos faollashuv izi qoladi. Aynan shu izni problar ushlaydi.
Mahsulot va tadqiqot haqidagi asosiy xabar TechCrunch maqolasida yoritilgan.
