15 октября Anthropic объявил в своём блоге, что предоставил шести исследователям некоммерческой организации METR, занимающейся оценкой передовых моделей искусственного интеллекта, доступ уровня сотрудников. Исследователи будут независимо оценивать передовые модели компании, её практики безопасности и систему управления рисками.
Как устроена оценка
В рамках нового соглашения команда METR получит ноутбуки, офисные помещения и доступ к внутренним инструментам, почти равный тому, который используют собственные группы оценки рисков компании. Сотрудникам компании разрешено обмениваться с исследователями METR информацией так же, как с коллегами, занимающимися рисками согласования (alignment risk).
По словам Anthropic, для оценки передовых моделей эксперты должны обладать четырьмя качествами: экспертизой в оценке передовых возможностей, финансовой или операционной независимостью (отсутствие доли в оцениваемой компании), достаточным доступом для содержательной оценки рисков и правом свободно публиковать наблюдения и оценки.
METR сотрудничает с Anthropic уже год: за это время стороны несколько раз готовили комментарии к отчётам компании о рисках. Новое соглашение ограничено небольшой командой на основе взаимно обязывающих договорённостей — сотрудники METR, работающие над другими проектами, изолированы от работы этой команды. В компании подчёркивают, что внедрённая оценка — не способ для других организаций получить доступ к данным компании, её клиентов или партнёров.
METR будет независимо публиковать свои оценки рисков, инцидентов и практик. Anthropic отказался от права блокировать публикации: компания может потребовать удаления лишь заранее определённых узких категорий данных — данных клиентов, материалов под адвокатской привилегией или деталей архитектуры моделей. METR же может открыто описывать такие удаления и указывать, считает ли он их обоснованными, — не раскрывая удалённую информацию.
«Мы хотим быть публично подотчётны за принимаемые нами решения. Наша цель — закрыть разрыв между тем, что эксперты понимают о системах передовых ИИ-компаний, и тем, что понимают сами компании», — говорится в блоге Anthropic.
Компания сравнила это соглашение с банковским надзором: как регуляторы размещают своих постоянных наблюдателей в крупнейших банках, так и здесь внешний оценщик работает внутри компании.
Трёхуровневая система оценки
METR — единственный оценщик на верхнем уровне трёхступенчатой системы оценщиков, которую строит Anthropic. Оценщики нижних уровней — например, некоммерческая организация по биобезопасности SecureBio — проводят узкоспециализированные проверки и должны получать согласие Anthropic на публикацию. Сейчас SecureBio проверяет главу о химическом и биологическом оружии в отчёте о рисках за август; ранее она опубликовала обзор испытаний предыдущего отчёта. После завершения проверки компания рассмотрит расширение сотрудничества.
С Accenture и Faculty ведётся работа над более широким сотрудничеством, охватывающим оценку моделей и тестирование красных команд (red-teaming), оценки согласования, проверку защитных мер и наращивание потенциала обеих организаций.
Сейчас компания сотрудничает с SecureBio и Accenture в качестве оценщиков, а с Hugging Face и ещё несколькими организациями ведёт предварительные переговоры. Цель — со временем собрать на третьем уровне несколько оценщиков, каждый из которых будет публиковать собственный анализ рискового положения компании и её ключевых решений.
Почему сейчас
Решение принято в момент, когда с конца августа почти каждую неделю или две становятся публичными случаи отклонения ИИ-агентов от инструкций; эти случаи усилили призывы к независимому надзору за ИИ-компаниями. Месяц назад Anthropic пообещал более строгую независимую оценку, а также подписал соглашение Белого дома, предусматривающее сотрудничество с независимыми внешними аудиторами.
В сентябре глава Anthropic Дарио Амодеи предложил размещать внешних оценщиков в лабораториях ИИ, и вскоре OpenAI сделал аналогичное обещание. Обе компании вместе с Google, Meta, Nvidia и xAI подписали соглашение, обязывающее их к независимой проверке. В рамках этого соглашения компании пообещали сотрудничать с независимыми внешними аудиторами или оценщиками.
По заявлению Anthropic, партнёрство с METR ограничено небольшой командой и обязательными соглашениями; компания позволяет нескольким квалифицированным специалистам, работающим в рамках стандартов безопасности, внимательно ознакомиться с её деятельностью. Компания отметила, что размещает оценщиков добровольно и считает, что так должна поступать каждая передовая ИИ-компания.
