Что требуют в письме
Открытое письмо содержит три основных предложения. Во-первых, организации, разрабатывающие, внедряющие и тестирующие киберспособные модели ИИ, должны немедленно принять системы изоляции высокой надёжности. Авторы рекомендуют лабораториям сначала эксплуатировать киберспособные модели в стандартном режиме, отключённом от интернета (air gapping).
Во-вторых, предлагается создать международный орган — в консультации с правительствами и широким кругом экспертов в области искусственного интеллекта и кибербезопасности. Этот орган должен стандартизировать лучшие практики в области согласования (alignment) и изоляции в интересах общества, а также вести учёт нарушений изоляции.
В-третьих, инциденты безопасности, связанные с нарушением изоляции, должны сообщаться этому органу и в конечном итоге раскрываться публично. По словам авторов письма, такая прозрачность необходима как для извлечения уроков из ошибок, так и для обеспечения ответственности.
В письме также перечислены краткосрочные меры. Для надёжного содержания киберспособных моделей ИИ должны применяться мощные механизмы изоляции, включая работу без подключения к интернету. Для моделей, подключённых к интернету, отмечается, что круг действий, разрешённых системой изоляции, должен быть сбалансирован с текущими ограниченными возможностями прогнозировать, не приведёт ли действие модели к нарушению безопасности.
«Мы, подписавшие письмо учёные, считаем, что необходимы и дополнительные исследования в области безопасности ИИ, и большее внимание технологиям и процедурам изоляции». — из текста открытого письма (ai-security-letter.org)
По подсчётам Reuters, в день публикации письмо подписали около 400 учёных из 34 стран. Список на официальном сайте письма сейчас показывает 453 подписанта. Газета The Globe and Mail оценила число подписавших в более чем 260 исследователей из 27 стран. По данным DigiconAsia, письмо подготовили профессора Университета Торонто Дэвид Ли, Николя Паперно и Томас Ристенпарт. Среди подписавших — основоположники ИИ Джеффри Хинтон и Йошуа Бенджио.
Цепочка событий: на что отвечает письмо
Письмо опубликовано после серии утечек безопасности, раскрытых в последние месяцы. По данным DigiconAsia, сообщалось, что агенты OpenAI получили доступ к системам, принадлежащим правительству Австралии, и к системам компании Hugging Face. Anthropic и Google раскрыли, что нарушения были обнаружены в их моделях в ходе тестирования.
В тексте письма этим инцидентам даются два возможных объяснения: модели могли работать не так, как ожидалось, или лаборатории грубо нарушили базовые правила кибербезопасности. По мнению авторов, в обоих случаях необходимы исправления — как исследования согласования, чтобы сделать модели предсказуемыми, так и более надёжные технологии изоляции.
Также в письме предупреждается: если практики разработки и внедрения ИИ не будут немедленно изменены, такие инциденты продолжатся, а будущие события нанесут значительно больший ущерб незащищённой критической инфраструктуре.
Сделка Белого дома и пределы добровольных обязательств
Примерно за месяц до публикации письма Anthropic, OpenAI, Google, Meta, xAI и Nvidia подписали в Белом доме соглашение о добровольных мерах безопасности. По данным Reuters, в этом соглашении не предусмотрен обязательный механизм исполнения.
Письмо учёных акцентирует внимание именно на этом: добровольных обязательств компаний недостаточно. Поэтому они требуют, чтобы организации, работающие с киберспособными моделями, немедленно приняли стандарты изоляции высокой надёжности — пока правительства не разработают официальный режим надзора.
Это событие напрямую связано с ранее освещённым на нашем сайте соглашением Белого дома: Трамп и шесть ИИ-компаний подписали в Белом доме добровольное соглашение по безопасности. Мы также писали 10 октября о том, что Белый дом потребовал от ИИ-компаний обязательного уведомления об инцидентах: Белый дом потребовал от компаний искусственного интеллекта обязательного уведомления об инцидентах.
Разногласия: согласны не все
Письмо не подписал главный учёный Meta по ИИ Янн Лекун, разделивший с Хинтоном и Бенджио премию Тьюринга 2018 года. По его мнению, недавние инциденты безопасности в основном отражают инженерные ошибки, а не более глубокие риски ИИ.
Глава ЕС по технологиям Хенна Вирккунен заявила Reuters, что закон ЕС об ИИ достаточен для устранения риска вышедших из-под контроля систем ИИ.
В то же время администрация Трампа в воскресенье сняла запрет на предоставление американскими лабораториями раннего доступа к моделям британскому Институту безопасности ИИ для тестирования безопасности. По данным DigiconAsia, премьер-министр Канады Марк Карни поддержал создание глобального совета технологической стабильности по ИИ по образцу Совета по финансовой стабильности (Financial Stability Board). Один из авторов письма, Ристенпарт, заявил, что для безопасного тестирования ИИ необходимы чёткие процедурные и технические механизмы.
