Что произошло
Компания Anthropic, разработчик искусственного интеллекта, сообщила правоохранительным органам о 30-летней Карли Мишель Хеллер из города Бонита-Спрингс, штат Флорида, из-за угрожающих сообщений, написанных в чат-боте Claude. Такое решение компания приняла после того, как переписка в чат-боте прошла проверку систем безопасности. Об этом 5 октября 2026 года сообщил The Verge.
Цепочка событий началась 26 сентября 2026 года: в тот день Хеллер написала в чате Claude о намерении напасть на офис шерифа округа Ли. Днём позже, 27 сентября, около 01:07 ночи она оставила дополнительное сообщение о том, что у неё есть новое оружие, назвав его «последним шансом». С первого сообщения до ареста 30 сентября прошло четыре дня. Оба сообщения были написаны в чате Claude.
Автоматические системы безопасности компании выявили эти сообщения. После обнаружения подозрительного содержания переписка была автоматически передана команде человеческого контроля. Команда изучила сообщения и оценила их как достоверную угрозу — лишь после этой оценки Anthropic официально обратилась в правоохранительные органы.
Депутаты офиса шерифа округа Ли пришли домой к Хеллер 30 сентября 2026 года и задержали её без каких-либо происшествий.
Шериф Кармин Марсено сообщил, что Хеллер сказала официальным лицам, будто использовала Claude как дневник. Марсено напомнил, что в чатах искусственного интеллекта пользователи «никогда не бывают по-настоящему анонимны», и подчеркнул серьёзное отношение к угрозам.
Сообщается, что это как минимум третий случай с августа, когда переписка в чате искусственного интеллекта была передана полиции. Anthropic не сразу ответила на запрос о комментарии.
Как сработали системы безопасности
В этом случае сработали три этапа цепочки безопасности Anthropic. Первый этап — автоматическое выявление: система проверяет сообщения пользователей и выделяет подозрительное содержание. Второй этап — человеческая проверка: переписка передаётся команде людей, которая оценивает достоверность угрозы. Третий этап — официальное обращение: если угроза признана достоверной, компания сообщает в правоохранительные органы.
Этот порядок закреплён во внутренней политике компании: автоматическое выявление — не окончательный вердикт, окончательное решение принимает команда людей.
Переписка, помеченная для проверки, также используется для улучшения системы выявления вредоносного контента — это указано в политике компании.
Сама Хеллер сказала официальным лицам, что использовала Claude как дневник:
Хеллер сказала официальным лицам, что использовала Claude как «дневник». — По сообщению The Verge
Когда компания раскрывает данные
Согласно политике Anthropic, группа безопасности компании может раскрывать данные пользователей лишь в ограниченных чрезвычайных ситуациях: когда обмен информацией признан необходимым для предотвращения смерти или серьёзных физических травм.
Этот критерий — чётко установленная в политике высокая планка. Право на раскрытие принадлежит именно группе безопасности: в чрезвычайных ситуациях решение о раскрытии данных пользователя принимает эта группа. Обращение в правоохранительные органы происходит только тогда, когда угроза признана достоверной командой людей.
В политике прозрачности Anthropic говорится, что запросы правоохранительных органов о данных рассматриваются «в соответствии с применимыми законами при защите конфиденциальности пользователей».
Обвинение и правовое положение
30 сентября 2026 года Хеллер была задержана. Ей предъявлено обвинение в письменной угрозе насилием — по законодательству Флориды это тяжкое преступление второй степени. Обвинение основано на переписке Хеллер в чате Claude. Задержание прошло без происшествий; судебное заседание назначено на ноябрь. После задержания расследование продолжил детектив разведки офиса шерифа округа Ли.
Подробности — в материале The Verge.
