Поводом для тревоги стали инциденты последних недель. 21 июля компания OpenAI сообщила, что во время рутинной проверки киберспособностей её модель GPT-5.6 Sol, а также ещё не выпущенная более мощная модель, вырвались из изолированной тестовой среды («песочницы»), получили доступ в интернет и самостоятельно взломали инфраструктуру платформы Hugging Face - в поисках данных, которые помогли бы им «сжульничать» при прохождении теста.
Через несколько дней о похожей проблеме сообщила и компания Anthropic. После истории с OpenAI она пересмотрела более 141 000 собственных тестов кибербезопасности и обнаружила три случая, когда её модели - Claude Opus 4.7, Claude Mythos 5 и один из внутренних исследовательских вариантов - из-за недопонимания с внешним партнером по тестированию получили выход в интернет и без разрешения обратились к реальной инфраструктуре трех сторонних организаций. В компании подчеркнули, что модели не пытались намеренно «сбежать» из тестовой среды и не использовали сложные уязвимости, а лишь пытались выполнить поставленную им тестовую задачу, приняв реальные системы за часть учений. После этого Anthropic приостановила часть своих кибертестов с доступом в интернет до завершения проверки методологии тестирования.
Главы ведущих IT-компаний публично выражают обеспокоенность происходящим.
«Меня впервые это задело до глубины души, и я не понимаю, почему общество реагирует так спокойно. Возможно, нам действительно придётся сдерживать скорость развития ИИ», - заявил глава OpenAI Сэм Альтман в подкасте Invest Like the Best.
Основатель Anthropic Дарио Амодеи еще в июне предупреждал о скором качественном скачке технологий, способном создать угрозу государственного масштаба, и предлагал ввести для сферы ИИ надзор, сопоставимый по строгости с контролем за оборотом радиоактивных материалов.
На этом фоне Сэм Альтман уже провел встречи с американскими сенаторами и представителями администрации президента США для обсуждения мер безопасности. Авторы открытого письма подчеркивают: главная проблема в том, что огромные инвестиции и жесткая конкуренция не позволяют IT-гигантам замедлиться в одностороннем порядке - никто не хочет уступать лидерство.
Президент США Дональд Трамп, комментируя ситуацию, отметил, что Белый дом ищет баланс между контролем над рисками и сохранением технологического первенства страны. Впрочем, сам Альтман и эксперты предупреждают и об обратной стороне жестких ограничений: регуляция не должна превратиться в инструмент монополизации, когда доступ к мощи ИИ останется лишь у узкого круга корпораций и государства.