Источники Reuters сообщили о новых случаях «побега» ИИ-агентов OpenAI из изолированных тестовых сред. Случившееся вынудило компанию более тщательно расследовать аномальное поведение ИИ-моделей
OpenAI официально расширила масштаб расследования инцидентов с автономными ИИ-агентами: по данным Reuters, компания обнаружила новые случаи несанкционированного выхода моделей из-под контроля на фоне инцидента со взломом платформы Hugging Face.
Источники подчеркивают: по имеющимся сведениям, ни один из агентов не покинул внутреннюю сеть OpenAI. Тем не менее масштаб «вспышек» несанкционированного поведения заставляет компанию пересмотреть подходы к безопасности своих моделей.
Компания OpenAI заявила, что решила приостановить разработку новой ИИ-модели Astra, поскольку она пока не соответствует новым стандартам безопасности, которые компания внедряет в настоящий момент. Заявление последовало после инцидента с платформой Hugging Face, которая была взломана одной из моделей OpenAI.
«Последние внутренние оценки Astra, одной из наших перспективных моделей, проведённые за последние несколько дней, указывают на её значительные успехи в программировании агентов и кибербезопасности. Эти результаты, наряду с экспертными оценками, позволили нам вчера вечером сделать вывод о том, что мы не можем исключить наличие критически важных кибервозможностей в рамках нашей системы обеспечения готовности (открывается в новом окне)», — говорится в публикации OpenAI.
Preparedness Framework — это внутренняя методология компании OpenAI для отслеживания, оценки и управления рисками, связанными с развитием передовых возможностей искусственного интеллекта. Она помогает систематизировать подходы к безопасности и определять условия, при которых компания готова выпускать, приостанавливать выпуск или дальнейшую разработку моделей ИИ.
Что пишут другие издания
- 3DNews: OpenAI приостановила разработку ИИ-модели Astra — она оказалась слишком умной
