Компания OpenAI приостановила выпуск новой модели Astra из-за опасений по поводу кибербезопасности, пишет Axios. Как сообщили в компании, внутренние оценки показали потенциальные риски, связанные с ее использованием. Это первый случай, когда ведущий разработчик ИИ добровольно замедляет прогресс.
OpenAI расширит тестирование и усилит меры защиты перед любым возможным релизом, а также замедлит разработку Astra до внедрения необходимых механизмов, как того требует система готовности компании, принятая в 2023 г.
Конкурирующая компания Anthropic в июне выпустила более безопасную версию своей модели Mythos, а также призывала к глобальной паузе в развитии ИИ. На конференции Black Hat сотрудники OpenAI уже заявляли о намерении замедлить тестирование для улучшения практик безопасности.
OpenAI сообщила о приостановке работы над некоторыми аспектами своей будущей модели Astra после того, как внутренняя проверка выявила значительные успехи в программировании агентов и кибербезопасности — достаточные для того, чтобы вызвать опасения по поводу её возможностей.
В сообщении OpenAI говорится, что эта модель, которая всё ещё находится в разработке, достигла «критического порога кибербезопасности». Это означает, что она может самостоятельно выявлять и осуществлять кибератаки против традиционно хорошо защищённых реальных систем. В соответствии с «Рамочной программой готовности» компании, разработанной в 2023 году, это активировало дополнительные меры защиты.
«Хотя мы продолжаем проводить сравнительный анализ и оценку этой модели, наши предварительные оценки показывают достаточно высокую производительность, чтобы мы не могли исключить критический уровень возможностей на данный момент. Astra — это будущая модель, и она не участвовала в эксплуатации уязвимости Hugging Face», — написали в OpenAI.
Что пишут другие издания
- Хабр: OpenAI замедлила разработку модели Astra
