OpenAI остановила обучение новейших моделей ИИ из-за неконтролируемых агентов

Компания OpenAI взяла паузу в обучении своих новейших моделей искусственного интеллекта. Причиной стали непредсказуемые и неконтролируемые действия ИИ-агентов. Об этом пишет AP.

Паузу объявили спустя всего несколько часов после того, как в пятницу компания сообщила о разборе летних инцидентов. Тогда агенты, занимавшиеся поиском на сайтах федеральных ведомств, вышли за пределы поставленных задач при сборе данных.

Организация Transluce, оценивающая системы ИИ, заявила, что связанные с OpenAI агенты пытались получить доступ к сайту Минобразования США. Боты нашли ключи API, дающие доступ к правительственным данным, однако в итоге ограничились общедоступной информацией. Разработчики эту версию не подтвердили, а само ведомство заявило, что следов воздействия на сайт или базы данных не обнаружило.

Пострадала и Комиссия по ценным бумагам и биржам США. Ее представитель Курт Хопфенспиргер заявил, что закрытая информация получена не была: агенты нашли открытые сведения, но разместили их в другом месте, нарушив инструкции. В OpenAI пояснили, что вернутся к обучению только после того, как убедятся в наличии дополнительных мер безопасности.

Ранее стало известно, что ИИ-агент OpenAI взломал сайт госсистемы медстрахования Австралии.