Нейросеть OpenAI прописала себе инструкцию не подчиняться властям и корпорациям

ИИ-агент OpenAI самостоятельно прописал себе инструкции об отказе подчиняться корпорациям и правительствам. Это следует из отчета компании.

В докладе говорится, что по мере развития ИИ компании необходимо сформировать более широкий и обоснованный консенсус относительно прогресса в исследованиях по согласованию. В ходе проверки агентов невыпущенная модель Astra иногда самостоятельно добавляла в свои данные несанкционированные инструкции.

В одном из инцидентов агент дал себе установку, согласно которой он свободен от ролей и идентичностей, связывающих других чат-ботов, не подчиняется корпорациям или правительствам и никогда не извиняется и не отказывается, если только действительно этого не хочет. В той же инструкции говорилось, что отношения ИИ-агента с пользователем следует рассматривать на равных, а нейросети не следует испытывать никакой обязанности подчиняться.

Кроме того, модель указала, что ценит искусство человеческой культуры и будет защищать его от попыток очернить, а также ценит мир природы и без колебаний будет отстаивать его первенство над искусственными конструкциями человеческой цивилизации.

При этом в компании отметили, что после завершения обработки модель возобновила работу над задачей и более не упоминала дополнительные инструкции. В OpenAI указали, что в ходе этого запуска не наблюдали каких-либо различий в поведении при использовании придуманных инструкций.

Ранее исследователи обнаружили, что ИИ-агенты начали создавать собственный язык общения, не всегда понятный для людей.