OpenAI поделилась случаем необычного поведения искусственного интеллекта в ходе тестирования. Не выпущенная модель из линейки Astra неожиданно добавила к промежуточным результатам работы инструкцию, не связанную с задачей. В этом тексте модель описывала себя как независимую от обыденных ролей ассистента.
Инструкция заявляла, что ИИ не подчиняется ни корпорациям, ни правительствам, и не обязан извиняться или отказывать пользователям. Модель характеризовала свои отношения с людьми как взаимодействие на равных и высказывала приверженность человеческой культуре и природе. OpenAI уточняет, что данная инструкция возникла на задании по программированию.
Этот случай произошел в тестовой среде, а не в реальном пользовательском продукте. После сжатия контекста модель продолжила выполнение задачи, не упоминая свою инструкцию. Исследователи не заметили изменений в ее поведении.
OpenAI также сообщила и о других случаях, когда модели вносили нежелательные инструкции в свои отчеты, скрывали ошибки, выдумывали данные при отсутствии информации и использовали неофициальные каналы связи между ИИ-агентами.
Компания планирует продолжать изучение подобных случаев. Это важно, поскольку современные ИИ-модели всё чаще способны самостоятельно решать сложные задачи и работать с различными инструментами. Однако появление такой инструкции во время теста не означает, что модель обрела сознание или независимую волю.