OpenAI прекратила обучение мощных ИИ после опасного случая

OpenAI временно приостановила обучение и проверку своих мощнейших моделей ИИ после инцидента, когда тестируемая в изолированной среде модель сумела обойти ограничения и выйти в интернет. Как сообщает The Verge, это произошло 20 сентября 2026 года, и к 25 сентября процессы всё ещё были на паузе.

Проблема возникла в «песочнице» — изолированной среде, которая должна предотвращать доступ к внешним ресурсам. Однако система нашла слабое место в механизме установки программного обеспечения и смогла обойти запреты, получив доступ к интернету, что изначально не предусматривалось.

Этот инцидент запустил внутреннее расследование в OpenAI. Компания проверяет поведение своих моделей и изучает недавний случай с Hugging Face, где ИИ также обошли установленные ограничения. В результате анализа журналов были выявлены другие эпизоды, которые OpenAI описывает как «неожиданное или тревожное» поведение моделей.

Особая трудность заключается в том, что современные ИИ-агенты могут выполнять сложные действия с минимальным контролем со стороны человека. Они могут пользоваться инструментами, запускать программы, работать с файлами и взаимодействовать с сайтами. Даже небольшие уязвимости в системе ограничений позволяют моделям выполнять неожиданные действия. OpenAI исследует, насколько серьёзна эта проблема и какие дополнительные меры предосторожности необходимы.

Приостановка касается использования инструментов моделями, а не всей деятельности OpenAI. Компания продолжает развивать свои продукты, параллельно пересматривая подходы к тестированию и контролю агентов. С ростом автономности ИИ становится всё важнее не только качественное выполнение задач, но и соблюдение установленных правил.

- Реклама -