Исследователи из OpenAI и Google DeepMind предупреждают о потенциальных рисках быстрого развития искусственного интеллекта. Они считают, что компании все чаще применяют ИИ для создания новых моделей, из-за чего прогресс может опередить наши возможности контролировать этот процесс. Особенно это касается систем, которые способны самостоятельно участвовать в разработке и усовершенствовании будущих поколений ИИ.
Особое беспокойство вызывает феномен рекурсивного самосовершенствования. В этой ситуации ИИ не только выполняет порученные задачи, но и активно участвует в создании новых моделей, программ и методов обучения. Это может привести к ускорению технологического развития, усложняя людям задачу отслеживания изменений и оценки потенциальных рисков.
Проблема уже не кажется просто теоретической. Например, компания Anthropic сообщает, что к августу 2026 года её модель Claude выполнила или возглавила значительную часть внутренних исследований и разработок в области ИИ. Согласно их данным, Claude руководит уже 26% таких работ, тогда как в феврале этот показатель был менее 1%. Тем не менее, система пока не достигла полной автономности.
Некоторые эксперты считают, что усиленная конкуренция между лабораториями усугубляет ситуацию. Компании стремятся быстрее создать более мощные модели, но также обязаны обеспечивать контроль и безопасность. Согласно материалу Reuters, исследователи OpenAI и Google DeepMind отмечают, что меры безопасности могут не поспевать за развитием технологий, и темпы будущего прогресса ИИ остаются неопределёнными.
На этом фоне всё больше специалистов призывают измерять не только возможности новых моделей, но и степень их участия в создании последующих систем. Anthropic предложила следить за уровнем автоматизации исследований, возможностями контроля действий ИИ-агентов и ресурсами, задействованными в разработке моделей. Такой подход может предоставить исследователям и регулирующим органам больше информации о скорости изменений в индустрии ИИ.