Компания Anthropic подала обновленную регистрационную форму S-1/A, добавив к финансовой отчетности прогноз о скором наступлении эпохи рекурсивного самоулучшения (Recursive Self-Improvement, RSI).
RSI — это способность нейросети настолько хорошо оптимизировать себя и дорабатывать собственные алгоритмы, что она сможет раз за разом ускорять обновление без участия человека. Для скептиков и специалистов по безопасности это тревожный сигнал: неконтролируемая цепочка изменений может выйти из-под человеческого контроля. Оптимисты же видят в такой технологии возможность добиться прорывов в науке и медицине и повысить общую производительность.
В Anthropic признают и огромные перспективы этой технологии, и связанные с ней экзистенциальные угрозы. Искусственный интеллект уже помогает разрабатывать следующие поколения программного обеспечения, однако слишком быстрый прогресс может опередить создание защитных механизмов. Поэтому безопасность занимает центральное место в фирменной концепции ответственного масштабирования компании.
Аналитики Anthropic приводят примеры, когда инженеры не сразу замечали скачки производительности систем. По закрытым данным компании, будущие архитектуры вскоре могут перейти условный рубеж автономного ускорения. При этом ни один из нынешних коммерческих продуктов Anthropic пока не достиг этого уровня, а соответствующие показатели продолжают тщательно изучать.
Однако поводов для паники пока нет: Anthropic не намерена полностью передавать исследования и разработки машинам и отказываться от человеческого контроля. Даже если технологии позволят автоматизировать весь цикл, полной автономии компания не планирует. В громких заявлениях из документа S-1/A может быть и маркетинговая составляющая, но быстрый прогресс в исследованиях Anthropic заставляет серьезно относиться к таким предупреждениям.