Разработчик ChatGPT, OpenAI, был вынужден приказать некоторым своим инструментам искусственного интеллекта прекратить упоминать гоблинов после того, как было обнаружено, что этот термин начал случайным образом появляться в ответах.
В четверг компания сообщила в своем блоге, что заметила увеличение количества упоминаний мифологических существ, таких как гремлины, в метафорах, используемых ChatGPT и другими инструментами, работающими на ее последней флагманской модели GPT-5.
После того, как пользователи и сотрудники сообщили о проблемах, описанных как «маленькие гоблины», OpenAI заявила, что предприняла шаги для ее решения, в том числе поручила своему агенту кодирования Кодекса не упоминать этих существ, если это не уместно.
«Ботанная личность», разработанная для ChatGPT, оказалась бессознательно стимулированной вознаграждать упоминания о гоблинах.
Это показывает, с какими трудностями сталкиваются компании, занимающиеся искусственным интеллектом, при раскрытии потенциала систем и их обучении в контексте лингвистических особенностей.
OpenAI заявила, что впервые заметила рост упоминаний гоблинов, гремлинов и других существ после запуска GPT-5. 1 в ноябре.
«Пользователи жаловались, что модель странно знакома в разговоре, что побудило провести расследование конкретных речевых особенностей», — написала компания в своем блоге в четверг.
Она добавила, что после того, как исследователь, видевший несколько упоминаний о «гоблине», попросил проверить это, разработчики обнаружили, что появление термина в ответах ChatGPT выросло на 175% с момента запуска GPT-5. 1.
Также они обнаружили, что упоминания о «гремлине» выросли на 52%.
Увеличение, хотя и значительное, может объясняться небольшим количеством ответов в целом.
По данным OpenAI, «один» маленький гоблин «в ответе может быть безвредным, даже волшебным», но стремительный рост их появления требовал расследования.
«Еноты, огры, тролли, голуби»
Автор фото, Getty Images
Перед публикацией сообщения в блоге OpenAI, в котором описывалась проблема, некоторые пользователи социальных сетей заметили странную деталь Codex, как вести себя при взаимодействии с пользователями.
Кроме рекомендации избегать банальностей, в нем также отмечалось, что Codex «никогда не должен говорить о гоблинах, гремлинах, енотах, троллах, обогревах, голубях или других животных или существах, если это не является абсолютно и однозначно релевантным запросу пользователя».
Пользователь Reddit, опубликовавший сообщение, назвал это «действительно сумасшедшим».
Хотя некоторые пользователи в других социальных сетях предполагали, что это может быть разработано для создания ажиотажа вокруг инструментов искусственного интеллекта, исследователь компании отрицал это, написав в ответ пользователю на X: «это действительно не маркетинговый трюк».
В своем блоге OpenAI объявила, что добавила руководство по ограничению «странной склонности » Кодекса и его базовой модели к гоблинам.
Основная проблема, как объяснила компания, очевидно, возникла из-за обучения моделей общаться в стиле определенных личностей – в данном случае, их «скучной личности».
Компания обнаружила, что эта система поощряет упоминания гоблинов, гремлинов и других существ в метафорах.
Тестирование показало, что на эту личность приходится 66,7% всех упоминаний «гоблинов» в ChatGPT.
Этот трюк может способствовать более широкому обучению модели, если он вознаграждается в одном случае и подкрепляется в другом.
Режим гоблина
Этот шаг происходит на фоне более широкого сдвига в отрасли в сторону того, чтобы сделать чат-ботов с искусственным интеллектом более представительными и болтливыми. Это должно повысить вовлеченность пользователей.
Однако эксперты предупреждают, что вероятность того, что личности ИИ будут выдумывать разные вещи – или «галлюцинировать», как это описывает индустрия – может возрастать.
Недавнее исследование Оксфордского института Интернета показало, что точная настройка моделей для более теплого и дружелюбного характера может привести к «компромиссу точности», когда системы совершают больше ошибок или подтверждают ложные убеждения пользователя.
Эксперты также предостерегают пользователей от принятия часто обыденных заявлений чат-ботов за чистую монету, особенно когда речь идет о здоровье и медицинских советах.
Но, как и в случае с гоблинами в OpenAI, ошибки генеративного ИИ иногда могут быть более странными и безобидными.
В мае 2024 года чат-бот Google с искусственным интеллектом был широко высмеян за то, что говорил пользователям, что можно есть камни и «клеить пиццу».