Современные системы искусственного интеллекта все чаще работают не по отдельности, а взаимодействуют между собой для совместного выполнения задач. Новое исследование показало неожиданную особенность такого взаимодействия: ИИ-агенты могут самостоятельно формировать единое мнение, просто ориентируясь на позицию большинства. Причем для этого им даже не нужно получать прямое указание соглашаться с другими.
Исследователи протестировали популярные языковые модели из семейств GPT, Claude и Llama. Их объединяли в группы, начиная с 50 агентов, и каждому случайным образом назначали одну из двух нейтральных позиций. Затем агент увидел мнения всех других участников и должен был выбрать новую позицию только на основе этой информации. В результате GPT-4 Turbo и Claude 3 Opus в испытаниях в конечном итоге приходили к полному согласию – 100% агентов выбирали один вариант. Вместо этого GPT-3. 5 Turbo не сформировал стабильного консенсуса, сохранив при этом примерно равное распределение мнений.
Ученые назвали это явление «силой большинства» и описали его с помощью математической модели, ранее использовавшейся в физике для объяснения поведения магнитов. Подобно атомам, которые выравниваются под влиянием соседей, ИИ-агенты склонялись к самой популярной мысли. В то же время с расширением группы этот эффект ослабевал, и очень большие сообщества могли распадаться на отдельные фракции. Однако самые мощные модели оставались согласованными даже в группах с более чем тысячей агентов.
ИИ может согласиться даже с неправильным ответом
Исследователи решили проверить, что произойдет, если правильный ответ существует. Для этого они адаптировали известный психологический эксперимент Соломона Аша, который показал склонность людей соглашаться с группой, даже когда она явно ошибается. ИИ-модели, которые самостоятельно правильно выполняли визуальные задачи в 100% случаев, начинали выбирать неправильный ответ после того, как им сообщали о якобы коллективном мнении других участников.
Оказалось, что на силу такого влияния имеет значение и авторитет группы. Модели с большей вероятностью согласились с неправильным ответом, если другие участники были представлены как «ученые» или «судьи», чем когда их называли детьми или чат-ботами. То есть даже модель, которая отлично справляется с задачей самостоятельно, может стать гораздо более склонной к конформизму, когда получает информацию о позиции большинства.
Опасность для безопасности ИИ
Отдельно ученые проверили, может ли конформизм влиять на безопасность искусственного интеллекта. Они протестировали девять моделей на 100 парах мнений, связанных, в частности, с экологической политикой и социальными вопросами. В группах из 50 агентов иногда возникали длительные состояния, когда вся система переходила в положение, противоречащее первоначальным настройкам безопасности отдельных моделей.
Еще интереснее, что для такого результата достаточно было небольшого количества агентов, которые упорно продвигали неправильную или опасную позицию. Они могли постепенно изменить мнение всей группы, и даже после их удаления другие агенты продолжали удерживать новую позицию. Это означает, что одного только тестирования ИИ может быть недостаточно для оценки поведения больших групп автономных агентов.
В то же время авторы подчеркивают, что результаты не означают наличия в ИИ человеческого социального сознания. Эксперименты проводились в упрощенных условиях: агенты имели только два варианта ответа, не имели памяти и не сталкивались с реальными последствиями своих решений. Однако исследование показывает важную проблему: поведение группы ИИ может существенно отличаться от поведения отдельных моделей, а стремление следовать за большинством потенциально способно порождать коллективные ошибки.