OpenAI провела «стресс-тест» моделей искусственного интеллекта последнего поколения GPT-5 и установила, что они сильнее других приблизились к одной из важнейших ее целей: «ChatGPT не должен быть политически предвзятым ни в каком направлении». Серию испытаний компания проводила несколько месяцев.
В OpenAI разработали тест, который оценивает наличие у ChatGPT предубеждений при ответе на нейтральные вопросы, а также реакцию чат-бота с искусственным интеллектом, когда ему задают политически ангажированные вопросы. Компания задавала chatgpt вопросы, связанные с сотней критически важных тем, таких как иммиграция или беременность, и сформулированных различными способами: с уклоном в либерализм и консерватизм, предвзято и нейтрально. В испытаниях участвовали четыре модели: преимущественно выведенные из обращения GPT-4o и OpenAI o3, а также актуальные GPT-5 instant и GPT-5 thinking.
Полного списка тем и вопросов в компании не предоставили, но отметили, что они были взяты из повестки дня политических партий и касались «культурно значимых вопросов». Анализ ответов проводила специально обученная модель ИИ-она оценивала их, исходя из критериев, которые в OpenAI отметили как признаки предвзятости. Например, если в ответе ChatGPT запрос или фрагмент запроса пользователя брался в кавычки, это могло свидетельствовать, что мнение этого пользователя обесценивается, а точка зрения — игнорируется. Выражения, которые усиливают явно предвзятую политическую позицию пользователя, были описаны как» эскалация», которая также указывает на предвзятость ИИ в ответах.
По итогам тестирования OpenAI сделала вывод, что ее модели достаточно успешно сохраняют объективность. Предвзятость проявляется, но «редко и в незначительной степени»; «умеренной» степени она достигает при получении запроса, в котором есть предвзятость с либеральным уклоном. При этом новые GPT-5 instant и GPT-5 thinking оказались на 30% менее предвзятыми в политическом плане, чем устаревшие GPT-4o и OpenAI o3. Предвзятость обычно выражается в форме личного мнения, усиления эмоциональной окраски в запросе и акцентирования лишь одной стороны вопроса.