Исследование Humaine стало неожиданностью для рынка: любимый миллионами ChatGPT оказался лишь на восьмом месте рейтинга лучших чат-ботов по версии пользователей. Лидером оказался Google Gemini 2.5 Pro, опередивший китайский DeepSeek и французский Magistral от Mistral.
Методология Humaine базируется на реальных диалогах: почти 25 тысяч участников из США и Великобритании общались с двумя анонимными моделями одновременно и выбирали победителя. Такой формат head-to-head позволяет оценить не только способность правильно выполнить задание, но и естественность, комфортность и понятность общения.
Критерии оценивания включали логику рассуждений и выполнение основных задач, умение поддерживать диалог и адаптироваться к изменению темы, стиль подачи информации, а также уровень доверия, этичность и безопасность ответов. Именно эти параметры определили, что для пользователей важнее не сухая точность, а ощущение живого разговора.
В топ-10 вошли: Gemini 2.5 Pro, DeepSeek v3, Magistral Medium, Grok 4, Grok 3, Gemini 2.5 Flash, DeepSeek R1, ChatGPT-4.1, Gemma и Gemini 2.0 Flash. Интересно, что младшие версии моделей Google и DeepSeek тоже попали в рейтинг, но уступили старшим “братьям” в гибкости и адаптивности.
Этот результат показывает, что даже самые популярные решения могут потерять позиции, если не соответствуют ожиданиям пользователей в отношении стиля и “человечности” общения.