В интернете обсуждают возможные бенчмарки новой языковой модели Grok 4 от xAI, компании Илона Маска. Данные опубликовал X-аккаунт @legit_api, который ранее уже выкладывал подтвержденные утечки по другим ИИ-сервисам. Если информация верна, Grok 4 показывает впечатляющие результаты, особенно в задачах, где требуются логика и понимание, а не просто поиск информации в интернете.
Наибольший интерес вызвали оценки Grok 4 в бенчмарке Humanity Last Exam (HLE) — это 2500 сложных вопросов по физике, математике, праву и другим дисциплинам, которые нельзя просто найти в поисковой системе. Согласно утечке, Grok 4 справился с ними в полтора раза лучше, чем нынешние лидеры вроде ChatGPT o3 и Gemini 2.5 Pro. В других тестах-по программированию, биологии и математике — его преимущества более скромны, но стабильны.
В бенчмарках фигурируют две версии Grok 4: обычная и отдельная модификация, заточенная под Программирование. Также указаны два режима тестирования-Standard и TTC. Первый ближе к реальному использованию, а второй показывает теоретический максимум, который можно выжать из модели при неограниченных ресурсах.
Модель Grok 4 была первоначально представлена в апреле под названием Grok 3.5, а затем переименована. Маск обещал выпустить ее сразу, но позже признал, что она требует доработки. На прошлой неделе он заявил, что релиз состоится «после 4 июля». Пока этого не произошло.