В последнее время OpenAI и Anthropic более активно пытаются противодействовать сторонним разработчикам, которые используют свои чат-боты и API для обучения своим собственным моделям — процесс, известный как дистилляция. Речь идет о подходе, когда новые системы фактически «учатся» на ответах уже существующих моделей, воспроизводя их поведение с меньшими затратами.
Особое внимание в этой теме привлекают китайские компании, которые применяют дистилляцию для создания моделей открытого веса. Такие решения часто приближаются по возможностям к продуктам американских лабораторий, но стоят значительно дешевле. В то же время в самой индустрии давно предполагают, что подобные методы используют и крупные игроки между собой, чтобы не отставать в гонке.
Некоторое подтверждение этому прозвучало во время судебного процесса в Калифорнии. Илон Маск признал, что его компания xAI частично использовала дистилляцию во время обучения модели Grok. По его словам, это довольно распространенная практика в области искусственного интеллекта. Это заявление прозвучало в рамках дела против OpenAI, а также ее руководителей — Сэм Альтман и Грег Брокман, которых Маск обвиняет в отходе от первоначальной некоммерческой модели компании.
Признание Маска выглядит показательным, ведь именно дистилляция может подрывать конкурентное преимущество крупных лабораторий. Она позволяет другим разработчикам создавать подобные по уровню модели без огромных инвестиций в вычислительные ресурсы. При этом возникает определенная ирония: ведущие компании сами ранее сталкивались с критикой по использованию данных для обучения моделей.
Для xAI, которая появилась только в 2023 году, использование подобных подходов выглядит логичным шагом, чтобы быстрее догнать лидеров рынка. В то же время юридический статус дистилляции остается не до конца определенным: речь чаще идет не о прямом нарушении закона, а о возможном несоблюдении условий пользования сервисами.
В ответ на эти вызовы OpenAI, Anthropic и Google сотрудничают в рамках отраслевых инициатив, чтобы выявлять и ограничивать попытки массового сбора ответов моделей. В частности, они работают над механизмами, которые позволяют обнаруживать подозрительную активность и блокировать систематические запросы.
В тех же показаниях Маск также поделился своим собственным видением рынка, поставив Anthropic на первое место среди разработчиков ИИ, за которым последовали OpenAI и Google, а также упомянул китайские модели с открытым исходным кодом. Он подчеркнул, что xAI пока значительно меньше конкурентов и имеет лишь несколько сотен сотрудников, что делает ее позицию в этой гонке более сложной.