Китайский интернет-гигант Alibaba представил свою первую серию моделей искусственного интеллекта для роботов.
Согласно заявлению компании, Qwen-Robot Suite включает в себя три основные модели.
Модель Qwen-RobotManip обучена на 38 тыс. Часов видео и построена по принципу «зрение-язык-действие» (VLA), что позволяет роботу выполнять операции на основе визуальной информации и текстовых инструкций.
Qwen-RobotNav обучена на 15,6 млн образцов данных в сферах планирования траектории и визуально-речевых рассуждений (vision-language reasoning) и действует как навигатор.
Наконец, Qwen-RobotWorld представляет собой так называемую видеомодель мира (video world model), прогнозирующую траектории на основе текущих наблюдений. Она обучена на 8,6 млн пар видео и текста и может синтезировать видеоданные для обучения роботов и помогать им моделировать траекторию перед выполнением действия.
По словам компании, универсальность Qwen-Robot Suite, который уже тестируется отдельными клиентами Alibaba, позволяет роботам динамически воспринимать информацию, рассуждать и действовать в режиме реального времени. Благодаря этим моделям промышленные манипуляторы, роботы-доставщики и робособаки могут без проблем функционировать в незнакомом окружении и взаимодействовать с новыми объектами, строго соблюдая законы физики и выполняя команды простым человеческим языком.
Традиционные роботы на больших мультимодальных моделях часто теряются в незнакомой среде и испытывают трудности с обработкой новых инструкций, поскольку не могут динамически преобразовывать языковые команды в физические действия.