Исследователи Apple разработали новый метод обучения большим языковым моделям (LLM), который позволяет легко интегрировать текстовую и визуальную информацию.
Результаты исследования компании подробно изложены в научной статье под названием «MM1: Методы, анализ и выводы из предварительного обучения мультимодальных LLM», демонстрируют новый подход к созданию более совершенных и гибких систем искусственного интеллекта. Используя разнообразный набор данных, состоящий из пар «изображение – подпись», чередующихся документов «изображение – текст» и данных, содержащих только текст, Apple утверждает, что модель MM1 устанавливает новый стандарт в способности ИИ выполнять такие задачи, как создание подписей к изображениям, ответы на визуальные вопросы и формирование выводов на естественном языке с высокой степенью точности. и лингвистических подсказок Эта способность жизненно важна для задач, требующих тонкого восприятия мира, таких как интерпретация сложных изображений или ответы на вопросы, включающие визуальные элементы.
В статье также подчеркиваются исключительные способности модели MM1 к контекстному обучению, особенно самой большой конфигурации модели с 30 млрд параметров. Эта версия, очевидно, демонстрирует превосходные способности к многоступенчатым соображениям из нескольких изображений с использованием подсказок «цепочки мыслей», позволяющей ИИ выполнять сложные, открытые решения задач на основе минимальных примеров.
Это исследование является частью более широкой инициативы Apple расширение возможностей своего ИИ в условиях роста конкуренции. Ранее Марк Гурман из Bloomberg сообщил, что Apple ведет переговоры с Google по лицензированию модели Gemini для использования в новых функциях, которые появятся на iPhone в составе iOS 18.