Все модели искусственного интеллекта нуждаются в обучении. Например, как генератор изображений может воспроизводить стиль Ghibli, если его разработчики не использовали для обучения сотне изображений из фильмов студии? Вполне возможно, что вы уже использовали модели ИИ, не задумываясь о том, на каких данных они были обучены. Большинство таких систем используют существующий контент, объединяя огромные массивы информации для создания новых результатов. Однако подход Anthropic, разработчика LLM Claude, оказался необычным.
Компания приобрела миллионы книг, среди которых были редкие и труднодоступные издания, чтобы использовать их в процессе так называемого «деструктивного сканирования». Внутренние документы Anthropic показывают, что книги не просто измельчались после использования, как ранее сообщали некоторые СМИ. Их разрезали непосредственно при подготовке к сканированию. Представитель Anthropic в комментарии Fortune заявил, что компания не покупает «редкие или антикварные книги» специально для дальнейшего сканирования и уничтожения. В то же время внутренние документы описывают ситуацию несколько иначе.
Согласно служебной записке от апреля 2024 года, Project Panama был создан для «деструктивного сканирования всех книг в мире», а не только редких или дорогих изданий. В документе говорится буквально о книгах в глобальном масштабе. Название «Project Panama» также было выбрано не случайно. Вице-президент Anthropic Том Терви отмечал, что кодовое имя должно было скрыть истинную деятельность проекта от людей за пределами компании. После таких подробностей использование Claude действительно воспринимается несколько по-другому.
Эффективность ценой сохранения
Сам термин «деструктивное сканирование» не придумали журналисты, расследовавшие Project Panama. Его использовал Том Терви. Обычное сканирование книги включает в себя простой процесс: поместить страницу в сканер, сделать копию, перевернуть страницу и повторить процедуру. Для больших объемов это очень медленно. Anthropic нашла гораздо более быстрый способ. Именно после публикации 404 Media о Project Panama появились два ключевых вывода.
Во-первых, издание сообщило, что Anthropic массово скупала старые книги, в частности те, которые могли содержать ценный для обучения ИИ контент. Такой подход потенциально позволяет получить тексты, которые не столь широко представлены в современных цифровых базах данных. Во-вторых, компания использовала деструктивное сканирование, потому что оно «быстрее и дешевле» традиционного процесса. Книгу разрезают вдоль корешка, разделяют страницы, после чего их можно быстро пропустить через сканер.
В то же время на рынке существуют устройства, способные сканировать книги без физического повреждения. Среди них роботизированные сканеры Robo Scan от SMA Australia и ScanRobot от Treventus. Подобное оборудование могло бы позволить оцифровывать приобретенные Anthropic книги без их уничтожения. Это то, что вызывает больше всего вопросов у критиков компании, особенно когда речь идет о редких или труднодоступных изданиях. Вряд ли кто-то одобрительно воспринял бы использование Blu-ray-проигрывателя для сохранения ретроигор, если бы он одновременно уничтожал диски. С книгами ситуация выглядит примерно так же.
Мы на самом деле не знаем масштабов этого проекта
Согласно внутренним документам Anthropic, к октябрю 2024 года Project Panama уже позволил сканировать и фактически уничтожать миллионы книг. Ситуация выглядит еще интереснее на фоне сообщений книжных магазинов об увеличении количества «загадочных оптовых заказов». Речь идет, в частности, о необычных изданиях, которые обычно вряд ли пользуются большим спросом. Одна из распространенных версий заключается в том, что за такими закупками могут стоять компании, занимающиеся разработкой ИИ. Если это так, Anthropic может быть далеко не единственной компанией, использующей подобный подход.
Из-за недостатка открытой информации невозможно точно установить, сколько книг уже было уничтожено ради обучения моделей искусственного интеллекта. Тем более неизвестно, могли ли среди них быть экземпляры, остававшиеся последними доступными копиями определенных изданий. Масштабы подобного сканирования остаются неизвестными. В то же время далеко не все компании, работающие над ИИ, обязательно используют такой метод. По крайней мере хочется в это верить.
Илон Маск однажды написал в X, что попросил команду SpaceXAI хранить редкие книги в библиотеке и сканировать их без уничтожения. На первый взгляд, это демонстрирует совершенно другой подход. В то же время заявления Маска не всегда безоговорочно соответствуют его дальнейшим действиям, поэтому окончательно оценивать ситуацию только по одному сообщению было бы преждевременно. Если же SpaceXAI действительно будет придерживаться такого принципа, это станет заметным отличием от подхода, который приписывают Project Panama.