«Яндекс» запустил новый поисковый алгоритм «Палех», в основе которого лежат нейронные сети. Благодаря «Палеху» поиск лучше находит веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу. За сопоставление смысла запросов и документов отвечает поисковая модель на основе нейронных сетей.
Редкие и уникальные поисковые запросы редко повторяются, но в совокупности их очень много — около 100 млн в день, что составляет почти треть всего потока поисковых запросов, поэтому иногда их называют «длинным хвостом» поиска, сообщают в «Яндексе». Новому алгоритму решили дать название «Палех» в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.
При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе, а значит поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.
Поисковая модель на нейронных сетях, которую использует «Палех», умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С ее помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов.
Запросы из «длинного хвоста» поиска очень разнообразны, но среди них можно выделить несколько групп. Например, одна из них — запросы от детей, которые пока не освоили язык общения с поиском и часто обращаются к нему, как к живому собеседнику: «Дорогой»Яндекс», посоветуй, пожалуйста, новые интересные игры про фей для плантика». Еще одна группа — запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду: «фильм про человека который выращивал картошку на другой планете» («Марсианин») или «фильм, где физики рассказывали даме про дейтерий» («Девять дней одного года»).
Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В «Яндексе» нейронные сети задействованы в поиске по картинкам и смежных задачах, например модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.
Источник: vestifinance.ru