"Яндекс" запустил поиск на основе нейросетей
"Яндекс" запустил новый поисковый алгоритм "Палех", в основе которого лежат искусственные нейронные сети. Благодаря "Палеху" поиск лучше находит веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу. За сопоставление смысла запросов и документов отвечает поисковая модель на основе искусственных нейронных сетей.
Редкие и уникальные поисковые запросы редко повторяются, но в совокупности их очень много — около 100 млн в день, что составляет почти треть всего потока поисковых запросов, поэтому иногда их называют "длинным хвостом" поиска, сообщают в "Яндексе". Новому алгоритму решили дать название "Палех" в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.
При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе, а значит поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.
Поисковая модель на искусственных нейронных сетях, которую использует "Палех", умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С ее помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов.
Запросы из "длинного хвоста" поиска очень разнообразны, но среди них можно выделить несколько групп. Например, одна из них — запросы от детей, которые пока не освоили язык общения с поиском и часто обращаются к нему, как к живому собеседнику: "Дорогой"Яндекс", посоветуй, пожалуйста, новые интересные игры про фей для плантика". Еще одна группа — запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду: "фильм про человека который выращивал картошку на другой планете" ("Марсианин") или "фильм, где физики рассказывали даме про дейтерий" ("Девять дней одного года").
Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В "Яндексе" искусственные нейронные сети задействованы в поиске по картинкам и смежных задачах, например модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.
