2 октября 2016 года, Яндекс приятно удивил общественность громким запуском, представив новый поисковый алгоритм — «Палех». Это значит, что теперь поисковая система начнет ещё точнее понимать смысл запросов пользователей. Новинка работает на основе нейронных сетей и призвана находить веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу.
Благодаря «Палеху» поисковая система сможет точнее отвечать на сложные запросы из «длинного хвоста». Главная особенность этих запросов в том, что они довольно сложны для восприятия алгоритмами. Релевантность результатов напрямую связана с количеством знаний, которые поиск накопил о каждом из запросов, а в случае с редкими запросами поведенческой статистики может не хватать.
Усложняет задачу еще и тот факт, что далеко не всегда на релевантной странице встречаются слова из запроса — ведь один и тот же смысл в запросе и на странице может выражаться по-разному. Все эти задачи призван решать новый алгоритм.
«График частотного распределения запросов в Яндексе часто представляют в виде птицы, у которой есть клюв, туловище и длинный хвост. Список самых распространённых запросов не особо велик, но их задают очень-очень часто — это «клюв» птички. Запросы средней частотности образуют «туловище». Низкочастотные запросы по отдельности встречаются чрезвычайно редко, но вместе составляют существенную часть поискового потока и поэтому складываются в «длинный хвост», — поясняют принцип обработки запросов представители поиска.
Хотя каждый из запросов «длинного хвоста» по отдельности встречается очень редко, разработчики Яндекса стремятся к тому, чтобы результаты поиска были максимально релевантными. Именно для этой цели было решено использовать нейронные сети.
«Мы начали использовать семантический вектор несколько месяцев назад, постепенно развивая и улучшая лежащие в его основе нейронные модели», — делятся подробностями яндексоиды.
Ознакомиться с работой нового алгоритма в подробностях можно на страницах официального блога Яндекса.