closeclose
Оставить заявку

Введите имя
Введите корректный номер
Введите email
+375 (17) 336-62-00 search-white.svg
Услуги
SMM и ORM
Продвижение мобильных приложений
Оплата рекламных кабинетов
+375 (17) 336-62-00 phone
edit
+375 (17) 336-62-00 phone
user-icon
editОставить заявку

Блог

closeclose
06.09.2017
Яндекс

Яндекс запустил новый поисковый алгоритм «Королев»

Официальная презентация поиска состоялась 22 августа 2017 года. В ее основе лежит поисковый алгоритм “Королев”. Специалисты «Яндекса» смогли обучить нейронные сети сопоставлять смысл запросов веб-страниц. Теперь новый алгоритм способен дать ответ на длинные и редкие запросы, которые часто задаются на естественном языке. При прежней системе “Палех” качество выдачи было низким - алгоритм понимал только суть заголовка, а не всего текста.


По-настоящему «космическая» нейросеть была презентована в Московском планетарии. Название поисковый алгоритм получил в честь основоположника советской космонавтики Сергея Павловича Королева.


Обновленная система поиска, на основе алгоритма «Королев», стала новым направлением в работе компании. В 2016 году «Яндексом» был анонсирован алгоритм «Палех». Предшественник новой нейронной сети был способен только на сопоставление смысла запроса с заголовком веб-страницы. «Королев» сделал шаг “в открытый космос” – нейронные сети стали обрабатывать не только заголовок, но и всю страницу целиком.

Ссылка на презентацию нового проекта.

Что дает обновленная поисковая система

Главное отличие “Королев” от предыдущей версии поискового алгоритма - оптимизация выдачи результатов с учетом сложным запросов. Особенность новой версии поиска – использование поисковой статистики и оценки миллионов людей. Таким образом, это позволяет повысить релевантность поисковой выдачи.


Что интересного?

Основа алгоритма. В основе алгоритма – нейронные сети. Искусственный интеллект помогает “Яндекс” обрабатывать и анализировать большие потоки информации. Главное во всех нейросетевых моделях - это метод «обучения с учителем». Таким образом, нейросети хорошо работают, когда есть обучающие примеры, причем их должно быть довольно много (как хороших, так и плохих).

Формирование запроса. Теперь пользователь новой поисковой системы может сформировать запрос абстрактно. Например: запрос [картина, где небо закручивается] нейронная сеть распознает, как картину Ван Гога «Звездная ночь».

Объем обработки. В «Палехе» нейронные модели применялись только на самых поздних стадиях ранжирования - 150 лучших результатов на запрос. Это приводило к потере части объема поисковой выдачи на ранних стадиях ранжирования, которые могли быть полезны. Это особенно важно для сложных и низкочастотных запросов. В алгоритме «Королев» все вычисления происходят заранее. Общий объем работы оценивают в 200 тыс. документов на запрос, вместо 150 – что в тысячу раз больше;

Улучшение поиска. Поиск стал более персонализированным. Выдача результата индивидуальна для каждого пользователя на основе прежних запросов. «Яндекс»  собирает и обрабатывает персональные данные в соответствии с политикой конфиденциальности;

Как нейронные сети становятся «умнее»

Согласно статистике, с 2009 по 2013 год поисковик получил более 30 млн. оценок. Это было бы невозможно без асессоров (людей занимающихся оценкой релевантности документов запросу).

Поиск по картинкам, по видео, внутренние классификаторы и алгоритмы – работают на технологиях машинного обучения. Для поддержки платформ нужно большое количество оценок, следовательно, асессоров.  После расширения, «Яндекс» принял решение о создании краудсорсинговой платформы «Яндекс.Толока».


«Толока» - сервис, на котором заказчики размещают задания по анализу и оценке контента. Часть работы, которую просто сделать человеку, но не по силам компьютеру. Можно выбрать понравившееся задание, выполнить его и получить вознаграждение.  Не стоит путать этот сервис белорусской краудфандиноговой платформой Talaka.by. Впрочем, польза и первого и второго сервиса очевидна.

За несколько лет в сервисе собралось более 1 млн человек, которые сделали более 2 млрд оценок. Это позволило Яндексу сделать огромный рывок в масштабировании и объеме обучающих данных. Только в 2017 году задания выполняли более 500 000 человек.

Ведущий QA специалист Artox Media Digital Group (МСК) Антон Шабан об оптимизации текстов под «Королев».

«Чем больше поисковик учится определять смысл текста, тем меньше требуется вхождений ключевых слов. Но принципы оптимизации не меняются», - утверждает Антон Шабан.

Например, еще в 2015 году Google рассказал об алгоритме RankBrain, который помогает поиску улучшить отвечать на многословные запросы, заданные на естественном  языке. Сравнивая работы поиска «Яндекса» и «Google», пользователи отметили, что алгоритм RankBrain хорошо справляется с запросами в поисковой ленте.

Запуск нового алгоритма от Google не требовал целенаправленной оптимизации, поэтому и в «Яндексе» это никак глобально не влияет на SEO-продвижение сайтов.

Советы:

1. Убедитесь, что страница отвечает на запросы, под которые она оптимизирована и по которым переходят пользователи.

2. Убедитесь, что страница все же включает слова из поисковых запросов. Мы не говорим про прямые вхождения, просто проверьте, есть ли слова из запросов в любой форме на странице.

3. Тематические слова могут придать странице дополнительную релевантность, но это явно не просто часто повторяющиеся слова на страницах конкурентов. В дальнейшем SEO-сервисы скорее всего продолжат развитие в этом направлении.

4. Проверьте, не выбивается ли показатель отказов из среднего показателя по сайту. Если по запросу сайт находится на высокой позиции и пользователь находит то, что ему нужно, сайт может быть показан по сходным по смыслу ключевым фразам (если такие есть).

5. Клики в поиске показывают удовлетворенность пользователя результатом. Это не ново, но стоит еще раз проверить сниппеты (ключевые слова)  по ключевым запросам. Возможно, где-то получится повысить кликабельность.

Что дальше?

- Поисковик сможет еще лучше находить информацию, близкую по смыслу к запросу. Наличие вхождений ключевых слов станет еще менее важным.

- К текущему алгоритму будет добавлена персонализация.

- В перспективе хорошие материалы, отвечающие на запрос пользователя, могут получить еще больше трафика по микрочастотным, редким или семантически похожим запросам.

- По низкочастотным ключевым фразам может увеличиться конкуренция за счет большей релевантности неоптимизированных документов.

- Гипотеза. С помощью подобных алгоритмов Яндекс может лучше оценивать, насколько семантически связаны страницы, ссылающиеся на другие, и учитывать это для оценки внешних ссылок. Скорее всего это может быть значимым фактором с учетом слабого влияния ссылок в «Яндексе».

- Нейросети уже превратили из тренда в данность, поэтому стоит ожидать дальнейших изменений, связанных с нейросетями, и в других сервисах «Яндекса».

- Алгоритм будет обучаться дальше и улучшаться.

Разработчики подчеркивают, что запуск нового проекта «Королев» не был бы возможен без всех пользователей поиска «Яндекс». Алгоритмы придумывают разработчики, а учат — миллионы пользователей «Яндекса».

Кейсы, исследования и полезные материалы

Введите имя
Введите корректный номер
Введите email