Урок 35. Эволюция алгоритмов ранжирования Яндекса и история поисковой системы

Сегодня алгоритмы Яндекса регулярно обновляются, с целью того, чтобы каждый пользователь имел возможность получать в выдаче ссылки на сайты с самой точной и полной информацией. Но с чего всё начиналось? Рассмотрим алгоритмы в порядке их появления:

• Магадан. Один из первых алгоритмов, введенных Яндексом. Это событие состоялось в 2008 году и стало весомым вкладом в систему ранжирования с региональной привязкой. Алгоритм принес с собой целый ряд значимых изменений. Уже к маю 2008 года «Магадан» научился искать информацию на иностранных сайтах.

  Помимо этого было увеличено и количество факторов ранжирования, что позволило улучшить показатели качества выдачи. Всего число факторов ранжирования увеличилось почти в 2 раза. Также поисковик стал лучше работать с ссылками, а специальный классификатор позволил определять тип различных страниц. Также с появлением алгоритма «Магадан», в Яндексе вводится такое понятие как «коммерционализированность». Одна из важнейших функций, принесенных алгоритмом – учет уникальности контента на конкретном ресурсе.

  Создатели научили поисковик работать с запросами, ведёнными транслитом, а также понимать и расшифровывать различные аббревиатуры. Помимо этого, алгоритм «Магадан» заложил основы присвоения запросам характеристик относительно геолокации.

  Во всех отношениях «Магадан» стал для поисковика очень значимым нововведением, которое заложило фундамент для дальнейшей активной модернизации.

• Магадан 2.0. Это более продвинутая версия алгоритма, о котором мы рассказывали выше. В ходе длительного тестирования и анализа обратной связи специалисты Яндекса смогли учесть все пожелания и отзывы пользователей. В соответствии с этим, в алгоритм выл внесен целый ряд значимых изменений. Поисковик научился лучше определять уникальность, была усовершенствована система геоклассификации. Классификатор коммерционализорованности также был существенно улучшен.
• Находка. Этот алгоритм появляется в системе в сентябре 2008 года. Главная цель находки – сформировать и внедрить принципиально новый подход к машинному обучению. Помимо этого поисковик также внедрил целый ряд дополнительных новшеств, среди которых улучшение работы со стоп-словами и многословными запросами. Формула ранжирования вновь претерпела ряд важных изменений.
• Арзамас. Один из знаковых алгоритмов Яндекса, появившийся в апреле 2009 года. Алгоритм принес изменения в области классификации и учёта омонимов. Слова с несколькими значениями стали лучше классифицироваться в поиске, а пользователи смогли получать сразу нескольких информационных ссылок.
• Арзамас 1.1. Главное нововведение такого алгоритма – начало работы с геозависимыми запросами (см. также "Продвижение сайта в несколько регионов"). Версия алгоритма 1.1 могла определять пользователей из Екатеринбурга, Москвы и Санкт-Петербурга. Это заложило основы для дальнейшей работы с ранжированием.
• Арзамас 1.2. Более продвинутая версия алгоритма, которая существенно улучшила классификатор геозависимых запросов.
• Арзамас +16. Продвинутая версия алгоритма, появившаяся в конце августа 2009 года. Название обусловлено появлением поиска с геопривязкой по 16 городам России. Это позволило повысить удобство работы с геозависмыми запросами.
• Арзамас 1.5. Алгоритм принес с собой изменение формулы ранжирования, а также дополнительно модернизировал составление выдачи по геазовисимым запросам. При работе с таким алгоритмом, поисковик улучшил выдачу для тех городов, которые пока не учитывались при геопривязке.
• Арзамас 1.5 SP1. Финальная версия алгоритма, которая смогла существенно улучшить все достигнутые им показатели. Именно с введением этой версии поисковик стал активно продвигать собственные принципы работы с геозависимыми запросами. Список городов был существенно расширен, а классификатор геозависимости претерпел изменения. Помимо этого была проведена колоссальная работа с омонимами. Все изменения позволили достичь улучшения качества выдачи для жителей различных регионов страны.
• АГС-17 и АГС-30. С выпуском этого алгоритма в 2009 году начинается активная борьба сайта с низкокачественными страницами. Такая работа была направлена на повышение качества выдачи и позволила перевести под фильтры некачественные сайты или те страницы, которые не содержат никакой  полезной информации для конкретного пользователя.
• Снежинск. 2009 год принес пользователям и веб-мастерам и алгоритм «Снежинск». Большинству он запомнился по введению нового алгоритма машинного обучения под названием Матрикснет. Продолжилось улучшение формирования списка выдачи, а документы стали анализироваться по большому количеству факторов. Специально для более точного анализа документов специалистами Яндекс была создана по-настоящему сложная и многофакторная модель. Продолжилась и работа с геозависимыми запросами, были подключены новые региональные факторы. Еще одна важная особенность алгоритма – активное начало учета поведенческих факторов при ранжировании сайтов в выдаче.
• Конаково. Этот алгоритм также относится к серии «Снежинск», хотя и имеет другое название. Особенность введения алгоритма – расширение функций локального ранжирования. Теперь в базе системы появилось 1250 городов, с привязкой к которым создавалась выдача. Можно понять, насколько значимым был этот скачок, ведь ранее привязка осуществлялась только к 19 городам.
• Снежинск 1.1. Введение этого алгоритма принесло с собой существенное расширение возможностей Матрикснет, улучшение работы с геозависимыми запросами для российских городов. Яндекс продолжил наращивание показателей ранжирования сайтов в соответствии с определенным регионом, что позволило повысить качество формирования списка выдачи.
• Мировой интернет. Алгоритм был запущен в середине лета 2010 года и для отечественного поисковика стал настоящим событием. 7 июля – именно этот день большинство пользователей запомнит в связи с возможностью поиска в Яндексе по иностранным ресурсам. При этом поисковик расширил и возможности фильтрации – теперь каждый пользователь мог включить специальный фильтр, который бы отсекал результаты выдачи из определённого региона. Таким образом, каждый пользователь системы мог выбирать, в каком сегменте интернета ему проводить поиск.
• Полтава. Еще один немаловажной алгоритм, разработанный специально для пользователей с Украины. Учет национальной специфики в работе стал краеугольным камнем успеха этого детища отечественных программистов. Алгоритм мог быстро переводить запросы украинского на русский и наоборот и осуществлять эффективную региональную привязку.
• Обнинск. С этим алгоритмом продолжилось активное введение новых методов распознавания и выдачи геозависимых запросов. Алгоритм ввел новые принципы ранжирования, существенно усложнив их. В результате многие пользователи запомнили август 2010 года за счет изменения положения популярных сайтов в выдаче.
• SEO-ссылки. Этот алгоритм появился осенью 2010 года. В нем Яндекс вплотную занялся рассмотрением вопроса качества ссылок и их влияния на положение сайта в ТОПе. Благодаря пересмотру отношения к ссылкам и введению новых параметров определения уровня доверия к ресурсу, специалистам поисковика удалось вновь улучшить выдачу.
• Авторский контент. Как можно понять из названия, этот алгоритм увеличил роль в ранжировании уникального контента. Повысилась точность распознавания основного сайта-донора. Сайты с высокими показателями витальности стали получать лучшие позиции в выдаче, что стало для веб-мастеров дополнительным стимулом к улучшению качества сайтов, занесенных в выдачу.
• Запросы на латинице. Как мы уже упоминали в одном из предыдущих уроков, в классификации языковых запросов существует также дополнительная категория на латинице. Долгое время качество выдачи по таким запросам оставляло желать лучшего. Но в декабре 2010 Яндекс ввел алгоритм, позволяющий существенно улучшить выдачу по запросам, написанным на латинице.
• Краснодар. Введение этого алгоритма ознаменовалось запуском системы «Спектр», которая уже знакома вам по предыдущим урокам. С введением такого алгоритма увеличилось качество выдачи по геозависмым запросам, а также работа с многозначными запросами. Благодаря использованию специальных принципов учета неявных категорий в запросах, пользователи получили намного более качественную выдачу.
• Поведенческая накрутка. Это первый алгоритм, запущенный в 2011 году. Работа с поведенческими факторами продолжилась и очередным шагом в этом направлении стало определение параметров накрутки. Как выяснилось, на первых позициях оказалось большое количество сайтов, использующих не самые честные методы продвижения. Как итог – существенное повышение качества выдачи и изменение позиций многих лидеров рынка. Вывод сайта в ТОП стал сложнее, но и конкуренция начала складываться на более честных условиях.
• Рейкьявик. Этот алгоритм принес большое количество изменений, среди которых особенно выделяется работа с определением языковых предпочтений пользователей. Были обновлены колдунщики – математический и созданный для онлайн игр. Помимо этого, новшеством в использовании алгоритма стало дальнейшее совершенствование распознавания запросов. Теперь поисковик нуачился  лучше работать с запросами, содержащими опечатки. Также был отработан пришедшийся по вкусу большинству пользователей механизм вывода удобных подсказок в поиске.
• Переоптимизированные тексты. Мы уже не раз говорили вам о том, что тексты на сайте нужно создавать не только для поисковых роботов, но и для людей. И особенно актуальным это утверждение стало именно в сентябре 2011 года, с усложнением использованных фильтров. Поисковик научились хорошо определять те сайты, контент которых создан исключительно с упором на ключевые слова. Как итог – выдача улучшилась, а оптимизаторам пришлось позаботиться о наполнении ресурсов действительно интересными для пользователей текстами. Также стало еще более необходимо следить за количество ключевых слов.
• Юзабилити. Выпуск алгоритма, который ужесточил контроль ранжирования по факторам юзабилити сайта произошел в 2011 году. Благодаря усовершенствованию индексации и работы поисковых роботов, система получила возможность определять, удобно ли пользователю работать с конкретным сайтом, нет ли на ресурсе факторов, которые мешают этому. В соответствии с новым алгоритмом также произошло изменение позиций ранжирования.
• Коммерческая выдача. Еще один важный и известный алгоритм, который был реализован в 2011 году. Этот алгоритм улучшил качество работы с различными показателями, важными для конкретных запросов. После введения алгоритма при ранжировании стали учитываться уровень доверия к сайту,  удобство дизайна и созданного для пользователя интерфейса. Все основы ранжирования коммерческих запросов, которые мы перечислили в одном из прошлых уроков также были заложены именно этим алгоритмом. С его внедрением для продвижения сайта по коммерческому запросу начала играть особую роль конкретная информация, наличие указания цены и других полезных данных для конкретного покупателя.
• Минусинск. Алгоритм, призванный фильтровать все сайты закупающие ссылки и писсимизировать их в выдаче. В среднем, сайты, злоупотребляющие покупной ссылочной массой, отбрасываются на 20 позиций вниз. Запущен он 15 мая 2015 года и уже в значительной степени дал о себе знать владельцам многих крупных площадок.

Теперь вы знаете о том, что современные условия ранжирования – это результат длительной работы поисковой системы по улучшению качества выдачи. Важно понимать, что работа по совершенствованию алгоритмов выдачи не прекращается и сегодня поисковая система по-прежнему дорабатывает многие из своих возможностей.

Для того, чтобы ваш сайт правильно индексировался и получал при ранжировании высокие позиции, стоит учитывать все особенности – от требований к юзабилити и авторскому контенту, до правильной работы с геозависимыми запросами. Комплексный подход к улучшению качественных показателей, позволит сделать продвижение сайта эффективным, а самое главное безопасным.

(см. также "Продвижение интернет-магазина")