Для того, чтобы поисковики работали исправно и могли справиться с большим количеством запросов, разработчики продумывают крупные логические схемы. Это необходимо для минимизации времени на поиск, сокращения ошибок в работе системы и достижения других, немаловажных целей. В конечном итоге все поисковики находятся в стадии постоянной борьбы за пользователя, так что напрямую заинтересованы в высоком качестве работы.
Для оптимизатора, понимание логических механизмов поиска очень важно, так как оно служит ключом к дальнейшей работе, изучению принципов индексации ранжирования и продвижения сайта в ТОП.
В этом уроке мы расскажем вам о том, как устроены современные поисковые системы на логическом уровне. Благо, большинство поисковиков используют схожие основные принципы логического построения внутренней работы.
Как это работает?
Рассмотрим работу с запросом пользователя в виде процесса, состоящего из нескольких этапов:
- Ввод запроса. Что происходит после того, как пользователем был введен запрос в систему? Начинают работать специально созданные для обработки запросов роботы. Первый такой механизм, который встречается текстовому запросу на пути называется балансировщик нагрузки. Он распределяет запрос на тот кластер системы, который на данный момент времен имеет наименьшую нагрузку Использование данного механизма жизненно-важно для крупных поисковых систем, так как им ежедневно приходится работать со многими миллионами запросов. Балансировщик нагрузки уменьшает время отклика системы и повышает удовлетворенность пользователя.
- Попадание запроса в сферу метапоиска. Это достаточно сложный и комплексный процесс, который предполагает внимательную работу с самим запросом. Метапоиск представляет собой комплексную систему, в которой проводится быстрая сортировка и проверка введенного словосочетания. Современные поисковые системы научились работать даже с теми запросами, в которых имеются орфографические ошибки, что существенно увеличило точность выдачи. На этапе работы в системе метапоиска также проводится очень важная процедура региональной привязки. Именно из-за неё поисковик чаще всего выдает вам те запросы, которые располагаются в вашем регионе (см. также региональное продвижение сайта). Конечно же, в том случае, если в самом запросе вы дополнительно не уточняете нужное местоположение.
- Определение картины схожих запросов. Этот процесс также проводится на стадии метапоиска и предназначен для повышения скорости выдачи списка ссылок для конкретного пользователя. Дело в том, что при вводе наиболее актуальных и популярных запросов, пользователь нередко получает уже сформированный список выдачи. Так система экономит ресурсы и быстрее предоставляет пользователям всю необходимую информацию по повторяющемся ключевым словам. Все ответы на частые запросы сохраняются непосредственно в кэше системы, так что сложностей с доступом к ним не выступает. Если же совпадения с популярными запросами не найдены система начинает формировать новый список выдачи на основе установленных алгоритмов.
- Базовый поиск. Это очень большая и загруженная система, мощности которой распределены по огромному количеству серверов. Внутри базового поиска проводится определение соответствующей информации заданному запросу. Так как работа ведется с несколькими серверами, копирующими друг друга, разработчики поисковых систему получают очень высокую защиту от сбоев и неправильной выдачи в результате высокой загруженности. Благодаря такой продуманной серверной структуре информация не теряется, что позволяет затрачивать меньше времени на фильтрацию. В результате каждый сервер проводит формирование результатов, которые вернутся в метапоиск и будут показаны пользователю по результату того или иного запроса. Система работает быстро, а пользователь зачастую даже не подозревает какое количество информации анализируется по его запросу.
- Ранжирование и выдача результатов. На этом этапе информация, которая поступила со множества серверов базового поиска в соответствии с новым запросом проходит идентификацию и ранжирование. То, какой будет выдача пользователю результатов поиска зависит именно от того, как система сработает на этом этапе. В будущих уроках мы еще поговорим о том, как проводится индексация и ранжирование для разных поисковых систем и одни сайты оказываются на вершине ТОПов, а другие нет. Ярким примером алгоритма для проведения ранжирования запросов в выдаче является система «Матрикснет». Всегда стоит помнить, что для конкретного сайта позиции в ранжировании поисковой системы имеют очень важное значение.
Как итог – пользователь получает сформированный список выдачи наиболее интересных ссылок. Большинство из пользователей никогда не задумывались над тем, как строится работа поисковой системы на логическом уровне. Однако за те секунды, когда мы ждем ответа от поисковика, внутри системы проводится очень большое количество операций по индексированию.
Для того, чтобы все работы поисковика осуществлялись с минимальной нагрузкой и без каких-либо внешних неприятностей, разработчики используют большое количество дата-центров. Однако на этом мы не будем останавливаться более подробно – в предыдущем уроке «железная» сторона построения поиска уже была рассмотрена наиболее наглядно.
