Ранее мы уже приводили количество запросов, с которыми приходится работать крупным поисковым системам каждый день. Когда счет идет на миллиарды сообщений, на оборудование оказывается особенно большая нагрузка.
По этой причине, для того, чтобы поддерживать правильный уровень нагрузки и при этом работать стабильно, система в обязательном порядке должна подкрепляться серверными мощностями.
На данный момент времени для того, чтобы проводить индексацию и обрабатывать большое количество запросов, крупным поисковикам требуются масштабные дата-центры, расположенные в разных точках земного шара.
Дата-центры для поисковиков
Само понятие «дата-центр» подразумевает организацию центра обработки данных, в котором устанавливается большое количество серверов с высокими вычислительными мощностями. Дата-центры устойчивы к перепадам напряжения и их использование позволяет гарантированно сохранить данные от повреждения. Помимо этого, стоит обратить внимание на то, что современные дата-центры находятся под постоянной охраной. Это дополнительно повышает безопасность данных от хищения.
Все центры обработки данных для крупных поисковых систем по структуре можно разделить на 3 составляющие:
- серверное оборудование — основной элемент; серверные стойки предоставляют крупные мощности, которые зачастую просто невозможно реализовать в стандартных офисных пространствах;
- инженерная инфраструктура — за дата-центрами ведётся постоянный контроль техников, которые отслеживают состояние работы системы, а также борются с возможными неполадками;
- телекоммуникации — этот инфраструктурный элемент позволяет передавать данные как между серверами, так и между серверами и конечными пользователями; очень важным является правильное построение такой инфраструктуры, ведь именно от этого зависит скорость поиска и отклика на запросы конечного потребителя.
Все дата-центры делятся на типы по площади, а также по степени защищенности. Введена даже специальная международная сертификационная система безопасности дата-центров, что позволяет моментально показывать заказчикам уровень гарантий при работе с тем или иным центром обработки данных.
Отказоустойчивость дата-центров обеспечивается резервными генераторами, специальной системой пожаротушения и другими приспособлениями, позволяющими пройти сертификацию.
Еще одним важным фактором является тип дата-центра и хранения на нем данных. Крупные поисковые системы чаще всего стараются создать собственные серверные центры, так как в этом случае они могут получить полный контроль над проведением работ и высокие гарантии отказоустойчивости.
Это всё, что можно сказать о физическом уровне устройства поисковых систем. Современные поисковики – это сложные и комплексные системы, в которых всё должно находиться под постоянным контролем и в равновесии. Потому передача вычислений в дата-центр становится необходимостью. Далее мы рассмотрим, как устроены поисковые системы на логическом уровне и это будет гораздо более сложная и объемная тема.
