В предыдущем уроке мы установили, что у каждого поисковика существует внутренний набор инструментов лингвистического анализа. Они необходимы для того, чтобы понимать, какое именно слово вводится пользователем в поиске и существуют ли в архиве выдачи материалы с похожими словами. Сами по себе эти лингвистические инструменты очень сложны, так как основываются на анализе огромного числа факторов, словоформ и понятий. Еще более сложными оказываются такие инструменты работы для тех поисковых систем, которые пользуются сразу несколькими языками и производят поиск сайтов по всему миру.
Пользователь не видит всего того объема анализа, который скрыт за вводом простого слова словосочетания. Однако на практике именно лингвистические инструменты остаются наиболее удобным средством нахождения понимания между компьютерной программой и человеком.
В лингвистическом анализе базируется и очень важная функция поисковика - возможность выдачи связанной информации при вводе поисковых запросов. В этой статье мы более подробно рассмотрим такие механизмы.
Этапы лингвистического анализа запроса
Как и любой другой процесс, лингвистический анализ в поисковой системе можно разложить на несколько основных этапов. К ним относятся:
- определение языка — достаточно сложный этап, особенно для мультиязычных систем; для многих языков решающим фактором в определении внутри конкретной системы является тип алфавита; в том случае, если введенный запрос оказывается релевантным для нескольких языков, проводится более глубокий анализ на предмет поиска особых сочетаний букв, характерных для конкретного языка; правильно определить язык запроса очень важно, так как именно в соответствии с этим в будущем будет проводиться выдача списка сайтов;
- трактовка морфологии — современные лингвистические инструменты позволяют проводить очень глубокий поисковой анализ (к примеру, роботы научились понимать как отдельные слова, так и словоформы, синонимы и другие значимые факторы, имеющие значение при поиске определенных совпадений); при распознавании слова поисковикам удобнее всего работать с точным вхождением, однако оно предоставляется пользователем далеко не всегда;
- разграничение омонимы — как известно, омонимами являются те слова, у которых одинаково написание, но конечное смысловое значение полностью отличается; многие думают, что это особенно актуально для русского языка, однако в мире проблема определения омонимов стояла очень остро в самых разных сегментах интернета; решением проблемы стало создание специальных алгоритмов, которые просчитывают статистические вероятности точного значения слова, исходя из комплекса грамматических признаков; откуда берется такая статистика — у каждой поисковой системы имеются собственные поисковые корпуса, в которых хранится большая база текста, в дальнейшем подвергающаяся полному и детальному анализу.
Как результат - система получает четкий и понятный запрос, который удобно в дальнейшем искать по базе проиндексированных страниц. Именно благодаря отточенным механизмам правильной работы с лингвистическими особенностями конкретного запроса, сегодня поисковые системы выдают крайне мало ошибок.
Особенности информационно-поискового языка
Под информационно-поисковым языком понимается та форма подачи слов, которая удобна для распознавания системой. Со стандартного языка на информационно-поисковой запрос переводится в результате проведенного лингвистического анализа. Интересно отметить то, что в результате всех преобразований по заранее установленным алгоритмам, конечный запрос сильно отличается от введённого пользователем изначально.
В состав информационно-поискового языка входит сразу несколько важных элементов. К ним относятся:
- логистические операторы;
- регистр слов;
- морфология языка;
- префиксы обязательности.
Помимо этого в состав информационно-поискового языка входят алгоритмы учета пространства между словами. Именно благодаря созданию простого и понятного для системы языка, поиск проводится намного точнее и быстрее.
Основные правила лингвистического анализа запроса и передачи команд
Для большинства поисковых систем основа лингвистического анализа и поиска по словам весьма схожа, однако может меняться конкретный набор команд, с которыми работает система. Существует строго очерченный свод правил, который позволяет ускорить поиск и повысить точность выдаваемых ссылок. К числу таких команд относятся:
- логическое И — использование такой команды практикуется для перечисления; в результате использования данной команды система задает не только конкретное слово, но также набор дополнительных слов, которые должны идти с ним в связке; применение команды позволяет поисковику с высокой степенью точности отыскивать слова в словосочетаниях, даже если они находятся в различных участках текста или конкретного предложения; для обозначения команды используется (&);
- логическое ИЛИ — еще одна распространённая команда; главное её предназначение — проводить фильтрацию документов при сложных запросах; в том случае, если в проиндексированных документах не обнаруживается прямого совпадения с вводимым словосочетанием, поиск продолжается, но в различных документах по каждому из слов, таким образом, пользователь может получить действительно релевантный запросу набор ссылок; для обозначения такой команды используется «|»;
- логическое объединение и заключение — такие команды необходимы для работы с количеством слов в процесс поиска; обозначаются они просто — «+» и «-»; однако в конечной картине запросов это позволяет существенно увеличить точность поиска, добавить новое слово или исключить уже имеющееся.
Работа с командами проводится на аппаратном уровне и отличается достаточно высокой сложностью. Нередко для того, чтобы увеличить точность поиска команды могут дублироваться, что позволяет в разы увеличить точность поиска. С командами используются различные типы скобок, а также кавычки.
Отдельно стоит сказать про словоформы и работу с ними различных типов поисковых систем. В Яндексе и других поисковиках работает продвинутая система лингвистического анализа. В конечном итоге в списке выдачи оказываются как сами релевантные запросу слова, так и различные словоформы. Именно по этой причине очень важным является правильное использование ключевого слова. Ключевые слова в установленном количестве вхождений в тексте могут обеспечить правильную индексацию определённого участка текста.
Профессиональный оптимизатор старается использовать ключевые слова таким образом, чтобы максимально правильно расположить их в тексте, обеспечить выдачу как по конкретному запросу, так и по возможным словоформам. На практике это быстро дает плоды, так как вы сами можете увидеть, как подсвечиваются поисковые слова в поиске Яндексе. Несмотря на кажущуюся сложность задачи, языку поисковых запросов можно научиться. Важным для этого является понимание внутреннего информационно-поискового языка системы.
Общие выводы
Для того, чтобы работать с поисковой системой, нужно хорошо знать все механизмы формирования выдачи и индексации различных документов поисковыми системами. И знание основ информационно-поискового языка также входит в число этих навыков.
Умение просчитывать логику выдачи поисковика и основные ключевые слова, которые способны заинтересовать конечного пользователя - это ключ к составлению правильного технического задания и успешного продвижения сайтов. Внутренние лингвистические алгоритмы поисковых систем достаточно сложны, но при должном подходе вполне постижимы для конкретного пользователя.
