Индекс, а точнее, поисковый индекс — база данных поисковой системы, содержащая сведения об Интернет-ресурсах. Индекс нужен для того, чтобы увеличить скорость поиска среди релевантных веб-документов, которые соответствуют определенным пользовательским запросам. Если бы подобной базы не было, то для обработки поисковых запросов требовалось значительно больше времени.
Индексирование либо индексация представляет собой процесс, при котором осуществляется сбор, сортировка по ряду критериев, а также хранение полученных данных. Для выполнения индексации используются специальные алгоритмы, имеющиеся в каждой из поисковых систем.
Индекс ресурсов Интернета происходит постоянно и довольно регулярно, при этом сопровождаясь апдейтами — моментами видимого обновления. Если говорить об Яндексе, то его индекс происходит примерно раз в 7 дней, однако, может переноситься и на более длительное время. Интересно, что кэш страницы содержит дату ее индексации — так называемый индекс страницы.
Чтобы дать поисковому роботу команду о посещении новой страницы, ее адрес добавляется в специальный форму — «аддурилку». Также, на нее может проставляться внешняя либо внутренняя ссылка. К примеру, в большинстве случаев стараются получить ссылку с внешнего ресурса или же из Твиттера.
При проведении работ, касающихся оптимизации сайтов и их быстрой индексации в основных поисковых системах — Google и Яндексе, следует учитывать, что каждая из этих систем имеет свои особенности и отличия.
По мере того, как поисковые роботы обходят страницы ресурса, они попадают в индекс поисковика. Для перехода по страницам, робот переходит по найденным на сайте ссылкам. В зависимости от размера сайта или его траста, на его индекс робот отводит часть своего ресурса (например, обновить сто страниц). На успешной переиндексации сайта сказываются несколько немаловажных факторов:
Об индексации и попадании сайта в индекс нужно помнить всегда, когда идет речь о поисковом продвижении проекта. Здесь действует вполне логичная закономерность, согласно которой, чем быстрее страница проиндексируется, тем быстрее она войдет в индекс и будет входить в поисковую выдачу. Если же страница не попадает в индекс, то рассчитывать на получение трафика из поисковиков не стоит.
Может случиться выпадение ресурса из индекса по причине попадания ресурса под санкции поисковых систем, если проект продвигался посредством серых либо черных методов, а также при самостоятельной раскрутке сайта без достаточных знаний для подобных действий. Управляется поисковый индекс при помощи специального файла, располагающегося в корневой директории ресурса — robots.txt.
Таким образом, индексация может осуществляться двумя способами:
В поисковый индекс входят разные виды упорядоченных элементов: тексты, мультимедийные элементы, включающие аудио, графику или же видео, а также ключевые слова и ссылки. Количество проиндексированных страниц постоянно меняется, что связано с обновлением поисковой базы после завершения очередной индексации.