Индексация сайта: принципы работы, советы, секреты

Как проверить проиндексирован ли сайт в целом?

Для начала стоит убедиться, что ваш сайт попадает в базу поисковиков. Для этого нужно узнать общее число его страниц. При наличии современной системы управления веб-ресурсом, посмотреть данную цифру можно в административной части. При этом учитывается итоговое число страничек и записей.

Если по какой-либо причине данная информация недоступна, можно воспользоваться сервисом Xml-sitemaps.com. Учтите, что он бесплатен только при работе с сайтами, имеющими в своем арсенале до полутысячи страниц.

Узнав требуемое число, можно приступать к проверке индексирования площадки в главных поисковых системах – Яндекс и Google. Для этого существует несколько способов:

• Использование специальных инструментов для веб-мастеров: webmaster.yandex.ru и google.com/webmasters. Зарегистрировавшись в них и добавив свой ресурс в систему, вам станут доступны не только данные о количестве проиндексированных страничек, но и статистика других «пузомерок».
• Ручная проверка через ввод специальных команд в строку поиска. При этом в Яндексе нужно ввести конструкцию host:имя сайта+домен либо host:www+ имя сайта+домен, например, host:abc.ru. На это система выдаст все проиндексированные страницы. Для проверки в Google потребуется ввести запрос: site:имя сайта+домен, т.е. site:abc.ru.
• Использование автоматических сервисов, проверяющих индексацию сразу в обеих поисковых системах. К числу таких относятся, например, Site-auditor.ru, Pr-cy.ru или Seolib.ru. Также можно добавить в свой браузер плагин RDS Bar, который будет показывать сведения о ресурсе, включая индексацию страничек, на котором вы находитесь.

С помощью любого из данных методов можно узнать, проиндексирован ли сайт в целом, и определить число занесенных в базу поисковиков страниц ресурса.

Ручной метод

Один из лучших методов узнать сколько страниц вашего сайта находится в поисковике – спросить у него самого. Это бесплатно, быстро, просто и без какой бы то ни было регистрации. Самый простой и довольно-таки точный метод.

Какой же запрос нужно ввести, чтобы Яндекс показал все странички, что у него по вам есть? Нет ничего проще. Выглядеть он будет так: URL:домен-вашего-сайта*

Теперь смотрим сколько страниц нашлось. Эта информация высвечивается в правом верхнем углу под словом найти.

Почему именно такой вид? Чтобы в поиске также не отобразились ссылки на ваш ресурс, к примеру, из социальных сетей или других источников, о которых мы говорили в статье про бесплатное продвижение.

Для Google код будет немного отличаться. Пишем site:домен. Как вы видите, страниц чуть меньше. В принципе, это нормально. Гугл менее дружен к отечественным ресурсам. Эта компания не занимается вплотную российским сегментом. Огорчены? Я скажу вам: «Слава Богу».

Запросы Google к «своим» вебмастерам настолько суровы, что они на стену лезть готовы. Попасть на первое место может далеко не каждая статья. Те русские разработчики, что работают на английском, в голос утверждают, что работать на российский Гугл значительно легче и удобнее.

Как проверить индексацию отдельной или всех страниц

Проверка отдельной странички нужна, когда необходимо убедиться, что новый  опубликованный контент успешно «замечен» поисковыми системами. Или когда вы приобрели на чужом ресурсе платную ссылку и теперь с нетерпением ждете ее индексации. Это можно сделать через:

• Ввод URL страницы в строку поиска Яндекс или Google. В случае если проблем с восприятием страницы поисковиками нет, она первой отобразится в результатах поиска.
• Уже упомянутый плагин RDS Bar.

Для проверки индексации всех страничек сайта понадобится список их адресов (URL). Для этого можно воспользоваться каким-либо генератором карт веб-ресурсов, к примеру, Sitemap Generator. Чтобы собрать только URL страниц, не забудьте внести маску ненужных адресов, например, на комментарии, в окне «Exclude Patterns». По окончании процесса следует перейти во вкладку Yahoo Map/Text, откуда скопировать сгенерированный перечень всех адресов.

Имея его на руках, индексацию всех страничек не составит труда проверить с помощью программы YCCY.ru. Просто добавьте данные в список исходных URL и выберите одну из предложенных поисковых систем: Google, Яндекс или Rambler. Нажмите кнопку «Начать Проверку» и получайте утешительные или не очень результаты.

Как проверить индексацию сайта в Яндексе

Чтобы проверить процесс индексирования сайта в системе Яндекс нужно что бы ваш сайт был зарегистрирован в Яндекс.Вебмастере.

Ранее я уже показывала, как зарегистрировать сайт в поисковых системах.
Ознакомиться с ними вы можете по этим ссылкам:

Как добавить сайт в поиск GoogleКак в Яндекс.Вебмастер добавить сайт

1. 1.Заходим в свою учетную запись в Яндекс.Вебмастера и нажимаем на кнопку «Войти»
2. 2.В открывшейся форме вводим свои логин и пароль, после чего, опять нажимаем «Войти».
3. 3.Сразу же, на стартовой странице вы увидите график и данные о количестве загруженных страниц в поисковую систему роботом, количество проиндексированных страниц и количество исключенных страницы из индекса.
4. 4.Кликнув по графику или перейдя в пункт левого бокового меню «Индексирование» => «Статистика» вы можете просмотреть более подробную статистику. Вы можете подробно проверить по датам процесс добавления страниц в поисковую систему.
5. 5.Кликнув по раскрывающемуся меню под названием сайта, вы можете отфильтровать показания графика:
6. 6.Пролистав страницу, можно ознакомиться с полным перечнем страниц, которые уже находятся выдаче и датой их переобхода роботом

Если вы добавили на сайт новую страницу или запись, либо вы внесли какие-то изменения в уже существующие страницы, и вам нужно провести повторную индексацию, то вы можете сообщить об этом роботу Яндекс, воспользовавшись инструментом «Переобход страниц» в разделе бокового меню «Инструменты».

Вам нужно вставить адрес страницы, для которой нужно провести принудительное индексирование и нажить на кнопку «Отправить».

Ниже расположен перечень, в котором содержаться страницы, ранее отправленные на повторное индексирование.
В графе «Статус» отображается ход индексирования, а в графе «Отправлен» отображается время посещения страницы роботом.

Способ 2. Язык запросов

Общее количество (приблизительное) проиндексированных страниц сайта можно получить сразу в выдаче Google, сделав такие запросы:

• site:www.example.ru
• site:example.ru
• site:https://www.example.ru
• site:https://example.ru
• site:http://www.example.ru
• site:http://example.ru

, в которых example.ru нужно поменять на свой домен. Без пробелов.

Нажав на кнопку «настройки» внизу поиска можно посмотреть, какие страницы поисковик проиндексировал за час, 24 часа, неделю, месяц.

Второй способ не очень корректный и дает выдачу со всеми страницами, где есть ваш сайт. Включая соцсети, сервисы проверок и т.д. Более точную информацию по количеству проиндексированных страниц в Гугле может дать одно из специальных расширений браузера.

Индексация сайта в поисковых системах – что это?

Индексация сайта – это появление страниц сайта в индексе (базе данных) поисковой системы. Чем быстрее страницы появляются в поиске, тем лучше.

При создании сайта под РСЯ столкнулся с проблемой: индексация сайта в поисковых системах отсутствует. Изначально я умышленно закрыл его от посещений поисковыми роботами, чтобы провести все настройки, seo оптимизацию, обновить дизайн, наполнить контентом.

После того, как все вышеуказанные работы были произведены, в субботу 22 июня сайт был открыт для индексации, составлен robots.txt и предприняты попытки вогнать его в индекс. Пока безуспешно. На календаре сегодня 25 июня.

Вопрос к опытным вебмастерам: какое время нужно для индексации нового сайта?

Вот что пишет мне Яндекс в панеле Вебмастера:

Semonitor

В одном из постов блога я писал уже про  Semonitor, когда рассматривал программы для мониторинга обменных или купленных ссылок. Собственно, софт оказался весьма универсальным в плане проверки ссылок, там за это отвечает отдельный модуль Link Exchanger. От вас требуется ввести сайт на которые ставятся ссылки и из файла загрузить список url для проверки индексации страницы в поисковиках. После этого можно выбрать проверяемые параметры и запустить программу:

Безусловным плюсом в Semonitor есть то, что кроме проверки наличия ссылки вы сможете увидеть некоторые параметры проекта, анкор, количество внешних, внутренних ссылок, открытость ссылки для индексации и т.п. При большом числе запросов не обойтись без Yandex XML лимитов которые можете найти в своей учетной записи.

Ну и, конечно, результат проверки на 100% правильный, что также весьма радует. Даже и не знаю теперь, может не продавать Semonitor будет от него теперь хоть какая-то польза:) Нужно изучить остальные модули, там в принципе, полно опций и фишек для оптимизаторов.

А какими сервисами для проверки индексации страниц в поисковиках пользуетесь вы?

Полезные ссылки

Мне остается только посоветовать несколько источников, которые помогут научиться писать крутые статьи, которые с радостью одобрит и Яндекс, и Гугл. Первый сервис GeekBrains.ru. Он больше подойдет тем разработчикам, которые хотят добиться совершенства в выбранной области.

Здесь в течение 4 месяцев обучают профессии «SEO-специалист». То, что пишут на странице о курсе – не совсем правда. «Стоимость обучения с легкостью компенсируется уже за 1 месяц работы». От вас потребуется всего 4,5 тысячи рублей, а эту сумму можно «отбить» уже за неделю.

Здесь не учат писать, они рассказывают о коде, составлять семантическое ядро сайта, то есть придумывать его структуру, о чем вы будете писать в блоге, далее внутренняя оптимизация – какие слова использовать в публикациях, чтобы их лучше видели поисковые системы. Внутренняя и внешняя оптимизация, а также контекстная реклама.

Все это очень полезно для веб-мастера. По завершению обучения вы можете пройти стажировку в крупных компаниях, GeekBrains.ru подыскивают вам места. Это не совсем курс. Вы будете работать с учителем, выполнять домашние задания и учиться на практике.

Если же вас больше интересует владение словом, то я могу посоветовать закрытый клуб копирайтеров «Повелители пера»

Не важно начинающий вы копирайтер или хотите усовершенствовать свои навыки

За 490 рублей в месяц у вас будет доступ к огромному количеству материалов по копирайтингу школы Юлии Волкодав: виды продающих текстов, как выиграть тендер на бирже фриланса, вау-текст, эффективные заголовки и многое другое.

Сумму, потраченную на обучение, вы можете «отбить» уже в первый день. Учитывая, что средняя цена за 1000 символов на бирже фриланса составляет около 50 рублей, то вам всего-то понадобится написать две статьи, длиной в 5 тысяч знаков.

Вы научитесь продавать

Что очень важно для ведения своего сайта. Ваши продукты будут уходить быстрее

Одна публикация может продавать снова и снова, помните об этом. Всего одна хорошая статья в неделю, написанная вами и качественно, будет работать долгие годы и приносить прибыль.

Ну вот и все. До новых встреч и не забывайте подписываться на рассылку.

Проверить индексацию страницы — операторы

Процесс добавления твоей новой страницы в индексную базу поисковой системы может длится от нескольких минут до недели, в зависимости от того как часто роботы захаживают на твой сайт. И конечно хотелось бы, чтобы роботы почаще бывали на твоем блоге, и чтобы свежая информация была как можно быстрее доступна в поиске пользователям.

Так как же проверить индексацию страницы в Яндексе и Google — наиболее популярных поисковиках?

Яндекс

Для выяснения присутствует ли страница в индексной базе Яндекса существуют несколько так называемых документных операторов:

• url: Поиск заданной страницы в индексе, формат написания: url:адрес_проверяемой_страницы
• site: Поиск всех индексированных страниц на сайте, формат написания: site:адрес_сайта
• host: Поиск всех страниц на данном хосте, формат написания: host:адрес_сайта

Вот как это выглядит для моего сайта:

Результат запроса в Яндексе по оператору URL:

Результат запроса в Яндексе по оператору site:

Впрочем если ты в операторе site введешь адрес отдельной страницы он сработает аналогично оператору url

В данном поисковике есть всего один оператор — site. Он полностью аналогичен по функции своему одноименному собрату в Яндексе. Он также выдает все проиндексированные страницы на сайте. В формате этого оператора можно использовать команду &, которая позволяет понять сколько рабочих страниц находятся в индексной базе, отсекая при этом «сопли», которые находятся в дополнительном индексе. Вот так выглядит запрос данного оператора site:адрес_сайта/&. Пример запроса индексации страниц в Гугле на моем сайте:

Результат запроса в Гугле по оператору site:

Если же ты в операторе site для Гугла введешь полный адрес страницы он сработает также как оператор url для Яндекса.

Еще можно воспользоваться расширенными функциями поиска на сайте:

• Яндекс — переходим сюда //yandex.ru/search/advanced
• Google — переходим сюда //www.google.ru/advanced_search

В поисковой строке необходимо ввести какую-нибудь фразу или словосочетание, либо заголовок страницы, которую мы хотим проверить, и указать сайт, где будем искать. В итоге получим релевантные запросу страницы сайта, среди которых должна находиться искомая страница (если она присутствует в индексе). Вот так выглядит расширенный поиск для Яндекса:

Расширенный поиск на Яндексе

У Google ситуация похожая, отличается только интерфейс расширенного поиска. В результате выполнения запроса получаем список страниц, в которых присутствует ключевая фраза.

Как посмотреть количество проиндексированных страниц в Яндексе

Способ 1. Яндекс веб-мастер

• Зайдите (заведите) в свой аккаунт на Яндекс Веб-мастере. https://webmaster.yandex.ru/
• Посмотрите сколько страниц у вас в поиске.

Способ 2. Расширения браузеров

В любом браузере есть расширения, показывающие основные или расширенные SEO данные по сайту, в том числе количество проиндексированных страниц в Яндексе. Вот одно из них, под названием «RDS bar».

Ссылки расширения

• для Google (тут)
• для Mozilla (тут)
• для Opera (тут)

Еще расширения: SEOquake

Способ 3. Синтаксис поисковых запросов Яндекс

• Войдите в поиск Яндекс (https://ya.ru/);
• В адресную строку впишите строку поиска: ;
• Посмотри результат поиска.

Весь Язык запросов Яндекс тут.

Анализ индексации в Яндексе и Google: в чем проблема?

Данные по страницам в индексе доступны в панелях для вебмастеров:

Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

После выгрузки у вас будет два файла со списком URL, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких именно URL не хватает в каждой поисковой системе.

Если у вас, допустим, до 50-100 URL, то все можно сделать руками. Отсортируйте URL по алфавиту и выявите расхождения. На все про все уйдет до 30 минут. Проблемы начинаются, когда количество URL составляет 300, 500 и более. Не говоря уже о десятках тысяч. Здесь нужна автоматизация. Рассмотрим инструмент, который позволяет быстро проверить индексацию и найти расхождения.

Как отключить индексирование дисков в Windows 10

Как обычно, создатели ОС предусмотрели несколько вариантов выполнения этой задачи.

Через службу Services

Проделываем всё, как описано разделом выше, но на этапе выбора типа запуска вместо «Автоматически» выбираем опцию «Отключить», жмём кнопку «Стоп», а затем – «Применить».

Но чтобы изменения вступили в силу, придётся выполнить перезагрузку компьютера, после чего вы сможете попробовать оценить, насколько шустрее он стал работать.

ВАЖНО. Если файлов на диске много, то и операция включения, и отключения индексации может занять много времени, при этом на некоторые файлы служба будет ругаться, поэтому желательно нажать кнопку «Пропустить всё».

Если вы посчитаете, что производительность ПК никак не изменилась, то можете включить функцию тем же порядком, который описан выше.

Через командную строку

Опытные пользователи предпочитают не открывать множественные окна, а использовать командную строку, вводя одну команду. Правда, этот способ тоже не лишён недостатков – команду нужно помнить, плюс всегда существует вероятность допущения ошибки в наборе. Тем не менее у неё немало поклонников.

Как это делается:

• нажимаем комбинацию Win+X, в открывшемся меню выбираем пункт PowerShell с правами администратора. В то же меню можно попасть, сделав щелчок ПКМ по кнопке «Пуск»;
• запустить командную строку можно и через консоль поиска, набрав в ней cmd;
• в окне консоли набираем строку sc stop «wsearch» && sc config «wsearch» start=disabled, подтверждаем нажатием Enter.
• в итоге служба поиска будет остановлена и, соответственно, произойдёт отключение индексации в Windows.

Если возникнет необходимость снова активировать службу поиска с индексацией, в командной строке набираем видоизменённую фразу: sc config «wsearch» start=delayed-auto && sc start «wsearch».

Как изменить параметры индексирования

Отключить индексирование файлов в OS Windows 10/8/7 можно и выборочно. Это, по идее, позволит повысить производительность ПК, поскольку вы оставите для индексации только те локации, которые посчитаете важными с точки зрения поиска.

Для этого выполняем следующие действия:

• нажимаем комбинацию Win+S и набираем в поисковой строке слово «индексирование»;
• в результатах поиска выбираем строку «Параметры индексирования». Если такой строки нет, её можно найти в «Панели управления»;
• в открывшемся окне высветится список всех мест, которые в данный момент индексируются. Кликаем по кнопке «Изменить»;
• в новом окне появится тот же список, но с галочками. Если нужны все локации, жмём кнопку «показать все расположения». Убираем галочки там, где посчитаем нужным, подтверждаем нажатием ОК.

Ту же операцию можно выполнить и другим способом, при этом можно отключить индексацию только всего диска. Это может быть полезно, например, если вы хотите исключить из индексации в Windows 10/8 диск SSD, который, как уже отмечалось выше, индексировать не имеет смысла.

Для этого нужно открыть «Мой компьютер» и кликнуть ПКМ по диску, который хотите отключить. В появившемся меню выбираем пункт «Свойства» и снимаем галочку со строки «Разрешить индексировать контекстные файлы». Помните, что операция отключения может оказаться длительной.

Восстановление индексного файла

«Служба поиска» – это обычная системная утилита, в работе которой тоже могут наблюдаться сбои. В подобных случаях индексная база данных оказывается не совсем актуальной, в результате поиск будет работать некорректно – сильно замедлится, а то и вовсе окажется безрезультатным.

В таких случаях повреждённый файл нужно исправить, и сделать это можно самостоятельно следующим образом:

• описанным выше способом открываем окно «Параметры индексирования»;
• кликаем по кнопке «Перестроить»;
• ждём, когда индексный файл будет построен заново, и это тоже достаточно длительная процедура, если диски забиты файлами и функция индексации активирована.

Итак, теперь вы знаете, для чего нужна индексация, и можете сделать для себя выводы, нужна она вам или нет. Функция, безусловно, полезная, и хорошо то, что отказаться от неё можно выборочно, а как отключить индексацию конкретного диска или папки, вы уже знаете.

Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В этом случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать.

Плагин Seo Magic также показывает количество страниц в индексе Яндекса и Google, при нажатии на интересующую цифру — откроет выдачу поисковой системы. Кроме этого, плагин показывает и другую полезную информацию:

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

Особенности индексации в Google

Интернет – это необъятный океан различной информации, которая обязательно строго структурирована и находится на отведенном ей месте. Такая безупречная каталогизация возможна благодаря работе поисковых систем. В них хранятся важные данные о каждой странице всех имеющихся сайтов, что позволяет быстро находить пользователю нужную ему информацию.

Так как Интернет ежедневно пополняется огромным количеством новой информации на страницах сайтов, даже самые продвинутые поисковые системы не могут сразу выполнить их индексацию. На наиболее посещаемых сайтах обновление данных в поисковых системах производится ежедневно, а на всех остальных – еженедельно.

Индексация сайта в Гугле – самая быстрая индексация среди всех остальных. В зависимости от ряда параметров, Гугл способен вносить в свою поисковую базу данные о произошедших обновлениях на сайтах даже в течение нескольких часов

Индексация включает добавление ряда важной информации о материалах сайта: ключевые слова, ссылки и пр

Все web ресурсы индексируются с разной скоростью. На то, как быстро поисковая машина посетит сайт и внесет в свою базу данных информацию об изменениях на страницах, влияет ряд факторов. Предположим, если Гугл определит, что сайт посвящен новостям, то он будет регулярно индексироваться быстроботом – буквально каждые несколько часов. Существуют разные способы, при помощи которых можно добавить сайт на индексацию в Гугл. Например, для того, чтобы ускорить попадание сайта в индекс, часто используется один из действенных способов – размещение внешних ссылок на страницах, которые уже проиндексированы.

Когда поисковая машина Google посетила сайт, отметила все необходимые данные и внесла информацию в базу данных, системой осуществляется ранжирование авторитетности. Что оно из себя представляет? Ранжирование авторитетности – это выполнение сортировки по определенным параметрам. Авторитетность (PageRank), в свою очередь, определяется количеством и качеством ссылок, ведущих на сайт с других ресурсов. Выходит, что тот сайт, на который ведет большее количество ссылок, является более авторитетным

Чем выше авторитетность, тем выше и важность ресурса, определяемая ранжированием

Непосредственное влияние на индексацию сайта оказывает:

• количество посетителей;
• релевантность страницы – соответствие поисковым запросам пользователей, достигаемое определенной пропорцией ключевых слов в тексте или мета-тегах;
• внутренняя оптимизация.

Показатель PageRank может быть от 0 до 10. Для наиболее «продвинутых» сайтов обычно соответствует показатель 4-5. А вот сам Google имеет по шкале авторитетности 10. На данный момент тулбарный показатель PR отключен.

Те сайты, которые обладают высоким показателем авторитетности, располагаются в поисковой выдаче как можно выше. Следует учесть, что каждая страница одного сайта имеет свой показатель авторитетности, поэтому и место в выдаче будет для каждой страницы свое.

Как проверить индексацию сайта в Гугле с оператором «site:»

Мы уже разобрались с тем, что индексация сайта очень важна. С помощью определенных действий можно проверить проиндексирован ли сайт в Гугл. Существует много программ и сервисов, которые помогают в этом.

Один из способов проверки индексации в Гугл – это выполнить установку тулбара Google в браузер, после чего в правой верхней странице будет видна специальная диаграмма. Она выводит показатель авторитетности страницы сайта.

Еще один надежный способ для google – оператор «site:». Не забываем, что индексация Гугл является зависимой от географического положения, что влияет на количество страниц в индексе для google.ru и google.com.

Итак, как пользоваться данным оператором для проверки индексации:

• К оператору «site:» нужно добавить url интересующего домена. Между ними не должно быть пробелов. Выглядит это так: site:google.ru.
• Поиск по всему домену или отдельному каталогу: site: google.com/webmasters.
• Можно осуществлять и избирательный поиск. Для того, чтобы исключить ненужные страницы, перед оператором нужно поставить знак «-». Выглядит это следующим образом: site:google.ru -site: adwords. google.com.

Для того, чтобы определить индексацию страницы со ссылкой на главную сайта с помощью www.google.ru, можно воспользоваться запросами link:google.ru или link:www. Первый поиск всегда выдает гораздо больше результатов.

Поиск ссылок на определенные страницы сайта можно выполнить по запросу: link:google.ru/webmasters.

== Часто задаваемые вопросы по теме (FAQ) ==

Что такое индексация сайта?

Это процесс сбора данных с документов сайта поисковым роботом. Идет в 3 этапа: 1. Робот сканирует станицу сайта, собирает все слова, их местоположение и все теги. 2. Ранжирует полученный документ по текстовым факторам и может сразу отправить страницу в топ. 3. Складирует в базу данных своей поисковой системы (индекс).

Как ускорить индексацию сайта?

Во-первых, уменьшить количество технических ошибок на сайте (дубли и т.д. ).Во-вторых, улучшить работу хостинга (новый тариф, замена хостера, выделенный сервер).В-третьих, чаще публиковать новый контент на сайте.

Как долго проходит индексация сайта?

Все зависит от активности сайта в поиске. Чем чаще публикуются свежие материалы на нем, тем быстрее поисковый робот приходит для индексации новых/измененных страниц.

Для чего нужна индексация страниц сайта?

Поисковая система предлагает своим пользователям в выдаче только проиндексированные материалы из сети. Нет индексации — нет поискового трафика (реклама не в счет).