Как увеличить скорость индексации

Было бы просто идеально, если бы страницы сайта появлялись в поиске сразу же после их добавления. К сожалению, это просто невозможно из-за огромного объема информации. Поисковой системе нужно еще и проверить старые страницы сайта, обновить их в выдаче. Выдачу постоянно обновляют роботы поисковых систем. Роботы анализируют страницы, затем добавляют в базу данных только те, которые не являются зеркалами других страниц, и не насыщенными спамом. Вообще, факторов много, их при составлении статей и размещении на сайте нужно учитывать.

Не все ресурсы принимают такой расклад, есть сайты, информация на которых информация актуальна именно сейчас, и, возможно, завтра она уже «просочится». Мы говорим о новостных сайтах. Для ускорения индексации существует «быстроробот», он заходит на подобные сайты по нескольку раз за день.

Как узнать, что страницу посетил быстроробот? Просто посмотреть страницу в поисковой выдаче – рядом с адресом будет показываться дата последнего обновления.

Роботы стараются проиндексировать как можно больше страниц, но чтобы не «засорять» выдачу, роботы учитывают авторитетность ресурса, уровень вложенности, не имеются ли ошибки на странице, файл sitemap. Важными аспектами для робота служат файл robots.txt, мета теги и атрибуты nofollow и noindex.

Сегодня поисковые системы умеют сканировать не только тексты на сайте, но и другие документы. Для них у систем есть свои ограничения: например, в PDF индексируется исключительно текст.

Меры по ускорению индексации сайта

1. Ссылки на новые (не проиндексированные) статьи должны быть на главной страницы сайта.
Используйте перелинковку.
2. Создайте карту сайта, т.е. нужна такая страница, которая содержала бы ссылки на все страницы ресурса.
3. Ограничьте индексацию. Запретите маловажные страницы, служебные страниц (например, результаты поиска по проекту).
4. Настройте автоматическое добавление в социальные сети Twitter и Facebook и т.д.
5. Ссылки на внешние источники рекомендуется закрывать тегом nofollow или noindex.

Итак, как увеличить скорость индексации? Во-первых, нужно привести страницы в порядок (т.е. проверить на наличие ошибок в коде, на наличие мета тегов и т.п.). Во-вторых, нужно иметь ссылки на сайт с авторитетных ресурсов, социальных сетей и с сайтов на подобие RSS каталогов. Если знаете еще способы, то оставьте свои рекомендации в комментариях к этой статье.