Как ускорить индексацию сайта


Ускореная индексация сайта в Яндексе 

Вопрос быстрой индексации сайта, волнует наверное абсолютно каждого вебмастера.

Индексация сайта в Яндексе

Индексация сайта в Яндексе

Существует достаточно много способов, ускорить индексацию сайта в поисковых системах. Есть такая гипотеза:

Чем чаше индексируется сайт поисковиками, при условии, что контент интернет ресурса имеет свойство изменяться, тем выше  его позиции в поисковой выдаче.

Я даже как-то экспериментировал с выводом Last-Modified страниц одного блога, для укорения индексации, и в том момент времени, это определенно давало свой результат.

Но это скорее можно отнести к разряду исключений, ведь улучшить посещение интернет ресурса поисковыми роботами, можно и более мирными простыми методами.

   В целом работа по улучшению индексации должна быть комплексной. Поэтому сюда можно смело отнести наличие правильного robots.txt на WordPress, карты блога в формате xml для роботов, добавленной  RSS ленты в feedburner, и регулярно обновляемого контента.

Но есть конкретные рекомендации, которые описываются в помощи Яндекса, в разделе оптимизация индексирования.

Сам Яндекс рекомендует для  сайтов, которые находятся под управлением разных CMS, использовать плагин пингер. Даже предоставляет возможность скачать его бесплатно. :)

Обязательным, в настройках плагина Яндекс.ПДС пингер, является параметр ID поиска, т. е. на блоге необходимо присутствие формы поиска от яши.

В принципе, благодаря аккаунту в twitter, группе на subscribe и ленте в feedburner, новые статьи взлетают в индекс достаточно быстро, просто лично мне симпатизирует поисковая форма Яндекса, и я активно ее использую на других, своих интернет проектах. А по сему и данный блог на WordPress не стал являться исключением. 😉

   Google же в свою очередь отдает предпочтение регулярно обновляемому контенту,  поэтому иногда я дополняю свои старые статьи, и использую плагин Google XML Sitemaps в своем блоге на Вордпресс. А свежие посты всегда стараюсь добавлять в google.com/webmasters/tools/googlebot-fetch.

Проверить индексацию сайта можно написав в строке поиска Google:

site:master-it.biz/&

Яше же необходимо адресовать вот этот запрос:

host:sites.ru | host:www.sites.ru

Как проверить индексацию страниц в Яндексе ?

В Yandex панели для вебмастеров, есть функция Проверить URL. Для этого необходимо скопировать и вставить Url страницы  в строку поиска и нажать на одноименную кнопку.

После этого автоматически начнется обрабатываться и формироваться отчет, и через несколько минут (обычно 2-3 мин.) вы сможете узнать все что известно роботу Яндекса о данной странице, включая статус индексирования и количество внутренних и внешних ссылок.

Статус индексирования страницы в Яндекс

Статус индексирования страницы в Яндекс

Посмотреть все страницы, которые находятся в индексе поисковой системы Yandex, можно с помощью функции: Индексирование сайта Страницы в поиске.
Есть еще одна фишка, которая способствует быстрой индексации сайта Яндексом. Это наличие Яндекс.Метрики на сайте. Если вы еще не используете этот инструмент в своей работе, то рекомендую обратить на него внимание.

Как улучшить индексацию сайта

Многие веб мастера и администраторы сайтов, в последнее время заметили серьезное ухудшение в индексации сайтов поисковой системой Яндекс.

Если раньше новые материалы взлетали в индекс практически сразу после написания и отправки в твиттер, то сейчас посты попадают в индекс только после очередного АПа.

Стандартный проверка урла в вебмастере Яндекса дает ответ:

Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован.

Адрес страницы уже известен роботу, но ещё не проиндексирован

Следовательно, что-то останавливает робота от индексации контента новой страницы, даже не смотря на то, что адрес ему уже известен.

Как это можно исправить?

В первую очередь частота посещения сайта поисковым ботом напрямую зависит от частоты обновления контента на сайте. Если посты пишутся 1-2 раза в месяц, то бот и будет заходить раз в неделю, а чего зря ресурсы тратить?

Поэтому крайне желательно публиковать на сайте новые материалы хотя бы один раз в неделю.

Если материал на сайте публикуется не так часто, и робот не торопится его индексировать после перехода по ссылкам из различных сервисов, таких как твиттер, то можно предположить, что ссылка на новую страницу должна быть как минимум с очень крутого и трастового сайта, что реализовать практически достаточно проблематично.

Есть правда еще одна фишка, которая может значительно улучшить индексацию сайта Яндексом — это оригинальные тексты.

Для чистоты эксперимента, я специально опубликовал два поста с разницей в одну неделю.

Последний пост в этом блоге был добавлен в оригинальные тексты Яндекса примерно за 10 часов до публикации.

Как результат: этот пост находиться в индексе уже несколько дней, в то время, как предыдущий все еще ждет АПа.

Из всего этого следует очень простой вывод: заявку в оригинальные тексты Яндекса нужно отправлять за один день до публикации нового материала!

Ну а про то, что контент новой страницы должен быть, как минимум на 90% уникальным, я думаю вы и так знаете. 😀

Внутренняя оптимизация сайта и индексация

Продолжая тему оптимизации, решил вернуться к статье о оптимизации структуры ссылок сайта на WordPress, и внести небольшое дополнение.

Ведь если постов написано уже достаточно много, то ставить ссылку на главную страницу достаточно проблематично, в первую очередь с позиции временных критериев. Ведь время является одним из  невосполнимых ресурсов для человека, да и вебмастера в частности. :)

Как сделать ссылку на главную страницу сайта? 

   Во многих темах Вордпресс, в самом низу поста выводится надпись автор. Достаточно часто  этот линк, ведет на совершенно не нужную страницу все записи автора, в адресной строке которой, еще и виден реальный логин админа WordPress.

Как минимум это вызывает противоречие для СЕО продвижения, а как максимум  еще угрозу безопасности, ведь регулярные попытки взлома WordPress еще никто не отменял.

link to home page

link to home page

Собственно почему бы и не сделать из данного линка, ссылку на главную страницу сайта. В моей теме Вордпресс за вывод данной ссылки отвечает скрипт loop.php, в котором я нашел функцию the_author_posts_link(); и просто закомментировал. А с новой строки написал: <a href="http://master-it.biz">Master-It</a>

Как результат, я получил активную ссылку с каждой статьи на главную страницу своего блога. :)

   Существуют некоторые мнения, что Яндексу не очень нравится, когда на одном интернет проекте много ссылок с одинаковым анкором на одну страницу. Главное правило которого я придерживаюсь, это в первую очередь создавать интернет проекты и писать статьи для людей.

После отмены ссылочного ранжирования и соответствующего изменения алгоритмов поисковых систем, особое внимание стоит уделить поведенческим факторам и правильной внутренней перелинковке.

Следовательно, если пользователь дочитал статью до конца, включая все комментарии, ему будет удобно перейти на главную страницу по ссылке которая находится в футере. Если же он остановился в конце статьи, то и ссылка для перехода на главную, должна иметь место именно там.

Конечно, после создания кнопок вверх и вниз, у пользователя на вооружении появляется очень удобная навигация по сайту и острая необходимость в этом отпадает.

Поэтому, если вы еще не сделали себе такие кнопочки, то можете скачать исходники в соответствующей статье.

P.S.  В качестве SEO эксперимента, сегодня я решил объединить содержание двух постов схожей тематики.  А что из этого получится, покажет время. 😉