Естественное продвижение
Привет ! Сегодня я решил затронуть очень важную тему, которая касается продвижения сайта в поиске. Не устаю повторять одну очень мудрую пословицу — Век живи, век учись. Жизнь такая штука, что в ней нет какой-то определённой точки, где вы остановитесь, опустите руки, выдохните и скажите ну вот и всё, наконец-то дошёл. Будьте бдительны, всегда нужно быть на чеку, нужно учиться и действовать, продвигаться всё дальше и дальше. Видимо мои глобальные цели приводят меня к моим ошибкам, чтобы я исправлял их и слава богу что так происходит. Дело вот в чём, если вы пользуетесь сервисом Google Веб-Мастер, то наверняка вы встречали там такую вкладку: Индекс Google — Заблокированные ресурсы.
До поры до времени я игнорировал данную страницу с заблокированными ресурсами. То есть я заходил на страницу, просто смотрел, но особо не вникал, думал что так и должно быть, потому что блокировка исходила из файла robots txt. Я тогда не знал и не понимал, что мой robots txt блокирует нужные поисковому роботу google файлы. А когда до меня дошло это, то я конечно начал разбираться. Начал более детально изучать страницу с заблокированными ресурсами. Оказалось что в файле robots txt блокируются необходимые для индексирования JS и CSS файлы. Из-за блокировки робот google не мог проиндексировать некоторые элементы страницы, которые необходимы для полноценного отображения страницы в поиске.
Чтобы понять какой именно файл необходимо разблокировать, вам нужно открыть список заблокированных ресурсов, для этого нажмите на адрес вашего сайта, под заголовком Хост, под графиком. У вас откроется список заблокированных ресурсов. Здесь вы сможете посмотреть какие именно файлы блокируются в файле robots txt. В моём случае блокировались файлы wp-content и wp-includes.
Хорошо, мы выяснили какие файлы блокируются в robots txt. Ну и что скажете вы, ведь так и должно быть, эти файлы не нужны для индексации. Да, я так же думал, поэтому игнорировал данную страницу. А теперь просто нажмите по любому заблокированному ресурсу, у вас откроется список страниц для которых необходимо, чтобы был доступ к заблокированному ресурсу. То есть, на странице записи из данного списка используются файлы из раздела wp-includes, но так как в robots txt данный раздел заблокирован, то поисковый робот не может отобразить элементы на странице записи из данного раздела.
Чтобы вы убедились, что на ваших страницах сайта, действительно используются заблокированные ресурсы, то перейдите на любую страницу, которая указана в списке страниц заблокированного ресурса. Откройте исходный код страницы с помощью правой кнопки мыши. Найдите url адреса, которые ведут на заблокированные ресурсы, поэтому робот гугл не может получить доступ к ним, так как раздел заблокирован в robots txt. Понимаете о чём речь идёт ? Данные ресурсы необходимы для отображения данной записи, но робот гугл не может получить к ним доступ.
А теперь нажмите на любую страницу в списке страниц заблокированного ресурса. У вас откроется окно с уведомлением, что данная страница обрабатывается не корректно, поскольку в файле robots txt блокируются ресурсы необходимые для данной страницы. Вам необходимо выяснить что это за ресурс и открыть для него доступ в файле robots txt. Внизу окна будет указан адрес ресурса, который вам необходимо разблокировать для корректного отображения данной страницы.
В принципе здесь нет ничего сложного, вам нужно просто открыть доступ для заблокированных ресурсов в файле robots txt. В общем в итоге я переделал свой файл robots txt, открыл доступ к заблокированным ресурсам. Сейчас постепенно число заблокированных ресурсов начинает уменьшаться, нужно время, чтобы гугл переиндексировал страницы. После всего этого я сделал вывод, что нужно почаще заглядывать в Google Вебмастер и Яндекс Вебмастер и следить за правильностью индексирования сайта. Век живи, век учись !
Как сделать правильный файл robots-txt Смотри Здесь !
Остались вопросы ? Напиши комментарий ! Удачи !
