Как открыть доступ Googlebot к CSS, JS и графическим файлам сайта

Здравствуйте, уважаемые читатели блога Goldbusinessnet.com! Требования поисковых систем ужесточаются, и нам приходится с этим мириться. Сейчас наступает новый этап, когда для достижения максимального эффекта при продвижении сайта в Гугле необходимо предоставить его роботу (Googlebot) доступ ко всем ресурсам, которые так или иначе формируют отображение страниц вебсайта в браузере.

Что же это за ресурсы? Все очень просто — это, прежде всего, файлы каскадных таблиц стилей CSS, скрипты JavaScript (JS), различного рода изображения и видео. Все эти файлики, отвечающие за полновесный вид сайта, вполне могут быть заблокированы в robots.txt.

Чтобы выполнить требования Гугла, необходимо все выше упомянутые ресурсы разблокировать для Googlebot, чтобы обеспечить своему вебсайту максимальные преференции при ранжировании в Google. Как это осуществить практически, мы и рассмотрим чуть ниже.

Какие ресурсы нужно разблокировать для Гугл бота и зачем это нужно

Думаю, многие вебмастера в свое время уже получили сообщение от Google, начало которого было примерно следующим: «Googlebot не может получить доступ к файлам CSS и JS…» (на английском это звучит как «Googlebot cannot access CSS and JS files…»).

Ну и далее шло предупреждение о том, что в случае, если проблема не будет решена, то позиции сайта могут серьезно пострадать. Обычно в подобных случаях Гугл не шутит. Поэтому всем, кто пока не озаботился исправить ситуацию, рекомендую сделать это в ближайшее время, поскольку блокировка части файлов для бота Гугла может сулить неприятности.

Зачем же Google требует открыть доступ к файлам стилей, скриптов и других ресурсов для своих роботов? Дело в том, что в связи с изменением некоторых алгоритмов ранжирования (все средства на совершенствование поисковой выдачи) Гугл желает получить в том же виде, как они отображаются для пользователей. Это поможет корректно оценивать их содержание.

Стили CSS, как известно, отвечают за внешний вид вебстраниц, изображения являются частью, а JS скрипты определяют функционал вебресурса. Кроме того, очень важной частью контента являются изображения (определяемые графическими файлами), которые также должны быть открыты для робота Гугла.

Это поможет мировому лидеру поиска в том числе правильно ранжировать сайты, где установлен адаптивный дизайн для просмотра на мобильных устройствах. Кстати, возможность просматривать страницы на малых экранах даст дополнительное преимущество вашему проекту. Перейдите по этой ссылке и посмотрите, что говорит по этому поводу сам Google.

Для того, чтобы проанализировать, ситуацию в отношении своего сайта и определить, какие именно ресурсы недоступны для Googlebot, перейдите в соответствующий аккаунт панели вебмастеров (сейчас этот сервис носит название Search Console), выберите нужный вебсайт, после чего войдите во вкладку «Просмотреть как Googlebot» раздела «Сканирование»:

Там необходимо дописать URL любой вебстраницы, поскольку адрес главной уже указан (если желаете проверить домашнюю страницу проекта, то и дописывать ничего не надо). Затем жмете кнопку «Получить и отобразить». После этого появится строка с результатом сканирования, где спустя некоторое время будет отображаться статус «Частично выполнено». Щелкаете по этой строчке:

В итоге получите картинки для сравнения: слева будет вид исследуемой вебстраницы глазами бота Гугла, а справа — обычного пользователя (во вкладке «Отображение»):

Как говорится, «найдите 10 отличий». Как видите, робот и юзер совершенно по-разному визуально воспринимают данную вебстраницу. Поэтому нужно предпринять такие действия, которые бы позволили бы стереть различия и тем самым угодить мистеру Google.

После того, как вы получите сравнительные скриншоты странички сайта для робота и для пользователей, внизу будут представлены ссылки на все ресурсы, к которым закрыт доступ (обычно это стили CSS, скрипты и изображения, о чем я упоминал выше) в файле robots.txt (тут полновесная информация об этом важнейшем файле для WordPress):

Да-да, опять этот многострадальный роботс.тхт, о который сломано столько копий. Но ничего не поделаешь, жизнь заставляет вновь редактировать его. Чуть ниже мы рассмотрим, как изменить robots.txt для сайта, работающего под управлением Вордпресс, в очередной раз, чтобы удовлетворить требования Гугла.

Редактирование robots.txt (для WordPress) с целью открытия доступа роботу Гугла

Итак, для снятия блокировки необходимых файлов нужно открыть соответствующие позиции в роботсе. Для начала давайте проанализируем список URL, которые были получены после сканирования одной из страниц моего блога (смотрите предыдущий скриншот выше).

Обратите внимание, что все закрытые ресурсы можно разделить на две части: расположенные на исследуемом сайте (связанные с этой группой элементы выделены красным подчеркиванием или рамкой) и находящиеся на сторонних вебресурсах: блоки контекстной рекламы Adsense (как настроить объявления в системе Адсенс), Рекламной сети Яндекса РСЯ, счетчики посещаемости, кнопки социальных сетей (в этом, этом, этом и этом материалах все о социальных кнопочках) и т.д.

Для первых даны ссылки на инструмент проверки файла роботс.тхт. Благодаря этому в любой момент можно проверить текущее состояние выбранного ресурса. Скажем, сканирование произведено до того, как вы предприняли меры по исправлению ситуации, а после совершения этих действий вы решили посмотреть, насколько изменилась ситуация, нажав на этот линк:

Если все сделано корректно, то вы увидите, что этот файл на самом деле теперь доступен:

Попутно можно убедиться в корректности составленного robots (отсутствии ошибок и предупреждений). Это тоже немаловажно и непосредственно может оказать влияние на степень эффективности продвижения вашего проекта.

Теперь о второй группе заблокированных ресурсов, то бишь тех файлах, которые размещены на сторонних вебсайтах. Напротив каждого из них есть ссылка непосредственно на роботс. Но его изменить, мы, конечно, не можем и вообще повлиять на ситуацию с этой стороны мы не в силах.

Гугл советует в этом случае обратиться к владельцам вебресурсов с просьбой разблокировать нужные файлы. Естественно, в подавляющем большинстве случаев такой шаг обречен на неудачу. Другой вариант: постараться просто удалить со своего сайта часть элементов, связанных со сторонними сайтами.

Но, как вы понимаете, такое тоже не всегда возможно. Ведь та же реклама РСЯ, например, очень важна с точки зрения получения дохода. Различные счетчики (скажем, того же сервиса аналитики Yandex Метрика) тоже не выглядят лишними. Поэтому пока приходится мириться с таким положением вещей. Тем более, Google, по слухам, довольно лояльно относится к тому, что ресурсы со сторонних проектов заблокированы.

Однако, все файлы, которые вебмастер в силах открыть для робота, должны быть обязательно разблокированы. Поэтому предпримем необходимые действия лишь в отношении тех ресурсов, которые связаны с собственным сайтом и доступ к которым можно беспрепятственно регулировать.

Если снова взглянуть на картинку с закрытыми ресурсами (пред-предыдущий скриншот), то можно обратить внимание, что все они (таблицы стилей, скрипты и изображения) находятся в директориях:

/wp-includes
/wp-content/plugins
/wp-content/themes

Вполне логично, что именно к этим папкам и следует открыть Гугл боту доступ. По крайней мере, я так и сделал, хотя это довольно грубый метод. Точнее, просто удалил Disallow в отношении данных директорий:

Безусловно, существуют и более изысканные варианты, например, указание целевой разрешающей директивы Allow непосредственно для каждого ресурса, но я не стал кардинально менять структуру своего robots.txt, в конце концов результат достигнут. Поэтому окончательный вариант в меру универсального файла robots.txt для стандартного блога Вордпресс с учетом последних гугловских указаний выглядит по моей версии таким образом:

User-agent: Mediapartners-Google 
Disallow:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Host: goldbusinessnet.com

Sitemap: /sitemap.xml

Хотя нужно быть готовым к тому, что это далеко не окончательный вариант. Я, например, не исключаю, что Яндекс последует примеру своего главного конкурента и тоже потребует от владельцев интернет-ресурсов нечто похожее. Так что в этом месте ставим не точку, а многоточие.

Ну а в доказательство того, что предпринятые мною действия принесли положительный результат, даю результат проверки той же странички в разделе «Просмотреть как Googlebot» уже после редактирования роботса:

А вот как выглядит теперь перечень закрытых для бота ресурсов:

Как видите, остались только лишь те, доступом к которым я не могу управлять. Впрочем, возможно, в дальнейшем некоторые связанные с ними элементы я уберу с сайта для минимизации числа неугодных Гуглу файлов. Хотя, с другой стороны, бросается в глаза блок Google Adsense, который закрыт для бота. Получается, что Гугл скрывает от своих же роботов элементы собственной контекстной рекламы?

Но если разобраться, то все логично. Ведь роботы Адсенса, которые призваны сканировать страницы вебсайтов партнеров для корректного отображения рекламных блоков, не имеют никакого отношения к основному роботу (это утверждает сам Google). Аминь.

Ну и в свете современных веяний не лишним будет проверить, насколько соответствует рекомендациям Гоогле вид страниц сайта при просмотре на малых мониторах. Для этого в той же вкладке «Посмотреть как Googlebot» для проверки нужно выбрать из выпадающего меню вместо «ПК» пункт «Mobile: Smartfone»:

Я после данного тестирования оказался удовлетворен, поскольку ни одного заблокированного ресурса в списке среди тех, на которые я мог бы повлиять, не оказалось. А как дела обстоят у вас? Хотелось бы активного обмена мнениями в комментариях по данной теме, поскольку важность ее трудно переоценить. В заключение видео от Мэтта Каттса о пользе инструмента «Посмотреть как Гугл бот»: