Файл robots.txt — как правильно его составить для WordPress

Здравствуйте, уважаемые читатели блога Goldbusinessnet.com! Сегодня поговорим о файле robots.txt, подходящем для блога WordPress и о корректности которого сломано немало копий. Эти два документа (sitemap.xml и robots.txt) наряду с использованием мета тега ROBOTS в совокупности создают необходимую основу для индексации сайта в поисковиках.

В сегодняшней статье я попробую предоставить универсальный файл хотя бы для ресурсов определенной структуры на примере своего блога (для начинающих важно вообще для начала понять, с чего начать создание сайта). Причем, последние события в области SEO оптимизации заставляют пересмотреть еще совсем недавно казавшиеся незыблемыми принципы создания robots.txt. Собственно поэтому я по многочисленным просьбам читателей обновляю данный пост.

Для этого я проанализировал кучу материала и сделал свои выводы. Прежде, чем поделиться с вами, я полностью переделал свой роботс в соответствии с современными реалиями и могу сказать твердо, что результаты впечатляющие. ВНИМАНИЕ! Для того, чтобы не допустить ошибок, обязательно ознакомьтесь с также обновленной статьей о современных принципах индексации в поисковых системах Яндекс и Гугл (здесь о правильной настройке, проверке и методах ускорения индексирования сайта), где я затронул применение мета тега ROBOTS для этих целей.

Потому как оба эти средства (роботс.тхт и тег роботс) сейчас невозможно рассматривать в отрыве друг от друга. Вначале я расскажу о том, как еще совсем недавно формировался файл robots, это будет полезно со всех точек зрения, а затем предложу новый вариант, поскольку он доказал свою состоятельность.

Для тех, кто только начинает свою деятельность по созданию блога на Ворпресс, сообщу, что прежде всего вы должны зарегистрироваться в Вебмастере Яндекса и панели вебмастера Гугл (Google Webmaster Tools), чтобы пользоваться необходимыми инструментами, там вы найдете много полезного для анализа своих сайтов.

Принципы создания файла robots.txt в старой редакции

Итак, начнем. Сначала я объясню для непосвященных, что такое роботс.тхт и для чего он нужен. В этом файле прописываются директивы роботам поисковых систем (Yandex и Google), какие страницы и записи они должны индексировать, а какие нет. Это имеет огромное значение для продвижения сайта в топ поисковой выдачи, поскольку позволяет избежать дублирования контента.

Дубли очень негативно сказываются на позиции сайта в поисковиках и могут даже быть причиной того, что ваш ресурс может попасть под фильтр АГС Яндекса или в дополнительный индекс Гугла, что не сулит ничего хорошего. Поэтому нам просто необходимо так составить robots.txt, чтобы избежать этих санкций.

Рассмотрим, откуда берется дублированный контент (страницы и записи) на примере моего блога. Допустим, я написал статью в блог. Посмотрим, какие url (ссылки) могут вести к ней? Например, статья «Хлебные крошки wordpress — плагин Breadcrumb NavXT». Итак, путь к самой статье:

http://goldbusinessnet.com/optimizatsiya-i-raskrutka-saita/xlebnye-kroshki/

анонс статьи в рубрике:

http://goldbusinessnet.com/category/optimizatsiya-i-raskrutka-saita/

анонс статьи на главной странице:

http://goldbusinessnet.com/page/2/

путь к статье через метку или тег, что одно и то же:

http://goldbusinessnet.com/tag/plaginy-wordpress/

Видите, сколько дубликатов одной и той же статьи! Еще есть так называемые «мусорные» вебстраницы, которые генерирует WordPress и которые тоже необходимо изолировать. Это страницы входа, регистрации (если у вас на сайте есть вэбстраницы, предназначенные только для зарегистрированных пользователей и т.д.). Задача стоит максимально исключить их из индексации. Теперь переходим непосредственно к тому, какой вид имел этот файл на большинстве блогов Вордпресс совсем недавно:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag/
Disallow: /*?*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag/
Disallow :  /*?*
Host: goldbusinessnet.com

Sitemap: http://goldbusinessnet.com/sitemap.xml

Теперь некоторые пояснения к этому:

User-agent: * - знак “*” указывает, что правила относятся ко всем поисковым машинам.
User-agent: Yandex - для Яндекса необходимо прописывать директиву отдельно.
Disallow (англ. не разрешать): cqi-bin - cqi-bin это директория на сервере, где находятся скрипты, предназначенные для выполнения, эта папка находится в корневом каталоге.

Disallow :  /wp-admin
Disallow :  /wp-includes
Disallow :  /wp-content/plugins
Disallow :  /wp-content/cash
Disallow :  /wp-content/themes

Все вышеперечисленные папки также находятся в корневом каталоге и совершенно точно должны быть исключены из индексации. Это плагины, созданные копии страниц вашего блога, темы.

Disallow :  /trackbacк
Disallow :  */trackback
Disallow :  */*/trackback
Disallow :  */*/feed/*/
Disallow :  */feed
Disallow :  /*?*

Trackback - в блоггинге это ссылки, размещаемые под комментариями к статье на том ресурсе, который ссылается на данную статью. Feed - это поток (фид) ленты RSS, которая является одним из форматов предоставления информации в интернет. Но, я думаю, вы об этом знаете, на всякий случай, я дал краткое определение. Всё это тоже обязательно необходимо закрыть от индексации.

Последняя директива  Disallow :  /*?* не подходит для ресурсов, где установлены постоянные ссылки WordPress по умолчанию, например: zdorovja-vam/?p=123. Только для блогов с ЧПУ (человеко понятные урлы). Для транслита кириллицы в латинский шрифт изменяемой части постоянной ссылки я рекомендую установить плагин RusToLat.

Теперь о необходимости запрета на индексацию тегов (меток) и рубрик (категорий). Что касается тегов, я твердо уверен, что их надо закрывать от индексации в любом случае, хотя встречается и противоположное мнение. С категориями вопрос более сложный.

Например, я не закрывал рубрики на своем блоге, когда первоначально составлял robots.txt, потому что там у меня анонсы постов с изображениями и это дубль, но не полный. Только лишь анонсы статей. Конечно, в идеале можно сделать уникальные анонсы на страницах категорий и без изображений, хотя анонсы без картинок смотрятся несколько убого.

Disallow: /archive/

Еще одна очень важная директива для закрытия дублей. Правда, я ее не использую, потому что не вывожу пока архивы. Но если вы на своем сайте используете архив, то прописать ее тоже следует. Также необходимо прописать главное зеркало вашего блога или сайта, которое указывается в robots txt:

Host: zdorovja-vam.ru

Адрес вашего сайта может быть с www или без: zdorovja-vam.ru или www.zdorovja-vam.ru. Это очень важно для правильной индексации, потому что для поисковых систем сайты с www и без абсолютно разные ресурсы. Например, в случае моего блога домен в адресной строке браузера появляется без www: goldbusinessnet.com. И наконец, в последних двух строчках прописан адрес карты сайта для поисковых роботов (кстати, создать sitemap XML можно при помощи плагина Google XML Sitemaps):

Sitemap: http://zdorovja-vam.ru/sitemap.xml.gz - сжатый файл карты сайта
Sitemap: http://zdorovja-vam.ru/sitemap.xml

Как я уже писал выше, для блогов WordPress без ЧПУ адрес статьи будет выглядеть так:

http://ваш сайт.ru/?p=123

поэтому строка:

Disallow:  /*?*

Будет запрещать к индексации ваши статьи. Таким образом ее не вписываем, если у вас постоянные ссылки по умолчанию. Будьте крайне осторожны с закрытием категорий и архивов, потому что ваши посты могут выводиться только через них. Запретив их в robots txt, вы  можете наложить запрет на индексацию постов!

Вы, конечно, можете использовать данный роботс.тхт для своего ресурса, в общем, для этого я и дал возможность его скопировать. Скопируйте их в простой текстовый редактор, например, в блокнот, и сохраните на компьютере как файл с расширением .txt. В дальнейшем, конечно, вам наверняка понадобиться его дополнить, поскольку проект будет развиваться и будет дополняться новыми разделами. Говорю это потому, что по-прежнему некоторые известные блогеры продолжают использовать такой вариант и весьма успешно.

Правильный robots.txt для продвинутых вебмастеров

Итак, как я отметил выше, вы можете применить старый вариант роботса, поскольку известны случаи, когда проекты с успехом развиваются и в этом случае. Однако, удачное продвижение этих вебсайтов, в том числе и блогов на Вордпресс, связано в основном с тем, что их строение некоторым образом отличается от стандарта. Подробности ниже.

Здесь отвлекусь и расскажу немного о принципах индексирования ведущих поисковиков, по крайней мере, это справедливо для Yandex и Google. Дело в том, что первоочередными для них являются директивы, указанные в roborts.txt. Но, в то же время, эти указания являются, так сказать, просто рекомендациями, и об этом открыто говорится.

Поэтому нет никаких гарантий, как поведут себя боты поисковиков после того, как наткнутся на запреты в файле роботса. Они вполне могут их проигнорировать, особенно это касается Гугла. В любом случае, страницы, запрещенные к индексации, все равно загружаются и оказываются в дополнительном, или, в так называемом "сопливом" индексе Google (supplemental index). А это уже дубли.

С Яндексом ситуация попроще, где официально ДИ отсутствует, однако загрузка "мусора" там тоже происходит, что не является добрым знаком. Поэтому необходимо найти другой способ гарантировать запрет индексирования ненужных страниц. Существует ли реально такой вариант? Ответ "да", это одноименный мета тег ROBOTS, о правильном применении которого я настоятельно рекомендую почитать соответствующий пост об индексации в поисковых системах, ссылку на который я дал в начале статьи.

Схема такова: директивы для тех страниц блога, которые вы желаете исключить из индексации, необходимо удалить из robots.txt (обязательно!), чтобы они не загружались ботами поисковиков, и в исходный код таких вебстраниц нужно будет прописать такую конструкцию:

<meta name="robots" content="noindex,follow" />

Для каких же документов в стандартном блоге Вордпресс нужно использовать такой код? Я убежден, что в индексе должны присутствовать только вебстраницы, несущие полезную информацию для пользователей: главная (без учета постраничной пагинации), рубрики (опять же без пагинации), статические страницы ("Об авторе", "Услуги" и т.д.). Все, остальные являются в той или иной степени дублями, для которых и следует прописать значение NOINDEX.

Дело в том, что в отличие от robots.txt, запреты, установленные с помощью одноименного тега, выполняются неукоснительно, и "мусор" не попадает в index поисковых систем. С учетом выше названных обстоятельств наиболее правильный файл robots.txt приобретает такой вид:

User-agent: Mediapartners-Google 
Disallow:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Host: goldbusinessnet.com

Sitemap: http://goldbusinessnet.com/sitemap.xml.gz
Sitemap: http://goldbusinessnet.com/sitemap.xml

То есть, включаем только технические разделы движка, для которых нет возможности прописать noindex. Именно такой файл роботс я использую на своих проектах WordPress и считаю его наиболее правильным. А для запрета всех остальных дублей и "мусорных" вэбстраниц используем мета-тег robots. Для этого нет нужды залезать в шаблоны WordPress, можно просто использовать настройки главного плагина All in One SEO Pack, который нужно установить в первую очередь. Кстати, вполне работоспособным может быть robots.rxt, состоящий всего из нескольких строк:

User-Agent: *
Disallow: /wp-
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/

Здесь директива Allow является разрешающей и позволяет ПС индексировать изображения с вашего ресурса, что даст ему возможность участвовать в поиске по картинкам. Обратите внимание, что разрешение прописано для конкретных ботов, которые сканируют именно изображения (Googlebot-Image и YandexImages). На второй строке сверху установлен запрет на все директории с техническим содержимым движка WordPress (префикс wp). Единственное, не забудьте указать вместо site.ru имя своего хоста.

Ну а теперь обещанные рассуждения о том, почему приличная доля вебмастеров на своих блогах WP используют старый вариант robots.txt и при этом весьма удачно продвигают свои проекты. Дело прежде всего в том, что многие из них не используют древовидные комментарии, которые установлены по умолчанию в движке. Что это дает?

Основным бичом для всех вэбмастеров, имеющих WP блоги, являются дубли replytocom, которые генерируются движком именно при наличии древовидных комментариев. Чем дальше развивается ресурс, чем больше комментов он получает, тем больше дублей такого рода возникает. Происходит лавинообразное увеличение такого рода контента, что неминуемо ведет к санкциям со стороны поисковиков.

Так что советую учесть этот факт. Лично я от древовидных комментариев отказываться не собираюсь, поскольку они имеют чрезвычайно удобную структуру, позволяющую сразу видеть обмен мнениями с каждым из пользователей. Тем более, есть очень эффективное решение в борьбе с дублями, о котором я упомянул выше.

Загрузка файла robots txt на хостинг

Поскольку данная статья предназначена в первую очередь начинающим вебмастерам, для упрощения задачи я опишу загрузку уже готового файла robots через интерфейс аккаунта хостинга, хотя наиболее корректным и надежным способом считаю перемещение любых файлов посредством FTP-соединения, например, с помощью популярной программы notepad++ (здесь об этом функциональном редакторе подробно). Думаю, в дальнейшем вы убедитесь в этом.

Но для начала будем использовать интерфейс. Прежде всего, вам необходимо войти в админ-панель вашего аккаунта на хостинге. Я продемонстрирую на примере своего провайдера. Поэтому, если у вас Спринтхост, то вам будет проще, хотя, я думаю, в админ-панели своего хостинга вы разберетесь. Итак, входим в админ панель:

Теперь нажимаем ссылку «файловый менеджер»:

Затем входим в папку public_html:

Далее: адрес вашего сайта → «загрузить файлы в текущую директорию» → «выберите файл»:

Потом выбираете файл robots.txt на вашем компьютере → «открыть»:

Затем загрузить файл:

Операция занимает считанные секунды. Как видите, ничего сложного нет. После завершения обязательно получите сообщение, что операция успешно завершена. Я хочу отметить по ходу написания статьи, что этот пост публикуется в разделе «Для начинающих», поэтому я объясняю все так подробно. Для опытных пользователей здесь, конечно, ничего нового нет.

Итак, операция выполнена. Далее проверим, находится ли наш правильно составленный файл robots txt на своем месте. Для этого вернемся на главную страницу панели управления, кликнув «домой», затем также: «файловый менеджер» → «public_html» →адрес вашего сайта:

Как видите, файл robots txt успешно загружен на хостинг в корневую папку сайта. Теперь вы можете его редактировать прямо здесь. Для  этого нажмите «Edit»:

В принципе, если обнаружены какие-то ошибки или вы поменяли структуру сайта, и вам надо изменить файл, то это очень удобно. Ничего страшного в том, что вы поменяете какие-то директивы в уже написанном и действующем файле robots txt, нет. Поисковые роботы воспримут и будут следовать новым инструкциям. Но, конечно, очень часто тоже это делать не стоит, потому что последствия непредсказуемы.

Анализ файла robots txt

И последнее, о чем я хотел рассказать, как проверить, правильно ли составлен robots txt. Покажу на примере Yandex. Как я уже упоминал выше в этой статье, для успешного развития своего бизнеса в интернете на базе своего ресурса вам необходимо зарегистрироваться в Яндекс.Вебмастер. Заходим в раздел «Индексирование» → «Анализ robots.txt», затем нажимаете кнопку «Загрузить robots.txt c сайта», потом «Проверить»:

Если вы увидите примерно такую картину:

То корректность файла robots txt не вызывает сомнений. Также можно проверить, какие страницы будут индексироваться, а какие нет. Для этого нажимаете «СПИСОК URL» «добавить» и вводите поочередно адреса ваших страниц. Затем снова нажимаете «Проверить»:

Получаете результат проверки:

Здесь видно, какие страницы будут индексироваться, а какие нет. В данном случае все корректно, поскольку главная страница, статические  страницы и посты разрешены для индексирования, а категории запрещены.

Пожалуй, на сегодня все. Наверное, слишком длинный пост получился, но я хотел рассказать о том, как правильно составить robots txt в одной статье. Думаю, разбивать ее неуместно. В заключении я хотел бы вам дать ссылку на статью от Yandex, где вы можете еще подробнее узнать о файле robots.txt. Если вам статья понравилась, не забудьте поделиться с друзьями и нажмите на кнопки соц.сетей , чтобы у меня сохранялся стимул и в дальнейшем радовать вас качественным материалом.

Еще статьи по данной теме:
Самые интересные публикации из рубрики: Создание сайтов

240 отзывов

  1. CLASSIK

    хорошая статья, на пару дней обогнала мою, теперь блин даже не охото выкладывать ничего 🙁 молодец.

  2. Игорь

    Ну, почему же, Сlassic? Опубликуйте свой взгляд на проблему. Я же тоже писал статью, зная, что в интернете куча материала на эту тему!

  3. Сергей

    Хорошая, понятная статья и очень нужная!
    Автору Поклон. Молодец!

  4. sergei

    Хорошо когда статьи дополняют друг друга, а не освещают по разному и не знаешь как поступать, кому верить.Мне конечно как новичку тяжело еще все это проделать ,но в закладки занес буду разбираться, спасибо за хорошую информацию.СЕРГЕЙ.

  5. Игорь

    Сергей, спасибо за отзыв. Надеюсь, Вам понравиться и в дальнейшем.

  6. Игорь

    Пожалуйста, Сергей. Все когда-то начинают, поэтому рад Вам помочь.

  7. kickboxer

    спасибо, полезная статья, возьму на заметку, тем более я с вордпресом не знаком.

  8. CLASSIK

    Спасибо, опубликовал, кстати мою статью взяли в учебник по SEO , от форума seobuilding.ru - вам тоже рекомендую туда попасть. Спасибо за ваши статьи. Приятно читать. Если нужна будет помощь - пишите.

  9. PashaMax

    Спасибо за статью, для таких новичков как я - это просто палочка-выручалочка. Вроде все проверил, с роботом все ок. Но только мой сайт до сих пор не появляется в рейтинге вебомера, с чем это может быть связано?

  10. Игорь

    Ничего страшного, чтобы сайт появился в вебомере, должно пройти время.

  11. Игорь

    Спасибо за отзывы, Classic. Очень рад,что вы не отказались от написания статьи. Спасибо за рекомендацию, возможно, воспользуюсь.

  12. Владимир

    Игорь, добрый день. Ваша статья - глоток свежего воздуха для меня. Вы уже продвинутый Veb мастер. Я же только начинаю свои шаги. Не могли бы Вы мне посоветовать, что делать. У меня две проблемы:
    1.При прогоне страниц Yandex говорит,"этот URL не принадлежит вашему домену" , хотя в robots.txt имя сайта прописано без www.
    2.В адресах страниц со статями,осталась кириллица и в конце адреса следующее: ".../#more-789"
    Заранее спасибо.
    Владимир

  13. Игорь

    Здравствуйте, Владимир!
    Отвечаю:
    1. У вас может быть ошибка в прописании директивы Host в robots txt: Host: вашсайт.ru - правильный вариант. Обратите внимание, что после двоеточия обязательно пробел и без http//:
    2. Чтобы избавиться от #more в адресной строке, необходимо войти в папку wp-includes\post-template.php через админ-панель вашего хостинга, открыть файл и отредактировать его следующим образом: в строчке $output .= apply_filters( 'the_content_more_link', ' a href="' . get_permalink() . "#more-$id\" class=\"more-link\">$more_link_text", $more_link_text ); вместо #more-$id\ оставить только «\».Если это для вас сложно, то в принципе можно пока оставить как есть, так как есть мнение, что поисковые роботы различают тег «more» и страницы не являются дубликатом. В подтверждение могу сказать, что на некоторых продвинутых блогах в адресной строке присутствует «more».

    Что касается кириллицы, то вам надо установить простенький плагин RusToLat c официального сайта wordpress.org/extend/plugins/rustolat/ . Надеюсь, как загружать и активировать плагины, вы знаете. Этот плагин производит транслитерацию текста с кириллицы на латинский алфавит.

  14. Владимир Фесюк

    Спасибо за пост! Если честно, то мне, как блогеру, не работающему по тематике оптимизации, нет ни времени ни желания вникать во все тонкости составления файла роботс, как, впрочем, и других. Поэтому пользуюсь готовыми рецептами, наиболее на мой взгляд (быстрее интуитивный) удачные и мне подходят. Мой нынешний файл отличается от предложенного вами 1-2 строками, но что-то решил поменять на Ваш - он мне больше нравится.

  15. Игорь

    Спасибо за отзыв, Владимир! Только проверьте robots.txt в гугл или яндекс мастере.

  16. Мария

    Здравствуйте! статья и правда хорошая и подробная, но у меня как раз проблема с robot.txt. Подскажите пож-та, я установила robot.txt, но при проверке мне выдает ошибку:

    404 Не найдено
    Запрашиваемая страница / robot.txt не найдена на этом сервере. Как исправить чтобы все работало правильно? спасибо заранее

  17. Игорь

    Уважаемая Мария, а как Вы проверяли? Он у Вас прекрасно отображается, по крайней мере в браузере Google Chrome, это говорит о том, что все в порядке. Попробуйте еще раз набрать
    в вашем браузере адрес: krassivoe.ru/robots.txt. Только будьте повнимательнее, не robot, а robots!

  18. Андрей

    Здравствуйте!
    В вашем файле robots, если вместо строк: wp-admin, wp-content, wp-includes, и т. д.,
    поставить просто одно значение: Disallow: /wp-
    Это будет правильно?
    И ещё, для чего прописывать сжатый файл карты сайта?

  19. Игорь

    Да, директива Disallow: /wp- запрещает индексацию всех папок и файлов,расположенных в корневой папке. Сжатая версия sitemap.xml создается для уменьшения нагрузки на каналы связи, обычно это нужно на крупных проектах, но кто знает, до какой величины вырастет Ваш? В любом случае, сжатая версия у Вас уже есть. Она никоим образом не скажется отрицательно на Вашем ресурсе.

  20. Андрей

    Поискал в инете составить правильный robots.txt ,нашел много вариантов составленных файлов и все утверждают ,что они правильные.Как разобраться какой именно подходит мне и именно его следует загрузить в корневую папку WordPress.

  21. Игорь

    Андрей, файл robots.txt, представленный мной, это 'каркас', то есть основные директивы, прописанные в нем, одинаковы у большинства сайтов, построенных на CMS WordPress. Конечно, с развитием проекта robots.txt может претерпевать изменения. Различия могут заключаться в следующих нюансах. Некоторые вебмастера запрещают к индексации теги, некоторые категории для избежания дублей страниц(в robots.txt запрет индексации тегов описывает директива Disallow: /tag/,запрет индексации категорий Disallow:/category/. Я, например, считаю, что категории лучше оставить открытыми, так как связь со статьями у них более последовательная и понятная, они не являются в полной мере дублями, тем более, их легче можно преобразовать таким образом, что исчезнет полностью 'подозрение' на дубль у поисковиков. В скором времени я у себя на блоге тоже планирую переделать категории таким образом. У некоторых вебмастеров другая точка зрения. Поймите, Вы не найдете в сети абсолютно одинаковых файлов robots.txt, поскольку каждый проект уникален, каждый имеет свои нюансы, но 'каркас' должен быть! Мой совет, если Вы не доверяете моему варианту, посмотрите, как он составлен у других блогеров, Вы обязательно обнаружите общие составляющие. Это и будет Ваш каркас. Но! Обратите внимание, что опытные вебмастера редко закрывают от индексации и категории, и теги; но то и другое разрешать индексировать тоже чревато.

  22. Наталья Кочеткова

    Спасибо, все очень подробно. Вы помогли мне понять проблему с индексацией моего сайта.

  23. Игорь

    Пожалуйста, Наталья.

  24. Svargan

    Здравствуйте! Большая вам благодарность за ваши труды! Вопрос. У меня в робо - файле последние данные в трех строчках, где хост и сайтмап от другого сайта, знакомый делал мне сайт и просто скопировал со своего. Будет ли это влиять на мой сайт в целом?
    С ув. Дмитрий

  25. Игорь

    Уважаемый Дмитрий! Конечно, хост должен содержать адрес Вашего сайта, как и сайтмап. Ведь поисковые системы индексируют именно ваш сайт.

  26. Svargan

    Благодарю за ваш ответ! Я исправил в программе FileZilla FTP клиенте робо - файл, проверил в яндексебемастер и стало как надо. Могла ли такая ошибка повлиять на резкий обвал нужных страниц моего сайта в раздаче именно яндекса по нужным ключевикам, причем речь не идет о сдвиге пределах нескольких позиций, тут несколько десятков страниц, а кое где и вылет где раньше был на 1 - 3 странице?

  27. Игорь

    Конечно, Дмитрий, несомненно, могла. Теперь вам надо немного потерпеть, чтобы все вошло в норму. Я думаю, переиндексация произойдет через некоторое время. А вообще периодический вылет из индекса Яндекса вполне обычное дело, особенно для молодых сайтов. Я тоже с этим сталкивался, когда сразу по несколько страниц вылетало из индекса, но потом через пару апов все приходило в норму. Терпения и удачи Вам, Дмитрий!

  28. Svargan

    Добро, обождем, хотя робот поисковика совсем недавно был на сайте. Еще раз благодарю вас за помощь. Теперь знаю куда обратиться за советом!
    Успехов Вам!
    С ув. Дмитрий

  29. Наталья Кочеткова

    Добрый день. А что делать, если документ запрещен в файле robots.txt и у меня таких документов аж 1268? Одна половина разрешена, другая запрещена.

  30. Игорь

    Судя по тому, Наталья, что у Вас много страниц, сайт уже долго живет. 🙂 Если у Вас блог или сайт WordPress, то разрешены должны быть статьи и главная страница, может быть еще категории или теги (на мой взгляд, разрешить лучше категории), все остальные страницы должны быть запрещены во избежание появления дублей. Хочу еще обратить Ваше внимание, что Google может индексировать запрещенные в robots.txt страницы, но, как показывает практика, ничего страшного в этом нет, хотя многие, и я в том числе, удаляют лишние страницы вручную время от времени, соответственно увеличивается процент страниц 'не под фильтрами'.

  31. Михаил

    Скажите,непонятно,почему вы считаете что feed,надо закрыть,ведь тогда сервис яндекс-блоги выдает такую запись: " name.ru запрещает поиск по сообщениям. Попросите его разрешить поиск." Зачем закрывать rss,тогда блог станет недоступным в яндекс-блогах.

  32. Игорь

    Михаил, feed - дублирование контента, которое необходимо всячески закрывать от индексации.

  33. Анатолий

    Здравствуйте. Подскажите пожалуйста, могут ли директории на разных хостингах отличаться по названию. В частности, меня интересует "cqi-bin". Если я правильно понял, это папка? Что-то я не могу её найти на хостинге "jino.ru". Может я что-то не допонял?

  34. Игорь

    Анатолий, Вы, наверное имели ввиду cgi-bin? Это папка для исполнения CGI-скриптов. Если ее нет, то можно создать.

  35. Yz

    Не составил robots.txt для своего сайта. Сейчас в индексе Гугла видно только archive, category и auhtor. Сайт не просел а просто улетел в выдаче Гугла на задворки. Возможно ли вернуть прежние позиции, составив robots.txt?

  36. Игорь

    Конечно, возможно. Хотя для этого придется подождать.

  37. Простой

    Такой вот вопрос возник. А нужно ли / как скрывать /скрыть такое: сайт.ру/2012/08??
    А то в яндекс вебмастере показывается, что это вот про индексировалось: сайт.ру/2012/08.
    То есть как я понимаю архив в индексацию влез?

  38. Игорь

    Да, архивы желательно запретить к индексации.

  39. Простой

    А не подскажите как их правильно запретить от индексации, если они в шаблоне вот так вот выводятся:
    сайт.ру/2012/09
    сайт.ру/2012/08

  40. Игорь

    Если у Вас сайт на WordPress, то следующим образом: Disallow: /2012/ . После того, как произведете изменения в файле robots.txt, зайдите в панель вебмастера Yandex и проверьте работоспособность файла. Почитайте здесь. Введите url нескольких архивных страниц и если получите ответ, что страницы запрещены к индексации, то все сделано корректно. Также можно проверить и в панели вебмастера Google. О результатах обязательно сообщите. Спасибо за комментарий.

  41. Екатерина

    Здравствуйте. Подскажите пожалуйста, при обработке робот файла при добавлении сжатой карты сайта эта карта не обрабатывалась? С чем может быть это связано?

  42. Игорь

    Екатерина, поясните, пожалуйста, где не обрабатывалась? Вы имеете ввиду XML карту сайта? Попробуйте зайти в панель вебмастеров Yandex или Google и проверьте работоспособность файла sitemap.xml там. О результатах сообщите.

  43. Татьяна

    Отличная статья! Вы очень мне помогли сегодня!!

  44. Игорь

    Спасибо за отзыв, Татьяна.

  45. Максим

    Отличная статья, подойдет как для новичка, так и для человека с опытом. Написано доступно и понятно

  46. Игорь

    Спасибо, Максим.

  47. Владимир

    Ё моё, ну наконец-то нашел на просторах интернета то, что искал. И ещё больше! Спасибо от всей души. Пол дня убил на то как создать "робота" и как его затолкать в корневую папку, а по вашей четкой инструкции (правда применимо к моему сайту получилось с некоторой интерпретацией), я за 10 минут создал и разместил "робота" на сайте. Вот это настоящий инструктаж! Спасибо огромное!

  48. Игорь

    Пожалуйста, Владимир! Спасибо за Ваш эмоциональный комментарий. 🙂

  49. Април

    Спасибо большое. Я долго ломал голову, какой роботс написать. Вы правы, у каждого блогера своя методика в этом вопросе. Но я доверюсь вам и поступлю по вашим рекомендациям. Хуже точно думаю не будет.

  50. алекс

    спасибо очень подробно

  51. Руслан

    Здравствуйте. У меня не было файла роботс а страницы были такие ваш сайт.ru/?p=123

    Яндекс загрузил 1 в поиске 1. Возможно что в этом причина была?

  52. Игорь

    Руслан, немного не понял. Если Вы говорите о том, что в поиске Яндекса было мало страниц Вашего сайта, то, конечно, долгое отсутствие robots.txt могло быть причиной, поскольку такое отсутствие обуславливает появление многочисленных дублей страниц Вашего ресурса.

  53. Руслан

    Теперь я сделал ЧПУ и залил Роботс. Как думаете, яндекс бот снимет фильтр?

  54. Игорь

    Конечно, Руслан, снимет, но надо набраться терпения.

  55. White rabbit

    Полезный пост 🙂

  56. Viktoria Zlata

    Благодарю! Подробно и понятно расписано, все до мелочей, как раз так, как мне нужно!

    Успехов в 2013 году! ))

  57. Lionelll

    На моем блоге в индексацию попадают странички с датами, типа этой goodforma.com/2012/01/ и подобные. Как можно их запретить в роботсе?

  58. Игорь

    Это страницы с архивами, для них необходимо прописать следующую директиву:
    Disallow: /2012/
    Только после этого обязательно проверьте корректность учета этой директивы роботами поисковых систем в панели вебмастеров Google и Yandex.

  59. Ольга Баженова

    Подскажите, пожалуйста, в представленном файле закрыт от индексации анонс статьи на главной странице?

  60. Игорь

    Нет, Ольга, главная страница, на которую выводятся статьи, не закрыта от индексации. Это не выгодно с точки зрения продвижения ресурса, поскольку главная страница имеет больший вес в глазах поисковых систем.

  61. Ольга Баженова

    Спасибо, Игорь за ответ. То есть получается, что анонс дублируется. Не может ли это повлиять на отношение поисковых систем? Просто дело в том, что я попала под фильтр АГС Яндекса. Поддержка отписалась, что не устраивает качество контента. Однако статьи у меня полностью уникальны и думаю, что интересны. Не могу разобраться в чем проблема. Вот проверяю файл robots txt, правда ничего в этом не понимаю. Файл очень похож на ваш пример, вроде все нормально. Яндекс Вебмастер выдает корректную работу файла.

  62. Игорь

    Ольга, это неполные дубли, которые не оказывают такого отрицательного влияния. Польза от продвижения главной страницы блога полностью перекрывает эффект от создания частичных дублей. Конечно, на большинстве ресурсов дубли возникают еще и на страницах рубрик, но мне удалось их избежать, об этом будет отдельная публикация. Я посмотрел Ваш сайт, навскидку содержание очень позитивное, файл robots.txt в принципе составлен правильно. Однако мне больше по душе оставлять открытыми для индексации категории, а не теги (метки). Хотя у разных успешных проектов встречаются оба варианта, это не должно быть основой для попадания под АГС. Позже посмотрю более внимательно. Как Вы понимаете, для подробного анализа требуется время.

  63. Ольга Баженова

    Большое спасибо, Игорь, что решили мне помочь! Я буду очень благодарна, если проанализируете мой сайт!

  64. Ольга Баженова

    А разве, если я открою категории - это не будет дубль?

  65. Игорь

    Ольга, категории также дают дубли, но это не полные дубли, которые можно избежать, призвав на помощь инструменты WordPress и функцию “the exсerpt”, кстати, статью на эту тему планирую написать на следующей неделе. Но если у Вас открыты теги (метки), а категории закрыты и если у Вас молодой ресурс, пока ничего не меняйте. Спустя некоторое время, после того, как Ваш ресурс наберет траст (авторитет) в глазах поисковых систем, можно потихоньку начать оптимизировать его под seo. Никогда не делайте резких радикальных изменений, даже если Вам кажется, что какой-то участок требует редактирования. Поэтому если у Вас закрыты категории, а открыты теги, ничего страшного нет. Просто по моему мнению, для стандартного блога лучше категории оставлять открытыми, а теги использовать для удобства читателей, потому, что категории можно изменить вплоть до полной ликвидации дублей, как изображений, так и текста.

  66. Ольга Баженова

    Все поняла, спасибо. Оставляю пока без изменений. Подпишусь к вам, чтобы не пропустить статью. Кстати, а правда, что если не закрыт анонс на главной странице (конечно, я поняла, что его закрывать нельзя), то картинка также дублируется, а значит становится уже не уникальной?

  67. Ольга Баженова

    Я может уже надоела Вам со своими вопросами, но еще разочек ответьте: зачем в файле robots две карты sitemap?

  68. Игорь

    Ольга, понимаете, хотя картинка дублируется вместе с частью текста, это не так страшно, поскольку это главная страница, которая играет особую роль и на динамических ресурсах, где контент часто меняется, она очень удобна для читателя, который сразу видит свежий материал. Немного другая история с категориями, об этом я уже упоминал. Поэтому в случае с главной страницей блоги находятся в равных условиях в глазах поисковых систем, которые пытаются обеспечить удобство для пользователей.

  69. Игорь

    Да нет, что Вы. Ваша любознательность вполне понятна и объяснима. Все когда-то начинают и сталкиваются с кучей всего непонятного, особенно в вебмастеринге. А второй вариант карты sitemap в сжатом виде помогает упаковать и уменьшить ее вес. Если у Вас огромный портал, количество ссылок и страниц может достигать несколько десятков тысяч. Не думайте об этом, второй вариант карты никак отрицательным образом не скажется на Вашем ресурсе. Не беспокойтесь, поисковые роботы сами выбирают нужный вариант.

  70. Ольга Баженова

    Спасибо за развернутые ответы! Очень мне помогли! Надеюсь еще многое смогу почерпнуть на вашем ресурсе.

  71. Игорь

    Не за что, Ольга. Спасибо Вам за активность.

  72. Вадим

    Доброго дня Игорь! Статьи у Вас супер! Все идет как по маслу. И тут возникла проблемка, не знаю в какую папку загружать файл robots txt.

  73. Игорь

    Здравствуйте, Вадим. Мне очень приятно, что у Вас все складывается, значит, статьи написаны понятно и подробно, чему я безмерно рад. А файл robots.txt должен находится в корневой папке на сервере хостера: public_html/название_вашего_сайта/robots.txt. Я же описал загрузку файла через браузер. Но хостинги у всех разные, я понимаю, возможно, Вы не смогли сориентироваться. Тогда попробуйте загрузить с помощью notepad++. В общем, загружаете в папку с названием Вашего проекта, в notepad++ все очень четко разложено по полочкам.

  74. Вадим

    Спасибо Игорь! Здоровья.

  75. Игорь

    И Вам также, Вадим. Пожелали самого дорогого, спасибо.

  76. Алексей

    Спасибо,чувак!Я наконец то разобрался....с пятого раза)

  77. Ольга Баженова

    Добрый день, Игорь! Хочу поделиться своей радостью! Удалось выйти из под фильтра Яндекса! Я снова в поиске. Вчера были проиндексированы страницы, а сегодня к этому времени уже 100 посетителей с Яндекса. Так что это возможно, с момента бана прошло только 2 месяца.

  78. Игорь

    Отлично, Ольга! Я очень рад за вас, правда! Выход из-под фильтра событие незаурядное. Пожелаю Вам больше не испытывать подобных потрясений. 🙂

  79. Дмитрий

    Да статья хорошая но все равно надо вдумчиво читать и ..запрещать индексацию тоже надо очень внимательно....У меня вот на сайте всего около 700 статей а проиндексированно 2000 страниц..я так понимаю это именнно из-за того что файл робот .тхт неправильно составлен.
    А правда что если не закрывать теги рубрики и т.д...то пр возниконовении большого количества копий страниц....будет плохо индексироваться ???

  80. Игорь

    Да, конечно, Дмитрий, чем больше дубликатов страниц, тем более недружелюбно относятся к нему поисковые системы. А в каком поисковике у Вас проиндексировано 2000 страниц? И каким инструментом Вы пользовались при получении этой информации? Если в панели Google Webmaster Tools - это одно, а если из какого-либо сервиса - это другая песня, бывает, что они предоставляют некорректную или устаревшую информацию. Вообще, я уже неоднократно отвечал, в том числе в комментариях, что я, например, предпочитаю закрывать теги (или метки) от индексации, а категории (рубрики) открывать. В любом случае, чтобы не плодить дубли, что-то одно из них обязательно должно быть запрещено

  81. Андрей

    Спасибо за отличную статью !, все понятно и очень наглядно (тем более хостинг совпадает), а то я по незнанию у себя такого наворотил,

  82. Сергей Янковой

    Очень исчерпывающее описание. Надеюсь поможет мне. Только мне не понятно почему то проходит индексация в Яндекс, то нет и я ничего не менял.

  83. Игорь

    Андрей, надеюсь, сейчас все в порядке?

  84. Игорь

    Сергей, если Ваш ресурс молодой, то это обычное явление для Яндекса, который славится резкими телодвижениями, Гугл более плавно работает. Так что если у Вас пропадают страницы из индексации, затем появляются, ничего страшного, все нормализуется. Вот если из поиска Google внезапно вылетит куча страниц, надо обратить на это более пристальное внимание.

  85. Андрей

    Да сейчас нормально спасибо )

  86. Rencontrez

    Спасибо за статью! Воспользовался вашими данными, теперь жду результатов.

  87. Ольга Баженова

    Игорь, здравствуйте! Моно задать Вам пару вопросиков?
    Если не секрет, что у Вас за плагин - соц. сети слева по вертикали, хочу такой же.
    И самое важное, может знаете: у меня дубль главной страницы - http://dlyamam-i-detok.ru/stati/. Как мне закрыть его от индексации?
    Заранее, спасибо за помощь!

  88. Игорь

    Ольга, пожалуйста, вот ссылка: http://share42.com/ru. Второй вопрос не понял, что за дубль, откуда он взялся?

  89. Ольга Баженова

    Спасибо за ссылку.
    Мне установили шаблон премиум Striking. В подвале у меня теперь меню. Там есть страница "Статьи"- которая выводит также как и главная страница ленту записей. Эта страница у меня в админке заявлена как "Блог Страница". Только вот получается, что она дубль.

  90. Игорь

    Если эта дублированная страница Вам не нужна, то просто удалите ее через админку Вордпресс. После этого дождитесь индексации, должна появиться ошибка 404, затем в панели вебмастеров просто удалите ее url, там есть соответствующая опция.

  91. Ольга Баженова

    Ее зачем-то специально создали, она еще в хлебных крошках выводится.

  92. Ольга Баженова

    Удалила ее отовсюду. Посмотрю что будет. А удалить URL вы имеете ввиду в Яндекс Вебмастер?

  93. Игорь

    Бог ты мой, Ольга, так это Вы не сами устанавливали шаблон? Тогда эту страницу лучше не удалять, просто сделайте главную страницу статической, на которой можете описать материалы своего блога. В админке WordPress есть соответствующая опция. Для этого зайдите в настройки Вашей темы, там наверняка есть что-то подобное: на главной странице отображать последние записи или статическую страницу (выбрать). Тогда никаких дублей не будет. Многие вебмастера так делают: главная страница является статической, а на отдельной (у Вас это dlyamam-i-detok.ru/stati/) будут выводится последний статьи.

  94. Ольга Баженова

    Да не хочется мне статическую страницу на главной. У меня раньше так было, интереснее когда лента записей. А я удалила и вроде ничего не произошло. Попробую все таки связаться с человеком, который мне шаблон установил.

  95. Игорь

    Ольга, в каком смысле ничего не произошло? Страница удалена, выдает ошибку 404.

  96. Ольга Баженова

    Я имею ввиду, что ничего с сайтом не произошло. А ошибка 404 естественно будет, только я не поняла где ее удалить можно, я никогда раньше не удаляла URL.

  97. Игорь

    Ольга, почитайте здесь. В принципе, исключение из индексации осуществится и так, просто таким образом Вы ускорите этот процесс. Только обязательно проверьте, что Google сканировал эту страницу и в панели вебмастеров в разделе «Состояние»→«Ошибки индексации» выдается 404 ошибка. Только после этого удаляйте. Аналогично с Яндексом.

  98. Ольга Баженова

    Спасибо. Буду разбираться!

  99. Галина

    ОТличная инструкция.

    Осмелюсь даже предположить - лучшая в рунете на сегодняшний день!

    Спасибо большое)

  100. Игорь

    Я, думаю, Галина, Вы переоцениваете мои способности, хотя, не скрою, приятно. 🙂

  101. alik

    послушай, а если не хочу яндекс???
    если я хочу гугл, бинг, aol, yahoo. пока всё.
    если я переименовал свой wp-content???
    я так полагаю что его надо переименовать???
    если я чпу настроил то что мне надо писать это---> Disallow: /*?*
    спасибо

  102. alik

    я проверил после того как вставил твой код и мне дало там много чего
    я не могу всё это написать скинь мне почту я тебе пришлю фото с экрана

  103. Игорь

    Почта на странице Контакты.

  104. Игорь

    alik, если ты заметил, robots.txt состоит из 2 частей: одна специально для Яндекс, другая для роботов остальных поисковиков. Для ЧПУ да, именно Disallow: /*?*, в статье же сделан акцент на это. Если wp-content переименован, то, естественно, необходимо указать новый вариант и в роботсе. Еще раз обращаю внимание, что файл robots.txt, представленный в мануале, это каркас для стандартного блога WordPress. С течением времени, если внесены глобальные изменения, то следует дописывать новые директивы. Это легко отслеживать в панели Вебмастеров Яндекс и Гугл. Появились “мусорные страницы”, которые, по твоему мнению, не должны быть в индексе, редактируешь роботс соответствующим образом.

  105. Галина

    Спасибо Вам большое от "блондинки" 🙂
    Все получилось!!!
    Только вот мой сайт, похоже, уже попал под фильтр Яндекса. Ну что ж, будем дальше разбираться...

  106. Ruslan

    Огромное спасибо за статью, очень понятно и доступно объяснено все.
    Молодец!

  107. Ruson

    Здравствуйте. Подскажите пожалуйста для чего ві прописіваете по нескольку раз строки типа:
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback

    ведь во второй строке условие уже будет выполняться или я чего то недопонимаю?

    и еще, если у меня двуязычный сайт где язык отмечается как _sitename.com/ru/page.php
    следует ли в правило Disallow: /tag/
    добавить звездочку Disallow: */tag/

    Спасибо.

  108. Игорь

    Ruson, звездочка означает последовательность любых символов в составе URL. Первая строчка означает запрет на индексацию данного раздела. Вторая строчка означает запрет на индексацию всех разделов, которые содержат trackback и т.д. Для двуязычного сайта такой конструкции с тем, чтобы роботы следовали директивам, думаю, что нужно прописать так для запрета тегов:
    Disallow: /tag/
    Disallow: /ru/tag/
    И продублировать остальные директивы, добавив ru. Но, Ruson, имейте ввиду, что это мое мнение! Я в этом не уверен, поскольку еще не имел дел с двуязычными ресурсами в таком ракурсе, просто дал свой вариант, следуя элементарной логике. В любом случае, вы спокойно можете проверить, будет ли работать такая конструкция, проанализировав robots.txt в Панели Вебмастера Яндекс или Google. В последней трети статьи дан пример, как это делается в Яндекс.Вебмастер. Первая строчка для директории, содержащей основной язык (как я понял, это не русский), вторая для вспомогательной директории (русский язык). Попробуйте для начала составить такой вариант robots.txt и проверить, будет ли он работать.

  109. Александр

    Доброго времени.
    Пожалуйста подскажите:для чего необходимо ставить знак "*", например
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    а если звездочка внутри /*/,например:
    Disallow: /*comments
    Disallow: /*?replytocom
    Disallow: /*.php
    Никак с этими "*" не получается разобраться.
    Прошу совета.
    С уважением,Александр.

  110. Александр

    Доброго времени.
    Еще один вопрос:постоянные ссылки на моем блоге составлены по ЧПУ (доменное имя,рубрика в которую определена статья,и сама статья).Не могу разобраться с категориями (получается,если в роботсе закрыть категории,то поисковик не проиндексирует?).И подскажите пожалуйста,как узнать выходят ли мои статьи через категории или архивы.
    Благодарю.

  111. Игорь

    Александр, знак «*» означает запрет индексации для страниц, в состав URL которых входят данные знаки, слова или фразы. Например, директива
    Disallow: /comments
    означает, что запрещен к индексации будет только раздел comments.
    Disallow: /*comments
    запрещает не только страницы данного раздела, но и те страницы или разделы, в URL которых входит это слово как часть ссылки. Надеюсь, теперь Вам понятно.

  112. Игорь

    Александр, Ваши статьи выходят через категории, если имеете ввиду тот блог, адрес которого Вы указали при написании комментария. А проверить очень просто: нажмите ссылку для перехода на страницу любой категории, в адресной строке будет category, далее название этой категории. Если перейдете на любую страницу со статьей из этой же категории, адрес будет содержать: URL категории, затем URL статьи. Все просто. Если закрыть категории, то проиндексированы не будут не только категории, но и статьи, в мануале я на это обращал внимание, почитайте внимательнее, не хотелось бы несколько раз объяснять одно и то же. Если запрещаете архивы, разрешаете категории и наоборот.

  113. Ruson

    Игорь спасибо за ответ, с роботсом разобрался и чтобы не повторять одни и те же строки решил использовать универсальный вариант:
    Disallow: */trackback
    который отлично работает на многоязычном ресурсе, это всеравно что если бы я прописал все ниже привдененые варианты:
    Disallow: /trackback
    Disallow: */*/trackback
    Disallow: ru/trackback
    Disallow: en/trackback
    Disallow: ua/trackback

  114. Игорь

    Я рад, Ruson, что получилось с мультиязычным ресурсом. Думаю, этот опыт будет всем полезен.

  115. Александр

    Доброго времени,Игорь.
    Благодарю за корректный ответ.Да статьи выходят на моем блоге через категории,роботс подправил,теперь нормально.Вчера яндекс проиндексировал страницы (ура!).
    По вопросу о "*" тоже вроде бы понятно.Прости, но еще один вопрос:
    если "*"поставить перед флешем,например */category ,то запрет будет на страницы в разделе категорий, а если */*/category то запрет на страницы в категориях и на страницы в подкатегорих(подразделы).
    С уважением,Александр.

  116. Игорь

    Пожалуйста, Александр. Мне понятна Ваша радость по поводу попадания страниц ресурса в индекс, сам выказывал такие же эмоции. Что касается */*/category, то да, такая директива запрещает подкатегории и категории.

  117. Алексей

    Здравствуйте!
    Спасибо за статью!
    У меня такой вопрос.
    Сделал жене блог на wordpress. У нее много постов, но мало текста, больше картинки. И получается так, что в рубриках весь текст, а где "Подробнее" только дополнительные картинки.
    Значит надо как-то закрыть рубрики от индексирования.
    Там вложенные рубрики получаются.
    Сделал так:
    Disallow: /category/
    Но еще остается рубрика/подрубрика/статья.
    Причем урлы есть как с /category/рубрика/, так и просто /рубрика/подрубрика/статья.
    Что-то еще надо закрывать тут или нет?
    Надо ли закрывать рубрики?

  118. Игорь

    Алексей, вообще-то рубрика и категория одно и то же. Категории закрывать не стоит, поскольку статьи у Вас выводятся именно через категории (рубрики). Закрыв рубрики, рискуете запретить индексацию статей, в мануале я об этом предупреждал, лучше закройте теги. Либо закройте рубрики, откройте теги. Строение блога стандартное. Я понимаю, что тема специфическая, однако все-таки посоветовал бы добавить немного текста. Может быть, какие-то исторические факты или легенды, связанные с тем или иным украшением, читателям было бы интереснее, да и поведенческие факторы таким образом улучшаются. Если хотите все же запретить к индексации категории и подкатегории, Ваш вариант абсолютно верен. Только у Вас еще архивы, их тоже желательно запретить к индексации, либо архивы оставьте, а закройте теги и рубрики.

  119. Татьяна

    У меня тоже специфический контент. Вообще-то, хоть немножко разобралась благодаря вам... Тяжело живется чайнкам... А то трафик упал конкретно, может от того, что у меня очень много звуковых файлов, у меня аудио уроки английского. Может папку аудио закрыть?

  120. Игорь

    Татьяна, не падайте духом, у всех бывают нелегкие времена. Вы же знаете, что жизнь полосатая. За неудачей следует успех, потерпите немного и все наладится, я уверен. А вот почему трафик упал, нужно подумать...Кстати, посещаемость понизилась с поиска и Яндекс, и Гугл? Что касается аудио, не думаю, что в этом причина, потопу что в наше время целые блоги функционируют на аудиоподкасте.

  121. Татьяна

    Ой, Игорь, да вы философ! Спасибо за поддержку! Пропишусь ка я на вашем проекте! Столько нужного. Буду вами ))) исправлять свои проблемы. А их у чайников, как вы понимаете... Вот сечас утро, а ужасный гугл ни одного не прислал уника... А у Яндекса немножко есть... Просто я зимой запустила свой сайт, и теперь пожинаю плоды... Спасибо еще раз!

  122. Игорь

    Ну, философские рассуждения обычно одолевают при соответствующем настроении. Кстати, тема проекта у вас удачная в том смысле, что работа с блогом может принести Вам не только моральное удовлетворение, но и поддержать в финансовом плане. Я думаю, раз Вы создали такой ресурс, значит являетесь специалистом в области английского языка. Ну, а изучение иностранных языков интересует немало людей. Здесь и платные уроки можно со временем организовать, и монетизация с помощью Google Adsense или Яндекс Директ принесет свои плоды, релевантные объявления на эту тему получить, думаю, несложно.

  123. Константин

    доброе время суток.
    У меня 2 вопроса:

    1.Среди файлов на своем WP не нашел папку cqi-bin.
    В какой именно папке она должна находиться или ее нужно самому создать?

    2.У меня на WP продающий сайт.
    И главня страница, на которую выводятся все статьи у меня скрыта - в меню ее нет.
    Но у нее есть конкретный адрес (Url)! На этой странице дублируются многие статьи с отдельно созданных страниц.

    Как закрыть от индексации конкретную страницу, эту или любую другую по необходимости?

    спасибо

  124. Константин

    спасибо за статью!
    я создал файл robots.txt для своего сайта.

    На странице яндекса - анализ robots.txt. Вроде все правильно.
    Яндекс показывает, что все, что мне не нужно индексировать - запрещен правилом...

    А на станице яндекса "проверит сайт" запрещенные к индексации страницы все еще есть.

    Они должны исчезнуть с этой страницы со временем?
    Через сколько?
    Или как ?

    спасибо

  125. Игорь

    Да, конечно, они исчезнут со временем. Поисковые роботы весьма инертны, поэтому это занимает какое-то время.

  126. Игорь

    1. Папки для исполнения скриптов может и не быть, это зависит от хостинга. Можно создать самому, но лучше сначала обратитесь к хостеру.
    2. Очень просто, для запрета индексации пропишите окончание URL в robots.txt

    Disallow:/рубрика или раздел/окончание URL - если это страница 3 уровня

    Однако главную страницу я бы не рекомендовал запрещать к индексации, потому что таким образом Вы запретите индексировать весь сайт. У Вас, что же полные дубли статей на ней? Если только анонсы, то ничего страшного нет.

  127. Артем Шматок

    Полезная статья. особенно для таких новичков как я) Воспльзуюсь советами.

  128. Константин

    доброе время суток.
    Ситуация такая:
    Допустим есть url: _http://домен/category/123/456/789/
    Запись 123 запрещена к индексированию:
    Disallow: /category/123
    А запись 456 нужно индексировать.
    Можно ли так делать, если да, то как правильно это прописать?

    Спасибо.

  129. Игорь

    Константин, дайте конкретный URL страницы, которую необходимо запретить к индексации через robots.txt, чтобы было понятно.

  130. Константин

    _http://avtobagazhnik.com.ua/bagazhniki/bagazhniki-mont-blanc/bagazhniki-mont-blanc.html - индексировать;
    _http://avtobagazhnik.com.ua/bagazhniki/bagazhniki-mont-blanc - запретить;
    _http://avtobagazhnik.com.ua/bagazhniki - запретить.

  131. Игорь

    Константин, так ничего не получится, потому что если Вы хотите индексировать страницу _http://avtobagazhnik.com.ua/bagazhniki/bagazhniki-mont-blanc/bagazhniki-mont-blanc.html, то и разделы, через которые она выводится, нужно разрешить к индексации, а Вы эти разделы хотите запретить. Налицо ошибка в структуре сайта, таким образом плодятся дубли. Как я понимаю, у Вас у каждой категории есть еще и подкатегории, например:
    Категория: Багажники
    Подкатегории: Багажники Mont Blanc, Багажники Десна, Багажник на микроавтобусы и т.д.
    Сейчас получается, что у Вас полные дубли страниц, причем вывода на категории нет, сразу на подкатегории. Предлагаю включить ссылки на категории. Конечная страницы, скажем на подкатегорию Багажники Mont Blanc будет выводится так:
    _http://avtobagazhnik.com.ua/bagazhniki/bagazhniki-mont-blanc.html
    Так Вы избежите, по крайней мере, полных дублей. На странице категорий у вас будут ссылки на все лоты всех подкатегорий, на страницах подкатегорий - только на лоты данной подкатегории. Конечно, неполных дублей таким образом не избежать, но это больное место Вордпресса, они и меня есть. Правда, я переделал вывод категорий с помощью функции the_excerpt, убрав дубли картинок, но у Вас специфический сайт. Конечно, решать Вам, как лучше поступить в конечном итоге.

  132. Ricky

    У меня роботс несколько отличается от вашего, сравнил есть конечно похожие моменты, составил уже не помню как, проанализируйте - сайт вроде норм работает:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    Host: _www.webliberty.ru
    Sitemap: _http://www.webliberty.ru/sitemap.xml

  133. Игорь

    Да, Ricky, если у Вас стандартный блог Вордпресс, все ненужные страницы здесь закрыты. И вообще, если индексация проходит нормально, то есть страницы, которые должны индексироваться, находятся в поиске и дублей нет, robots.txt настроен правильно. Проверяйте время от времени корректность индексации в панели вебмастеров Яндекс и Гугл.

  134. Ricky

    Спасибо

  135. Ольга

    Здравствуйте, уважаемый Игорь Горнов! Помогите пожалуйста, мне с этим злополучным ФАЙЛОМРОБОТС. ФАЙЛРОБОТС установила несколько месяцев назад по совету автора очень раскрученного сайта. И все было хорошо. 27.07.13 и 3.08.13 я получила письма с информацией, что Googlebot не может получить доступ к файлу robots.txt на моём сайте, и из-за этого сканирование сайта отложено.
    Но я с 12.07.13 по 12.08.13. в интернет не выходила и никаких работ на моем сайте не проводила, тем более с файлом robots.txt.
    Появились много дублирующих статей и еще много...много... проблем.
    Что делать с этой напастью!?? помогите , пожалуйста!!!! Уж очень мне, как особо одаренной, трудно разобраться во всех тонкостей создания файла роботс.
    Последняя надежда на Вас! Заранее благодарна!

    И еще вопрос: у меня плагин Cyr-To-Lat, или нужно заменить на RusToLat?
    Спасибо!

  136. Ольга

    У Вас что-то последняя (фейсбуковская?) социальная кнопка не "фурычит"!

  137. Игорь

    По-моему, все работает.

  138. Игорь

    Ольга, не мудрено, что с таким robots у Вас возникли проблемы. Скопируйте файл robots.txt из статьи и вообще, почитайте материал подробнее, этот мануал понравился многим, даже на авторитетных форумах меня проплюсовали (не хвастовства ради, а лишь для того, чтобы убедить Вас в том, что не потеряете драгоценное время). Просто на данный момент я перегружен работой, очень много просьб о помощи, а чтобы составить для Вас корректный файл robots.txt, потребуется время. Если Вам все-таки будет тяжело справиться и понять досконально все нюансы, обращайтесь, но только лишь спустя некоторое время. А сейчас скопируйте роботс из статьи (только обратите внимание, что Вам нужен файл robots для стандартных блогов WordPress c ЧПУ). Это намного лучше, чем теперешний Ваш вариант.
    Плагины Cyr-To-Lat и RusToLat тождественны по своим задачам, однако Cyr-To-Lat давно не обновлялся, а это чревато не только ослаблением безопасности Вашего ресурса, но и опасностью того, что плагин не будет корректно работать с более поздними версиями WordPress. Поэтому лучше поставить RusToLat.

  139. Ольга

    Большое спасибо за совет! В будущем я Вас обязательно побеспокою. Статья действительно сильная, много я их переворошила в интернете. Вы - лучший!

  140. Майя

    Здравствуйте, Игорь. Недавно Яндекс "обиделся" на мой сайт (по статистике liveinternet, за две недели из 13 страниц в "Позиции в Яндекс" осталась одна, причем было много топовых позиций). Скажу сразу, категории были закрыты. Сайт с ЧПУ. Сейчас поставила robots.txt как у Вас. При переходе с категории на страницу некоторые записи выводятся "URL категории, затем URL статьи", но некоторые "URL категории, затем URL статьи и плюс что-то непонятное типа ?preview=true&preview_id=3501&preview_nonce=a98a5a6bb0". С таким окончанием при проверке URL в Яндексе выдает результат: запрещен правилом /*?*, но ведь сайт с ЧПУ? Без такого окончания та же ссылка - разрешена (кстати, эта позиция с 6 места за неделю исчезла совсем). Подскажите, пожалуйста, что это может быть, и вернутся ли страницы в поиск, если robots.txt изменен (как описано у Вас).

  141. Игорь

    Уважаемая Майя! Естественно, что статьи с такими непонятными окончаниями являются дублями, немудрено, что Яндекс обиделся. Ведь хранение в базе данных поисковиков такого количества дублированных страниц оказывает огромную нагрузку на систему. Вы говорите, что при проверке URL после изменения содержания robots.txt страницы с нормальными ссылками разрешены, а вебстраницы с окончаниями - нет. Так и должно быть, постепенно эти “мусорные” вэб-страницы исчезнут из индекса, но на это нужно время, к сожалению, потому что боты поисковиков весьма инертны. Не паникуйте, если Вы поменяли роботс, корректные страницы обязательно будут проиндексированы и займут соответствующее положение при ранжировании. Только имейте ввиду, если Вы открыли категории, то желательно теги (метки) закрыть, потому что лишние дубли никому не нужны.

  142. Майя

    Спасибо Вам большое, метки закрыты, паника ушла.

  143. Дмитрий

    Здравствуйте Игорь, скажите пожалуйста зачем закрывать тэги, архивы и т.п. от индексации, ведь если продавать ссылки в sape, то получается, что ты уменьшаешь количество страниц сайта.

  144. Игорь

    Видите ли, Дмитрий. Я вообще считаю, что "чистый" ресурс не должен быть обременен продажей ссылок, тем более с помощью такой заспамленной биржи как Sape. Я не говорю, что продажных ссылок вообще не должно быть, в конце концов исключительно белыми методами очень тяжело раскрутить сайт, особенно на начальном этапе. Тут еще многое зависит от того, для каких целей создан вэб-ресурс. Если сайт создается исключительно для линкопродажи, это одно. Но даже в этом случае закрытие мусорных страниц и дублей принесет Вам большую пользу в виде повышения доверия к ресурсу поисковиков в отличие от сиюминутной финансовой выгоды, которую Вы получите, открыв для индексации лишние страницы. Полученный траст (доверие) в дальнейшем может пригодится, если Вы вдруг захотите перепрофилировать свой сайт. Ну, а если у Вас СДЛ, созданный на долгие годы, и который Вы намерены серьезно развивать, то таких ссылок и вовсе должно быть минимальное число, для заработка лучше использовать другие методы. В общем, активно занимаясь продажей ссылок, Вы создаете предпосылки к тому, что Ваш сайт будет рано или поздно заспамлен. Конечно, так зарабатывают многие, но это не мой путь, поэтому изначально я делаю акцент в своих публикациях на предположение, что читатели создают именно СДЛ. А в этом случае главным является минимизация числа дублей, которые нужно закрывать от индексации. Надеюсь, понятно изложил ответ на Ваш вопрос.

  145. Дмитрий

    Большое спасибо за ответ.

  146. Мария

    Здравствуйте, Игорь.
    Мой сайт попал под АГС..Я думаю, что из-за дублированного контента. Я запретила индексацию тегов(меток) и архивов, но открыла рубрики (категории) в плагине All in One SEO Pack.
    Вопрос:
    Мне нужно запрещать индексировать теги и архивы в robots.txt или достаточно запрета в плагине All in One SEO Pack?

  147. Игорь

    Видите ли, Мария, в настройках All in One SEO Pack запрет на индексацию осуществляется с помощью мета тега ROBOTS. На данном этапе его эффективность понизилась, поэтому я советовал бы продублировать запрет на индексацию нужных Вам разделов в файле robots.txt.

  148. Мария

    Спасибо, Игорь за хорошую и подробную статью. Добавлю директивы и в robots.txt
    Мне остается добавить только

    Dussallow:/tag
    Dussalow:/*?* (у меня естьЧПУ)

    А ставить или нет запрет на индексацию категорий. Или достаточно этих директив?

  149. Игорь

    Нет, Мария, если Вы закрыли метки, то категории нужно оставить открытыми, у Вас стандартный блог Вордпресс.

  150. Руслан

    ок, как насчет папки и файлов attachment? смледует ли их закурывать от инжексации?, ведь одно и то же изображение может генериться под несколькими урлами

  151. Игорь

    Совершенно верно, Руслан, attachment тоже следует закрыть от индексации.

  152. Мария

    Здравствуйте, Игорь
    Если Вам не трудно, посмотрите мой вновь составленный robots.txt. Я его загрузила 16.09. Игорь, а почему-то в поисковой строке Яндекса robots.txt показывается старый, а в Яндекс-вебмастере- новый. Я что-то сделала не так?
    И у меня пришло сообщение еще в июне что робот Goolbot не может получить доступ к моему сайту. Это из-за неправильного robots.txt. Как исправить положение. Или сейчас будет доступ, потому что теперь другой robots.txt
    Пожалуйста, поясните ситуацию. Я еще плохо разбираюсь в таких тонкостях.

  153. Игорь

    Мария, этот вариант robots.txt вполне удобоваримый с учетом структуры Вашего блога. А Вы не ошиблись? Наверное, в окне браузера показывается новый вариант, потому что он уже загружен на сайт, а В Яндекс Вебмастер старый вариант показывается потому, что новый Вы туда не загрузили. В разделе "Анализ robots.txt" есть кнопка "загрузить robots.txt с сайта".
    Очень тяжело сейчас определить причину отказа роботу в доступе, причин может быть масса. Подождите немного и посмотрите, как будут индексироваться страницы в дальнейшем. Если вебстраницы будут появляться в поиске, значит, все нормально.

  154. Валентина

    Здравствуйте, Игорь! Огромное спасибо за такую подробную статью, пойду составлять robots txt :))

    Только скажите, пожалуйста, у меня в строке браузера показывает адрес сайта prosto-edem.ru (без www). А вот в консоли вордпресс (Общие настройки) в строках WordPress (URL) и Адрес сайта (URL) - _http://prosto-edem.ru.
    Не получается ли, что это разные адреса для поисковиков? Или это нормально?

    И еще по поводу изображений: у меня гугл индексирует подписи к фотографиям:(. Достаточно ли для решения этой проблемы закрыть от индексации папку attachment?
    Заранее благодарю за ответ!

  155. Albert718

    Помогите составить robots.txt пожалуйста!

  156. Игорь

    Albert, мне кажется, в статье я все подробно описал. Если у вас стандартный блог Вордпресс, используйте за основу уже готовый robots.txt.

  157. Игорь

    Валентина, если у Вас прописан адрес сайта в файл robots.txt, то он и будет главным для поисковиков, так что будьте на этот счет спокойны. Теперь что касается подписей под фотографиями. Если Вы имеете ввиду свои авторские подписи на главной и пояснительный текст под изображениями на страницах статей, то они будут проиндексированы, поскольку это текстовый контент, но ничего страшного в этом нет. Наоборот, поисковики будут ассоциировать ресурс с Вашем именем, а на страницах со статьями этот текст, как мне кажется, связан с Вашей темой. Можете добавлять к пояснительному тексту КС, по которым продвигаете каждую статью. Единственное, что бы я посоветовал, давать название фотографиям, включая в них КС. Например, у Вас фотографии именованы таким образом: image_011.jpg, но можно ведь и так: shtorm_na_more.jpg. Тогда эти фотографии будут оптимизированы под поиск по картинкам, а для Вашего ресурса это особенно важно, ведь у Вас фотоблог, если я не ошибаюсь?

  158. Валентина

    Спасибо, Игорь, за ответ и советы! 🙂
    Только разве эти проиндексированные страницы с подписями не будут являться дублями?
    Вот они, например _https://www.google.ru/search?q=site:prosto-edem.ru&newwindow=1&hl=ru&ei=aixWUoO7LsiF4AS9voCwBQ&start=90&sa=N&biw=1280&
    bih=857&dpr=1

  159. Вячеслав

    Спасибо за статью, очень помогла!

  160. Игорь

    Валентина, это неполные дубли. Для обычного блога это не особенно страшно, ведь анонсы статей на главной и страницах категорий тоже являются неполными дублями, поскольку содержат такую же первую картинку к посту и начальный кусок текста. Но основной контент скрыт и появляется лишь на странице записи. Для стандартного блога Вордпресс эта ситуация рабочая, но у Вас фотоблог, где изображения играют более значимую роль, поэтому, думаю, здесь ситуация несколько другая. Я не понимаю, почему в поиске эти страницы с картинками, ведь директория attachment у Вас закрыта в robots.txt, или Вы ее закрыли недавно? Если так, то придется немного подождать, гугловские боты весьма инертны и не сразу воспринимают отредактированный robots.txt.

  161. Валентина

    Да, Игорь, я закрыла ее недавно, посл прочтения Вашей статьи. Значит, жду 🙂

  162. Анатолий

    Шаблон на robots.txt у меня работает только на сайте где есть ЧПУ. А вот на сайте где нет ЧПУ не работает(. Теги как индексировались так и индексируются. Может знает в чем проблема?

  163. Игорь

    Анатолий, а Вы статью полностью читали? Там дано четкое разграничение для robots.txt с ЧПУ и без.

  164. Анатолий

    Да читал все, и применил именно шаблон который без чпу.

  165. Игорь

    Хорошо, понял, Анатолий. Видите ли, строго говоря изначально директивы robots.txt не слишком строго исполнялись поисковыми ботами, это считалось, скорее, рекомендацией им, поэтому многие вебмастера настрадались от этого и принимали дополнительные меры. Однако в последнее время влияние директив роботса ужесточилось и они практически полностью исполняются. А Вы давно установили rrobots.txt? Если совсем недавно, то причина ясна. Дело в том, что поисковики весьма инертны и не сразу бросаются исполнять директивы, прописанные в новоиспеченном файле robots.txt, поэтому придется немного подождать. Для успокоения души проверьте работоспособность роботса в панели вебмастеров Яндекс или Гугл.

  166. Эльвир

    У самого на этом блоге роботс не такой какой рекомендуешь людям.

  167. Игорь

    Естественно, Эльвир. Почитай внимательно статью и комментарии, этот robots.txt только основа для стандартного блога WordPress, в процессе развития ресурса он претерпевает изменения (вносятся изменения). В мире нет ничего вечного и застывшего, тем более в таком деле как сайтостроение. Нет навеки универсального роботса для всех ресурсов.

  168. Vladimir

    Спасибо за статью, очень полезная и нужная штука, недавно узнал о ней и сразу решил настроить. Спасибо.

  169. Владимир

    Здравствуйте. Я новичок в сайтостроении. Почитал немного о том, как роботы индексируют сайты. Как я понял, чтобы страница проиндексировалась роботом, на неё должна быть где-то ссылка, не важно, на моём сайте или где-то ещё.
    Поэтому мне не понятно, зачем в файле robots прописывать, например, такие строки:
    Disallow : /wp-admin
    Disallow : /wp-includes
    Disallow : /wp-content/plugins
    Disallow : /wp-content/cash
    Disallow : /wp-content/themes
    Ведь если ссылок на файлы из этих папок на сайте нет, то робот их всё равно не увидит.

  170. Игорь

    Владимир, ссылки на сайте на эти директории не обязательно должны быть размещены, чтобы робот поисковиков сунул туда свой любопытный нос, если, конечно, Ваш домен попал в индекс. Конечно, ссылки на указанные Вами страницы будут индексироваться дольше тех страниц, которые Вы продвигаете, но то, что будут проиндексированы, сомнений никаких. Так зачем Вам лишняя головная боль? Тем более, что редактирование роботс занимает считанные минуты.

  171. Евгений

    Привет! Я тоже новичок, пошел делать, спасибо за информацию. Подпишусь на комменты.
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

  172. Игорь

    Удачи, Евгений.

  173. Михаил Трутень

    Спасибо, автор! Большое уважение, что все так подробно расписано. Что-то один сайт не индексируется нормально. Обычно вордпресс быстро в индекс влазит, а тут прям беда (есть подозрения на шаблон), но теперь с картой сайта и robots посмотрим, что к чему будет )

  174. Игорь

    Михаил, ну карта и роботс просто определяющие вещи в этом деле.

  175. Ирина

    Добрый день, Игорь. Я абсолютный новичок, и видимо, что- то упорно делаю не так. При загрузке файла на хостинг все происходит согласно инструкции, я вижу информацию, что операция выполнена успешно. Но отредактировать файл robots txt не удается. Когда я нажимаю "Edit", файл не открывается, а опять выводится информация, что операция выполнена. При проверке файла robots txt на своем сайте, он выглядит следующим образом:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Sitemap: _http://v-polshu-sam.ru/sitemap.xml.gz

    Подскажите, пожалуйста, в чем может быть моя ошибка?

  176. Игорь

    Ирина, ну ничего страшного, все решаемо. Возможно, какой-то сбой в работе сервера на хостинге. Вы, как понимаю, редактируете роботс через интерфейс вашего хостинга. Попробуйте проделать эту операцию через notepad++, об этом редакторе можете найти подробный материал на блоге. Найдите статью, вбив запрос в поисковое поле сайта. Только после редактирования не забывайте сохранять файл. Этот способ более надежен для редактирования, хотя для новичков посложнее, но Вы обязательно разберетесь.

  177. Хрустик

    спасибо большое очень интересный материал. Решил множество своих проблем

  178. Proz

    Спасибо за отличную статью. Как раз на этой неделе искал образец роботса и воспользовался Вашими рекомендациями.

  179. Tatjana

    Огромное спасибо за материал. Самый лучший из тех, что я нашла в интернете!

  180. Tatjana

    И ещё такой вопрос: я вставила скопированный у вас вариант файла и некоторые его части Яндекс показывает с красной волнистой полосой. Это нормально?
    Спасибо.

  181. Игорь

    Tatjana, где это Вы заметили? В панели вебмастера Яндекс?

  182. Tatjana

    Добрый день! Да, в панели Яндекса, при анализе робота.
    Подчёркивает следующую часть между символами слэш :
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

  183. Tatjana

    Ещё раз, здравствуйте, Игорь! У меня попутный вопрос: право доступа к файлу робота у меня стоит 666, а к файлу карты 644. Это правильно?

  184. Tatjana

    т.е. наоборот, робот- право доступа 644, карты- 666.

  185. Игорь

    Tatjana, честно говоря, не знаю, что и сказать. Подчеркивание красной волнистой линией означает наличие ошибок в правописании. По виду у Вас текст корректен. Думаю, ничего критического, проверьте порядок индексации. Если результаты окажутся соответствующими правилам, не забивайте голову.

  186. Игорь

    Tatjana, у меня и там, и там 644.

  187. Василий

    Игорь, привет! Сейчас разбираюсь с файлом robots.txt, иногда, меняю там некоторые настройки.
    Интересуюсь этой темой. А не правильней ли, будет указывать директивы, которые написаны ниже, со слэшем на конце? Так вроде бы роботу будет легче искать эти папки. Без слэша он их тоже найдет, но затратит на это больше времени.
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Некоторые еще закрывают такие файлы:
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    или делают команду такого типа:
    Disallow: /wp-trackback
    А, если записать так:
    Disallow: /*.php
    В этом случае, все эти файлы будут закрыты от индексации и не нужно будет записывать несколько команд для конкретных файлов. Файлы с расширением php вроде бы не и нужно индексировать.
    Команду для trackback может быть стоит сделать такой:
    Disallow: /*trackback*
    В моем файле есть такая команда:
    Disallow: /category/*/*
    У меня на сайте нет подкатегорий. Поэтому, возможно, два последних символа лишние?

  188. Игорь

    Привет, Василий, рад тебя видеть.
    В отношении постановки слэша. Запись со слэшем на конце означает запрет на индексацию всей директории вместе со всеми находящимися там файлами. Если слэш не ставить, то запрет будет распространяться не только на данную папку, но и на любой файл, начинающийся с такого названия. Например:

    Disallow: /category/ - запрещает индексацию директории category и всех файлов в ее составе.
    Disallow: /category - запрещает индексацию не только папки category, но и любых файлов типа category.png, category.php, а также всех папок, в названии которых присутствует category, например, «category1», «category89» ну и так далее. Как видишь, разница весьма существенная.

    Что же касается файлов с расширением .php, то бывают страницы со скриптами, заканчивающиеся таким образом, поэтому прописывать подобные директивы имеет смысл.

    Знак «*» обозначает любую последовательность символов. Подкатегорий нет, поэтому, действительно, последние два символа можно не использовать, но на скорости индексации, думаю, это особенно не скажется.

    В любом случае, при сомнении каждый конкретный случай лучше проверить в панели вебмастеров Яндекса и Гугла, это очень существенная возможность контроля корректности составленного robots.txt.

  189. Василий

    Игорь, если например, команда Disallow: /trackback закрывает все категории и файлы, то зачем еще указывать дополнительные команды:
    Disallow: */trackback
    Disallow: */*/trackback
    Ведь первая команда все закрывает, мне это не совсем понятно.

  190. Игорь

    Василий, эту директиву можно записать и так:

    Disallow: /*trackback*
    она аналогична записи:

    Disallow: */trackback
    Disallow: */*/trackback

    Ты прав, одна строчка короче двух и запись выглядит синтаксически более верной, хотя двойная строка и не является ошибкой и адекватно воспринимается ботами поисковиков. Я периодически обновляю статьи, но дело идет медленно, до этой пока не добрался.

  191. Andrey Zondervit

    У меня к вам вопрос в тему!

    Если после вашего домена, через слэш ввести robot.txt , то получится 404 — то есть страница не найдена! Как вы это сделали?

  192. Игорь

    Andrey, естественно так вы ничего не найдете. 🙂 А теперь попробуйте ввести не robot.txt, а robots.txt, уверен вы получите искомое.

  193. Виталий

    Здравствуйте. Подскажите как сделать, чтоб индексировалась страница моего сайта с фотографиями (http://kovkavolgograd.ru/?page_id=30)?
    С Ув.

  194. Игорь

    Виталий, эта страница без ЧПУ, в статье же есть инструкция.

  195. Виталий

    Спасибо Большое ! Наконец то разобрался.

  196. celena

    Добрый день!
    Подскажите как правильно прописать,чтоб индексировался форум на сайте.Форум я устанавливала через плагин.А как я поняла мы закрываем индексацию плагинов.Или не так?Спасибо

  197. Игорь

    Celena, страницы форума будут индексироваться, если Вы специально не пропишите запрещающие директивы. В файле robots.txt мы запрещаем текстовые файлы, входящие в состав плагинов, но никак не страницы, которые генерируются с их помощью.

  198. Елена

    Спасибо!Про запрещающие файлы поняла.Так значит это не в robots проблема?

  199. Елена

    А вот что мне ответили: индексирование страниц Вашего форума сейчас запрещено в Вашем файле robots.txt правилом "Disallow: /*?*", запрет необходимо убрать.
    Подскажите,на что исправить или вообще удалить эту строку? вот мой robots:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Host: turkishlearn.ru
    Sitemap: http://turkishlearn.ru/sitemap.xml.gz
    Sitemap: http://turkishlearn.ru/sitemap.xml

  200. Игорь

    Елена, а каков адрес URL Вашего форума? Это отдельный домен 2 уровня или домен 3 уровня, входящий в состав Вашего основного сайта?

  201. Елена

    Я не знаю какой уровень) Я загружала на сайт через плагин mingle forum и вот такой адрес у него получился : http://turkishlearn.ru/forum-2

  202. Игорь

    Понятно, форум располагается в одной из директорий Вашего сайта, в этом случае действительно директива:
    Disallow: /*?*
    Запрещает индексацию генерируемых для форума страниц. Елена, к сожалению, форумами я не занимался, а потому квалифицированную помощь в этом вопросе оказать не могу, не обессудьте. Единственное, что могу сказать, там, наверное, нужно прописать несколько директив специально для форумных страниц, включая Allow, но делать это нужно аккуратно, чтобы не запретить к индексации нужные страницы и не наплодить мусорных.

  203. Елена

    Спасибо,буду разбираться) А вообще я удалила Disallow: /*?* или не стоит?

  204. Елена

    Я вот на хэлпе нашла вот такое(это может относится к моему форуму,если у меня адрес страниц вот такой получается http://turkishlearn.ru/forum-2?mingleforumaction=viewforum&f=22.0 (мне кажется корявый какой-то,может что-то подправить).Знаю что не по вашей теме,но может подскажите,а то понаделаю.

    Дополнительные примеры
    #для адресов вида:
    www.site1.ru/forum/showthread.php?s=681498b9648949605&t=8243
    www.site1.ru/forum/showthread.php?s=1e71c4427317a117a&t=8243

    #robots.txt будет содержать:
    User-agent: Yandex
    Disallow:
    Clean-param: s /forum/showthread.php

  205. Игорь

    Елена, если Вы удалите Disallow: /*?*, то этим самым разрешите индексацию многих страниц, не только форумных, в том числе дублей, попадание которых в поиск нежелательно.

  206. Елена

    А чего они мне на хэлпе ответили,:индексирование страниц Вашего форума сейчас запрещено в Вашем файле robots.txt правилом «Disallow: /*?*», запрет необходимо убрать.
    Я так поняла надо удалить это строчку))

  207. Игорь

    Елена, я так понимаю, этот совет был относительно запрета индексации страниц форума. Но Ваш robots.txt относится не только к форуму, а ко всему сайту, форум является одним из разделов Вашего сайта. Если уберете «Disallow: /*?*», то позволите индексировать кучу мусорных страниц, особенно, если будут комментарии, они у Вас на сайте открыты. Попробуйте спросить совета где-нибудь на форумах, если мне не верите. Одна голова хорошо, а несколько голов лучше.

  208. Елена

    Верю,конечно,хорошо хоть спросила.А то так бы удалила и решила,что всё верно))Если найду ответ,напишу)

  209. Игорь

    Хорошо, Елена, напишите, это и для других читателей будет полезно.

  210. Светлана

    Автору респект. Вы многим новичкам помогли своей этой статьей, в т.ч. и мне. Добавить к комментариям нечего, просто хочу выразить огромное спасибо за ваш труд и пожелать удачи.

  211. Игорь

    Спасибо, Светлана.

  212. Димыч

    Вот еще я увидел на другом сайте:
    Disallow: /search/
    Disallow: /goto/
    Disallow: *.html/*
    Disallow: */sphinx/*
    Disallow: */*.js*
    Disallow: /daos/
    Disallow: */?p*
    Disallow: */?s*

  213. Алексей

    Здравствуйте Игорь! Подскажите пожалуйста, если у меня на блоге (блогу 5 месяцев) URL- ы на русском, после установки плагина RusToLat переведутся на латиницу, то проиндексированные страницы выпадут из выдачи, и при следующей индексации будут считаться, роботами, неуникальными? Или я ошибаюсь?

  214. Игорь Горнов

    Алексей, ситуация такая. Если Вы желаете перейти на латиницу в URL, то будет происходить переиндексация Ваших страниц в поисковых системах и на какое-то время они могут выпасть из индекса. Не уникальными старые адреса считаться не будут, поскольку будут вести на страницы с ошибкой 404.

    На базе своего опыта могу сказать, что я несколько раз делал различные глобальные изменения на своем блоге и, в общем то, катастроф не случалось в плане продвижения, все возвращается на круги своя. Конечно, это немного тормозит раскрутку проекта, но, по-моему, у каждого вебмастера в его жизни появляется необходимость что-то изменить.

    Главное, все хорошо взвесить прежде, чем принять решение. Кстати, почему Вы хотите перейти на латиницу? Я наблюдал несколько весьма успешных проектов, которые отлично живут с русскими адресами. Возможно, это даже плюс при продвижении в рунете. Правда, я сам такого опыта не имею, поэтому в этой части ничего посоветовать не могу. Также, возможно, при переходе стоит настроить 301 редирект, который будет обеспечивать автоматический переход на страницы с новыми URL.

  215. Алексей

    Спасибо Игорь! Стоит подумать наверное о настройке 301 редиректа.

  216. Алла

    Спасибо вам огромное! Даже с моим страхом перед этим всем ПОЛУЧИЛОСЬ!!!
    Подскажите, я проверила список URL:
    http://сайт.ru/ - разрешён
    http://сайт.ru/статья/ - разрешён
    http://сайт.ru/статья/#comment - разрешён
    http://сайт.ru/category/категория/ - разрешён
    http://сайт.ru/2012/06/ - разрешён
    Смущает, что разрешён коммент и архив. Это правильно?

  217. Игорь Горнов

    Алла, то что разрешен URL с #comment не страшно, поскольку значок решетки означает, что это хэш-ссылка (она помогает попасть на нужное место данной вебстраницы). Такие страницы поисковые системы не считают дублями. А вот архивы желательно запретить, если у вас стандартный блог Вордпресс.

    Однако, такой вид ROBOTS.TXT уже не является актуальным, в скором времени эта статья будет обновлена, также я планирую написать пост о том, как обеспечить правильную индексацию страниц в соответствии с современными реалиями. Следите за публикациями.

  218. Алла

    Игорь, спасибо вам огромное за блог и возможность получать ответы. Для таких новичков как я - это огромное подспорье!!! Прогрессирую с в собственных глазах: Disallow: /20*, правильно? если архив у меня, например.: .../2014/06 :)))

  219. Игорь Горнов

    Алла, пожалуйста. Однако, прочтите мой прошлый ответ на Ваш комментарий. 🙂 Буквально на днях этот пост будет полностью обновлен в соответствии с современными реалиями. Для блогов WordPress теперь актуален совсем другой ROBOTS.TXT. Вдобавок будут еще несколько статей о том, как правильно настроить индексацию. Потерпите немного.

  220. Василий

    У меня тоже сейчас этот файл стал совсем лаконичным.

  221. Игорь Горнов

    Да, приходится пересматривать, ничего не попишешь. 🙂

  222. Дмитрий

    Здравствуйте, Игорь! 1) У меня на сайте почти все записи выводятся на главную страницу, на основную 15 записей, и дальше страницы плагинации по номерам, тоже на каждой по 15 записей. У меня есть рубрика "Бренды" на которую выводятся те же самые записи, что и на главную, тоже по 15 записей на страницу. Отличается только главная страница от первой страницы рубрики, все остальные страницы плагинации главной и этой рубрики имеют одинаковые записи. Первая главная отличается от первой страницы рубрики чуть-чуть дизайном вверху и четырьмя записями анонса вверху и дополнительным текстом внизу. Получается, что рубрика "Бренды" почти полностью дублирует материал главной страницы, есть небольшие отличия, но в основном почти тоже самое. Как это отражается на индексации сайта? Может мне лучше закрыть индексацию всех страниц главной, кроме первой. Если да, то как это сделать? Какую директиву прописать в robots.txt ? Или лучше ничего не закрывать, т.к. небольшие отличия все-таки есть?
    2) Не могу понять, что запрещает директива Disallow : /*?*
    У меня к примеру, благодаря ей, яндекс исключил страницы с адресами типа этого /?p=23042
    Скорей всего это дубль, т.к. эта же страница с ЧПУ содержится в поиске яндекса, я прав?
    И что запрещают директивы Disallow: /*? и Disallow: /?
    Вообще, в чем разница у этих трех директив?
    Посмотрите мой robots.txt может, что-нибудь еще подскажите.

  223. Игорь Горнов

    Дмитрий, пост обновлен, почитайте внимательнее, там даны новые рекомендации по составлению robots.txt, также для настройки правильной индексации обязательно почитайте следующие материалы:

    http://goldbusinessnet.com/poiskovye-sistemy-i-brauzery/indeksaciya-sajta-v-poiskovyx-sistemax-yandeks-i-gugl/
    http://goldbusinessnet.com/dvizhok-wordpress/all-in-one-seo-pack-poiskovaya-optimizaciya-sajta-wordpress/
    http://goldbusinessnet.com/poiskovye-sistemy-i-brauzery/replytocom-dubli-stranic-wordpress/
  224. Дмитрий

    Игорь, спасибо, все почитал и сделал как вы рекомендуете, в роботе оставил запретов по минимуму, все остальное прописал в настройках плагина. Только использовал для этого плагин Platinum SEO Pack, думаю разница небольшая с плагином All in One SEO Pack. Запретил для индексации теги, суб-страницы, страницы поиска и т.д., разрешил индексировать только категории. В плагине поставил галочку напротив Canonical URLs. Возникла следующая ситуация... Теперь яндекс исключает все страницы карты сайта, кроме первой. Пишет, что документ является не каноническим. Посмотрел в коде каждой страницы карты сайта два раза стоит атрибут rel="canonical" href="http://www.dress-brand.ru/karta-sayta/" То есть он пишет, что канонической является только первая страница карты. Один раз этот атрибут стоит на странице в коде стилей, а второй раз в коде плагина плагина Platinum SEO Pack. Карту сайт создавал с помощью плагина Dagon Design Sitemap Generator. Как с этим разобраться? У вас на сайте, я посмотрел, карта сайта не разбита на страницы. Может и мне сделать всего одну страницу карты? Только у меня записей больше тысячи будет на ней. Что посоветуете?

  225. Игорь Горнов

    Дмитрий, действительно, вопрос по делу и очень актуальный. С картой сайта заморочки, я уже думал об этом, но пока к конкретному мнению не пришел. Буду советоваться с коллегами по этому вопросу.

    Пока решил не разбивать карту на страницы именно по причине ее некорректной индексации. Думаю, Вам тоже пока нужно отменить разделение на страницы. Что касается Platinum, то его используют некоторые блогеры, в том числе имеющие весьма успешные проекты.

    Я тоже вначале отдавал ему предпочтение, но отказался в дальнейшем по причине его редких обновлений. Одно время он не обновлялся более 2 лет. Все таки безопасность ресурса не последний по важности аспект.

  226. Дмитрий

    Игорь, спасибо!
    1) разбивку на страницы карты сайта пока уберу, это сильно повлияет на индексацию сайта?
    2) Что делать с первым rel='canonical' href='http://www.dress-brand.ru/karta-sayta/' он, кстати, я заметил с одинарными кавычками. Второй пусть остается, он от плагина Platinum SEO Pack. А с первым что? Ведь многие пишут, что два этих атрибута на странице нежелательны.
    3) Platinum SEO Pack установил еще когда начинал делать сайт, в те времена все предпочтение отдавали ему, а теперь ничего не меняю и не обновляю. Очень много на сайте уже вручную переделано, как то раз обновил вордпресс и несколько плагинов и все перестало работать, поэтому больше не рискую.
    4) когда с коллегами проясните, что с картой сайта делать, напишите ответ в мои комментарии, чтобы у меня на почте отобразилось, за обновлениями на вашем блоге не всегда удается следить, а так письмо на почту придет))

  227. Игорь Горнов

    Дмитрий, отвечаю по пунктам:
    1) Думаю, что на индексацию вовсе не повлияет. Наоборот, роботу будет проще.
    2) Я нашел только один canonical, если Вы не согласны, напишите, посмотрю внимательнее
    3) Я понял, в принципе Platinum тоже неплохо работает. Просто смотрите, если долго не будет обновлений (например, больше года), все-таки переходите на альтернативный вариант.
    4) Хорошо, просто такая куча дел сейчас навалилась, не знаю пока, когда этим займусь поплотнее

  228. Дмитрий

    Игорь, второй canonical я уже удалил на всякий случай)) А по поводу решения с картой сайта, буду ждать от вас новостей.

  229. Дмитрий

    Забыл спросить, у меня в карте сайта некоторые записи встречаются по три-четыре раза, т.е. одна и та же запись может принадлежать нескольким рубрикам. Это нормально? На индексацию не влияет?

  230. Игорь Горнов

    Дмитрий, у Вас, как я понимаю, интернет магазин, у коммерческих ресурсов такая ситуация встречается нередко. Это делается по вполне понятным причинам, а именно, для удобства пользователей, когда товары классифицируются по разным признакам. Просто в этом случае нужно указать каноническую страницу с помощью мета тега Canonical.

  231. Дмитрий

    Игорь, спасибо! Я вроде все так и сделал.Теперь буду ждать, когда мой сайт полюбит яндекс))

  232. Игорь Горнов

    Хорошо, Дмитрий, удачи! Обращайтесь, если что.

  233. Дмитрий

    Игорь, опять вопрос... В плагине Платинум СЕО установил галочку напротив nofollow links to tag pages. Посмотрел в коде страницы ссылки на теги не закрыты nofollow. Это плагин не работает или запрет где-то в другом месте прописывается и другой командой?

  234. Игорь Горнов

    Дмитрий, запрет должен прописываться в коде страницы. Я от Platinum отказался, поскольку он давно не обновлялся, и перешел на All in One Seo Pack, он в этом отношении надежнее.

  235. Андрей

    Василий, чтобы не вводить читателей в заблуждение, вношу поправку в ваш вопрос-сообщение:
    Disallow: /trackback - запрещает папку (с внутренним содержанием), ТОЛЬКО если она расположена в корневой позиции;
    Disallow: */trackback - запрещает к индексации папку, расположенную на ЛЮБОМ уровне вложенности (хоть в корне, хоть глубже);
    Disallow: */*/trackback - запрещает папку, расположенную в первом и глубже уровне вложенности. При этом корневая не запрещается.
    Поэтому всё закрывает правило Disallow: */trackback.
    Это всё легко проверяется на _http://webmaster.yandex.ua/robots.xml на выдуманном имени сайта. (Регистрация там не нужна.)
    Но для бота Гугла всё это я не проверял - у меня ещё нет собственного сайта.

    И ещё - по правилам бота Яндекса звёздочка в конце всегда подразумевается, поэтому её можно не писать в случае
    Disallow: */trackback* .

    А ответ Игоря Disallow: /*trackback(*) запрещает в любой позиции вложенности не только папку /trackback, но и папки с префиксом, например, папку /wp-trackback(*) .

  236. Сергей К.

    Здравствуйте!

    Вопрос, на который не могу найти ответ. Был бы благодарен за Ваше мнение. Мой сайт - не блог, а сайт небольшого агентства недвижимости.

    Сайт на WordPress с ЧПУ, я подкорректировал robots согласно рекомендациям, а также примерам на различных сайтах. Наряду с прочими директивами имеются и вот эти:
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/

    Проверяю мои страницы в webmaster Гугла в разделе "Посмотреть как Googlebot". При таком robors на страницах отображаются только тексты, то есть сайт выглядит как полу-фабрикат. А фотографии, дизайн, элементы оформления, таблицы и т.д. не видны. Указывается, что блокировка этих элементов происходит из-за директив:
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/

    В этой связи вопрос. Так и должно быть, что сайт выглядит для поисковиков усеченным? Или всё же он будет понижен в результатах выдачи поисковиков из-за того, что он выглядит в их глазах ущербным? Если последнее верно, то что нужно сделать, чтобы исправить ситуацию?

    Сергей К.

  237. Игорь Горнов

    Нет, Сергей, подобные директивы для сайта WordPress, пусть и коммерческого, являются абсолютно правильными. Никакого понижения при ранжировании по этой причине быть не должно.

    Роботы поисковиков не могут посмотреть на сканируемую страницу "человеческими" глазами, поэтому для определения изображений мы и прописываем ALT и TITLE.

    То же самое касается и других элементов страницы, "глаза" GoogleBot в Вашем случае воспринимают вебстраницу в виде HTML-кода и оценивают ее так и только так.

    В конце концов, поведенческие факторы играют в ранжировании все более решающую роль и именно количеством проведенного на ней времени (а для коммерческого ресурса еще и числом определенных действий) выносится вердикт о качестве юзабилити и всех остальных составляющих.

  238. Василий

    Я дополню ответ Игоря. Можно открыть доступ роботу к некоторым css, js и файлам изображений темы. После этого робот увидит ваш сайт по-другому.
    У меня например, только после этого сайт прошел проверку на поддержку мобильности.

  239. Игорь Горнов

    Спасибо, Василий, дополнение действительно в тему. 🙂

  240. Сергей К.

    Большое Вам спасибо, Игорь и Василий, за понятные разъяснения и советы. И всего Вам доброго.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Чтобы ввести любой код, вставьте его между [php] и [/php]. Ссылка (URL), помещенная в текст комментария, не будет активной. C целью ее выделения и более удобного копирования можно заключить ее между тегами <pre> и </pre>.