301 редирект в htaccess для SEO оптимизации страниц сайта

Здравствуйте, уважаемые читатели блога Goldbusinessnet.com. Если говорить вкратце, то 301 редирект очень часто используют, когда необходимо исключить возникновение дублей, а также сохранить уже имеющийся трафик и все трастовые показатели страниц сайта, включая ссылочный вес от беклинков (обратных ссылок).

Одним из самых эффективных инструментов для установки 301 перенаправления служит дополнительный файл конфигурации .htaccess, присутствующий на серверах с программным обеспечением Apache. Подобные веб-серверы применяет большая часть хостеров, поскольку они наиболее оптимальны для решения разнообразных задач, если учитывать в комплексе такие критерии как эффективность, стоимость эксплуатации и функционал.

Сегодня попробуем разобраться со всеми подробностями, когда и при каких обстоятельствах использование 301 редиректа будет лучшим решением, а также какие директивы в каждом конкретном случае прописать в .htaccess, чтобы гарантированно выполнить задачу.

Что такое 301 редирект и когда его надо применять?

Чтобы СЕО продвижение вашего ресурса было максимально эффективным, нужно учитывать абсолютно все аспекты, которые могут повлиять на оптимизацию сайта. К их числу относится и рассматриваемый нами сегодня механизм. Что же такое редирект 301 (permanent redirect) и когда он применяется?

Технически это не что иное как HTTP ответа сервера, имеющий код 301, который информирует о том, что прежний URL адрес изменен навсегда (moved permanently). На практике это выглядит так. При вводе старого адреса в поисковую строку браузер автоматически перенаправляет пользователя на новый урл, являющийся после настройки переадресации целевым объектом.

Ниже укажу несколько основных ситуаций, когда использование постоянного перенаправления не только полезно, но и крайне необходимо. Итак, редирект 301 применяется в тех случаях, когда:

• старые урлы страниц изменены по одной из причин, которых может быть множество (о некоторых из них поговорим чуть ниже);
• нужно исключить появление дублированных страниц (с полностью идентичным содержанием) одного и того же сайта, которые открываются по разным URL-адресам. Сюда же можно отнести и полные дубли ресурсов. Например, те, которые имеют домены с WWW и без этого префикса, а также синонимы, являющиеся зеркалами основного вебсайта;
• осуществляется переезд на новый домен (что означает доменное имя и как его приобрести);

Почему же так важно сделать постоянную переадресацию и что в конечном итоге она нам дает? Очень многое, и об этом я уже упомянул в самом начале публикации. Однако, напомню еще раз, поскольку это архиважно с точки зрения продвижения сайта.

После правильной настройки redirect 301 на страничку с новым URL со старого документа будет направлен весь накопленный им траст, включая ссылочный вес, передаваемый обратными ссылками, а также трафик посетителей, некоторая часть которого вполне может включать уже приобретенных вами клиентов или постоянных подписчиков.

Но обращаю ваше внимание на следующее. Редиректы (особенно, в массовом количестве) не всегда благо, потому не следует бездумно их использовать. Конечно, поисковики нормально учитывают permanent redirect (и передача всех характеристик со старого URL на новый тому порукой).

Однако, все же я рекомендую применять их лишь в тех случаях, когда без этих мероприятий вам действительно не обойтись. Тем более, что при неправильном использовании постоянного редиректа вы можете не исправить, а наоборот, усугубить положение. К тому же, в некоторых ситуациях для устранения дублей применяют атрибут тега link canonical (впрочем, он годится и в качестве дополнительной меры).

Постоянная переадресация при изменении URL страниц

В ходе развития проекта могут возникать ситуации, когда необходимо реорганизовать его структуру. Скажем, перенести некоторые статьи в другие разделы (если, конечно, они выводятся через рубрики, например), заменить постоянные ссылки на ЧПУ (человеко-понятные урлы) либо просто добавить в состав URL ключевые слова, которые были упущены ранее. Во всех этих случаях можно применить permanent redirect, но сначала оцените состояние своего ресурса.

Если сайт совсем молодой (2-3 месяца) и вы не успели еще толком провести внешнюю оптимизацию (получить достаточную ссылочную массу извне) тех страниц, URL которых желаете изменить, а также ежели трафик на них небольшой вкупе с полным отсутствием комментариев к статьям, то, возможно, лучше просто удалить такие вебстраницы.

После удаления они приобретут статус 404-й ошибки (их не должно быть много в силу молодости ресурса, что тоже важно) и постепенно будут исключены из индекса поисковиков. В этом случае потери окажутся минимальными (так как весовые характеристики удаленных страничек будут мизерными), зато вы сохраните структуру веб-ресурса в «чистом» виде, а это плюс.

А вот ежели ваш сайт уже набрал определенный траст у поисковиков, известность у пользователей и содержит несколько сотен страниц, то без редиректа 301 при изменении URL здесь не обойтись. Иначе, если вы решили все-таки удалить странички со старыми урлами, потери в виде посещаемости и веса уже будут серьезными.

Потребуется немало времени, пока вебстраницы с новыми адресами будут проиндексированы поисковиками, а также восстановится их прежний вес и связанный с ними трафик. Если же вы настроите постоянное перенаправление, то все пройдет практически без вредных последствий.

Необходимость применения 301 редиректа возрастает многократно, если вы планируете перейти на новую CMS (тут обзор движков для сайта) либо поменять все разделы ресурса, иначе говоря, изменить в массовом порядке все урлы единовременно.

Дубли страниц (зеркала) сайта со слешем и без на конце, а также с index.php

Итак, мы знаем, что дублированный контент сильно мешает продвижению сайта. Поэтому желательно твердо уяснить для себя, какие URL-адреса могут образовываться, по которым будут открываться страницы с абсолютно идентичным содержанием. Это даст вам возможность своевременно устранить проблему.

В условиях современного развития интернета в силу различных причин очень часто вебмастера имеют дело с зеркалами, когда все странички сайта доступны сразу по двум или более адресам.

Такие зеркала необходимо склеить, причем, вы должны сами указать поисковым системам главный домен, чтобы не допустить потери веса вебстраниц, а, следовательно, ухудшения их позиций в выдаче с последующим снижением трафика. Как раз здесь и будет уместным перманентный редирект. Ниже рассмотрим наиболее часто встречающиеся случаи дублей.

Домены сайта с WWW и без являются, по-моему, наиболее ярким примером. Я писал об их склейке достаточно подробно, поэтому плотно изучить этот вопрос вы сможете, перейдя по предоставленной ссылке.

Возникновение подобных дублей с окончанием index.php и/или index.html, index.htm (в зависимости от настроек сервера), а также со слешем на конце и без него, связано со структурой урлов, по которым осуществляется переход на ту или иную папку на сервере. Если URL оканчивается слешем «/», то это команда для серверного обработчика отобразить именно содержание директории (папки), которая включает находящиеся в ней файлы:

http://site.ru/folder/

А вот ежели слеш отсутствует, то происходит обращение к файлу:

http://site.ru/folder

В этом случае веб-сервер будет искать именно файлик с названием «folder». Поскольку на серверах в основном используются Unix-подобные операционные системы (чаще Linux), в которых расширение для файлов, идущее после его наименования и точки, не является обязательным (этим они отличаются от Windows), то это вполне логично.

После того, как обработчик не найдет такой файл, он догадается, что в URL просто упущен слеш, а потому нужно отобразить директорию, что он успешно и осуществит.

Но сервер настроен таким образом, что по соображениям безопасности он не может показывать служебные файлы, поэтому при обращении к папке начинает искать в составе данной директории объект с названием index, который в конечном итоге и предоставит.

Обычно доменное имя сайта олицетворяет название корневой папки, поэтому ниже следующий адрес в общем случае по сути дает команду отобразить ее содержимое:

http://site.ru/

Все это теоретически связано с файлами, которые физически расположены на сервере. Однако, в большинстве случаев для управления сайтами устанавливаются системы управления контентом (CMS), которые предполагают создание страничек (главной, разделов, статей и т.д.) «на лету». В Вордпрессе, например, это достигается с помощью шаблонов темы, выполняющих такую задачу.

Посему, если вы вобьете в поисковую строку браузера урл, представленный выше, то попадете на главную вебстраницу и никуда более. Однако, в соответствии с общими серверными настройками, она может открываться и по такому адресу (причем будет иметь тот же самый контент):

http://site.ru/index.php

Кстати, это же справедливо и для других вебстраниц, например, категорий (рубрик):

http://site.ru/category/index.php

А это уже дубли, которые нужно во что бы то ни стало ликвидировать посредством того самого перманентного редиректа в .htaccess. Решение этой задачи не только в отношении урлов с окончанием index.php, но и других вариантов, обязательно предоставлю в последней части статьи.

Чтобы получше понять все нюансы, отсылаю вас к соответствующему материалу, откуда вы, в частности, узнаете, что для страниц сайта варианты URL с завершающим слешем и без являются правильными с точки зрения синтаксиса и абсолютно равноправными в глазах ПС.

Причем, это касается всех вебстраниц, включая те же категории:

http://site.ru/category
http://site.ru/category/

или статьи (записи):

http://site.ru/category/entry
http://site.ru/category/entry/

Странички по этим адресам входят в состав разных зеркал одного сайта, а, значит, являются дублями, к которым поисковики относятся отрицательно. Поэтому вы должны выбрать лишь одно главное зеркало и «скормить» его поисковым системам, что гарантированно можно сделать при помощи постоянного (301-ого) редиректа.

Кстати, если вы пользуетесь Вордпрессом, то в настройках постоянных ссылок прописываете нужную структуру URL для всех вебстраниц сайта. Можете настроить по своему желанию не только ЧПУ (человеко-понятные урлы) со слешем и без него, но и с любым другим окончанием.

Многие вебмастера, например, предпочитают адреса страничек с расширением .html на конце, которые имеют завершающий вид, привычный для пользователей, у подавляющего большинства которых установлена ОС Виндовс (где наличие расширения является обязательным).

Но это лишь красивый вид, не более того (я, кстати, не разделяю этих восторгов). Как было отмечено выше, все варианты урлов, включая адреса, оканчивающиеся слешем и без оного, совершенно равнозначны с практической точки зрения.

Желательно сыграть на опережение и не ждать, пока Яндекс или Гугл сами определят основное зеркало. Ведь вы не будете знать, какому именно поисковики выказали предпочтение. А такая ситуация может сильно замедлить раскрутку веб-ресурса.

Ведь ПС исключат из индекса страницы неосновного зеркала (совершенно нерентабельно забивать БД кучей бесполезного контента), на которые, возможно, были направлены ваши усилия по продвижению. Это чревато потерями позиций в выдаче, а, следовательно, трафика и траста. Жуть.

Однако, даже в самом худшем случае развития ситуации действия по настройке постоянной переадресации помогут решить проблему, по крайней мере, таким образом вы сможете не допустить дальнейшего регресса.

Проверка наличия постоянного редиректа для каждого из дублей сайта

Но для начала все-таки следует проверить, как обстоят дела с вашим вебсайтом. Возможно, все необходимые настройки тем или иным способом уже произведены, тогда не о чем беспокоиться. Самый незатейливый и быстрый способ осуществить проверку того, работает ли 301 redirect в нужных ситуациях, это поочередно ввести в адресную строку различные URL:

//goldbusinessnet.com/optimizatsiya-i-raskrutka-saita/
//goldbusinessnet.com/optimizatsiya-i-raskrutka-saita
//goldbusinessnet.com/optimizatsiya-i-raskrutka-saita/index.php

И проследить, что произойдет дальше. У меня на блоге, например, первый вариант является основным, поэтому именно на него происходит перенаправление при вводе второго и третьего урла. Иначе говоря, данные зеркала уже склеены. Если же при вводе всех трех адресов открывается одна и та же страничка, но состав URL остается каждый раз неизменным (то есть, переадресации нет), то проблема имеет место быть.

Но есть и более продвинутые способы проверки склейки доменов и наличия редиректа. К таковым относится, например, возможность спросить у самих поисковых систем, ради которых вебмастера и проводят подобную оптимизацию. Например, чтобы проверить, присутствует ли переадресация от урлов с index.php на URL без этого окончания, для Яндекса необходимо ввести в поисковую строку вот такой запрос:

url:goldbusinessnet.com | url:goldbusinessnet.com/index.php

После нажатия кнопки «Найти» вы получите ответ. Если присутствует один результат (как на скриншоте ниже), то все «ОК». Иначе говоря, редирект осуществлен:

Вам останется только выяснить, страницы какого именно зеркала являются основными для Яндекса. Для этого просто подводите курсор к отображаемому тайтлу или URL и смотрите, какой вариант появится в адресной строке внизу слева окна браузера.

Для надежности можете перейти по ссылке в новую вкладку и проанализировать состав URL в поисковой строке. В общем, действия аналогичны тем, которые предпринимаются при проверке склейки доменов с WWW и без (перейдите по ссылке и ознакомьтесь).

Но самым надежным методом проверки является, на мой взгляд, получение ответа сервера. В этом случае вы получите код статуса HTTP, по которому сможете оценить корректность установленной переадресации или ее полное отсутствие. Воспользуемся для этого специальным сервисом Яндекса, введя тестируемый урл и нажав кнопку «Проверить»:

В итоге узнаем, что для URL с окончанием index.php основной робот Яндекса получил ответ «301 Moved Permanently», что и требовалось доказать. Таким же способом можно проверить перманентный редирект для любой группы страничек вашего сайта. Кстати, и поиск Google также можно задействовать (об этом в статье про домены с WWW и без также упомянуто).

Как сделать 301 редирект через htaccess

Итак, на основании предоставленной в этом мануале информации вы решили, что необходим перманентный редирект для решения той или иной задачи. С большой долей вероятности можно утверждать, что ваш сайт находится на сервере, управляемом ПО Apache (на всякий случай уточните у своего хостинг провайдера, так или это).

На серверах Апач существует отличное средство настройки конфигурации, а именно файл httpd.conf. Если в нем прописана соответствующая директива, то каждый вебмастер получает возможность использовать замечательный файлик .htaccess, который является дополнительным конфигурационным файлом и помогает оптимизировать работу сайта.

В принципе, этот инструмент обладает тем же функционалом, что и httpd.conf, просто директивы, указанные в нем, применяются лишь к тому каталогу, в котором он находится. Таким образом, если поместить .htaccess в корневую папку сайта, то можно установить самые разные настройки для конкретного веб-ресурса, включая постоянную переадресацию на нужные страницы.

Доступ к этому файлу можно легко получить по ФТП-соединению, задействовав соответствующий софт в виде того же Файлзилла. Ну а вносить изменения в него желательно не в простом редакторе, а в «золотом», то бишь в Нотпаде++, где есть возможность осуществить откат на несколько шагов назад:

Если вдруг на сервере, где хостится ваш сайт, этого файлика не оказалось, его можно создать самому. Сделать это можно прямо на сервере через ту же программу NotePad++, которая также поддерживает возможность подсоединения по FTP-протоколу.

Прежде, чем продолжить, хочу напомнить, что перед любым редактированием .htaccess следует для надежности сделать его резервную копию. Это необходимо для того, чтобы в случае неудачных действий и потери доступа к сайту, вы смогли бы все вернуть как было.

По-моему, я об этом уже говорил, но не грех напомнить, что постоянный редирект представляет из себя HTTP код ответа сервера 301, который означает вечную переадресацию с одного урла на другой c сохранением практически всех весовых характеристик страниц.

К слову, о всех распространенных кодах ответа сервера будет отдельная публикация в ближайшем будущем, поэтому подписывайтесь на рассылку блога, чтобы не только не пропустить эту статью, но и вообще быть в курсе всех новостей Goldbusinessnet.com.

Теперь посмотрим, как настроить 301 редирект через .htaccess для каждого конкретного случая. Для этого нам понадобится воспользоваться услугами модуля mod_rewrite, который и предназначен для преобразования URL на серверах Apache.

По умолчанию обычно от отключен. Чтобы включить этот модуль, требуется прописать в файл .htaccess «RewriteEngine on»:

RewriteEngine on

А чтобы полностью корректно инициировать действие этого расширения в отношении вашего сайта, нужно прописать следующие строки:

Options +FollowSymLinks
RewriteEngine on
RewriteBase /

Первая строчка позволяет обрабатывать файлы, находящиеся физически за пределами объектной директории, но на которые существуют ярлыки, в общем по аналогии с ярлыками в Виндоус.

Вторая, как я уже сказал, включает сам модуль mod_rewrite. Ну а третья (RewriteBase /) позволяет обрезать полный путь от корня сервера до корневой директории сайта с тем, чтобы последующие директивы были применены именно к URL-адресам сайта. Если этого не сделать, могут возникнуть проблемы.

Простой знак слеша «/» здесь обозначает относительный путь для главной страницы (или до корневой папки) и используется при формировании относительных ссылок. Если вы пожелаете прописать сразу несколько директив по 301-му редиректу, выше означенные строчки повторять перед каждым правилом не нужно.

Теперь приступаем к практике и начнем с самого легкого. Если по какой-то причине вам необходимо выборочно изменить урлы отдельных страниц, то указываем простое перенаправление на новый адрес:

Redirect 301 /page-name1/ http://site.ru/page-name2/

В этом случае для представления старого урла страницы применяется относительный путь (/page1-name1/), а нового — абсолютный (начинается с «http://»), поскольку постраничный редирект можно осуществлять и на другой сайт. Здесь следует обратить внимание на то, что между двумя адресами оставляется пробел.

Если страницы выводятся через категории, то при переносе какой-либо из них в другую рубрику, естественно, изменится адрес. В ниже следующем примере дана общая ситуация, когда меняется не только часть URL, связанная с рубрикой, но и окончание, которое соответствует названию самой странички:

Redirect 301 /category1/page-name1/ http://sait.ru/category2/page-name2/

Ежели надо сделать постоянное перенаправление для всех страниц ресурса сразу, например, при смене окончания адреса с расширением .php на завершение с .html, то уже используется директива RedirectMatch, позволяющая использовать регулярные выражения:

RedirectMatch 301 (.*)\.php$ http://site.ru$1.html

Теперь перейдем к более сложным вариантам 301 редиректа с одной страницы на другую, которые помогут исключить многочисленные дубли. Рассмотрим наиболее часто используемые перенаправления, связанные с описанными в этой статье выше случаями.

Как настроить permanent redirect для доменов с WWW и без, я уже писал. Но все-таки повторю эту информацию для полноты картины. Итак, для того, чтобы сделать постоянную переадресацию с URL, содержащего в адресе WWW, на урл без этого префикса, нужно добавить следующее правило в файл .htaccess:

RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

И наоборот, при желании оставить в урлах страниц рудиментарный отросток в виде трех W, надо оформить перенаправление с адресов без WWW на URL с WWW посредством директивы:

RewriteCond %{HTTP_HOST} ^(.*)$ [NC]
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteRule ^(.*)$ http://www.%1/$1 [R=301,L]

RewriteCond определяет условие, при котором будет выполняться правило RewriteRule (то есть сам редирект). Кстати, детальный разбор применения основных директив mod_rewrite находится здесь, при желании можете ознакомиться.

Представленные чуть выше варианты переадресаций с WWW на без и наоборот являются универсальными, и они, в принципе, должны работать. Однако, более надежными все-таки будут директивы с привязкой к конкретному домену. Правило перманентного редиректа с WWW на без этого префикса тогда будет выглядеть так:

RewriteCond %{HTTP_HOST} ^www\.site\.ru$ [NC]
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

А обратный redirect (с без WWW на с WWW) вот так:

RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

Чем же конкретно второй метод лучше первого? Дело в том, что в нем проверяется не только отсутствие или наличие трех W в адресе, но и сам домен подвергается проверке на полное соответствие. Только не забудьте вместо «site» и «.ru» вставить свое имя домена и доменную зону.

Попробуем склеить зеркала, плодящие дубли страниц с index.php (расширения могут быть другими, скажем, .htm или .html). Итак, 301 редирект с урлов, содержащих index.php, на адреса страниц ресурса без этого окончания:

RewriteCond %{THE_REQUEST} ^.*/index.php
RewriteRule ^(.*)index.php$ http://%{HTTP_HOST}/$1 [R=301,L]

Постоянное перенаправление с адресов без слеша в конце на урлы со слешем также можно реализовать:

RewriteCond %{REQUEST_URI} !\?
RewriteCond %{REQUEST_URI} !\&
RewriteCond %{REQUEST_URI} !\=
RewriteCond %{REQUEST_URI} !\.
RewriteCond %{REQUEST_URI} !\/$
RewriteRule ^(.*[^\/])$ /$1/ [R=301,L]

А вот как выглядит обратная переадресация, то есть, с URL-ов со слешем на адреса без слеша:

RewriteCond %{REQUEST_URI} !\?
RewriteCond %{REQUEST_URI} !\&
RewriteCond %{REQUEST_URI} !\=
RewriteCond %{REQUEST_URI} !\.
RewriteCond %{REQUEST_URI} ![^\/]$
RewriteRule ^(.*)\/$ /$1 [R=301,L]

Естественно, разнообразие тех ситуаций, когда применяется permanent redirect, не исчерпывается приведенными выше примерами, их значительно больше, и в каждом конкретном случае необходимо составить корректные директивы, чтобы исправить положение, а не усугубить его.

Поскольку озвученная в публикации тема достаточно сложна, особенно для неискушенных, в качестве самодостаточного материала посмотрите видеоролик о порядке составления различных директив для применения 301 редиректа:

Для принятия правильного решения в том или ином случае настоятельно советую ознакомиться с мануалом по данной теме известного в рунете оптимизатора Александра Алаева, где вы можете почерпнуть крайне полезные сведения. Также не лишними будут официальные материалы от Гугла и Яндекса (здесь и здесь), из которых вы также получите недостающую информацию.

И вот еще что. Возможно, предоставленные в статье правила для постоянной переадресации в каком-то конкретном случае будут работать некорректно либо не подействуют вовсе. Тогда не пропустите возможность обратиться к своему хостинг провайдеру с просьбой разрешить проблему. У каждого уважающего себя хостера найдутся грамотные специалисты, которые окажут посильную помощь. В конце концов, это их обязанность.

Совет напоследок. Прежде, чем без оглядки кидаться создавать редиректы, обязательно проверьте их наличие, о чем я вещал в одном из разделов данной статьи. Вполне вероятно, что никаких действий вам предпринимать не понадобиться. Ведь разработчики большинства популярных движков для сайта отслеживают ситуацию. Поэтому, вполне вероятно, что многие из проблем дублей уже изначально решены.

В завершение предлагаю еще один видеоролик, который по качеству не только не уступает первому, но и в каком-то смысле дополняет его: