Как указать главное зеркало для google. История о том, как я сменил главное зеркало
Зеркало сайта – точные и частичные копии сайта, доступные под разными адресами. Обычно они определяются путем сравнения контента на страницах с одинаковыми адресами, например site1.ru/index.php и site2.ru/index.php. В большинстве случаев www.site.ru и site.ru также являются зеркалами, т.к. являются для поисковиков сайтами с одинаковым содержанием, но расположенными по разным адресам.На что влияет?
Если поисковые работы находят в интернете одинаковые сайты, то они идентифицируют их как «зеркала». Как всем известно, основная задача поисковых систем заключается в предоставлении пользователям наибольшего объема уникальной информации. При этом поисковые алгоритмы постоянно развиваются и усовершенствуют методы борьбы с дублирующимся контентом, удаляя неуникальные документы из индекса.Поэтому все найденные зеркала склеиваются поисковыми роботами, а в индексе остается только один сайт, который считается основным зеркалом.
Если не произвести необходимые настройки, то алгоритмы поисковых систем могут выбрать в качестве основного зеркала совсем не тот сайт, который нужен нам для . Чтобы этого избежать, рекомендуется своевременно выполнить ряд работ по склейки всех зеркал, с указанием нужного сайта в качестве главного зеркала.
Склейка зеркал также необходимо выполнять в случае сменяя доменного имени, это позволит сохранить (тИЦ и PR), а также передать вес от имеющихся ссылок.
Как узнать, что сайт - неглавное зеркало
Если существует сайт, который находится не в индексе поисковой системы и есть подозрение, что он является неосновным зеркалом какого-либо ресурса, то стоит добавить его к индексации на странице " Сообщить о новом сайте ". Если появилось соответствующее сообщение, то ресурс склеин: 
Способы склейки зеркал
Существует несколько способов склеить все зеркала и показать поисковым системам, какая из копий сайта является основной. Некоторые из представленных способов подходят только для настройки корректной обработки зеркал в пределах одного домена, другие подходят для сайтов, расположенных на разных доменах.Директива Host. Главное зеркало сайта можно указать в помощи директивы Host. Ее обычно пишут после директив Disallow:
User-Agent: *
Disallow: /admin/
Disallow: /index.php
Host: www.domain.ru
Директива Host корректно обрабатывается только поисковой системой Яндекс, поэтому ее рекомендуют использовать одновременно с другими способами настройки зеркал.
Ссылочная структура. Помочь поисковой системе правильно выбрать основное зеркало сайта можно, использую грамотную ссылочную структуру (актуально, если на сайте используются абсолютные ссылки). Необходимо, чтобы все ссылки с внутренние ссылки сайта вели на страницы, принадлежащие правильному зеркалу.
Если в качестве главного зеркала сайта мы выбираем www.site.ru, то рекомендуется все ссылки вида http://site.ru/page.html поменять на http://www.site.ru/page.html
301 редирект. Один из самых эффективных и поэтому наиболее часто применяемый способ указать главное зеркало – настройка серверного редиректа. Для его реализации необходимо добавить в файл.htaccess следующую информацию:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site.ru
RewriteRule ^(.*)$ http://www.site.ru/$1
RewriteBase /
Яндекс.Вебмастер. Указать главное зеркало сайта можно и в . Для этого необходимо добавить сайт и перейти в пункт «Главное зеркало» раздела «Настройка индексирования». Там можно самостоятельно выбрать один из вариантов (с www или без) или оставить на усмотрение робота:
Не стоит забывать, что данные, указанные в панели инструментов, будут учитываться только поисковой системой Яндекс.
Google Webmaster Tools. Указать основное зеркало сайта можно и в панели Google Webmaster Tools. Для этого необходимо добавить ваш сайт в инструменты для вебмастеров и перейти в пункт «Настройки» раздела «Конфигурация сайта»:
В Webmaster Tools можно самостоятельно выбрать один основной домен, который будет участвовать в основном поиске Google.
После выполнения одного из способов настройки основного зеркала и индексации поисковыми роботами, произойдет выбор главного зеркала и только по этому адресу сайт станет доступен в поисковых системах. Данный процесс может занять некоторое время.
Расклейка зеркал
Если сайты перестают быть зеркалами и начинают предоставлять пользователем различные контент, то происходит автоматическое расклеивание ресурсов. Поисковая система Яндекс, утверждает, что ее алгоритмы осуществляют расклейку сайтов в течение 1-2 недель.Добрый день. В этой статье мы приступим к техническому аудиту сайта, которые вы должны проделывать, и, в частности, пропишем для сайта его главное зеркало.
Часто на продвижение приходят сайты, на которых, вроде, все делается – работа с контентом, ссылочное продвижение, но сайт очень плохо идет в ТОП.
В большинстве случаев – это именно техническая сторона вопроса.
В SEO сообществе ходят мифы о том, чем отличается хороший сеошник от плохого. Плохой SEO оптимизатор занимается правкой текста и покупкой ссылок, а нормальный сеошник качественно относится к первому и второму пункту, и, кроме этого, делает полный технический аудит.
Разумеется, это не полный спектр того, что делает сеошник, но, как правило, причиной плохого продвижения является то, что не сделана правильная техническая оптимизация.
Начнем мы с главного зеркала.
Главное зеркало – то, по которому откликается ваш сайт, с www, или без него..
Раньше это было более явно выражено, то есть в индекс попадали страницы и с www, и без него.
Эти страницы являются прямыми дубликатами. Это очень плохо, и, чтобы это все исправить, делается 301-й редирект (изначальная настройка зеркала – это 301-й редирект), указание директивы HOST в файле Robots.txt, и ручное задание главного зеркала в инструментах для вебмастера.
Давайте посмотрим, что нам надо подключить для главного зеркала, и как с этим всем работать.
Нам понадобятся Инструменты для вебмастера от Яндекса (webmaster.yandex.ru), и от Google (google.com/webmasters).
Для того, чтобы задать главное зеркало сайта в Яндексе, в правой колонке выбираем Настройка индексирования -> Главное зеркало.
В открывшемся поле выбираем, какой вариант написания мы выбираем в качестве главного зеркала – с www, или без него. После чего, нажимаем кнопку Применить.
В кабинете вебмастера Гугла, назначить главное зеркало немного сложнее.
После того, как вы подтвердили оба варианта домена, вы нажимаете в правом верхнем углу на значек шестеренко (настройки), и выбираете пункт «Настройки сайта». При этом, не важно, какое зеркало будет в данный момент отображаться в аккаунте – с www, или без него.
В открывшемся поле выбираете нужный вариант зеркала, и сохраняете его.
Все, в инструментах вебмастера обоих поисковых систем вы настроили свое главное зеркало.
И теперь, в соответствии со схемой, предложенной выше, вам осталось настроить 301-й редирект и файл Robots.txt, чтобы окончательно показать поисковикам главное зеркало вашего сайта.
В файле Robots.txt за это отвечает команда HOST. Вот как этот файл оформлен у меня:
Как видите, главным зеркалом моего сайта я назначил домен без www.
Редирект 301 мы будем настраивать в файле.htaccess. Если у вас на сайте такой файл отсутствует, то его легко сделать из текстового файла – кликаете правой кнопкой мышки: Создать -> Текстовый документ, и задаете ему название.htaccess.
Открываем этот файл в простом блокноте, и вносим туда нужный вам код, пример которого я привожу ниже (при этом, не забываем изменять название домена моего сайта на своё):
Все, как видите мы задали главное зеркало тремя возможными способами. Вообще то, для поисковых роботов достаточно и 301-го редиректа, однако, я советую для надежности использовать все три метода.
С уважением, Валерий Григорьев
Главное зеркало сайта – это адрес url, который считается основным для данного сайта. Часто бывает, что при индексации поисковыми системами Google и Yandex одна из них принимает за главное зеркало сайт с www а другая без www. Но для поискового робота эти адреса выглядят, как два разных сайта, что может привести к определенным проблемам. Поэтому необходимо,чтобы и Yandex, и Google считали главным зеркалом один и тот же адрес.
Для начала, необходимо определить, какой адрес поисковые системы считают главным зеркалом.
Определение главного зеркала сайта онлайн бесплатно,
одновременно в Google и Yandex
Этот участок текста написан уже позднее, так как совершенно случайно пару месяцев спустя после написания основной статьи, удалось обнаружить бесплатный онлайн сервис, который мгновенно и сразу в определяет главное зеркало.
Изначально этот сервис был создан для проверки доменов на склейку. Но когда мы вводим имя домена, в результате выдается информация о склеенных доменах и какой из них Google, Yandex считает главным зеркалом.
Вводим урл сайта в поле и получаем результат:
Определение главного зеркала в панели вебмастера
Yandex
Определить главное зеркало сайта можно с помощью формы добавления сайта в систему Яндех: Сообщить о новом сайте .
Введите адрес вашего сайта в необходимое поле. Если адрес является главным зеркалом, Яндекс ответит, что сайт уже добавлен в систему. В противном случае, всплывет окно с надписью, что сайт добавить нельзя, так как он является неглавным зеркалом.
Узнать главное зеркало, определенное гуглом, можно в инструментах вебмастера Google, для этого надо пройти регистрацию и затем подтвердить права на управление сайтами. Затем в панели вебмастера, в настройках индексации сайта, посмотреть, какой адрес является главным зеркалом.
Есть еще один способ, узнать главное зеркало: набрать в поисковой строке Google и Yandex адрес вашего сайта. Url сайта, указанного в результатах поиска (с www или без www) и будет основным зеркалом.
Если все же так случилось, что поисковики определили разные зеркала, то рекомендуется сменить главное зеркало в Google. Это легко сделать в панели вебмастеров. Google легко и быстро переиндексирует ваш сайт, в отличие от медлительного Яндекса.
Прежде чем начинать продвижение сайта, надо сначала определить какой домен будет основным. Иначе в индексах поисковых систем может оказаться оба сайта (с префиксом www и без него) с одинаковым содержимым.
Сайт доступен для индексации как с www, так и без www. Вам необходимо выбрать основное зеркало.
Выбор основного зеркала
Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и www.site.ru являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.
Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).
Так как роботы поисковых систем склеивают зеркала и индексируют только одно из них (основное), то иногда требуется вручную указать для роботов, какое именно из зеркал должно являться основным.
Способы смены основного зеркала
Существует несколько методов для смены основного зеркала:
- Изменить основное зеркало в панели вебмастера поисковой системы (инструкции для Яндекса и Google)
- С помощью директивы Host в файле robots.txt (только для Яндекса)
#Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru
- С помощью серверного 301 редиректа со страниц старого домена на соответствующие им страницы нового.
Это приводит к тому, что показатели сайта , PR и ссылочное ранжирование распыляются на оба сайта. И хуже всего, то, что за дублированный контент, страницы сайта могут вообще выпасть из индекса.
Проблема в том, что поисковые машины не всегда правильно определяют главное зеркало сайта, пользуясь своими алгоритмами определения и склейки зеркал. И главным зеркалом может быть выбран совсем не тот сайт.
Статья по теме: Поисковая оптимизация сайта под Яндекс: что нужно учитывать в 2018 году
Поэтому лучше не надеяться на авось, а самому явным образом указать основной домен. Существует несколько способов сказать роботам поисковых систем на то, какое зеркало нужно считать основным.
Основной домен для Google
Чтобы указать для Гугла основной домен, выполните следующие действия.
- На главной странице Инструментов для веб-мастеров (www.google.com/webmasters/tools/) выберите сайт, для которого нужно указать основной домен.
- В разделе Конфигурация сайта перейдите в Настройки.
Кроме того, для Гугла можно прописать инструкцию в файле.htaccess
Redirect 301 / https://сайт/
Основное зеркало для Яндекса
Для Яндекса основной домен или как называет Яндекс основное зеркало указывается в файле
И от семантики мы плавно переходим к технической оптимизации. Первый шаг в рамках этого этапа - определение и настройка главного зеркала сайта.
Почему это важно?
Причин несколько. Во-первых, зеркала сайта - это дубли, от которых нам нужно избавиться, объяснив поисковой системе, что индексировать нужно только одно из них. Вторая причина заключается в том, что ссылки, проставляемые на сайт, как правило разношерстны - кто-то написал Url с WWW, а другой человек указал адрес без него. В итоге ссылочная масса размазывается между этими двумя вариантами. Описанные в данном материале действия призваны полностью решить подобные проблемы.
Как узнать главное зеркало сайта?
Если сайт уже не новый, то первым делом нам нужно определить, какое из зеркал (с WWW или без) было проиндексировано. Способ довольно прост - переходим на Яндекса https://webmaster.yandex.ru/addurl.xml и, прописав Url нашего сайта, получим следующее:
В случае, если введенный вами адрес и является главным зеркалом, то результат проверки будет иметь вид «Сайт www.site.ru уже проиндексирован».
Ну или второй способ определения основного зеркала, справедливый как для Яндекс, так и для - просто ввести в поиск адрес сайта и посмотреть вариант, который будет выведен на первой строчке.
Что если основное зеркало сайта в Яндекс не совпадает с Google?
Лучше оставить тот вариант, который прижился в Яндексе, подогнав Google под него же. По моим наблюдениям Яндекс куда дольше и значительно болезненнее переживает смену главного зеркала, нежели Google. Как «подогнать» - будет описано ниже.
Главное зеркало сайта: с WWW или без
Практической разницы нет - выбирайте то, что вам больше нравится. Мне сугубо из олдскульных привычек импонирует вариант с WWW, но я не могу не признать, что без WWW адрес сайта короче и внимание акцентируется сразу на его названии, а не на приставке-анахронизме (World Wide Web) из времен зари глобальной сети, когда она была обязательной.
Как указать главное зеркало сайта?
В целом этот процесс состоит из трех этапов. Первым делом нужно прописать директиву host в конце нашего файла следующим образом:
User-agent: *
...
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml
В первую очередь это необходимо для Яндекса, так как для Google данная директива ничего не значит. Далее мы переходим ко второму этапу, который для каждой поисковой системы свой и заключается в настройке кабинетом веб-мастеров.
Настройка главного зеркала в Яндекс
Далее - «Настройка индексирования» - «Главное зеркало», где мы и выбираем вариант, которому отдаем предпочтение.
Настройка главного зеркала в Google
Дважды добавляем сайт в панель вебмастера Google - то есть адреса с WWW и без, как будто это два разных сайта. Затем для каждого из них в настройках выбираем нужный вариант и сохраняем.
Как склеить зеркала сайта?
Последним этапом станет прописывание серверных в файле htaccess, которые окончательно положат конец неуместному зеркалу, переадресовав все его страницы на нужный вариант.
Options +FollowSymLinks
RewriteEngine On
RewriteEngine off
RewriteCond %{HTTP_HOST} ^www.site.ru$
RewriteRule (.*) http://site.ru/$1
Данный пример справедлив для случая, когда главное зеркало - без WWW. Для обратной ситуации просто поменяйте «www.site.ru» и «site.ru» местами. Участок «FilesMatch» запрещает переадресацию файла robots.txt неосновного зеркала - это необходимо для того, чтобы была директива хост, при обращении поисковой системы к неглавному алиасу, указывала на главное.
Вот, вроде, и всё. Этот небольшой, но важный этап окончен. Вопросы?
