Как открыть зеркало сайта

Поисковые системы считают зеркалами сайты, находящиеся по разным адресам, но содержащие одинаковый контент:

• У сайта есть два зеркала: www.example.com и example.com.
• С подключением защищенного протокола появляется еще два – с префиксом https.
• Зеркалами также считаются сайты, между соответствующими страницами которых настроен серверный редирект, например, с example.com/page.html – на example.net/page.html.

Как проверить, нужно ли мне настраивать зеркала?

Самая частая ошибка при работе с зеркалами – это отсутствие настроенного 301 редиректа.

Чтобы проверить, настроен ли у вас 301 редирект, зайдите на свой сайт с помощью адресов:

— Без www – например, http://example.com;
— C www – например, http://www.example.com.

Воспользуйтесь Яндекс.Вебмастером, чтобы определить тип веб-сервера, на котором работает ваш сайт (если сайт не привязан к вашему аккаунту в Яндекс.Вебмастере, то сделать это не получится). После этого вы можете настроить редирект с помощью одной из наших статей:

Если интересует тема создания и настройки зеркала сайта — это статья для вас. Расскажу вам, что такое зеркало и как его сделать.

Что такое «зеркало сайта»: значения и виды

Вообще, под зеркалами вебмастерами часто понимаются разные вещи. И цели у таких зеркал тоже разные: безопасность сайта, смена адреса и некоторые другие. Обо всем этом поведаю ниже.

Зеркало — дубликат, копия сайта. Зеркальное копирование своего или чужого сайта может быть полным или частичным.

При этом, более глубокое понятие «зеркала» употребляется в разных контекстах и может принимать немного иные значения:

• Версия-дубликат сайта с «www.» в начале адреса или без. Например www.15blogggers.ru и просто 15blogggers.ru. Если делать по старинке, такие версии будут считаться поисковиками разными сайтами (хоть и идентичными по содержанию) и их нужно будет склеить для корректного SEO.
• Другой домен, прикрепленный к основному сайту — когда оба адреса «склеены» с одним содержимым. В этом случае по обоим адресам будет показываться копия основного сайта, вне зависимости от того, какой домен вы сделаете основным — новый или старый. Такая копия может находиться даже на другом сервере. Подобная практика распространена среди крупных сайтов, когда несколько доменов используют копии одной базы данных, размещенных на разных серверах. В случае если одна копия сайта «ляжет», можно будет зайти на другую.

Сложно сказать определенно, какой из вариантов используется чаще: скорее всего у небольших сайтов однозначно первый, у крупных — второй.

Итак, роботы Яндекса и Гугла считают зеркалами полные копии сайтов. Копия определяется при совпадении контента по двум разным адресам, например: 7bloggers.ru/about-2 и 15blogggers.ru/about-2 или 7bloggers.ru/about-2 и www.15blogggers.ru/about-2.

При этом, идентичный контент может быть показан как с перенаправлением, так и без. В случае перенаправления, происходит редирект с 7bloggers.ru/about-2 на www.15blogggers.ru/about-2. При отсутствии редиректа, контент просто показывается по двум адресам, но в поисковой выдаче участвует главное зеркало и только оно.

Зачем и для чего делают зеркала сайтов?

Если вы еще не поняли, для чего конкретно создаются зеркала, расскажу на конкретных примерах.

Я могу сделать зеркало сайта на другом, более красивом домене, чтобы впоследствии перенести туда сайт, сохранив и поисковый трафик, и закладочную аудиторию постоянных посетителей (предварительно подготовив их к переезду на красивый домен). Такие случаи часто возникают в коммерции при слиянии и поглощении фирм — когда наименование и адрес новой объединенной компании должны измениться. Поэтому надо склеить новый домен с существующим.

Я могу «забронировать» домен. Сделаю зеркало сайта для бронирования схожих адресов. Например: kondicionery.ru и konditsionery.ru, fotostudiya.ru и fotostudia.ru. Еще пример: seo-moscow.ru и moscow-seo.ru. Зачем? Ну, для защиты от конкурентов, на всякий случай. Много причин. Иногда бывает так что, допустим, «fotostudia» пользователю проще запомнить и ввести — и речь не только об адресной строке браузера, но и о поисковых запросах. Статистика по запросам изобилует всевозможными опечатками и ошибками: «фольцваген», «ай фон» и др.

Из этого вытекает следующая цель.

Я могу сделать зеркало сайта для продвижения в нескольких странах на разных языках. Пример из жизни: computeruniverse.net, computeruniverse.de, computeruniverse.ru (русская версия что-то не работает в последнее время, вообще работала).

Про создание зеркал с целью стабильной доступности сайта я уже говорил — подобная схема не только обеспечит доступ к сайту в случае падения основного сервиса, но и распределит нагрузку по нескольким серверам т.е. в целом сайт будет всегда отзываться быстрее чем с одного «перегруженного» сервера.

Я могу сделать зеркало сайта, чтобы вывести его из под фильтра. Допустим, зафильтровал Яндекс сайт под одним доменом (или заблокировал Роскомнадзор по IP), а я делаю зеркало на новом сервере, делаю редирект — и снова в топе. Не страшны ни фильтры Яндекса, ни блокировки.

Сейчас расскажу, как создать зеркало для сайта с двумя распространенными целями: объединим домены с «www.» на обычный (+ обратно) и сделаем сайт-зеркало с новым доменом.

Как сделать зеркало сайта, объединив два домена с «www.» и без

В этом деле нам пригодится 301 редирект. Зайдите в корень сайта на своем хостинге и найдите там файл «.htaccess». Создайте, если его нет. Например, в Notepad++. Сделайте пустой файл и где-нибудь его сохраните.

Обратите внимание что я выбрал ALL TYPES в типе файла. По невнимательности ошибки бывают и у меня — недавно редактировал hosts-файл для Windows и сохранил его не глядя как «hosts.txt». С «.htaccess» тоже бывало.

Второй момент — после успешной загрузки хтацесса на хостинг вы потеряете его из виду. Если пользуетесь встроенным браузерным менеджером cPanel, то и не увидите. А если пользуетесь FTP-менеджером, то включите в настройках отображение скрытых файлов и все будет нормально.

Итак, склеим две версии сайта: «15blogggers.ru» и «www.15blogggers.ru». Чтобы это сделать основной версией сайта сайт «www.15blogggers.ru» (вместо сайта семи блоггеров должен быть ваш сайт, это понятно), добавьте в .htaccess файл следующий код:

RewriteCond % ^15blogggers.ru$ [NC]

RewriteRule ^(.*)$ https://www.15blogggers.ru/$1 [R=301,L]

Чтобы была основной версия 15blogggers.ru (без «www»), код в .htaccess должен иметь другой вид:

RewriteCond % ^www.15blogggers.ru$ [NC]

RewriteRule ^(.*)$ https://15blogggers.ru/$1 [R=301,L]

Ребята, обратите внимание, если вы хотите сделать в качестве зеркала сайт на кириллическом домене (например 7блоггеров.рф) — адрес должен быть в формате punycode: «xn--8-btbddam3byadt.xn--p1ai» или «www.xn--8-btbddam3byadt.xn--p1ai», где «.xn--p1ai» это «.рф».

После заполнения файла .htaccess выбранным способом, нужно изменить файл robots.txt — он тоже находится в корне сайта.

Нам нужно передать привет Яндексу и Гуглу, чтобы он знал, какой адрес будет основным.

Host — основной домен.

Теперь нужно подстраховаться и уведомить поисковые системы через панель вебмастера о сделанных изменениях. Это делать не обязательно — но перестраховаться не бывает лишним. В любом случае, склеивать зеркала Яндекс будет примерно месяц.

Итак, зайдите в Яндекс.Вебмастер (вы ведь добавляли туда сайт? если нет — добавьте) и ступайте в раздел «Главное зеркало». В старой версии Вебмастера это выглядит так:

В новом Вебмастере раздел называется «Переезд сайта», находится по адресу https://webmaster.yandex.ru/site/http:7bloggers.ru:443/index-setup/mirrors/ и выглядит так:

В Вебмастере Гугла тоже есть подобные настройки, попасть в них можно нажав по шестеренке в правом верхнем углу и затем «Настройки сайта».

Вы перейдете на новую страницу с меню выбора основного домена. Теперь нужно выбрать, какой домен хотите сделать главным (основным), какой — второстепенным (дополнительным). Например: 15blogggers.ru — основной, www.15blogggers.ru — дополнительный.

Подробнее о настройке основного домена (с www и без), можно почитать в справке Гугла для вебмастеров.

Как сделать и настроить зеркало сайта на другом домене

Для нового домена (в т.ч. в другой доменной зоне), тоже понадобится .htaccess файл — на этот раз у второстепенного домена. Код:

RewriteRule ^(.*)$ https://15blogggers.ru/$1 [R=301,L]

RewriteRule ^(.*)$ https://15blogggers.ru/$1 [R=301,L]

Подробная информация по данному типу склейки с новым доменом содержится в видеоролике:

Есть еще ролик от специалистов Яндекса, только его нельзя встроить, перейдите по ссылке ниже.

Как узнать и проверить зеркало сайта?

Напоследок научу вас проверять зеркала своих и чужих сайтов. Ну это просто, если вы заходите по адресу www.15blogggers.ru, а вас перебрасывает на 15blogggers.ru — зеркало работает. В данном случае, 15blogggers.ru это основной домен, а www.15blogggers.ru — второстепенный.

Второй способ проверить работоспособность зеркал (уже склеенных поисковиками) — ввести в поисковую строку Яндекса или Гугла адрес зеркала сайта. В поисковой выдаче вы увидите отображение основного домена.

Проверить домен на склейку (вариант для ленивых) можно и при помощи сервиса XSEO. Перейдите по адресу и введите домен для проверки.

Итог — часто задаваемые вопросы по зеркалам

Индексируются ли зеркала?

Поскольку поисковые роботы склеивают зеркала, впоследствии индексируется из них только основной сайт — главное зеркало. Соответственно, он же и участвует в поисковой выдаче. Как ускорить индексацию сайта — читайте тут.

Что будет, главное зеркало не указывать совсем?

Бывает так, что вебмастера склеивают зеркала сайта, но при этом забывают сделать указание для поисковых машин о том, какое из зеркал является основным. В этом случае поисковый робот самостоятельно выберет основное зеркало в соответствии со своим внутренним алгоритмом.

Чтобы не было ошибок, не забудьте указать роботу адрес главного зеркала: через директиву Host в robots.txt, серверным редиректом в .htaccess. Примеры настроек я приводил выше.

Можно ли напрямую проверить в Яндексе сайт-зеркало?

Можно. Это делается через аддурилку („Сообщить о новом сайте“). Если добавленный домен будет являться зеркалом, вы увидите: «Указанный вами сайт www.15blogggers.ru является неглавным зеркалом сайта 15blogggers.ru».

При создании зеркала на другом домене, учитываются ли характеристики старого?

Да. Если вы делаете второстепенным зеркалом старый домен с показателями для главного зеркала по новому адресу — это поможет сохранить существующие позиции в выдаче.

Склеятся ли сайты при перенаправлении на главное зеркало со всех страниц неглавного зеркала?

Да. Но лучше так не делать. Сделайте нормально — пусть каждая страница перенаправляет на соответствующую ей страницу на главном зеркале.

Почему сайт пропал из поиска после настройки серверного редиректа на новый домен?

Вероятно т.к. новый домен на момент склейки уже был зеркалом (неглавным). А старый сайт не участвует в поиске, т.к. перенаправляет, а новый еще не появился в поиске потому что не прошло достаточное количество времени, чтобы ПС распознали его как главное зеркало.

Что делать, если структура зеркал отличается?

Ничего страшного не произойдет, в том случае если вы правильно настроите серверные редиректы между страницами зеркал. URL на неосновном зеркале должен строго перенаправлять на URL с идентичным контентом на главном сайте, а страницы со старой структурой — на страницы с новой структурой. Приведу пример для наглядности:

www.6bloggers.ru/old —> www.15blogggers.ru/old
www.6bloggers.ru/new —> www.15blogggers.ru/new
www.15blogggers.ru/old —> www.15blogggers.ru/new

Как расклеить зеркала?

Вернуть настройки в robots.txt и .htaccess к первоначальным. Так поисковая машина узнает, что сайты перестали быть зеркалами, отдают разный контент и можно их расклеить. Это произойдет за 2-3 недели, в редких случаях до 2 месяцев. Напомню, проверить расклейку можно в Вебмастере через форму ”Сообщить о новом сайте“: если сайт ранее был неглавным зеркалом и успешно добавился в форму — все прошло удачно.

Какими сервисам пользоваться для работы с доменами?

Полный список сервисов я описал в этой статье: https://7bloggers.ru/domains/.

Вот пожалуй и все. Успехов в создании зеркал.

Сегодня расскажу подробнее о поиске зеркал сайтов (полных копий на разных доменах). Тема вызвала живой интерес и множество вопросов после доклада на SEMPRO.

Зачем вообще искать зеркала?

Напомню ситуации, когда это может быть актуально:

• Вы анализируете новую нишу на предмет конкуренции. Если ТОП выдачи выглядит не особо внушительно — не спешите радоваться. Сначала стоит проверить, не подклеено ли к молодому домену старое зеркало с мощным ссылочным профилем.
• Вы планируете купить сайт, который имеет хороший поисковый трафик. Обязательно требуйте передачи прав на все зеркала — иначе можно остаться ни с чем.
• Вас интересует схема ссылочного продвижения у конкретного конкурента. Стоит тщательно изучить обратные ссылки у всех версий проекта.
• Вы пользуетесь услугами SEO-студии или фрилансера; хотите быть уверены, что продвижение ведется именно для вашего домена.

Как найти зеркала с точки зрения Яндекса?

В Рунете популярен плагин для браузера RDS бар и онлайн-сервис recipdonor, который проверяет множество SEO-параметров, в том числе и этот (в платной версии). Создатели плагина подробно описали свою методику:

Склеен ли сайт на какой-то другой можно определить используя эти два запроса:
http://search.yaca.yandex.ru/yca/cy/ch/site.ru/ или http://bar-navig.yandex.ru/u?ver=2&u…ndex.ru&show=1

Если какое-то из этих значений возвращает склейку, то этот сайт попадает к нам в базу.
Определить склеен ли сайт — очень просто. А вот узнать какие сайты приклеены к данному, то есть произвести обратную процедуру — довольно сложная задача.
Для этого «в идеале» нужно проанализировать все сайты интернета на эти два запроса проверки склейки и создать связки для склееных сайтов.
Что позволит найти все зеркала сайта, если они действительно приклеены к данному сайту.

В нашей базе более 13 млн. сайта, которые регулярно проверяются на данные параметры.
Из статистики, найдено:
406 000 сайтов склееных на другие
280 000 сайтов у которых есть дополнительные зеркала.

Внимание: сервис определяет зеркала для сайтов, которые Яндекс признал действительно зеркалами и склеил их.
Определение зеркал по Google или по другим признакам (у которых в robots.txt прописано или стоит редирект, или на сайте просто надпись сайт переехал) — это другая история.

Очевидно также, что мы не можем быть уверены в полноте любой базы. Что, если работаем с узкой нишей, где не особо популярные сайты? Да еще под англоязычный Google? На самом деле это не проблема. Гугл — знает все!

Как искать зеркала под Google?

Наверняка вы замечали, что Google хранит информацию о старых страницах очень долго. Для примера — отчет из API Search Console для моего сайта:

На этом и основан метод:

Запрашиваем у Google уникальную фразу с анализируемого сайта, одновременно запрещаем показывать сам сайт.

Вот пример из доклада (искал зеркала у сайта www.injuryclaimcoach.com):

Используется фраза в кавычках и оператор site:, перед которым стоит минус. Первый результат отдает 301 код и перебрасывает на изучаемый домен. При этом переезд был осуществлен более 3 лет назад (особо любознательные могут проверить по web.archive).

Пример использования

Давайте поищем еще. Возьмем интересный пример. Возможно вы в курсе, что Гугл на своем сервисе blogspot.com однажды устроил знатную свистопляску с зеркалами.

Так, блог Дмитрия Шахова из России открывается по адресу http://bablorub.blogspot.ru/. Если обратитесь к нему через .com — получите редирект.

Но в выдаче тем не менее .com:

Применим нашу методику:

«Рушка» нашлась! Не будем на этом останавливаться. Выше я подчеркивал, что нужно использовать уникальную фразу.

Забиваем «Я считаю, что глупо тиранить кандидата вопросами про то, что такое релевантность или формула BM-25 -site:bablorub.blogspot.com» (цитата из статьи про прием сеошника на работу):

Ничего такой улов!

Но фразу мы взяли не то чтобы слишком удачно — она в популярной статье, которая была много где процитирована или перепечатана.

Берем другую, — ответ Дмитрия на мой вопрос из тех времен когда мы еще не были знакомы лично:

Еще один! Но заодно подсунут и .ru тоже. Заминусуем и его и .tr! Используем длинный запрос: Управление бизнесом влияет сильнее, чем профессиональная деформация. На фоне этого деформация по SEO никак не заметна. -site:bablorub.blogspot.com -site:bablorub.blogspot.ru -site:bablorub.blogspot.tr

Интересно, кончились ли у Гугла зеркала?

Забиваем теперь «Управление бизнесом влияет сильнее, чем профессиональная деформация. На фоне этого деформация по SEO никак не заметна. -site:bablorub.blogspot.com -site:bablorub.blogspot.ru -site:bablorub.blogspot.tr -site:bablorub.blogspot.com.tr -site:bablorub.blogspot.com.es -site:bablorub.blogspot.de -site:bablorub.blogspot.dk» (я уже устал…)

Тут я сдался. Доменов у Гугла много куплено, это мы точно выяснили. Желающие могут найти еще и еще.