Встречайте: мгновенная индексация страниц в Google. Что такое индексация и как ее улучшить

В этой статье мы расскажем о том, как добавить свой сайт в Google . В рассматриваемом примере мы пошагово покажем, как проиндексировать WordPress –сайт в гугле (Google ), используя плагин Yoast SEO и сервис Google Search Console .

В то же время для тех, кто не использует WordPress , процесс будет таким же, с той лишь разницей, что необходимо будет использовать альтернативный подход для создания карты сайта и обеспечения условий для того, чтобы поисковый робот Google мог просканировать ваш сайт.

Вот краткое описание того, что мы рассмотрим в этой статье:

• Три этапа добавления любого сайта в поиск Google .
• Как добавить свой WordPress-сайт в поиск Google :

• Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt ).
• Как установить и настроить плагин Yoast SEO .
• Как использовать Google Search Console для индексации сайта.

Три шага для добавления любого сайта в поиск Google

Мы рассмотрим весь процесс шаг за шагом для пользователей WordPress , однако почти все те же действия нужно выполнить, независимо от того, какую платформу вы используете:

1. Убедитесь, что поисковый робот Googlebot может получить доступ к страницам сайта, которые вы хотите проиндексировать. Это относится к файлу robots.txt . Если вы — пользователь WordPress , это очень просто, и мы покажем, как это сделать.

2. Настройте Google Search Console для домена, который вы хотите добавить в поиск Google .

3. Отправьте файл Sitemap через Google Search Console и попросите Google выполнить сканирование вашего сайта.

Как добавить свой WordPress-сайт в Google Search Console

Чтобы проиндексировать WordPress-сайт , необходимо включить возможность сканирования вашего сайта для поискового робота Googlebot , затем создать карту сайта и, наконец, отправить файл Sitemap через Google Search Console . Вот, как это делается.

Шаг 1 — Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt)

Включить возможность сканирования вашего WordPress-сайта для поискового робота Google очень просто. Когда вы будете готовы к тому, чтобы ваш сайт стал видимым через поисковые системы, выполните следующие действия:

1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Настройки » и выберите раздел «Чтение ».

2. Прокрутите открывшуюся страницу вниз до раздела «Видимость в поисковых системах » и снимите флажок для опции «Попросить поисковые системы не индексировать этот сайт ». Если данный флажок не будет снят это станет причиной того почему гугл не индексирует сайт и его страницы или делает это плохо.

3. Затем сохраните внесенные изменения

И это все, что вам нужно сделать на данном этапе, чтобы Google мог сканировать ваш сайт. Перейдем к следующему шагу.

Шаг 2. Как установить и настроить плагин Yoast SEO

Yoast SEO — это бесплатный WordPress-плагин , который мы рекомендуем всем пользователям. В данном случае мы будем использовать его для создания карты сайта. В дополнение к этому Yoast SEO является одним из лучших и наиболее доступных WordPress-плагинов для SEO , он регулярно обновляется, чтобы всегда идти в ногу с последними тенденциями.

Вот этапы установки плагина Yoast SEO и создания карты сайта:

1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Плагины » и выберите раздел «Добавить новый «.

2. Вы будете перенаправлены в репозиторий плагинов WordPress . Чтобы найти плагин Yoast SEO , введите в панели поиска «Yoast SEO ». Плагин Yoast SEO будет одним из первых результатов.

4. Затем нажмите кнопку «Установить », чтобы установить плагин.

5. Когда плагин будет установлен, нажмите кнопку «Активировать », чтобы активировать плагин.

6. После активации плагина, вы увидите новую вкладку «SEO » с логотипом Yoast в главном меню WordPress .

7. Наведите указатель мыши на эту вкладку и выберите раздел «Панель мониторинга ».

8. Оттуда перейдите на вкладку «Функции », затем прокрутите панель вниз и включите опцию «Дополнительные параметры ». Сохраните внесенные изменения, нажав соответствующую кнопку, расположенную в нижней части экрана.

9. На вкладке Yoast SEO должны появиться дополнительные вкладки. Перейдите на вкладку «Тайтлы и мета «.

10. Далее перейдите на вкладку «Типы записей ». Здесь можно выбрать элементы сайта, которые вы хотите индексировать. В большинстве случаев необходимо индексировать только страницы и записи. Если этот вариант подходит и вам, установите для параметра «meta robots » значение «no-index » для всего, что вы не хотите индексировать. Если вам нужна дополнительная информация о различных настройках, кликните по ссылке «Справка », и вы получите доступ к видео руководству, относящемуся к странице, на которой вы находитесь, а также к другой справочной информации.

11. После того, как вы закрыли от индексации все типы записей, которые не хотите индексировать, сделайте то же самое на вкладках «Таксономии », «Архивы » и «Другие ».

14. Просмотрите вкладки «Типы записей » и «Таксономии » и включите объекты, которые вы хотите индексировать, и отключите те, которые хотите исключить из процесса индексации. Для большинства сайтов здесь также подходит индексация страниц и записей, однако дополнительную информацию вы всегда можете получить в разделе «Справка ».

15. Затем сохраните внесенные изменения.

16. Перейдите на вкладку «Основные » и кликните по ссылке «XML карта сайта ». Скопируйте ссылку из адресной строки браузера и сохраните ее для дальнейшего использования в Google Search Console .

Это все, что касается установки и настройки плагина Yoast SEO и создания URL-адреса Sitemap . Теперь мы можем перейти к настройке бесплатной учетной записи Google Search Console и индексированию сайта.

Шаг 3 — Как использовать Google Search Console для индексации сайта

Google Search Console — это бесплатный инструмент Google , и мы будем использовать его для сканирования сайта или блога. Этот инструмент также поможет управлять любыми ошибками сканирования, связанными с вашим сайтом. Давайте рассмотрим этапы настройки вашей учетной записи:

1. Перейдите в Google Search Console . Сначала нужно войти в свою учетную запись Google . Здесь не должно быть много информации, если вы не работали с ней раньше.

3. Затем вас попросят подтвердить право собственности на домен. Выберите вкладку «Альтернативные методы » и нажмите кнопку «HTML-тег ». На экране появится мета тег name. Выделите весь тег и скопируйте его.

4. Вернитесь на панель администрирования WordPress и перейдите в раздел инструментов плагина Yoast SEO .

5. Перейдите на вкладку «Инструменты для веб-мастеров ». Здесь вы увидите три текстовых поля. Вставьте мета тег, который вы скопировали из Google Search Console в текстовое поле «Google Search Console «. В качестве дополнительной опции можно проиндексировать свой сайт не только в Google (гугл ), но и в других поисковых системах. Сохраните внесенные изменения.

6. После этого можно вернуться в Google Search Console и нажать кнопку «Проверить ». После этого вы должны увидеть сообщение о том, что Google нашел тег, и все хорошо.

7. Теперь нажмите кнопку «Добавить / Проверить Sitemap ». Надеюсь, вы сохранили URL-адрес Sitemap , который скопировали ранее. Вставьте его во всплывающем окне и нажмите кнопку «Отправить ».

8. Вам следует перезагрузить страницу, и после этого у вас должна появиться новая запись о файле Sitemap . Если на данном этапе у вас возникла ошибка, скорее всего, это связано с тем, что ваш сайт блокирует поисковых роботов. Не беспокойтесь об этом.

9. В разделе меню «Сканирование » перейдите в раздел «Просмотреть как Google ». Затем нажмите кнопку «Извлечь и отобразить ». Это может занять некоторое время.

10. После этого вы должны увидеть статус «Частично ». Нажмите кнопку «Отправить в индекс » рядом с ним. Должно появиться окно с просьбой подтвердить, что вы не робот. Установите галочку и выберите параметр «Сканировать этот URL и все его прямые ссылки ». Нажмите «Отправить ».

11. Рядом со статусом «Частично » теперь должно появиться сообщение, которое гласит о том, что «URL-адрес и его связанные страницы, представленные на индексацию ».

Проверка индексации сайта является тем мероприятием, которое позволяет предупредить снижение уровня заработка вебмастера. Дело в том, что существует такое понятие, как «выпадение» страниц, по разным причинам приводящее к потере трафика.

Недостаточное количество контента на странице, организационные моменты при «переселении» на другой домен, спам – эти и другие причины сводят на «нет» все усилия вебмастеров. Опытный оптимизатор ни за что не допустит такой ситуации, впрочем, как и понижения рейтинга у площадки, продающей «вечные» ссылки. Проверять индексирование веб-сайта – не прихоть, а вынужденная необходимость!

Существует несколько типов поисковых запросов Google, позволяющих увидеть проиндексирована страница или нет

Проиндексированные страницы сайта

Страницы сайта, прошедшие индексацию Google, можно просмотреть, воспользовавшись оператором «site:». Следует учитывать, что индексация является геозависимой, поэтому может выпадать разное число страниц в индексе для и google.com.

Итак, к указанному оператору добавляем нужный url, причем, между оператором и самой ссылкой на сайт не должно быть пробелов:

site: google.ru

Кроме того, можно провести поиск по целому домену или по отдельно взятому подкаталогу:

site: google.com/ webmasters

Для избирательного поиска с целью исключения ненужных страниц нужно поставить перед оператором знак «-». Наглядно это будет выглядеть так:

site:google.ru -site: adwords. google.com

Подобный поиск выдаст результат, в котором будут содержаться все проиндексированные страницы в домене google.ru, за исключением страниц adwords. google.ru.

link:google.ru или link:www

Кроме того, целенаправленный поиск ссылок на определенные страницы выполняется по запросу:

link:google.ru/webmasters

Текущий кэш вашего сайта

Оператор «cache:» информирует об архивированной копии страницы, которая проиндексирована Google. К примеру, cache:google.ru воссоздает новейшую проиндексированную версию главной сайта, а также выдает информацию о дате создания КЭШа, что дает возможность просмотра версии страницы с обычным текстом. Это чрезвычайно удобно, т.к. становится понятно, как именно робот Googlebot может увидеть страницу.

Используя команду «метатег noarchive», можно ограничить доступ пользователей в результатах поиска к кэшированной версии любой страницы. Между тем, страница будет сканироваться и индексироваться поисковиком Google:

Похожие страницы

Оператор «related:» позволяет увидеть ресурсы, подобные искомому сайту. Такой поиск применяется, как правило, для пересекающихся ресурсов.

В Google может быть использовано целый ряд показателей для выявления схожести, но качество возвращаемых сайтов никоим образом не влияет на процесс индексации страниц поисковой системой Google. Рекомендую почитать пост про гугла, там могут быть страницы которых нет в основном поиске.

Век живи, век учись. Отличная поговорка, которая еще раз напоминает нам о том, что невозможно объять необъятное и узнать все сразу. Надо сказать спасибо, что об этом способе я все-таки узнала, лучше поздно, чем никогда. Если вы еще не знаете, как быстро проиндексировать новую статью, то читайте внимательно и не пропустите эту фишку: «Как ускорить индексацию статьи в Google».

Для начала выложу свой результат ускорения попадания статьи в Google. Сразу скажу, что 4 минуты — не самый быстрый результат, так как я совершенно случайно вспомнила о том, что нужно об этой фишке рассказать своим читателям, и только после того, как я проделала все действия по расшариванию статьи, решила проверить ее в поиске Гугла. Очень была обрадована, что на третьей странице поиска я нашла свежую, только что написанную статью.

Что нужно сделать?

Нужно зайти в инструменты веб-мастера Google, и найти слева, на панели управления раздел «Сканирование». Выберите в этом разделе пункт «Посмотреть как googlebot».

Введите адрес страницы или сайта без названия домена и нажмите «Сканировать», затем — «Добавить в индекс». После этого в появившейся форме нажмите «Сканировать только этот URL».

Еще раз обращаю ваше внимание: если адрес страницы https://сайт/internet-uroki-soveti/kak-uskorit-in…stati-v-google, вводить нужно только internet-uroki-soveti/kak-uskorit-in…stati-v-google. После проделанных вами действий страница отобразится в панели со статусом «готово». Если вы на картинке заметили статус «частично выполнено», то это как раз следствие неправильно введенного адреса страницы. Ошиблась)) Бывает и такое.

Еще одна фишка

Но это еще не все. Ускорить можно и индексацию всего сайта. Целиком. Вы наверное видели в панели инструментов вебмастера диаграмму с количеством проиндексированных страниц сайта. На картинке данные двух сайтов:

Больше всего пугает первая картинка, где количество проиндексированных страниц сильно отличается от количества отправленных в индекс. То есть, я их отправляю в индекс, а индексироваться они не хотят категорически. Что будем делать? Будем лечить, а именно, отправим в индекс карту sitemap.xml. Точно так же, как мы это сделали со страницей сайте в разделе «Посмотреть как googlebot». Таким образом, мы попробуем обратить внимание поисковика на наш сайт и будем внимательно следить за изменением ситуации.

Если Google не желает самостоятельно заглядывать на наши сайты, отправим ему личные приглашения, верно? Ведь вовремя проиндексированные статьи направят к нам посетителей, страждущих найти ответы на свои вопросы, чего, собственно, мы и добиваемся — увеличения посетителей из поисковых систем.

Если вы уже убедились в том, что ваша статья или сайт проиндексированы, то можно и отдохнуть. Предлагаю вам посмотреть классное видео про Северную Корею. Просто красиво!

Стал встречать множество статей о том, как быстро проиндексировать статью или текст. Один из вариантов предлагает добавить текст в индекс с помощью аддурилки (addurl).

Тема не нова и давно изъезжена вдоль и поперек, но мне стало интересно, действительно ли она сейчас работает.

Для тех, кто ещё не в курсе:

• Аддурилка Яндекса — http://webmaster.yandex.ru/addurl.xml
• Аддурилка Google — http://google.com/addurl

Изначально аддурилка Яндекса и Google была реализована в качестве инструмента, с помощью которого происходило добавление сайта в поисковик. Но на то время это был очень длительный процесс, который иногда мог занимать до 3х месяцев, а в некоторых случаях, ещё дольше. Ждать так долго никто не мог, и в ход пускали разнообразные хитрости, такие как: прогон по каталогам и доскам объявлений, добавление в разнообразные закладки, покупка ссылочной массы и д.р. Большинство этих способов сейчас могут только навредить вашему сайту, но в то время они гарантировали не только быструю индексацию, но и отличное продвижение по ключевым запросам. Чтобы не терять своё время, многие SEOшники просто «забивали» на добавление сайта в поисковые системы с помощью addurl Гугла и Яндекса.

Встретив очередную статью о том, что с помощью аддурилки можно добавить статью в индекс, я решил проверить, а так ли это на самом деле. Время бежит, поисковые системы развиваются.

Просим проиндексировать статью для эксперимента

В качестве подопытных кроликов я отобрал и добавил в аддурилки Яндекса и Гугла статьи из нескольких разнообразных сайтов, среди которых был и мой блог. Для точности результата, были взяты сайты:

1. С быстрой индексацией (статьи индексируются в течении суток)

2. Медленной индексацией (индексация дольше 1 недели).

Результаты добавления текстов в Яндекс и Гугл через 9 дней.

Для сайтов всех групп была замечена практически мгновенная индексация текста в Google с помощью addurl. Страницы появлялись в поисковой выдаче буквально через 5 — 15 минут после добавления в гугл.

Добавление статей в аддурилку Яндекса никак не сказалось на скорости индексации для всех подопытных. За сим, считаю добавление статьи в Яндекс через addurl пустой тратой времени, кроме случаев, когда с индексацией вашего сайта явные проблемы.

Я только выложил результаты своего опыта. Любителей Яши прошу сильно не пинать. Если есть другая информация, буду рад рассмотреть и обговорить ваш случай.

• Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
• Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
• Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ и .

Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с , предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?

Методы ускорения индексации сайта

• Создание Sitemap . Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO .
• Предоставьте Google Indexing Tool свою карту сайта . Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
• Используйте Google Analytics . Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
• Добавьте вручную . Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
• Создавайте и обновляйте свои социальные профили . Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
• Разместите ссылки на новую страницу на внешних ресурсах . Блоги, статьи, пресс-релизы, посты посетителей и другие варианты значительно ускоряют индексирование страницы.