Все про способы закрытия от индексации всего сайта, отдельной страницы и части текста

Зачастую веб-мастерам приходится попросить поисковые системы не индексировать сайт. Причины тому разные. Например, вы решили сменить дизайн ресурса и не желаете, чтобы ваши смелые эксперименты были замечены роботами Яндекса или Google. Или же вы меняете платформу, удаляете дубли контента из индекса или очищаете его от «застрявших» страниц.

По желанию разработчика можно установить запрет индексации страницы, контента, портала полностью. Что это даст? Открытые страницы ПС находит и добавляет к себе в базу. На закрытые робот попросту не заходит, поэтому и не принимает во внимание их при выдаче.

Что это и почему это важно?

Какие страницы веб-разработчику желательно скрыть от индексации, если он хочет, чтобы продвижение сайтов было максимально действенным?

Для качественного продвижения ресурса веб-мастеру необходимо программным путем запретить добавлять в базу ПС страницы, которые посетителям видеть вовсе не обязательно. К ним относятся:

• админчасть;
• странички с личной инфо пользователей;
• формы обратной связи.

Также важно установить запрет отправки на индексацию страниц сайта, контент которых можно встретить еще на нескольких страницах. Их именуют дублирующими. Они попросту пессимизируют сайт, увеличивая процент неуникальных материалов. Это не оставят без внимания ПС.

С особым негативом к контенту-дублю на портале относится поисковый робот Google. Если систематически он будет обнаруживать на сайте дублирующую информацию, это грозит ресурсу штрафными санкциями, которые могут привести к исключению из выдачи на определенное время.

Узнать, как закрыть от индексации часть текста необходимо уже тогда, если на некоторых страницах вашего портала совпадает более трети информации. В идеале веб-мастер должен создавать такую структуру портала, чтобы дублирование публикаций на нем не наблюдалось и вовсе. Учтите, что если для авторитетных ресурсов, посещаемость которых более 3000 пользователей в день, дублирование не столь сильно сказывается на эффективности продвижения, то для новых ресурсов оно может стать губительным.

Еще одним случаем, когда необходимо ввести запрет на индексацию сайта robots, можно назвать наличие на портале страниц, содержащих неуникальное описание и фотографии. К примеру, вы создали онлайн-аптеку. Как правило, текст о препарате неуникален, его можно встретить на десятках других ресурсов. Пытаться придать ему уникальности – дело неблагодарное. Поэтому лучшим решением в таком случае станет закрытие страничек с неуникальными публикациями от индексирования.

Как грамотно закрыть страницу от индексации?

С robots txt запрет индексации всего сайта выполняют большинство веб-мастеров. Расположен он в корневом каталоге. С его помощью можно установить ограничения для роботов ПС, которым не следует брать в индекс обозначенные веб-мастером страницы сайта. Robots.txt - классический текстовый документ, который можно изменить в любой момент. Если robots.txt у вас отсутствует или вы просто им не пользуетесь, ПС будут стандартно включать в индекс любые страницы сайта.

Закрыть страницу от индексации в robots txt предельно просто. Данный файл может включать один или несколько блоков, содержащих пару строк. Первая из них - User-agent. Она и предопределяет, какой ПС следует придерживаться обозначенной инструкции. Если вам хочется ввести запрет индексации сайта для всех ПС, в первой строчке файла robot.txt должно быть указано:

User-agent: *

Если вы изучаете, как запретить индексацию сайта robots txt, присмотритесь ко второй строчке, которая называется Disallow. Здесь веб-разработчику следует указать те файлы и папки, которые ему хочется скрыть от роботов ПС. К примеру,

Disallow: /video/

или

Disallow: /myfile.htm.

Это базовые нюансы, которые позволят закрыть от индексации в robots txt конкретные страницы проекта для его быстрого и качественного продвижения. Теперь вам известно, как запретить индексацию страницы в robots txt, выбрав конкретные файлы.

Также закрыть сайт от индексации htaccess позволяет. Для этого создается скрипт

<?
Header (‘Location:’.$_GET[‘url’].’ ‘); exit();
?>

и сохранить его в http://mysite.ru/outlink/, назвав redirect.php. Скрипту следует передать параметр http://mysite.ru/outlink/redirect.php?url=http://www.site.ru.

Запретить ПС обрабатывать http://mysite.ru/outlink/, задать в htaccess страницу ошибки или перенаправлять запрос на главную.

Работа с метатэгом Robots

Не только robots txt запретить индексацию под силу. Для этих же целей некоторые разработчики предпочитают применять метатэг Robots.

Закрыть картинку от индексации, публикацию, страницу или весь сайт удастся, если указать в HTML-верстке метатэг Robots. Расположить его нужно в зоне HEAD, сразу перед <title>. Включает метатэг Robots две составляющих:

• INDEX – для индексации;
• FOLLOW – для установления разрешения или запрета добавления в базу ПС ссылок, размещенных на портале.

Как запретить индексацию сайта с ними? Просто замените INDEX и FOLLOW на NOINDEX и NOFOLLOW. В случае, когда разработчику не хотелось бы разрешать популярным ПС обрабатывать страницу вместе с ссылками, запишите код так:

<meta name=“robots” content=“noindex,nofollow”>.

Посредством robots закрыть от индексации ссылки, но не прятать страницу, можно, приписав в код:

<metaname=“robots” content=“index,nofollow”>.

Чтобы поручить robots запретить индексацию страницы, но оставить открытыми ссылки, обозначьте тэг:

<meta name=“robots”content=“noindex,follow”>.

Запрет добавления в индекс через административную панель ресурса

Многие CMS разрешают веб-мастерам прятать конкретные странички сайта от ПС посредством настройки в административной панели. Это позволит вам сэкономить время на прописывании кода и настройке различных параметров ручным способом. Но закрыть сайт от индексации robots txt и с помощью метатэгов намного эффективнее, ведь именно эти способы уже долгое время являются наиболее надежными в продвижении сайтов.

Теперь вам известно, как запретить индексацию текста или целой страницы самостоятельно. Если же вы лишь начинаете узнавать, как закрыть текст от индексации, но хотите, чтобы оптимизация сайта была максимально эффективной, доверьте эту задачу профессионалам! Ведь собственный проект – не объект для экспериментов. Успех в продвижении во многом зависит от знаний и опыта работы в SEO-сфере! Выбирая компанию, в которую вы обратитесь обратите внимание на сайт студии - блоги, инструменты разработанные командой, кейсы. Как пример - студия продвижения сайтов http://semantica.in/ - обширный блог и действительно полезные для работы с сайтом инструменты в бесплатном доступе.