Значение noindex в метатеге HTML robots запрашивает, чтобы автоматические интернет-роботы избегали индексирования веб-страницы. [1] [2] Причины, по которым кто-то может захотеть использовать этот метатег, включают совет роботам не индексировать очень большую базу данных, веб-страницы, которые являются очень временными, веб-страницы, которые находятся в стадии разработки, веб-страницы, которые нужно сохранить, немного больше частные или версии страниц для печати и мобильных устройств. Поскольку ответственность за соблюдение тега noindex веб-сайта лежит на авторе поискового робота, иногда эти теги игнорируются. Также интерпретация тега noindex иногда немного отличается от одной поисковой компании к другой.
Нет индексации целых страниц
< html >< голова >< meta name = "robots" content = "noindex" >< title > Не индексировать эту страницу title >голова >
Возможные значения для содержимого метатега: «none», «all», «index», «noindex», «nofollow» и «follow». Также возможна комбинация значений, [1] например:
< meta name = "robots" content = "noindex, follow" >
Директивы, специфичные для ботов
Директива noindex может быть ограничена только определенными ботами, указав другое значение «name» в метатеге.
Например, чтобы заблокировать бота Google, [3] укажите:
< meta name = "googlebot" content = "noindex" >
Или, чтобы заблокировать бота Bing, укажите:
< meta name = "bingbot" content = "noindex" >
Или, чтобы заблокировать бота BaidUu, укажите:
< meta name = "baiduspider" content = "noindex" >
файл robots.txt
Robots.txt файл может быть использован для блокирования ползания.
Нет индексации части страницы
Также можно исключить из индексации часть веб-страницы, например текст навигации, а не всю страницу. Для этого существуют различные техники; можно использовать несколько одновременно. Главный паук индексирования Google , робот Google , не распознает ни один из этих методов.
тег
Российская поисковая система Яндекс представила новый тег , который предотвращает индексацию контента между тегами. Чтобы разрешить проверку исходного кода, в качестве альтернативы можно использовать : [4]
< р >Проиндексируйте этот текст.< noindex > Не индексировать этот текст. noindex > Не индексировать этот текст. p >
Существует проект спецификации микроформатов 2005 года с такой же функциональностью. Профиль исключения роботов ищет атрибут и значение class = "robots-noindex" в тегах HTML: [6]
< p > Проиндексируйте этот текст. p > < div class = "robots-noindex" > Не индексировать этот текст. div > < span class = "robots-noindex" > Не индексируйте этот текст. span > < p class = "robots-noindex" > Не индексируйте этот текст. p >
< div class = "robots-noindex robots-follow" > Текст. div >
Yahoo!
В 2007 году Yahoo! ввел аналогичные функции микроформата в свой паук. Однако паук Yahoo! Несовместим в том смысле, что он ищет значение class = "robots-nocontent" и только это значение: [7]
< p > Проиндексируйте этот текст. p > < div class = "robots-nocontent" > Не индексировать этот текст. div > < span class = "robots-nocontent" > Не индексируйте этот текст. span > < p class = "robots-nocontent" > Не индексировать этот текст. p >
SharePoint
IFilter SharePoint 2010 исключает содержимое внутри тега
с атрибутом и значением
class = "noindex" . Внутренние
изначально не исключались, но это могло измениться.
Также неизвестно, можно ли применить этот атрибут к тегам, отличным от
^«Общие вопросы по поиску» . Помогите . Атомз . 2013. Раздел: Как исключить части моего сайта из поиска? . Проверено 23 марта 2013 года . Необходимо запретить поиск по частям отдельных страниц? Если вы хотите исключить части страницы из индексации, окружите текст тегами и . Это полезно, например, если вы хотите исключить навигационный текст из поиска.( требуется регистрация )
^ а бДжейн, Питер (18 июня 2005 г.). «Профиль исключения роботов» . Микроформаты . Проверено 24 марта 2013 года .
^«Администрирование сканирования: подготовка к сканированию» . Google Search Appliance . Google Inc . 23 августа 2012 г. Раздел: Исключение нежелательного текста из индекса. Архивировано из оригинального 23 ноября 2012 года . Проверено 23 марта 2013 года .