На главную
 
{loadposition tariffz}
 
Host-Solutions.ru CMS Joomla! Инструкция Joomla! Запрет индексирования некоторых страниц (файл robots.txt)
Запрет индексирования некоторых страниц (файл robots.txt)
Тестовый хостинг с CMS Joomla сейчас!

Иногда нужно, чтобы поисковая машина не индексировала некоторые страницы сайта, например, совсем не обязательно индексировать форумы, доски объявлений, каталоги cgi-bin, поскольку в индексировании этой информации просто нет смысла.

 

Почему нужно иногда запрещать индексировать некоторые страницы? Предположим, для удобства пользователей вы создали:

  • "графическую" и текстовую (облегченную) версии сайта — обе версии находятся на одном сервере, просто в разных каталогах, и содержат одинаковый материал;
  • две версии, написанные в разных кодировках.

joomla_71

Рис. 7.5. Редактирование шаблона сайта

Также нужно запретить индексировать CGI-скрипты, которые робот Яндекса индексирует наравне с другими документами. Следовательно, желательно, чтобы в любом случае в корневом каталоге вашего сайта был файл robots. txt такого содержания:

User-Agent: * Disallow: /cgi-bin/

Обратите внимание на то, что директива User-Agent: * обязательна и должна предшествовать директивам Disallow. Например, следующий файл robots.txt ничего не запрещает:

Disallow: /cgi-bin Disallow: /myforum/ forum/

Нужно переписать его так:

User-Agent: * Disallow: /cgi-bin/ Disallow: /myforum/forum/

Помните, что директиву Disallow можно использовать только с одним операндом, т.е. вы не можете написать Disallow /cgi-bin /myforum/fo-rum/ или Disallow   "/cgi-bin   /myforum/forum/". Для запрета индексирования N объектов нужно написать N директив Disallow — по одной на каждый объект.

В файле robots.txt пустые строки являются значимыми — они используются для разделения правил для разных роботов. Рассмотрим следующий пример.

User-Agent: * Disallow: /cgi-bin/

Disallow: /myforum/forum/

Первая директива Disallow применяется для всех роботов (*), а вторая вообще не будет применяться, поскольку она написана через пустую строку и перед ней нет директивы User-Agent, задающей имя робота. Рассмотрим еще один пример.

User-Agent: * Disallow: /cgi-bin/

User-Agent: yandex Disallow: /myforum/forum/

Индексирование каталога /cgi-bin/ запрещено для всех роботов, а каталога /myforum/ forum — только для робота yandex.

Чуть не забыл! В директиве Disallow вы можете использовать только относительные пути к объекту, т.е. вы не можете записать http: //server. com/cgi-bin/ или просто server. com/cgi-bin. Если вы установите следующую директиву

Disallow server.com/cgi-/bin/,

то она запретит индексирование каталога www.ваш_сервер.com/server. com/cgi-bin/. Ясно, что такого каталога на сервере у вас нет, следовательно, директива работать не будет.

Предположим, вам нужно запретить индексирование всего сайта. Для этого используются такие директивы.

User-Agent: *

Disallow: /

Обратите внимание на то, что вы должны записать именно директиву Disallow: /, а не Disallow *. В последнем случае будет запрещена индексация файлов, имена которых начинаются с символа "*", а таких ведь в природе нет!

Предположим, что вы не можете создать или изменить файл robots. txt (у вас не хватает прав). Тогда контролировать поведение робота можно с помощью следующих МЕТА-тегов:

  • <META NAME="ROBOTS"    CONTENT=NOINDEX"> — запрет индексирования документа, в заголовке которого (тег HEAD) есть данный МЕТА-тег;
  • <МЕТА   NAME="ROBOTS"    CONTENT="NOFOLLOW"> — если вы хотите запретить индексирование всего сайта, очень полезно вставить этот МЕТА-тег в главную страницу — index.html. Данный тег запрещает роботу следовать ссылкам с данной страницы;
  • <МЕТА CONTENT="NOINDEX,NOFOLLOW"> — комбинированный вариант двух предыдущих тегов.

Да, работа рутинная: если в каталоге, который вы хотите запретить индексировать, скажем, 100 файлов, в каждый из них вам нужно добавить МЕТА-тег ROBOTS=NOINDEX. С помощью директивы Disallow проблему решила бы одна строка...

Возможно, вы не хотите, чтобы индексировалась определенная часть текста на странице. Для этого в код страницы нужно вставить тег <NOINDEX>, в который нужно заключить текст, запрещенный для индексирования:

<NOINDEX>

Текст

</NOINDEX>

 

Новости

Host Solutions поздравляет Вас с Новым 2014 годом!
31.12.2013 | 
Уважаемые пользователи Host Solutions! Компания МАРОСНЕТ поздравляет вас праздником и желает...
подробнее Read more...
Новогодняя акция - 30% скидка!
20.12.2013 | 
Дарим 30% при продлении услуг виртуального хостинга или VPS от...
подробнее Read more...
Новая услуга на Host Solutions - VPS
19.12.2013 | 
Host Solutions предлагает вашему вниманию новую услугу - виртуальные выделенные...
подробнее Read more...
Доступна оплата через PayPal
13.12.2013 | 
Теперь вы можете заказать хостинг и оплатить домен на Host...
подробнее Read more...
Релиз новых версий Joomla
18.11.2013 | 
В начале ноября на сайте разработчиков Joomla были опубликованы новые...
подробнее Read more...

Статистика

Просмотры материалов : 4 411 294

Кто на сайте

Сейчас 749 гостей онлайн
 
 
 
 
Партнер REG.RU Портал о хостинге и хостинг-провайдерах. Мы принимаем WebMoney, Здесь находится аттестат нашего WM идентификатора 110005872604 Мы принимаем QIWI Мы принимаем Яндекс.Деньги
Разработка сайтов компания “СВАРОГ”
© 2017 Host Solutions - Хостинг и регистрация доменов. Все права защищены.
Дизайн, Разработка сайтов компания “WEB-SVAROG”