Простой и быстрый метод для того, чтобы RSS-лента сайта на feedburner’e не попадала в индекс поисковиков.

Чтобы поисковик не счел вашу ленту дубликатом ваших материалов, а пользователь, кликнувший на ленту – не напоролся на неформатированную абракадабру вместо желаемой страницы. И тогда он может быть огорчен – а зачем нам огорченный пользователь?! А вдруг у вас еще и реклама на сайте…

Итак:
1) Заходите в управление вашей записью на фидбернере.
2) идете во вкладку “Publicize”, пункт меню “NoIndex”
3) активируете (гугель еще предлагает насолить своему главному конкуренту Яху – поставить галочку на “Indicate that your feed should not be used by Yahoo! Pipes” – но это нам не надо
4) всё, все счастливы

Таким должно быть типовое содержимое файла robots.txt для WordPress, который позволяет:

  1. пресечь индексирование поисковиками служебных файлов и папок вордпресса
  2. предохраниться от дублирования содержимого

User-agent: *
Allow: /*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

Категория: WordPress, Сайтостроение | Теги: , ,

Комментарии к записи “Предотвращение дублирования контента в WP”

  1. whitik | 24.04.2010

    Спасибо за статью, вот только мне не понятно, в конце статьи вы приводите пример, какой должен быть Robots.txt и в примере перечеркнуты “Allow: /*” и “Allow: /wp-content/uploads” – это означает что их не надо вписывать в Robots или что???

    Если их не надо вписывать в Роботс, то тогда это надо прокомментировать, а то мне лично не понятно!)) Надо их в Роботс вписывать или нет!))

  2. Макс | 24.04.2010

    Allow: /* – означает что нужно индексировать весь сайт (некоторые последующие правила отменяют индексацию части папок)
    Allow: /wp-content/uploads – приводится специально последним и служит для того, чтобы после всех запрещающих правил разрешить идексацию папки с картинками.

    Зачеркнуты у меня эти два пункта потому что они не обязательные и их можно не писать – хуже не будет точно.

Оставьте свой комментарий