Простой и быстрый метод для того, чтобы RSS-лента сайта на feedburner’e не попадала в индекс поисковиков.
Чтобы поисковик не счел вашу ленту дубликатом ваших материалов, а пользователь, кликнувший на ленту — не напоролся на неформатированную абракадабру вместо желаемой страницы. И тогда он может быть огорчен — а зачем нам огорченный пользователь?! А вдруг у вас еще и реклама на сайте…
Итак:
1) Заходите в управление вашей записью на фидбернере.
2) идете во вкладку «Publicize», пункт меню «NoIndex»
3) активируете (гугель еще предлагает насолить своему главному конкуренту Яху — поставить галочку на «Indicate that your feed should not be used by Yahoo! Pipes» — но это нам не надо
4) всё, все счастливы
Таким должно быть типовое содержимое файла robots.txt для WordPress, который позволяет:
- пресечь индексирование поисковиками служебных файлов и папок вордпресса
- предохраниться от дублирования содержимого
User-agent: * Allow: /*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*? Allow: /wp-content/uploads
Спасибо за статью, вот только мне не понятно, в конце статьи вы приводите пример, какой должен быть Robots.txt и в примере перечеркнуты «Allow: /*» и «Allow: /wp-content/uploads» — это означает что их не надо вписывать в Robots или что???
Если их не надо вписывать в Роботс, то тогда это надо прокомментировать, а то мне лично не понятно!)) Надо их в Роботс вписывать или нет!))
Allow: /* — означает что нужно индексировать весь сайт (некоторые последующие правила отменяют индексацию части папок)
Allow: /wp-content/uploads — приводится специально последним и служит для того, чтобы после всех запрещающих правил разрешить идексацию папки с картинками.
Зачеркнуты у меня эти два пункта потому что они не обязательные и их можно не писать — хуже не будет точно.