eTXT

Предотвращение дублирования контента в WP

Простой и быстрый метод для того, чтобы RSS-лента сайта на feedburner’e не попадала в индекс поисковиков.

Чтобы поисковик не счел вашу ленту дубликатом ваших материалов, а пользователь, кликнувший на ленту — не напоролся на неформатированную абракадабру вместо желаемой страницы. И тогда он может быть огорчен — а зачем нам огорченный пользователь?! А вдруг у вас еще и реклама на сайте…

Итак:
1) Заходите в управление вашей записью на фидбернере.
2) идете во вкладку «Publicize», пункт меню «NoIndex»
3) активируете (гугель еще предлагает насолить своему главному конкуренту Яху — поставить галочку на «Indicate that your feed should not be used by Yahoo! Pipes» — но это нам не надо
4) всё, все счастливы

Таким должно быть типовое содержимое файла robots.txt для WordPress, который позволяет:

  1. пресечь индексирование поисковиками служебных файлов и папок вордпресса
  2. предохраниться от дублирования содержимого

User-agent: *
Allow: /*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

eTXT

2 комментария

  1. Спасибо за статью, вот только мне не понятно, в конце статьи вы приводите пример, какой должен быть Robots.txt и в примере перечеркнуты «Allow: /*» и «Allow: /wp-content/uploads» — это означает что их не надо вписывать в Robots или что???

    Если их не надо вписывать в Роботс, то тогда это надо прокомментировать, а то мне лично не понятно!)) Надо их в Роботс вписывать или нет!))

  2. Allow: /* — означает что нужно индексировать весь сайт (некоторые последующие правила отменяют индексацию части папок)
    Allow: /wp-content/uploads — приводится специально последним и служит для того, чтобы после всех запрещающих правил разрешить идексацию папки с картинками.

    Зачеркнуты у меня эти два пункта потому что они не обязательные и их можно не писать — хуже не будет точно.

Оставить комментарий

Ваш электронный адрес не будет опубликован.


*


12 − три =

*