Файл robots.txt — это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml и вообще, наличие этого файла — признак любого уважающего себя сайта. Читать полностью »

Категория: WordPress | Теги: ,

robot.jpgПоявилась необходимость проверить лог-файлы на предмет посещения страниц роботами Яндекса и тут я понял что совсем не знаю как отличить один робот от другого. В общем нашел довольно полезную информацию.

Итак у яндекса есть основные роботы… Читать полностью »

Категория: Сайтостроение | Теги: ,

Ситуация такая: Был сайт, назовем его «domen.ru» и все было хорошо, индексировался нормально, в выдаче был на хороших местах, но робот яндекса индексировал его с WWW.

Я добавил в robots.txt диррективу «Host: …» с нужным мне видом домена и добавил в .htaccess следующее Читать полностью »

Ситуация такая. В ближайшем будущем я собираюсь переводить данный блог с домена xxxxxx.com на новый домен — yyyyyy.com. С последнего сейчас стоит 301-й редирект на домен xxxxxx.com.

Благодаря этому самому 301-му редиректу показатели yyyyyy.com склеились с доменом xxxxxx.com, т.е. на данный момент это тИЦ 500 и PR 4. Читать полностью »

Простой и быстрый метод для того, чтобы RSS-лента сайта на feedburner’e не попадала в индекс поисковиков.

Чтобы поисковик не счел вашу ленту дубликатом ваших материалов, а пользователь, кликнувший на ленту — не напоролся на неформатированную абракадабру вместо желаемой страницы. И тогда он может быть огорчен — а зачем нам огорченный пользователь?! А вдруг у вас еще и реклама на сайте… Читать полностью »

Категория: WordPress, Сайтостроение | Теги: , ,