файл robots.txt

’tag’

Правильный robots.txt для WordPress 3.3.2

Июнь 1, 2012

Свой блог я установил недавно и совсем забыл про файл robots.txt. К мысли исправить его меня подтолкнул просмотр выдачи проиндексированных страниц моего сайта в выдаче Google. Там по непонятной причине оказались страницы с метками (тегами), который от индексации я закрыл.

Но оставлю вопрос с метками. Я вспомнил про robots.txt, посмотрел его через File Editor плагина SEO Ultimate.

Не помню, как выглядел файл изначально, там было, если не ошибаюсь, 2-4 директивы. Еще более меня подталкивало к их увеличению мое желание закрыть от индексации текстовые файлы.

После поиска в Интернете и просмотров плагинов для редактирования и создания файла robots.txt я остановился на следующей комбинации:

# Added by SEO Ultimate's Link Mask Generator module
User-agent: *
Disallow: /go/
# End Link Mask Generator output

# cay
Disallow: /*?
Disallow: /wp-
Disallow: /wp-*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.txt$
Disallow: /feed/
Disallow: /author
Disallow: /cgi-bin/
Disallow: /archive/
Disallow: /wp-admin/
Disallow: /trackback/
Disallow: /wp-content/
Disallow: /wp-content/uploads/*.txt
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: */trackback/
Disallow: */comments/
Disallow: /*/feed
Disallow: */feed/
Disallow: /*rurl=*
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Allow: /?p=
Allow: /wp-content/uploads/
Host: ya.samposebe.ru
# cay
Sitemap: https://ya.samposebe.ru/sitemap.xml

Директивы, что обведены комментарием "# cay", мои. Думаю, что теперь все точно хорошо настроено.

Многие директивы взял, как и сказал, из других плагинов. Со своей стороны добавил:

  • Disallow: /wp-content/uploads/*.txt
  • Allow: /?p=
  • Allow: /wp-content/uploads/
  • Host: ya.samposebe.ru

1-я моя директива явно повторяет ту, что ранее обозначена: Disallow: /*.txt$ – но это на всякий случай.

Позволяю индексировать страницы /?p= специально, чтобы робот переходил по коротким ссылкам, которые я использую их для связи записей вместо длинных SEF-ссылок. Все равно срабатывает перенаправление, поэтому какую ссылку использовать не имеет значения в плане передачи веса страницы.

Папка wp-content закрыта от индексации, а вложения, например, графические, которые буду загружать, хочу индексировать, поэтому открываю директорию /wp-content/uploads/.

Самым главным считаю прописывать ссылку на файл sitemap.xml и главное зеркало, с помощью директивы Host.

Tags: , , , , , , ,
Записано в SEO, WordPress    |    Постоянная ссылка