Свой блог я установил недавно и совсем забыл про файл robots.txt. К мысли исправить его меня подтолкнул просмотр выдачи проиндексированных страниц моего сайта в выдаче Google. Там по непонятной причине оказались страницы с метками (тегами), который от индексации я закрыл.
Но оставлю вопрос с метками. Я вспомнил про robots.txt, посмотрел его через File Editor плагина SEO Ultimate.
Не помню, как выглядел файл изначально, там было, если не ошибаюсь, 2-4 директивы. Еще более меня подталкивало к их увеличению мое желание закрыть от индексации текстовые файлы.
После поиска в Интернете и просмотров плагинов для редактирования и создания файла robots.txt я остановился на следующей комбинации:
# Added by SEO Ultimate's Link Mask Generator module User-agent: * Disallow: /go/ # End Link Mask Generator output # cay Disallow: /*? Disallow: /wp- Disallow: /wp-* Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.php$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ Disallow: /*.txt$ Disallow: /feed/ Disallow: /author Disallow: /cgi-bin/ Disallow: /archive/ Disallow: /wp-admin/ Disallow: /trackback/ Disallow: /wp-content/ Disallow: /wp-content/uploads/*.txt Disallow: /wp-includes/ Disallow: /wp-login.php Disallow: */trackback/ Disallow: */comments/ Disallow: /*/feed Disallow: */feed/ Disallow: /*rurl=* Disallow: /readme.html Disallow: /license.txt Disallow: /search/ Allow: /?p= Allow: /wp-content/uploads/ Host: ya.samposebe.ru # cay Sitemap: https://ya.samposebe.ru/sitemap.xml
Директивы, что обведены комментарием "# cay", мои. Думаю, что теперь все точно хорошо настроено.
Многие директивы взял, как и сказал, из других плагинов. Со своей стороны добавил:
Disallow: /wp-content/uploads/*.txtAllow: /?p=Allow: /wp-content/uploads/Host: ya.samposebe.ru
1-я моя директива явно повторяет ту, что ранее обозначена: Disallow: /*.txt$ – но это на всякий случай.
Позволяю индексировать страницы /?p= специально, чтобы робот переходил по коротким ссылкам, которые я использую их для связи записей вместо длинных SEF-ссылок. Все равно срабатывает перенаправление, поэтому какую ссылку использовать не имеет значения в плане передачи веса страницы.
Папка wp-content закрыта от индексации, а вложения, например, графические, которые буду загружать, хочу индексировать, поэтому открываю директорию /wp-content/uploads/.
Самым главным считаю прописывать ссылку на файл sitemap.xml и главное зеркало, с помощью директивы Host.