Файл robots.txt поможет пресечь дублирование контента

Файл robots.txt поможет пресечь дублирование контента. Перед тем как зайти на сайт поисковик (будь то Яндекс, Гугл) посещает файл robots.txt, и благодаря нему понимает, какие страницы не следует индексировать, а значит,  не нужно допускать их появление в поиске.

Файл robots.txt нужно обязательно настраивать на своем сайте, чтобы избежать дублирования страниц. Ведь дублирование страниц может привести к тому, что ваши позиции по тому или иному запросу могут понизиться в поиске того или иного поисковика. Нужно закрыть от дублирования рубрики, архивы, и прочие разделы, на которых страницы ваших сайтов просто дублируются, чтобы поисковик не выбирал самостоятельно, какую страницу следует показать в поиске – действительную страницу, либо какую-то страницу архива или рубрики, где встречается фрагмент текста, который ищет человек. Поэтому мы и создаем и настраиваем файл robots.txt.

Файл robots.txt создается в текстовом редакторе и имеет формат (.txt). Просто нужно прописать в этом файле некоторые реквизиты, а потом загрузить в корневой раздел сайта. И все. Файл robots.txt создан и загружен, а значит, нам удастся избежать дублирования страниц.

Для моего сайта denrp.ru файл robots.txt выглядит следующим образом:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tagUser-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: https://denrp.ru/
Sitemap: https://denrp.ru/sitemap.xml.gz
Sitemap: https://denrp.ru/sitemap.xml

Вы  можете просто скопировать то, что есть у меня, но только вместо адреса моего сайта указать адрес своего сайта. Disallow означает запрет индексации, и вы можете самостоятельно запретить индексировать и что-то другое на вашем сайте, написав это после Disallow.

Вот мы и создали файл robots.txt. Но так как я специализируюсь на вордпрессе, но и файл robots.txt был составлен для блога на вордпрессе. Если у вас блог тоже на вордпрессе то можете смело использовать данные знания.

Файл robots.

Читать также про то, как обновить вордпресс?

(Visited 33 times, 1 visits today)
Понравилась статья? Поделиться с друзьями:
Denrp.ru
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: