Файл robots.txt поможет пресечь дублирование контента

Файл robots.txt поможет пресечь дублирование контентаФайл robots.txt поможет пресечь дублирование контента. Перед тем как зайти на сайт поисковик (будь то Яндекс, Гугл) посещает файл robots.txt, и благодаря нему понимает, какие страницы не следует индексировать, а значит,  не нужно допускать их появление в поиске.

Файл robots.txt нужно обязательно настраивать на своем сайте, чтобы избежать дублирования страниц. Ведь дублирование страниц может привести к тому, что ваши позиции по тому или иному запросу могут понизиться в поиске того или иного поисковика. Нужно закрыть от дублирования рубрики, архивы, и прочие разделы, на которых страницы ваших сайтов просто дублируются, чтобы поисковик не выбирал самостоятельно, какую страницу следует показать в поиске – действительную страницу, либо какую-то страницу архива или рубрики, где встречается фрагмент текста, который ищет человек. Поэтому мы и создаем и настраиваем файл robots.txt.

Файл robots.txt создается в текстовом редакторе и имеет формат (.txt). Просто нужно прописать в этом файле некоторые реквизиты, а потом загрузить в корневой раздел сайта. И все. Файл robots.txt создан и загружен, а значит, нам удастся избежать дублирования страниц.

Для моего сайта denrp.ru файл robots.txt выглядит следующим образом:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tagUser-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: https://denrp.ru/
Sitemap: https://denrp.ru/sitemap.xml.gz
Sitemap: https://denrp.ru/sitemap.xml

Вы  можете просто скопировать то, что есть у меня, но только вместо адреса моего сайта указать адрес своего сайта. Disallow означает запрет индексации, и вы можете самостоятельно запретить индексировать и что-то другое на вашем сайте, написав это после Disallow.

Вот мы и создали файл robots.txt. Но так как я специализируюсь на вордпрессе, но и файл robots.txt был составлен для блога на вордпрессе. Если у вас блог тоже на вордпрессе то можете смело использовать данные знания.

Файл robots.

Читать также про то, как обновить вордпресс?

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: