Новое и актуальное в robots.txt от Яндекс

13/04/2018

Владельцы русскоязычных интернет-ресурсов и вебмастера уже должны быть в курсе о новости от Яндекс относительно файла robots.txt, что имеет отношение к индексации сайта.

Ранее необходимо было в обязательном порядке правильно прописывать в файле robots.txt директиву host, что и мы рекомендовали своим клиентам при её отсутствии или некорректном указании. Но так как она не имеет значения для Google, а с 20.03.2018 и сам Яндекс в своем блоге анонсировал, что отказывается от этой директивы, при этом главным важным условием осталось то, что должен быть 301 постраничный редирект на всех существующих НЕ главных зеркалах вашего сайта.

директива host

Если вы по каким-то своим убеждениям решите по старинке оставить host в robots.txt или просто пока боитесь совершать такой шаг, в этом ничего страшного не будет, суть в том, что робот всего лишь будет её игнорировать, тоесть в этом случае она просто никакой роли играть не будет. Поэтому просто рекомендуем правильно прописывать то, что должно быть и не добавлять ничего лишнего.

Несмотря на это некоторые вебмастера умудряются даже в таком простом, но необходимом файле роботс проявить свою креативность и сделать его действительно уникальным. А загляните-ка в файл всеми известной компании Nike…

файл robots.txt

Не то чтобы мы ставим это как пример для подражания, просто вдохновляйтесь и будьте лучшими в своём деле.

Автор статьи: Виктория Солодар
СВЯЗАННЫЕ СТАТЬИ

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Заказать звонок

rseo