Мой Robots.txt. Правильный файл Robots.txt для WordPress!

Всем привет, сегодня столкнулся с проблемой в настройке файла Robots.txt! При поисковой оптимизации блога, очень важно по закрывать от поисковых систем, так сказать — «всякий хлам». Поэтому, в сегодняшнем посте пойдет речь о файле «robots.txt» для WordPress, о правильном файле robots.txt.

Для начала Что такое Robots.txt? — Это файл настройки индексации блога WordPress, с помощью которого мы можем сказать поисковым системам какие ссылки, каталоги и страницы не нужно индексировать, тоесть попросту говоря закрыть необходимые нам каталоги, ссылки и страницы от индексации в поисковых системах.

Вы спросите «Для чего это нужно?» А нужно это для того, чтобы в базе поисковых систем не собирался мусор. Приведу пример:

каждый новый пост в блоге имеет свою рубрику, подрубрику, теги и метки. Таким образом, получается, что одна статья имеет множество одинаковых страниц, так как к ней прикреплены разные рубрики, метки.

И вот от этого хлама и избавит нас «правильный файл robots.txt»

Приведу Вам пример «своего файла robots.txt», с кратким описанием.

Что такое «Disallow». Disallow – это запрет индексации.

User-agent: * - основные правила
Allow: /wp-content/uploads/ - тут я разрешил папку «uploads», для индексации изображений
Disallow: /wp-login.php - вход в админ панель блога
Disallow: /wp-register.php - регистрация на блоге
Disallow: /xmlrpc.php - где-то вычитал, что желательно закрыть скрипт удаленных процедур
Disallow: /template.html
Disallow: /cgi-bin –  скриптов
Disallow: /wp-admin – админки
Disallow: /wp-includes – wp-includes
Disallow: /wp-content/plugins – плагинов
Disallow: /wp-content/cache – кэша (если есть)
Disallow: /wp-content/themes – тем
Disallow: /wp-content/photo - в моем случае я еще закрыл папку «photo», папку галереи
Disallow: /wp-trackback – трэкбеков
Disallow: /wp-feed – фида (RSS ленты)
Disallow: /wp-comments – комментариев
Disallow: */trackback – трэкбеков
Disallow: */feed – фида (RSS ленты)
Disallow: */comments – комментариев
Disallow: /tag – теги (метки, ярлыки)
Disallow: /page/ - закрываем страницы от плагина pagenavi
Disallow: /category – категорий (рубрик)
Disallow: /archive - архивы
Sitemap: http://evgmoskalenko.com/sitemap.xml - говорим поисковым системам по какому адресу находится наша карта сайта

Типы адресов для запрета:

Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?utm_source

Скрываемся от интернет-архива:

User-agent: ia_archiver
Disallow: /

Делается это для того, чтобы Ваш сайт не индексировался Веб-Архивом. Я сделал такое для того, чтобы никто не вытащил мой блог из интернет-архива и не сделал точную копию.

Правила для Яндекса:

User-agent: Yandex – правила для Яндекса
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/photo
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /page/
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?utm_source
Host: evgmoskalenko.com - исключение дублей с www.evgmoskalenko.com

Посмотреть мой файл «Robots.txt», можно тут: (нажимаем, сюда)

Мои заметки:

  1. Запрещаем индексацию комментариев Disallow: */comments. Пока я еще не определился, совсем точно, открыть комментарии для индексации или же нет, так как иногда нужную информацию я нахожу именно в комментариях. Пока закрыл для индексации, а там будет видно!
  2. В правиле Allow, в принципе нет необходимости, так как в файле robots.txt пишутся правила для того, что мы запрещаем для индексации, а всё остальное разрешено.

Изначально в «Wordpress» нет файла «robots.txt», поэтому не забудьте создать в корне вашего блога текстовый фал, с правилами для запрета индексации.

Если у Вас есть какие-то заметки, замечания или советы по поводу «моего файла robots.txt», напишите пожалуйста в комментариях! Буду очень признателен. От себя еще хочу добавить или даже порекомендовать очень сильные видео курсы про блоггинг в интернете, в которых затрагиваются следующие темы: Как создать блог. Как продвинуть блог. Ну и конечно-же как зарабатывать на блогах.

Видосик про Robots.txt

Похожие заметки
Последние заметки
Если вам понравилась статья, вы можете подписаться на RSS или e-mail рассылку. Для получения обновлений по электронной почте, введите ваш e-mail адрес в эту форму (доставка от SmartResponder):

86 комментариев

  1. Вячеслав,
    1

    Я у себя в файле роботс.тхт объеденил правила для Гугла и Яндекс

  2. Евгений Москаленко,
    2

    Зачем? :)

  3. Zver,
    3

    Спасибо автору. помогло)

  4. alekz71,
    4

    Чтобы сэкономить, можно кое-что объединить — например 12 строчек, касающихся управления вордпрессом, закрываются одним правилом

    Disallow: /wp-

    Главное теперь — не назвать таким началом ни одну страницу или раздел...

  5. Евгений Москаленко,
    5

    Спасибо, попробуем как нить, вот только большой принципиальности ведь нет, сколько в файле строк, как по мне! Может я конечно и ошибаюсь. :) Пока тестирую такой robots.txt, а там посмотрим. Спасибо за предложение! :)

  6. fuck_blogspot,
    6

    Чоткий роботс, возьму за основу.

    Смысл разделять правила для поисковиков есть, поскольку ради перестраховки у яндекса надо закрыть всё, что может создавать дубли.

    С гуглом попроще, он сам умеет фильтровать, если вдруг что-то упустили...

  7. Sveto,
    7

    Занятно! Реально просто отлично написано. :)

  8. TDelka,
    8

    Огромное спасибо за инфу. Автору респект и уважуха.

  9. nkaado,
    9

    Я бы открыл тэги, но перед этим добавил бы к каждому из них описание на 700-1000 символов без пробелов с одним «ключом» на этот тэг. А статьи на этот тэг разместил бы в виде простого списка, без анонса. Тем самым мы исключаем дубли и добавляем в индекс несколько десятков страниц, плюс получаем дополнительную перелинковку, что в итоге дает рост позиций и увеличение трафа. Проверено на своем опыте.

  10. Евгений Москаленко,
    10

    Идея интересная, вот только пока не готов делать такой эксперимент. Описание тега в 700-1000 символов — это очень много, оно будет как мета-тег description. А это не есть гуд!) Кстати на Вашем сайте такого метода не увидел...)

  11. nkaado,
    11

    Ни в каких «нехороших» тегах оно не числиться. Во всяком случае я так сделал, чтобы описание меток было просто в обычном div-е. Оно для поисковиков будет выглядеть ничем не хуже обычной страницы.

    На сайте в подписи этого нет, т.к. сайт этот просто для души. Было просто интересно. Сейчас его забросил ибо все силы направлены на развитие 4-х проектов. Такой эксперимент провел на одном из них. Получил прирост +10% трафика, хотя не факт, что все это от тегов, но положительного от них больше, это точно. Теги правда снова закрыл от индексации, т.к. количество их растет, а описание на все писать времени нет.

  12. Евгений Москаленко,
    12

    Чисто теоретически я вижу в этом смысл) Но вот никогда не задумывался как описание рубрики или тегов влияет на поисковик. Я в рубриках добавляю специальные параметры и каждой рубрике даю определенное описание и ключевики — Высокочастотные запросы...)

    Надо будет попробовать такой вариант! Спасибо большое за наводку!) Как раз на днях думал делать под сапу сайтец, а с тегами — это ведь можно миллион страниц налепить.) Да и в индексе сидеть они буду замечательно...)

  13. nkaado,
    13

    Вообще эта идея родилась, когда на одном сайте забыл закрыть от индексации тэги и один из них спустя месяца полтора вылез в топ 5 по НЧ запросу, который был очень для меня интересен. Тогда у меня в тэгах статьи были с анонсами.

    А плюсов для поисковиков тут два: затачиваем описание под один НЧ. Два вхождения на 1000 символов. Одно прямое, другое с разбавлением. И через пару апов я думаю этот НЧ вылезет в ТОП. НЧ я беру примерно 200 уников в месяц. И второй плюс — халявная перелинковка, да и поведенческий поднимите, если НЧ вылезет и люди будут по нему ходить.

  14. Евгений Москаленко,
    14

    Я на этом блоге теги позакрывал, чтобы от мусора избавится и «PR» не перетекал. Сейчас полностью все силы кинул на оптимизацию кода, внешнюю и внутреннюю оптимизацию делаю. Давно хотел это сделать, и вот как раз месяц назад время появилось. Собираюсь даже некоторые посты переписать!) Когда все это закончу. То наверное буду пробовать эксперимент с тегами.

    Сейчас так-же у меня идет эксперимент — я сделал прослойку с ВЧ и СЧ запросами из рубрик...) И боюсь чтоб оно как-то не перекосило мое восприятие эксперимента.

  15. nkaado,
    15

    Что за прослоечка ВЧ и СЧ из рубрик? Поделитесь если не секрет.

  16. Евгений Москаленко,
    16

    Не секрет!) Зайди в любую рубрику, к примеру в «Блоггинг», открой «просмотр по коду» и увидишь там ВЧ и СЧ ключевики и описание для рубрики. Таким образом я со страниц, постов ссылаюсь периодически по этим запросам на рубрику, так-же открыл их для индексации...)

  17. nkaado,
    17

    Ага, понял идею. И как результат или еще рано пока говорить?

  18. Евгений Москаленко,
    18

    Пока еще рано говорить, но на рубрику «Блоггинг», в Гугле — страница находится на 2-ой страничке выдачи! В Яндексе тоже на второй.) Вроде как-то так...

  19. Простой,
    19

    Полезный совет. А нужно ли / как скрывать /скрыть такое: сайт.ру/2012/08??

    А то в яндекс вебмастере показывается, что это вот про индексировалось: сайт.ру/2012/08.

    То есть как я понимаю архив в индексацию влез?

  20. Евгений Москаленко,
    20

    Да проиндексировалось скорей всего если такое показывает вебмастер, закрывается в роботс.тхт вот так вот: Disallow: /archive

  21. Простой,
    21

    А как правильней: Disallow: /archive или Disallow: /archives/ ???

    Или это от шаблона зависит?

  22. Евгений Москаленко,
    22

    Правильней и так Disallow: /archive и так Disallow: /archive/ от шаблона тут ничего не зависит, посмотрите на мой Robots.txt и сделайте примерно так-же, только все самое ненужное уберите и дайте поисковым системам 2 месяца и постоянно пишите в блог. И тогда все будет хорошо!)

  23. Простой,
    23

    Я по поводу буквы S в конце спрашивал: Disallow: /archive или почему-то некоторые пишут Disallow: /archives

    — правильнее как?

  24. Евгений Москаленко,
    24

    Если верить кодексу вордпреса, то выводить архивы можно таким методом:

    <?php wp_get_archives('type=yearly'); ?>

    Следовательно и пишут Arhives!) Я раньше использовал «archive». У меня все архивы закрыты от индексации в поисковиках, в вебмастере. Но Вам советую ставить «archives», если у вас wp_get_archives

  25. Експерт,
    25

    Посмотрите robots.txt на сайте ru.wordpress.org и на примерах сайтов, которые на нем представлены. Зачем практически все закрывать?

    Архивы с ЧПУ лучше закрывать вот так Disallow: /20*/*

  26. Евгений Москаленко,
    26

    Посмотрел) Спасибо за наводочку, но я когда закрывал от индексации некие элементы, то я руководствовался тем, что хотел закрыть весь хлам от индексации. Именно поэтому всем советую так делать! ИМХО!!!). В поисковой выдаче должны быть только необходимые страницы, если это СДЛ. Зачем там левые страницы? Это первый момент. Ну а второй момент — часть всего, что я закрыл, я сделал это по РОБОТС.ТХТ от разработчиков WordPress!)

    Поэтому всем рекомендую закрывать весь хлам сайта (ненужные страницы) в Robots.txt... Ведь так даже проще видеть какие страницы в выдаче, да и у СДЛ — это не количество страниц в поисковой системе, а их качество!)

    А по поводу Архивов, то почему так лучше? В чем разница. Если есть смысл, то подправлю статью!)

  27. Простой,
    27

    Ар­хи­вы с ЧПУ лучше за­кры­вать вот так Disallow: /20*/*

    А почему закрывать не так: Disallow: /20* ??? Есть разница???

  28. Евгений Москаленко,
    28

    Зачем закрывать не зная работает оно или нет?) Если я точно знаю, что вот такая вот схема: Disallow: /archive и так Disallow: /archive/ — работает. То зачем что-то изобретать?

    А если Ваш сайт, блог доживет до 3012 года?) /3012/10/, Вам или уже кому-то придется менять файл причем и указать еще 2012 год. Или возможен такой вариант, что какая-то страница будет начинаться с цифры 20, к примеру — «20 способов заработать в интернете» и что тогда? Пытаться понять почему не индексируется, забыв о файле robots.txt!)

  29. Експерт,
    29

    _http://evgmoskalenko.com/archive/ — ОШИБКА 404! Зачем закрывать от индексации страницу с ошибкой???

  30. Евгений Москаленко,
    30

    Это у меня плагинчик убрал category из ссылки и походу archive тоже убрал. Так вот я добавил, на всякий случай, можно и не добавлять. Но так как, где-то может фигурировать ссылка .../archive/2012/10, к примеру! Так вот, если поисковик наткнется, индексировать не будет!)

  31. Експерт,
    31

    Может кто поделится ссылкой, где Яндекс описывает информацию касательно дублирования контента. Буду очень благодарен.

  32. Евгений Москаленко,
    32

    Там нету такого, но по моему однозначно написано в разделе какой сайт считается СДЛ-ом. Когда-то платон меня перекинул на такую страничку!)

  33. Skilboy83,
    33

    У меня такой же «robots.txt» как и у вас, Я размещаю платные ссылки на своем сайте, проблем не было.Но после того как я разместил последнею ссылку, сервис сообщил, что она зыкрыта от индексации в файле «robots.txt». Помогите разобраться в чем причина.

  34. Евгений Москаленко,
    34

    С Удовольствием помогу!) Можно плиз ссылочку на статью где расположена данная продажная ссылка и еще что за ссылка. Жду...)

  35. Сергей,
    35

    Вот посмотрел, что у тебя Яндекс не индексирует картинки. Почему? Как сделать чтоб индексировал и стоит ли? Я новичок и еще плохо в этом разбираюсь.

  36. Евгений Москаленко,
    36

    У меня Яндекс и Гугл хорошо индексирует картинки. Для того, чтобы картинки индексировались, необходимо в файле Robots.txt вписать такое: Allow: /wp-content/uploads/

  37. Сергей,
    37

    Но Site-Auditor показывает, что Яндекс проиндексировал 0 картинок? Поясните, просто я могу еще не понимать, слабо разбираюсь пока в этом!!!

  38. Евгений Москаленко,
    38

    Сергей, обновите «Сайт-Аудитор», там уже реализовали баг с Яндекс картинками!)

  39. Евгений Москаленко,
    39

    Сергей, все верно говорите! Я заметил это еще в прошлом месяце, а потом через недельки две появились, потом снова Аудитор показывает ноль. Если пройти по вот этой ссылочке, то видно, что часть картинок проиндексирована, но в «Аудиторе» все равно ноль! Это конечно может сказывается какой-то из моих экспериментов или допиливания шаблона. Но думаю, что вскоре Яша их подхватит.

  40. Светлана,
    40

    Подскажите, пожалуйста, как правильно прописать в случае, когда теги остаются открытыми, а вот их листинг закрыть. То есть оставить только первую страницу тегов открытой для индексации, а все последующие закрыть.

  41. Евгений Москаленко,
    41

    Светлана, Вы имеете в виду: есть к примеру тег — «заработать» и много других тегов. Также есть страница, на которой отображаются статьи тега «заработать». И надо индексировать только первую страницу? Не совсем понял вопрос. Если можно, уточните пожалуйста, правильно ли я понял вопрос, или киньте пожалуйста пример на сайте. Постараюсь помочь!)

  42. Светлана,
    42

    Спасибо что откликнулись :) Вообщем-то правильно поняли. Есть тег и есть страница такого вида: http:сайт/tag/заработать У нее есть продолжение на странице 2, 3, 4 (так как статей, скажем 50, а на одной странице открывается 10).

    Так вот я хочу, чтобы первая страница попала в индекс, а 2,3,4 и т.д. не попадали (так как я считаю, что это дубли. А первая будет уникальная). Если просто убрать Disallow: /tag — то мне кажется, что все: и 2, и 3, и 4 будут в индексе.

    У меня сейчас вообще параноидальный роботс, где теги закрыты вот так:

    Disallow: /tag

    Disallow: /tag/*/page/

    Если первую сроку убрать, а вторую строчку оставить получится то о чем я говорю?

    Или нужно вот так запрет прописать:

    Disallow: /tag/*/page/*

    Эти технические моменты :(... такие технические

  43. Евгений Москаленко,
    43

    Светлана, давайте проанализируем ситуацию!) По идеи, такие правила должны закрыть все теги от индексации, полностью:

    Disallow: /tag/ и Disallow: */tag/*

    Так-же не стоит забывать про правило — Allow:

    Специально пошел в админку и нашел там тег со страницами, открыл его и получился такой вид урла — http://evgmoskalenko.com/tag/seo-2

    Если такой вид правила — Disallow: /tag/*/page/, то у Вас все теги и все страницы тегов неиндексируются. Но я думаю, что если прописать дополнительное условие — Allow: /tag/*/page/1, тогда первая страница должна быть открыта для индексации... Но тут есть маленький момент (нюанс). Если я в адресной строке введу урл — http://evgmoskalenko.com/tag/seo-2/page/1, то меня перебросит редиректом на урл — http://evgmoskalenko.com/tag/seo-2.

    И тут два варианта, либо у меня стоит, в плагине "Платинум СЕО ", редирект на более упрощенный урл, то теория верна, а если нет, то нет. Проверить это можно экспериментом. Правда подождать надо недельку, другую, пока поисковые системы не переиндексируют блог.

    Вообще я бы порекомендовал закрыть теги от индексации, хотя многие их открывают и эти страницы кстати вылазят в ТОП сами, по НЧ запросам, и как-то даже сайты не попадают под фильтры и АГС. Или прочитать мои комментарии с «nkaado» к этой статье, выше, 9-тый комментарий, дата: 14.08.2012 в 20:48.

    P.S. Sorry, что совместил Ваши комментарии, подумал, что так проще будет читать и воспринимать информацию!)

  44. Светлана,
    44

    M.E.S, спасибо. Пошла пробовать.

    У меня теги закрыты и всегда были закрыты. Но вот сейчас решила провести эксперимент, как вы и говорите — собрать траф по ним. А для этого сделаю на первой странице уникальное описание — текст минимум на 1500 знаков, а дальше оставлю только названия записей и превьюшку-картинку,, убрав анонс полностью. Даже, если это и будет дублем, то мне кажется не очень «злостным». А значит пользы от него больше, чем вреда.

    Ну, так мне кажется. Проведу эксперимент, узнаю наверняка :)

  45. Евгений Москаленко,
    45

    Не за что!)

  46. Олег,
    46

    Периодически вношу правки в свой robots.txt, но идеального все равно не существует. Бывает все закроешь и все равно в соплях полно страниц, а на другом блоге все открыто и процент в основной выдаче чуть ли не 100%.

  47. Евгений Москаленко,
    47

    Я для себя нашел идеальный Роботс.ТХТ!) У меня в выдаче лишнего нет ничего)

  48. Олег,
    48

    Да я вижу, поработал серьезно. А разве /page/ и */page/* закрывают не одно и то же?

  49. Евгений Москаленко,
    49

    Одно и тоже, но я как-то подстраховался) И так и так поставил, и так на много спокойней, пробовал по одному варианту, все равно индексировались!)

  50. Valeria,
    50

    Жаркие споры идут в комментариях )) А статья очень важная.

  51. Дмитрий,
    51

    Да сколько не спорь я его нужно настраивать под каждый сайт самим убедился уже сто раз

  52. Евгений Москаленко,
    52

    Правду говоришь Дмитрий!)

  53. Степан,
    53

    Как же это все долго длиться((( Я пока настроил гугл сайт мап, теперь пока сделаю робот тхт пройдет уйма времени, а ведь мне нужно еще статьи писать на блог... Не могу понять что ставить вместо звездочек к примеру вот тут — */comment-page-* что там нужно писать???

  54. Евгений Москаленко,
    54

    Без этого никуда! Все через это проходят. Вместо звездочек ставить вообще ничего не надо, звездочки означают вложения, что все страницы, в которые входит «/comment-page-» закрыты от индексации.

  55. Степан,
    55

    Нужно ли ставить User-agent: ia_archiver? Я установил гугл сайт мап генератор, и когда загрузил пустые файлы файл sitemap.xml и sitemap.xml.gz увидел, что у них окончание sitemap.xml.gz.txt, это txt влияет на что-то?

  56. Евгений Москаленко,
    56

    Степан, Вы читаете вообще статью перед комментированием?) Или комментируете просто для количества комментариев? Я не знаю необходимо ли вам ставить «User-agent: ia_archiver», мне необходимо, и я в статье написал зачем я это сделал. Лучше уберите расширение «.txt», они там не нужны, лишние.

  57. Степан,
    57

    Я читаю! Просто дошел до этого момента, и возник вопрос вот и задал!

  58. Евгений Москаленко,
    58

    Интернет архив в идеале можно и не закрывать, многие не закрывают, но я склоняюсь к тому мнение, что я не хочу, чтобы мой сайт был в интернет-архиве, я хочу чтобы мой сайт лежал только на моем хостинге и на моем компьютере. Если вдруг что-то случится, то ли хостинг затупит или блог пропадет или что-то с доменом случится, то я всегда смогу восстановить блог из своих архивов, а не кто-то напарсит его из интернет архива, сделает точную копию и так далее!) Поэтому блог закрыл в файле robots.txt от интернет архива!)

  59. Степан,
    59

    Теперь понял! Огромное спасибо! Сейчас составлю robots.txt и закрою от интернет архива! Посмотри пожалуйста на мой робот тхт. Правильно ? yakonkurent.ru/robots.txt

  60. Евгений Москаленко,
    60

    Неа, не правильно, есть ошибки, напиши мне в скайп или на почту, через обратную связь или на мыло, емейл возьми сверху в сайдбаре, я помогу сделать и объясню ошибки)

  61. eldarbal,
    61

    Здравствуйте, зачем закрывать Disallow: /category – категорий (рубрик)??? Разве это не надо закрывать открытым. Потом от индексации сами статьи не закроются?

  62. Евгений Москаленко,
    62

    Нет статьи не закроются, я у себя рубрики открываю, но многие их закрывают, как и теги. У меня теги закрыты, а рубрики и статьи и страницы — открыты!)

  63. eldarbal,
    63

    Тогда зачем для других написали Disallow: /category. Когда у самого открыто?:)

  64. Евгений Москаленко,
    64

    Потому что по умолчанию все стремятся закрыть рубрики от индексации, а я экспериментирую и поэтому открыл их для себя. Также, таким образом, я показал людям, как закрывать рубрики от индексации.

  65. Сергей,
    65

    Ну все разобрался с этим robots.txt. На сегодняшний день все вроде нормально! А ты действительно со своим хорошо поработал!!!

  66. Евгений Москаленко,
    66

    Ну да, я на него времени убил много. Это наверное один из самых ключевых моментов в сайтостроении, ведь файлик берет на себя всю основную работу в борьбе с дублированным контентом и всякого мусора в поисковой выдаче. Что хорошо влияет на продвижение сайта в целом.)

  67. Сергей,
    67

    Это точно! С ним надо серьезно работать, а то я взял шаблон Борисова и радуюсь. Но потом, правда, немного переделал. Еще многому надо научиться!

  68. Makver,
    68

    Подскажите пожалуйста по поводу закрытия комментариев в файле robots.txt

    Вот, у вас написано, что комментарии надо закрыть правилом Disallow: */comments/

    При этом страница комментариев на этом сайте имеет вид: evgmoskalenko.com/makemon...tml#comment-4727

    То есть упоминается слово comment, а не comments

    Я на своём сайте пробовала прописать:

    Disallow: /comment Disallow: */comment Disallow: */*comment Disallow: */*comment/ Disallow: */*/comment/ Disallow: */*/comment Disallow: /*comment Disallow: /*comment* Disallow: /*comment/ Disallow: /comment/ Disallow: */comment/ Disallow: */comments Disallow: */comments/

    Но комментарии всё равно открыты. Хотя имеют такой же вид, как и на этом сайте: сайт.ru/статья.html#comment-цифры

    Как же всё-таки правильно закрыть комментарии от индексирования?

  69. В моем роботс.тхт есть еще вот такой вот параметр:

    «Disallow: */comment-» и «Disallow: */comment-page-*»

    Но я не парюсь об этом, ссылки вида evgmoskalenko.com/makemon...tml#comment-4727 — не индексируются.

  70. Makver,
    70

    Не индексируются у Вас потому что закрыты?

    Или не индексируются ни у кого независимо от того закрыты или нет?

  71. Потому что закрыты! Я так полагаю они и у вас закрыты, просто вам кажется, что они открыты. Ссылка как вы писали выше присутствует в поисковых системах?

  72. Makver,
    72

    Попробовала у себя. Не помогло ни одно, ни второе. Комментарии разрешены.

    У вас точно комментарии закрыты?

    Урлы одного вида у нас. Странно.

    Что значит, кажется? Я же проверяю в вебмастере яндекса.

  73. Скиньте мне свой сайт по почте, адрес есть в сайдбаре сверху.

    Вебмастер может показать одно, а вот на самом деле может быть другое, страницы такого вида присутствуют в поисковой выдаче?

  74. Андрей Челноков,
    74

    У меня робот почти такой же. Добавлено пару личных строчек, чтобы не индексировал созданные папки, например, с кроссвордами! Это ни к чему.

  75. Min4un,
    75

    Спасибо сделал себе такой же робот.тхт

  76. kokolipo,
    76

    Да, такой блог однозначно надо раскручивать сильнее — что б как можно больше людей о нем узнали

  77. Tasta,
    77

    А для индексации картинок отдельные наборы правил не используете?

    Очень в тему, если картинки больше как уник.

  78. Олег,
    78

    Занятно. Подпишусь-ка я на RSS Вашего блога пожалуй.

  79. Карина,
    79

    Огромное человеческое спасибочки за статью! Давно искал хороший вариант файла robots.txt для вордпресса.

  80. Антон,
    80

    Мне нравятся Ваши посты, заставляет задуматься…

  81. Юля,
    81

    Занятно! Реально просто отлично написано. :)

  82. Роман,
    82

    Занятно. Очень хороший блог, с классным дизайном, подпишусь-ка я на RSS пожалуй, Евгений.

  83. Саша,
    83

    Спасибо за статью, всегда рад почитать вас!

  84. Маша,
    84

    Отлично написано. А главное хорошо разжевано.

  85. Виталий,
    85

    Евгений, не могли бы Вы помочь прояснить/устранить проблему, связанную с текстом файла роботса? Вкратце суть проблемы в том, что текст файла роботса я не менял, изначально написав его минимально-обязательным. В течении года ошибок не было, все страницы индексировались (сайту чуть более года), и вдруг количество ошибок с пометкой «документ запрещен роботсом» выросло за декабрь до 340 страниц.

    При этом 95% запрещенных страниц имеет один и тот же вид, типа /?р=х (х — цифры, от двухзначных до четырехзначных)...

    Может быть это вообще нормальное явление и роботс закрывает какие то дубли страниц? Ведь в тексте роботса присутствует правило:

    Disallow: /?s=

    Или это не оно? И почему около года яндеск не обращал на это внимание?

    Прошу вашего совета.

  86. Евгений Москаленко,
    86

    Виталя, в твоем случае это очень даже нормально и правильно.

    На первый взгляд в индексе все хорошо, присутствуют: теги, категории, записи и страницы. Скорее всего боты поисковые не сразу закрыли эти страницы от индексации.

    Правда странно, что оно показывает их как ошибки. Если есть сообщение, что это ошибки, значит кто-то ссылается на такие страницы. Поисковые системы по ним переходят и отдают сообщение, что они закрыты для индексации...

Оставить комментарий