подскажите надо ли все таки в robot.txt отдельно указывать инструкции для яндекса? кто говорит что надо, кто не надо... по логике напрашивается - зачем что-то указывать отдельно для яндекса если он и так, не найдя инструкции конкретно для себя, будет смотреть в общие инструкции??
это я видел. и как раз его и поставил на свой сайт. но потом на глаза попался robots.txt который вместе с ocstore идет и возник вот такой вопрос... а зачем вообще указывать отдельно для яндекса...
Дань традициям. Вообще, у Яндекса есть (или, по крайней мере, были) специфические директивы для роботса, которые другие поисковики восприняли бы, как ошибку. Универсальные директивы Яндекс понимает, так что отдельно для него можно не указывать ничего, если не нужно что-то специфическое.
