robots.txt и ЧПУ

Тема в разделе "Поисковые системы", создана пользователем fster, 2 июн 2013.

  1. fster

    fster

    Регистрация:
    14 ноя 2012
    Сообщения:
    105
    Симпатии:
    38
    Добрый день. Такой вопрос возник. Если на Opencart вкл. ЧПУ то в robots.txt надо запрещать ссылки с учетом ЧПУ или без? Напиример:

    Disallow: index.php?route=record/blog&blog_id=1

    или

    Disallow: /articles

    Как правильно ответа так и не нашел...
     
  2. Serkist

    Serkist

    Регистрация:
    8 фев 2013
    Сообщения:
    367
    Симпатии:
    75
    я запрещал с учетом чпу
    Disallow: /checkout
    Disallow: /shopping-cart
    Disallow: /compare-products

    По идее, в html-коде страницы ссылки выводятся именно в чпу-формате.
    А для роботов имеет место код страницы. Т.е., что в нем страницы указано, то и прописывай в роботс.
     
  3. Bnopen

    Bnopen Команда форума

    Регистрация:
    3 мар 2013
    Сообщения:
    1.264
    Симпатии:
    534
    fster, можете поиграться и проанализировать роботс здесь (под яндекс) -
    http://webmaster.yandex.ua/robots.xml

    По идее если чпу, то нужно Disallow: /articles, если без, то - /*route=record/
    Можете добавить /*route=record/ и проверить ссылку /articles на сервисе на разрешение к индексации.