Регулярное выражение для роботов.формат txt

Я пытаюсь настроить своих роботов.txt, но я не уверен в регулярных выражениях.

У меня есть четыре разных страницы, доступных на трех разных языках. Вместо того чтобы перечислять каждую страницу 3 раза, я решил, что могу использовать регулярное выражение.

nav.аспн
страница.aspx / changelang (может иметь строку запроса, прикрепленную, например,"?toLang=fr".)
файла mypage.аспн?id и
логин.aspx / logoff (=12346?... так далее - каждый раз разные)

! Все четыре на 3 разных языках, e.g:

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav.aspx

теперь мой вопрос: Правильно ли следующее регулярное выражение?

User-Agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

спасибо

7
regex robots.txt

1 ответов

регулярные выражения не допускаются в роботов.txt, но Googlebot (и некоторые другие роботы) может понять некоторые простые сопоставления шаблонов:

ваши роботы.txt должен выглядеть так:

User-agent: *
Disallow: /*nav.aspx$
Disallow: /*page.aspx/changelang
Disallow: /*mypage.aspx?id
Disallow: /*login.aspx/logoff

User-agent директива действительна в нижнем регистре a. Вы не должны бежать . или `/'.

вы можете прочитать больше об этом здесь: блокировать или удалять страницы с помощью роботов.текстовый файл

17