robots.txt

1
ответов

0

Как сделать определенную папку на хостинге не индексируемой поисковиками?

robots.txt поисковики

1
ответов

0

что значит Crawl-delay в файле robots.txt?

crawl-delay robots.txt

8
ответов

6

как запретить crawler 360Spider с роботами.txt или.реврайт?

.htaccess bots robots.txt search-engine web-crawler

1
ответов

7

Регулярное выражение для роботов.формат txt

regex robots.txt

1
ответов

7

Nginx: разные роботы.txt для домена alternte

django dns nginx robots.txt

4
ответов

13

Запретить или Noindex на поддомене с роботами.формат txt

robots.txt

3
ответов

14

Как остановить поисковые системы от обхода всего веб-сайта?

.htaccess robots.txt security

1
ответов

166

Можно ли использовать относительный url sitemap в роботах.txt?

robots.txt seo sitemap