AskDev.ru — спроси разработчика

  • Языки
    • java
    • javascript
    • python
    • php
    • c
    • objective-c
    • ruby
    • perl
  • Фреймворки
    • jquery
    • twitter-bootstrap
    • ruby-on-rails
    • django
    • angular
    • reactjs
  • Операционные системы
    • android
    • ios
    • windows
    • macos
    • ubuntu
    • linux
    • unix
  • Базы данных
    • mysql
    • sql-server
    • database
    • postgresql
    • mongodb
    • oracle
    • sqlite
  • Программы
    • google-chrome
    • firefox
    • internet-explorer
    • apache
    • nginx
    • excel
  • Репозитории
    • git
    • svn
    • github
  • Askdev.ru
    • French
  • over.wiki
1
ответов

0

Как сделать определенную папку на хостинге не индексируемой поисковиками?

robots.txt поисковики
1
ответов

0

что значит Crawl-delay в файле robots.txt?

crawl-delay robots.txt
8
ответов

6

как запретить crawler 360Spider с роботами.txt или.реврайт?

.htaccess bots robots.txt search-engine web-crawler
1
ответов

7

Регулярное выражение для роботов.формат txt

regex robots.txt
1
ответов

7

Nginx: разные роботы.txt для домена alternte

django dns nginx robots.txt
4
ответов

13

Запретить или Noindex на поддомене с роботами.формат txt

robots.txt
3
ответов

14

Как остановить поисковые системы от обхода всего веб-сайта?

.htaccess robots.txt security
1
ответов

166

Можно ли использовать относительный url sitemap в роботах.txt?

robots.txt seo sitemap
© AskDev.ru — спроси разработчика, Licensed under over.wiki with attribution.