что значит Crawl-delay в файле robots.txt?

Эта директива указывает пауку таймаут при сканировании, помогает когда сервак очень загружен и не успевает отдавать контент роботу, из за чего может выпасть из индекса поисковика.

Эта директива устанавливается в секундах.

Crawl-delay: 4

значит что робот не будет сканировать страницы сайта чаще чем раз в 4 секунды.

Хочу добавить, что "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Пример:
User-Agent:*
Disallow:/admin.php
Host: bdee.ru
Sitemap: http://bdee.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 10
User-agent: MSNbot
Crawl-Delay: 20
User-agent: Slurp
Crawl-Delay: 20
User-agent: googlebot
crawl-delay: 10