User-agent: *
Allow: /
Crawl-delay: 2 # задает таймаут в 2 секунды
Clean-param: PHPSESSID