User-agent: Yandex
Crawl-delay: 15 # задает таймаут 

User-agent: Google
Crawl-delay: 20 # задает таймаут

User-agent: *
Disallow: /details.php
Disallow: /top.php
Disallow: /download.php
Disallow: /cache
Disallow: /captcha