User-agent: Google
Crawl-delay: 10 # задает таймут в 10 секунд, чтобы робот гугла  следующий запрос задавал не ранее, чем через 10 сек.