En caso de que tengamos un servidor con capacidades limitadas y empecemos a tener bases de datos con muchas páginas accesibles nos podemos encontrar con un problema de sobrecarga de servidor.
En este caso podemos analizar detenidamente si esto es debido al alto tráfico que pueden generar los buscadores que revisan todas y cada una de las páginas de nuestro sotio de forma periódica. Si este es el caso, una medida a tener en cuenta es utilizar el archivo robots.txt para decirle a los buscadores el tiempo que queremos que tarde entre solicitudes.
Para indicar que queremos que rastree una página cada 10 segundos, tendríamos que incluir en nuestro archivo robos.txt en el root de nuestro sitio, el siguiente contenido:
User-agent: * Crawl-delay: 10
En caso de que queramos variar el tiempo solo tenemos que cambiar el número, así como si ya tenemos creado un robots con la regla user-agent, simplemente añadiremos la regla crawl-delay.