429 Error: cómo los bots y las herramientas internas pueden sobrecargar su sitio

El error 429— "Demasiadas solicitudes" - Brota cuando algo golpea su sitio con demasiada frecuencia en poco tiempo. Al principio, puede parecer un pequeño problema o simplemente su servidor que intenta administrar el tráfico.

Pero en muchos casos, no es una avalancha de visitantes reales que causan el problema, es los bots.Algunos son útiles, como Googlebot.Otros, como raspadores o herramientas agresivas, pueden sobrecargar su sitio sin tener en cuenta.Y a veces, el culpable no es externo en absoluto: es su propio software o sistemas de monitoreo que desencadenan el error.

¿Qué está causando realmente el error 429?

Un error 429 es la forma de decir:

"Estás enviando demasiadas solicitudes demasiado rápido.Retroceder un poco."

Esta respuesta generalmente está vinculada a la limitación de tasas, un método que los sitios web y las API utilizan para controlar cuántas solicitudes pueden enviar un solo cliente (como un navegador, rastreador o script) durante un período de tiempo.

Si bien es posible que una afluencia repentina de tráfico pueda provenir de un aumento en los usuarios reales, a menudo es el resultado de la actividad automatizada.Estos bots y herramientas no son necesariamente maliciosos, ya que gran parte de Internet depende de ellos para manejar tareas repetitivas sin la entrada humana.Pero cuando envían demasiadas solicitudes demasiado rápido, pueden activar sin saberlo un error 429.

¿Quién está enviando demasiadas solicitudes?

Es fácil asumir que la espiga es de un aumento de tráfico o incluso de actividad maliciosa.Pero en muchos casos, la causa cae en uno de estos grupos:

• Los rastreadores de motores de búsqueda: Bots como Googlebot, Bingbot y otros escanean su sitio web para mantener sus índices de búsqueda actualizados, eso generalmente es algo bueno.Dicho esto, aún pueden sobrecargar un servidor si el sitio se actualiza con frecuencia o tiene muchas páginas interconectadas.
• Herramientas de SEO: Herramientas como Screaming Frog, Ahrefs y Semrush simulan el comportamiento de bot para auditar su sitio web.Pueden enviar cientos o miles de solicitudes en poco tiempo para verificar cada página, enlace y etiqueta.Sin la configuración adecuada del acelerador, estas herramientas pueden abrumar un servidor web.
• Raspadores del sitio: Estos generalmente no son bienvenidos.Los raspadores a menudo se usan para extraer datos como precios, revisiones o descripciones de productos.Muchos no siguen el comportamiento de bot cortés y pueden alcanzar ciertas páginas repetidamente o intentan descargar todo su sitio.
• Monitores de tiempo de actividad y guiones: Si estos están configurados para funcionar con demasiada frecuencia o sin intervalos inteligentes, pueden comportarse involuntariamente como el tráfico de spam.
• Servicios internos: Su propia infraestructura, como los trabajos cron, las API o las integraciones, puede abrumar accidentalmente su sitio, especialmente si no están diseñados para respetar los límites.

La conclusión: estas no son personas que navegan por su sitio: son procesos automatizados.Algunos son útiles, otros no son, pero de cualquier manera, pueden sobrecargar su infraestructura, especialmente si su servidor no está construido para manejar picos repentinos como los que suceden durante Ataques DDoS.

Cómo rastrear la fuente del error 429

Antes de realizar cambios en los límites de velocidad de su sitio o la configuración del firewall, ayuda a saber exactamente qué está causando el problema.

Comience con registros:

• Registros de servidor: Estos son el primer lugar para verificar.Está buscando direcciones IP, agentes de usuarios o rutas que aparecen repetidamente en un corto período de tiempo.Los archivos de registro comunes incluyen acceso.Busque solicitudes que devuelvan un código de estado 429.
• Registros de límite de tarifa (si los tiene): Algunos servicios (como puertas de enlace de API, proxies o redes de entrega de contenido) proporcionan registros dedicados para la limitación de tarifas.Estos pueden identificar qué solicitudes excedieron el umbral, de qué IP provenían, y a qué punto final se accedió.
• Patrones: Esté atento a los signos obvios de automatización.Solicita que:
  • No lleve cookies o encabezados de sesión típicos de un navegador
  • Use agentes de usuarios genéricos o sospechosos como Python-Requests, Curl o Rapers personalizados
  • Provienen de proveedores de alojamiento o centros de datos conocidos (AWS, Azure, Hetzner, etc.)

Una vez que surge un patrón, puede decidir si el tráfico es bueno (por ejemplo, Googlebot) o si necesita ser bloqueado o ralentizado.

¿Está la limitación de su tasa configurada correctamente?

La limitación de la tarifa ayuda a evitar que su sitio se sobrecargue, pero si es demasiado agresivo, también podría bloquear el tráfico útil, lo que lleva a problemas como Errores de tiempo de espera de la puerta de entrada 504.La configuración correcta puede evitar el abuso sin bloquear el tráfico legítimo.

Cosas en las que pensar:

• Método de limitación: ¿Está rastreando solicitudes por dirección IP, token API, sesión de usuario o algo más?La limitación basada en IP es común, pero puede no ser efectivo si varios usuarios comparten la misma IP.
• Tipo de límite:
  • Ventana fija: limita las solicitudes en intervalos fijos (por ejemplo, 100 solicitudes por minuto).Fácil de implementar, pero se puede jugar.
  • Ventana deslizante: más flexible, las solicitudes de propagación con el tiempo.
  • Bucket token o fugas: permite explosiones ocasionales pero controla la velocidad general.
• Encabezados y respuestas: Asegúrese de que devuelva encabezados como reintentos-después para que los bots y las herramientas sepan cuándo hacer una pausa e intentarlo nuevamente.Esto mejora la compatibilidad con los rastreadores de comportamiento bienes.
• Umbrales personalizados: No trates todo el tráfico por igual.Puede permitir más solicitudes de usuarios registrados, bots de búsqueda o herramientas internas mientras mantiene una correa más estrecha en visitantes desconocidos o no autenticados.

Al final del día, es un acto de equilibrio: si sus límites de tarifa son demasiado ajustados, puede bloquear bots legítimos o evitar que los usuarios accedan a su sitio.Si están demasiado sueltos, los bots malos pueden comer recursos o peor.

Deja pasar los buenos bots

Los motores de búsqueda y las herramientas de SEO de confianza son esenciales para la visibilidad y el rendimiento.Desea permitirlos entrar, pero de manera controlada.

Esto es lo que ayuda:

• Robots.txt y rastreando: Puede usar la Directiva Crawl-Delay para decirle a BOTS que disminuya la velocidad.Esto no es honrado por todos los rastreadores, pero algunos, especialmente los agradables, lo respetan.
• Bots de confianza de la lista blanca: Revise las cadenas de agentes de usuario en sus registros para identificar Googlebot, Bingbot y otros.Confirmarlos con cheques DNS inverso Para evitar impostores.
• Ajuste los límites de velocidad para herramientas conocidas: Establezca límites de velocidad o excepciones basadas en agentes de usuario conocidos o rangos de IP verificados.Por ejemplo, permita que GoogleBot sea un límite de solicitud más alto o un tiempo de espera de sesión más largo que un rastreador desconocido.
• Límites de tasa separados: Si está ejecutando una API o un sitio con contenido pesado, use reglas distintas para los visitantes humanos frente a las herramientas automatizadas.

De esta manera, los bots de búsqueda pueden hacer su trabajo sin abrumar su infraestructura.

Cómo manejar los bots y los rastreadores malos

Algunos bots son claramente abusivos.No están interesados en indexar su contenido: están tratando de rasparlo, copiarlo o buscar vulnerabilidades.Estos deben ser bloqueados o manejados de manera más agresiva.

Formas de tratar con ellos:

• Bloque por agente de usuario: Si ve delincuentes reincidentes que usan agentes de usuarios específicos, bloquearlos en .htaccess, la configuración de su servidor, o WAF (Firewall de aplicación web).
• Bloque de IP o ASN: Use reglas de firewall para bloquear el tráfico de IP específicas o incluso redes de alojamiento completas si el abuso proviene de los centros de datos.
• Use un WAF: Un firewall de aplicación web puede detectar y bloquear automáticamente patrones abusivos, como demasiadas solicitudes para iniciar sesión en páginas o puntos finales de búsqueda.
• Agregar fricción liviana: En páginas sensibles (como puntos finales de búsqueda o precios), agregue desafíos de JavaScript o Captcha básica.Esto detiene la mayoría de las herramientas no artificiales sin dañar la experiencia del usuario.
• El abuso de seguimiento con el tiempo: Cree una lista de bloques que se actualice automáticamente cuando un BOT desencadena violaciones de límite de tasa múltiple.

No olvides tus propias herramientas

Es fácil concentrarse en el tráfico externo cuando se trata de 429 errores, pero algunos de los peores delincuentes podrían ser herramientas que usted o su equipo configuraron.Los scripts internos, las auditorías de SEO, los monitores de tiempo de actividad o los paneles pueden inundar su sitio con solicitudes con la misma facilidad como los bots de terceros.

La diferencia?Tienes control total sobre estos.

Fuentes internas comunes de sobrecarga

Incluso las herramientas diseñadas para ayudar pueden causar problemas cuando están mal configurados:

Crawlers de SEO (como gritos de rana, semrush y ahrefs)
Estas herramientas rastrean todo su sitio para auditar metadatos, enlaces y salud técnica.

Si se establece para usar una alta concurrencia (por ejemplo, más de 10 hilos) y sin retraso de rastreo, pueden abrumar su servidor, especialmente en entornos compartidos o de menor especificación.

Scripts personalizados o bots internos
Es posible que tenga scripts consultando sus propios puntos finales de API para fines de análisis de datos, pruebas o estadificación.

Si no incluyen límites, demoras o almacenamiento en caché, pueden martillar su aplicación sin querer, a veces corriendo cada minuto a través de Cron.

Herramientas de monitoreo del sitio
Las herramientas que verifican el tiempo de arriba, los tiempos de respuesta o el rendimiento de la página pueden ser ruidosos si están configurados para verificar con demasiada frecuencia.

Verificar su página de inicio cada 15 segundos puede parecer inofensivo, pero multiplique eso por múltiples regiones o servicios y se suma rápidamente.

Cómo mantener las herramientas internas bajo control

La buena noticia es que el tráfico interno es el más fácil de solucionar, porque usted controla el comportamiento.

Menor velocidad de rastreo y concurrencia
En herramientas como Screaming Frog:

• Reduzca el número de hilos o conexiones concurrentes.
  
• Agregue un retraso de rastreo de unos pocos segundos entre solicitudes.
  
• Si está auditando múltiples sitios, escaline los rastreos para que no funcionen a la vez.

Incluso la caída de 10 hilos a 2 puede reducir drásticamente la tensión del servidor sin perder la funcionalidad.

Use el almacenamiento en caché siempre que sea posible

• Respuestas de la API de caché para paneles o herramientas internas que no necesitan datos en tiempo real.
  
• Comprobaciones de la página de inicio de caché o instantáneas del sitio en herramientas de monitoreo para intervalos donde es probable que nada cambie.

Esto reduce la necesidad de alcanzar repetidamente su aplicación para obtener los mismos resultados.

Ejecutar auditorías y escaneos durante las horas bajas en el tráfico

• Programe rastreos y scripts internos para ejecutarse durante las horas de la noche o la madrugada (en la zona horaria de su servidor).
  
• Esto evita la superposición con períodos en que los clientes o visitantes están utilizando su sitio.

Si su sitio es global, considere dividir auditorías en regiones o ventanas de tiempo.

Construir la lógica de reintento en los scripts

• No dejes que los scripts martiendas el servidor si obtienen una respuesta 429.
  
• Agregue la lógica para esperar o retroceder cuando aparezca ese estado, respetando idealmente cualquier encabezado de reintento-después si está presente.
  
• Un breve retraso o un enfoque de retroceso exponencial (esperando más tiempo después de cada reintento) puede evitar un ciclo de retroalimentación de reintentos que empeoren el problema

Documente y revise sus propios trabajos

• Mantenga un registro compartido de qué scripts o herramientas llaman a su sitio web, con qué frecuencia y cuándo.
  
• Si aparece un nuevo problema de 429, tendrá un lugar claro para comenzar a mirar antes de asumir que es una fuente externa.

Lo que puedes hacer a largo plazo

Una vez que haya rastreado y detenido lo que está causando los 429 errores, es inteligente pensar en el futuro.Arreglar el problema actual es solo una parte del trabajo: ahora es hora de evitar que el mismo problema vuelva a aparecer.

Aquí hay algunos pasos prácticos para ayudar a mantener las cosas estables a largo plazo:

Use el encabezado reinty-después

Si su servidor devuelve un 429, es una buena idea incluir un encabezado de reintento-después de la respuesta.Esto le dice a Bots y herramientas automatizadas cuánto tiempo esperar antes de intentarlo nuevamente.

• Por ejemplo, reintentar: 120 le dice al cliente que espere 120 segundos.
  
• La mayoría de los bots bien comportados, incluidos Googlebot, honrarán esto y ralentizarán su rastreo.

No detendrá raspadores o herramientas abusivas que ignoren los encabezados, pero le da a los servicios legítimos una forma de retroceder automáticamente sin causar más problemas.

Dónde aplicarlo:

• Configuración del servidor web (Apache, Nginx).
  
• Respuestas a nivel de aplicación (para API o aplicaciones web utilizando marcos como Express, Flask, etc.)

Monitorear el tráfico de bot regularmente

No esperes a que las cosas se rompan.Un poco de visibilidad es muy útil.

• Configure las revisiones de registro, los paneles o los informes que rastrean la actividad de los rastreadores conocidos.
  
• Esté atento a los cambios en el comportamiento, como un rastreador que golpea nuevas secciones de su sitio o envía solicitudes más frecuentes de lo habitual.
  
• Esté atento a los nuevos agentes de usuarios o bloques IP inesperados.Estos pueden ser signos tempranos de raspado o abuso.

Herramientas que puede usar:

• Access Logs (analizados con algo como Goaccess o Awstats).
  
• Herramientas de análisis de servidores (como NetData, Grafana o Prometheus).
  
• Características de gestión de bots en Cloudflare o en su WAF.

Ajuste los límites de velocidad a medida que crece

Los límites de tarifas no son "establecerlo y olvidarlo".A medida que aumenta su tráfico, cambia el contenido o su infraestructura evoluciona, los umbrales que establece anteriormente pueden volverse demasiado agresivos, o demasiado relajados.

Revise sus políticas de limitación de tarifas regularmente:

• ¿Está utilizando el método correcto (basado en IP, basado en el usuario, etc.)?
  
• ¿Están protegidos sus puntos finales de alto tráfico?
  
• ¿Se están bloqueando accidentalmente las herramientas legítimas?

Es posible que deba aumentar el límite en algunos caminos o reducirlo en otros.También puede experimentar con un algoritmo de ventana deslizante en lugar de una ventana fija para evitar cortes repentinos.

Consejo para los equipos: Documente sus límites de tarifa y a quién afectan.Eso hace que sea más fácil depurar problemas cuando aparecen más tarde.

Use un CDN con funciones de gestión de bot

Un bueno Red de entrega de contenidos Hace más que solo contenido de caché: también puede ayudar a filtrar o acelerar el tráfico no deseado antes de que llegue a su servidor.

La mayoría de los principales CDN (como Cloudflare, Fastly o Akamai) ofrecen herramientas útiles como:

• Límites de tasa de solicitud por IP o Ruta
  
• Bot anotando o huellas dactilares (para notar la diferencia entre humanos y bots)
  
• Reglas que bloquean o desafían el mal comportamiento automáticamente
  
• Desafíos de JavaScript o desafíos administrados para ralentizar a los clientes que no son de Browser

La descarga de este tráfico antes de que llegue a su servidor de origen ayuda a reducir la carga, reducir los costos de ancho de banda y evitar que ocurran problemas como 429 en primer lugar.

Si ya está usando un CDN, tómese un tiempo para explorar su configuración de seguridad o protección de bot; es posible que ya tenga las herramientas que necesita y solo necesita encenderlas.

Consejo de bonificación: agregue el contexto a sus páginas de error

Si está devolviendo un error 429, no sirva una pantalla en blanco.Agregue una explicación breve y un mensaje amigable.Por ejemplo:

"Estamos recibiendo más solicitudes de lo esperado. Si está utilizando una herramienta automatizada, intente nuevamente en unos minutos".

Esto ayuda a los desarrolladores y equipos de SEO a comprender lo que sucedió y a ajustarse en consecuencia.Incluso puede incluir un enlace a la documentación o el robots.txt de su sitio si eso se aplica.

Conclusión

Un error de 429 no siempre significa que su sitio esté sobrecargado, a menudo significa que alguien o algo está siendo demasiado agresivo.

Aprender a rastrear, identificar y administrar estas solicitudes, puede reducir los problemas, proteger sus recursos y asegurarse de que su sitio esté disponible para las personas y los bots, en realidad desea servir.