Gary Illyes atribuye a la IA más bots que se hacen pasar por Googlebot

Gary Illyes, de Google, considera que la demanda de contenido para entrenar IA ha agravado la suplantación de Googlebot. En una entrevista publicada por Odys Podcast el 28 de octubre, explica que cambiar el user-agent, el nombre con el que se presenta una petición, es muy sencillo. Ese texto no demuestra que el visitante sea Google.

Illyes cuenta que detecta falsos Googlebot en webs que usa como trampa: las peticiones llevan el nombre del rastreador, pero proceden de otras IP. Describe el problema como frecuente y lo relaciona con el auge de la IA, aunque no publica cifras que permitan medir cuánto ha crecido.

El riesgo no es solo desconocer quién usa el contenido. Un rastreador sin límites puede consumir los recursos del servidor y perjudicar a visitantes y buscadores legítimos. Robots.txt comunica reglas, pero no impide técnicamente que alguien las ignore.

Verifica la identidad antes de analizar el rastreo

La guía de Google ofrece dos métodos. Para comprobaciones puntuales, se consulta qué nombre de dominio corresponde a la IP y después se verifica que ese nombre devuelve la misma IP. Para muchas peticiones, se compara la IP con los rangos oficiales publicados por Google.

La categoría importa. Googlebot pertenece a los rastreadores comunes, cuyo fichero es common-crawlers.json. AdsBot y los servicios activados por usuarios tienen otras listas y nombres de dominio. Reconocer infraestructura de Google no identifica por sí solo a Googlebot.

La documentación de Google Cloud explica que sus máquinas virtuales pueden tener un nombre inverso predeterminado en googleusercontent.com. Ese dominio, por sí solo, no prueba que una visita proceda de Googlebot. Hay que contrastarla con los datos de la categoría que dice representar.

Las firmas aún no sustituyen estos controles

Google está probando Web Bot Auth, que permite firmar peticiones para verificar quién las envía. Su implementación sigue siendo experimental: no todos los agentes lo usan ni se firman todas sus peticiones. La ausencia de firma no convierte una petición en falsa.

Para el SEO, conviene separar en los logs el Googlebot verificado del tráfico que solo usa su nombre. De lo contrario, las cifras de rastreo o errores pueden mezclar actividad real con otros bots. Mantén actualizadas las listas de IP y revisa los casos no verificados antes de crear bloqueos en el cortafuegos o la CDN.

El propio Illyes aconseja empezar por comprobar si existe un problema de carga o acceso. La entrevista recuerda un control necesario para medir bien; no demuestra que cualquier web necesite nuevas defensas ni que todo rastreador desconocido sea malicioso.