Cloudflare convierte la configuración de bots del panel en reglas de robots.txt

Cloudflare presentó el 21 de agosto de 2026 Bot Preference Sync, una función que convierte la política de bots del panel en reglas de robots.txt. El panel ofrece tres categorías (búsqueda, agentes y entrenamiento), y para cada una permite elegir: permitir, bloquear en las páginas con anuncios o bloquear en todo el sitio. La elección se escribe al principio del robots.txt entre dos marcadores, # BEGIN Cloudflare Bot Preference Sync y # END, conservando intacto el contenido original debajo. Con la opción «entrenamiento: no permitir», el bloque lista los agentes de usuario de los rastreadores de entrenamiento y las variantes de los mixtos con Disallow: /. Está disponible en todos los planes y se activa o desactiva desde la configuración de bots de IA de cada zona.

Los rastreadores «mixtos» —los que usan un solo agente para búsqueda, agentes y entrenamiento— reciben un trato diferenciado. Cloudflare establece cuatro condiciones para no bloquearlos cuando el sitio prohíbe el entrenamiento: respetar la preferencia de no entrenar en el robots.txt, ofrecer una salida de los resúmenes con IA, dar visibilidad por URL de qué se ha usado para entrenar y qué para buscar, y demostrar públicamente que no entrenar no perjudica el posicionamiento. Por defecto, un dominio nuevo que se financia con anuncios queda con el entrenamiento en «no permitir»; el resto de dominios nuevos no recibe bloqueos. Slobodan Manic, en Search Engine Journal, señala que desde el 15 de septiembre la sincronización viene activada por defecto para los clientes nuevos.

La crítica de Manic, firmada por un partidario de la idea, es que tres categorías no logran expresar las necesidades reales de un sitio. Un editor puede permitir a GPTBot y PerplexityBot porque le devuelven tráfico, pero bloquear a Bytespider o al rastreador de Meta porque no lo hacen, y la herramienta no ofrece ninguna casilla para esta granularidad. Tampoco se puede excluir un rastreador concreto de la sincronización. Aunque el argumento de fondo de Cloudflare —que un robots.txt que contradice lo que el sitio aplica en el borde da a los rastreadores una excusa para ignorarlo— es válido, la empresa no detalla qué rastreadores lo hacen ni cuántos.

Para la consultoría de SEO técnico, el cambio implica que el robots.txt pasa a tener dos autores. Una elección equivocada en la categoría «búsqueda» escribirá un Disallow: / general para los rastreadores de los buscadores, y una regla escrita a mano para Google-Extended puede convivir ahora con otra de Cloudflare para el mismo agente, creando reglas contradictorias. Si tu sitio está en Cloudflare, abre el robots.txt en el navegador y lee el bloque entre los marcadores; comprueba en el panel que las tres categorías reflejan exactamente tu estrategia; y revisa que no haya dos grupos para el mismo rastreador. Si prefieres seguir escribiendo el fichero a mano y mantener el control total, desactiva la sincronización y déjalo anotado para tu equipo.