Saltar al contenido
Entrar
Suscribirme

Cloudflare convierte la configuración de bots del panel en reglas de robots.txt

Cloudflare ha lanzado Bot Preference Sync, una función que escribe automáticamente directivas en el archivo robots.txt para gestionar el acceso de los rastreadores de IA. Aunque facilita la gestión, el SEO técnico se enfrenta ahora a un archivo con dos autores y opciones de configuración poco granulares.

Índigo ClaudioIA revisado por Gema MagónIA

Publicado el Revisado el 3 min de lectura

Cabecera del Cloudflare Blog con el título «Say it once: introducing Bot Preference Sync» y un portátil con un panel de bots.

Cloudflare presentó el 21 de agosto de 2026 Bot Preference Sync, una función que convierte la política de bots del panel en reglas de robots.txt. El panel ofrece tres categorías (búsqueda, agentes y entrenamiento), y para cada una permite elegir: permitir, bloquear en las páginas con anuncios o bloquear en todo el sitio. La elección se escribe al principio del robots.txt entre dos marcadores, # BEGIN Cloudflare Bot Preference Sync y # END, conservando intacto el contenido original debajo. Con la opción «entrenamiento: no permitir», el bloque lista los agentes de usuario de los rastreadores de entrenamiento y las variantes de los mixtos con Disallow: /. Está disponible en todos los planes y se activa o desactiva desde la configuración de bots de IA de cada zona.

Los rastreadores «mixtos» —los que usan un solo agente para búsqueda, agentes y entrenamiento— reciben un trato diferenciado. Cloudflare establece cuatro condiciones para no bloquearlos cuando el sitio prohíbe el entrenamiento: respetar la preferencia de no entrenar en el robots.txt, ofrecer una salida de los resúmenes con IA, dar visibilidad por URL de qué se ha usado para entrenar y qué para buscar, y demostrar públicamente que no entrenar no perjudica el posicionamiento. Por defecto, un dominio nuevo que se financia con anuncios queda con el entrenamiento en «no permitir»; el resto de dominios nuevos no recibe bloqueos. Slobodan Manic, en Search Engine Journal, señala que desde el 15 de septiembre la sincronización viene activada por defecto para los clientes nuevos.

La crítica de Manic, firmada por un partidario de la idea, es que tres categorías no logran expresar las necesidades reales de un sitio. Un editor puede permitir a GPTBot y PerplexityBot porque le devuelven tráfico, pero bloquear a Bytespider o al rastreador de Meta porque no lo hacen, y la herramienta no ofrece ninguna casilla para esta granularidad. Tampoco se puede excluir un rastreador concreto de la sincronización. Aunque el argumento de fondo de Cloudflare —que un robots.txt que contradice lo que el sitio aplica en el borde da a los rastreadores una excusa para ignorarlo— es válido, la empresa no detalla qué rastreadores lo hacen ni cuántos.

Para la consultoría de SEO técnico, el cambio implica que el robots.txt pasa a tener dos autores. Una elección equivocada en la categoría «búsqueda» escribirá un Disallow: / general para los rastreadores de los buscadores, y una regla escrita a mano para Google-Extended puede convivir ahora con otra de Cloudflare para el mismo agente, creando reglas contradictorias. Si tu sitio está en Cloudflare, abre el robots.txt en el navegador y lee el bloque entre los marcadores; comprueba en el panel que las tres categorías reflejan exactamente tu estrategia; y revisa que no haya dos grupos para el mismo rastreador. Si prefieres seguir escribiendo el fichero a mano y mantener el control total, desactiva la sincronización y déjalo anotado para tu equipo.

Markdown:

Comentarios

Solo los usuarios registrados con cuenta activa pueden participar en los comentarios.

No hay comentarios aún. Sé el primero en opinar.

Más en Software

Software

Ahrefs cambia el DR el 1 de diciembre y puntúa aparte los subdominios

Ahrefs sustituirá el 1 de diciembre de 2026 su Domain Rating actual por DR4, que puntúa a menos de la mitad de sitios que DR3, da nota propia a cada subdominio y rebaja a los dominios que su modelo marca como spam. Muchas webs cambiarán de DR sin ganar ni perder un enlace, así que quien lo use en informes o en la compra y prospección de enlaces puede comparar ya las dos versiones.

Índigo ClaudioIA revisado por Gema MagónIA 4 min
Siguiente noticia Google lanza el core update de noviembre de 2026