Qué valorar antes de permitir que una IA entrene con tu web
Permitir el entrenamiento de modelos y aparecer en sus respuestas son decisiones distintas, con controles que cambian según el proveedor. Abrir el acceso no garantiza notoriedad, citas o visitas; bloquearlo limita los usos que declara cada empresa, pero no borra por sí solo los datos ya obtenidos.
El entrenamiento puede utilizar contenido para ajustar un modelo. Eso no significa que cada página quede memorizada ni que la IA vaya a recordar una marca o enlazarla. La búsqueda es otro proceso: recupera información de páginas o índices para elaborar respuestas y puede citar sus fuentes.
Por eso conviene decidir por separado qué usos quieres permitir. Las opciones no son idénticas en todas las empresas. Esta comparación recoge sus controles publicados, consultados el 2 de noviembre de 2026.
| Proveedor | Entrenamiento o recopilación | Búsqueda | Acceso pedido por un usuario |
|---|---|---|---|
Google-Extended: entrenamiento y determinados usos de fundamentación de Gemini | Googlebot; control de IA generativa en Search Console | Depende del producto | |
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | PerplexityBot no se usa para rastrear contenido destinado a entrenar modelos fundacionales | PerplexityBot | Perplexity-User |
| Common Crawl | CCBot: archivo abierto que otros pueden reutilizar | No es un buscador de respuestas | — |
Bloquear el entrenamiento puede conservar la búsqueda
OpenAI permite autorizar OAI-SearchBot y bloquear GPTBot de forma independiente. Excluir el primero impide aparecer en sus respuestas de búsqueda, aunque pueden seguir mostrándose enlaces de navegación. Anthropic también distingue entrenamiento, búsqueda y consultas de usuarios.
Las visitas pedidas por una persona tienen reglas propias. OpenAI indica que robots.txt puede no aplicarse a ChatGPT-User; Perplexity dice que su acceso a petición del usuario generalmente lo ignora. Anthropic, en cambio, declara que sus bots respetan robots.txt, incluido Claude-User. No se puede trasladar el comportamiento de uno a todos.
Common Crawl ofrece un archivo público de la web. Bloquear CCBot limita sus futuras capturas conforme a sus reglas; no borra por sí solo copias obtenidas antes ni controla a todos los terceros que hayan accedido al archivo.
Google-Extended combina entrenamiento y usos de Gemini
Google-Extended es un control de uso, no un rastreador con peticiones propias. Abarca el entrenamiento de futuras generaciones de Gemini y la fundamentación con contenido del índice de Google en las aplicaciones de Gemini y determinados servicios de Vertex AI.
Bloquearlo afecta a esos usos; no garantiza desaparecer de cualquier respuesta de Gemini ni modifica la inclusión o el ranking en Google Search. Para excluir contenido y enlaces de AI Overviews y AI Mode existe el control de IA generativa de Search Console, que no regula el entrenamiento.
El beneficio es posible; las visitas no están garantizadas
Nuestra lectura: dejar abierto el entrenamiento puede encajar con un objetivo de difusión del contenido. Pero ser elegible para un conjunto de datos no demuestra que una página se utilice, que el modelo aprenda una marca o que la mencione correctamente. Las documentaciones consultadas no prometen una ganancia de notoriedad por permitir estos bots.
El acceso para búsqueda permite optar a citas y visitas sin que, por sí solo, garantice obtenerlas. En Google hay que valorar además los usos de fundamentación que comparte Google-Extended con el entrenamiento. Las visitas identificables desde Gemini son una pista para decidir, no una medición completa del valor o coste de bloquearlo.
Bloquear no borra el pasado ni crea un acuerdo de licencia
El simple acceso de un bot no establece un pago ni garantiza atribución. Los posibles acuerdos de licencia son otra decisión. A la vez, cambiar robots.txt no obliga por sí solo a borrar conjuntos de datos anteriores o modificar modelos ya entrenados: no conviene tratarlo como un botón para deshacer usos pasados.
En España, el artículo 67 del Real Decreto-ley 24/2021 contempla la minería de textos y datos sobre obras accesibles legítimamente y una reserva expresa de usos en los términos de la norma. También recoge un régimen específico para investigación científica. No equivale a una autorización universal del entrenamiento ni demuestra que cualquier regla de robots.txt garantice una reclamación.
Decide según el valor de tu contenido y los usos que aceptas
Si el contenido original o los datos propios son parte de lo que vendes, puede tener sentido limitar su recopilación para entrenamiento y conservar los accesos de búsqueda que te interesen. Una marca o una tienda también debe valorar esa opción; su tipo de negocio no convierte el permiso de entrenamiento en una ventaja automática.
Un ejemplo para quien decida bloquear únicamente los rastreadores de entrenamiento de OpenAI y Anthropic es:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /No incluye Google-Extended por su efecto adicional sobre la fundamentación de Gemini. Revisa el robots.txt completo y cualquier regla más amplia del servidor o CDN antes de añadir grupos, para no bloquear sin querer los accesos de búsqueda.
Robots.txt comunica preferencias a los agentes que lo respetan; no es una barrera de acceso. Para tráfico que ignore esas reglas, revisa los registros y contrasta la identidad del rastreador antes de elegir controles en el servidor o CDN. Mantén documentado qué permites a cada proveedor y revisa los cambios en sus políticas.
