Google aclara cómo usar tildes y eñes en las rutas de robots.txt
Google admite rutas como /niños/ y su equivalente codificado /ni%C3%B1os/. Escribirlas con esa codificación ayuda a evitar problemas con otros rastreadores: no es una nueva obligación para Googlebot.
Una ruta como /niños/ puede escribirse en robots.txt como /ni%C3%B1os/. Esa segunda forma sustituye la eñe por su código y ayuda a que distintos rastreadores la interpreten igual. Google admite ambas formas, como explica en su documentación de robots.txt.
El asunto aparece en el segundo episodio de The Non-Canonical Cabinet, dedicado a este archivo. Gary Illyes y Cherry Prommawin repasan las reglas que entiende Google y las diferencias entre las rutas y los nombres de los rastreadores.
YouTubeYouTube video playerSe carga desde YouTube solo si lo pides: al hacerlo, YouTube recibe tu visita y puede usar sus propias cookies. También puedes verlo en YouTube.Cómo escribir una ruta con eñes o tildes
Para pedir a los rastreadores que no recorran la carpeta /niños/, el ejemplo codificado sería:
User-agent: *
Disallow: /ni%C3%B1os/El asterisco define el grupo general, que Googlebot utiliza si no encuentra otro más específico para su identificador. Google no suma las reglas de ese grupo general a las del grupo específico. La segunda línea señala la ruta que no deben rastrear. Google convierte automáticamente los caracteres no ASCII de las rutas a su forma codificada, por lo que escribir Disallow: /niños/ tiene el mismo efecto para Googlebot.
Esto afecta a cómo escribes la regla. No exige cambiar la dirección pública de la página ni quitar las tildes de tus URL.
No todos los rastreadores hacen esa conversión. Yandex, por ejemplo, no admite caracteres cirílicos en robots.txt: marca como incorrecta una regla escrita con esas letras tal cual y pide la ruta codificada. La ñ y las tildes son el mismo caso, porque también son caracteres no ASCII. Un rastreador que no convierte la regla la compara letra a letra con la URL que pide, que siempre viaja codificada, y no la aplica.
La captura lo prueba con Yandex. El archivo lleva la regla de /niños/ escrita de las dos formas, con la ñ y codificada. /niños/juguetes queda bloqueada aunque el rastreador no convierta la ñ, porque la regla codificada coincide igual. /niñas/juguetes hace de contraste: ninguna regla la toca y queda permitida. La línea que empieza por almohadilla es un comentario y los rastreadores la ignoran.
Si tu robots.txt tiene rutas con tildes, eñes u otros caracteres no ASCII, escríbelas codificadas. Para Googlebot no cambia nada y te aseguras de que el resto de rastreadores lea la misma regla. Las URL públicas pueden seguir con sus tildes.
Qué nombre poner en User-agent
Para dirigirte a un rastreador concreto, utiliza el identificador que publique su empresa. La norma de robots.txt admite letras sin tildes, guiones y guiones bajos en ese identificador; los emojis no forman parte de su sintaxis.
Google reconoce los campos user-agent, allow, disallow y sitemap. Inventar una instrucción como «no uses este texto para entrenar» no le añade una función al archivo.
Qué controla robots.txt sobre el uso del contenido
El archivo expresa preferencias de rastreo: qué páginas puede solicitar un robot que respete esas reglas. Por sí solo no define qué hará después con el contenido ni impide acceder a una página privada. Para proteger información confidencial hace falta un control de acceso, como una contraseña.
El 21 de octubre, Google también actualizó su guía sobre qué compartir con la Búsqueda. Añadió referencias a opciones existentes, como data-nosnippet, X-Robots-Tag y el control de IA generativa de Search Console. Son ajustes distintos de robots.txt. Las versiones inglesa y española de la guía ya recogen los cambios.
