Google admite que el «No se ha podido obtener» de un sitemap no siempre es un fallo técnico

En el informe Sitemaps de Search Console, «No se ha podido obtener» significa, según la ayuda de Google, que Google no ha podido obtener el sitemap. En el episodio de Search Off the Record del 1 de octubre, «Do sitemaps still matter?», Martin Splitt planteaba el caso que más se repite en los foros: un sitemap válido, accesible y declarado en el robots.txt que Search Console marca igualmente como no obtenido.

John Mueller dio dos explicaciones, según la transcripción que publicó Search Engine Journal. La primera es de capacidad: que Google no tenga tiempo de rastrear ese archivo porque está ocupado con otras cosas, «y entonces también lo pondríamos como “couldn’t fetch”, porque no hemos tenido tiempo de obtenerlo». La segunda tiene que ver con la demanda de rastreo: si los sistemas de Google consideran que no necesitan rastrear mucho de una web, se saltan el sitemap porque ya tienen bastante. «Y la demanda de rastreo se basa muy a menudo en la calidad percibida de un sitio web», añadió.

Mueller fue más allá: para él no es solo una cuestión técnica, sino también de si Google necesita y quiere ese sitemap. Si la calidad del sitio mejora mucho con el tiempo, dijo, Google acabará usándolo.

Qué mirar antes de dar el sitemap por roto

• Que el sitemap responda con un 200 y sea un XML válido de como mucho 50.000 URL o 50 MB sin comprimir, los límites de Google.
• En los registros del servidor, si Googlebot lo ha pedido y qué le ha devuelto. Un error 5xx o un tiempo de espera es un problema técnico; si ni siquiera lo ha pedido, lo que describe Mueller apunta a la demanda de rastreo.
• En Ajustes > Estadísticas de rastreo, si hay errores de servidor o problemas de disponibilidad del host.
• Si el sitio tiene muchas URL rastreadas pero no indexadas, el sitemap no es la causa, sino un síntoma más.

Search Engine Journal criticaba que el mensaje de Search Console no distinga entre esos casos aunque en Google saben que confunde. En el mismo episodio, Splitt y Mueller repasan el origen de los sitemaps, por qué Google dejó de usar priority y changefreq, cómo valora lastmod y por qué ni los mapas del sitio en HTML ni el llms.txt sustituyen al XML.