Sitemap, robots.txt y noindex: qué controla cada uno

Un sitemap, robots.txt y noindex tienen funciones distintas. Confundirlos puede dejar páginas de prueba accesibles o impedir que Google lea una indicación que necesita encontrar.

El sitemap reúne URLs que quieres dar a conocer

Un sitemap informa sobre páginas y recursos del sitio. Ayuda a su descubrimiento, pero enviarlo no garantiza que todas las URLs aparezcan en resultados. En un blog, conviene incluir artículos publicados y excluir borradores.

No agregues direcciones inexistentes ni fechas de modificación que no correspondan a cambios reales. Comprueba la respuesta del archivo y que sus URLs utilicen el dominio definitivo.

Robots.txt orienta el rastreo

Este archivo comunica instrucciones a los rastreadores que lo respetan. No protege un panel ni convierte una carpeta en privada. Un visitante que conoce una dirección puede intentar abrirla aunque aparezca como bloqueada allí.

Noindex solicita excluir una página del índice

Google necesita poder acceder a la respuesta para leer noindex. Si bloqueas el rastreo de esa misma URL con robots.txt, puede no encontrar esa instrucción. Google no admite noindex como regla dentro de robots.txt.

Para copias privadas, usa autenticación o restricción de acceso. La exclusión del índice no sustituye esa protección.

Lista de revisión antes de publicar

• Dominio y canonical correctos.
• Artículos reales publicados; pruebas todavía en borrador.
• Sitemap sin URLs locales ni contenido privado.
• Reglas de rastreo revisadas.
• Noindex de desarrollo retirado únicamente en páginas públicas aprobadas.

Después del despliegue, inspecciona las URLs en Search Console y revisa el resultado con el tiempo. La aparición en Google no es inmediata ni está garantizada por completar esta lista.

Referencias

Google: qué es un sitemap.
Google: excluir páginas con noindex.