Robots.txt: qué es y cómo configurarlo bien

Q: ¿Sirve robots.txt para quitar una página de Google?

No es la herramienta adecuada. Disallow impide que Google lea la página, pero la URL puede seguir apareciendo en los resultados, sin descripción, si otras webs la enlazan. Para sacarla, usa y deja que Google la rastree para que vea esa etiqueta. Si es urgente, Search Console tiene una herramienta de retirada temporal.

Q: ¿Puedo bloquear los rastreadores de inteligencia artificial?

Sí, con un grupo propio para cada uno, por ejemplo User-agent: GPTBot (OpenAI) seguido de Disallow: /. Google usa el nombre Google-Extended para decidir si tu contenido se usa en sus modelos Gemini; según Google, bloquearlo no afecta a tu presencia en la Búsqueda. Recuerda que robots.txt es una petición, no un bloqueo técnico.

Por qué importa

Una sola línea mal puesta puede dejar tu web fuera de Google: Disallow: / bajo User-agent: * prohíbe rastrear todo el sitio. Es un error habitual al publicar una web que estaba en desarrollo, y no se ve a simple vista: lo notas cuando dejan de llegar visitas desde Google.

Bien usado, sirve para que los buscadores no pierdan el tiempo en zonas sin valor para ellos, como el carrito, el área de cliente o los resultados del buscador interno, y para indicarles dónde está tu sitemap con la línea Sitemap:.

Ojo con lo que no hace: bloquear una URL impide que Google lea su contenido, pero no que la muestre. Si otras páginas la enlazan, puede aparecer en los resultados sin descripción. Para que una página no salga en Google hay que usar noindex, y Google solo ve esa etiqueta si la página no está bloqueada en robots.txt.

Cómo lo comprueba Posiciona

Descargamos /robots.txt y lo interpretamos como Google: usamos el grupo User-agent de Googlebot (o el de * si no hay uno propio), gana la regla más larga y, a igualdad, Allow; admitimos los comodines * y $. Si responde con error (por ejemplo, 404), la nota es 30; si no se puede descargar por un fallo de red, 50. Si bloquea toda la web, 0; si bloquea la página analizada, 20. Sin ninguna línea Sitemap:, restamos 20 puntos. Sin problemas, 100.

En la nota de SEO esta comprobación cuenta como “importante” (peso 3 de 5).

Cómo solucionarlo

Abre tudominio.com/robots.txt en el navegador. Si da error, créalo; si ves el archivo, léelo con calma buscando reglas Disallow que afecten a páginas que quieres en Google.
Si aparece Disallow: / en el grupo User-agent: * o User-agent: Googlebot, bórralo, salvo que de verdad quieras cerrar la web a los buscadores. Revísalo siempre después de lanzar una web nueva o de cambiar de hosting.
Bloquea solo lo que no aporta en buscadores: carrito, pago, área de cliente, resultados del buscador interno o combinaciones de filtros. No bloquees los archivos CSS y JavaScript: Google los necesita para ver la página como la ve un visitante.
Añade al final una línea Sitemap: con la URL completa de tu sitemap, por ejemplo Sitemap: https://www.tudominio.com/sitemap.xml.
Comprueba el resultado en Google Search Console, en el informe de robots.txt de Ajustes, que muestra la versión que ha leído Google. Google guarda una copia hasta 24 horas, así que los cambios no se aplican al instante.

Robots.txt sencillo para una tiendaTexto

User-agent: *
Disallow: /carrito
Disallow: /mi-cuenta
Disallow: /buscar

Sitemap: https://www.ejemplo.com/sitemap.xml

En WordPress

WordPress sirve un robots.txt virtual mientras no haya un archivo robots.txt real en la raíz. Si subes uno por FTP, ese archivo manda y los plugins ya no pueden modificarlo.
Con Yoast SEO puedes crearlo y editarlo en Yoast SEO → Herramientas → Editor de archivos; con Rank Math, en sus ajustes generales, apartado “Editar robots.txt”.

En Shopify

Shopify crea el robots.txt automáticamente, con reglas que ya excluyen el carrito, el pago y las cuentas de cliente, y con la línea Sitemap:. Para la mayoría de tiendas no hace falta tocarlo.
Si necesitas cambiarlo, ve a Tienda online → Temas, abre el menú del tema, elige “Editar código” y añade una plantilla nueva de tipo robots, que crea robots.txt.liquid. Shopify avisa de que es una personalización sin soporte y de que un error puede hacerte perder todo el tráfico.
Si el robots.txt no carga en tu dominio, revisa en Configuración → Dominios que el dominio personalizado esté bien conectado.

Preguntas frecuentes

¿Es obligatorio tener un archivo robots.txt?

No. Si no existe y el servidor responde 404, Google entiende que puede rastrear todo el sitio. Aun así, conviene tenerlo para indicar el sitemap y apartar zonas sin valor. Lo delicado es que responda con un error 5xx: Google deja de rastrear la web mientras no puede leerlo y, si el error se prolonga, recurre a la última copia que tenga guardada.

¿Sirve robots.txt para quitar una página de Google?

No es la herramienta adecuada. Disallow impide que Google lea la página, pero la URL puede seguir apareciendo en los resultados, sin descripción, si otras webs la enlazan. Para sacarla, usa <meta name="robots" content="noindex"> y deja que Google la rastree para que vea esa etiqueta. Si es urgente, Search Console tiene una herramienta de retirada temporal.

¿Puedo bloquear los rastreadores de inteligencia artificial?

Sí, con un grupo propio para cada uno, por ejemplo User-agent: GPTBot (OpenAI) seguido de Disallow: /. Google usa el nombre Google-Extended para decidir si tu contenido se usa en sus modelos Gemini; según Google, bloquearlo no afecta a tu presencia en la Búsqueda. Recuerda que robots.txt es una petición, no un bloqueo técnico.