El archivo robots.txt parece pequeño, técnico y poco importante… hasta que bloquea una sección clave de tu web y Google deja de rastrearla. Muchas empresas no lo revisan nunca, otras lo copian de plantillas antiguas y algunas lo usan para intentar ocultar páginas cuando, en realidad, esa no es su función principal.
El robots.txt es un archivo ubicado en la raíz de una web que indica a los rastreadores qué zonas pueden o no pueden rastrear. Sirve para gestionar el acceso de bots a determinadas URLs o directorios, optimizar el rastreo y evitar que los buscadores pierdan tiempo en áreas poco relevantes, pero no debe usarse como método principal para impedir que una página aparezca en Google.
Para entenderlo rápido, el robots.txt puede ayudarte a:
- controlar qué zonas rastrean los bots;
- evitar rastreo de áreas internas;
- reducir ruido en webs grandes;
- orientar mejor el crawl budget;
- bloquear recursos sin valor SEO;
- gestionar rastreo en entornos concretos;
- proteger secciones no estratégicas del rastreo.
Soy Sergio López, Head of SEO en Media Power, y hoy vengo a contarte qué es robots.txt, para qué sirve, cómo configurarlo correctamente y qué errores debes evitar si no quieres frenar tu posicionamiento por una directiva mal escrita.
En una agencia SEO como Media Power, revisamos robots.txt dentro del SEO técnico porque un archivo mal configurado puede afectar al rastreo, la indexación indirecta y la visibilidad de páginas importantes. En SEO, una línea mal puesta puede costar mucho tráfico.
Qué es el archivo robots.txt
El archivo robots.txt es un archivo de texto que se coloca normalmente en la raíz de una web, por ejemplo:
https://www.ejemplo.com/robots.txt
Su función es dar instrucciones a los rastreadores sobre qué partes del sitio pueden o no pueden rastrear.
Google explica en su guía oficial que robots.txt se utiliza para gestionar el tráfico de rastreadores, como puedes ver en su documentación sobre robots.txt en Google Search Central.
Ejemplo básico:
User-agent: *
Disallow: /admin/
Allow: /
Esto indica que todos los bots no deberían rastrear la carpeta /admin/.
Importante: robots.txt no elimina una URL de Google si ya está indexada. Solo bloquea o limita el rastreo. Para controlar indexación hacen falta otras soluciones, como noindex, canonicals, redirecciones o eliminación de URLs, según el caso.
Para qué sirve robots.txt
El robots.txt sirve principalmente para orientar el rastreo.
Puede utilizarse para:
- bloquear zonas administrativas;
- evitar rastreo de resultados internos;
- limitar acceso a parámetros;
- gestionar recursos duplicados;
- indicar ubicación del sitemap;
- controlar bots específicos;
- evitar rastreo de entornos no públicos;
- reducir consumo de rastreo en webs grandes.
Ejemplo práctico: bloquear /wp-admin/ en WordPress puede tener sentido. Bloquear /blog/ por error puede ser un desastre si el blog es una fuente importante de tráfico orgánico.
Otro ejemplo: en una ecommerce con filtros infinitos, robots.txt puede ayudar a evitar que Google rastree combinaciones de parámetros sin valor. Pero hay que usarlo con cuidado, porque bloquear mal puede impedir que Google acceda a páginas estratégicas.
Cómo funciona robots.txt
El archivo robots.txt funciona con directivas. Las más habituales son:
| Directiva | Para qué sirve | Ejemplo |
| User-agent | Indica a qué bot aplica la regla | User-agent: Googlebot |
| Disallow | Bloquea el rastreo de una ruta | Disallow: /carrito/ |
| Allow | Permite rastreo de una ruta concreta | Allow: /blog/ |
| Sitemap | Indica ubicación del sitemap | Sitemap: https://ejemplo.com/sitemap.xml |
Ejemplo:
User-agent: *
Disallow: /carrito/
Disallow: /checkout/
Sitemap: https://www.ejemplo.com/sitemap.xml
Esto indica a todos los bots que no rastreen carrito ni checkout y muestra dónde está el sitemap.
Cómo configurar robots.txt correctamente
1. Localiza el archivo
https://tudominio.com/robots.txt
Si no existe, puedes crearlo. Si existe, revisa qué reglas contiene
Si no existe, puedes crearlo. Si existe, revisa qué reglas contiene.
2. Identifica qué quieres bloquear
No bloquees por intuición. Define qué zonas no aportan valor SEO.
Ejemplos habituales:
- /admin/
- /wp-admin/
- /carrito/
- /checkout/
- /resultados-busqueda/
- parámetros internos;
- entornos de prueba;
- áreas privadas.
3. Evita bloquear secciones estratégicas
Cuidado con bloquear:
- /blog/
- /servicios/
- /categorias/
- /productos/
- /wp-content/uploads/
- recursos CSS o JS necesarios para renderizado.
Ejemplo práctico: si bloqueas /servicios/, Google puede dejar de rastrear páginas comerciales clave. Eso puede afectar a tu visibilidad.
4. Añade el sitemap
Es recomendable incluir el sitemap:
Sitemap: https://www.ejemplo.com/sitemap.xml
Esto ayuda a los buscadores a descubrir URLs importantes, aunque no sustituye una buena arquitectura interna.
5. Prueba antes de publicar
Antes de cambiar robots.txt, revisa:
- qué URLs quedarían bloqueadas;
- si afecta a páginas importantes;
- si hay reglas contradictorias;
- si el entorno de staging está protegido;
- si el sitemap es correcto;
- si hay bots específicos que requieren reglas distintas.
Un cambio en robots.txt no debe hacerse a ciegas.
Ejemplos de robots.txt
Robots.txt básico para WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ejemplo.com/sitemap.xml
Este ejemplo bloquea la zona administrativa y permite un recurso habitual necesario en WordPress.
Robots.txt para ecommerce
User-agent: *
Disallow: /carrito/
Disallow: /checkout/
Disallow: /mi-cuenta/
Disallow: /buscar/
Sitemap: https://www.ejemplo.com/sitemap.xml
Puede tener sentido bloquear zonas que no aportan valor orgánico, como carrito o checkout.
Robots.txt mal configurado
User-agent: *
Disallow: /
Este archivo bloquea el rastreo de toda la web. Puede ser útil en un entorno de prueba, pero en producción puede provocar un problema grave.
Robots.txt con bloqueo accidental del blog
User-agent: *
Disallow: /blog/
Si el blog es estratégico para SEO, esta regla puede impedir que Google rastree artículos importantes.
Errores habituales con robots.txt
| Error | Qué provoca | Cómo evitarlo |
| Bloquear toda la web | Google no rastrea nada | Revisar Disallow: / |
| Bloquear secciones SEO | Pérdida de visibilidad | Auditar reglas antes de publicar |
| Usarlo para noindex | Confusión | Usar noindex cuando proceda |
| No incluir sitemap | Menor claridad | Añadir URL del sitemap |
| Copiar plantillas | Reglas inadecuadas | Adaptar al proyecto |
| No revisar tras migración | Bloqueos accidentales | Comprobar en producción |
| Bloquear CSS o JS | Problemas de renderizado | Permitir recursos necesarios |
Un caso clásico: durante una migración, el entorno de pruebas usa Disallow: / para evitar rastreo. Al lanzar la web, alguien olvida quitarlo. Resultado: Google no puede rastrear la web nueva.
Ese error es más común de lo que parece.
Robots.txt y noindex: diferencias
Robots.txt y noindex no son lo mismo.
| Elemento | Función | Cuándo usarlo |
| Robots.txt | Controla rastreo | Para evitar que bots accedan a rutas |
| Noindex | Controla indexación | Para impedir que una página aparezca en Google |
| Canonical | Indica URL principal | Para duplicados o variantes |
| Redirección | Envía usuario y bot a otra URL | Para URLs obsoletas o cambiadas |
Ejemplo práctico: si tienes una página que no quieres que aparezca en Google, bloquearla por robots.txt puede no ser suficiente. Si Google ya la conoce, podría seguir mostrándola sin contenido rastreado. En muchos casos, es mejor permitir rastreo y aplicar noindex.
Caso práctico: ecommerce con miles de URLs filtradas
Imagina una tienda online con categorías, filtros de color, talla, precio, marca y ordenación. Cada combinación genera una URL distinta.
Sin control, Google puede rastrear miles de URLs como:
- /zapatillas?color=negro
- /zapatillas?talla=42
- /zapatillas?orden=precio
- /zapatillas?color=rojo&talla=40
El problema es que muchas no aportan valor SEO y consumen rastreo.
Una estrategia podría combinar:
- canonicals;
- noindex en determinados filtros;
- robots.txt para rutas específicas;
- mejora de arquitectura;
- sitemap limpio;
- enlazado interno hacia categorías importantes.
Robots.txt puede ser parte de la solución, pero no debería ser la única.
Cómo puede ayudarte Media Power con robots.txt
En Media Power revisamos robots.txt dentro del SEO técnico porque afecta a cómo Google accede a la web. No lo tratamos como un archivo aislado, sino como parte de una arquitectura completa de rastreo, indexación y prioridades SEO.
Podemos ayudarte a:
- auditar robots.txt;
- detectar bloqueos peligrosos;
- revisar rastreo;
- analizar indexación;
- optimizar sitemap;
- controlar URLs de bajo valor;
- revisar canonicals y noindex;
- preparar migraciones;
- evitar errores en producción;
- mejorar SEO técnico.
También podemos ayudarte desde una agencia de migraciones SEO si vas a lanzar una nueva web y necesitas asegurarte de que robots.txt, redirecciones, indexación y sitemap no pongan en riesgo tu visibilidad.
Preguntas frecuentes sobre robots.txt
¿Qué es robots.txt?
Robots.txt es un archivo de texto ubicado en la raíz de una web que indica a los rastreadores qué rutas pueden o no pueden rastrear.
¿Para qué sirve robots.txt?
Robots.txt sirve para gestionar el rastreo de bots, bloquear zonas no estratégicas, orientar el crawl budget y evitar que buscadores accedan a ciertas rutas.
¿Robots.txt impide que una página aparezca en Google?
No necesariamente. Robots.txt bloquea rastreo, pero no siempre impide indexación si Google conoce la URL por otros medios. Para evitar indexación suele usarse noindex.
¿Dónde está el archivo robots.txt?
Normalmente está en la raíz del dominio, por ejemplo: https://www.ejemplo.com/robots.txt.
¿Qué pasa si bloqueo toda la web en robots.txt?
Si bloqueas toda la web con Disallow: /, los bots no deberían rastrear ninguna página. En producción puede ser un error grave para SEO.
¿Debo incluir el sitemap en robots.txt?
Sí, suele ser recomendable incluir la URL del sitemap para ayudar a los buscadores a descubrir las páginas importantes.
Conclusión
El robots.txt es un archivo pequeño, pero puede tener un impacto enorme. Bien configurado, ayuda a controlar el rastreo y reducir ruido. Mal configurado, puede bloquear secciones clave y afectar al posicionamiento.
No es un archivo para copiar y pegar sin revisar. Debe adaptarse a la estructura, tecnología, objetivos y estrategia SEO de cada web.
En Media Power lo tenemos claro: el SEO técnico se gana en los detalles. Si quieres evitar errores de rastreo y construir una base sólida para competir, una agencia de marketing digital en Madrid puede ayudarte a convertir la parte técnica en una ventaja real.
#AcostúmbrateAGanar
