Qué es robots txt y cómo configurarlo paso a paso (Guía 2025)

que es robots txt

El archivo robots.txt es un elemento fundamental en toda estrategia SEO técnica. A través de él, los propietarios de sitios web pueden indicar a los motores de búsqueda qué partes de su web deben o no rastrear. Una correcta configuración permite ahorrar presupuesto de rastreo y proteger secciones privadas o duplicadas.

Contenidos ocultar

Qué es el archivo robots.txt

El robots.txt es un archivo de texto ubicado en la raíz de un dominio que comunica a los bots o rastreadores web (como Googlebot) las reglas de acceso a las páginas del sitio.
Su función principal es controlar qué páginas o recursos pueden ser indexados por los motores de búsqueda.

Ejemplo básico de un archivo robots.txt:

User-agent: *
Disallow: /admin/
Allow: /
Sitemap: https://www.tusitio.com/sitemap.xml

Este ejemplo indica que todos los bots pueden rastrear el sitio, excepto la carpeta “/admin/”, y proporciona la URL del sitemap para una indexación más eficiente.

Cómo crear y configurar un archivo robots.txt correctamente

Crear el archivo

Usa cualquier editor de texto (como Notepad, Sublime o VS Code) y guarda el archivo con el nombre exacto robots.txt.

Ubicarlo en la raíz del dominio

Debe estar accesible en la ruta https://www.tusitio.com/robots.txt, ya que los bots lo buscan automáticamente allí.

Configurar reglas de acceso

  • User-agent: define el bot al que se aplican las reglas (por ejemplo, Googlebot).
  • Disallow: bloquea el acceso a rutas específicas.
  • Allow: permite el rastreo en directorios o archivos concretos.
  • Sitemap: indica la ubicación del mapa del sitio XML.

Evita errores comunes

  • No bloquees recursos esenciales como CSS o JS.
  • Asegúrate de no impedir el acceso a páginas que quieras posicionar.
  • Comprueba el archivo con la herramienta “Probador de robots.txt” en Google Search Console.

Ejemplo avanzado para WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Sitemap: https://www.tusitio.com/sitemap_index.xml

Este ejemplo es ideal para WordPress, ya que bloquea el acceso a las secciones de administración, permite las funciones necesarias de AJAX y señala el sitemap.

Conclusión

El archivo robots.txt es una herramienta poderosa y sencilla para optimizar la relación entre tu sitio y los motores de búsqueda. Una configuración cuidadosa puede mejorar la indexación, proteger áreas privadas y aumentar la eficiencia del SEO técnico.

 

 

✅ COMPRAR ENTRADAS
/por