Comprender robots.txt: por qué es importante y cómo utilizarlo

Ganar visibilidad para su sitio al posicionarse bien en las páginas de resultados de motores de búsqueda (SERP) es un objetivo que vale la pena perseguir. Sin embargo, es probable que haya algunas páginas en su sitio que preferiríanodirigir el tráfico hacia, por ejemplo, su área de preparación o publicaciones duplicadas.

Afortunadamente, existe una forma sencilla de hacerlo en su sitio de WordPress. Usar unrobots.txtEl archivo alejará a los motores de búsqueda (y, por lo tanto, a los visitantes) de cualquier contenido que desee ocultar e incluso puede ayudar a reforzar sus esfuerzos de optimización de motores de búsqueda (SEO).

En esta publicación, te ayudaremos a comprender qué es unrobots.txtQué es el archivo y cómo se relaciona con el SEO de su sitio. A continuación, le mostraremos cómo crear y editar este archivo de manera rápida y sencilla en WordPress, utilizando elYoast SEOcomplemento. ¡Vamos a sumergirnos en ello!

Una introducción arobots.txt

En una palabra,robots.txtEs un archivo de texto sin formato que se almacena en el directorio principal de un sitio web. Su función es dar instrucciones a los rastreadores de los motores de búsqueda antes de que exploren e indexen las páginas de su sitio web.

Para poder entenderrobots.txt, necesitas saber un poco sobrerastreadores de motores de búsquedaSe trata de programas (o “bots”) que visitan sitios web para conocer su contenido. La forma en que los rastreadores indexan las páginas de su sitio determina si terminan en los SERP (y qué tan alto se posicionan).

Cuando un rastreador de un motor de búsqueda llega a un sitio web, lo primero que hace es buscar unarobots.txtarchivo en el directorio principal del sitio. Si encuentra uno, tomará nota de las instrucciones que figuran en él y las seguirá al explorar el sitio.

Si no hay unarobots.txtarchivo, el robot simplemente rastreará e indexará todo el sitio (o la mayor parte del sitio que pueda encontrar). Esto no siempre es un problema, pero haysonVarias situaciones en las que podría resultar perjudicial para su sitio y su SEO.

Por quérobots.txtAsuntos para SEO

Uno de los usos más comunes derobots.txtEs ocultar el contenido de un sitio web a los motores de búsqueda. Esto también se conoce como “impedir” que los robots rastreen determinadas páginas. Hay algunas razones por las que podría querer hacerlo.

La primera razón es proteger su clasificación en SERP. Contenido duplicadotiende a confundir a los rastreadores de los motores de búsquedaDado que no pueden incluir todas las copias en los SERP y, por lo tanto, deben elegir qué versión priorizar, esto puede provocar que su contenido compita consigo mismo por los primeros puestos, lo que es contraproducente.

Otra razón por la que puede querer ocultar contenido a los motores de búsqueda es para evitar que muestren secciones de su sitio web que desea mantener privadas, como su área de ensayo o foros privados exclusivos para miembros. Encontrar estas páginas puede resultar confuso para los usuarios y puede desviar el tráfico del resto de su sitio.

Además de evitar que los bots exploren ciertas áreas de su sitio, también puede especificar un ‘retraso de rastreo’ en surobots.txtarchivo. Esto evitaráSobrecargas del servidor causadas por botscargar y rastrear varias páginas de su sitio a la vez. También puede reducir el tiempo de carga.Se agotó el tiempo de conexiónerrores, que pueden resultar muy frustrantes para los usuarios.

Cómo crear y editarrobots.txten WordPress (en 3 pasos)

Afortunadamente, elYoast SEOEl complemento facilita la creación y edición de su sitio de WordPress.robots.txtarchivo. Los pasos a continuación asumirán que ya tieneInstalado y activado Yoast SEOen su sitio.

Paso 1: Acceda al editor de archivos de Yoast SEO

Una forma de crear o editar surobots.txtEl archivo se puede descargar mediante la herramienta Editor de archivos de Yoast. Para acceder a él, visite el panel de administración de WordPress y navegue hastaYoast SEO HerramientasEn la barra lateral:

En la pantalla resultante, seleccioneEditor de archivosDe la lista de herramientas:

Si ya tienes unarobots.txtarchivo, se abrirá un editor de texto donde podrá realizar cambios. Si no tiene unrobots.txtarchivo, verá este botón en su lugar:

Haga clic en él para generar automáticamente unrobots.txty guárdelo en el directorio principal de su sitio web. Hay dos beneficios al configurar surobots.txtarchiva de esta manera.

En primer lugar, puede estar seguro de que el archivo se guarda en el lugar correcto, lo cual es esencial para garantizar que los rastreadores de los motores de búsqueda puedan encontrarlo. El archivo también tendrá un nombre correcto, en minúsculas. Esto es importante porque los rastreadores de los motores de búsqueda distinguen entre mayúsculas y minúsculas y no reconocerán archivos con nombres comoArchivo robots.txt.

Paso 2: Formatea turobots.txtArchivo

Para comunicarse de manera eficaz con los rastreadores de motores de búsqueda, deberá asegurarse de que surobots.txtEl archivo está formateado correctamente. Todosrobots.txtLos archivos enumeran un ‘agente de usuario’ y luego ‘directivas’ que ese agente debe seguir.

Un agente de usuario es un rastreador de motor de búsqueda específico al que desea darle instrucciones.Algunos comunesIncluyen: bingbot, googlebot, slurp (Yahoo) y yandex. Las directivas son las instrucciones que desea que sigan los rastreadores de los motores de búsqueda. Ya hemos analizado dos tipos de directivas en esta publicación:rechazaryretraso de rastreo.

Cuando se juntan estos dos elementos se obtiene un resultado completo.robots.txtarchivo. Puede ser tan breve como dos líneas. Aquí estánuestro propiorobots.txtarchivo como ejemplo:

Puede encontrar más ejemplos simplemente escribiendo la URL de un sitio seguido de/robots.txt(p.ej,ejemplo.com/robots.txt).

Otro elemento de formato importante es el ‘comodín.’ Este es un símbolo que se utiliza para indicar que hay varios rastreadores de motores de búsqueda a la vez. En nuestrorobots.txtarchivo de arriba, el asterisco (*) representa a todos los agentes de usuario, por lo que las directivas que lo siguen se aplicarán a cualquier bot que las lea.

El otro comodín comúnmente utilizado es el dólar ($) símbolo. Puede representar el final de una URL y se utiliza para dar directivas que se deben aplicar a todas las páginas con una terminación de URL específica. Aquí estáDe BuzzFeedrobots.txtarchivoA modo de ejemplo:

Aquí, el sitio utiliza el$comodín para bloquear los rastreadores de motores de búsqueda de todos.xmlarchivos. En tu propiorobots.txtarchivo, puede incluir tantas directivas, agentes de usuario y comodines como desee, en cualquier combinación que mejor se adapte a sus necesidades.

Paso 3: Usorobots.txtComandos para dirigir a los rastreadores de motores de búsqueda

Ahora que ya sabes cómo crear y formatear turobots.txtarchivo, puede comenzar a dar instrucciones a los robots de los motores de búsqueda. Hay cuatro directivas comunes que puede incluir en surobots.txtarchivo:

• Rechazar.Indica a los rastreadores de motores de búsqueda que no exploren ni indexen la página o páginas especificadas.
• Permitir.Permite el rastreo y la indexación de subcarpetas que no están permitidas por una directiva anterior. Este comando solo funciona con Googlebot.
• Retraso de rastreo.Indica a los rastreadores de los motores de búsqueda que esperenun período de tiempo específicoantes de cargar la página en cuestión.
• Mapa del sitio.Proporciona a los rastreadores de motores de búsqueda la ubicación de unMapa del sitio que proporciona información adicional, lo que ayudará a los robots a rastrear su sitio de manera más eficaz. Si decide utilizar esta directiva, debe colocarla al final de su archivo.

Ninguna de estas directivas es estrictamente necesaria para surobots.txtarchivo. De hecho, puedes encontrar argumentos a favor o en contra.contra el uso de cualquiera de ellos.

Como mínimo, no hay ningún problema en impedir que los bots rastreen páginas que no quieres que aparezcan en los SERP y señalar tu mapa del sitio. Incluso si vas a utilizar otras herramientas para gestionar algunas de estas tareas, turobots.txtEl archivo puede proporcionar una copia de seguridad para garantizar que se cumplan las directivas.

Conclusión

Existen muchas razones por las que puede querer dar instrucciones a los rastreadores de los motores de búsqueda. Ya sea que necesite ocultar ciertas áreas de su sitio de los SERP, configurar un retraso de rastreo o señalar la ubicación de su mapa del sitio, surobots.txtEl archivo puede realizar el trabajo.

Para crear y editar surobots.txtarchivo conYoast SEO, querrás:

1. Acceda al editor de archivos de Yoast SEO.
2. Formatee surobots.txtarchivo.
3. Usarrobots.txtcomandos para dirigir los rastreadores de motores de búsqueda.

¿Tiene alguna pregunta sobre el uso?robots.txt¿Quieres mejorar tu SEO? ¡Pregúntanos en la sección de comentarios a continuación!

Crédito de la imagen:Pexels.