31
Ene

Indica a los motores de búsqueda qué deben rastrear

Robots.txt es un archivo de texto que indica a los rastreadores de los motores de búsqueda qué directorios deben rastrear (dar permiso [allow]) y cuáles no (rechazar permiso [disallow]). Todos los bots primero deben acceder a los archivos robots.txt antes de rastrear el sitio web.

Usar el archivo robots.txt te ayuda a garantizar que los motores de búsqueda identifiquen todo el contenido importante de tu sitio web. Si se excluyen elementos importantes al rastrear tu sitio web o JavaScript, los motores de búsqueda no podrán indexar correctamente el sitio web.

A continuación tenemos el ejemplo de un archivo robots.txt sencillo:

Agente-de-usuario: *

En este caso, las instrucciones funcionan para todos los bots (*). No hay restricciones de rastreo. Después de crear el archivo robots.txt debes guardarlo en el directorio raíz de tu sitio web.

Si no quieres que se rastree un área específica del sitio web, especifícalo con una directiva “disallow” en el archivo.

Agente-de-usuario: *

Disallow: /estedirectorio

Consejos:

Usa un archivo robots.txt para dar instrucciones a los motores de búsqueda.

Asegúrate de que las áreas importantes de tu sitio web no se excluyan del rastreo.

Revisa con regularidad el archivo robots.txt y su accesibilidad.

Orientación y rendimiento del sitio web

Tu sitio web debe estar orientado por temas con palabras clave específicas para lograr clasificaciones óptimas. El sitio web debe satisfacer las necesidades de tus usuarios. Al mismo tiempo, también es importante que el contenido de tu sitio web se cargue con rapidez para garantizar la satisfacción del usuario.


< Volver al día 10

Ir al día 12 >