Primero, debe saber qué es realmente un archivo Robots.txt .
Generador Robosts.txt le dice a los motores de búsqueda qué páginas acceder e indexar en su sitio web y qué páginas no. Por ejemplo, si especifica en su archivo Robots.txt que no desea que los motores de búsqueda puedan acceder a su página de contacto, esa página no podrá aparecer en los resultados de búsqueda y los usuarios de la web no podrán ser capaz de encontrarlo Evitar que los motores de búsqueda accedan a ciertas páginas de su sitio es esencial tanto para la privacidad de su sitio como para su SEO .
Entonces, si tiene algunos contenidos que no cree que debería permitir que los motores de búsqueda rastreen, entonces debería usar Robots.txt . generalmente en un sitio web hay algunos contenidos que se usan dos o tres veces. En ese caso, si el rastreador de los motores de búsqueda escanea esos contenidos, penalizará su sitio web por duplicación y perderá rango.
- Cómo contratar programadores expertos de Node.js para servicios de desarrollo frontend
- ¿Qué es un servidor de aplicaciones y en qué se diferencia de un servidor web?
- ¿Qué cosas debe considerar un diseñador de UX al entregar un prototipo al equipo de desarrollo front-end?
- ¿Puedo poner PHP y HTML en un archivo? En caso afirmativo, ¿cuál debería ser la extensión que proporciono?
- ¿Cómo ganar dinero construyendo sitios web menores?
Y también el archivo Robots.txt especifica la ubicación del mapa del sitio que facilita el rastreo de los robots de los motores de búsqueda. Por lo tanto, sería realmente tonto no usar robtos.txt por completo. Aunque puede usarlo específicamente para algunos contenidos y si no tiene ningún contenido que ocultar, no hay ningún daño en usar el archivo robots.txt .
La razón por la que hace esta pregunta es porque no está familiarizado con este archivo txt. Pero no es tan difícil generar un archivo robots.txt. Puede generar este archivo fácilmente utilizando este generador Online Robots.txt .
Los pasos para usar una herramienta de generador Free Robots.txt se da a continuación:
- Primero configure la opción para todos los robots en “Permitido”.
- Dé el retraso de rastreo según su deseo de 5 segundos a 120 segundos.
- Coloque un mapa del sitio si lo tiene o déjelo en blanco.
- Para cargar un archivo existente y ocupar previamente la herramienta generadora, escriba o copie y pegue el texto en la URL del dominio raíz y seleccione ‘Cargar’.
- Puede utilizar las funciones “Permitido” y “Rechazado” para modificar el archivo Robots.txt generado. Tenga en cuenta que la herramienta por defecto es ‘Permitida’.
- Luego, para aplicar una nueva directiva a su lista, puede hacer clic en ‘Agregar directiva’ y para excluir o editar una directiva actual, seleccione ‘Eliminar directiva’, luego cree una nueva utilizando la función ‘Agregar directiva’.
Gracias.