Primero, debe saber qué es realmente un archivo Robots.txt .
Generador Robosts.txt le dice a los motores de búsqueda qué páginas acceder e indexar en su sitio web y qué páginas no. Por ejemplo, si especifica en su archivo Robots.txt que no desea que los motores de búsqueda puedan acceder a su página de contacto, esa página no podrá aparecer en los resultados de búsqueda y los usuarios de la web no podrán ser capaz de encontrarlo Evitar que los motores de búsqueda accedan a ciertas páginas de su sitio es esencial tanto para la privacidad de su sitio como para su SEO .
Entonces, si tiene algunos contenidos que no cree que debería permitir que los motores de búsqueda rastreen, entonces debería usar Robots.txt . generalmente en un sitio web hay algunos contenidos que se usan dos o tres veces. En ese caso, si el rastreador de los motores de búsqueda escanea esos contenidos, penalizará su sitio web por duplicación y perderá rango.
- ¿Cuál es la mejor práctica para poner la misma información en varias páginas? ¿Google me penalizará por tener el mismo párrafo en varias páginas?
- ¿Cuáles son las ventajas de ASP.net sobre PHP? ¿Cómo es mejor y por qué?
- ¿Cuáles son los mejores sitios web de cartera de programadores / desarrolladores web que existen? ¿Y qué es lo mejor para incluir / excluir de mi propio sitio web?
- ¿Cuáles son los algoritmos más utilizados para los desarrolladores de Ruby on Rails?
- Cómo integrar Captcha en un sitio web de Laravel
Y también el archivo Robots.txt especifica la ubicación del mapa del sitio que facilita el rastreo de los robots de los motores de búsqueda. Por lo tanto, sería realmente tonto no usar robtos.txt por completo. Aunque puede usarlo específicamente para algunos contenidos y si no tiene ningún contenido que ocultar, no hay ningún daño en usar el archivo robots.txt .
La razón por la que hace esta pregunta es porque no está familiarizado con este archivo txt. Pero no es tan difícil generar un archivo robots.txt. Puede generar este archivo fácilmente utilizando este generador Online Robots.txt .
Los pasos para usar una herramienta de generador Free Robots.txt se da a continuación:
- Primero configure la opción para todos los robots en “Permitido”.
- Dé el retraso de rastreo según su deseo de 5 segundos a 120 segundos.
- Coloque un mapa del sitio si lo tiene o déjelo en blanco.
- Para cargar un archivo existente y ocupar previamente la herramienta generadora, escriba o copie y pegue el texto en la URL del dominio raíz y seleccione ‘Cargar’.
- Puede utilizar las funciones “Permitido” y “Rechazado” para modificar el archivo Robots.txt generado. Tenga en cuenta que la herramienta por defecto es ‘Permitida’.
- Luego, para aplicar una nueva directiva a su lista, puede hacer clic en ‘Agregar directiva’ y para excluir o editar una directiva actual, seleccione ‘Eliminar directiva’, luego cree una nueva utilizando la función ‘Agregar directiva’.
Gracias.
