No, no debes. Aunque tienes una opción. En pocas palabras, un archivo robots.txt es un conjunto de directivas para que los robots / rastreadores de los motores de búsqueda utilicen durante el proceso de escaneo de su sitio web. Es como decirle a los motores de búsqueda que, “Oye, no tienes que preocuparte por esas páginas. Hay cosas más importantes que indexar aquí”.
Un par de cosas:
1. Robots.txt es un conjunto de directivas que está dando a los rastreadores de motores de búsqueda. Pueden o no respetar lo mismo, aunque la mayoría de los principales sí.
2. Robots.txt no es una forma de proteger las secciones “premium” de su sitio. En otras palabras, si desea evitar el acceso anónimo de los archivos, debe protegerlos con contraseña.
3. Los diferentes motores de búsqueda tienen diferentes formas de interpretar el archivo Robots.txt, pero los principales jugadores siguen el Estándar de Exclusión de Robots (http://en.wikipedia.org/wiki/Rob…)
4. Finalmente, aunque los buenos motores de búsqueda respetan las directivas Robots.txt que les da para su sitio web, nada impide que los rastreadores indexen las URL que le gustaría proteger, de fuentes externas que los vinculan. La única forma de proteger estas URL es protegiendo con contraseña esas secciones en su servidor o bloqueando la indexación de búsqueda con metaetiquetas (https://support.google.com/webma…)
- No sé nada sobre diseño web, etc. ¿Funcionaría comprar un sitio web generador de dinero y externalizar su mantenimiento?
- Terminé el curso HTML y CSS en una semana, pero siento que no puedo crear ningún trabajo de calidad. Cuales son tus sugerencias
- Necesito un dominio para el diseño web. ¿Cómo obtengo un nombre de dirección?
- Quiero ganar dinero trabajando independientemente. ¿Tendré más éxito aprendiendo primero desarrollo web o desarrollo iOS?
- Mi hermana es una arquitectura clásica. Y ella necesita una empresa de diseño de sitios web. ¿Qué debería hacer ella?
