Uso de robots
El fichero robots.txt es un archivo publico de texto que da unas recomendaciones a los buscadores sin que tenga que indagar directamente dentro de la propia pagina, pero hay veces que los buscadores se lo saltan así que conviene tener correcta mente las palabras clave bien puestas, redundancia en la pagina de las palabras clave, vínculos,...
El archivo robots.txt va en la raid de la pagina (a mismo nivel de index.html)
Contiene entre otras cosas:
User-agent: * <-aquí se dice que buscador puede buscar, como tiene un * podrá cualquiera, pero si pongo badbot solo permitirá uno.
Disallow: / <-este dice la ruta donde buscaran los buscadores si quito la / tendré acceso completo
ademas podre poner barios Disallow con distintas rutas
ademas podre poner barios Disallow con distintas rutas
No hay comentarios:
Publicar un comentario