Sitemap Generator: Gratis programvareverktøy for å lage HTML- eller tekst-sitemaps

Så jeg har fått i oppdrag å ta en titt på vår SEO (et område jeg har noe, men ikke fantastisk kompetanse innen), og det første jeg la merke til er at robots.txt-filen vår sier følgende:

# go away User-agent: * Disallow: / 

Nå er jeg ganske kompetent til å lese datamaskiner, og så vidt jeg kan si, sier dette at ALLE edderkopper ikke skal se på NOE i rotkatalogen eller nedenfor.

Leser jeg dette riktig? For det virker bare sinnssykt.

Kanskje ikke noen ville betale for edderkopptrafikk?

Uansett leser du det riktig:

http://www.robotstxt.org/robotstxt.html

Nettstedeiere bruker /robots.txt-filen for å gi instruksjoner om nettstedet til nettroboter; dette kalles The Robots Exclusion Protocol. Det fungerer slik: en robot vil besøke en nettadresse, si http://www.example.com/welcome.html. Før den gjør det, sjekker den først etter http://www.example.com/robots.txt, og finner:

 User-agent: * Disallow: / 

De 'User-agent: *' betyr at denne delen gjelder alle roboter. De 'Disallow: /' forteller roboten at den ikke skal besøke noen sider på nettstedet.

Jeg har satt denne typen robots.txt på plass da jeg først utviklet et nettsted fordi jeg ikke vil at det skal indekseres av Google og andre før det er klart.

Jeg har også glemt å redigere det etter at siden har blitt live. * facepalm *

  • Problemet med dette er at dette er et nettsted for et webdesignfirma med flere millioner dollar, med over 35 ansatte, som har eksistert i over 15 år!
  • Umm, choke, ROFL

fungert for deg: Charles Robertson | Ønsker du å kontakte oss?