Søkemotorer direkte en stor, noen ganger også overveldende mengde fleste nettsteder ' trafikk. Som den største av gjengen , er Google avgjørende for enhver nettstedets suksess. For at det skal fungere ordentlig , må den gjennomgå nettstedet jevnlig . Selv etter at du har satt opp den nødvendige robots.txt -filen kreves for Google å gjennomgå webområdet ditt , bør du teste Google crawl for å sikre at det fungerer . Du kan gjøre dette fra din Webmaster Tools -konto. Du trenger
Webmaster Tools -konto
Vis flere instruksjoner
en

Logg inn på din Webmaster Tool konto (lenke i Resources) . For å teste Google crawl , må du registrere deg på denne gratis verktøy hvis du ikke allerede har.
2

Velg "Site Configuration " og deretter " Crawler tilgang. "

3

Klikk på " Test robots.txt "-kategorien .
4

Dobbeltsjekk at all informasjon ( webadressen din , robots.txt -fil ) er riktig, og klikk på « Test ».