
Robot.txt-filen brukes først og fremst til å spesifisere hvilke deler av nettstedet som skal gjennomsøkes av edderkopper eller webcrawlere. Den kan sette forskjellige regler for forskjellige edderkopper.
Googlebot er et eksempel på en edderkopp. Den brukes av Google for å gjennomsøke Internett for å få informasjon om nettsteder, slik at den vet hvordan de skal rangere forskjellige nettsteder i søkeresultatene.
Å bruke en robots.txt-fil for nettstedet ditt er en nettstandard. Edderkopper ser etter robots.txt-filen i vertskatalogen (eller rotkatalogen) på nettstedet ditt. Denne tekstfilen kalles alltid "robots.txt". Eksempel på en robots.txt-fil: https://expediten.se/robots.txt
Bruker agent: *
Tillat: / wp-content / uploads /
Disallow: / wp-content / plugins /
Avvis: / wp-admin /
Disallow: /readme.html Disallow: / refer /
Synonymer forrobot
- automatisk, selvstyrende maskin; industriell robot; maskinmann, mekanisk mann
- missil, robotvåpen, fjernstyrt våpen, rakett, antirobotrobot