Vad är robots.txt? Vi visar med text bild och video

Google-Robot.txt Fil

Robots.txt-filen används i första hand för att ange vilka delar av din webbplats som ska genom sökas av spindlar eller webbrobotar. Det kan ange olika regler för olika spindlar.

Googlebot är ett exempel på en spindel. Den används av Google för att gå igenom Internet för att få in information om webbplatser så att den vet hur den ska rangordna olika webbplatser i sökresultaten.

Att använda en robots.txt-fil till din webbplats är en webbstandard. Spindlar letar efter robots.txt-filen i värdkatalogen (eller huvudmappen) på din webbplats. Den här textfilen heter alltid “robots.txt”. Exempel på robots.txt fil: https://expediten.se/robots.txt

 

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html Disallow: /refer/

Vad är robots.txt?

Synonymer till robot

  1. automat, självstyrande maskin, industrirobot; maskinmänniska, mekanisk människa
  2. missil, robotvapen, fjärrstyrt vapen, raket, antirobotrobot