Vad är robots.txt? Vi visar med text bild och video

Robots.txt-filen används i första hand för att ange vilka delar av din webbplats som ska genom sökas av spindlar eller webbrobotar. Det kan ange olika regler för olika spindlar.

Googlebot är ett exempel på en spindel. Den används av Google för att gå igenom Internet för att få in information om webbplatser så att den vet hur den ska rangordna olika webbplatser i sökresultaten.

Att använda en robots.txt-fil till  din webbplats är en webbstandard. Spindlar letar efter robots.txt-filen i värdkatalogen (eller huvudmappen) på din webbplats. Den här textfilen heter alltid “robots.txt”. Exempel på robots.txt fil: https://expediten.se/robots.txt

 

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html Disallow: /refer/

Synonymer till robot

1. automat, självstyrande maskin, industrirobot; maskinmänniska, mekanisk människa
2. missil, robotvapen, fjärrstyrt vapen, raket, antirobotrobot

Wikipedia information om Robots_Exclusion_Standard

Robots Exclusion Standard Uppslagsordet ”Robots.txt” leder hit. För Wikipedias robots.txt-fil, se MediaWiki:Robots.txt och sv.wikipedia.org/robots.txt.Robots Exclusion Standard, även Robots Exclusion Protocol, robots.txt-protokoll är ett sätt att be sökspindlar och andra robotar, alltså datorprogram som samlar information åt söktjänster på Internet eller annars automatiskt eller halvautomatiskt besöker många webbsidor, att inte besöka vissa delar av en webbplats. Anledningen kan vara att man vill minska belastningen på servern eller förbindelsen eller undvika att inaktuella sidor eller visst material dyker upp på ett vilseledande sätt bland sökresultaten, trots att sidorna är tillgängliga för allmänheten via länkar. Metoden bygger på samarbete från söktjänsternas och robotkodarnas sida – det finns inget krav på att sökspindlar måste följa konventionen. Det finns ingen officiell standard, utan konventionen bygger på informell konsensus.