Ordlista
Robots.txt
En textfil på en webbplats som ger instruktioner till sökmotorers crawlers om vilka delar av sajten som får eller inte får crawlas.
Robots.txt placeras i webbplatsens rotkatalog och läses av sökmotorer innan de crawlar sidan, för att styra bort resurser som inte behöver indexeras, till exempel admin-sidor eller interna sökresultat. Filen är ett riktmärke snarare än ett säkerhetsverktyg, eftersom den bara instruerar väluppfostrade crawlers och inte hindrar åtkomst rent tekniskt. Felaktigt konfigurerad robots.txt kan av misstag blockera viktiga delar av webbplatsen från att indexeras alls.
Skrivet av
Simon TernRelaterade termer
Crawl Budget
Den mängd resurser en sökmotor är villig att lägga på att crawla en specifik webbplats under en given tid.
Google Search Console
Ett kostnadsfritt verktyg från Google för att övervaka och felsöka hur en webbplats presterar i sökresultatet.
Sitemap
En fil som listar en webbplats sidor, för att hjälpa sökmotorer att hitta och förstå strukturen på webbplatsen.
Fler frågor om robots.txt?
Jag hjälper er reda ut vad som faktiskt spelar roll för er verksamhet.
Prata med Simon →