torsdag 29 april 2010

Blockera innehåll på din webbplats med robots.txt

Vill du att vissa filer eller mappar inte ska indexeras av sökrobotar så kan du skapa en robots.txt-fil och lägga i roten på din webbplats.

Öppna t ex Anteckningar och skriv in:

User-agent: *
Disallow: /namn-på-hemlig-mapp/

Spara filen som robots.txt och ftp:a upp till roten på din webbplats. Nu kommer de flesta sökmotorer inte att söka igenom din mapp och följaktligen inte indexera innehållet i den.

Vill du blockera bara en fil skriver du:

User-agent: *
Disallow: /hemlig-fil.html

Läs mer om robots.txt på Googles center för webbansvariga

Inga kommentarer: