Robots.txt

robots.txt

robots.txt

Voor de robots / spiders van zoekmachines is het belangrijk om aan te geven welke mappen en pagina’s niet geïndexeerd mogen worden. Dit doet u in het txt bestand genaamd robots.txt. Het bestand zal in de root van de website moeten staan.

Dit wil niet zeggen dat de afgeschermde mappen en webpagina’s niet ergens worden opgeslagen. De vertrouwelijke gegevens zal u moeten beveiligen. Dit geldt ook voor informatie wat pas na een bepaalde datum zichtbaar mag worden op de website.

Een voorbeeld van robots.txt:

User-agent: *
Disallow: /wp-admin/

You may also like