Soms wil je dat (bepaalde) zoekmachines niet bij bepaalde bestanden laten komen. Gelukkig kun je met een robots.txt bestand de toegang weigeren of juist geven voor zoekrobots. Dit bestand is heel eenvoudig te maken via het programma Kladblok. Sla het bestand op als robots.txt, en upload het naar je website.
Hieronder enkele voorbeelden.
User-agent: *
Disallow:
Met bovenstaande code heb je alle zoekrobots de toegang tot alle pagina's van je website gegeven. Als je dus de wil dat alle pagina's door alle zoekrobots kunnen worden bezichtigt, gebruik dan deze code. Gebruik deze code niet bij Joomla, WordPress of andere sites met een CMS. Je geeft de zoekrobot dan toegang tot delen van het CMS. Bij het CMS wordt een robots.txt bestand meegeleverd met de juiste instellingen voor het CMS.
User-agent: *
Disallow: /pagina.html
Als je enkele pagina's wilt blokkeren, dan moet je bovenstaande code gebruiken. Je moet op de regel Disallow de pagina zetten die je wilt blokkeren. Alle zoekmachines die deze code serieus nemen (en dat zijn er veel) pagina.html niet zullen bezoeken, en alle links die daar staan niet zullen volgen. Dit kan handig zijn als je weinig bandbreedte hebt, of als je de pagina privé wilt houden. Gelukkig kun je meer dan een pagina toevoegen. Dit doe je als volgt:
User-agent: *
Disallow: /pagina1.html
Disallow: /pagina2.html
Disallow: /pagina3.php
Nu zullen deze 3 pagina's niet bezocht worden door zoekrobots. Je kunt ook alles blokkeren door bij Disallow gewoon een / te tikken. Dan zullen de zoekrobots geen van je pagina's bezoeken. Je kunt ze ook een map ontzeggen door de map te tikken, bijvoorbeeld Disallow: /map/. Dus krijg je:
User-agent: *
Disallow: /
om alles te blokkeren. Om een bepaalde map de blokkeren gebruik je:
User-agent: *
Disallow: /map/
Bepaalde zoekmachines blokkeren
Misschien wil je wel alleen bepaalde zoekmachines de toegang weigeren. Dat kan ook! Je kunt bijvoorbeeld zeggen dat Google wel bij een map mag, en alle anderen niet. Dat doe je als volgt:
User-agent: googlebot
Disallow:
User-agent: *
Disallow: /
Let op, User-agent: * moet als laatste.
