Wat is een Robots.txt bestand?

Dit is een tekstbestand dat Google en andere crawlers verteld welke pagina's ze mogen bezoeken en welke niet. Niet elke crawler respecteert de uitgesloten pagina's van een robots.txt, plaats dus geen pagina's met gevoelige informatie in je robots.txt bestand. Dit soort pagina's horen echt achter een aparte inlog-omgeving van je website. Robots.txt heeft dus meer een adviserende dan een bindende rol.

Waarom dan toch een robots.txt bestand?

Google en andere zoekmachines besteden een korte tijd op je website om deze te indexeren (op te nemen in de zoekresultaten). Hoe beter jij ze vertelt welke pagina's ze zeker niet mogen missen hoe sneller deze worden geïndexeerd.

Heb jij al een robots.txt bestand?

Of je al een robots.txt bestand hebt is eenvoudig te controleren. Typ /robots.txt achter je website adres in de adresbalk van je browser en je robot.txt bestand wordt getoond als deze is aangemaakt.