Webcijfers WebCrawler
WebCijfers maakt bij de analyse van een website gebruik van een webcrawler. Deze crawler haalt de html code van een website op en analyseert deze.
Deze informatie wordt hierbij niet opgeslagen dus bij iedere nieuwe analyse wordt de pagina opnieuw opgehaald.
WebCijfers haalt alleen informatie op van uw site als uw site zo staat ingesteld dat crawlers (zoals die van WebCijfers) uw site mogen bekijken, indexeren en volgen. Als u niet wilt dat de crawlers van Webcijfers uw site bekijken dan kunt u dat opgeven via een tobots.txt bestand. Zie hiervoor ook http://www.robotstxt.org/robotstxt.html.
De WebCijfers Crawler blokkeren
De WebCijfers spider houdt zich aan regels opgesteld in robots.txt. De simpelste manier om de webcijfers crawler te blokkeren is door het aanmaken van een bestand genaamd robots.txt in de eerste map van uw website. WebCijfers zoekt dus naar het bestand op de volgende locatie : http://uwsite.nl/robots.txt.
Zodra het robots.txt bestand wordt gevonden gaat de spider op zoek naar de webcijfers directives of naar algemene directives. WebCijfers volgt deze dan op. Zie voor veel meer informatie http://www.robotstxt.org/orig.html
WebCijfers spider blokkeren: een voorbeeld !
Uw website nu blokkeren
Als u een geldig robots.txt bestand op uw site hebt staan kunt u nu direct de webijfers spider laten blokkeren en daarmee alle analyses in de toekomst onmogelijk maken. Geef hieronder uw domeinnaam op.
