Robots.txt is een bestand dat onderdeel is van de technische optimalisatie van je website. Zoals het txt-bestandstype aangeeft, refereert Robots.txt naar een tekstbestand op de server. Binnen dit tekstbestand staan een aantal regels en instructies voor het crawlen en indexeren van de website. Zo beschrijft het Robots.txt bestand welke pagina's er wel of niet geindexeerd moeten worden. Homepage, categoriepagina en productpagina's wil je altijd laten indexeren. Minder belangrijke pagina's zoals bedanktpagina's of sub-sub-pagina's kun je misschien beter uitsluiten.

Neem contact op

Ben jij ambitieus en benieuwd wat wij voor jou kunnen betekenen? 

Vul onderstaand formulier in en we nemen contact met je op. 

* Velden met een * zijn verplicht

Waarom is robots.txt belangrijk?

Het robots.txt-bestand bepaalt welke website pagina's wel of niet door Search Engine robots mogen worden bekeken. Pagina's die je niet belangrijk vindt of die niet nodig zijn voor het gebruik van de website kun je hiermee uitsluiten. Let op! Verkeerd gebruik maken van het robots.txt kan schadelijk zijn voor je SEO resultaten.

Hoe werkt robots.txt?

Bekijk daarvoor de Robots Exclusion Standard.

Online Marketing begrippen

X
XML
Garden Connect