De robots.txt tester tool
Ben je nog niet bekend met de robots.txt tester tool? Dan moet je daar dringend verandering in brengen! Het is een eenvoudige tool, die je in Webmaster Tools vindt onder de sectie ‘Crawlen’. De tool stelt je in staat om je robots.txt te testen en te controleren op fouten. Merk je dat een bepaalde pagina van je website niet scoort in Google of weinig bezoekers trekt, dan kan je via de tool testen of de URL geblokkeerd wordt door je robots.txt file. Is dat het geval, dan duidt de tool dankzij de update vanaf nu ook aan waar het probleem zich precies voordoet. Bovendien kan je meteen in de tool aanpassingen maken en opnieuw testen of dat het probleem oplost, al mag je dan natuurlijk niet vergeten om de aangepaste versie van je robots.txt bestand ook te uploaden naar je website.
Hoe gebruik je de tool het best?
Elke URL apart testen via de tool is niet bepaald efficiënt. Wij raden je dan ook aan om de tool te gebruiken in combinatie met andere tools, bijvoorbeeld in combinatie met Google Analytics en de ‘Fetch as Google’ tool in Webmaster Tools. Merk je in Google Analytics dat bepaalde pagina’s slechter scoren dan gemiddeld of dat bepaalde belangrijke pagina’s geen organisch verkeer krijgen? Steek die URL’s dan in de Fetch as Google tool. Komen daar bepaalde geblokkeerde URL’s uit, dan kan je die vervolgens testen met de robots.txt tester. Daarnaast doe je er goed aan om regelmatig belangrijke pagina’s van je website te testen via de tool.