ALLES OVER CRAWLER-TRAPS
Het kan weleens voorkomen dat er een crawler-trap aanwezig is op uw website. Het is verstandig om deze crawler-trap zo snel mogelijk te verhelpen. Om dit te verhelpen is het natuurlijk wel handig dat u weet wat een crawler-trap precies is. Een crawler trap is een term die wordt gebruikt om aan te geven dat er een probleem is met de structuur van een website. De URL’s die door de crawler traps worden gegenereerd kunnen niet worden gecrawld door de spider van Google. Dit zorgt ervoor dat de spider van Google niet op de juist plek van uw website komt. Dit wilt u natuurlijk voorkomen. De meeste crawler traps komen voort uit een ontwerpfout van uw website. Als u dus te maken heeft met een crawler trap, moet u aan de slag met deze ontwerpfout.
DE CRAWLER TRAPS DIE HET MEEST VOORKOMEN
De crawler trap die het meeste voorkomt, is de https/subdomain redirect trap. Bij dit probleem is het voor Google onduidelijk hoe de oude, niet-beveiligde, pagina’s moeten worden omgeleid. Het gaat vaak om een omleiding die moet leiden richting de homepage van een website. De crawler ziet dit als een fout en hierdoor ontstaat er een crawler trap. Dit probleem is op te lossen door het webserverconfiguratie of CMS te bewerken. Een andere crawler trap die vaak voorkomt is de filter trap. Op veel websites is het mogelijk om een pagina te filteren. Echter zijn deze filterpagina’s niet altijd zichtbaar voor de bezoekers van uw website. U kunt deze crawler trap het beste oplossen door de filterresultaten van Google te blokkeren.
CRAWLER TRAPS VANGEN
Naast de crawler traps die wij hebben benoemd, zijn er nog een nog veel meer crawler traps. U wilt dit natuurlijk het liefst voorkomen. Voorkomen is namelijk beter dan genezen, en dit is ook het geval als het gaat om crawler traps. Om erachter te komen of u een crawler trap heeft op uw website, kunt u een SEO-spidercrawl uitvoeren. Als deze nooit eindigt, heeft u waarschijnlijk te maken met een crawler trap. Daarnaast kunt u ook met behulp van Google zoeken kijken naar operators. Als er op dat moment te veel pagina’s worden geïndexeerd, heeft u ook te maken met een crawler trap. Een andere manier is gebruik maken van Google Search Console. In dit gratis programma van Google kunt u de URL-parametertool gebruiken om erachter te komen welke URL’s er veel worden gecontroleerd door de Google spider. Probeer uw website regelmatig te controleren op crawler traps. Zo zorgt u ervoor dat uw website optimaal kan worden gevonden in de zoekmachines.