sitemap robotstxt

Een sitemap en robots.txt file zijn eenvoudige hulpmiddelen om te communiceren met Google.

Wanneer je nieuwe content online zet, wordt die niet altijd onmiddellijk geïndexeerd door Google. In sommige gevallen kan dat zelfs behoorlijk lang duren.

Dat is niet zo vreemd als je weet dat er miljarden webpagina's online staan die allemaal moeten gevonden en geïndexeerd worden. Het kan dus gemakkelijk enkele weken duren voor Google jouw website of pagina gevonden heeft.

Hoe meer autoriteit je website heeft, hoe vaker Google zal langskomen om de wijzigingen te bekijken. Een bestaande website met veel bezoekers zal dus zijn nieuwe content veel sneller geïndexeerd zien dan een nieuwe website die nog maar net online staat.

Gelukkig hoeven we niet te gaan zitten wachten tot Google eens langskomt maar kunnen we Google een teken geven dat er nieuwe content klaarstaat om te indexeren. De tools die we daarvoor gebruiken zijn de sitemap en de robots.txt file.

 

Hoe een sitemap gebruiken?

Een sitemap is eigenlijk een index van je volledige website waardoor Google een overzicht krijgt van alle beschikbare url's. Voor het aanmaken van de sitemap zijn verschillende oplossingen. Gebruik je een cms-systeem zoals Joomla of Wordpress dan zijn er verschillende plugins beschikbaar om dit te doen. Je kan dit vragen aan je webdesigner of je kan zelf met een plugin aan de slag gaan. Op de website https://www.xml-sitemaps.com/ kan je zelf een sitemap aanmaken. Let op want de gratis versie zal je sitemap niet automatisch updaten waardoor nieuwe content dus niet mee opgenomen wordt. Je maakt beter gebruik van een dynamische sitemap die ook nieuwe content telkens opneemt en meldt aan Google.

Is je sitemap aangemaakt dan moet je die vervolgens indienen bij Google Search. Heb je een dynamische sitemap, dan moet je dit maar één keer doen.

In onderstaande video laat ik zie hoe je dat doet.

 

Niet zeker of je al een sitemap hebt? Meestal kan je je sitemap eenvoudig controleren met volgende url: www.domeinnaam.be/sitemap.

Zie je daar niets dan betekent dat nog niet dat je geen sitemap hebt, vraag het zeker eerst aan je webdesigner.

De rol van een robots.txt file

Vooraleer een bot (zoals Google) start met het crawlen van je website, kijkt hij eerst of er een txt-bestand aanwezig is. Met dit eenvoudig bestandje geef je dus informatie door aan de zoekmachines.

Welke info kan een robots.txt file bevatten?

  • je kan bepaalde bots blokkeren, bv chinese zoekrobots als je toch geen zaken doet met China
  • je geeft aan waar je sitemap staat
  • je vraagt de zoekbots de volledige website te analyseren
  • je kan de zoekbots vragen bepaalde pagina's niet te scannen
  • je kan de bots vragen een volledige directory niet te scannen

Belangrijk om weten is dat het niet is omdat je de bot vraagt een bepaalde pagina niet te bezoeken, dat die toch niet zal opduiken in de zoekresultaten. Verwijzingen op andere sites kunnen er voor zorgen dat dit toch gebeurt. De pagina zal dan wel slecht scoren in de zoekresultaten maar kan nog steeds vindbaar zijn. Wil je dat een pagina echt niet geïndexeerd wordt en dus onvindbaar is in de zoekresultaten, dan gebruik je beter no index en no follow in de meta robots parameters.

Gebruik je de robots.txt file verkeerd dan riskeer je dat je de bots ongewild toegang ontzegt tot je pagina's, wat uiteraard zeer nadelig kan zijn voor je SEO.

Je robots.txt file bekijken en controleren kan je via deze robots-txt tester van Google.

Waarom de sitemap en robots.txt file belangrijk zijn voor SEO

Beide files helpen Google met het begrijpen van je website en indexeren van je pagina's. Heb je een nieuwe website en wil je geen weken wachten tot Google langskomt, dan zal je deze tools nodig hebben. Plaats je regelmatig nieuwe content dan helpt je sitemap Google om die sneller te vinden.

 SEO tipsSEO checklist

 

We willen je graag verwittigen als er weer een interessante blog voor je klaarstaat:
E-mail adres:
Naam:

Je gegevens worden nooit gedeeld met derden.
We gebruiken ze enkel om je op de hoogte te houden van nieuwe blogartikelen of interessante aanbiedingen.

 




 

 

 

Reacties mogelijk gemaakt door CComment