Optimaliseren vindbaarheid - Zoekmachine indexering aan of uitzetten

In de meeste gevallen wil je natuurlijk graag dat zoekmachines jouw website goed indexeren. Er zijn echter situaties waarin je dat liever niet hebt, denk bijvoorbeeld aan een development omgeving waarvan je niet wilt dat zoekmachines die net zo goed ranken als je live website. In dat geval kun je in WordPress aangeven dat zoekmachines niet welkom zijn om jouw website te indexeren. 

Iedere zoekmachine zal eerst het bestand robots.txt in de hoofdmap opzoeken. Hierin staan de regels waaraan zij (bots) zich dienen te houden. In WordPress kan deze gemakkelijk aangemaakt worden vanuit de beheer omgeving.

Zoekmachine indexering aan of uitzetten

Simpele oplossing - WordPress volledig uitsluiten van zoekmachine indexering

Hiermee sluit je zoekmachines uit middels een instelling in WordPress, wat handig is wanneer je een kloon of staging versie van je website aanmaakt. We raden dit altijd aan om meteen in te stellen bij aanmaak. Dit is de makkelijkste wijze en doe je als volgt:

1. Log in op je WordPress beheer omgeving
2. Klik in het linkermenu op Instellingen > Lezen
3. Vink onderaan de pagina bij Zoekmachine vindbaarheid het vakje aan om zoekmachines te blokkeren

Dit maakt het bestand robots.txt aan in de hoofdmap van WordPress, wat de zoekmachines gebruiken om de rechten van het indexeren van een website te bekijken. Zoekmachines zullen altijd eerst dat bestand opzoeken. Houd er rekening mee dat wanneer je een wijziging doet aan deze instellingen nadat je website al enkele dagen online staat, het in sommige gevallen enkele weken kan duren voordat je website weer verdwijnt uit de zoekresultaten.

Uitgebreide oplossing - Website volledig uitsluiten voor zoekmachine indexering / Google vindbaarheid

Wanneer je de gehele site wilt uitsluiten van indexering, stel je dat in middels een robots.txt bestand (ook voor non-WordPress websites van toepassing). Vaak is dit bestand al aanwezig waardoor je deze simpelweg kunt bewerken, maar mocht dat niet zo zijn dan kun je deze toevoegen met behulp van onderstaande stappen. Let op dat je dit bestand in de hoofdmap van de correcte website installatie plaatst (juist je staging, of juist je live website). De stappen:

1. Log in op cPanel en navigeer naar de file manager
2. Navigeer naar de map welke je wilt uitsluiten van indexatie
3. Indien al aanwezig, open het bestand robots.txt

4. Indien niet aanwezig, maak het bestand robots.txt aan:

   

5. Voeg daar onderstaande inhoud aan toe:

User-agent: *
Disallow: /

1. Controleer na het opslaan met een externe robots.txt controle tool. Afhankelijk van je wens, geeft de tool aan of de website te indexeren is of juist niet.

Enkel een submap uitsluiten

Wil je niet je hele website maar slechts een submap afsluiten van zoekmachines? In dat geval kun je de bestaande robots.txt zelf aanpassen. Middels onderstaand voorbeeld worden de mappen /stagingversie/ en /wp-admin/ uitgesloten van indexeren. Dit is handig wanneer je bijvoorbeeld een staging maakt op website.nl/stagingversie. Onderstaand een voorbeeld van een gehele robots.txt inhoud, waar je verschillende 

User-agent: *
Disallow: /stagingversie/
Disallow: /wp-admin/

In dit geval weigeren we alle robots om de betreffende mappen te indexeren. User-agent is de bezoeker, in dit geval willen we alle bots weigeren, dus zetten we er een * neer, wat 'alles' betekent.