User agents per hostingpakket

De manier waarop mensen websites ontdekken verandert snel. Naast traditionele zoekmachines spelen AI platforms zoals ChatGPT, Claude, Gemini en Perplexity een steeds grotere rol bij het vinden en aanbevelen van online content.


Daarom zijn onze hostingpakketten standaard geoptimaliseerd voor zowel zoekmachines als AI platforms. Per hostingpakket is zorgvuldig bepaald welke categorieën user agents standaard toegang krijgen, zodat je profiteert van een optimale balans tussen bereikbaarheid, prestaties en controle.


Hieronder vind je een volledig overzicht van alle ondersteunde categorieën en bijbehorende user agents.


Beschikbaarheid per hostingpakket

Categorie Personal Professional Business Enterprise
Zoekmachines ✅ ✅ ✅ ✅
Social previews ✅ ✅ ✅ ✅
Utility ✅ ✅ ✅ ✅
Monitoring ✅ ✅ ✅ ✅
Advertentieplatformen ✅ ✅ ✅ ✅
AI crawlers (populair) ✅ ✅ ✅ ✅
AI crawlers (niche) ❌ ✅ ✅ ✅
SEO tools ❌ ✅ ✅ ✅
Pre-fetching ❌ ✅ ✅ ✅
Security scanners ❌ ❌ ✅ ✅
Scrapers ❌ ❌ ❌ ✅

Categorieën

Zoekmachines

Zoekmachinebots indexeren websites zodat deze vindbaar zijn in zoekmachines.

Voorbeelden

  •  Googlebot
  •  Google-InspectionTool
  •  Googlebot-Image
  •  Googlebot-Video
  •  Googlebot-News
  •  Bingbot
  •  BingPreview
  •  AdIdxBot
  •  DuckDuckBot
  •  Applebot
  •  YandexBot
  •  Baiduspider
  •  SeznamBot
  •  Sogou
  •  360Spider
  •  PetalBot
  •  SWIFTbot
  •  Exabot

Social previews

Deze bots halen metadata op om linkvoorbeelden te tonen binnen sociale media, chatapplicaties en samenwerkingsplatformen.

Voorbeelden

  •  facebookexternalhit
  •  Facebot
  •  FacebookBot
  •  WhatsApp
  •  Twitterbot
  •  LinkedInBot
  •  Pinterestbot
  •  Slackbot-LinkExpanding
  •  Discordbot
  •  TelegramBot
  •  Redditbot
  •  TikTokSpider
  •  Mastodon

Monitoring

Monitoringdiensten controleren automatisch of jouw website bereikbaar en goed presterend blijft.

Voorbeelden

  •  UptimeRobot
  •  Pingdom
  •  StatusCake
  •  Site24x7
  •  Better Uptime
  •  HetrixTools
  •  Uptrends
  •  Datadog
  •  New Relic
  •  Freshping
  •  Oh Dear
  •  NodePing
  •  ManageWP

AI crawlers

AI crawlers verzamelen of verwerken content voor AI assistenten, AI zoekmachines en large language models.

Beschikbaar op alle hostingpakketten

  •  GPTBot
  •  ChatGPT-User
  •  OAI-SearchBot
  •  ClaudeBot
  •  Claude-User
  •  anthropic-ai
  •  Google-Extended
  •  Google-Agent
  •  Google NotebookLM
  •  Google Read Aloud
  •  PerplexityBot
  •  Perplexity-User
  •  Meta Web Indexer

Niche crawlers (beschikbaar vanaf Professional)

  •  Bytespider
  •  Applebot-Extended
  •  Amazonbot
  •  CCBot
  •  DuckAssistBot
  •  MistralAI-User
  •  YouBot
  •  Cohere AI
  •  AI2Bot
  •  ImagesiftBot
  •  omgilibot

SEO tools

SEO tools analyseren websites voor rankings, backlinks, technische SEO en marketinginzichten.

Voorbeelden

  •  AhrefsBot
  •  SemrushBot
  •  Screaming Frog SEO Spider
  •  Sitebulb
  •  Botify
  •  JetOctopus
  •  Searchmetrics
  •  BrightEdge
  •  SpyFu
  •  Siteimprove
  •  Majestic MJ12Bot
  •  DotBot
  •  SEOkicks
  •  BLEXBot
  •  DataForSEO Bot

Advertentieplatformen

Deze bots ondersteunen advertentieplatformen met verificatie, contextual targeting en brand safety.

Voorbeelden

  •  AdsBot-Google
  •  Grapeshot
  •  Proximic
  •  IAS
  •  Zemanta
  •  Trendictionbot

Utility

Legitieme servicebots die websites gebruiken voor validatie, embeds, archivering of technische integraties.

Voorbeelden

  •  Cloudflare SSL Detector
  •  Feedfetcher-Google
  •  Feedly
  •  Iframely
  •  Embedly
  •  W3C Validator
  •  Chrome Lighthouse
  •  GTmetrix
  •  Stripe
  •  Archive.org
  •  Mailchimp

Pre-fetching

Pre-fetching bots laden pagina's vooraf om de gebruikerservaring of prestaties te verbeteren.

Beschikbaar vanaf Professional.

Voorbeelden

  •  WP Rocket Cache Warmer
  •  LiteSpeed Cache Runner
  •  Cloudflare Prefetch
  •  Cloudflare Health Check
  •  Vercel Edge Pre-render
  •  FlyingPress Cache Warmer
  •  Jetpack Site Accelerator

Security scanners

Security scanners zoeken naar kwetsbaarheden en beveiligingsproblemen op publiek toegankelijke websites.

Beschikbaar vanaf Business.

Voorbeelden

  •  Shodan
  •  Censys
  •  BinaryEdge
  •  Shadowserver
  •  Nessus
  •  Qualys
  •  Nuclei
  •  ZGrab
  •  Masscan
  •  CriminalIP
  •  FOFA
  •  Wordfence
  •  Sucuri

Scrapers

Algemene scrapingtools verzamelen content buiten reguliere zoekmachines of AI toepassingen.

Beschikbaar vanaf Business.

Voorbeelden

  •  Scrapy
  •  Python Requests
  •  Go HTTP Client
  •  libwww-perl
  •  HTTrack
  •  ZoomBot
  •  WeSEE Search
  •  CrawlBot
  •  Barkrowler

Botblocker

Wil je zelf bepalen welke bots toegang hebben tot jouw website? Met Botblocker kun je de standaardinstellingen verder verfijnen. Zo kun je specifieke AI platforms, zoekmachines of andere user agents toestaan of juist blokkeren.

Meer informatie vind je in het supportartikel over Botblocker.

Veelgestelde vragen

Waarom ontvangt een bot een HTTP 402 statuscode?

Wanneer een user agent niet is toegestaan binnen het hostingpakket, retourneert de server een HTTP 402 Payment Required statuscode.

Kan ik zelf bepalen welke bots toegang hebben?

Ja. Met Botblocker kun je per website aanvullende uitzonderingen maken bovenop de standaardinstellingen van het hostingpakket.

Waarom verschillen de hostingpakketten?

Sommige bots veroorzaken aanzienlijk meer serverbelasting of worden gebruikt voor grootschalige analyses en scraping. Door deze categorieën beschikbaar te maken vanaf hogere hostingpakketten kunnen we prestaties, stabiliteit en resourceverbruik optimaal bewaken, terwijl alle websites standaard toegankelijk blijven voor belangrijke zoekmachines en de meest gebruikte AI platforms.

Heeft dit artikel je goed geholpen? Dank voor je feedback! Er is een probleem opgetreden bij het verzenden. Probeer opnieuw.