Over live24h-seo-monitor

live24h.eu draait een kleine monitoringbot die publieke URLs ophaalt namens onze klanten om SEO-directieven te controleren zoals robots.txt, meta robots, X-Robots-Tag en <link rel="canonical">.

User-agent

live24h-seo-monitor/1.0 (+https://live24h.eu/bot)

Wat we doen

  • We halen een URL alleen op als onze klant deze expliciet heeft toegevoegd aan de monitoring.
  • We respecteren rate-limits en treden automatisch terug bij HTTP 429 / 403.
  • We gehoorzamen robots.txt vanuit het oogpunt van de geconfigureerde user-agent.
  • We crawlen uw site niet — één URL per check plus één /robots.txt-ophaal per host (gecached).
  • We voeren geen JavaScript uit.
  • We bewaren geen cookies.

Wat we niet doen

  • Geen site-scanning of link-traversal.
  • Geen omzeilen van CAPTCHAs of anti-bot-uitdagingen.
  • Geen emulatie van browser-fingerprints.
  • Geen residentiële proxies.

IP-bereiken

Uitgaande verzoeken komen uit IP-adressen van Azure West Europe datacenters. We publiceren de huidige statische IPs in onze documentatie zodra die zijn gefinaliseerd. Gebruik bij voorkeur de bovenstaande user-agent voor allowlisting.

WAF-allowlisting

Als onze bot wordt geblokkeerd of geknepen door uw WAF, heeft u verschillende opties.

Cloudflare

  1. Cloudflare-dashboard → uw zone → Security → WAF → Custom rules.
  2. Regel toevoegen: (http.user_agent contains "live24h-seo-monitor") → Actie: Skip.

AWS WAF

Maak een ManagedRuleGroupOverride die live24h-seo-monitor uitsluit van rate-limiting en bot-regels.

Akamai

In Akamai Bot Manager → Custom Bot Categories sta live24h-seo-monitor toe.

Imperva

Voeg een allow-list-regel toe voor user-agent live24h-seo-monitor.

Generiek

Voeg een uitzondering in uw WAF toe voor de user-agent live24h-seo-monitor of voor onze uitgaande IPs.

Contact

Als u hulp nodig heeft bij het allowlisten van onze bot, of denkt dat de bot problemen veroorzaakt op uw site, neem dan contact op via bot-support@live24h.eu . We reageren binnen één werkdag.

Monitoring uitschakelen

  • Als u live24h-klant bent, log in op uw dashboard, open de SEO-check voor de URL en klik op Uitschakelen of Verwijderen.
  • Als u geen klant bent en wilt dat onze bot een van uw URLs niet meer ophaalt, e-mail bot-support@live24h.eu met de betreffende URL. We verwijderen deze uit de monitoring.