Over de bots van live24h.eu

Informatie en contactweg voor site-eigenaren: welke bots van live24h.eu pagina's ophalen, hoe ze zich gedragen en hoe u ons bereikt.

live24h.eu draait twee bots. Deze pagina is bedoeld voor site-eigenaren die een verzoek in hun serverlogs willen herleiden of contact met ons willen opnemen.

  • live24h-seo-monitor controleert SEO-directieven op de eigen URL’s van onze klanten, in hun opdracht.
  • De fetcher van de prijsmonitoring haalt publiek toegankelijke productpagina’s op die klanten uitdrukkelijk voor observatie hebben ingesteld.

Voor beide bots geldt hetzelfde: wij halen uitsluitend publiek toegankelijke pagina’s op, nooit inhoud achter logins of betaalmuren. Wij omzeilen geen beschermingsmaatregelen en vermommen onze verzoeken niet als menselijke bezoeken.

U bereikt ons via bot-support@live24h.eu . Verzoeken om allowlisting en meldingen van sitebeheerders beantwoorden we doorgaans binnen één werkdag.

live24h-seo-monitor (SEO-monitoring)

live24h-seo-monitor is onze bot voor SEO-monitoring. Namens onze klanten haalt hij hun eigen URL’s op en controleert SEO-directieven zoals robots.txt, meta robots, X-Robots-Tag en <link rel="canonical">.

User-agent

live24h-seo-monitor/1.0 (+https://live24h.eu/bot)

Wat deze bot doet

  • We halen een URL alleen op als onze klant deze expliciet heeft toegevoegd aan de monitoring.
  • We respecteren rate-limits en treden automatisch terug bij HTTP 429 / 403.
  • We gehoorzamen robots.txt vanuit het oogpunt van de geconfigureerde user-agent.
  • We crawlen uw site niet: één URL per check plus één /robots.txt-ophaal per host (gecached).
  • Standaard controleren we de geleverde HTML-respons zonder JavaScript uit te voeren. JavaScript-rendering voor afzonderlijke checks activeren onze klanten vanaf het Business-plan, binnen hun maandcontingent.
  • We werken zonder opgeslagen sessiegegevens.

Wat deze bot niet doet

  • Geen site-scanning of link-traversal.
  • Geen omzeilen van CAPTCHAs of anti-bot-uitdagingen.
  • Geen vermomming van onze verzoeken als menselijke bezoeken.

WAF-allowlisting

De volgende instructies gelden uitsluitend voor live24h-seo-monitor, dus voor de controle van uw eigen URL’s in uw opdracht. Als uw WAF deze bot blokkeert of knijpt, heeft u verschillende opties.

Cloudflare

  1. Cloudflare-dashboard → uw zone → Security → WAF → Custom rules.
  2. Regel toevoegen: (http.user_agent contains "live24h-seo-monitor") → Actie: Skip.

AWS WAF

Maak een ManagedRuleGroupOverride die live24h-seo-monitor uitsluit van rate-limiting en bot-regels.

Akamai

In Akamai Bot Manager → Custom Bot Categories sta live24h-seo-monitor toe.

Imperva

Voeg een allow-list-regel toe voor user-agent live24h-seo-monitor.

Generiek

Voeg een uitzondering in uw WAF toe voor de user-agent live24h-seo-monitor.

Contact en uitschakelen

Als u hulp nodig heeft bij het allowlisten van deze bot, of denkt dat hij problemen veroorzaakt op uw site, neem dan contact op via bot-support@live24h.eu .

  • Als u live24h-klant bent, log in op uw dashboard, open de SEO-check voor de URL en klik op Uitschakelen of Verwijderen.
  • Als u geen klant bent en wilt dat onze bot een van uw URL’s niet meer ophaalt, e-mail bot-support@live24h.eu met de betreffende URL. Wij beoordelen elke melding en reageren passend: bent u verantwoordelijk voor het domein, dan halen wij de URL’s na die beoordeling uit de monitoring.

Prijsmonitoring

De fetcher van de prijsmonitoring haalt publiek toegankelijke productpagina’s op die onze klanten expliciet voor observatie hebben ingesteld en leest daaruit productgegevens zoals prijs, doorstreepprijs en beschikbaarheid.

Hoe u onze verzoeken herkent

De fetcher meldt zich als geautomatiseerde agent en doet zich niet voor als browser of als menselijke bezoeker. Anders dan bij de SEO-monitor publiceren wij hier niet welke identificatie hij gebruikt: deze pagina is openbaar en de identificatie kan op elk moment veranderen.

Wilt u weten of een bepaald verzoek van ons afkomstig is, stuur ons dan een loguittreksel met tijdstip, opgevraagd adres en user agent naar het onderstaande adres. Wij zeggen u bindend of het een van onze verzoeken was.

Zo bereikt u ons

Wilt u niet dat deze fetcher pagina’s van uw domein opvraagt, schrijf dan aan bot-support@live24h.eu (uw domein of de betreffende URL’s volstaan). Wij beoordelen elke melding en reageren passend: van het aanpassen van de ophaalfrequentie tot het opschorten van de betreffende adressen.

Daarnaast beoordelen wij uw robots.txt. Noemt een eigen groep de identificatie die u in uw logs ziet, dan herkennen wij dat en behandelen het als een melding aan de bot-support, met dezelfde beoordeling en dezelfde mogelijke reacties. Een bericht aan bot-support@live24h.eu is de snellere en betrouwbaardere weg, omdat wij u daarop kunnen antwoorden en vragen kunnen ophelderen.

Hoe deze fetcher ophaalt

  • Hij haalt alleen de concreet benoemde productpagina’s op: geen site-crawling, geen link-traversal.
  • De ophaalintervallen zijn planafhankelijk en beperkt; daarnaast geldt een beleefdheidsbudget per domein.
  • Observeren meerdere klanten dezelfde productpagina in dezelfde context, dan delen ze één ophaalactie (deduplicatie). Dat principe houdt het aantal verzoeken aan uw pagina laag.
  • Elke ophaalactie is strikt begrensd (redirects, paginagrootte, duur) en verloopt zonder opgeslagen sessiegegevens.
  • Opgeslagen worden de herkende productgegevens (prijs, beschikbaarheid) met korte tekstfragmenten als herkenningsbewijs, niet de volledige pagina.

Wat deze fetcher niet doet

  • Geen toegang achter logins of betaalmuren; geen omzeiling van CAPTCHA’s of anti-botmaatregelen.
  • Geen vermomming van onze verzoeken als menselijke bezoeken.