Über die Bots von live24h.eu

Auskunft und Meldeweg für Seitenbetreiber: welche Bots von live24h.eu Seiten abrufen, wie sie sich verhalten und wie Sie uns erreichen.

live24h.eu betreibt zwei Bots. Diese Seite richtet sich an Seitenbetreiber, die einen Abruf in ihren Server-Logs zuordnen oder uns erreichen möchten.

  • live24h-seo-monitor prüft im Auftrag unserer Kunden deren eigene URLs auf SEO-Direktiven.
  • Der Fetcher der Preisüberwachung ruft öffentlich zugängliche Produktseiten ab, die Kunden ausdrücklich zur Beobachtung eingerichtet haben.

Für beide Bots gilt: Wir rufen ausschließlich öffentlich zugängliche Seiten ab, nie Inhalte hinter Logins oder Bezahlschranken. Wir umgehen keine Schutzmaßnahmen und tarnen unsere Abrufe nicht als menschliche Zugriffe.

Sie erreichen uns unter bot-support@live24h.eu . Anfragen zum Allowlisting und Hinweise von Seitenbetreibern beantworten wir in der Regel innerhalb eines Werktags.

live24h-seo-monitor (SEO-Monitoring)

live24h-seo-monitor ist unser Bot für das SEO-Monitoring. Er ruft im Auftrag unserer Kunden deren eigene URLs ab und prüft SEO-Direktiven wie robots.txt, meta robots, X-Robots-Tag und <link rel="canonical">.

User-Agent

live24h-seo-monitor/1.0 (+https://live24h.eu/bot)

Was dieser Bot tut

  • Wir rufen URLs nur dann ab, wenn unser Kunde sie explizit zum Monitoring hinzugefügt hat.
  • Wir respektieren Rate-Limits und drosseln automatisch bei HTTP 429 / 403.
  • Wir befolgen robots.txt aus Sicht des konfigurierten User-Agents.
  • Wir crawlen Ihre Seite nicht: eine URL pro Check plus ein /robots.txt-Abruf pro Host (gecacht).
  • Standardmäßig prüfen wir die ausgelieferte HTML-Antwort, ohne JavaScript auszuführen. Das JavaScript-Rendering für einzelne Checks aktivieren unsere Kunden ab dem Business-Tarif im Rahmen ihres Monatskontingents.
  • Wir arbeiten ohne gespeicherte Sitzungsdaten.

Was dieser Bot nicht tut

  • Kein Site-Scanning, kein Link-Traversal.
  • Kein Umgehen von CAPTCHAs oder Anti-Bot-Challenges.
  • Keine Tarnung unserer Abrufe als menschliche Zugriffe.

WAF-Allowlisting

Die folgenden Anleitungen betreffen ausschließlich live24h-seo-monitor, also die Prüfung Ihrer eigenen URLs in Ihrem Auftrag. Wenn Ihre WAF diesen Bot blockiert oder ratebegrenzt, haben Sie mehrere Optionen.

Cloudflare

  1. Cloudflare-Dashboard → Ihre Zone → Security → WAF → Custom rules.
  2. Regel hinzufügen: (http.user_agent contains "live24h-seo-monitor") → Action: Skip.

AWS WAF

Erstellen Sie ein ManagedRuleGroupOverride, das live24h-seo-monitor von Rate-Limiting und Bot-Regeln ausschließt.

Akamai

In Akamai Bot Manager → Custom Bot Categories live24h-seo-monitor erlauben.

Imperva

Allow-List-Regel für User-Agent live24h-seo-monitor anlegen.

Generisch

Eine Ausnahme in Ihrer WAF für den User-Agent live24h-seo-monitor hinterlegen.

Kontakt und Deaktivierung

Wenn Sie Hilfe beim Allowlisten dieses Bots benötigen oder vermuten, dass er Probleme auf Ihrer Seite verursacht, kontaktieren Sie uns unter bot-support@live24h.eu .

  • Als live24h-Kunde melden Sie sich im Dashboard an, öffnen den SEO-Check für die URL und klicken auf Deaktivieren oder Löschen.
  • Wenn Sie kein Kunde sind und unser Bot eine bestimmte Ihrer URLs nicht mehr abrufen soll, schreiben Sie an bot-support@live24h.eu mit der betreffenden URL. Wir prüfen jede Meldung und reagieren angemessen: Sind Sie für die Domain verantwortlich, nehmen wir die URLs nach der Prüfung aus dem Monitoring.

Preisüberwachung

Der Fetcher der Preisüberwachung ruft öffentlich zugängliche Produktseiten ab, die unsere Kunden explizit zur Beobachtung eingerichtet haben, und liest daraus Produktangaben wie Preis, Streichpreis und Verfügbarkeit.

Woran Sie unsere Abrufe erkennen

Der Fetcher weist sich als automatisierter Agent aus und gibt sich nicht als Browser oder als menschlicher Besucher aus. Anders als beim SEO-Monitor nennen wir die verwendete Kennung hier nicht, weil diese Seite öffentlich ist und die Kennung sich jederzeit ändern kann.

Wenn Sie wissen möchten, ob ein bestimmter Abruf von uns stammt, schicken Sie uns einen Log-Auszug mit Zeitpunkt, angefragter Adresse und User-Agent an die unten genannte Adresse. Wir sagen Ihnen verbindlich, ob es einer unserer Abrufe war.

So erreichen Sie uns

Wenn Sie nicht möchten, dass dieser Fetcher Seiten Ihrer Domain abruft, schreiben Sie an bot-support@live24h.eu (Domain oder betroffene URLs genügen). Wir prüfen jede Meldung und reagieren angemessen: von der Anpassung der Abrufrate bis zur Aussetzung der betroffenen Adressen.

Wir werten außerdem Ihre robots.txt aus. Nennt sie die Kennung, die Sie in Ihren Logs sehen, in einer eigenen Gruppe, erkennen wir das und behandeln es wie eine Meldung an den Bot-Support, mit derselben Prüfung und denselben möglichen Reaktionen. Eine Nachricht an bot-support@live24h.eu ist der schnellere und verbindlichere Weg, weil wir Ihnen darauf antworten und Rückfragen klären können.

Wie dieser Fetcher abruft

  • Er ruft nur die konkret benannten Produktseiten ab: kein Site-Crawling, kein Link-Traversal.
  • Die Abrufintervalle sind tarifgebunden und gedrosselt; zusätzlich gilt ein Höflichkeitsbudget pro Domain.
  • Beobachten mehrere Kunden dieselbe Produktseite im gleichen Kontext, teilen sie sich einen Abruf (Deduplizierung). Das Prinzip hält die Zahl der Abrufe auf Ihrer Seite niedrig.
  • Jeder Abruf ist eng begrenzt (Weiterleitungen, Seitengröße, Dauer) und läuft ohne gespeicherte Sitzungsdaten.
  • Gespeichert werden die erkannten Produktangaben (Preis, Verfügbarkeit) mit kurzen Textausschnitten als Erkennungsbeleg, nicht die vollständige Seite.

Was dieser Fetcher nicht tut

  • Keine Abrufe hinter Logins oder Bezahlschranken; keine Umgehung von CAPTCHAs oder Anti-Bot-Maßnahmen.
  • Keine Tarnung unserer Abrufe als menschliche Zugriffe.