getRAX-Crawler

Automatisierte Abrufe durch getRAX kennzeichnen sich mit folgendem HTTP-User-Agent:

getRAX/DREIFISCH

Zweck

Der Crawler ermittelt öffentlich erreichbare Seiten, Such- und Kataloginformationen sowie – im fachlichen Ausbau – strukturierte Angaben zu Immobilienangeboten. Abrufe dienen Indexierung, Quellenprüfung und Änderungserkennung.

Abrufgrundsätze

• Beachtung von robots.txt, sofern nicht im Einzelfall eine rechtlich und fachlich dokumentierte abweichende Freigabe besteht;
• keine Umgehung von Login, Bezahlschranke, CAPTCHA oder technischen Zugangssperren;
• Beschränkung auf HTTP und HTTPS sowie freigegebene Hosts;
• Abrufpausen, Hostbudgets sowie Größen- und Zeitgrenzen;
• keine planmäßige Erfassung besonderer Kategorien personenbezogener Daten;
• nachvollziehbare Quell- und Abrufprotokolle.

Steuerung über robots.txt

Der Crawler kann gezielt angesprochen werden:

User-agent: getRAX/DREIFISCH
Disallow: /nicht-indexieren/

Da manche Robots-Parser Produktkennungen nur bis zum Schrägstrich auswerten, empfehlen wir ergänzend:

User-agent: getRAX
Disallow: /nicht-indexieren/

Kontakt

Fragen zu Abrufen, Crawlrate, Korrektur oder Entfernung: info@dreifisch.de. Bitte Domain, konkrete URL, gewünschten Vorgang und einen Nachweis der Berechtigung angeben.