# agorum® — robots.txt # # Die Tag-Filter des Blogs erzeugen einen kombinatorisch unbegrenzten # URL-Raum (/blog?tag=). Jede Kombination kostet eine teure # Datenbankabfrage. Deshalb sind diese URLs fuer alle Crawler gesperrt. # Die Blogartikel selbst bleiben ueber ihre normalen URLs und die # Sitemap vollstaendig erreichbar. # # Wichtig: Die Disallow-Zeilen stehen bewusst in JEDER Gruppe. Ein # Crawler wertet nur seine eigene User-agent-Gruppe aus und ignoriert # "User-agent: *" - eine Sperre allein dort haette keine Wirkung. User-agent: * Allow: / Disallow: /blog?tag= Disallow: /*?tag= # KI-Systeme: Training, Suche und Live-Abruf ausdrücklich zugelassen User-agent: GPTBot Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: OAI-SearchBot Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: ChatGPT-User Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: ClaudeBot Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: Claude-User Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: Claude-SearchBot Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: PerplexityBot Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: Perplexity-User Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: Google-Extended Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: Applebot-Extended Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: meta-externalagent Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: cohere-ai Allow: / Disallow: /blog?tag= Disallow: /*?tag= User-agent: Amazonbot Allow: / Disallow: /blog?tag= Disallow: /*?tag= Sitemap: https://www.agorum.com/sitemap.xml Sitemap: https://www.agorum.com/documentation/sitemap.xml