Durchsuchbare Dokumentation aufrufen | Zurück zur Dokumentationsübersicht
Navigation: Dokumentationen agorum core > ALBERT | AI > ALBERT | AI Agents > ALBERT| AI KI-Tools-Dokumentationen
agorum_ai_agents_library_basic_web_crawl_url
Anzeigename: Crawls a website and returns only the urls of the page
Was macht das Tool?
Dieses Tool durchsucht (crawlt) eine angegebene Webseite und gibt ausschließlich die URLs (Links) zurück, die auf der Seite gefunden werden. Es werden keine Inhalte oder Metadaten der Seite extrahiert, sondern nur die gefundenen Verlinkungen gesammelt und ausgegeben.
Empfohlener Einsatzzweck
Das Tool eignet sich ideal, um schnell eine Übersicht aller verlinkten Seiten einer bestimmten Webseite zu erhalten. Es ist besonders nützlich für:
- Link-Analysen und SEO-Checks
- Vorbereitung von Web-Scraping-Projekten
- Überprüfung, welche Unterseiten von einer Startseite aus erreichbar sind
- Erstellung von Linklisten für weitere automatisierte Verarbeitung
Funktionsbeschreibung
| Parameter | Beschreibung |
|---|---|
| url | Die vollständige URL der Webseite, die gecrawlt werden soll. Beispiel: https://www.agorum.com |
Tipps und Tricks
Tipp: Stellen Sie sicher, dass die angegebene URL öffentlich erreichbar ist. Geschützte oder interne Seiten können nicht gecrawlt werden. Das Tool folgt nur den Links, die auf der Startseite direkt sichtbar sind und keine Authentifizierung benötigen.