Durchsuchbare Dokumentation aufrufen | Zurück zur Dokumentationsübersicht
Navigation: Dokumentationen agorum core > ALBERT | AI Agents > ALBERT| AI KI-Tools-Dokumentationen
agorum_ai_agents_library_basic_web_crawl_raw
Anzeigename: Crawls a website and returns raw page content as html
Was macht das Tool?
Dieses Tool crawlt eine angegebene Website und gibt den rohen Seiteninhalt als HTML zurück. Es eignet sich, um den Quelltext einer Webseite automatisiert auszulesen und weiterzuverarbeiten. Es lädt den kompletten HTML-Inhalt der Zielseite, optional gekürzt auf eine maximale Zeichenlänge.
Empfohlener Einsatzzweck
Das Tool ist geeignet, wenn der echte, unverfälschte HTML-Inhalt einer Internetseite automatisiert ausgewertet, weiterverarbeitet oder zum Beispiel einer KI übergeben werden soll.
Das Tool ist am besten geeignet für:
- Das Auslesen von Webseiten-Inhalten, bei denen die originale HTML-Struktur benötigt wird
- Das Analysieren von HTML-Quellcode einer Webseite
- Das Abrufen großer Webseiten in mehreren Teilen (Chunks), um Speicher- und Verarbeitungsgrenzen zu umgehen
- Fälle, in denen die rohe HTML-Struktur für weitere Verarbeitung oder Analyse benötigt wird
Funktionsbeschreibung
| Parameter | Beschreibung |
|---|---|
| url (Pflicht) |
Die vollständige URL der Webseite, die gecrawlt werden soll. Beispiel: https://www.agorum.com |
| start (optional) |
Die Startposition in Bytes, ab der der Inhalt zurückgegeben werden soll. Ermöglicht das Abrufen von Teilinhalten einer Seite. Standard: 0 |
| limit (optional) |
Die maximale Anzahl an Bytes, die zurückgegeben werden soll. Begrenzt die Größe des zurückgegebenen Inhalts. Standard: 20000 |
Das Tool gibt den Inhalt im rohen HTML-Format zurück.
Beispiel-Prompt
Lese den HTML-Quellcode der Webseite https://www.agorum.com aus und zeige mir die ersten 5000 Zeichen.
Tipps und Tricks
Tipps:
- Stellen Sie sicher, dass die angegebene URL öffentlich erreichbar ist. Geschützte oder interne Seiten können nicht gecrawlt werden.
- Das Tool lädt jeweils nur eine einzelne Seite – für komplette Sites oder deren interne Links benötigen Sie wiederholte Aufrufe.
- Bei sehr großen Webseiten kann es sinnvoll sein, den Inhalt in mehreren Schritten abzurufen. Verwenden Sie dazu den start-Parameter, um die Position zu verschieben, und den limit-Parameter, um die Chunk-Größe festzulegen. Die Rückgabe enthält einen Wert remainingBytes, der anzeigt, wie viele Bytes noch verbleiben.