agorum_ai_agents_library_basic_web_crawl

Anzeigename: Crawls a website and returns the content as markdown

Was macht das Tool?

Das Tool agorum_ai_agents_library_basic_web_crawl durchsucht (crawlt) eine angegebene Webseite (URL) und gibt deren Inhalt als Markdown-Text zurück. Dabei wird die gesamte Webseite verarbeitet, sodass der Output besonders gut zur weiteren Verarbeitung in Dokumentationen, KI-Analysen oder zur Anzeige in Markdown-fähigen Systemen geeignet ist.

Empfohlener Einsatzzweck

Dieses Tool eignet sich, um schnell und automatisiert Inhalte von Webseiten für Auswertung, Dokumentation, Wissensmanagement oder Chatbots zu extrahieren. Es ist besonders hilfreich, wenn Webseiteninhalte strukturiert als Markdown weiterverarbeitet werden sollen.

Funktionsbeschreibung

Parameter	Beschreibung
url (Pflicht)	Die vollständige URL der Webseite, die gecrawlt werden soll. Beispiel: https://www.agorum.com
start (optional)	Die Startposition in Bytes, ab der der Inhalt zurückgegeben werden soll. Ermöglicht das schrittweise Abrufen großer Inhalte. Standard: 0
limit (optional)	Die maximale Anzahl an Bytes, die zurückgegeben werden sollen. Begrenzt die Größe der Antwort, um Token-Limits einzuhalten. Standard: 20000

Tipps und Tricks

Tipps:

Stellen Sie sicher, dass die angegebene URL öffentlich erreichbar ist. Geschützte oder interne Seiten können nicht gecrawlt werden.
Das Tool lädt jeweils nur eine einzelne Seite – für komplette Sites oder deren interne Links benötigen Sie wiederholte Aufrufe.
Bei sehr großen Webseiten kann das Tool mehrfach aufgerufen werden, indem der start-Parameter jeweils um den abgerufenen Chunk erhöht wird. Die Rückgabe enthält das Feld remainingBytes, das angibt, wie viele Bytes noch übrig sind. So können Sie den vollständigen Inhalt in mehreren Schritten abrufen.