Mit ALBERT | AI Agents Debug-Modus im Chat arbeiten

Wenn Sie das Plugin ALBERT | AI Agents installiert haben und die entsprechende Berechtigung haben, können Sie die Debug-Funktionalität im Chat verwenden.

Der Debug-Modus bietet erweiterte Analyse- und Überwachungsmöglichkeiten für AI-Chat-Interaktionen. Er ermöglicht Entwicklern und Administratoren detaillierte Einblicke in die Token-Nutzung, Netzwerkstatistiken und Tool-Aufrufe.

ALBERTs Chat debuggen

Wenn Sie den Debug-Modus in ALBERTs Chat aktivieren, sehen Sie zusätzlich folgende Informationen direkt im Chat-Fenster:

• Informationen über den prozentualen Verbrauch des Context-Windows und die Anzahl der Tool-Aufrufe in einer zusätzlich angezeigten Einblendung oben im Chat
• Debug-Informationen zu jedem Aufruf 
• Möglichkeit zum Anzeigen der spezifischen Tool-Interaktionen

Das ist insbesondere dann sinnvoll, wenn Sie KI-Tools verwenden, weil Detailinformationen zum Tool-Aufruf und der Antwort des Tools über die Debug-Funktion direkt im Chatfenster im Verlauf nachvollzogen werden können.

Das folgende Beispiel zeigt, wie die Debug-Informationen in einem Chat angezeigt werden, in dem eine KI-Voreinstellung mit einem Tool-Aufruf verwendet wird.

 

In den Debug-Modus wechseln

Der Debug-Modus kann über einen speziellen Button in der Chat-Toolbar aktiviert und auch wieder deaktiviert werden. Dieser Button ist als Bug-Symbol dargestellt und wechselt seine Farbe je nach Status: Im inaktiven Zustand erscheint das Symbol in Dunkelgrau, während es im aktivierten Zustand in Orange dargestellt wird. 

Nur Benutzer mit der Berechtigung ACL_agorum.ai.agents_chat_debug können den Debug-Modus aktivieren. Diese Einschränkung stellt sicher, dass nur autorisierte Personen wie Entwickler, Administratoren oder Support-Mitarbeiter Zugriff auf die detaillierten Debug-Informationen erhalten.

Sie können den Debug-Modus aktivieren und deaktivieren, während der Chat läuft. 

Debug-Info-Panel

Zusätzlich zu den nachrichtenspezifischen Debug-Informationen wird im Debug-Modus ein separates Panel oberhalb des Chat-Fensters eingeblendet. Dieses Debug-Info-Panel mit dem Titel Kontext-Informationen und Verbrauch bietet eine Übersicht über den Kontext-Verbrauch im gesamten Chat-Verlauf und fasst alle wichtigen Informationen zusammen:

• Summe aller Input-Tokens über alle Nachrichten hinweg
• Summe aller Output-Tokens über alle Nachrichten hinweg
• Cache-Statistiken, aus denen ersichtlich ist, wie effektiv der Cache genutzt wurde
• Anzeige der aktuell verwendeten Kontext-Tokens im Verhältnis zur maximalen Kapazität des Kontext-Fensters, wobei der erste Wert die aktuell belegten Tokens und der zweite Wert die maximale Kapazität des gewählten KI-Modells angibt.
• Gesamtanzahl aller durchgeführten Tool-Calls im aktuellen Chat 

Debug-Informationen im Chat-Verlauf

Während im normalen Chat-Modus bestimmte Nachrichten ausgeblendet werden, um die Bedienoberfläche übersichtlich zu halten, zeigt der Debug-Modus ausnahmslos alle Nachrichten an. Dies umfasst System-Prompts, die normalerweise versteckt bleiben, interne Steuerungsnachrichten und alle Details zu Tool-Aufrufen und deren Antworten.

Farbige Randmarkierungen kennzeichnen die verschiedenen Nachrichtentypen und Rollen:

• Eine blaue Randmarkierung kennzeichnet Input-Nachrichten, also Anfragen oder Anweisungen, die an die AI gesendet werden. Im Code wird die Rolle 'user' verwendet.
• Eine grüne Randmarkierung signalisiert Output-Nachrichten, also die generierten Antworten und Inhalte der künstlichen Intelligenz. Im Code wird die Rolle 'assistant' verwendet.

Für jeden Aufruf werden folgende Informationen ausgegeben:

• Der Zeitstempel zeigt den exakten Zeitpunkt, zu dem die Nachricht verarbeitet wurde.
• Die Token-Statistiken geben einen detaillierten Überblick über die Ressourcennutzung der jeweiligen Nachricht:
  • Die Input-Tokens zeigen, wie viele Tokens an die AI gesendet wurden.
  • Die Output-Tokens zeigen die Anzahl der von der AI generierten Tokens.
  • Zusätzlich werden Cache-Read-Tokens und Cache-Write-Tokens separat ausgewiesen. Cache-Read-Tokens sind bereits zwischengespeicherte Tokens, die nicht neu verarbeitet werden mussten, während Cache-Write-Tokens neu in den Cache geschrieben wurden.
  • Die Total-Tokens summieren alle diese Werte und geben einen Gesamtüberblick über die Token-Nutzung dieser spezifischen Nachricht.
•  Die Netzwerkstatistiken ergänzen die Debug-Informationen um technische Details zur Datenübertragung:
  • Die gesendeten Bytes zeigen die Größe der Request-Daten in Bytes an.
  • Die empfangenen Bytes geben die Größe der Response-Daten an.
  • Die Gesamtzeit gibt die Verarbeitungszeit vom Absenden der Anfrage bis zum vollständigen Empfang der Antwort in Millisekunden an. 

Bei Tool-Calls wird im Debug-Modus im Chat-Verlauf der Name des Tools angezeigt und die Schaltfläche Show Code. 

Über die Schaltfläche Show Code können Sie die Details des jeweiligen Tool-Aufrufs öffnen:

• Für jeden Tool-Aufruf werden der Name des aufgerufenen Tools, die eindeutige ID des Aufrufs sowie die übergebenen Parameter in strukturierter JSON-Form dargestellt.
• Ebenso werden Tool-Responses im Debug-Modus mit allen Details angezeigt. Neben dem Namen des Tools und der Response-ID wird die vollständige Antwort des Tools dargestellt, entweder als reiner Text oder als strukturiertes JSON-Objekt. 

 

Best Practices

Normaler Modus

Im Produktivbetrieb für Endanwender sollte der Debug-Modus deaktiviert bleiben. Die umfangreichen technischen Informationen würden normale Benutzer eher verwirren als helfen und die Bedienoberfläche unnötig überladen. 

Bei sehr langen Chat-Verläufen kann der Debug-Modus die Übersichtlichkeit beeinträchtigen. Die Anzeige aller Nachrichten und aller Debug-Informationen führt zu einer sehr langen, scrollbaren Liste, in der es schwierig werden kann, spezifische Informationen zu finden. 

Zugriffssteuerung und Berechtigungen

Die Zugriffssteuerung für den Debug-Modus sollte sorgfältig konfiguriert werden. Der Zugriff auf den Debug-Modus ist insbesondere für folgende Zielgruppen sinnvoll:

• Entwickler, die aktiv an der Entwicklung und Optimierung von KI-Features arbeiten. 
• Administratoren, um bei Problemen oder Anfragen von Benutzern eine fundierte Analyse durchführen zu können. Sie benötigen die Debug-Informationen zur Systemüberwachung und zur Identifizierung von Konfigurationsproblemen.

Die Berechtigung wird über die ACL ACL_agorum.ai.agents_chat_debug gesteuert.

Einsatzszenarien

Der Debug-Modus ist besonders wertvoll bei der Entwicklung neuer KI-Features, da er vollständige Transparenz über alle Aspekte der KI-Kommunikation bietet. 

Bei der Optimierung von Prompts empfiehlt sich die Aktivierung des Debug-Modus. Durch die detaillierte Sichtbarkeit der Token-Nutzung und der KI-Antworten können verschiedene Prompt-Varianten objektiv verglichen werden. Die Statistiken zeigen nicht nur, welcher Prompt effizienter ist, sondern auch, warum er effizienter ist.

Bei der Fehlersuche ist der Debug-Modus oft der Schlüssel zur schnellen Problemlösung. Der Debug-Modus liefert konkrete Daten, die zur Ursachenanalyse verwendet werden können. Die Kombination aus vollständiger Nachrichtensichtbarkeit und detaillierten Statistiken deckt die meisten Fehlerquellen auf.

Bei Performance-Problemen hilft der Debug-Modus, den Engpass zu identifizieren. Ob das Problem in zu großen Requests, ineffizienten Prompts, übermäßiger Tool-Nutzung oder Netzwerklatenz liegt, wird durch die verschiedenen Metriken schnell ersichtlich.