agorum core ai llm konfigurieren

Hinweis: Diese Dokumentation bezieht sich auf die aktuellste Version des Plugins. Aktualisieren Sie das hier beschriebene Plugin, um die Dokumentation verwenden zu können.

Nach dem Installieren des Plugins können Sie die Einstellungen konfigurieren. Öffnen Sie dazu oben rechts in der Kopfleiste > Administration > KI-LLM einstellen. Zu den Einstellungen gehören:

Standardwerte für Time-out und Endpoint konfigurieren
Den zu verwendenden Endpoint des LLM konfigurieren

Wenn Sie das Plugin neu installiert haben, gehen Sie wie folgt vor:

agorum core ermöglicht die Verwendung eines externen oder selbst betriebenen Sprachmodells über eine Schnittstelle. Sie benötigen Zugriff auf das Sprachmodell. Richten Sie bei OpenAI und eventuell zusätzlich bei Azure ein Konto ein, wenn Sie die kommerziellen Sprachmodelle verwenden.
Finden Sie den Endpoint, Ihren API-Key und Informationen zum Modell-Key in Ihrem OpenAI oder Azure Konto. Diese Informationen benötigen Sie, um die Schnittstelle in agorum core einzurichten. Sie benötigen diese Informationen auch, wenn Sie ein LLM selbst betreiben. Ein lokal betriebenes LLM muss über eine OpenAI-kompatible Schnittstelle verfügen, damit Sie es mit agorum core verwenden können.
Öffnen Sie > Administration > KI-LLM einstellen.
Konfigurieren Sie den zu verwendenden externen Service in der Registerkarte OpenAI GPT oder Azure OpenAI GPT. Wenn Sie ein LLM lokal betreiben, konfigurieren Sie die Einstellungen ebenfalls in der Registerkarte OpenAPI GPT für Ihr selbst betriebenes GPT mit OpenAI-kompatibler Schnittstelle.
Tragen Sie die Standardwerte in der Registerkarte Allgemein ein.
Prüfen Sie die Berechtigungen zur Benutzung des Chats, siehe agorum core ai llm berechtigen.

Standardwerte für API-Time-out und Endpoint konfigurieren

In der Registerkarte Allgemein können Sie den API-Time-out und den Endpoint konfigurieren.

Konfiguration	Beschreibung
API-Time-out	Definiert in Millisekunden, nach welcher Zeit die API die Verbindung zum Service abbricht, wenn das System keine Verbindung zum Service herstellen kann.
Endpoint des LLM	Definiert den zu verwendenden Service. Hinweis: Sie können diese Konfiguration erst wählen, nachdem Sie mindestens einen Endpoint konfiguriert, aktiviert und gespeichert haben (siehe Den zu verwendenden Service konfigurieren).

Den zu verwendenden Service konfigurieren

Konfigurieren Sie den jeweiligen Service in einer der folgenden Registerkarten.

OpenAI GPT

Feld/Konfiguration	Beschreibung
Service aktivieren	Aktiviert Das System verwendet den Service. Deaktiviert Das System verwendet den Service nicht.
API-Key	Definiert den zu verwendenden API-Key. Den API-Key erhalten Sie bei OpenAI.
Modell-Key	Definiert den zu verwendenden Modell-Key. Über das Symbol können Sie weitere Modell-Keys hinzufügen, sofern der Service des LLM über weitere Modelle verfügt. Hinweis: Damit der neue Modell-Key im Feld Modell erscheint, speichern Sie und laden Sie das Browserfenster neu.
Modell	Definiert das zu verwendende Modell.
Temperatur	Definiert die Sampling-Temperatur (Bereich: zwischen 0 und 2). Werte über 0,8 machen die Ausgabe zufälliger, während Werte unter 0,2 sie gezielter und deterministischer machen. Ändern Sie entweder diesen Wert oder den Wert im Feld top_p, jedoch nicht beide Werte.
Top P	Definiert das Nukleus-Sampling, bei dem das Modell die Ergebnisse der Token mit der Wahrscheinlichkeitsmasse top_p berücksichtigt. Ein Wert von 0,1 bedeutet, dass ausschließlich die Token mit der höchsten Wahrscheinlichkeitsmasse von 10 % berücksichtigt werden. Ändern Sie entweder diesen Wert oder den Wert im Feld Temperatur, jedoch nicht beide Werte.
Stream	Aktiviert Sendet Teilnachrichten-Deltas wie in ChatGPT. Das System sendet Token als reine Server-Ereignisse, sobald sie verfügbar sind, wobei der Datenstrom durch eine data beendet wird: [DONE] Nachricht (siehe OpenAI Cookbook für Beispielcode). Deaktiviert Sendet keine Teilnachrichten-Deltas.
Maximale Tokens	Definiert die maximale Anzahl an Token, die das System in der Chatvervollständigung erzeugt. Die Gesamtlänge der eingegebenen und generierten Token ist durch die Kontextlänge des Modells begrenzt. Wenn Sie den Wert auf 0 stellen, macht das System dem Modell keine Vorgabe, sondern verwendet den Maximalwert des Modells.
presence_penalty	Definiert eine Zahl zwischen -2,0 und 2,0. Positive Werte bestrafen neue Token basierend darauf, ob sie bisher im Text vorkommen, und erhöhen die Wahrscheinlichkeit, dass das Modell über neue Themen spricht.
frequency_penalty	Definiert eine Zahl zwischen -2,0 und 2,0. Positive Werte bestrafen neue Token auf der Grundlage ihrer bisherigen Häufigkeit im Text und verringern die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wortwörtlich wiederholt.

Azure OpenAI GPT

Feld/Konfiguration	Beschreibung
Service aktivieren	siehe Einstellungen zu OpenAI GPT
API-Key	Definiert den zu verwendenden API-Key. Den API-Key erhalten Sie bei Microsoft.
Endpoint-URL	Definiert die zu verwendende Endpoint-URL.
Modell-Key	Definiert den zu verwendenden Modell-Key. Sie müssen bei der Registrierung einen Modell-Key bei Azure angeben. Tragen Sie diesen Modell-Key in dieses Feld ein. Über das Symbol können Sie weitere Modell-Keys hinzufügen, sofern der Service des LLM über weitere Modelle verfügt. Hinweis: Damit der neue Modell-Key im Feld Modell erscheint, speichern Sie und laden Sie das Browserfenster neu.
Modell	siehe Einstellungen zu OpenAI GPT
Temperatur
Top P
Stream
Maximale Tokens
presence_penalty
frequency_penalty

Lokal betriebenes LLM mit OpenAI-kompatibler Schnittstelle

Wenn Sie ein lokal betriebenes LLM mit agorum core verwenden möchten, muss dieses LLM über eine OpenAI-kompatible REST-Schnittstelle verfügen. Sie können die Einstellungen für Ihr lokales LLM alternativ zur Konfiguration von OpenAI über die Registerkarte OpenAI GPT angeben.

Feld/Konfiguration	Beschreibung
Service aktivieren	Aktiviert Das System verwendet den Service. Deaktiviert Das System verwendet den Service nicht.
API-Key	Definiert den zu verwendenden API-Key.
Endpoint-URL	Definiert die zu verwendende Endpoint-URL. Bei einem lokal betriebenen LLM tragen Sie hier in der Regel den Hostnamen oder die IP des Rechners und den Port des LLM-Service ein, etwa: http://12.0.1.123:54242/v1
Modell-Key	siehe Einstellungen zu OpenAI GPT
Modell
Temperatur
Top P
Stream
Maximale Tokens
presence_penalty
frequency_penalty

Eine Vorlage global erstellen

Benutzer können ausschließlich eigene Vorlagen erstellen und eigene Vorlagen sehen, bearbeiten, überschreiben oder löschen. Das System legt diese Vorlagen in das Verzeichnis Home des jeweiligen Benutzers und dort im Unterordner MyAdmin/agorum.ai.llm/templates.

Sie können diese Vorlagen global zur Verfügung stellen, dass auch andere Benutzer sie sehen und bearbeiten können:

Erstellen Sie die Vorlage.

Ergebnis: Das System legt die Vorlage in Ihrem Benutzer im Verzeichnis Home ab.
Verschieben Sie die Vorlage aus dem Verzeichnis Home in ein öffentliches Verzeichnis (etwa unterhalb von Dateien/…).
Optional: Sie können die Vorlage mit einem ACL versehen.

• Die Benutzer, die durch die ACL Leserecht besitzen, können die Vorlagen sehen und wählen.
• Die Benutzer, die durch die ACL Schreibrecht besitzen, können die Vorlagen bearbeiten.