Worker im agorum core support tool verwenden

Mit einem Worker suchen und verarbeiten Sie Dateien automatisch. Was der Worker genau mit den Dateien machen soll, können Sie anpassen. Der Worker stimmt sich zeitlich selbst ab und fragt laufend das System ab. Sie können anstelle eines Workers auch einen CronJob oder einen Task zur Automatisierung wiederkehrender Aufgaben verwenden. Für weitere Informationen über die Unterschiede zwischen CronJob, Taks und Worker siehe Unterschied zwischen CronJob, Task und Worker.

Voraussetzungen

Sie müssen folgende Voraussetzungen erfüllen, um Worker verwenden zu können:

• Sie können in JavaScript programmieren.
• Sie kennen die undefined>agorum core smart search.
• Sie kennen die wichtigsten JavaScript-Bibliotheken von agorum core, etwa common-objects.

Damit die Worker performant laufen, achten Sie auf folgende Punkte:

• Globale Variablen könnten bereits aus vorherigen Durchläufen belegt sein.
• Konstanten (const) dürfen nicht auf der obersten Ebene definiert werden, da diese sonst bei nachfolgenden Durchläufen als Neudefinition gewertet werden.
• Mit require() eingebundene externe Skripte werden pro Kontext nur einmal geladen, auch wenn sie sich geändert haben.
• Wird ein externes Skript verändert, muss der Worker per Schaltfläche Reset worker zurückgesetzt werden, damit sich die Änderungen auswirken.

Speicherort der Worker

Das System speichert die erstellten Worker automatisch in der MetaDB unter einem bestimmten Pfad.

So finden Sie die Worker:

1. Öffnen Sie links in der Seitenleiste Administration und dann MetaDB.
2. Öffnen Sie den Pfad:

   /MAIN_MODULE_MANAGEMENT/workers
   

Anzahl an Workern und Systemressourcen

Anwendungsfälle

Anbei finden Sie drei mögliche Anwendungsfälle für einen Einsatz.

Nachträgliche Anpassung an Updates im System

Seit Wochen, Monaten oder auch Jahren werden Dokumente im System abgelegt. Doch wie bei jedem Digitalisierungsprozess werden eines Tages zwei neue Workflows etabliert:

• Workflow für Fragebögen
• Workflow für Feedbackbögen

Damit das System unterscheiden kann, für welches Dokument welcher Workflow greifen soll, wird ein neues Metadatum gesetzt.

Dieses neue Metadatum greift für alle neu im System abgelegten Dokumente. Doch die Benutzer wünschen sich, dass sie auch alte Dokumente mit dem neuen Workflow bearbeiten können. Da diesem das notwendige Metadatum fehlt, wird ein temporären Worker erstellt. Dieser sucht nach diesen Frage- und Feedbackbögen und setzt je das dazu passende Metadatum.

Sobald der Worker durchgelaufen ist, können unsere Benutzer die neuen Workflows auf die alten Dokumente anwenden.

Nachträgliche Ablage

Rechnungen sollen für das Finanzamt in einer dazu passenden Ordnerstruktur verlinkt werden. Anstatt Dokumente im Ablageprozess zu verlinken, können Sie auch einen Worker bauen, der nach diesen Rechnungen sucht und diese verlinkt.

Falsch angelegte Dokumente

Über Tage oder Monate hinweg werden Ordner und Dokumente mit einem falschen Namen oder einem falschen Metadatum abgelegt. Nach diesen fehlerhaften Einträgen kann gesucht und das zutreffende Objekt entsprechend abgeändert werden.

Einen Worker öffnen

1. Öffnen Sie links in der Seitenleiste Weitere Apps und dann support tool.
2. Wählen Sie links im Menü Workers.
   
   Ergebnis: Zwei weitere Einträge (Actions und Sub Statistics) erscheinen. Über diesen Bereich können Sie Worker konfigurieren, starten, stoppen, löschen sowie Statistiken und Logs einsehen.

Eintrag „Actions“

Hier haben Sie die Möglichkeit, zwei verschiedene Worker zu erstellen:

QueryScript-Worker
Ein QueryScript-Worker findet in gut 95 % der Fälle Verwendung. Mit diesem bauen Sie eine Suchfunktion anhand von Metadaten auf. Diese Suche erkennt zu bearbeitende Dateien und reicht diese an ein JavaScript weiter.

So erstellen Sie einen QueryScript-Worker

ScriptWorker
Ein ScriptWorker wird selten verwenden. Bei diesem reicht die Suche nach Metadaten nicht aus, um die zu bearbeitenden Dateien zu finden. Stattdessen verwendet ein ScriptWorker ein JavaScript, um die gewünschten Objekte zu finden. Diese werden wiederum zur Bearbeitung an ein JavaScript weitergereicht.

So erstellen Sie einen ScriptWorker

Eintrag „SubStatictis“

Öffnen Sie den Bereich SubStatistics, finden Sie in weiteren Untereinträgen Folgendes:

• Ihre selbst erstellten Worker
• Im Standard mitgelieferte Worker
• Dazugehörige Logausgaben

Die mitgelieferten Worker dienen zur allgemeinen Funktion des Systems, etwa der MetadataInheritor, der für die Vererbung von Metadaten benötigt wird.

Eintrag SubStatistics

Worker zeitlich aufeinander abstimmen

Worker, egal ob QueryScript-Worker oder Script-Worker, suchen in regelmäßigen Zeitabständen nach Ihrem eigenen Arbeitsvorrat. Haben diese Worker viel zu tun, prüfen diese in schnellen Zeiteinheiten nach neuen Objekten, die bearbeitet werden müssen. Fiel dieser Arbeitsvorrat mehrmals leer aus, kann es bis zu 10 Sekunden dauern, ehe der Worker seine Suche erneut startet.

Einen Worker von einem Testsystem in ein Produktivsystem überführen

Sie können Worker direkt mit der export.yml exportieren.

Einen Worker pausieren

1. Setzen Sie die Threadanzahl (Concurrency) auf 0.

Einen Worker löschen / aktualisieren /bearbeiten

Sobald Sie einen eigenen Worker erstellt haben, bekommt dieser wie oben beschrieben einen eigenen Funktionsbereich. Öffnen Sie ihn und scrollen Sie ganz nach unten, sodass Sie sich unterhalb des (letzten) JavaScriptes befinden. Dort finden Sie drei Schaltflächen:

Schaltfläche „Update worker script“

Nehmen Sie Änderungen im Skript oder bei den Einstellungen im agorum core support tool vor, speichern Sie mit dieser Schaltfläche Ihre Änderungen. Das System führt einen Reset des Skripts durch, sodass der Worker mit dem neuen Skript läuft.

Ausgeschlossen ist eine ​​​​​​​Namensänderung. In diesem Fall erstellen Sie einen neuen Worker und löschen den aktuellen.

Schaltfläche „Reset worker“

Wenn ein JavaScript ausgeführt wird, wird es kompiliert, bevor es startet. Damit der Kompiler nicht jedes Mal ausgeführt wird, wird das kompilierte Skript gecacht und gestartet.

Die Schaltfläche löscht den Cache für dieses Skript, sodass das Skript anschließend neu geladen wird. Damit werden auch require-Verweise auf ein anderes Skript aus dem Cache gelöscht und bei erneutem Ausführen wieder neu kompiliert.

Wird der Worker zurückgesetzt, wird auch der aktuell verwendete JavaScript-Kontext verworfen.

Schaltfläche „Stop and remove worker“

Diese Schaltfläche stoppt den Worker und löscht ihn anschließend.

QueryScriptWorker

Dieser Worker führt regelmäßig eine Suche nach Metadaten aus und übergibt das Ergebnis pro gefundenem Objekt an ein JavaScript. Jeder Aufruf des Skripts wird in einer Transaktion abgearbeitet.

Einen QueryScriptWorker erstellen

1. Öffnen Sie links in der Seitenleiste Weitere Apps und dann support tool.
2. Wählen Sie links im Menü Workers > Actions > QueryScript.
3. Passen Sie die Einstellungen des Workers an.
4. Speichern Sie den angelegten Worker und testen Sie, ob der Worker die gewünschte Funktion ausführt.

Ein Worker kann etwa wie folgt aufgebaut werden:

Einen QueryScriptWorker erstellen

Einstellungen des QueryScriptWorkers

inpath:${ID:/agorum/roi/Files/incoming}

identifier: kundenakte acmf_kundenname:* NOT acmf_kundennamerl:*

JavaScript-Beispiel zum QueryScriptWorker

In dem folgenden Beispiel wird ein JavaScript für einen QueryScriptWorker gezeigt, der ein Objekt aus einem Ordner herausnimmt und in einen anderen Ordner ablegt. Zum Einsatz kommt die JavaScript-Bibliothek common-objects.

/* global sc, data */ 
let objects = require('common/objects');

// Objekt anhand der UUID finden 
let object = objects.tryFind(data.uuid);

// Ausgabeordner für die Objekte 
let target = objects.find('/agorum/roi/Files/done');

// Überprüfen, ob das Objekt noch da ist    
if (object) {     
  // Etwas mit dem Objekt machen...   

  // Objekt aus dem Ordner "incoming" herausnehmen, sodass es nicht mehr in diesem Ordner zu finden ist    
  // remove from all parents     
  objects.remove(object);          

  // Objekt in den Ordner "done" ablegen     
  objects.add(object, [ target ]);   
}

ScriptWorker

Beim ScriptWorker wird der Arbeitsvorrat durch ein frei definierbares Skript produziert, dem Producer. Es können daher nicht nur Suchanfragen abgearbeitet werden, sondern etwa auch der Inhalt von Ordnern oder Einträge in einer CSV-Datei.

Einen ScriptWorker erstellen

1. Öffnen Sie links in der Seitenleiste Weitere Apps und dann support tool.
2. Wählen Sie links im Menü Workers > Actions > ScriptWorker.
3. Passen Sie die Einstellungen des Workers an.
4. Speichern Sie den angelegten Worker und testen Sie, ob der Worker die gewünschte Funktion ausführt.

Einen ScriptWorker erstellen

Einstellungen des ScriptWorkers

limit und idle im Producer

Dem Producer werden vom Worker-Framework zwei Parameter übergeben.

Die Parameter idle und limit werden nicht eingestellt, sondern vorgegeben. Daran kann sich das Producer-Skript orientieren, wenn es darum geht, wie viele Arbeitseinheiten es erzeugen sollte, damit die Consumer-Threads weiterhin beschäftigt sind.

Beispiel für die Abarbeitung der Elemente eines Ordners mithilfe des Fileworkflows

Producer
Der Producer erzeugt ein Array aus den ersten <limit>-Objekten im Ordner /agorum/roi/Files/Eingang. Das Producer-Skript wird jedes Mal im selben JavaScript-Kontext aufgerufen.

/* global sc, limit, idle */

let objects = require('common/objects');

objects.find('/agorum/roi/Files/Eingang').items().slice(0, limit).map(item => ({
  id: item.ID,
  object: item
}));

Consumer
Der Consumer ruft für das übergebene Objekt den Fileworkflow auf.

/* global sc, data */

let workflows = require('common/workflows');

workflows.start('FileWorkflow2', data.object);