Suchsyntax in Solr verwenden

tokenized

Jedes Feld wird automatisch „tokenized“. So wird etwa die E-Mail-Adresse unterteilt in einzelne Worte, basierend auf Trennzeichen.

Getrennt wird etwa beim @ und beim Punkt (.).

Beispiel

marta.mueller@agorumcore.com

Ergebnis

marta, mueller, agorumcore, com

So indiziert und sucht das System wieder.

Suchen Sie etwa nach agorum.com, wird daraus intern:

agorum AND com

AND/OR

Sie können Suchen (Queries) mit AND oder OR verbinden:

AND

Und-Suche, alle Such-Teile müssen einen Treffer erzeugen. AND ist die Standardeinstellung in agorum core. Dies bedeutet, dass eine explizite Angabe von AND nicht notwendig ist.

Beispiel

OR

Oder-Suche, nur ein Such-Teil muss einen Treffer erzeugen

Besitzt ein Query Klammern, so wird zuerst der Inhalt der Klammer geprüft und dann der Rest.

Hochkommas

Hochkommas legen die Reihenfolge der Wörter fest, in denen diese im Objekt vorkommen sollen.

Beispiel

Klammern

Klammern werden wie in der Mathematik verwendet. Sie dienen dazu, Filteroptionen zu sortieren und eine Reihenfolge zu erstellen.

Beispiel

NOT

Wörter, Metadaten oder Zahlen können ausgeschlossen werden.

Beispiel

Fuzzy Matching

Platzhalter (*, ?) dienen als eine Art „Lückenfüller“. Das ? wird verwendet, wenn man sich bei einem Buchstaben nicht sicher ist, während das * für beliebig viele Buchstaben (>=0) steht.

Beispiel

Fuzzy / Edit-Distance Searching

Für viele Suchanwendungen ist es nicht nur wichtig, den genauen Text zu finden, sondern sich an mögliche Rechtschreibfehler oder Variationen an Schreibmöglichkeiten anzupassen. Solr kann Character-Variationen anhand einer Edit-Distance erlauben. Dabei wird ein Suchbegriff verwendet und mit einer Tilde (~) am Ende die Anzahl an möglichen Variationen gekennzeichnet.

Theoretisches Beispiel

Die Tilde steht dabei für ein Suchergebnis, das den originalen Suchbegriff als auch Wörter mit 2 Edit-Distanzen erlaubt. Edit-Distanzen können dabei folgende Unterschiede sein:

​​​​​Möchten Sie nur eine Edit-Distance oder beliebig viele erlauben, greifen folgende Schreibarten:

Proximity Search

Ähnlich wie bei der Fuzzy / Edit-Distance Searching sind bei dieser Suche Variationen der Suchbegriffe erlaubt. Anstatt Änderungen in einem Wort abzufangen, geht es hierbei um Änderungen in einer Wörterkette.

Beispiel

String Metadaten

Jedes String-Metadatum wird auf 3 Arten im Index abgelegt.

Beispiel: acmf_aktenzeichen

Es kann aber auch nach jedem String exakt gesucht werden, indem " " um diesen gesetzt wird.

Beispiel acmf_stichworte: acmf_stichworte enthält „abc ag“

Besonderheit list-Metadaten

Möchten Sie nach einem Wert in einem list-Metadatum suchen, müssen Sie das Präfix, Name des internen list-metadatums und interner Name des Positions-/Spaltenmetadatums mit einem Unterstrich verbinden.

Beispiel basierend auf einer metadata.yml-Datei:

# -- global
_group: academy.workflow
_prefix: academy_workflow_
_dataPrefix: MAIN_MODULE_MANAGEMENT/customers/academy.workflow/Data/
_csvPrefix: /agorum/roi/customers/academy.workflow/csv/
_encoding: UTF-8

...

positionen:
  displayName: Rechnungspositionen
  list:
    number:
      displayName: Nummer
      type: long

Das zusammengesetzte Metadatum für die Nutzung in einer Query lautet:

academy_workflow_positionen_number

Bereichssuche

Im Folgenden wird die Bereichssuche allgemein erklärt (egal welcher Datentyp, außer date).

In diesem Beispiel ist jahr eine Ganzzahl:

Date, Date-Bereich und Datumsberechnung

Date Range-Suche

Bei dieser Suche müssen Sie an das Metadatum noch die Ergänzung _date_range anhängen (alle Zeitangaben sind Zulu Time (d. h. GMT+0)):

Keywords in Solr für Datumsberechnung

Bei createdate müssen Sie noch die Ergänzung _date_range anhängen (alle Zeitangaben sind Zulu Time (d. h. GMT+0)):

​​​​Für das allgemeine Arbeiten mit Date siehe https://lucene.apache.org/solr/guide/6_6/working-with-dates.html.

Spezielle Keywords

Für die Solr-Suche existieren spezielle Keywords und Keyword-Erweiterungen, die das System beim Indizieren eines Objekts belegt.

allfields_ci:identifier

* NOT allfields_ci:identifier

allmetadatafields:acmf_kundennummer

inpath:9999

'inpath_uuid:' + folder.UUID

infolder:${FOLDERPATH:/agorum/roi/files}

infolder_uuid:${FOLDERPATH:/agorum/roi/files}

contentonly:(agorum willkommen)

lastaddedbyuser:${USERID:roi} lastaddeddate_date_range:[NOW/MINUTE-60MINUTE TO *]

storagebackend:none

* NOT storagebackend:none

nameextension:pdf

basename:test

basename_ci:(test)

boolean-Suche in Solr

Solr verwendet für Queries auf Boolean-Felder intern folgende Methode:

  @Override
  public String toInternal(String val) {
    char ch = (val!=null && val.length()>0) ? val.charAt(0) : 0;
    return (ch=='1' || ch=='t' || ch=='T') ? "T" : „F“;
  }

Die Suche beachtet somit nur das erste Zeichen:

regEx-Suche in Solr

In folgenden String-Metadaten kann auch mit einer regEx gesucht werden:

• ci-Felder
• cs-Felder

Bei einem regulären Ausdruck reicht kein Teilausdruck aus.

Beispiel

Sie suchen nach Ordnern, die das Namensformat „<Zahl von 0-9> . <Ordnernamen>“ aufweisen, etwa:

• 0. Buchhaltung
• 1. Personalabteilung

Hier reicht die Suche nach Folgendem nicht aus, um ein Ergebnis zu erzielen:

name_cs:/[0-9]\./

Stattdessen benötigen Sie etwa diesen Eintrag:  

name_cs:/[0-9]\..*/

Erlaubte regEx - Syntax

​​​​​​Suche in string

In Strings kann nur eingeschränkt nach regEx gesucht werden, weil nur noch die Texte enthalten sind. Sonderzeichen wie .,[ # ] u.s.w sind darin nicht mehr enthalten und können nicht mehr gefunden werden.

Beispiel

Im Betreff einer E-Mail steht Folgendes:

agorum - Hallo bitte lesen [#atgp9887]

Jetzt sollen alle E-Mails gesucht werden, die [#atgpXXXXX] beinhalten, wobei XXXX eine beliebige Ganzzahl sein kann. Im String ist jetzt im Index nur noch das enthalten:

agorum - Hallo bitte lesen atgp9887

Hier es fehlen also die Steuerzeichen [# und ]

Jetzt kann also nur gesucht werden nach E-Mails, die atgpXXXXX im Subject haben. Bei Strings kann wie folgt per regEx gesucht werden:

Beispiel 1

subject:/atgp[0-9]+[0-9]/

Bei diesem Beispiel wird ein Wort gesucht, das mit atgp beginnt, dann können beliebige Zahlen folgen und am Ende muss eine Zahl stehen.

Beispiel 2

subject:/atgp<0-10000>/

Bei diesem Beispiel wird ein Wort gesucht, das mit atgp beginnt, dann muss eine Zahl kommen zwischen 0 - 10000 (einschließlich).

Beispiel 3

subject:/atgp[0-9]{1,4}/

Bei diesem Beispiel wird das Wort gesucht, das mit atgp beginnt, dann muss eine Zahl zwischen 1 - 4 Ziffern kommen.

Beispiel 4

/(xrtzu|baal)/

Bei diesem Beispiel wird das Wort xrtzu oder das Wort baal gesucht.

In ci- und cs-Feldern suchen

Der Unterschied ist hier, dass in diesen Feldern alle Zeichen stehen. Diese bedeutet, man kann in diesen Feldern auch nach den Sonderzeichen suchen. Beispiel für solche Felder sind folgende:

• name_ci
• name_cs
• etwa innerhalb von Metadaten, die so indiziert werden

Hier wäre eine Suche wie folgt möglich:

Im Name steht folgender String:

agorum - Hallo bitte lesen [#atgp9887]

Jetzt kann danach gesucht werden:

name_ci:/.*\[\#atgp[0-9]{1,8}a\].*/

Sonderzeichen in Solr escapen

Folgende Zeichen haben in Solr eine besondere Bedeutung.

+ - && | | ! ( ) { } [ ] ^ " ~ * ? : \

Möchten Sie nach einem solchen Zeichen suchen, verwenden Sie ein vorangestelltes \.

 Um etwa nach (1+1):2 zu suchen, verwenden Sie folgende Abfrage:

\(1\+1\)\:2

Sonstiges zur Suche mit Solr

• Zahlen werden als Zahlen gesucht. Eingabe der Zahlen immer mit . als Dezimaltrenner: test_brutto:19.88   
• Beispiele zur Bereichssuche für Zahlen:

age:[18 TO 30]       // findet age 18-30 inclusive (die Endpunkte 18 und 30 sind mit dabei)
age:[18 TO 30}       // findet age>=18 und age<30
age:[65 TO *]        // „open ended“ range findet age>=65
age:[* TO *]         // findet alle Dokumente in denen age gesetzt ist

• Ab Solr 5.3 sind Query Comments möglich mit /* */:

description:HDTV /* TODO: +promotion:tv +promotion_date:[NOW/DAY-7DAYS TO NOW/DAY+1DAY] */

• Suche mit  *, core* oder mit *core* ist möglich.
• Solr kann nach allen Metadaten sortieren und die Ergebnisse sortiert zurückgeben (siehe JavaScript-Bibliothek common/objects).

Join-Suchen

Mit Solr können Sie verknüpfte Suchen (Join-Suchen) durchführen.

Allgemeine Syntax

Die allgemeine Syntax lautet:

{!join from=X to=Y}Q

X und Y sind jeweils Feldnamen und Q eine gültige Solr-Query.

In einer SQL-Abfrage würde das Ganze zur Verdeutlichung folgendermaßen lauten:

select * from t where t.Y = (select X from t where Q)

Damit das Ganze mit der agorum core-Suche funktioniert, muss diese Query speziell eingepackt werden (gelb markiert):

_query_:"{!join from=X to=Y}Q"

Suche von Objekten mit einem bestimmten Ersteller

In dem folgenden Beispiel sollen alle Objekte gefunden werden, bei denen der Ersteller (creator) ein Benutzer ist, dessen fullName: demo ist:

_query_:"{!join from=uuid to=creator_uuid_ci}fullname:demo"

Intern sucht das System nun nach allen Objekten, bei denen fullname:demo lautet, und liefert die uuid zurück (from). Dann werden alle Objekte gesucht, deren creator_uuid_ci den UUIDs entspricht, die bei der vorgehenden Suche zurückkamen.

Die Suche kann auch beliebig eingeschränkt werden. Etwa sollen alle Dokumente, die eine PDF-Datei sind und deren Ersteller demo ist, gesucht werden:

nameextension:pdf _query_:"{!join from=uuid to=creator_uuid_ci}fullname:demo"

Suche von Objekten, die in Ordner vorkommen

In folgendem Beispiel sollen alle Objekte gefunden werden, die in Ordner A und in Ordner B (oder darunter) vorkommen, die aber direkt in einen Ordner unterhalb von B verknüpft sind, aber nicht in einem Ordner von A. Es soll also herausgefunden werden, ob Objekte direkt in Ordner B verknüpft sind oder indirekt über einen Ordner, der auch in A vorkommt.

(inpath:${ID:/agorum/roi/Files/B} inpath:${ID:/agorum/roi/Files/A}) _query_:"{!join from=uuid to=infolder_uuid_ci}isfolder:true inpath:${ID:/agorum/roi/Files/B} NOT inpath:${ID:/agorum/roi/Files/A}"

Diese Suche kann relativ lange dauern (bei größeren Datenmengen). Eine Alternative wäre, die Suche auf 2 Suchen aufzuteilen:

Suche 1

isfolder:true inpath:${ID:/agorum/roi/Files/B} NOT inpath:${ID:/agorum/roi/Files/A}

Hier wird nun eine Reihe von Objekten zurückgegeben, davon benötigen Sie alle UUIDs. Die Anzahl der UUIDs darf 1024 nicht überschreiten, da sonst die Suche 2 nicht funktioniert, weil ein Limit erreicht wird.

Suche 2

(inpath:${ID:/agorum/roi/Files/B} inpath:${ID:/agorum/roi/Files/A}) infolder_uuid_ci:(UUID1 OR UUID2 OR ....)

Function Queries (Berechnungen, if, equals)

Mit Function Queries ist es möglich, komplexe Suchanfragen mit Bedingungen durchzuführen:

• Suche alle Objekte, bei denen der Ersteller und der letzte Benutzer, der Änderungen durchgeführt hat, unterschiedlich sind.
• Suche alle Bilder, deren Anzahl Pixel (das Produkt aus Höhe und Breite) eine gewisse Größe haben.
• Suche alle Objekte, deren Erstelldatum unterschiedlich zum letzten Änderungsdatum ist.

Allgemein

Der Aufbau ist wie folgt, am Beispiel Suche von docx Dateien, bei denen das createDate und lastModifyDate unterschiedlich sind:

nameextension:docx _query_:"{!frange l=0 u=0} if(eq(createdate,lastmodifydate), 1, 0)"

• !frange ist eine Bereichssuche zwischen l und u (l=lower limit und u=upper limit).
• Die Funktion if(eq(createdate,lastmodifydate),1,0) liefert 0 zurück, wenn ungleich oder 1, wenn gleich.
• Uns interessieren nur die Ergebnisse, bei denen createdate und lastmodifydate ungleich sind, deswegen sind l und u auf 0 gestellt.

Möchten Sie etwa alle Objekte haben, bei denen beide Datumsangaben gleich sind, können Sie entweder l=1 und u=1 wählen oder 0,1 beim IF schreiben.

Alle PDF Dokumente suchen, bei denen das createDate jünger ist als das lastModifyDate

nameextension:pdf _query_:"{!frange l=1 u=1} if(gt(createdate, lastmodifydate), 1, 0)"

Alle Objekte suchen, bei denen das mainObject nicht auf sich selbst zeigt (alle Unterobjekte)

_query_:"{!frange l=1 u=1} if(eq(mainobject_uuid_ci,uuid), 1, 0)"

Alle Bilder suchen mit einer bestimmten Anzahl Megapixel

_query_:"{!frange l=100000 u=2174960 incu=false} product(image_height, image_width)"

Suche alle Bilder, bei denen das image_height * image_width >= 100.000 und < 2.174.960 liegt. incu=false bedeutet, dass das Upper-Limit ausgeschlossen ist. Für den Lower-Wert wäre es incl (Standard ist true).

Komplexe Suchanfragen (Complex Phrase)

Sie können komplexe Suchanfragen formulieren. Somit ist es auch möglich, Wildcards in Phrasen, also zusammenhängende Suchbegriffe, zu verwenden.

Allgemein

_query_:"{!complexphrase inOrder=true}name:\"ago* Software GmbH\"“

Suche im Namen in einem bestimmten Aktentyp (identifier)

identifier:kundenakte _query_:"{!complexphrase inOrder=true}name:\"ago* Software GmbH\"“

Unterschied zwischen Lucene und Solr

Suche nach / in Positionsmetadaten:

• bei Lucene unterscheidet sich die Suche in / nach Metadaten in einer Position nicht
• bei Einsatz von Solr wird die Verschachtelung berücksichtigt, hier setzt sich der Name des Metadatums in der Position aus dem Metadatum für die Position und dem eigentlichen Metadatum zusammen.

Beispiel an einer Suche

Diese zeigt an, was der aktuell angemeldete Benutzer als letztes bearbeitet hat. Ausgeschlossen werden Versionen vom Wiki. Angezeigt werden alle Treffer bis 30 Tage zurück: