Suchergebnis verbessern: zusammenhängende Worte besser berücksichtigen

Die Relevanzsortierung von Solr/Lucene ist von Haus aus schon sehr gut. Hin und wieder ergeben sich aber Potential, die Suchergebnisse von Solr weiter zu verbessern.
Das Suchergebnis ist regelmäßig (nicht immer) dann besser, wenn die Suchbegriffe in exakt der gleichen Reihenfolge auch im Text vorkommen.

In erster Linie geht es dabei also um die Verbesserung der Relevanzsortierung.

Beispiel die Suche nach: berliner currywurst
Ein valides Ergebnis wäre folgender Text: "Der Berliner Max fährt nach Hessen, um bei Best Worscht in Town eine Frankfurter Currywurst zu essen".
Basierend auf den Suchbegriff ist das Suchergebnis aber wenig relevant. Denn es geht hier um eine Frankfruter Currywurst, keine Berliner.
Relevanter ist folgender Text: "Der Frankfurter Moritz fährt nach Kreuzberg, um bei Curry 36 eine Berliner Currywurst zu essen."

Die Lösung besteht darin, Dokumente in Ihrer Sortierung zu Boosten, welche die Suchbegriffe in exakt der eingegebenen Reihenfolge und hintereinander aufweisen. Unabhängig davon, ob der Anwender eine phrasierte Suche gestartet hat oder nicht.

Hilfe kommt hier vom DisMax Suchhandler bzw. eDsiMax Query Parser.
Dort wird zum einem definiert, wie das Vorkommen der Suchbegriffe in einzelnen Feldern zu gewichten ist:

  <requestHandler name="/select" class="solr.SearchHandler" default="true">
[...]
       <str name="qf">
            PROVIDER^10 KATEGORIE^3 UEBSCHRIFT^5.5 TEXT^1.5

Zusätzlich kann man jedoch der "pf" (phrase Fields) Parameter kann genutzt werden, um die Dokumente in der Sortierung höher zu gewischten, bei denen die Suchbegriffe möglichst eng aneinander stehen.

  <requestHandler name="/select" class="solr.SearchHandler" default="true">
[...]
       <str name="qf">
            PROVIDER^10 KATEGORIE^3 UEBSCHRIFT^5.5 TEXT^1.5
       </str>
       <str name="pf">
          PROVIDER^10 UEBSCHRIFT^5.0 TEXT^1.5
       </str>

Abschließend den Server neu starten und die Anwendungen werden aktiv.

Suchergebnis verbessern: Teile einese Textes unterschiedlich gewichten

Seit google wissen wir: kein Mensch möchte bei einer Suche/Volltextsuche auf die 2. Ergebnisseite blättern.
So etwa ist die Vorgabe durch den Anwender.
Der Knackpunkt neben validen Suchergebnissen ist also eine möglichst gute Relevanzsortierung.
Glücklicher Weise funktioniert die Relevanzsortierung bei Solr schon sehr gut. Dennoch gibt es je nach Dokumentenart und -inhalt Optimierungspotential.

In unserem Fall werden informelle Volltexte verarbeitet: Nachrichten. Diese haben die Natur, dass in den ersten Zeilen meist Zusammenfassungen, Kontextinformationen oder expemplarische Informationen zur Nachricht selber stehen.
Die ersten Zeilen eines Dokumentes sind also meist besonders inhaltsreich und relevant
Aus diesem Grund bossten wir die ersten N Zeichen eines jeden Dokumentes besonders. Oder anders Gesagt: Teile des eines Textes werden unterschiedlich gewichtet.

Das boosten bzw. höhere Gewichten einzelner Textabschnitte oder Zeilen in Solr funktioniert über einen Trick. Beim Import der Daten aus unserer MySQL Tabelle mittels Data-Import-Handler (DIH) erzeugen wir eine virtuelle Spalte. Diese zusätzliche Spalte befüllen wir mit den ersten N Zeichen des eigentlichen Volltextes. In der data-config.xml des DIH sieht das dann exemplarisch wie folgt aus:

<entity name="tabelle_news" pk="LFNR" 
        query="SELECT *,
                SUBSTRING(TEXT,1,500-CHAR_LENGTH(SUBSTRING_INDEX(SUBSTRING(TEXT,1,500),' ',-1))) 
                AS TEXT_SNIPPET
                FROM tabelle_news
                WHERE '${dataimporter.request.clean}' != 'false'
                           OR LAST_MODIFIED &gt;= '${dataimporter.last_index_time}' - INTERVAL 5 MINUTE">
</entity>
In der Konfiguration des Data-Import-Handler oben wird unmittelbar während des Imports ein maximal 500 Zeichen langer Text Schnipsel aus den ersten Zeichen des Dokumenten-Textes gennerriert und als neues Feld an Solr weiter gereicht. Wichtig ist, nicht blind nach 500 Zeichen abzuschneiden, sondern bereits am Ende des letzten Wortes innerhalb der 500 Zeichen!

Dieses Feld sollte natürlich in der Schema-Datei (schema.xml) entsprechend vorhanden sein, idealer Weise vom gleichen Typ, wie das Volltextfeld.

Wichtig ist, den Textschnipsel auch bei der Suche zu würdigen.
Dazu wird die Datei (solrconfig.xml) entsprechend angepasst.

In unserem Fall kommt der edismax SearchHandler zum Einsatz. Hier kann man explizit angeben, in welchen Feldern er suchen soll und wie Stark die einzelnen Felder gewichtet werden sollen. Exemplarisch könnte der Eintrag wie folgt aussehen:

<requestHandler name="/select" class="solr.SearchHandler" default="true">
     <lst name="defaults">
       <str name="defType">edismax</str>
       <float name="tie">0.01</float>
       <bool name="tv">true</bool>
       <str name="qf">
           AGENTUR^10 UEBSCHRIFT^5.5 TEXT^1.5 THEMA TEXT-EXAKT^7 TEXT_SNIPPET
       </str>
       <str name="q.alt">*:*</str>
       <str name="pf">
          AGENTUR^10 UEBSCHRIFT^5.0 TEXT^1.5 TEXT-EXAKT^7 TEXT_SNIPPET
       </str>
[...]
Startet ein Anwender eine Suche, so sucht Solr die Informationen in verschiedenen Feldern der Dokumente und gewichtet das Ergebnis abhängig davon, in welchem Feld der gesuchte Begriff auftaucht.
Wichtig ist, dass hier das Feld TEXT_SNIPPET überhaupt erwähnt wird, damit es in der Relevanzberechnung berücksichtigt wird. Je nach Anwendungsfall kann man diesen Bereich natürlich auch noch boosten.
In jedem Fall aber wird nun der erste Teil eines Volltextes/Dokumentes stärker berücksichtigt/gewichtet als der Rest des Dokumentes/Textes.