Ablauf der Vorverarbeitung 

Die folgende Grafik stellt die wichtigsten Schritte dar, die unmittelbar vor, während und unmittelbar nach der Vorverarbeitung stattfinden.

Die Grafik stellt den Ablauf dar, wenn die Anwendung die URI eines Dokuments an TREX übergibt. Wenn die Anwendung das Dokument direkt übergibt, entfällt der Schritt "Load document (HTTP/HTTPS GET)".

Die Anwendung sendet Indizier-Requests an den TREX-Web-Server oder TREX-RFC-Server. Dieser leitet die Requests an den Queue-Server weiter. Der Queue-Server ordnet die Requests den passenden Queues zu und verteilt die Requests dann an einen oder mehrere Präprozessoren. Dort findet die Vorverarbeitung der Dokumente statt.

Wenn die Vorverarbeitung eines Dokuments abgeschlossen ist, übergibt der Präprozessor das analysierte Dokument wieder an den Queue-Server. Der Queue-Server sammelt die Dokumente uns stößt gemäß seiner Konfiguration die weitere Verarbeitung im Index-Server an.

Wie läuft die Verteilung der Dokumente ab?

Die Verteilung der Dokumente auf die Präprozessoren wird vom Name-Server gesteuert. Die Verteilung erfolgt nach einem Round-Robin-Verfahren, das die Anzahl der Zugriffe auf die Präprozessoren berücksichtigt. Präprozessoren mit weniger Zugriffen erhalten bevorzugt Dokumente.

Der genaue Ablauf ist wie folgt:

...

       1.      Wenn ein Queue-Server ein Dokument erhält, ordnet er es einem Präprozessor-Client zu.

       2.      Der Präprozessor-Client fragt den Name-Server nach der Adresse eines Präprozessors.

       3.      Der Name-Server gibt den Präprozessor mit der niedrigsten Anzahl an Zugriffen zurück.

       4.      Der Präprozessor-Client leitet das Dokument an den Präprozessor weiter und wartet auf dessen Rückmeldung. Solange der Präprozessor-Client wartet, gilt er als belegt und erhält vom Queue-Server keine weiteren Dokumente.

       5.      Wenn das Dokument vorverarbeitet ist, erhält der Präprozessor-Client Rückmeldung vom Präprozessor und gibt seinerseits Rückmeldung an den Queue-Server.

       6.      Der Präprozessor-Client gilt wieder als frei und kann das nächste Dokument vom Queue-Server erhalten.