TOLERANT Move Release 2.0

2014/12/04

Notices

This is the major release of Tolerant Move for Autumn 2014.
The german manuals were updated.
There is a new parameter „fullBackup“ for the silent installation.
The installer now checks before upgrading which files were changed, created or deleted after the last installation (using the checksums file from the last installation). if fullBackup is not set to „true“, only the created or modified files will be backuped before the upgrade.
If an upgrade installation is performed manually, there will be a new question concerning the backup.
If a full backup is made, the installer will behave as in the old releases. If a partial backup is selected only those files that were created or modified after the last installation will be backuped. The installer uses the checksums file from the last installation. Additionally the installer lists all created, modified or deleted files that were changed after the last installation. After the upgrade was performed the installer lists those files again and states whether the changes were overridden or reverted during the upgrade.
The attribute „startline“ for the input file works differently now. If the attribute is missing in your configuration, or set to „1“, it will no longer skip the first line of the input file. Thus a possible head line will now be checked for a move (It will normally not match any known address). If you have a head line in your input file, please set the attribute „startline“ in csvFileInput to „2“ now.
The Attributes logfile, tracefile, clusterlogfile, consoleLogLevel, logfileLogLevel, tracefileLogLevel, clusterlogfileLogLevel are no longer supported for moveProject and moveRuntime. Configuring log, trace can be done using „logging“ and „log“ tags only.
Because of the new installer option to install an example, the silent installation file has a new boolean parameter „doInstallServiceExample“
The hot deployment feature of the jetty Webservice has been disabled, because it is not used anyway.
Tolerant Move is delivered with a new JRE (Version 1.7.0_71)

New Product Features

Batch

It is now possible to configure the maximum length of an output field. If the length of the output field exceeds the maximum length, the content of the field will be clipped to the configured maximum length.
As alternative to reading batch-input (input, reference, negative) from csv-Files, batch-input can now be read from database tables. Similarly, batch-output can now be written to database tables. Please see manual for more details.

Security

The latest java virtual machine 1.7.0_71 is now bundled with the software.

Fixed Bugs

Batch

Bug #2441: If a synonym replacement was defined before the first synonym section, no error was detected.
Bug #1260: The attribute startline for the input file was not handled correctly. This lead to the problem, that if startline was not set, or was set to „1“, the first line of the input file was ignored. Now the value „1“ means, that the first line of the file is read. To skip the headline of a file „2“ has to be used.

Known Bugs

No known bugs.

Requirements

Please refer to the manual

Installation/De-Installation

Please refer to the manual

Release 1.6, 6.6.2014

Notices

The release notes are in english.
Attributes logfile, tracefile, clusterlogfile, consoleLogLevel, logfileLogLevel, tracefileLogLevel, clusterlogfileLogLevel are no longer supported for moveProject and moveRuntime. Configuring log, trace can be done using „logging“ and „log“ tags only.
In the tag moveReference the new attribute filepath has to be added to define where the reference data is stored. „$TOLERANT_HOME/data“ can be used as default.

Relatives paths in the configuration are now treated differently. There are also new environment variables that can be used in the configuration:

Environment variable	Description
$TOLERANT_HOME	Installation path
$TLLOGS	Path for log/trace files (Service)
$TLCONFIG	Path for configuration files(Service)
$TLDATA	Path for reference data/databases (Service)
$TLSTATIC	Path for static webpages (Service)
$TLTMP	Path for temporary files (Service)
$JETTY_PID	filename of the jetty.pid file (only Linux/Solaris and Service)

Please check all your configuration files concerning relative paths.The following table lists all attributes to look for:

Tag	Attribute	Path is relative to
moveRuntime	logfile	directory in which the batch was started
moveRuntime	tracefile	directory in which the batch was started
moveRuntime	clusterlogfile	directory in which the batch was started
moveRuntime	tempDir	directory in which the batch was started
synonymFile	filepath	directory in which the batch was started
moveReference	filepath	directory in which the batch was started
csvFileInput	filepath	directory in which the batch was started
csvFileOutput	filepath	directory in which the batch was started
moveProject	logfile	directory in which the batch was started
moveProject	tracefile	directory in which the batch was started

The startup logfiles no longer exists. Errors during startup will be written to the console instead.
Synonyms can be placed in quotes („) now. As escape character ~ can be used. Through this change, the pipe symbol (|) can be used in regular expression now. Please check for quotes or ~ in your existing synonym files.

New Product Features

General

A new method for configuring logging has been implemented. Logging can be configured in runtime or for projects with „logging“ and „log“ tags. The „logging“ tag consolidates different loggers (LOG, TRACE, CLUSTER, CONSOLE) as „log“ tags and defines settings that apply to all of them. Individual logger can overwrite those settings and makes few other settings available. The old method for configuring logging can still be used but will be deprecated in future. The rolling event renames the log files by adding incrementing numbers to their names to create backups. The backup file with the highest number in its name is the most recent one.

Installer

The installer calculates checksums directly after the installation for all installed files. With the script checkInstallation a list of changed/deleted or added files can be generated.

Security

The latest java virtual machine 1.7.0_55 is now bundled with the software.

Manual

This release contains an updated version of the manuals.

Miscellaneous

The path variables TOLERANT_HOME, TLLOGS, etc. can now be locally overwritten before starting a service.

Fixed Bugs

Batch

Bugfix #1616: batch process ran in an endless loop, if the reference data did not contain a country for the new address and there was an regular expression in an outputswitch for country.
Bugfix #1619: The field move.companyName was not filled if used as an output field.
Bugfix #1643: If an outputSwitch was used, but not default rule, exceptions occurred and the batch process terminated unexpectedly.

Known Bugs

no known bugs

Requirements

Please refer to the manual

Installation/De-Installation

Please refer to the manual

Release 1.5, 3.5.2013

Ankündigungen

Eine Upgrade-Installation kann jetzt auf eventuelle manuelle Schritte vor oder nach der Installation hinweisen und erlaubt zudem die Installation komplett abzubrechen.
Die Skripte für den Service/Batchstart wurden so geändert, dass standardmäßig IPv4 verwendet wird.
Das Installationsskript heißt jetzt installMOVE*.* anstelle von install*.*
Die Reihenfolge der Fragen im Installer hat sich leicht geändert und auch die Parameter für die Silent-Installation wurde geändert. Dies war notwendig, weil jetzt GUI/Client GUI und Service getrennt bei der Installation mit Parametern versehen werden können. Die Konfiguration des http-Ports und die Windows-Service Registrierung kommen erst nachdem man definiert hat, ob ein GUI/Client-GUI und/oder ein Tolerant Service zu installieren sind.
Erweiterung der Synonymmodi, um die Möglichkeit reguläre Ausdrücke zu suchen und zu ersetzen.
Aus der Liste der männlichen Vornamen wurde ein paar fehlerhafte Einträge entfernt.
Das Element csvOutputField hat ein neues Attribut „delimiter“. Dies definiert eine Zeichenkette, die als Trenner zwischen zwei Werte gesetzt wird, wenn dem Ausgabefeld mehrere interne Werte zugewiesen werden (Der default ist wie bisher das Leerzeichen).

Behobene Probleme

Fehler #1271: Einige nicht mehr benötigte Skripte wurden aus dem bin-Verzeichnis entfernt.
Fehler #1311: Verbesserung des Backups beim Upgrade. Beim Upgrade muss bei Auswahl des Backups jetzt ein Verzeichnis angegeben werden, in dem das Backup gespeichert wird

Bekannte Probleme

Voraussetzungen

siehe Handbuch

Installation/De-Installation

siehe Handbuch

Release 1.4, 12.12.2012

Ankündigungen

Neues Attribut in moveFilter: ignoreNonMoves. In den Referenzdaten tauchen ab und an Datensätze auf, bei denen die Alt- und die Neuadresse identisch sind. Ist dieser Parameter gesetzt, so werden diese Sätze ausgefiltert.
Neues Attribut in moveProfile: reduceScoreOnWrongLegalType. Wenn companyTypeMatch auf FUZZY/EXACT gesetzt ist, wird der Endscore um den angegebenen Wert reduziert, sofern sich die Geschäftsform zwischen Eingabe und Referenz unterscheidet. Wird EXACT benutzt, dann muss die Geschäftsform exakt stimmen, ansonsten werden Ähnliche Geschäftsformen (bspw. „GmbH und Co.KG“ und „GmbH“) als gleich angesehen.
Neues Attribut in moveProfile: reduceScoreOnMissingNameParts. Wenn in den Referenzdaten ein Stichwort im Namen vorkommt, in den Eingangsdaten aber nicht (oder umgekehrt, dann wird der Endscore um den angegebenen Wert reduziert.
Neues Attribut in moveProfile: allNamePartsRequired. Wenn reduceScoreOnMissingNameParts benutzt wird, und dieser Wert auf „Y“ gesetzt ist, dann müssen alle Stichwörter vorkommen, ansonsten reicht es, wenn nur eines in beiden vorkommt.

Behobene Probleme

Fehler in der Anredeerkennung für Personen behoben.
Fehler #1381: Fehler in der Erkennung des Hausnummerzusatzes, wenn der Zusatz Ziffern enthält. (Es wurde bspw. 12/1 als identisch zu 12/5 erkannt).

Bekannte Probleme

Voraussetzungen

siehe Handbuch

Installation/De-Installation

siehe Handbuch

Release 1.4, 5.12.2012

Ankündigungen

Fehler #1356: Neuer Parameter move.name.minScore (0-100, Default: 70) für die minimal nötige Trefferqualität
Fehler #1326: Möglichkeit eine Abwertung einzustellen, wenn das Geschlecht des Vornamens nicht zur Anrede in den Referenzdaten passt. Dies ist nun möglich über das Attribut „reduceScoreOnWrongGender“. Ist dort 0 eingetragen (default), dann wird keine Überprüfung durchgeführt, ansonsten wird die Trefferwahrscheinlichkeit um den angegebenen Wert reduziert, wenn das Geschlecht nicht passt. Die Ermittlung des Geschlechts wird mittels zweier Listen mit Vornamen durchgeführt. Für manche Namen ist kein eindeutiges Geschlecht ermittelbar (bspw. Andrea), dann wird keine Abwertung vorgenommen.

Behobene Probleme

Fehler #1374: Wenn in einer Hausnummer ein ungültiger Range vorkommt, dann wird jetzt das „-“ immer zu „/“ umgewandelt. In den Synonymen für das Hausnummernfeld sollte keine Regel für das „-“ (Minus) vorkommen. Dieses Feature ist über einen Parameter (handleInvalidHouseNoRanges) ausschaltbar.

Bekannte Probleme

Voraussetzungen

siehe Handbuch

Installation/De-Installation

siehe Handbuch

Release 1.4, 29.11.2012

Ankündigungen

Behobene Probleme

Fehler #1354: Es wird kein Ergebnis gefunden, wenn ein Namensbestandteil auf mehrere andere Namensteile passt (bspw. „Ana Anita“ zu „Ana“). Dieser Fehler ist nun behoben.
Fehler #1356: Die Scores für Mehrfachnamen können jetzt über Parameter eingestellt werden. Folgende Werte sind jetzt einstellbar:
- move.name.tokenMinScore Dieser Wert (0-100, Default 60) gibt an, wie genau ein Teilstring übereinstimmen muss, damit er als ähnlich erkannt wird.
- move.name.disorderedScore Dieser Wert (0-100, Default 90) gibt an, welcher Score verwendet wird, wenn die Reihenfolge der Namensbestandteile nicht übereinstimmt.
- move.name.socketScore Dieser Wert (0-100, Default 95) gibt an, ob einzelne Trefferwerte für einzelne Namensteile und oder oder verknüpft werden.
Fehler #1357: Das Verschlüsselungsverfahren für die Referenzdaten wurde auf AES 128-Bit umgestellt. Achtung! Diese Umstellung erzwingt nach dem Upgrade ein paar manuelle Schritte!
Fehler #1358: Für das Hausnummernfeld in den Referenzdaten können jetzt Synonyme für Sonderzeichen definiert werden.

Bekannte Probleme

Voraussetzungen

siehe Handbuch

Installation/De-Installation

siehe Handbuch
Nach dem Upgrade sind die folgenden manuellen Schritte (einmalig) durchzuführen:
- Die Datei /config/client.h2.db löschen:
  cd rm config/client.h2.db
- Mit dem Kommando: moveCreateClientDB.sh gemäß Handbuch eine neue Kundenkonfiguration erstellen:
  cd bin/moveCreateClientDB.sh --customerno --orderno --name --protocolPath
- Die Referenzdaten entweder neu generieren
- oder mit dem Skript moveConvertEncryption konvertieren:
  cd bin/moveConvertEncryption.sh data/move_.dat

Release 1.4, 22.11.2012

Ankündigungen

Behobene Probleme

Fehler #1310: Upgrade Installation fragt nach dem Stoppen des Services, obwohl Move keinen Service beinhaltet. Dies wurde behoben.
Fehler #1313: Probleme mit der Hausnummernerkennung wenn in den Referenzdaten eine Hausnummer wie bspw. „19-1“ steht. Dies wurde als Hausnummernbereich erkannt. Inzwischen wird dies als Hausnummernzusatz erkannt, wenn die Nummer nach dem Minus kleiner ist, als die Nummer davor.
Fehler #1325: Verbesserte Behandlung von „-“ in Doppelnamen
Fehler #1332: Hausnummerfeld behandelt „12a“ unterschiedlich zu „12A“. Beim Hausnummernfeld wird die Gross-/Kleinschreibung nun ignoriert.
Fehler #1333: Der Score für Unterschiede in den Hausnummernzusätzen ist zu niedrig. Dieser Wert kann nun konfiguriert werden (Attribut houseNoExtDiffScore in moveProfile). Der Standardwert beträgt 85.
Fehler #1334: Leerzeichen in Hausnummernzusätzen werden jetzt ignoriert
Fehler #1335: Der Score für übereinstimmende Hausnummernbereiche ist zu niedrig. Dieser Wert kann nun konfiguriert werden (Attribut houseNoRangeScore in moveProfile). Der Standardwert beträgt 80.
Fehler #1336: Eine optionale Hausnummernabtrennung kann jetzt konfiguriert werden, wenn das Feld „move.houseno“ leer ist (Parameter splitHouseNumberIfEmpty).