compileCategory - Welchen Zweck hat der Parameter 'tokenizer'?

Der Parameter 'tokenizer' gibt an, welcher Tokenizer im Kategoriemodell verwendet werden soll. Wenn der Parameter auf den Standardwert 'STANDARD' gesetzt ist, wird ein sprachspezifischer Tokenizer angewendet. Wenn der Parameter auf den Wert 'BASIC' gesetzt ist, wird ein einfacher Tokenizer angewendet, der Wörter nach Leerzeichen, Satzzeichen und chinesischen, japanischen, koreanischen und thailändischen Zeichen trennt. Der Wert 'BASIC' ist nur für Chinesisch, Japanisch oder Koreanisch verfügbar.