compileConcept - Wie wird der Parameter `tokenizer` verwendet?

Der Parameter `tokenizer` gibt an, welcher Tokenizer im Konzeptmodell verwendet werden soll. Wenn der Parameter auf den Standardwert 'STANDARD' gesetzt ist, wird ein sprachspezifischer Tokenizer angewendet. Wenn der Parameter auf 'BASIC' gesetzt ist, wird ein einfacher Tokenizer angewendet, der Wörter nach Leerzeichen, Satzzeichen und chinesischen, japanischen, koreanischen und thailändischen Zeichen trennt. Der Wert 'BASIC' ist nur für Chinesisch, Japanisch oder Koreanisch verfügbar.