Wie wird der Parameter `tokenizer` verwendet?

0 vues

Réponse

Der Parameter `tokenizer` gibt an, welcher Tokenizer im Konzeptmodell verwendet werden soll. Wenn der Parameter auf den Standardwert 'STANDARD' gesetzt ist, wird ein sprachspezifischer Tokenizer angewendet. Wenn der Parameter auf 'BASIC' gesetzt ist, wird ein einfacher Tokenizer angewendet, der Wörter nach Leerzeichen, Satzzeichen und chinesischen, japanischen, koreanischen und thailändischen Zeichen trennt. Der Wert 'BASIC' ist nur für Chinesisch, Japanisch oder Koreanisch verfügbar.
Hat Ihnen diese Antwort geholfen?
compileConcept

textRuleDevelop

Technische Aktion ansehen