Réponse
Le paramètre 'tokenizer' définit le type de tokeniseur à utiliser. La valeur par défaut est 'STANDARD', qui utilise un tokeniseur spécifique à la langue. L'autre option est 'BASIC', qui sépare le texte en fonction des espaces, de la ponctuation et des caractères spécifiques aux langues chinoise, japonaise, coréenne et thaï. L'option 'BASIC' n'est disponible que pour ces langues et peut améliorer la correspondance des règles pour des textes spécifiques.
Cette réponse vous a-t-elle aidé ?
compileCategory
textRuleDevelop
Autres questions sur compileCategory