À quoi sert le paramètre `tokenizer` et quelles sont ses options ?

5 vues

Réponse

Le paramètre `tokenizer` spécifie le type de tokenizer à utiliser. L'option "STANDARD" (par défaut) utilise un tokenizer spécifique à la langue. L'option "BASIC" utilise un tokenizer de base qui sépare les mots par les espaces, la ponctuation et les caractères pour le chinois, le japonais, le coréen et le thaï. L'option "BASIC" n'est disponible que pour ces langues spécifiques.
Cette réponse vous a-t-elle aidé ?
compileConcept

textRuleDevelop

Voir l'action technique
Autres questions sur compileConcept
Comment spécifier la langue pour la compilation du concept ? À quoi sert l'action `compileConcept` ? Quel est le but du paramètre `casOut` ? Que fait le paramètre `enablePredefined` ?
Copyright © WeAreCAS 2014-2026
SAS et tous les autres noms de produits ou de services de SAS Institute Inc. sont des marques déposées ou des marques de commerce de SAS Institute Inc. aux États-Unis et dans d'autres pays. ® indique un enregistrement aux États-Unis. WeAreCAS est un site communautaire indépendant et n'est pas affilié à SAS Institute Inc.