À quoi sert le paramètre `tokenizer` et quelles sont ses options ?

Le paramètre `tokenizer` spécifie le type de tokenizer à utiliser. L'option "STANDARD" (par défaut) utilise un tokenizer spécifique à la langue. L'option "BASIC" utilise un tokenizer de base qui sépare les mots par les espaces, la ponctuation et les caractères pour le chinois, le japonais, le coréen et le thaï. L'option "BASIC" n'est disponible que pour ces langues spécifiques.