Quelle est la fonction du paramètre 'tokenizer' et quelles sont ses valeurs possibles ?

Le paramètre 'tokenizer' définit le type de tokeniseur à utiliser. La valeur par défaut est 'STANDARD', qui utilise un tokeniseur spécifique à la langue. L'autre option est 'BASIC', qui sépare le texte en fonction des espaces, de la ponctuation et des caractères spécifiques aux langues chinoise, japonaise, coréenne et thaï. L'option 'BASIC' n'est disponible que pour ces langues et peut améliorer la correspondance des règles pour des textes spécifiques.