¿Cuál es la función del parámetro `tokenizer`?

Especifica qué tokenizador usar en el modelo de concepto. El valor predeterminado es "STANDARD", que aplica un tokenizador específico del idioma. El valor "BASIC" aplica un tokenizador básico que separa por espacios, puntuación y caracteres CJKT, y solo está disponible para chino, japonés o coreano para mejorar la coincidencia de reglas en textos específicos.