¿Cuál es la diferencia entre los tokenizadores 'STANDARD' y 'BASIC'?
3 vues
Réponse
El tokenizador 'STANDARD' (predeterminado) utiliza un tokenizador específico del idioma. El tokenizador 'BASIC' separa las palabras por espacios en blanco, signos de puntuación y caracteres chinos, japoneses, coreanos y tailandeses. La opción 'BASIC' solo está disponible para los idiomas chino, japonés y coreano y puede mejorar la coincidencia de reglas para textos específicos en esos idiomas.
