¿Cuál es la diferencia entre los tokenizadores 'STANDARD' y 'BASIC'?

7 vues

Réponse

El tokenizador 'STANDARD' (predeterminado) utiliza un tokenizador específico del idioma. El tokenizador 'BASIC' separa las palabras por espacios en blanco, signos de puntuación y caracteres chinos, japoneses, coreanos y tailandeses. La opción 'BASIC' solo está disponible para los idiomas chino, japonés y coreano y puede mejorar la coincidencia de reglas para textos específicos en esos idiomas.
Did this answer help you?
compileCategory

textRuleDevelop

See technical action
Copyright © WeAreCAS 2014-2026
SAS and all other SAS Institute Inc. product or service names are registered trademarks or trademarks of SAS Institute Inc. in the USA and other countries. ® indicates USA registration. WeAreCAS is an independent community site and is not affiliated with SAS Institute Inc.