¿Cuál es la diferencia entre los tokenizadores 'STANDARD' y 'BASIC'?

7 vues

Réponse

El tokenizador 'STANDARD' (predeterminado) utiliza un tokenizador específico del idioma. El tokenizador 'BASIC' separa las palabras por espacios en blanco, signos de puntuación y caracteres chinos, japoneses, coreanos y tailandeses. La opción 'BASIC' solo está disponible para los idiomas chino, japonés y coreano y puede mejorar la coincidencia de reglas para textos específicos en esos idiomas.
¿Te ayudó esta respuesta?
compileCategory

textRuleDevelop

Ver acción técnica
Otras preguntas sobre compileCategory
¿Qué parámetros son obligatorios para la acción 'compileCategory'? ¿Para qué se utiliza el parámetro 'casOut'? ¿Cuál es el propósito de la acción 'compileCategory' en SAS Viya? ¿Qué especifica el parámetro 'concept' y es obligatorio? ¿Qué hace el parámetro 'language'?
Copyright © WeAreCAS 2014-2026
SAS y todos los demás nombres de productos o servicios de SAS Institute Inc. son marcas registradas o marcas comerciales de SAS Institute Inc. en los EE. UU. y otros países. ® indica registro en los EE. UU. WeAreCAS es un sitio comunitario independiente y no está afiliado a SAS Institute Inc.