langModel calculateErrorRate

Test de Performance sur Flux Massif d'Enregistrements

Scénario de test & Cas d'usage

Contexte Métier

Un centre d'appels souhaite automatiser le contrôle qualité sur 100 000 appels quotidiens. Ce scénario valide que l'action CAS peut traiter une volumétrie importante dans un temps acceptable sans saturation mémoire.
À propos du Set : langModel

Gestion des grands modèles de langage (LLM) et NLP.

Découvrir toutes les actions de langModel
Préparation des Données

Génération procédurale de 100 000 lignes de données via une boucle Data Step pour simuler la charge.

Copié !
1DATA casuser.large_ref;
2 LENGTH call_id $20 text $100;
3 DO i=1 to 100000;
4 call_id=catx('_', 'CALL', put(i, z6.));
5 text='bonjour je voudrais resilier mon abonnement numero ' || put(i, z6.);
6 OUTPUT;
7 END;
8 RUN;
9 DATA casuser.large_hyp;
10 LENGTH call_id $20 text $100;
11 DO i=1 to 100000;
12 call_id=catx('_', 'CALL', put(i, z6.));
13 /* Injection d'une erreur tous les 10 enregistrements */
14 IF mod(i, 10) = 0 THEN text='bonjour je voudrais resilier abonnement';
15 ELSE text='bonjour je voudrais resilier mon abonnement numero ' || put(i, z6.);
16 OUTPUT;
17 END;
18 RUN;

Étapes de réalisation

1
Lancement du calcul sur les tables volumétriques avec mapping par défaut (supposant que les colonnes sont dans le bon ordre ou nommées standard).
Copié !
1PROC CAS;
2 langModel.calculateErrorRate /
3 reference={name='large_ref'}
4 TABLE={name='large_hyp'}
5 referenceId='call_id' referenceText='text'
6 tableId='call_id' tableText='text';
7 RUN;
8 QUIT;

Résultat Attendu


L'exécution doit se terminer sans erreur système (timeout ou out-of-memory). Le rapport final doit indiquer un taux d'erreur global faible mais non nul, correspondant aux 10% d'erreurs injectées artificiellement.