Scénario de test & Cas d'usage
Gestion des grands modèles de langage (LLM) et NLP.
Découvrir toutes les actions de langModelGénération procédurale de 100 000 lignes de données via une boucle Data Step pour simuler la charge.
| 1 | DATA casuser.large_ref; |
| 2 | LENGTH call_id $20 text $100; |
| 3 | DO i=1 to 100000; |
| 4 | call_id=catx('_', 'CALL', put(i, z6.)); |
| 5 | text='bonjour je voudrais resilier mon abonnement numero ' || put(i, z6.); |
| 6 | OUTPUT; |
| 7 | END; |
| 8 | RUN; |
| 9 | DATA casuser.large_hyp; |
| 10 | LENGTH call_id $20 text $100; |
| 11 | DO i=1 to 100000; |
| 12 | call_id=catx('_', 'CALL', put(i, z6.)); |
| 13 | /* Injection d'une erreur tous les 10 enregistrements */ |
| 14 | IF mod(i, 10) = 0 THEN text='bonjour je voudrais resilier abonnement'; |
| 15 | ELSE text='bonjour je voudrais resilier mon abonnement numero ' || put(i, z6.); |
| 16 | OUTPUT; |
| 17 | END; |
| 18 | RUN; |
| 1 | PROC CAS; |
| 2 | langModel.calculateErrorRate / |
| 3 | reference={name='large_ref'} |
| 4 | TABLE={name='large_hyp'} |
| 5 | referenceId='call_id' referenceText='text' |
| 6 | tableId='call_id' tableText='text'; |
| 7 | RUN; |
| 8 | QUIT; |
L'exécution doit se terminer sans erreur système (timeout ou out-of-memory). Le rapport final doit indiquer un taux d'erreur global faible mais non nul, correspondant aux 10% d'erreurs injectées artificiellement.