langModel calculateErrorRate

Robustheitstest bei fehlenden Zuordnungen und Leewerten

Scénario de test & Cas d'usage

Geschäftskontext

In einem medizinischen Prozess werden Audioclips asynchron verarbeitet. Es kommt vor, dass für manche Referenzen noch keine Hypothese vorliegt oder umgekehrt. Der Test prüft, wie die Aktion mit nicht übereinstimmenden IDs und leeren Textfeldern umgeht.
Über das Set : langModel

Verwaltung großer Sprachmodelle (LLM) und NLP.

Entdecken Sie alle Aktionen von langModel
Datenaufbereitung

Erzeugung von Datensätzen mit disjunkten IDs (Referenz hat ID 1,2; Hypothese hat ID 1,3) und leeren Texten.

Kopiert!
1DATA mycas.med_ref; INPUT id $ text $char50.; DATALINES;
21 Patient hat Husten
32 Blutdruck ist normal
4; RUN;
5 
6DATA mycas.med_hyp; INPUT id $ text $char50.; DATALINES;
71 Patient hat Kasten
83 Keine Diagnose
9; RUN;

Étapes de réalisation

1
Berechnung der Fehlerraten bei unvollständigen Paaren.
Kopiert!
1PROC CAS;
2 langModel.calculateErrorRate /
3 reference='med_ref'
4 TABLE='med_hyp';
5RUN;

Erwartetes Ergebnis


Die Aktion sollte primär die übereinstimmende ID '1' auswerten. IDs ohne passendes Gegenstück (2 und 3) sollten entweder ignoriert oder separat in der Statistik ausgewiesen werden, ohne dass die Aktion abstürzt.