Geschäftskontext
Eine Bank möchte die Qualität ihres neuen Speech-to-Text-Systems für Kundenanrufe bewerten. Da die Daten aus verschiedenen Altsystemen stammen, unterscheiden sich die Spaltennamen für IDs und Texte von den Standardwerten. Es muss sichergestellt werden, dass die Zuordnung korrekt funktioniert.
Über das Set : langModel
Verwaltung großer Sprachmodelle (LLM) und NLP.
Entdecken Sie alle Aktionen von langModel Datenaufbereitung
Erstellung von Referenz- (Mensch) und Hypothesen- (KI) Datensätzen mit benutzerdefinierten Spaltennamen.
Kopiert!
| 1 | DATA mycas.call_ref; LENGTH call_id $10 human_text $200; INFILE DATALINES dsd; INPUT call_id $ human_text $; DATALINES; |
| 2 | 'C001','Ich möchte mein Konto sperren' |
| 3 | 'C002','Überweisung nach Berlin' |
| 4 | ; |
| 5 | RUN; |
| 6 | |
| 7 | DATA mycas.call_hyp; LENGTH rec_id $10 ai_text $200; INFILE DATALINES dsd; INPUT rec_id $ ai_text $; DATALINES; |
| 8 | 'C001','Ich möchte mein Konto sparen' |
| 9 | 'C002','Überweisung nach Berlin' |
| 10 | ; |
| 11 | RUN; |
Étapes de réalisation
1
Ausführung der Aktion mit explizitem Mapping der Spalten 'call_id' zu 'rec_id' und 'human_text' zu 'ai_text'.
Kopiert!
| 1 | PROC CAS; |
| 2 | langModel.calculateErrorRate / |
| 3 | reference={name='call_ref'} |
| 4 | TABLE={name='call_hyp'} |
| 5 | referenceId='call_id' |
| 6 | referenceText='human_text' |
| 7 | tableId='rec_id' |
| 8 | tableText='ai_text'; |
| 9 | RUN; |
Erwartetes Ergebnis
Das System berechnet die Wortfehlerrate (WER). Für ID C001 wird ein Fehler (Substitution 'sperren' -> 'sparen') erkannt. C002 sollte eine Fehlerquote von 0% aufweisen. Die benutzerdefinierten Spaltennamen werden korrekt verarbeitet.