Contexte Métier
Une institution financière souhaite s'assurer que son modèle d'octroi de crédit n'est pas discriminatoire envers certains groupes démographiques. Ce scénario teste l'évaluation de biais standard en comparant la performance du modèle entre différents groupes ethniques, en utilisant un groupe comme référence.
À propos du Set : fairAITools
Détection et atténuation des biais dans les modèles IA.
Découvrir toutes les actions de fairAITools Préparation des Données
Création d'une table de prospects avec des informations démographiques, le statut de défaut de paiement réel et la probabilité de défaut prédite par le modèle.
Copié !
| 1 | DATA casuser.CREDIT_PROSPECTS; |
| 2 | call streaminit(456); |
| 3 | DO i = 1 to 5000; |
| 4 | IF rand('UNIFORM') < 0.4 THEN ETHNICITY = 'GroupA'; |
| 5 | ELSE IF rand('UNIFORM') < 0.7 THEN ETHNICITY = 'GroupB'; |
| 6 | ELSE ETHNICITY = 'GroupC'; |
| 7 | P_DEFAULT = rand('UNIFORM'); |
| 8 | IF P_DEFAULT > 0.75 THEN LOAN_DEFAULT = 1; ELSE LOAN_DEFAULT = 0; |
| 9 | OUTPUT; |
| 10 | END; |
| 11 | RUN; |
Étapes de réalisation
1
Chargement de la table des prospects dans la caslib de l'utilisateur.
Copié !
| 1 | |
| 2 | PROC CASUTIL; |
| 3 | load |
| 4 | DATA=casuser.CREDIT_PROSPECTS outcaslib='casuser' replace; |
| 5 | QUIT; |
| 6 |
2
Exécution de l'action assessBias en spécifiant 'GroupA' comme niveau de référence, '1' comme événement, et un seuil de décision de 0.5.
Copié !
| 1 | PROC CAS; |
| 2 | fairAITools.assessBias |
| 3 | TABLE={name='CREDIT_PROSPECTS', caslib='casuser'}, |
| 4 | response={name='LOAN_DEFAULT'}, |
| 5 | sensitiveVariable={name='ETHNICITY'}, |
| 6 | predictedVariables={{name='P_DEFAULT'}}, |
| 7 | referenceLevel='GroupA', |
| 8 | event='1', |
| 9 | cutoff=0.5; |
| 10 | RUN; |
| 11 | QUIT; |
Résultat Attendu
L'action doit produire des tables de métriques de biais (BiasMetrics, MaxBias) qui comparent les taux de faux positifs, faux négatifs et autres indicateurs clés pour 'GroupB' et 'GroupC' par rapport à 'GroupA'. Cela permet de quantifier précisément les disparités et de déterminer si le modèle est équitable selon les définitions choisies (ex: parité démographique, égalité des chances).