Data Quality : Comment générer un rapport de métriques complet pour vos pipelines d'Analytics et de Machine Learning ?

Niveau de difficulté

Confirmé

Publié le : 11/02/2021

Le Conseil de l'Expert

Michael
Responsable de l'infrastructure Viya.

Dans un cycle décisionnel, la qualité des données est le premier rempart contre l'erreur d'analyse. La PROC DATAMETRICS s'impose comme l'outil de profilage indispensable pour auditer vos tables avec agilité. Son point fort réside dans sa polyvalence : que vous soyez en environnement SAS 9.4 ou sur l'architecture distribuée de CAS (Viya), elle automatise la détection des anomalies structurelles (valeurs manquantes, formats incohérents, doublons).

Pourquoi l'adopter dans vos flux ?
Profilage Automatisé : Sans instruction spécifique, la procédure scanne l'intégralité de la table DATA=, générant un rapport de santé immédiat dans la table de sortie OUT=.

Granularité Variable : L'instruction VARIABLES permet de cibler des colonnes critiques (comme le Salaire ou le Département), optimisant ainsi les ressources de calcul.

Gestion des Identités : Avec l'instruction IDENTITIES, vous dépassez le simple calcul statistique pour identifier précisément les clés primaires potentielles et les redondances au sein de transactions complexes.

Puissance CAS : En environnement Cloud, l'exécution distribuée sur des millions de lignes garantit une évaluation de la qualité en temps réel, sans compromis sur la performance.

La procédure DATAMETRICS permet un profilage rapide et efficace des données. En spécifiant simplement une table d'entrée et une table de sortie, elle génère automatiquement des métriques pour toutes les variables présentes. Cela inclut la détection des identités potentielles, des valeurs manquantes, des formats de données, et d'autres indicateurs essentiels pour évaluer la qualité des données. L'absence de l'instruction 'IDENTITIES' signifie qu'aucune analyse d'identification spécifique n'est effectuée, et les options par défaut sont utilisées pour tous les calculs.

Analyse des données

Type : CREATION_INTERNE

Les exemples utilisent des données générées (datalines) pour assurer l'autonomie et la reproductibilité.

1 Bloc de code

PROC DATAMETRICS Data

Explication :
Cet exemple montre l'utilisation la plus simple de PROC DATAMETRICS. Une table d'entrée 'my_data' est créée avec des données en ligne. La procédure est ensuite exécutée en spécifiant uniquement la table d'entrée et une table de sortie ('my_results'). Par défaut, elle génère des métriques de qualité pour toutes les variables de 'my_data'. L'instruction 'proc print' affiche les résultats pour examen.

Copié !

1	DATA my_data;
2	INPUT ID $ Name $ Age Score;
3	DATALINES;
4	001 John 30 95
5	002 Jane 24 88
6	003 Mike . 72
7	004 Jane 24 88
8	005 Chris 45 60
9	006 John 30 95
10	007 Sarah 29 .
11	;
12	RUN;
13
14	PROC DATAMETRICS DATA=my_data out=my_results;
15	RUN;
16
17	PROC PRINT DATA=my_results;
18	title 'Résultats Basiques de PROC DATAMETRICS';
19	RUN;

2 Bloc de code

PROC DATAMETRICS Data

Explication :
Cet exemple utilise la clause 'VARIABLES' pour spécifier les colonnes pour lesquelles les métriques doivent être générées (EmployeeID, Name, Department, Salary). L'option 'OUTPUT METRIC=ALL' est utilisée pour demander toutes les métriques disponibles. Cela permet une analyse plus ciblée des aspects de qualité de données pertinents pour l'utilisateur.

Copié !

1	DATA employees;
2	INPUT EmployeeID Name $ Department $ Salary DateOfHire:yymmdd10.;
3	FORMAT DateOfHire yymmdd10.;
4	DATALINES;
5	101 Alice Sales 60000 2020-01-15
6	102 Bob Marketing 75000 2019-03-22
7	103 Alice Sales 60000 2020-01-15
8	104 Charlie IT 80000 2021-07-01
9	105 David Sales 62000 2020-01-15
10	;
11	RUN;
12
13	PROC DATAMETRICS DATA=employees out=employee_metrics;
14	variables EmployeeID Name Department Salary;
15	OUTPUT metric=ALL;
16	RUN;
17
18	PROC PRINT DATA=employee_metrics;
19	title 'Métriques de Qualité pour Variables Spécifiques';
20	RUN;

3 Bloc de code

PROC DATAMETRICS Data

Explication :
Ce scénario avancé démontre la détection d'identités potentielles et l'analyse de métriques pour des variables spécifiques. L'instruction 'IDENTITIES' est utilisée pour identifier les colonnes (TransactionID, CustomerID, ProductID) qui pourraient contenir des valeurs uniques ou des doublons importants. La clause 'VARIABLES' se concentre sur 'Quantity' et 'Price'. 'OUTPUT METRIC=ALL OUTALL' demande toutes les métriques et ajoute les métriques calculées à la table de sortie, enrichissant ainsi le jeu de données original avec des informations de qualité.

Copié !

1	DATA transactions;
2	INPUT TransactionID CustomerID ProductID $ Quantity Price Date:yymmdd10.;
3	FORMAT Date yymmdd10.;
4	DATALINES;
5	T001 C001 P001 2 15.50 2023-01-05
6	T002 C002 P002 1 10.00 2023-01-05
7	T003 C001 P001 2 15.50 2023-01-05
8	T004 C003 P003 3 25.75 2023-01-06
9	T005 C001 P001 2 15.50 2023-01-05
10	;
11	RUN;
12
13	PROC DATAMETRICS DATA=transactions out=transaction_summary;
14	identities TransactionID CustomerID ProductID;
15	variables Quantity Price;
16	OUTPUT metric=ALL outall;
17	RUN;
18
19	PROC PRINT DATA=transaction_summary;
20	title 'Analyse Avancée des Métriques et Identités de Transactions';
21	RUN;

4 Bloc de code

PROC DATAMETRICS (CAS) Data

Explication :
Cet exemple adapte l'utilisation de PROC DATAMETRICS pour un environnement SAS Viya avec le moteur Cloud Analytic Services (CAS). Il commence par établir une session CAS et charger la table 'sales_data' dans la mémoire distribuée de CAS (bibliothèque 'mycas'). Ensuite, PROC DATAMETRICS est exécuté en utilisant la table CAS comme entrée et en dirigeant la sortie vers une nouvelle table CAS. L'utilisation de CAS permet de traiter de grands volumes de données de manière plus performante et distribuée. Les résultats sont ensuite affichés. La session CAS est terminée à la fin.

Copié !

1	/* Connexion à la session CAS et chargement des données */
2	cas;
3	LIBNAME mycas cas;
4
5	DATA mycas.sales_data;
6	INPUT SaleID $ Region $ Amount Date:yymmdd10.;
7	FORMAT Date yymmdd10.;
8	DATALINES;
9	S001 East 1200.50 2024-01-10
10	S002 West 850.25 2024-01-11
11	S003 North 1500.00 2024-01-10
12	S004 South 980.75 2024-01-12
13	S005 East . 1000.00 2024-01-13
14	;
15	RUN;
16
17	/* Exécution de PROC DATAMETRICS sur CAS */
18	PROC DATAMETRICS DATA=mycas.sales_data out=mycas.sales_metrics;
19	variables SaleID Region Amount Date;
20	OUTPUT metric=ALL;
21	RUN;
22
23	/* Affichage des résultats depuis CAS */
24	PROC PRINT DATA=mycas.sales_metrics;
25	title 'Métriques de Qualité des Données de Ventes (CAS)';
26	RUN;
27
28	/* Arrêt de la session CAS */
29	cas term;

L'Astuce Pro

Si vous travaillez sur des volumes massifs dans SAS Viya, l utilisation de l option OUTALL dans l instruction OUTPUT est un veritable game-changer. Par defaut, DATAMETRICS condense les resultats, mais OUTALL genere une table de sortie exhaustive incluant des statistiques detaillees pour chaque variable sur chaque noeud du serveur CAS. C est l outil ideal pour detecter des anomalies de distribution physique ou des asymetries de donnees (data skew) qui pourraient ralentir vos traitements paralleles ulterieurs.

Ce matériel est fourni "tel quel" par We Are Cas. Il n'y a aucune garantie, expresse ou implicite, quant à la qualité marchande ou à l'adéquation à un usage particulier concernant le matériel ou le code contenu dans les présentes. We Are Cas n'est pas responsable des erreurs dans ce matériel tel qu'il existe maintenant ou existera, et We Are Cas ne fournit pas de support technique pour celui-ci.

Documentation liée

Aucune documentation spécifique pour cette catégorie.