Performance SAS : Accélérez massivement vos exports vers Greenplum grâce au Bulkload
Ce code est également disponible en :
Ce script ne se contente pas de charger des données ; il déploie la stratégie d'ingestion la plus performante disponible pour les bases MPP (Massively Parallel Processing) comme Greenplum.
1. La mécanique de la performance (gpfdist)
L'élément critique ici est l'activation de BULKLOAD=YES combiné au protocole BL_PROTOCOL="gpfdist". Contrairement à une insertion standard (ODBC/JDBC) qui écrit les données ligne par ligne (générant une latence réseau énorme), cette méthode lance un serveur de fichiers parallèle.
SAS écrit les données dans un fichier plat temporaire (souvent CSV), et le processus gpfdist sert ces données directement à tous les segments du cluster Greenplum simultanément. C'est ce parallélisme qui permet de charger des millions de lignes en quelques secondes.
2. Flexibilité d'implémentation
Le script démontre une excellente polyvalence en appliquant cette technique via deux méthodes :
Via PROC SQL : Idéal pour les analystes habitués au standard SQL, permettant de créer la table et de charger les données en une seule instruction atomique.
Via l'étape DATA : Souvent préférable si vous devez effectuer des transformations complexes ou des nettoyages conditionnels sur les données pendant le flux de chargement vers la base.
Type : CREATION_INTERNE
Le jeu de données source `work.testblkld` est créé directement dans le script SAS via une étape `DATA` et l'instruction `cards;` pour définir les données en ligne. Les tables cibles `mydblib.testblkld1` et `mydblib.testblkld2` sont des tables externes dans une base de données Greenplum, mais les données source sont internes au script.
| 1 | |
| 2 | PROC DELETE |
| 3 | DATA=mydblib.testblkld1; |
| 4 | |
| 5 | RUN; |
| 6 | PROC DELETE |
| 7 | DATA=mydblib.testblkld2; |
| 8 | |
| 9 | RUN; |
| 10 |
| 1 | DATA work.testblkld; |
| 2 | INPUT name $ age sex $ bdate mmddyy.; |
| 3 | CARDS; |
| 4 | amy 3 f 030185 |
| 5 | bill 12 m 121277 |
| 6 | charlie 35 m 010253 |
| 7 | david 19 m 101469 |
| 8 | elinor 42 f 080845 |
| 9 | pearl 78 f 051222 |
| 10 | vera 96 f 101200 |
| 11 | frank 24 m 092663 |
| 12 | georgia 1 f 040687 |
| 13 | henry 46 m 053042 |
| 14 | joann 27 f 020461 |
| 15 | buddy 66 m 101432 |
| 16 | ; |
| 17 | RUN; |
| 1 | PROC SQL; |
| 2 | create TABLE mydblib.testblkld1 |
| 3 | (BULKLOAD=YES |
| 4 | BL_PORT=&port |
| 5 | BL_HOST=&host |
| 6 | BL_PROTOCOL="gpfdist" |
| 7 | bl_format='CSV') |
| 8 | as select * from work.testblkld; |
| 9 | QUIT; |
| 1 | DATA mydblib.testblkld2 ( |
| 2 | BULKLOAD=YES |
| 3 | BL_PORT=&port |
| 4 | BL_HOST=&host |
| 5 | BL_PROTOCOL="gpfdist" |
| 6 | ); |
| 7 | SET work.testblkld; |
| 8 | RUN; |