Charger un Fichier CSV à partir d'une Archive GZ

/* Préparation requise par l'utilisateur: */ /* Créez un fichier 'sample_data.csv' avec le contenu suivant: */ /* id,name,value */ /* 1,Alice,100 */ /* 2,Bob,150 */ /* 3,Charlie,200 */ /* Compressez-le: `gzip sample_data.csv` pour obtenir 'sample_data.csv.gz'. */ /* Placez 'sample_data.csv.gz' dans le répertoire '/tmp/cas_data_gz/' accessible par le serveur CAS. */ proc cas; /* Ajout d'une caslib temporaire pour l'exemple */ /* Remplacez '/tmp/cas_data_gz' par un chemin accessible et inscriptible par le serveur CAS */ table.addCaslib / name="mycaslib" dataSource={srcType="path"}, path="/tmp/cas_data_gz"; /* Chargement du fichier GZ contenant un CSV */ table.loadTable / caslib="mycaslib", path="sample_data.csv.gz", importOptions={ fileType="csv", archiveType="gz", getNames=true }, casout={ name="mydata_basic", replace=true }; /* Vérification du chargement (affiche les 5 premières lignes) */ table.fetch / table={name="mydata_basic"}, maxRows=5; /* Nettoyage: Suppression de la table chargée */ table.dropTable / caslib="mycaslib", name="mydata_basic"; /* Nettoyage: Suppression de la caslib temporaire */ table.dropCaslib / caslib="mycaslib"; run;

/* Préparation requise par l'utilisateur: */ /* Créez un fichier 'sample_data_semicolon.csv' avec le contenu suivant: */ /* id;name;value */ /* 1;Alice;100 */ /* 2;Bob;150 */ /* 3;Charlie;200 */ /* Compressez-le: `gzip sample_data_semicolon.csv` pour obtenir 'sample_data_semicolon.csv.gz'. */ /* Placez 'sample_data_semicolon.csv.gz' dans le répertoire '/tmp/cas_data_gz/' accessible par le serveur CAS. */ proc cas; /* Ajout d'une caslib temporaire pour l'exemple */ table.addCaslib / name="mycaslib" dataSource={srcType="path"}, path="/tmp/cas_data_gz"; /* Chargement du fichier GZ contenant un CSV avec délimiteur personnalisé */ table.loadTable / caslib="mycaslib", path="sample_data_semicolon.csv.gz", importOptions={ fileType="csv", archiveType="gz", getNames=true, delimiter=";", /* Spécifie le point-virgule comme délimiteur */ encoding="UTF-8" /* Spécifie l'encodage du fichier */ }, casout={ name="mydata_custom_delimiter", replace=true }; /* Vérification du chargement (affiche les 5 premières lignes) */ table.fetch / table={name="mydata_custom_delimiter"}, maxRows=5; /* Nettoyage: Suppression de la table chargée */ table.dropTable / caslib="mycaslib", name="mydata_custom_delimiter"; /* Nettoyage: Suppression de la caslib temporaire */ table.dropCaslib / caslib="mycaslib"; run;

/* Préparation requise par l'utilisateur: */ /* Créez un fichier 'sample_data_large.csv' avec le même contenu que 'sample_data.csv' ou plus de lignes. */ /* Compressez-le: `gzip sample_data_large.csv` pour obtenir 'sample_data_large.csv.gz'. */ /* Placez 'sample_data_large.csv.gz' dans le répertoire '/tmp/cas_data_gz/' accessible par le serveur CAS. */ proc cas; /* Ajout d'une caslib temporaire pour l'exemple */ table.addCaslib / name="mycaslib" dataSource={srcType="path"}, path="/tmp/cas_data_gz"; /* Chargement avec des options avancées de détection de schéma et de performance */ table.loadTable / caslib="mycaslib", path="sample_data_large.csv.gz", importOptions={ fileType="csv", archiveType="gz", getNames=true, guessingRows=500, /* Augmente le nombre de lignes pour une meilleure détection du type de colonnes */ nRows=100000, /* Indique le nombre de lignes à lire si le fichier est très grand (pour l'estimation) */ blocksize="1M" /* Spécifie la taille des blocs de lecture pour optimiser les performances */ }, casout={ name="mydata_perf_options", replace=true }; /* Vérification des informations des colonnes de la table chargée */ table.columnInfo / table={name="mydata_perf_options"}; /* Nettoyage: Suppression de la table chargée */ table.dropTable / caslib="mycaslib", name="mydata_perf_options"; /* Nettoyage: Suppression de la caslib temporaire */ table.dropCaslib / caslib="mycaslib"; run;

/* Préparation requise par l'utilisateur: */ /* Créez un fichier 'sample_data_error.csv' avec un format intentionnellement incorrect (ex: ligne manquante ou colonne supplémentaire) */ /* id,name,value */ /* 1,Alice,100 */ /* 2,Bob,150,extra */ /* 3,Charlie */ /* Compressez-le: `gzip sample_data_error.csv` pour obtenir 'sample_data_error.csv.gz'. */ /* Placez 'sample_data_error.csv.gz' dans le répertoire '/tmp/cas_data_gz/' accessible par le serveur CAS. */ proc cas; /* Ajout d'une caslib temporaire pour l'exemple */ table.addCaslib / name="mycaslib" dataSource={srcType="path"}, path="/tmp/cas_data_gz"; /* Tentative de chargement d'un fichier avec des erreurs potentielles */ /* Des options comme `addrowid=true` ou `maxerrs` peuvent être utiles pour le débogage */ table.loadTable / caslib="mycaslib", path="sample_data_error.csv.gz", importOptions={ fileType="csv", archiveType="gz", getNames=true, maxRows=100, /* Limite les lignes lues pour éviter de surcharger en cas de problème */ nthreads=4 /* Utilise plusieurs threads pour le chargement */ }, casout={ name="mydata_error_check", replace=true }; /* Vérification de l'état de la table et des messages d'erreur si le chargement a échoué */ table.tableInfo / caslib="mycaslib", name="mydata_error_check"; /* Si le chargement est réussi, afficher les données, sinon, inspecter le log CAS */ table.fetch / table={name="mydata_error_check"} ; /* Nettoyage: Suppression de la table chargée */ table.dropTable / caslib="mycaslib", name="mydata_error_check"; /* Nettoyage: Suppression de la caslib temporaire */ table.dropCaslib / caslib="mycaslib"; run;