Niveau de difficulté
Publié le :
Le Conseil de l'Expert
L’optimisation des hyperparamètres est souvent la phase la plus chronophage d’un projet de Machine Learning. Ce script illustre parfaitement la montée en puissance de la PROC GRADBOOST sur l'architecture CAS : il ne s'agit plus seulement d'entraîner un modèle, mais de laisser l'infrastructure trouver dynamiquement la meilleure configuration pour vos données.
Pourquoi cette approche par étapes est-elle cruciale ?
Le passage d'un autotuning par défaut à une configuration personnalisée permet un contrôle fin sur le triptyque Précision / Temps / Ressources :
L'intelligence distribuée (CAS) : En travaillant en mémoire avec CAS, l'instruction AUTOTUNE peut explorer simultanément plusieurs combinaisons d'hyperparamètres. C'est un gain de temps massif par rapport aux boucles itératives du SAS traditionnel.
La maîtrise de l'exploration : Le deuxième exemple introduit popsize et maxiter. C'est le conseil d'expert par excellence : limiter la population et les itérations lors des premières phases permet de valider la convergence du modèle sans mobiliser inutilement les nœuds de calcul.
Le tuning chirurgical : La troisième étape montre la puissance des tuningparameters. En définissant des bornes (lb, ub) ou des listes de valeurs (values) pour le nombre d'arbres ou les variables à tester, vous injectez votre expertise métier dans l'algorithme. Vous guidez la machine vers des solutions réalistes et éviterez le sur-apprentissage (overfitting).
Analyse des données
Type : EXTERNE
Les données proviennent de la table 'dmagecr' située dans la bibliothèque d'exemples SAS 'sampsio'. Le script suppose que cette bibliothèque est disponible dans l'environnement SAS. La table est ensuite chargée en mémoire dans une table CAS.
1 Bloc de code
Initialise une session CAS (Cloud Analytic Services) nommée 'mysess' et définit une bibliothèque ('libref') CAS 'mycaslib' qui pointe vers cette session pour y stocker des données.
| 1 | cas mysess sessopts=(nworkers=1); |
| 2 | LIBNAME mycaslib cas casref=mysess; |
| 3 |
2 Bloc de code
Charge la table 'dmagecr' depuis la bibliothèque 'sampsio' vers la bibliothèque CAS 'mycaslib', la rendant ainsi disponible en mémoire pour le moteur CAS.
| 1 | |
| 2 | DATA mycaslib.dmagecr; |
| 3 | SET sampsio.dmagecr; |
| 4 | RUN; |
| 5 |
3 Bloc de code
Exécute l'autotuning d'un modèle de gradient boosting avec les options par défaut. La procédure optimise automatiquement un ensemble d'hyperparamètres (NTREES, LEARNINGRATE, etc.) sur leurs plages prédéfinies.
| 1 | PROC GRADBOOST DATA=mycaslib.dmagecr outmodel=mycaslib.mymodel; |
| 2 | target good_bad / level=nominal; |
| 3 | INPUT checking duration history amount savings employed installp |
| 4 | marital coapp resident property age other housing existcr job |
| 5 | depends telephon foreign / level=interval; |
| 6 | INPUT purpose / level=nominal; |
| 7 | autotune; |
| 8 | RUN; |
4 Bloc de code
Lance un deuxième autotuning en spécifiant une population de 5 ('popsize=5'), un maximum de 3 itérations ('maxiter=3') et utilise l'erreur quadratique moyenne (ASE) comme objectif d'optimisation.
| 1 | PROC GRADBOOST DATA=mycaslib.dmagecr outmodel=mycaslib.mymodel; |
| 2 | target good_bad / level=nominal; |
| 3 | INPUT checking duration history amount savings employed installp |
| 4 | marital coapp resident property age other housing existcr job |
| 5 | depends telephon foreign / level=interval; |
| 6 | INPUT purpose / level=nominal; |
| 7 | autotune popsize=5 maxiter=3 objective=ASE; |
| 8 | RUN; |
5 Bloc de code
Effectue un autotuning plus contrôlé en modifiant les plages de recherche et les valeurs pour certains hyperparamètres. Le nombre d'arbres ('ntrees') est testé entre 10 et 50, et le nombre de variables à essayer ('vars_to_try') est restreint à une liste de valeurs spécifiques.
| 1 | PROC GRADBOOST DATA=mycaslib.dmagecr outmodel=mycaslib.mymodel; |
| 2 | target good_bad / level=nominal; |
| 3 | INPUT checking duration history amount savings employed installp |
| 4 | marital coapp resident property age other housing existcr job |
| 5 | depends telephon foreign / level=interval; |
| 6 | INPUT purpose / level=nominal; |
| 7 | autotune popsize=5 maxiter=3 objective=ASE |
| 8 | tuningparameters=( |
| 9 | ntrees(lb=10 ub=50 init=10) |
| 10 | vars_to_try(values=4 8 12 16 20 init=4) |
| 11 | ); |
| 12 | RUN; |
6 Bloc de code
Termine la session CAS 'mysess' et libère les ressources associées sur le serveur.
| 1 | cas mysess terminate; |