Dans l'architecture Viya, la configuration la plus simple est souvent la plus stable. Laissez les fichiers de configuration Hadoop servir de "source de vérité" unique.
Avant de paniquer face à un timeout, suivez cet ordre de diagnostic :
- Vérifiez les chemins : Est-ce que les dossiers hadoopjarpath et hadoopconfigdir sont accessibles par tous les nœuds CAS (et pas seulement le contrôleur) ?
- Simplifiez : Supprimez l'option uri et testez.
- Vérifiez le réseau : Les ports 2181 (Zookeeper) et 10000 (Hive) sont-ils ouverts entre le cluster CAS et le cluster Hadoop ?
- Ajustez le délai : Augmentez le login_timeout.
L'intégration de données massives entre SAS© Viya™ et un cluster Hadoop est une opération courante, mais elle peut parfois se heurter à des problèmes de configuration subtils. L'un des obstacles les plus fréquents lors de la définition d'une Caslib est l'apparition d'une erreur de délai d'attente (timeout) immédiatement après l'exécution du code de connexion.
Cet article détaille les symptômes de cette erreur et présente une solution éprouvée pour stabiliser la connexion.
Lors de l'exécution d'une instruction CASLIB pour se connecter à Hadoop (souvent via Hive), le processus s'arrête et renvoie les messages d'erreur suivants dans le journal (log) :
Ce problème survient généralement lors de l'utilisation d'une chaîne de connexion explicite incluant l'option uri=, comme dans l'exemple ci-dessous :
| 1 | /* Code provoquant l'erreur */ |
| 2 | caslib hdlib datasource=( |
| 3 | srctype="hadoop", |
| 4 | dataTransferMode="serial", |
| 5 | username="{votre_user}", |
| 6 | password="{votre_mdp}", |
| 7 | /* L'option URI ci-dessous est souvent la cause du conflit */ |
| 8 | uri="jdbc:hive2://{host}:2181...;serviceDiscoveryMode=zooKeeper;...", |
| 9 | hadoopjarpath="/sas_mirror/hadoopfiles/lib", |
| 10 | hadoopconfigdir="/sas_mirror/hadoopfiles/conf", |
| 11 | schema="default" |
| 12 | ); |
L'erreur java.util.concurrent.TimeoutException suggère que le client SAS© n'a pas réussi à établir la connexion avec le cluster dans le temps imparti. Bien que l'on puisse penser à un problème réseau ou à une indisponibilité du cluster, la cause racine réside souvent dans une sur-configuration.
Lorsque vous fournissez à la fois :
Le chemin vers les fichiers de configuration Hadoop (hadoopconfigdir contenant les fichiers XML comme hive-site.xml, core-site.xml, etc.).
Une chaîne de connexion JDBC explicite (uri=).
Il peut se créer un conflit ou une redondance dans la méthode de découverte des services Zookeeper. SAS© est capable d'extraire la configuration Zookeeper directement depuis vos fichiers XML, rendant l'option uri superflue.
Pour résoudre ce problème, la méthode recommandée consiste à simplifier la déclaration de la Caslib. Il faut supprimer l'option uri= et laisser SAS© gérer la connexion en s'appuyant uniquement sur les fichiers de configuration et les binaires Hadoop.
Voici le code corrigé et fonctionnel :
| 1 | cas mySession sessopts=(caslib=casuser timeout=1800 locale="en_US"); |
| 2 | |
| 3 | caslib hdlib datasource=( |
| 4 | srctype="hadoop", |
| 5 | dataTransferMode="serial", |
| 6 | username="{votre_user}", |
| 7 | password="{votre_mdp}", |
| 8 | /* Suppression de l'option URI */ |
| 9 | hadoopjarpath="/sas_mirror/hadoopfiles/lib", |
| 10 | hadoopconfigdir="/sas_mirror/hadoopfiles/conf", |
| 11 | schema="default" |
| 12 | ); |
| 13 | |
| 14 | PROC CASUTIL; |
| 15 | list files incaslib="hdlib"; |
| 16 | RUN; |
En ne spécifiant pas de serveur ni d'URI, SAS© utilisera les informations contenues dans le dossier pointé par hadoopconfigdir pour localiser le cluster Zookeeper et établir la connexion correctement.
Si, après avoir appliqué la correction ci-dessus, vous rencontrez toujours des erreurs de timeout (notamment sur des clusters très sollicités), il est possible que le délai par défaut soit trop court.
Le délai de connexion par défaut pour Hadoop est généralement de 30 secondes. Vous pouvez augmenter cette valeur en ajoutant l'option login_timeout :
| 1 | caslib hdlib datasource=( |
| 2 | ... |
| 3 | login_timeout=60 /* Augmentation du délai à 60 secondes */ |
| 4 | ... |
| 5 | ); |
Die auf WeAreCAS.eu bereitgestellten Codes und Beispiele dienen Lehrzwecken. Es ist zwingend erforderlich, sie nicht blind in Ihre Produktionsumgebungen zu kopieren. Der beste Ansatz besteht darin, die Logik zu verstehen, bevor sie angewendet wird. Wir empfehlen dringend, diese Skripte in einer Testumgebung (Sandbox/Dev) zu testen. WeAreCAS übernimmt keine Verantwortung für mögliche Auswirkungen oder Datenverluste auf Ihren Systemen.