Contexto empresarial
En una planta de manufactura, los datos de los sensores se cargan secuencialmente, lo que a menudo resulta en que todos los datos residan en un solo nodo (worker) del clúster CAS, provocando cuellos de botella en el procesamiento. El equipo de ingeniería de datos necesita crear una copia de trabajo donde los datos estén distribuidos uniformemente entre todos los nodos para optimizar el rendimiento de los modelos predictivos posteriores.
Sobre el conjunto : table
Carga, guardado y gestión de tablas en memoria.
Descubrir todas las acciones de table Preparación de datos
Simulación de logs de sensores masivos cargados en un solo bloque.
¡Copiado!
| 1 | DATA casuser.SENSOR_LOGS; |
| 2 | DO i = 1 to 1000; |
| 3 | Machine_ID = 'M_' || put(rand('integer', 1, 5), z2.); |
| 4 | Temp = 50 + rand('normal') * 10; |
| 5 | Vibration = rand('uniform'); |
| 6 | OUTPUT; |
| 7 | END; |
| 8 | RUN; |
Étapes de réalisation
1
Copia de la tabla forzando la redistribución de filas entre workers.
¡Copiado!
| 1 | PROC CAS; |
| 2 | TABLE.copyTable / |
| 3 | TABLE={name='SENSOR_LOGS', caslib='CASUSER'} |
| 4 | casout={name='SENSOR_LOGS_OPTIMIZADO', caslib='CASUSER', replace=true} |
| 5 | distributeRows=true; |
| 6 | RUN; |
| 7 | QUIT; |
Resultado esperado
Se genera la tabla 'SENSOR_LOGS_OPTIMIZADO'. Aunque el contenido es idéntico al original, a nivel de infraestructura, las filas deben estar balanceadas entre los workers disponibles del servidor CAS.