Procesamiento de altas prestaciones (paralelo y distribuido) en el clúster de Cedia utilizando el lenguaje r con datos de índices climáticos para el ecuador continental

Abstract

El Lenguaje R es especializado para el análisis de datos estadísticos, sin embargo cuando el volumen de datos es muy elevado, R se vuelve ineficiente y requiere de una cantidad considerable de tiempo para el procesamiento Por ello se han desarrollado librerías para el procesamiento en paralelo y distribuido siguiendo las directrices de High Performance Computing (HPC). A pesar de estos esfuerzos, la aplicación de las librerías es limitada, ya sea por el poco acceso a los equipos HPC o porque la documentación es escasa y demasiado técnica. Por ello, este trabajo implementó y documentó el uso de librerías de R para el procesamiento en paralelo y distribuido aplicado al análisis de teleconexiones e índices climáticos para el Ecuador continental. Se utilizaron series temporales de imágenes satelitales de precipitación de diez años e índices climáticos. Se utilizó la librería Parallel y RSLURM en el clúster HPC de CEDIA para aplicar correlación de Spearman y bootstrap. Se midieron los tiempos de procesamiento secuencial, en paralelo y distribuido, observando disminuciones considerables de tiempo a medida que se aumenta el número de procesadores y nodos