A deep look into the temporal I/O behavior of HPC applications -extended version
Un regard approfondi sur le comportement temporel des E/S des applications HPC — version étendue
Résumé
The increasing gap between compute and I/O speeds in high-performance computing (HPC) systems imposes the need for techniques to improve applications' I/O performance. Such techniques must rely on assumptions about I/O behavior in order to efficiently allocate I/O resources such as burst buffers, to schedule accesses to the shared parallel file system or to delay certain applications at the batch scheduler level to prevent contention, for instance. In this paper, we verify these common assumptions about I/O behavior, specifically about temporal behavior, using over 440,000 traces from real HPC systems. By combining traces from diverse systems, we characterize the behaviors observed in real HPC workloads. Among other findings, we show that I/O activity tends to last for a few seconds, and that periodic jobs are the minority, but responsible for a large portion of the I/O time. Furthermore, we make projections for the expected improvement yielded by popular approaches for I/O performance improvement. Our work provides valuable insights to everyone working to alleviate the I/O bottleneck in HPC.
L’écart croissant entre les vitesses de calcul et d’entrée/sortie dans les systèmes de de calcul à haute performance (HPC) impose le besoin de techniques pour améliorer les performances des applications en matière d’E/S. Ces techniques doivent s’appuyer sur des informations sur le comportement des E/S afin d’allouer efficacement les ressources d’E/S telles que les burst buffers, d’ordonnancer les accès au système de fichiers parallèle partagé ou de retarder certaines applications au batch scheduler pour éviter la contention, par exemple. Dans cet article, nous vérifions ces hypothèses courantes sur le comportement des E/S, en particulier sur le comportement temporel, en utilisant plus de 440 000 traces provenant de systèmes HPC réels. En combinant des traces provenant de divers systèmes, nous caractérisons les comportements observés dans les charges de travail HPC réelles. Entre autres résultats, nous montrons que l’activité E/S a tendance à durer quelques secondes, et que les travaux périodiques sont minoritaires, mais responsables d’une grande partie du temps d’entrée/sortie. En outre, nous établissons des projections concernant l’amélioration attendue des approches les plus courantes en matière d’amélioration des performances d’E/S. Notre travail fournit des informations précieuses à à tous ceux qui s’efforcent de réduire le goulot d’étranglement des E/S dans le domaine du calcul intensif.
| Licence |
|---|
