基于Tensor Cores的新型GPU架构的高性能Cholesky分解

计算机工程与科学 ›› 2025, Vol. 47 ›› Issue (7): 1170-1180.

基于Tensor Cores的新型GPU架构的高性能Cholesky分解

石璐,邹高远,伍思琦,张少帅

(电子科技大学计算机科学与工程学院(网络空间安全学院)，四川成都 611731)

收稿日期:2024-11-04 修回日期:2024-12-03 出版日期:2025-07-25 发布日期:2025-08-25

High performance Cholesky factorization on emerging GPU architectures using Tensor Cores

SHI Lu,ZOU Gaoyuan,WU Siqi,ZHANG Shaoshuai

(School of Computer Science and Engineering（School of Cyberspace Science and Technology）,
University of Electronic Science and Technology of China,Chengdu 611731,China)

Received:2024-11-04 Revised:2024-12-03 Online:2025-07-25 Published:2025-08-25

摘要/Abstract

摘要： 稠密矩阵乘法(GEMMs)在Tensor Cores上可以实现高度优化。然而，现有的Cholesky分解的实现由于其有限的并行性无法达到Tensor Cores大部分的峰值性能。研究使用一种递归Cholesky分解的算法，通过将对角线块的递归细分，将原本的对称矩阵秩K更新（SYRK）和三角方程组求解（TRSM）操作转化为大量的通用矩阵乘法（GEMMs），从而更充分地发挥 Tensor Cores 的峰值性能。实验结果表明，提出的递归Cholesky分解算法在FP32和FP16上分别比MAGMA/cuSOLVER算法提高了1.72倍和1.62倍。

关键词: Cholesky分解, 高性能计算, 数值线性代数, 通用图形处理器（GPGPU）

Abstract: The general matrixmatrix multiplications (GEMMs) can achieve highly optimized performance on Tensor Cores.However,due to its limited parallelism,the existing implementations of Cholesky factorization fail to reach most of the peak performance of Tensor Cores.This paper studies a recursive Cholesky factorization algorithm that recursively subdivides diagonal blocks,generating a large number of GEMMs operations between non-diagonal blocks.This algorithm enables the extraction of a higher proportion of the peak performance of Tensor Cores for internal symmetric Rank-K update (SYRK) and triangular solve matrix (TRSM) operations.Experimental results show that the recursive Cholesky decomposition algorithm proposed in this paper achieves speedups of 1.72× and 1.62× compared to the MAGMA/cuSOLVER algorithms on FP32 and FP16,respectively.

Key words: Cholesky factorization, high performance computing, numerical linear algebra, general-purpose computing on graphics processing units(GPGPU)

石璐, 邹高远, 伍思琦, 张少帅. 基于Tensor Cores的新型GPU架构的高性能Cholesky分解[J]. 计算机工程与科学, 2025, 47(7): 1170-1180.

SHI Lu, ZOU Gaoyuan, WU Siqi, ZHANG Shaoshuai. High performance Cholesky factorization on emerging GPU architectures using Tensor Cores[J]. Computer Engineering & Science, 2025, 47(7): 1170-1180.

[1]	李俊哲, 付振新, 杨宏辉, 马银萍, 李若淼, 樊春, . 面向算力网络的跨集群数据迁移系统的设计和实现[J]. 计算机工程与科学, 2025, 47(5): 775-786.
[2]	贾春波, 陈光, 姚信安, 李宝峰. 基于国产元器件的大功率多相供电技术研究[J]. 计算机工程与科学, 2025, 47(4): 592-600.
[3]	王冬, 刘壮, 黄小猛. 一种面向地球系统模式的高效并行计算框架[J]. 计算机工程与科学, 2025, 47(10): 1711-1925.
[4]	张建民, 许炜康, 刘津津, 黎铁军. 粒子输运非确定性模拟的加速方法研究进展[J]. 计算机工程与科学, 2025, 47(1): 1-9.
[5]	孙岩, 张建民, 黎渊, 孙舜禹. 面向高性能计算的互连网络拥塞控制分析与评估[J]. 计算机工程与科学, 2024, 46(2): 209-216.
[6]	张云泉, 邓力, 袁良, 袁国兴. 2024年中国高性能计算机发展现状分析[J]. 计算机工程与科学, 2024, 46(12): 2091-2098.
[7]	朱文龙, 江嘉治, 黄聃, 肖侬. ParM:基于国产处理器的异构并行编程模型[J]. 计算机工程与科学, 2023, 45(9): 1521-1531.
[8]	吴铁彬, 过锋, 王谛. 面向E级计算的高性能处理器核心运算架构研究进展[J]. 计算机工程与科学, 2023, 45(5): 761-771.
[9]	张云泉, 邓力, 袁良, 袁国兴. 2023年中国高性能计算机发展现状分析[J]. 计算机工程与科学, 2023, 45(12): 2091-2098.
[10]	施得君, 李宏亮, 胡舒凯. 基于Clos网络的高阶路由器结构[J]. 计算机工程与科学, 2023, 45(12): 2099-2112.
[11]	张天阳, 池成悦, 郭武, 高亦沁, 文敏华, 韦建文. 校级异地超算集群管理的关键技术研究与实践[J]. 计算机工程与科学, 2023, 45(12): 2135-2145.
[12]	肖调杰, 周峰, 郑翾宇, 刘剑, 陈琳, 刘杰, 易明宽, 陈旭光, 龚春叶, 杨博, 甘新标, 李胜国, 左克, . 大规模三维频率域电磁积分方程法数值模拟[J]. 计算机工程与科学, 2023, 45(11): 1901-1910.
[13]	陈奉贤. 基于NR-Transformer的集群作业运行时间预测[J]. 计算机工程与科学, 2022, 44(7): 1181-1190.
[14]	曹继军. 面向HPC和DC的可重构光互连网络体系结构综述[J]. 计算机工程与科学, 2022, 44(6): 951-963.
[15]	袁远, 李世杰, 邢建英, 蒋句平. E级高性能计算机系统中监控分系统的挑战与设计[J]. 计算机工程与科学, 2021, 43(8): 1366-1375.