第20卷增刊2002年3月 空 气 动 力 学 学 报 ACTA AER ODYNAMICA SINICA
V ol.20M ar.,2002收稿日期:2001203209；修订日期:2001205225.
基金项目：国防科学技术预先研究基金资助项目和国家自然科学基金(8632306主题)资助项目。 文章编号:025821825(2002)增刊20001206
朱国林，徐庆新
(中国空气动力研究与发展中心, 四川绵阳 621000)
摘要：本文综述了中国空气动力研究与发展中心计算空气动力学研究所近年来开展的并行算
法研究应用工作。包括有：基于工作站机和微机机建立了分布式网络并行计算环境；在
此并行环境下开展了CFD 并行算法研究和并行应用软件开发研制；与国防科技大学计算机
学院合作，开展了大型系列并行机研制过程中所选择的CFD 并行程序的研制，并对计算机并
行性能进行了测评。
中国商标数据库关键词：并行算法；网络并行计算;CFD 计算
中图分类号:V21113 文献标识码:A
0 引 言
近年来，计算流体力学已在工程实际中获得了广泛地应用。现代计算流体力学所解决的问题越来越复杂，对于计算能力的要求与日俱增，计算性能需达到每秒百亿、千亿、甚至上万亿次级运算能力，由于受目前元器件及工艺水平的极限限制，以上高性能计算只有通过多处理器并行计算才能解决。事实上，超级计算机的研制与应用水平已成为衡量一个国家科技、经济与国防综合实力的一个重要标志，发达国家为争夺和保持这一领域的领先地位，一直在激烈竞争，如美国的高性能计算与通信(HPCC )计划，日本的真实世界计算(RWC )计划，我国的863高科技计划都将其列为关键技术。目前，大规模并行处理系统(MPP )和工作站机(NOWs )是高性能并行计算环境的主要发展趋势，高效并行算法的研制必须与具体机器特征相结合。
在国际上软件研究先进的国家，计算流体力学(CFD )领域并行算法研究开展较早,1993年，德国的G uy Lonsdal 和Anton Sch üller [1]用多重网格法对复杂流场模拟的三维Navier 2Stokes 方程进行并行计
算，算法有较优的可扩展性，在32结点的Intel iPSC/860上，网格规模为257×129时的并行效率达到了74%。1994年，印度Jawahala Nehru 先进科学研究中心的Amit J.Basu [2]在有三个i386Floslver MK 3上用谱方法对三维Navier 2Stokes 方程组织并行计算，在网格规模为323和643时的并行效率达到了87.2%。1995年，日本的T.I wamiya 等[3]在分布存储的数值风洞NWT (Numerical Wind Tunnel )上实现了三维层流Navier 2Stokes 方程的并行计算，虽有比较多的全局通信，并行效率仍然比较高。同年,Cray 研究中心的A.K.Stagg 等[4]在nC UBE/2、Intel iS 2PC/860、Intel Delta 等计算机上使用多种方法进行了三维Navier 2Stokes 方程的数值模拟并行计算，表明有较好的并行效率和可扩展性。1996年，法国的S.Lanteri [5]在Intel Parag on 、Cray T3D
2空 气 动 力 学 学 报 第20卷
和I BM SP2等MPP机上实现了有限体积法和有限元法混合的四面体非结构网格程序N3S-M USC L求解喷气式飞机FA LC ON全机的并行计算，并行软件编程环境包括PVM、NX和MP L，且比较了重叠网格与非重叠网格划分的并行效率，以及三种MPP巨型机的综合性能。
在国内，据我们所知，北京航空航天大学的朱自强教授，在工作站机环境下做了并行计算研究工作，得到了较高的加速比，并且扩大了模拟问题的规模。中国空气动力研究与发展中心和国防科技大学合作[8]，在工作站机上采用多重网格法并行求解跨声速Euler方程,12台处理机上的加速比达到9.0
6。与此同时中国空气动力研究与发展中心开展了三对角矩阵线性代数方程组化为无约束极值问题求解[17]和七对角矩阵线性方程组并行算法研究工作[18]。
近年来，中国空气动力研究与发展中心成立了CFD并行算法应用研究课题组，较广泛地开展了CFD并行计算技术研究[8-19]。主要针对CFD特点，结合实际应用，基于分布式存储网络并行计算环境，开展并行算法研究，解决应用程序合理划分，降低冗余计算量，正确映射到并行处理系统，保证负载平衡，保证算法的可扩展性等显著影响并行效率的关键技术问题，研制CFD数值模拟并行软件，实现大规模高效并行计算，以解决工程型号设计中某些关键问题。
我们根据高性能并行计算环境的主要发展趋势，建立并完善了高性能微机网络机(NOMs)及A LPH A工作站机(NOWs)网络并行计算平台，提供PVM或MPI编程环境；采用计算机研制者、并行算法研究人员和应用软件人员(用户)紧密合作的三结合方式，充分发挥计算流体动力学和并行计算机应用两学科交叉优势，继承已有科研成果和经验，循序渐进，将理论应用于解决实际问题，结合并行机高性能特征、应用程序执行特征和实际物理模型特点，成功地将一批串行计算程序改造为并行计算程序，解决了工程型号设计中的某些关键气动力问题。
中国空气动力研究与发展中心计算空气动力学研究所与国防科技大学计算机学院合作，充分利用大型系列并行机资源，开展CFD大规模高性能计算的并行算法研究，在大型系列并行机上，完成了并行性能测试评估任务，取得了很好的结果，为大型系列计算机的研制成功作出了一定的贡献。
2002年《空气动力学学报》增刊的文章，就是中国空气动力研究与发展中心计算空气动力学研究所和长沙国防科技大学计算机学院在并行计算技术方向的部分研究成果和合作成果。
1 并行算法研究
大规模并行处理机(MPP)和工作站机(NOWs)或微机机(NOMs)是高性能并行计算环境的主要发展趋势，我们研究重点是针对分布式存储网络并行处理系统。首先，从工程型号实际问题中抽象出基本的数学问题，研究相应的并行算法，着重解决任务划分、数据调度、负载平衡、算法正确性、稳定性及可扩展性等关键技术问题。然后，将基本数学问题的并行算法推广应用于具体实际问题。
一般来说，在CFD数值模拟计算中，计算网格为结构、非结构或混合网格，控制方程为Navier2Stokes或Euler方程，它们是高度非线性的，采用有限差分法、有限体积法或有限元等方法进行离散，用显格式或隐格式求解，绝大部分将转化为所谓强数据相关问题的求解，如大型稀疏线性代数方程的求解等。
显格式求解是当前比较成熟的并行计算方法。用显格式求解时，由于同一时刻各计算内点互不干涉，可以采用粗粒度任务级并行，将计算区域直接划分，映射到各处理器上，保证负载
平衡，相对计算量而言，各进程间通信只发生在其相邻边界上，并行效率高，并且串、并行计算过程
功能复合材料
一致，为了加快收敛，采用多重网格法等技术手段来提高整体计算效益[7,8]。对于结构网格，主要解决进程间通信问题，提前发送、推迟接收，计算与通信重叠，减少等待时间等是我们采用的有效技术手段；对于非结构网格，重点解决进程间负载平衡问题，采用网格自动剖分技术，减少边界通信量。在跨声速多重网格法并行计算[9]、非结构网格复杂无粘流场数值模拟并行计算[10]、用数值计算方法直接求解NS 方程[11]以及冲击波运动的并行模拟[12]等项目应用研究中，就是使用这种方法，可以在原有串行计算程序基础上走直接并行化技术路线，采用基于消息传递的并行程序设计，程序编程增加的工作量约为25%，并行程序设计简单，可移植性、可扩展性好，在工作站及微机机(NOWs 、NOMs )及大规模并行机(MPP )上，都取得了较好的并行性能结果。
隐格式具有良好的稳定性，通常求解稀疏矩阵，但其并行求解比较困难，从原理上分析，可采用两种方法进行并行计算：第一种为“局部隐”方法，同显格式一样，将计算区域分块，块“内边界”值由相邻块处前一时刻的值来确定，对每块独立进行隐式求解，然后，依需要，再根据通量守恒原理对相邻块重合点值进行修正。在飞行器亚跨超声速流气动力数值模拟并行计算[13]、二维及三维低速NS 方程并行计算[14,15]、战术导弹大迎角流场模拟并行计算[16]等项目应用研究中，就是采用这种方法，得到了稳定收敛的结果。第二种方法归结为对稀疏矩阵的并行算法，分为线性方程组并行直接解法和并行迭代法两大类，我们已在三对角及七对角矩阵线性方程组的并行直接解法算法研究中取得了进展[17,18]，在高阶面元法并行计算[19]中，运用G auss 2Seidel 并行迭代法，取得了较好的结果。
地球破洞
2 并行计算程序研究
在并行计算程序研制中，我们采用计算机研制者、并行算法研究人员和应用软件人员(用户)紧密合作的三结合方式，在计算空气动力学研究所内部采用应用软件设计人员、并行算法研究人员和计算机并行环境开发人员相互配合、互相支持，紧密结合在一起研制并行程序。充分发挥计算流体力学和并行计算机应用两学科交叉优势，继承已有成果和经验，结合并行机高性能特征、应用程序执行特征和实际物理模型特点，将一批典型串行计算程序改造为并行计算程序，开始建立起并行程序库，以解决型号设计上关键气动力问题。目前已研究的并行计算程序有:
跨声速欧拉方程多重网格法并行计算
飞行器亚跨超声速流气动力数值模拟并行计算
低速NS 方程并行计算
非结构网格复杂无粘流场数值模拟并行计算
用数值计算方法直接并行求解NS 方程
战术导弹大迎角流场模拟并行计算
婚姻挤压冲击波运动的并行模拟计算
高阶面元法并行计算
高空羽流并行计算
高超声速无粘流并行计算
3增刊 朱国林等：计算流体力学并行计算技术研究综述
4空 气 动 力 学 学 报 第20卷
对于分布式存储并行处理系统，应用程序合理划分，降低冗余计算量，正确映射到并行处理系统，保证负载平衡，保证算法的正确性和可扩展性是提高计算程序并行效率所采用的关键技术。
3 大型系列计算机并行环境算法研究
大规模并行处理机(MPP)研制成功将对在国民经济和国防建设中有重大作用的研究课题起推动作用。诸如：载人飞船、火箭、飞机及其发动机燃烧室的气动力、气动热计算，高速列车、低阻汽车的外型设计，高层建筑抗风载研究以及江、河、湖泊的泥沙淤积规律等研究，具有特别重要的意义。我们充
分利用大型系列巨型机资源，坚持计算机研制者、并行算法研究人员和应用软件人员(用户)紧密合作的方式，对七个骨干计算空气动力学软件及可视化程序进行并行计算研究，在大型并行机环境下，针对其性能特点，分别开展了跨声速Euler方程计算软件、亚跨超声速Navier2Stokes方程计算软件、低速粘流Navier2Stokes计算软件、高阶面元法计算软件、高空羽流计算软件、等温模型求解低速流动软件、用数值方法直接并行求解Navier2Stokes方程软件的应用程序并行化研究工作，分别就计算的规模、精确性、稳定性及连续性等方面内容，进行了性能测试工作，为大型系列计算机顺利通过国家验收创造了必要的条件。
当爱已成负担4 大型CFD软件系统的并行化研究
软件集成化是应用软件发展的一大趋势，在单机上运行,CFD大型软件系统无法体现大型软件系统的优越性，难于满足实际工程问题的需要，基于网络环境的CFD大型软件系统分布式并行处理模型，提供同步与数据交换的手段，使软件各计算模块可以分布于网络上运行，图形显示由专门的图形显示设备来完成，同时提供交互式集中控制平台以完成所有控制与交互工作，计算结果由结果数据库统一管理。其中：前台控制模块完成系统的初始化、master端功能以及其它所有需要交互输入等功能。监控模块完成整个系统结点状态的监控和运行模块的启动运行，是常驻内存模块运行模块。运行模块负责slave端计算模块的启动运行、各计算模块运行状态监测以及所有和master端的通信工作。
5 主要结论
MPP和NOWs或NOMs是将来高性能并行计算环境的主要发展趋势，在分布式存储网络并行计算环境中，粗粒度任务级并行是获得较高效率的唯一途径，高效并行算法的研制必须与具体机器特征相结合，并行计算必须采用计算机研制者、并行算法研究人员和应用软件人员(用户)紧密的三结合，三结合才能突破实用的并行计算模型的关键技术。应用程序合理划分，降低冗余计算量，正确映射到并行处理系统，保证负载平衡，保证算法的可扩展性是开展并行算法研究与应用的关键技术。
负载平衡、计算量与通信量之比、通信与计算的重叠以及Cache的合理利用是影响当前并行计算性能的关键因素。
计算网格划分和计算区域分解是实现粗粒度并行的最直接、最有效的任务分配策略，能很好地降低冗余计算量，正确映射到并行处理系统，保证负载平衡，保证算法的可扩展性。
在MPP 、NOWs 及NOMs 网络并行计算环境上，完成了跨声速欧拉方程并行算法、高超声速Navier 2Stokes 方程并行算法、低速粘性绕流的Navier 2Stokes 方程并行算法、数值直接模拟Navier 2Stokes 方程并行算法的研究，较广泛的开展了显格式、隐格式并行效率及结果正确性的研究，上述并行化的程序已参与了型号设计计算任务，解决了型号设计中的一些复杂流动问题。
MPP 系统采用分布式存储，利用商用高性能微处理芯片通过高性能互连网络构成，提供超大规模高性能计算能力，但是操作系统与并行编译技术尚不完善，应用软件少，并行程序设计难度大。NOWs 或
NOMs 具有投资风险小、结构简单、可扩展性强、性能价格比高，软件继承性好，通用性好以及异构能力强等优点而倍受关注，具有广阔的应用前景，尽管受到互连网络及系统支撑软件等因素的影响，近期内难以达到MPP 水平，但是，新技术的飞速发展，通过改变网络通信机制等等，将使其走向成功。因此,NOWs 或NOMs 是我们投资建设网络并行环境的主要发展方向。
隐式算法并行研究将是今后的研究主攻方向，重点研究“块边界”各类通量的数据交换的正确性，以确保串行程序和并行程序计算结果的一致性，以及满足工程实际对计算机容量的需求和对计算时间的需求。
参 考 文 献:
[1] G UY LONS DA LE ,ANT ON SCH ΒLLER.Multigrid efficiency for com plex flow simulations on distributed mem ory machines 〔J 〕,
parallel computing 19(1993):23-32.
[2] BAS U J.A parallel alg orithm for spectral s olution of the three 2dimensional Navier 2S tokes Equations 〔J 〕,Parallel Computing 1994
(20):1191-1204.
[3] TW AMIY A T ,FUK UDA M ,NAK AM URA T ,Y OSHIDA M.On the numerical wind tunnel (NWT )program 〔M 〕.Parallel C om pu 2
tational Fluid Dynamics :New T rends and Advances ,1995E lsevier Science B.V.
[4] ST AGG A K,C LINE D D ,CAREY G Y,SH ADID J N.Parallel scalable parabolized Navier 2S tokes s olver for large 2scale simulations
〔J 〕,AIAA Journal ,1995,33(1)1
[5] LANTERI S.Parallel s olutions of com pressible flow using overlapping and N on 2overlapping mesh partitioning strategies 〔J 〕,Parallel
Computing 1996(22):943-968.
[6] 李晓梅等编著1面向结构的并行算法设计与分析〔M 〕1长沙：国防科技大学出版社,19961
[7] 孙家昶等编著1网络并行计算与分布式编程〔M 〕1北京：科学出版社,1996.31
[8] 徐庆新、莫则尧1跨声速欧拉方程多重网格法并行计算〔R 〕，四川绵阳：空气动力学研究文集,1996(6)1
[9] 徐庆新、莫则尧1并行多重网格法求解跨声速欧拉方程〔R 〕，四川绵阳：中国空气动力研究与发展中心计算空气动力
研究所技术报告,1996.121
[10] 徐庆新、张来平1非结构网格复杂无粘流场数值模拟并行计算〔R 〕，四川绵阳：中国空气动力研究与发展中心计算空
气动力研究所技术报告,1998.101
[11] 沈青、杨晓辉1PVM 在DNS 计算中的实现〔R 〕，四川绵阳：中国空气动力研究与发展中心计算空气动力研究所技术报
告,1999.121
[12] 陈阳生1冲击波运动的并行模拟〔R 〕,XX -3计算空气动力学应用测试报告,19971
[13] 徐庆新、张玉伦1飞行器亚跨超声速流气动力重叠网格法并行计算〔R 〕，四川绵阳：中国空气动力研究与发展中心计
算空气动力研究所技术报告,1996.121
[14] 李树民、朱国林、王开春1基于分区的隐式求解二维不可压N -S 方程的并行实现〔R 〕，四川绵阳：中国空气动力研究
与发展中心计算空气动力研究所技术报告,2000.51
[15] 王开春、朱国林、李树民1三维低速N -S 方程并行计算〔R 〕，四川绵阳：中国空气动力研究与发展中心计算空气动力5增刊 朱国林等：计算流体力学并行计算技术研究综述
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议