并行算法设计与性能优化

1. 陈国良的主要成果

先后主持完成了10多项国家863计划、国家攀登计划、国家自然基金、教育部博士基金等科研项目。取得了多项被国内外广泛引用的、达到国际先进水平的科研成果，发表论文100多篇，出版着作7部，译着5部，参与主编计算机类辞典、词汇5部，主审、主编计算机类各种教材8部。
获国家级二等奖以及部、省、院级一等、二等、三等奖共14项。 [1] 陈国良等，《并行计算机体系结构》，高等教育出版社，2002。
[2] 陈国良，《并行计算：结构，算法，编程》，高等教育出版社，1999。
[3] 陈国良等，《遗传算法及其应用》，人民邮电出版社，1996。
[4] 陈国良，《并行算法的设计与分析》，高等教育出版社，1994。
[5] 陈国良，陈崚，《VLSI计算理论与并行算法》，中国科大出版社，1991。
[6] 陈国良，《并行算法：排序和选择》，中国科大出版社，1990。
[7] 王鼎兴，陈国良，《互连网络结构分析》，科学出版社，1990。 陈国良，基于曙光1000的中尺度数值气象预报系统及其在江淮流域适用性研究，小型微型计算机系统，Vol.21, No.11, p1121-1125, 2000.11。
陈国良，淮河中上游群库联合优化调度算法及其并行实现，小型微型计算机系统，Vol.21, No.6, p603-607, 2000.6。
陈国良，林洁，顾乃杰， 分布式存储的并行串匹配算法的设计与分析，软件学报， 11(6), pp. 771-778, 2000.6
Chen gouliang，Heuristics for Line Capacity Design of PWE Assembly Systems，J. of China Univ. of Sci. & Tech.，Vol.30, No.2, p142-150, 2000.4。
陈国良，桂孝生，杨勃，Walch变换的截断方法及其并行实现，中国科大学报，Vol.28，No.3，pp.270-276，1998
陈国良，许锦波，LogP模型上的一类蝶式计算的通信策略，计算机学报，Vol.20，No.8，pp.695-701，1997
陈国良，熊焰，顾乃杰，面向应用的神经信息处理系统（NIPS），计算机研究与发展，Vol. 33，No.12，pp.887-892，1996
陈国良，李晓峰，黄伟民，并行FFT算法在3种并行计算模型上的设计和分析，软件学报，Vol.7，增刊， pp.57-63，1996
陈国良，并行算法的可扩放性分析， 小型微型计算机系统，Vol.16，No.2，pp.10-16，1995
陈国良，梁维发，沈鸿，并行图论算法研究进展，计算机研究与发展，Vol.32，No.9，pp.1-16，1995
陈国良，更实际的并行计算模型，小型微型计算机系统，Vol.16，No.2，pp.1-9，1995
Chen Guoliang，Zhu Song-chun，Chin Shao-ou，On the Master-Slave Neural Network Models，proc.IJCNN’92，Beijing，1992
陈国良，熊焰，方祥，通用并行神经网络模拟系统GP2N2S2，小型微型计算机系统，Vol.13，No.12，pp.16-21，1992
陈国良，神经计算及其在组合优化中的应用，计算机研究与发展，Vol.29，No.5，pp.1-21，1992
陈国良，朱松纯，秦小鸥，主从通用神经网络模型，电子学报，Vol.20，No.10，pp.24-32，1992
陈国良，张永民，改进的多层栅格嵌入算法，计算机学报，Vol.14，No.5，pp.332-339，1991
陈国良，韩雅华，Benes网络的半自动选路法，计算机学报，Vol.13，No.3，pp.161-173，1990
G.L.Chen，An O(n) Switch setting Algorithm for the Benes Network，PPCC-3，Beijing，China，Vol. 8，pp.16-19，1989
陈国良，VLSI并行计算，计算机工程与应用，No.2， pp.1-35，1989
G.L.Chen，H.Shen，A Bitonic Selection Algorithm on Multiprocessors，J.of comput. Sci.&Tech.，Vol.4，No.4，pp.315-322，1989
陈国良，非数值计算的并行算法（下），计算机研究与发展，Vol.25，No.12，pp.1-10，1988
Chen Guoliang，A Partitioning Selection Algorithm on Multiprocessors，J.of comput. Sci.&Tech.，Vol.3，No.4，pp.241-250，1988
陈国良，刘峻，多处理器上的分组选择网络，计算机研究与发展，Vol.25，No.8，pp.1-9，1988
陈国良，王忠良，并行归并选择算法，计算机学报，Vol. 11，No.1，pp.14-21，1988
陈国良，沈鸿，SIMD机器上的双调选择算法，计算机研究与发展， Vol. 25，No.1，pp.1-14，1988
陈国良，沈鸿，双调选择网络及其在多处理器上实现的双调选择算法，计算机研究与发展，Vol. 24，No.9，pp.1-10，1987
陈国良，熊焰，两个不同机种局部区域网络Cnet和Omninet网际互连，小型微型计算机系统，No.2，pp.1-8，1987
K.L.Chen and H.Shang，Bitonic Selection Algorithm on SIMD machine，The Second International conf. On computers and applications，Beijing，China，pp.176-182，1987
陈国良，数据流计算机的互连结构，计算机研究与发展，Vol. 23，No.9，pp.2-10，1986
陈国良，计算机网络互连研究，计算机研究与发展，Vol. 23，No.11，pp.2-10，1986
陈国良，选择网络的比较研究，中国科大学报，pp.109-120，1985
陈国良，多处理机系统的互连网络，计算机研究与发展，Vol. 28，No.8，pp.30-50，1985
陈国良，计算机网络拓扑（上），计算机研究与发展，Vol. 22，No.10， pp.37-45，1985
陈国良，计算机网络拓扑（下），计算机研究与发展，Vol. 22，No.11， pp.7-15，1985
B.W.Wah and K.L.Chen，A partitioning approach to the design of selection networks， IEEE Trans. On-computers，Vol.c-23，No.3 pp.261-268，1984
陈国良，平衡递归选择算法，计算机研究与发展，Vol. 21，No.4，pp.7-17，1984
陈国良，并行排序算法，计算机工程与应用，pp.62-72，1984
B.W.Wah and K.L.Chen，Generalized parallel selection networks，The first International conf. On computers and applications，Beijing，China，pp.406-413，1984
数据流计算机，计算机研究与发展，Vol. 21，No.9，pp.34-46，1984
陈国良，平衡分组选择网络，计算机研究与发展，Vol. 21，No.11，pp.9-21，1984
个人荣誉
中国科学技术大学软件学院院长、国家高性能计算中心(合肥)主任陈国良教授，数十年来，他呕心沥血，勇攀科技高峰，培养了一大批优秀人才，为我国的科技发展和经济建设作出了重要贡献。
中国科学院院士、中国科技大学教授陈国良受聘南京邮电大学兼职教授暨院士学术报告会在学校科学会堂报告厅举行。副校长张顺颐教授主持仪式和报告会。副校长郑宝玉教授向陈国良教授颁发了兼职教授聘书。受聘后，陈院士将不定期到我校对计算机学科和信息与计算学科的学科建设、教学和科研等工作进行指导。
陈国良院士是我国计算机并行算法的理论、设计和应用方面杰出的科学家。最早提出并行算法研究的一系列新观点和新方法，形成了“并行算法—并行计算机—并行编程”一体化研究体系。在非数值并行算法和高性能计算及其应用的研究方面做出了系统的创造性成就和重大贡献。是全国100名名师之一。陈国良院士受聘我校兼职教授后，将会极大地促进计算机学科和信息与计算学科的发展。
研究成果
上世纪90年代中期，陈国良教授开展了高性能计算及其应用的研究，率先成立了我国第一个国家高性能计算中心，推进了我国该领域的发展；开发了自主版权的国产曙光并行机“用户开发环境”商用软件，为推广国产并行机应用做出了重要贡献。以陈国良为首席科学家的国家高性能计算中心(合肥)成立10年来，先后承担了国家863、国家自然科学基金等项目20多项，总经费达4000余万元。在国内高校率先开设了并行算法、并行体系结构等一系列高性能计算方面的专业课，形成了并行算法类教学体系，推动了我国高性能并行计算学科的研究与发展。
陈国良图册
陈国良教授将高性能计算的理论与方法应用于淮河流域的防洪、防污和水环境的治理。他与淮委合作研制开发的国家863重大项目安徽省防灾减灾智能信息与决策支持系统，在汛期对淮河中上游九大水库进行防洪调度，他负责研制的淮河流域防洪防污智能调度系统，以削峰、错峰调度为目标，将气象数值预报、水情信息的获取与分析、流域汇流计算与洪水预警预报、水库的联合调度等有机结合，在流域防洪调度决策工作中发挥了重要的作用。2003年夏，淮河流域遭受特大洪涝灾害。陈国良带领中国科大师生一行十多人跑到一线现场，为防洪调度决策提供高性能计算支持。为确保计算参数的准确性，他还与淮河水利委员会的技术人员一同到方邱湖、西大坝等防洪重点区域实地考察，提出了洪水演进计算方案，为这一区域的防洪调度工作提供了科学依据。
在陈国良眼里，教学永远是第一位的。30多年来，他一直站在教学一线。他培养的30多名博士生中，不少人已经成为学科带头人和技术骨干。1998年，陈国良荣获安徽省教育系统模范和安徽省模范教师称号，2003年，获得首届国家教学名师奖

人物语录
亦工亦农：农民出生，在农村长大，对农村情况非常的熟悉。陈老说，虽然自己经历了很多，做过很多职业，但自己骨子里却始终不该农民的本色。至于“工”，则是因为进过军工厂，当过工人。陈老说自己对工人也有深厚的感情，他觉得工人的感情十分的朴素真挚，人也很容易相处。
陈国良图册
亦文亦武：念了大学，还出过国深造，也算得上是一名知识分子。而且自1973年调入中国科学技术大学工作至今就一直在与“文”打交道。“武”方面是因为自己在大学毕业后参军在军队里呆了四五年时间，还到过福建前线。
亦强亦弱：进入大学，先是在电力系学强电，则是“强”，后来转学的无线电与计算机都是弱电压，所以称之为“弱”。
亦硬亦软：先是研究计算机硬件方面的知识，后来又研究了计算机软件方面的知识。
亦理亦实：既做理论，又实践。两手抓，两手都硬。
亦中亦西：虽然自己在国内外都没有取得博士学位，但是研究还是有一定的成就。经常到别的国家的高校进行学术交流，在中西两方面都有一定成果和影响。
陈老还与在场的所有听众分享了他的一些小小故事：学英语发音、教专业英语、在部队的种种经历……，他幽默诙谐的语言引来了一阵阵掌声。他还认真回答了互动环节中同学们的积极提问。
二十四个普通的汉字，堆砌的是陈老不平凡的一生。他的谦和、朴素、认真的品质尽现了大师风范，也是这次讲座座无虚席的理由。
个人影响
重奖成果中科院院士陈国良获得个人一等奖
中科院院士、中国科技大学教授、中国高性能计算机中心（合肥）主任陈国良教授申报的高性能并行计算及其应用项目获得个人首届“浪潮高性能计算创新奖”一等奖。陈国良教授及其开创的高性能并行计算及其应用，为推动中国高性能科学计算的发展做出了突出的贡献。在国际上，使我国的高性能并行算法达到国际先进水平。
高性能并行计算及其应用形成了并行计算理论--并行算法设计--并行计算实现--并行计算应用一套完整的学科研究体系，提出了并行机结构--并行算法--并行编程一体化的研究方法。高性能并行计算及其应用的重要内容涉及一些经典问题的并行算法研究，如网络与排序算法、图论算法、互联网络及其路由算法、VLS布局算法等，达到了国际领先水平。在国际上，高性能并行计算及其应用，将结构、算法和编程有机联系起来，解决了水科学、气象预报、石油开采钻探等实际科学工程计算问题，也在国际同行研究中独具特色。
陈国良图册
高性能并行计算及其应用目前在国内许多工程项目中得到广泛的应用，并取得了非常好的经济和社会效益。以高性能并行计算及其应用为基础的国家863重大项目安徽省防灾减灾智能信息与决策支持系统，这一系统将中尺度数值气象预报模式的计算结果作为水情预测和群库优化调度的决策参考依据，在汛期对淮河中上游九大水库进行防洪调度，取得了显着的社会和经济效益。
而淮河流域防洪防污智能调度系统，以削峰、错峰调度为目标，将气象数值预报、水情信息的获取与分析、流域汇流计算与洪水预警预报、水库的联合调度等有机结合，其研究结果作为预报的参考依据，在流域防洪调度决策工作中发挥了重要的作用。在战胜2004年夏季淮河遭受的超过50年一遇的特大洪水中，为政府部门防洪提供了及时有效的数据支持，为防洪决策提供了有力的支持。
众所周知，淮河流域是一个水患与污患并重的特殊流域，非汛期的防污、控污任务非常艰巨。以陈国良院士的并行计算为基础，利用计算网格、信息网格等网格计算技术，构建的流域数字化基础信息平台，开发水资源污染控制系统，为淮河污染治理提供了有力的决策支持。2004年夏，淮河遭受到10年一遇的特大污染，追踪污水团沿河顺流下洩的情况，为提前开闸泄污，消化与稀释污水团提供了高性能计算支持。

2. 高性能计算的优化

高性能计算(HighPerformanceComputing)是计算机科学的一个分支，主要是指从体系结构、并行算法和软件开发等方面研究开发高性能计算机的技术。
随着计算机技术的飞速发展，高性能计算机的计算速度不断提高，其标准也处在不断变化之中。
高性能计算简单来说就是在16台甚至更多的服务器上完成某些类型的技术工作负载。到底这个数量是需要8台，12台还是16台服务器这并不重要。在定义下假设每一台服务器都在运行自己独立的操作系统，与其关联的输入/输出基础构造都是建立在COTS系统之上。
简而言之，讨论的就是Linux高性能计算集群。
一个拥有20000台服务器的信息中心要进行分子动力学模拟无疑是毫无问题的，就好比一个小型工程公司在它的机房里运行计算流体动力学(CFD)模拟。解决工作负载的唯一限制来自于技术层面。接下来我们要讨论的问题是什么能直接加以应用。
量度(Metrics)
性能(Performance)，每瓦特性能(Performance/Watt)，每平方英尺性能(Performance/Squarefoot)和性能价格比(Performance/dollar)等，对于提及的20000台服务器的动力分子簇来说，原因是显而易见的。运行这样的系统经常被服务器的能量消耗(瓦特)和体积(平方英尺)所局限。这两个要素都被计入总体拥有成本(TCO)之列。在总体拥有成本(TCO)方面取得更大的经济效益是大家非常关注的。
议题的范围限定在性能方面来帮助大家理解性能能耗，性能密度和总体拥有成本(TCO)在实践中的重要性。
性能的定义
在这里把性能定义为一种计算率。例如每天完成的工作负载，每秒钟浮点运算的速度(FLOPs)等等。接下来要思考的是既定工作量的完成时间。这两者是直接关联的，速度=1/(时间/工作量)。因此性能是根据运行的工作量来进行测算的，通过计算其完成时间来转化成所需要的速度。
定量与定性
从定性的层面上来说这个问题很容易回答，就是更快的处理器，更多容量的内存，表现更佳的网络和磁盘输入/输出子系统。但当要在决定是否购买Linu集群时这样的回答就不够准确了。
对Linux高性能计算集群的性能进行量化分析。
为此介绍部分量化模型和方法技巧，它们能非常精确的对大家的业务决策进行指导，同时又非常简单实用。举例来说，这些业务决策涉及的方面包括：
购买---系统元件选购指南来获取最佳性能或者最经济的性能配置---鉴别系统及应用软件中的瓶颈
计划---突出性能的关联性和局限性来制定中期商业计划
Linux高性能计算集群模型包括四类主要的硬件组成部分。
(1)执行技术工作负载的计算节点或者服务器；
(2)一个用于集群管理，工作控制等方面的主节点；
(3)互相连接的电缆和高度普及的千兆以太网(GBE)；
(4)一些全局存储系统，像由主节点输出的NFS文件一样简单易用。
高性能计算机的衡量标准主要以计算速度(尤其是浮点运算速度)作为标准。高性能计算机是信息领域的前沿高技术，在保障国家安全、推动国防科技进步、促进尖端武器发展方面具有直接推动作用，是衡量一个国家综合实力的重要标志之一。
随着信息化社会的飞速发展，人类对信息处理能力的要求越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算机，而金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求迅猛增长。
一个简单量化的运用模型
这样一个量化的运用模型非常直观。在一个集群上对既定的工作完成的时间大约等同于在独立的子系统上花费的时间：
e
1、时间(Time)=节点时间(Tnode)+电缆时间(Tfabric)+存储时间(Tstorage)
Time = Tnode + Tfabric + Tstorag
这里所说的时间(Time)指的是执行工作量的完成时间，节点时间(Tnode)是指在计算节点上花费的完成时间，电缆时间(Tfabric)是指在互联网上各个节点进行互联的完成时间，而存储时间(Tstorage)则是指访问局域网或全球存储系统的完成时间。
计算节点的完成时间大约等同于在独立的子系统上花费的时间：
2、节点时间(Tnode)=内核时间(Tcore) +内存时间(Tmemory)
这里所说的内核时间(Tcore)指的是在微处理器计算节点上的完成时间。而内存时间(Tmemory)就是指访问主存储器的完成时间。这个模型对于单个的CPU计算节点来说是非常实用的，而且能很容易的扩展到通用双插槽(SMP对称多处理)计算节点。为了使第二套模型更加实用，子系统的完成时间也必须和计算节点的物理配置参数相关联，例如处理器的速度，内存的速度等等。
计算节点
图示中的计算节点原型来认识相关的配置参数。图示上端的是2个处理器插槽，通过前端总线(FSB-front side bus)与内存控制中心(MCH)相连。这个内存控制中心(MCH)有四个存储信道。同时还有一个Infiniband HCA通过信道点对点串行(PCIe)连接在一起。
像千兆以太网和串行接口(SATA)硬盘之类的低速的输入输出系统都是通过芯片组中的南桥通道(South Bridge)相连接的。在图示中，大家可以看到每个主要部件旁边都用红色标注了一个性能相关参数。这些参数详细的说明了影响性能(并非全部)的硬件的特性。它们通常也和硬件的成本直接相关。举例来说，处理器时钟频率(fcore)在多数工作负荷状态下对性能影响巨大。根据供求交叉半导体产额曲线原理，处理器速度越快，相应成本也会更高。
高速缓存存储器的体积也会对性能产生影响，它能减少主频所承载的工作负荷以提高其运算速度。处理器内核的数量(Ncores)同样会影响性能和成本。内存子系统的速度可以根据双列直插内存模块频率(fDIMM)和总线频率(fBus)进行参数化，它在工作负荷状态下也对性能产生影响。同样，电缆相互连接(interconnect fabric)的速度取决于信道点对点串行的频率。
而其他一些因素，比如双列直插内存模块内存延迟(DIMM CAS Latency)，存储信道的数量等都做为次要因素暂时忽略不计。
使用的性能参数
在图示中标明的6个性能参数中，保留四个和模型相关的参数。
首先忽略信道点对点串行的频率(fPCIe)，因为它主要影响的是电缆相互连接(interconnect fabric)速度的性能，这不在范围之列。
接下来注意一下双列直插内存模块频率(fDIMM)和总线频率(fBus)会由于内存控制中心(MCH)而限于固定比率。
使用的双核系统中，这些比率最具代表性的是4:5, 1:1, 5:4。一般情况下只会用到其中的一个。高速缓存存储器的体积非常重要。
在这个模型中保留这个参数。内核的数量(Ncores)和内核频率(fcore)也非常重要，保留这两个参数。
高性能计算(HPC)模型
这第二个模型的基本形式在计算机体系研究领域已经存在了很多年。
A普通模式是：
(3) CPI = CPI0 + MPI * PPM
这里的CPI指的是处理器在工作负荷状态下每执行一个指令的周期。CPI0是指内核CPI，MPI I则是指在工作负荷状态下高速缓存存储器每个指令失误的次数(注释：在高性能计算领域，MPI主要用于信息传递界面，在此处主要是指处理器构造惯例)，PPM是指以处理器时钟滴答声为单位对高速缓存存储器每个指令失误的次数的记录。第二和第三个方程式相互吻合。这第一个术语代表的是处理器，第二个术语代表的是内存。
可以直观的看到，假设每项工作下执行的P指令的工作负荷与代表处理器的频率的内核频率(每秒钟处理器运行周期的单位)再与方程式(3)相乘，就得到了方程式(4):
Tnode = (CPIo * P) * (1 / fcore) + (MPI * P) * PPM * (1 / fcore)
在这里要注意(CPIo * P)是以每项工作分配下处理器的运行周期为单位，对微处理器架构上运行的既定工作负荷通常是个恒量。因此把它命名为α。(处理器周期本身无法对时间进行测算，如果乘以内核的频率就可以得到时间的测算标准。因此Tnode在方程式(4)的右边)。
(MPI * P)也是同理。对于既定工作负荷和体系结构来说它也是个恒量，但它主要依赖于高速缓存存储器的体积。我们把它命名为M(MBcache)。而PPM是指访问主存的成本。对于既定的工作负荷来说，通常是个固定的数字C。PPM乘以内存频率和总线频率的比值(fcore / fBus)就从总线周期(bus cycles)转化成了处理器周期。因此PM = C * fcore / fBus。套入M(MBcache)就可以得到：
(5) Tnode = α * (1 / fcore) + M(MBcache) * (1 / fbus)
这个例子说明总线频率(bus frequency)也是个恒量，方程式(5)可以简化为方程式(6)：
(6) Tnode = α * (1 / fcore) + β
在这里Tcore = α * (1 / fcore)，而Tmemory = β(也就是公式2里的术语。我们把这些关键点关联在一起)。
首先在模型2里，公式5和公式6都有坚实的理论基础，因为经分析过它是如何从公式3推理而来(它主要应用于计算机体系理论)。其次，这个模型4个硬件性能参数的3个已经包括其中。还差一个参数就是内核数量(Ncores)。
用直观的方式来说明内核的数量，就是假设把N个内核看做是一个网络频率上运行的一个内核，称之为N*fcore。那么根据公式(6)我们大致可以推算出：
(7) Tcore ~ α / (N*fcore)
Tcore~ ( α / N) * (1 / fcore )
也可以把它写成：
(8) αN = ( α / N)
多核处理器的第一个字母Alpha可能是单核处理器的1/N次。
通过数学推算这几乎是完全可能的。
通常情况下我们是根据系统内核和总线频率(bus frequencies)来衡量计算机系统性能，如公式(5)所阐述的。但是公式(5)的左边是时间单位--这个时间单位指的是一项工作量的完成时间。这样就能更清楚的以时间为单位说明右侧的主系统参数。同时请注意内核的时钟周期τcore(是指每次内核运行周期所需的时间)也等同于(1 / fcore)。总线时钟(bus clock)周期也是同理。
(9) Tnode = αN * τcore + M(MBcache) * τBus
这个公式的转化也给了一个完成时间的模型，那就是2个基本的自变量τcore和τBus呈现出直线性变化。这对使用一个简单的棋盘式对照表对真实系统数据进行分析是有帮助的。

3. 建筑结构优化设计方法有哪些

一、并行算法

高层建筑结构的主要因素是结构的抵抗水平力的性能。因此，抗侧移性能的强弱成为高层建筑结构设计的关键因素，且是衡量建筑结构安全性、稳定性能的标准。
在建筑结构中，单位建筑结构面积的结构材料中，用于承担重力荷载的结构材料用量与房屋的层数近似成正比例线性关系。

二、高层体系优化法

建筑使用性能的不同，所以其对内部空间的要求不同。同时，高层建筑结构使用功能不同，则其平面布置也发生改变。通常，住宅和旅馆的客房等宜采用小空间平面布置方案；办公楼则适合采用大小空间均有；商场、饭店、展览厅以及工厂厂房等则适宜采用大空间的的平面布置；宴会厅、舞厅则要求结构内部没有柱子的大空间。

三、可靠度优化法

在非地震灾害区高层建筑结构的方案选型时，应优先选用抗风性能比较好的结构体系，也就是选用风压体型系数较小的建筑结构体系。这样可以在很大程度上减小风荷载作用下的扭转效应引起的结构变形和内力的影响。

4. 《并行算法的设计与分析》pdf下载在线阅读，求百度网盘云资源

《并行算法的设计与分析》（陈国良）电子书网盘下载免费在线阅读

资源链接：

链接：

提取码：qc2v

书名：并行算法的设计与分析

作者：陈国良

出版年份：2009-8

页数：813

内容简介：第3版在修订版的基础上进行了大幅度的修订，新增加3章、重写3章，改写8章。《普通高等教育十一五国家级规划教材·并行算法的设计与分析(第3版)》系统深入地讨论了计算机领域中诸多计算问题的并行算法的设计和分析方法。在着重介绍各种并行计算模型上的常用和典型的并行算法的同时，也力图反映本学科的最新成就、学科前沿和发展趋势。

全书共分二十章，包括基础篇4章(绪论、设计技术、前缀计算、排序和选择网络)，并行算法篇9章（排序和选择算法、分布式算法、并行搜索、选路算法、串匹配、表达式求值、上下文无关语言、图论算法、计算几何），数值并行算法篇3章（矩阵运算、数值计算、快速傅氏变换），理论篇4章（组合搜索、随机算法、VLSI计算理论、并行计算理论）。

《普通高等教育十一五国家级规划教材·并行算法的设计与分析(第3版)》取材丰富，内容系统深入，可作为高等学校计算机及其他信息类有关专业高年级本科生和研究生的教材，也可供从事计算机科学理论和并行算法研究的科技人员阅读参考。

《普通高等教育十一五国家级规划教材·并行算法的设计与分析(第3版)》初版曾获1994年度教育部高等学校优秀教材一等奖和1997年度国家级教学成果二等奖。

5. 通信算法工程师的工作职责描述

通信算法工程师负责通信物理层信号处理算法研究、开发与验证，用MATLAB或C语言搭建链路级或系统级仿真环境，评估通信物理层信号处理算法及通信系统的性能。下面是我为您精心整理的通信算法工程师的工作职责描述。

通信算法工程师的工作职责描述1

职责：

1. 研究无线通信信号处理关键技术;

2. 算法模型开发以及模块并行化设计和优化;

3. 算法模型浮点和定点开发、仿真;

4. 基于FPGA体系结构，对基带算法进行优化实现;

5. 仿真模型与标准源一致性验证、基带芯片系统一致性验证/系统调度调试。

任职要求：

1. 通信、信号处理、计算机或相关专业，工作3年及以上;

2. 熟悉通信和信号处理理论;

3. 熟悉Matlab、Verilog HDL语言;

4. 能够深入理解通信原理、数字信号处理原理，熟悉CW、FM、BPSK、QPSK、16QAM等调制方式，熟练使用仿真工具(MATLAB/C),simulink;

5. 有相关算法设计、仿真建模经验者优先;

6. 具有相关经验者优先。

通信算法工程师的工作职责描述2

职责：

1、对蓝牙、wifi或者其他无线蜂窝网、物联网等通信系统进行算法研究与数学仿真;

2、对通信目标、干扰、杂波和信道模拟进行算法研究与数学仿真;

3、为系统实现提供理论依据，并能将理论计算转换为物理实现;

4、配合芯片设计工程师完成算法设计与调试以及方案编写工作。

任职要求：

1. 电子信息、通信、计算机通信、应用数学或相关专业硕士及以上学历;

2. 熟练掌握通信和信号处理专业的基础知识;

3. 熟悉matlab/c/c++等物理层仿真工具;

4. 掌握数字基带通信算法、调制、解调、同步、均衡、信道解码等算法者优先;

5. 熟悉蓝牙、wifi、无线蜂窝网等若干标准数字通信协议之一者优先。

通信算法工程师的工作职责描述3

职责：

1、主要负责蓝牙芯片中的调制解调模块的性能分析与仿真;

2、为数字设计部门提供定点化实现的模型，指导设计与验证;

3、分析芯片的调制解调性能指标，指导优化工作。

职位要求：

1、硕士或博士学历，通信、电子、信号处理等相关专业;

2、有扎实的数字通信和信号处理理论基础，熟悉通信物理层信号处理，掌握调制解调常用算法和建模;

3、具有bluetooth、WLAN等无线通信物理层算法设计经验者优先;

4、熟悉射频架构与系统、熟悉天线系统设计者优先;

5、能熟练使用Matlab或者C/C++进行算法分析和仿真;

6、能熟练使用常见仪器进行信号的产生与采集，并进行性能分析。

通信算法工程师的工作职责描述4

职责：

1. 负责通信系统物理层方案设计、功能测试和性能优化，系统调试;

2. 用Verilog HDL语言进行通信系统物理层模块的开发;

3. 用matlab和C进行无线通信系统算法性能仿真和优化;

岗位要求：

1. 电子/通信类相关专业硕士及以上;

2. 熟悉无线通信原理、数字信号处理算法，熟悉无线通信物理层关键技术;

3. 熟练应用VerilogHDL/SystemVerilog等开发语言;

4. 熟练掌握FPGA开发、调试、验证流程和方法，具备独立分析解决问题能力;

5. 熟练掌握C/C++语言或者matlab进行仿真验证;

6. 有算法类FPGA实现经验者优先。

通信算法工程师的工作职责描述5

职责：

1、负责无线电通信相关的各种信号的检测、识别、参数估计等算法的仿真、设计与实现;

2、开展大数据数据挖掘、人工智能等算法研究与软件设计、开发;

3、使用编程语言进行算法的实现，并进行算法跨平台移植和性能优化，依照设计规范编写研发过程的详细文档。

任职要求：

1、本科及以上学历，计算机科学与技术、软件工程等相关专业;

2、对信号处理理论有较深入的掌握和相关实践经历，掌握人工智能等大数据挖掘算法技术，有信号处理系统实际开发经验的优先;

3、精通CC++Matlab编程，会python编程更佳;

4、熟悉Linux平台，对数据结构和算法设计有较深刻的理解;

6. 计算机体系结构国家重点实验室（中国科学院计算技术研究所）的研究方向

计算机体系结构国家重点实验室设立五个主要研究方向，即高端计算机体系结构和设计方法、微体系结构、编译和编程、VLSI与容错计算、非传统计算机体系结构。围绕五个研究方向，结合实验室现有的基础和未来的发展规划，下设五个实验室（先进计算机系统实验室、微体系结构实验室、编译与编程实验室、集成电路实验室、并行算法实验室）和四个研究组（处理器设计研究组、操作系统研究组、存储体系结构研究组、量子计算研究组）。
以计算机系统结构的学科优势为依托，围绕超并行计算机系统和多核处理器开展基础研究和高技术前沿探索。主要研究方向包括：高性能计算机系统设计理论，微处理器设计的新原理、新结构和新方法。通过研究新型高性能计算机的体系结构，面向新型体系结构的模拟仿真、操作系统、应用建模和优化技术，高端处理器的微体系结构，跨平台多系统虚拟化技术、大规模片上多核并行处理器设计方法、可扩展可重构处理器设计方法，并行程序设计模型、语言、编译，先进微处理器的代码生成与优化，计算机体系结构及微体系结构可靠性设计，多核处理器的自测试、自诊断、自修复设计，VLSI测试和设计验证方法，为高性能计算机系统和高性能处理器设计领域的发展持续提供创新方法和关键技术。解决本领域国家急待解决的重大关键问题，推动计算机系统结构学科的科技进步。

7. 多核处理器中的“核”指的是甚么

所谓多核处理器，简单说就是在一块CPU基板上集成多个处理器核心，通过并行总线将各处理器核心连接起来的，工作速度快

8. 超算神威太湖之光仅仅跑分强劲

11月14日，新一期全球超级计算机500强（TOP500）榜单在美国盐湖城公布，中国神威太湖之光蝉联冠军，中国天河二号屈居次席。除神威太湖之光和天河二号外，中国也在TOP500上榜总数上与美国持平。

正如天河2号获得6连冠后却因为使用了Intel公司的至强Phi计算卡而被一些别有用心之徒百般诋毁，在神威太湖之光实现了包括处理器在内的所有核心部件全部国产化后，网络上又传来了不和谐的音符——有媒体认为，神威太湖之光的“可用性能与理论性能相去甚远”，并以“HPL效率是74.16%”，“HPCG测试只有0.371PFLOPS，效率则只有0.3%，这比天河2号的1.1%还要低”来质疑神威太湖之光。

言下之意，就是神威太湖之光的可用性能与理论性能相去甚远，只能用来跑分,根本就用不来。那么什么是Linpack和HPCG，神威太湖之光真的只能用来跑分么？

什么是Linpack？

上面媒体的一段话引用了几个测试的结果，并以74.16%、0.3%、1.1%等实际数据来说明中国超算可用性能与理论性能相去甚远，非常具有迷惑性。笔者简单的就Linpack测试和HPCG测试做个简要说明。

Linpack指的是矩阵求解，在科学计算中把实际问题抽象成方程组，然后离散成矩阵计算矩阵倍，代表的是传统的以矩阵为基础的数值计算方法，常用于理科和工科的数值求解和数值模拟。那么为何超算大多以Linpack测试成绩论高低呢？原因就在于很多科学计算模型都包含了矩阵求解，比如解微分方程，因此在超算任务中具有不可取代性——像辐射流体力学就是求解微分方程；而核爆炸模拟其实就是辐射流体力学+蒙特卡洛预测；雷达截面的矩量法计算也有赖于解微分方程；业内专家还告诉笔者“现在的深度学习算法的核心算法与Linpack的是一个”.......因此，linpack测试并非是一些跑分软件那样：不服跑个分，而是真正具有实战价值的测试。

Linpack效率指的是实际计算时的次数除以理论计算，举例来说：

神威太湖之光的理论性能为125.4 PFlops，Linpack浮点性能93PFlops，Linpack效率为74.16%。

天河2号的理论性能54.9Pflops，Linpack双精浮点性能33.8PFlops, Linpack效率61.5%

泰坦的理论性能27 Pflops，Linpack双精浮点性能17.6 PFlops，Linpack效率为65.19%。

红杉的理论性能为20.1Pflops，Linpack测试双精浮点性能为16.3P，Linpack效率高达81%。

这里要说明一点，就是超算的规模越大，Linpack测试效率的提高就越难——规模大到如一定程度，维持一段时间的稳定运行是非常难的，何况是太湖神威之光93PFlops的高性能。而神威太湖之光在Linpack测试性能是美国超算泰坦5倍以上的情况下，Linpack测试效率大幅领先于泰坦，这就非常可贵了！至于红杉的Linpack测试效率为何会高达81%，笔者会在下文做讲解。

另外还要说明的的一点，天河2号Linpack效率低于美国泰坦的原因——一方面是因为天河2号的规模更大，影响了效率；另一方面是因为天河2号采用的是Intel的至强PHI计算卡，而该计算卡就以理论性能强大，但稳定性能相对偏低着称——同样使用E5和至强PHI计算卡的美国超算Stampede，不仅运算能力仅为天河2号的五分之一左右（未升级前，升级后为三分之一），整机效率比天河2号更低，只有60.7%。

总而言之，以神威太湖之光的规模，取得Linpack效率达到74.16%已经非常厉害了，在采用异构计算的超算中属于顶尖水平，大家千万不要被一些无良媒体误导了。

异构超算在Linpack效率上天然低于同构超算

对于笔者认为的神威太湖之光Linpack效率达到74.16%属于顶尖水平的结论，也许某些人会提出异议，比如会列举出TOP500排名第四的美国超算红杉，红杉的理论性能为20.1Pflops，Linpack测试双精浮点性能为16.3P，Linpack效率高达81%。

那么为何红杉的Linpack效率如此之高呢？原因就在于和神威太湖之光、天河2号、泰坦等采用异构计算的超算不同，红杉采用的依旧是传统的同构计算技术。

超算可以分为两种架构。采用同构计算架构的超算只需要单纯使用一种处理器，在同一类型的处理器上执行计算任务。举例来说，中国超算神威蓝光采用了申威1600，美国的米拉和红杉采用了PowerPC-A2处理器，这些超算都没有采用GPU或其它类型的众核芯片等加速器。因此，红杉、米拉、神威蓝光都是采用同构计算架构超算的代表。

异构计算使用CPU、GPGPU、GPDSP、ASIC、FPGA和其它类型的众核处理器来处理不同类型的计算任务。采用异构计算架构的超算会使用至少2种类型的处理器，其中异构计算架构中通用CPU负责逻辑复杂的调度和串行任务，加速器负责并行度高的任务，实现计算加速。具体来说，采用异构计算架构的超算在运算中既使用处理器，又使用GPU或众核芯片等加速器。以中国天河2号和神威太湖之光为例，天河2号有16000个计算节点，每个节点由2片Intel-E5-2692和3片Xeon-Phi组成，共使用了32000片Intel-E5-2692和48000片Xeon-Phi。神威太湖之光虽然只采用了申威26010众核处理器，看起来像同构超算，但由于申威26010集成了4个管理核心和256个运算核心，一片申威26010就是一个计算节点，管理核心执行类似于天河计算节点中E5的功能，而256个运算核心则发挥了类似于Xeon-Phi的加速作用，因此也属于异构超算。

由于异构编程需要提前预知模型并做特殊优化，而且很多应用未必适合异构模型，使得采用异构计算的超算对于编程和优化的要求更高——一位业内人士就评价，“异构编程太劳心劳力了，高端人才的精力应该用在关注自己的专业上来，而不是当代码狗......年纪大一点的科研人员就不愿自己编代码了，一些年青但不愿劳思费神的科研人员也不愿意编写异构代码......”。因此，采用异构计算的超算在Linpack效率上天然低于采用同构计算的超算。

那么既然同构超算在编程方便和效率上具有优势，为何全球超算都转向异构计算呢？原因就在于，这样超算可以获得更高的性能，之前抱怨异构编程太劳心劳力的业内朋友就表示，“超算方面众核是近些年的趋势，虽然编程劳心费力，但是在性能面前我们还是得忍，相同成本谁不想性能更好，科研对性能的需求可以用饥渴来形容”。

唠唠叨叨说这么多，主要是为了打一个补丁，防止别有用心之徒用美国同构超算和中国异构超算比Linpack效率，进而抹黑中国超算Linpack效率低下,何况前者的规模远远小于后者。

什么是HPCG

目前，评价超算的指标有不少，除了测试Linpack的TOP500,还有强调的是内存带宽和延迟的Graph500，Graph500对全系统的内存带宽和内存延迟有很高的要求，而计算能力本身已经不影响测试结果了，这种测试偏向于访存密集型运算，在大数据分析等场景下比较有意义。

除Graph500之外，还有强调节能环保的Green500。那么，在Graph500和Green500排行榜上，神威太湖之光的表现如何呢？Graph500名列第二，Green500名列第三。

不过，也有工程师认为无论是TOP500，还是Graph500都过于极端——TOP500过于强调计算性能，Graph500过于强调带宽和延迟等因素，因此采用了新的标准HPCG。

HPCG是美国正在推的一个新测试标准，目前还没有被业界广泛接受，HPCG代表了共轭梯度迭代法的一类应用的计算和通信特征，仅仅代表了某一个方面的特征，并不能涵盖超算的所以特征。HPCG比较重视计算性能和通信的平衡，如果计算性能和通信不是一个量级的，即便两项指标分开看都很强，但也会导致HPCG偏低的结果。

另外，HPCG也存在一些缺陷，据业内人士介绍，“由于针对具体硬件结构修改共轭梯度算法很容易得到高得多的成绩，为了避免这一点，HPCG代码目前还在锁定状态，不准修改算法本身。但在使用中，用户是会修改算法的，这使得这一测试会脱离实际”。

在某媒体的报道中，“但在更具实战意义的HPCG性能（高性能共轭梯度基准测试）中，太湖之光只有0.371PFLOPS，效率则只有0.3%，这比天河2号的1.1%还要低”，0.3%和1.1%的数据和该媒体的这种表述很容易让人误认为，天河2号和神威太湖之光的HPCG测试结果非常差，但实际上，在HPCG测试排行榜中，天河2号位列第一，而神威太湖之光为列第三，这其实是很不错的成绩。而且一位业内人士猜测，“也许神威还没有好好进行优化”。

必须指出的是，神威太湖之光的HPCG低于天河2号，并非是因为计算性能或在通信上不如天河2号，恰恰相反，在计算性能上神威太湖之光大幅领先于天河2号，而在互联网络方面，神威太湖之光也不逊色于天河2号——虽然在带宽上有差距，但在实际应用中，带宽指标比较延迟等指标而言并不太重要（延时指的是1个CPU把自己的计算结果交给其他CPU，如及时送到，其他CPU就能继续计算，否则就要等待了，芯片、链路、协议等都会影响延时）。因此，神威太湖之光在HPCG上逊色于天河2号，原因就在于计算性能实在是过于强悍，以至于产生了计算和通信上的不平衡，并最终导致自HPCG上逊色于天河2号。

神威太湖之光能否用得起来？

对于神威太湖之光根本用不起来的说法，其实只要关注新闻，就能明白这是彻头彻尾的谎言。凭借“神威?太湖之光”强悍的计算性能，国内科研单位在天气气候、航空航天、海洋科学、新药创制、先进制造、新材料等重1要领域取得了一批应用成果——由中科院软件所、清华大学和北京师范大学申报的“全球大气非静力云分辨模拟”课题，由国家海洋局海洋一所和清华大学申报的“全球高分辨率海浪数值模式”课题，由中科院网络中心申报的“钛合金微结构演化相场模拟”课题分别入围了戈登贝尔奖，使中国在该领域实现零的突破。戈登贝尔奖是高性能计算应用领域的最高奖，神威太湖之光用事实说明，完全自主研发的超算不仅可以用起来，还能用的好。

另外，笔者介绍几个神威太湖之光的具体应用：

应用一：基于国产平台的国产地球系统模式。

“科普中国”是中国科协携同社会各方利用信息化手段开展科学传播的科学权威品牌。

本文由科普中国融合创作出品，转载请注明出处。

9. pso的并行算法

与大多数随机优化算法相似，当适应值评价函数的计算量比较大时，PSO算法的计算量会很大。为了解决该问题，研究者提出了并行PSO算法。与并行遗传算法类似，并行PSO算法也可以有三种并行群体模型：主从并行模型、岛屿群体模型和邻接模型。
Schutte采用同步实现方式，在计算完一代中所有点的适应值之后才进入下一代。这种并行方法虽然实现简单，但常常会导致并行效率很差。故而有人提出异步方式的并行算法，可以在对数值精度影响不大的条件下提高PSO算法的并行性能。这两种方式采用的都是主从并行模型，其中异步方式在求解上耦合性更高，更容易产生通信瓶颈。
Baskar提出一种两个子种群并行演化的并发PSO算法，其中一个子种群采用原始的PSO算法，另一个子种群采用基于适应值距离比的PSO算法（FDR-PSO）；两个子种群之间频繁地进行信息交换。而El-Abd研究了在子种群中采用局部邻域版本的协作PSO算法，并研究了多种信息交换的方式及其对算法性能的影响。黄芳提出一种基于岛屿群体模型的并行PSO算法，并引入一种集中式迁移策略，提高了求解效率，同时改善了早收敛现象。
Li提出延迟交换信息的并行算法属于邻接模型，该算法可以提高速度，但可能使得解的质量变差。

10. 并行处理的并行算法的基本策略

在并行处理技术中所使用的算法主要遵循三种策略：
1．分而治之法：也就是把多个任务分解到多个处理器或多个计算机中，然后再按照一定的拓扑结构来进行求解。
2．重新排序法：分别采用静态或动态的指令词度方式。
3．显式/隐式并行性结合：显式指的是并行语言通过编译形成并行程序，隐式指的是串行语言通过编译形成并行程序，显式/隐式并行性结合的关键就在于并行编译，而并行编译涉及到语句、程序段、进程以及各级程序的并行性。
二、并行性描述定义
利用计算机语言进行并行性描述的时候主要有三种方案：
1．语言扩展方案：也就是利用各种语言的库函数来进行并行性功能的扩展。
2．编译制导法：也称为智能编译，它是隐式并行策略的体现，主要是由并行编译系统进行程序表示、控制流的分析、相关分析、优化分析和并行化划分，由相关分析得到方法库管理方案，由优化分析得到知识库管理方案，由并行化划分得到程序重构，从而形成并行程序。
3．新的语言结构法：这是显式并行策略的体现。也就是建立一种全新的并行语言的体系，而这种并行语言通过编译就能直接形成并行程序。
三、并行软件
并行软件可分成并行系统软件和并行应用软件两大类，并行系统软件主要指并行编译系统和并行操作系统，并行应用软件主要指各种软件工具和应用软件包。在软件中所牵涉到的程序的并行性主要是指程序的相关性和网络互连两方面。
1．程序的相关性：程序的相关性主要分为数据相关、控制相关和资源相关三类。
数据相关说明的是语句之间的有序关系，主要有流相关、反相关、输出相关、I/O相关和求知相关等，这种关系在程序运行前就可以通过分析程序确定下来。数据相关是一种偏序关系，程序中并不是每一对语句的成员都是相关联的。可以通过分析程序的数据相关，把程序中一些不存在相关性的指令并行地执行，以提高程序运行的速度。
控制相关指的是语句执行次序在运行前不能确定的情况。它一般是由转移指令引起的，只有在程序执行到一定的语句时才能判断出语句的相关性。控制相关常使正在开发的并行性中止，为了开发更多的并行性，必须用编译技术克服控制相关。
而资源相关则与系统进行的工作无关，而与并行事件利用整数部件、浮点部件、寄存器和存储区等共享资源时发生的冲突有关。软件的并行性主要是由程序的控制相关和数据相关性决定的。在并行性开发时往往把程序划分成许多的程序段——颗粒。颗粒的规模也称为粒度，它是衡量软件进程所含计算量的尺度，一般用细、中、粗来描述。划分的粒度越细，各子系统间的通信时延也越低，并行性就越高，但系统开销也越大。因此，我们在进行程序组合优化的时候应该选择适当的粒度，并且把通讯时延尽可能放在程序段中进行，还可以通过软硬件适配和编译优化的手段来提高程序的并行度。
2．网络互连：将计算机子系统互连在一起或构造多处理机或多计算机时可使用静态或动态拓扑结构的网络。静态网络由点一点直接相连而成，这种连接方式在程序执行过程中不会改变，常用来实现集中式系统的子系统之间或分布式系统的多个计算结点之间的固定连接。动态网络是用开关通道实现的，它可动态地改变结构，使之与用户程序中的通信要求匹配。动态网络包括总线、交叉开关和多级网络，常用于共享存储型多处理机中。在网络上的消息传递主要通过寻径来实现。常见的寻径方式有存储转发寻径和虫蚀寻径等。在存储转发网络中以长度固定的包作为信息流的基本单位，每个结点有一个包缓冲区，包从源结点经过一系列中间结点到达目的结点。存储转发网络的时延与源和目的之间的距离(段数)成正比。而在新型的计算机系统中采用虫蚀寻径，把包进一步分成一些固定长度的片，与结点相连的硬件寻径器中有片缓冲区。消息从源传送到目的结点要经过一系列寻径器。同一个包中所有的片以流水方式顺序传送，不同的包可交替地传送，但不同包的片不能交叉，以免被送到错误的目的地。虫蚀寻径的时延几乎与源和目的之间的距离无关。在寻径中产生的死锁问题可以由虚拟通道来解决。虚拟通道是两个结点间的逻辑链，它由源结点的片缓冲区、结点间的物理通道以及接收结点的片缓冲区组成。物理通道由所有的虚拟通道分时地共享。虚拟通道虽然可以避免死锁，但可能会使每个请求可用的有效通道频宽降低。因此，在确定虚拟通道数目时，需要对网络吞吐量和通信时延折衷考虑。
四、硬件技术在硬件技术方面主要从处理机、存储器和流水线三个方面来实现并行。
1．处理机：主要的处理机系列包括CISC、RISC、超标量、VL1W、超流水线、向量以及符号处理机。
传统的处理机属于复杂指令系统计算(CISC)结构。指令系统大，指令格式可变，通用寄存器个数较少，基本上使用合一的指令与数据高速缓存，时钟频率较低，CPI较高，大多数利用ROM 实现微码控制CPU，而当今的精简指令系统计算(RISC)处理机指令格式简单规范，面向寄存器堆，采用重叠寄存器窗口技术，具有多级Cache，多种流水线结构，强调编译优化技术，时钟频率快，CPI低，大多数用硬连线控制CPU。
CISC或RISC标量处理机都可以采用超标量或向量结构来改善性能。标量处理机在每个周期内只发射一条指令并要求周期只完成从流水线来的一条指令。而在超标量处理机中，使用了多指令流水线，每个周期要发射多条指令并产生多个结果。由于希望程序中有许多的指令级并行性，因此超标量处理机更要依靠优化编译器去开发并行性。
VL1W 结构是将水平微码和超标量处理这两种普遍采用的概念结合起来产生的。典型的超长指令字VL1W 机器指令字长度有数百位。在VLlW 处理机中，多个功能部件是并发工作的，所有的功能部件共享使用公用大型寄存器堆，由功能部件同时执行的各种操作是用VL1W 指令来同步的，每条指令可指定多个操作。VL1W 指令译码比超标量指令容易，但在开发不同数量的并行性时总是需要不同的指令系统。VL1W 主要是开发标量操作之间的并行性，它的成功与否很大程度取决于代码压缩的效率，其结构和任何传统的通用处理机完全不兼容。即使同一结构的不同实现也不大可能做到彼此二进制兼容。VL1W 的主要优点在于它的硬件结构和指令系统简单，在科学应用领域可以发挥良好作用，但在一般应用场合可能并不很好用。
向量处理机对数组执行向量指令，每条指令都包含一串重复的操作。它是专门设计用来完成向量运算的协处理机，通常用于多流水线超级计算机中。向量处理机可以利用循环级展开所得的并行性，它可以附属于任何标量处理机。专用的向量流水线可以在循环控制中消除某些软件开销，它的效果与优化编译器将顺序代码向量化的性能很有关系。从理论上说，向量机可以具有和超标量处理机同样的性能，因此可以说向量机的并行性与超标量机相同。
符号处理机是为AI应用而研制的，已用于定理证明、模式识别、专家系统、知识工程、文本检索、科学以及机器智能等许多应用领域。在这些应用中，数据和知识表达式、原语操作、算法特性、存储器、I/0和通信以及专用的结构特性与数值计算是不一样的，符号处理机也称为逻辑程序设计语言处理机、表处理语言处理机或符号变换器。符号处理并不和数值数据打交道，它处理的是逻辑程序、符号表、对象、剧本、黑板、产生式系统、语义网络、框架以及人工神经网络等问题。这些操作需要专门的指令系统，通常不使用浮点操作。
2．存储器：存储设备按容量和存取时间从低到高可分为寄存器、高速缓存、主存储器、磁盘设备和磁带机五个层次。较低层存储设备与较高层的相比，存取速度较快、容量较小，每字节成本较高、带宽较宽、传输单位较小。
存放在存储器层次结构中的信息满足三个重要特性：包含性、一致性和局部性。所谓包含性，指的是一个信息字的复制品可以在比它高的所有层中找到，而如果在高层中丢失了一个信息，则在比它低的所有层中此信息也将丢失。CPU 和高速缓存之间的信息传送是按字进行的，高速缓存和主存储器间用块作为数据传送的基本单位，主存和磁盘之间又是以页面为基本单位来传送信息的，而在磁盘和磁带机之间的数据传送则是按文件级处理的。所谓一致性要求的是同一个信息项与后继存储器层次上的副本是一致的。也就是说，如果在高速缓存中的一个字被修改过，那么在所有更高层上该字的副本也必须立即或最后加以修改。为了尽量减少存储器层次结构的有效存取时间，通常把频繁使用的信息放在较低层次。维护存储器层次结构一致性一般有两种策略，一种是写直达策略，也就是如果，则立即在所有高层存储器中进行同样的修改；另一种是写回策略，也就是在较低层中对信息进行修改后并不立即在高层存储器中进行相应的修改，而是等到该信息将被替换或将从低层中消失时才在所有高层存储器中进行同样的修改。甚至可以将写直达和写回策略的优点结合起来，形成写一次协议来维护存储器的一致性。
存储器的层次结构是在一种程序行为——访问的局部性基础上开发出来的。主要有时间局部性、空间局部性和顺序局部性。时间局部性指的是最近的访问项很可能在不久的将来再次被访问。它往往会引起对最近使用区域的集中访问。空间局部性表示一种趋势，指的是一个进程访问的各项其地址彼此很近。顺序局部性指的是在典型程序中，除非是转移指令，一般指令都是顺序执行的。
在多处理机系统中一般使用共享存储器。对共享存储器的组织一般采用低位交叉、高位交叉、高低位交叉三种方法。低位交叉又称并发存取，它是把相邻的地址放在相邻的存储器模块中，在访问时不容易产生冲突，并行性较好，但可靠性容错能力和扩展性均较差。高位交叉又称允许同时存取，它是把相邻地址分配到同一个存储器模块中，可靠性、容错能力和扩展性均较强，但访问时易产生冲突，带宽较窄，并行性较差。高低位交叉存取又称C—s存取，它是结合了高位交叉和低位交叉两种方法的优点，既解决了冲突问题，又能有效地提高容错能力和并行性，最适合于向量处理机结构。
3．流水线：流水线技术主要有指令流水线技术和运算流水线技术两种。
指令流水线技术主要目的是要提高计算机的运行效率和吞吐率。它主要通过设置预取指令缓冲区、设置多功能部件、进行内部数据定向、采取适当的指令调度策略来实现。指令调度的策略主要有静态和动态两种，静态词度是基于软件的，主要由编译器完成，动态词度是基于硬件的，主要是通过硬件技术进行。
运算流水线主要有单功能流水线和多功能流水线两种。其中多功能流水线又可分为静态流水线和动态流水线。静态流水线技术只用来实现确定的功能，而动态流水线可以在不同时间重新组合，实现不同的功能，它除流线连接外，还允许前馈和反馈连接，因此也称为非线性流水线。这些前馈和反馈连接使得进入流水线的相继事件的词度变得很不简单。由于这些连接，流水线不一定从最后一段输出。根据不同的数据流动模式，人们可以用同一条流水线求得不同功能的值。
并行计算机发展简述
40 年代开始的现代计算机发展历程可以分为两个明显的发展时代：串行计算时代、并行计算时代。每一个计算时代都从体系结构发展开始，接着是系统软件（特别是编译器与操作系统）、应用软件，最后随着问题求解环境的发展而达到顶峰。创建和使用并行计算机的主要原因是因为并行计算机是解决单处理器速度瓶颈的最好方法之一。
并行计算机是由一组处理单元组成的，这组处理单元通过相互之间的通信与协作，以更快的速度共同完成一项大规模的计算任务。因此，并行计算机的两个最主要的组成部分是计算节点和节点间的通信与协作机制。并行计算机体系结构的发展也主要体现在计算节点性能的提高以及节点间通信技术的改进两方面。
60 年代初期，由于晶体管以及磁芯存储器的出现，处理单元变得越来越小，存储器也更加小巧和廉价。这些技术发展的结果导致了并行计算机的出现，这一时期的并行计算机多是规模不大的共享存储多处理器系统，即所谓大型主机（Mainframe）。IBM360 是这一时期的典型代表。
到了60 年代末期，同一个处理器开始设置多个功能相同的功能单元，流水线技术也出现了。与单纯提高时钟频率相比，这些并行特性在处理器内部的应用大大提高了并行计算机系统的性能。伊利诺依大学和Burroughs 公司此时开始实施IlliacIV 计划，研制一台64 个CPU 的SIMD 主机系统，它涉及到硬件技术、体系结构、I/O 设备、操作系统、程序设计语言直至应用程序在内的众多研究课题。不过，当一台规模大大缩小了的16CPU 系统终于在1975 年面世时，整个计算机界已经发生了巨大变化。
首先是存储系统概念的革新，提出虚拟存储和缓存的思想。IBM360/85 系统与360/91是属于同一系列的两个机型，360/91 的主频高于360/85，所选用的内存速度也较快，并且采用了动态调度的指令流水线；但是，360/85 的整体性能却高于360/91，唯一的原因就是前者采用了缓存技术，而后者则没有。
其次是半导体存储器开始代替磁芯存储器。最初，半导体存储器只是在某些机器被用作缓存，而CDC7600 则率先全面采用这种体积更小、速度更快、可以直接寻址的半导体存储器，磁芯存储器从此退出了历史舞台。与此同时，集成电路也出现了，并迅速应用到了计算机中。元器件技术的这两大革命性突破，使得IlliacIV 的设计者们在底层硬件以及并行体系结构方面提出的种种改进都大为逊色。
1976 年CRAY-1 问世以后，向量计算机从此牢牢地控制着整个高性能计算机市场15 年。CRAY-1 对所使用的逻辑电路进行了精心的设计，采用了我们如今称为RISC 的精简指令集，还引入了向量寄存器，以完成向量运算。这一系列全新技术手段的使用，使CRAY-1 的主频达到了80MHz。
微处理器随着机器的字长从4 位、8 位、16 位一直增加到32 位，其性能也随之显着提高。正是因为看到了微处理器的这种潜力，卡内基- 梅隆大学开始在当时流行的DECPDP11 小型计算机的基础上研制成功一台由16 个PDP11/40 处理机通过交叉开关与16 个共享存储器模块相连接而成的共享存储多处理器系统C.mmp。
从80 年代开始，微处理器技术一直在高速前进。稍后又出现了非常适合于SMP 方式的总线协议，而伯克利加州大学则对总线协议进行了扩展，提出了Cache 一致性问题的处理方案。从此，C.mmp 开创出的共享存储多处理器之路越走越宽；现在，这种体系结构已经基本上统治了服务器和桌面工作站市场。
同一时期，基于消息传递机制的并行计算机也开始不断涌现。80 年代中期，加州理工成功地将64 个i8086/i8087 处理器通过超立方体互连结构连结起来。此后，便先后出现了Intel iPSC 系列、INMOS Transputer 系列，Intel Paragon 以及IBM SP 的前身Vulcan 等基于消息传递机制的并行计算机。
80 年代末到90 年代初，共享存储器方式的大规模并行计算机又获得了新的发展。IBM将大量早期RISC 微处理器通过蝶形互连网络连结起来。人们开始考虑如何才能在实现共享存储器缓存一致的同时，使系统具有一定的可扩展性（Scalability）。90 年代初期，斯坦福大学提出了DASH 计划，它通过维护一个保存有每一缓存块位置信息的目录结构来实现分布式共享存储器的缓存一致性。后来，IEEE 在此基础上提出了缓存一致性协议的标准。
90 年代以来，主要的几种体系结构开始走向融合。属于数据并行类型的CM-5 除大量采用商品化的微处理器以外，也允许用户层的程序传递一些简单的消息；CRAY T3D是一台NUMA 结构的共享存储型并行计算机，但是它也提供了全局同步机制、消息队列机制，并采取了一些减少消息传递延迟的技术。
随着商品化微处理器、网络设备的发展，以及MPI/PVM 等并行编程标准的发布，机群架构的并行计算机出现。IBM SP2 系列机群系统就是其中的典型代表。在这些系统中，各个节点采用的都是标准的商品化计算机，它们之间通过高速网络连接起来。
今天，越来越多的并行计算机系统采用商品化的微处理器加上商品化的互连网络构造，这种分布存储的并行计算机系统称为机群。国内几乎所有的高性能计算机厂商都生产这种具有极高性能价格比的高性能计算机，并行计算机就进入了一个新的时代，并行计算的应用达到了前所未有的广度和深度。
并行计算机随着微处理芯片的发展，已经进入了一个新时代。目前并行计算机的性能已经突破20PFLOPS，正在向百亿亿次发展。我国并行计算机的研制已经走在世界前列。2003年由联想公司生产的深腾6800 在2003 年11 月世界TOP500 排名中位列第14 名，2004 年曙光公司生产的曙光4000A 在2004 年6 月的世界TOP500 排名中位列第10 名，这是我国公开发布的高性能计算机在世界TOP500 中首次进入前十名，这标志着我国在并行计算机系统的研制和生产中已经赶上了国际先进水平，为提高我国的科学研究水平奠定了物质基础。2013年国际超级计算机大会最新发布的世界超级计算机500强排名中，国防科技大学研制的天河二号超级计算机系统，以峰值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双精度浮点运算的优异性能位居榜首。
从TOP500 的前10 名来看，美国仍然是超级计算机的最大拥有者。按照世界TOP500 的统计数据来分析，美国在计算能力上占有近全世界的一半，在TOP500 中的所有计算机中拥有的数量超过50%。