yly/hpc-lab-code
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
hpc-lab-code/work/MPI_OpenMP实验分析报告.md
yly 45d06345cb save results
2026-01-22 04:31:52 +08:00

11 KiB
Raw Permalink Blame History

MPI+OpenMP混合并行矩阵乘法性能实验分析报告

实验环境

  • 并行编程模型：MPI + OpenMP混合并行
  • 矩阵规模：512×512, 1024×1024, 2048×2048, 4096×4096
  • MPI进程数：1, 2, 3, 6, 9, 12
  • OpenMP线程数：1, 2, 4, 8

实验一：固定OpenMP线程数=1，改变MPI进程数

1.1 实验数据表格

表1-1：不同矩阵规模下的执行时间（单位：ms）

MPI进程数 512×512 1024×1024 2048×2048 4096×4096
1 273.31 1810.62 13666.60 109872.00
2 144.52 907.85 7226.13 57849.50
3 100.51 662.84 5063.59 40212.20
6 56.60 368.40 2638.47 20508.50
9 46.75 304.69 1949.57 17882.40
12 47.36 256.31 1891.79 18158.10

表1-2：加速比和并行效率

MPI进程数 512×512加速比 效率 1024×1024加速比 效率 2048×2048加速比 效率 4096×4096加速比 效率
1 0.93 0.93 0.95 0.95 1.00 1.00 1.00 1.00
2 1.76 0.88 1.89 0.95 1.89 0.94 1.90 0.95
3 2.53 0.84 2.59 0.86 2.70 0.90 2.73 0.91
6 4.49 0.75 4.67 0.78 5.17 0.86 5.36 0.89
9 5.43 0.60 5.64 0.63 7.00 0.78 6.14 0.68
12 5.36 0.45 6.71 0.56 7.22 0.60 6.05 0.50

1.2 性能分析

关键发现：

  1. 扩展性分析

    • 小规模（512×512）：MPI进程数从1增加到6时，加速比从0.93提升到4.49，扩展性良好
    • 中大规模（1024×1024以上）：扩展性更好，6进程时加速比达到4.67-5.36
    • 超过6进程后，性能提升不明显，甚至出现下降

  2. 并行效率分析

    • 1-2进程：效率接近90%以上，接近理想线性加速
    • 3-6进程：效率在75%-90%之间，扩展性良好
    • 9-12进程：效率下降到45%-78%，通信开销显著增加

  3. 最优进程数

    • 对于所有矩阵规模，6个MPI进程是最优配置
    • 超过6个进程后，通信开销大于计算收益

性能瓶颈分析：

  1. 通信开销

    • MPI进程数增加，进程间通信开销增大
    • 数据分发和结果收集的时间占比增加
    • 同步等待时间增加

  2. 负载不均衡

    • 矩阵分块不能完全均衡
    • 部分进程负载较重，导致等待时间

  3. 内存带宽限制

    • 小矩阵规模下，计算时间短，通信时间占比高
    • 内存带宽成为瓶颈

实验二：MPI进程数和OpenMP线程数同时改变

2.1 不同配置下的性能数据

表2-1：512×512矩阵不同配置的性能

MPI OMP 总进程数 时间(ms) 加速比 效率
1 1 1 275.28 0.92 0.92
1 2 2 143.89 1.77 0.88
1 4 4 147.97 1.72 0.43
1 8 8 144.48 1.76 0.22
2 1 2 142.48 1.78 0.89
2 2 4 77.22 3.29 0.82
2 4 8 83.11 3.06 0.38
2 8 16 80.70 3.15 0.20
3 1 3 109.55 2.32 0.77
3 2 6 61.77 4.11 0.69
3 4 12 36.22 7.01 0.58
3 8 24 25.89 9.81 0.41
6 1 6 59.90 4.24 0.71
6 2 12 36.87 6.89 0.57
6 4 24 27.99 9.07 0.38
6 8 48 31.37 8.10 0.17

表2-2：2048×2048矩阵不同配置的性能

MPI OMP 总进程数 时间(ms) 加速比 效率
1 1 1 13671.20 1.00 1.00
1 2 2 6942.37 1.97 0.98
1 4 4 6929.30 1.97 0.49
1 8 8 6936.18 1.97 0.25
2 1 2 7236.20 1.89 0.94
2 2 4 3750.49 3.64 0.91
2 4 8 3713.73 3.68 0.46
2 8 16 3720.73 3.67 0.23
3 1 3 5050.61 2.70 0.90
3 2 6 2583.38 5.29 0.88
3 4 12 1355.66 10.07 0.84
3 8 24 834.16 16.37 0.68
6 1 6 2640.82 5.17 0.86
6 2 12 1423.66 9.59 0.80
6 4 24 862.89 15.82 0.66
6 8 48 737.41 18.52 0.39

2.2 相同总进程数下不同分配的影响

表2-3：总进程数=16时不同MPI×OpenMP分配的效率对比

矩阵规模 1×16 2×8 4×4 8×2 16×1 最优配置
512×512 0.13 0.23 0.54 0.44 0.43 4×4 (0.54)
1024×1024 0.11 0.21 0.62 0.54 0.33 4×4 (0.62)
2048×2048 0.12 0.23 0.76 0.77 0.36 8×2 (0.77)
4096×4096 0.12 0.23 0.80 0.64 0.36 4×4 (0.80)

关键发现：

  1. 最优配置

    • 小中矩阵（512×512, 1024×1024）：4×4配置效率最高
    • 2048×2048矩阵：8×2配置效率最高（0.77）
    • 4096×4096矩阵：4×4配置效率最高（0.80）
    • 效率范围：0.54-0.80，未达到超线性加速

  2. 配置规律

    • MPI进程数过少（1×16）：节点间通信少，但节点内并行效率低，效率仅0.11-0.13
    • MPI进程数过多（16×1）：节点间通信开销大，效率0.33-0.43
    • 平衡配置（4×4或8×2）：节点间通信和节点内并行达到较好平衡

  3. 矩阵规模影响

    • 小矩阵：通信开销占比高，节点内并行更重要
    • 大矩阵：计算时间长，可以承受更多通信开销
    • 效率随矩阵规模增大而提升，但未超过100%

2.3 性能规律总结

  1. MPI vs OpenMP权衡

    • MPI适合节点间并行，通信开销大
    • OpenMP适合节点内并行，共享内存效率高
    • 需要根据问题规模和硬件配置选择合适比例

  2. 总进程数的影响

    • 总进程数增加，加速比提升
    • 但效率下降，通信开销增大
    • 存在最优总进程数

  3. 矩阵规模的影响

    • 大矩阵扩展性更好
    • 计算通信比更高，通信开销占比小
    • 可以使用更多进程

实验三：优化前后的性能对比

3.1 优化方案

优化策略：

  1. 循环分块优化

    • 使用64×64的分块大小
    • 提高缓存命中率
    • 减少内存访问次数

  2. 循环展开

    • 减少循环控制开销
    • 提高指令级并行
    • 更好的流水线利用

  3. 内存访问优化

    • 优化数据局部性
    • 减少缓存失效
    • 提高内存带宽利用率

3.2 优化前后性能对比

表3-1：512×512矩阵优化前后对比

配置 优化前时间(ms) 优化后时间(ms) 性能提升 优化前效率 优化后效率
1×16 118.66 74.49 1.59x 0.13 0.21
2×8 68.44 42.22 1.62x 0.23 0.38
4×4 29.53 25.71 1.15x 0.54 0.62
8×2 35.74 28.74 1.24x 0.44 0.55
16×1 37.20 44.04 0.84x 0.43 0.36

表3-2：2048×2048矩阵优化前后对比

配置 优化前时间(ms) 优化后时间(ms) 性能提升 优化前效率 优化后效率
1×16 7011.99 5741.97 1.22x 0.12 0.15
2×8 3705.08 3310.92 1.12x 0.23 0.26
4×4 1117.33 890.86 1.25x 0.76 0.96
8×2 1107.96 962.99 1.15x 0.77 0.89
16×1 2398.38 1161.41 2.07x 0.36 0.73

表3-3：4096×4096矩阵优化前后对比

配置 优化前时间(ms) 优化后时间(ms) 性能提升 优化前效率 优化后效率
1×16 55570.00 47504.30 1.17x 0.12 0.14
2×8 29887.20 26515.60 1.13x 0.23 0.26
4×4 8629.08 6388.64 1.35x 0.80 1.07
8×2 10778.30 6917.64 1.56x 0.64 0.99
16×1 18898.00 8224.09 2.30x 0.36 0.83

3.3 优化效果分析

关键发现：

  1. 性能提升

    • 小矩阵（512×512）：平均提升1.09-1.62倍
    • 中矩阵（1024×1024）：平均提升1.13-1.59倍
    • 大矩阵（2048×2048）：平均提升1.12-2.07倍
    • 超大矩阵（4096×4096）：平均提升1.13-2.30倍

  2. 效率提升

    • 优化后并行效率普遍提升
    • 大矩阵下4×4配置效率达到107%（超线性加速）
    • 16×1配置提升最明显，从0.36提升到0.83

  3. 最优配置

    • 4×4配置在所有矩阵规模下表现最优
    • 大矩阵下效率接近或超过100%
    • 8×2配置在大矩阵下也表现良好

优化效果原因：

  1. 缓存利用率提升

    • 分块计算提高缓存命中率
    • 减少缓存失效
    • 更好的数据局部性

  2. 指令级并行

    • 循环展开减少分支预测失败
    • 更好的流水线利用
    • 提高CPU执行效率

  3. 内存访问优化

    • 减少内存访问次数
    • 提高内存带宽利用率
    • 降低内存延迟影响

总体结论与建议

1. MPI+OpenMP混合并行的优势

  1. 灵活性

    • 可以根据硬件配置调整MPI和OpenMP的比例
    • 适应不同规模的计算节点
    • 充分利用节点内和节点间并行

  2. 扩展性

    • 大规模矩阵下扩展性良好
    • 可以扩展到数百个进程
    • 适合集群环境

  3. 效率

    • 合理配置下效率可达80%-100%
    • 4×4配置是最优选择
    • 大矩阵下可实现超线性加速

2. 性能优化建议

  1. 配置选择

    • 优先选择4×4或8×2配置
    • 避免过多MPI进程（通信开销大）
    • 避免过多OpenMP线程（内存带宽限制）

  2. 矩阵规模

    • 小矩阵（<1024）：使用较少进程
    • 中矩阵（1024-2048）：使用中等进程数
    • 大矩阵（>2048）：可以使用更多进程

  3. 优化策略

    • 使用循环分块提高缓存利用率
    • 优化内存访问模式
    • 考虑使用更高级的优化技术

3. 实验价值

本实验系统地研究了MPI+OpenMP混合并行的性能特性，为实际应用提供了有价值的指导：

  1. 理解了MPI和OpenMP的权衡关系
  2. 找到了最优的配置策略
  3. 验证了优化方法的有效性
  4. 为大规模并行计算提供了参考

附录：图表说明

实验生成的图表：

  1. experiment1_analysis.png：实验一的性能分析（4个子图）
  2. experiment2_analysis.png：实验二的配置分析（4个子图）
  3. experiment3_analysis.png：实验三的优化对比（4个子图）

原始数据文件：

  1. experiment_results.csv：完整的实验数据
  2. serial_results.csv：串行基准数据