---
title: openPangu-2.0-Pro
canonical_url: "https://www.modelscope.ai/models/openpangu/openPangu-2.0-Pro"
md_url: "https://www.modelscope.ai/models/openpangu/openPangu-2.0-Pro.md"
repository: openpangu/openPangu-2.0-Pro
last_updated: 2026-08-27
model_type:
  - openpangu_v2
architectures:
  - OpenPanguV2ForCausalLM
parameters: 541.5B
tensor_type:
  - BF16
  - F32
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
downloads: 10771
stars: 0
---

# openPangu-2.0-Pro

> openPangu-2.0-Pro - An open-source model by openpangu on ModelScope. openPangu-2.0-Pro 中文 | English

- **Repository**: openpangu/openPangu-2.0-Pro
- **Parameters**: 541.5B
- **Downloads**: 10771
- **Stars**: 0
- **Last updated**: 2026-08-27

Source: https://www.modelscope.ai/models/openpangu/openPangu-2.0-Pro

---

# openPangu-2.0-Pro
中文 | [English](README_EN.md)

## 1. 简介
openPangu-2.0-Pro 是基于昇腾 NPU 训练的大规模混合专家（MoE）语言模型，参数规模约 505B，每 token 激活参数规模约 18B，模型支持 512k 上下文长度，训练数据总量约34T tokens。后训练阶段完成快慢合一微调（SFT）、多专项强化学习（RL），并通过在线蒸馏（OPD）完成能力合一。更多详细信息，请参考 [openPangu-2.0技术报告](openPangu-2.0%20Tech%20Report.pdf)。

## 2. 模型架构
openPangu-2.0-Pro 在模型架构上实现了全面的升级：

- Attention架构：沿用高效 MLA，并采用 DSA+SWA 独立分层混合架构，层配比为 1:2；SWA 层负责局部窗口建模，DSA 层负责稀疏全局聚合，在保持精度的同时显著降低长序列推理的计算、显存与访存开销。
- 拓扑架构：将传统残差连接升级为 4 支流 mHC 架构，提升表征多样性与泛化能力。
- 自投机模块：采用 3 头 MTP 架构，一次额外预测 3 个 token，显著提升模型的推理速度。
- Muon优化器：训练中采用Muon优化器，获得更快的收敛速度。



## 3. 测评结果

| 测评集                          | 测评指标      | openPangu-2.0-Pro-Thinking | openPangu-2.0-Pro-Non-Thinking |
|:-----------------------------|:-------------:|:---------------------------:|:----------------------------:|
| **通用能力**                 |               |                             |                               |
| CL-Bench                     | Acc           | 19.7                        | 17.8                          |
| IFEval                       | Prompt Strict | 94.5                        | 90.4                          |
| IFBench                      | Prompt Strict | 79.9                        | 59.5                          |
| AgentIF                      | (CSR+ISR)/2   | 44.4                        | 42.2                          |
| SysBench                     | ISR           | 90.8                        | 82.6                          |
| Multichallenge               | Acc           | 62.9                        | 52.2                          |
| SimpleQA Verified            | Acc           | 34.9                        | 27.1                          |
| Chinese-SimpleQA             | Acc           | 74.2                        | 75.7                          |
| **推理能力**                 |               |                             |                               |
| HMMT Feb 2026                | Avg@16        | 86.2                        | 63.3                          |
|  - w/ Python             | Avg@16        | 93.2                       | -                             |
| AIME 2026                    | Avg@16        | 95.4                        | 87.3                          |
|  - w/ Python             | Avg@16        | 97.9                       | -                             |
| Apex                          | Avg@16        | 17.7                        | 2.1                           |
| IMO-AnswerBench               | Acc           | 84.3                        | 60.8                          |
| BBEH                          | Harmonic Mean | 69.7                        | 55.0                          |
| GPQA-Diamond                  | Avg@4         | 87.9                        | 81.1                          |
| HLE                           | Acc           | 27.1                        | 9.0                           |
| **Agent能力**                   |               |                             |                             |
| TAU2-Bench                    | Avg@3         | 81.1                        | 71.6                          |
| MCP-Atlas                     | Acc           | 61.3                        | 48.8                          |
| SkillsBench                   | Avg@5         | 48.9                        | 47.5                          |
| PinchBench                    | Avg@3         | 84.0                        | 88.9                          |
| WildClawBench                 | Avg@3         | 46.5                        | 43.1                          |
| Claw-Eval                     | Pass^3        | 61.7                        | 49.4                          |
| GDPVal                        | Acc           | 74.9                        | 51.2                          |
| BrowseComp                    | Acc           | 65.7                       | -                             |
| **代码能力**                  |               |                             |                               |
| LiveCodeBench V6              | Avg@3         | 85.7                        | 74.5                          |
| FeatBench                     | Avg@3         | 47.1                        | 48.4                          |
| DeepCodeBench                 | Avg@3         | 74.2                        | 72.6                         |
| SWE-bench Verified            | Avg@3         | 68.5                        | 66.8                         |





## 4. 部署和使用
- 使用omni-infer推理框架，部署方式参考[[openPangu-2.0-Pro部署说明](https://gitcode.com/ascend-tribe/openPangu-2.0-Infer/blob/main/README.md)]
- 源码仓:[[openPangu-2.0-Infer]](https://gitcode.com/ascend-tribe/openPangu-2.0-Infer)

## 5. 模型许可证
除文件中对开源许可证另有约定外，openPangu-2.0-Pro 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 2.0 授权，旨在允许使用并促进人工智能技术的进一步发展。有关详细信息，请参阅模型存储库根目录中的 [LICENSE](LICENSE) 文件。

## 6. 免责声明
由于 openPangu-2.0-Pro （“模型”）所依赖的技术固有的限制，以及人工智能生成的内容是由模型自动生成的，华为无法对以下事项做出任何保证：
- 该模型的输出通过AI算法自动生成，不能排除某些信息可能存在缺陷、不合理或引起不适的可能性，生成的内容不代表华为的态度或立场； 
- 无法保证该模型100%准确、可靠、功能齐全、及时、安全、无错误、不间断、持续稳定或无任何故障； 
- 该模型的输出内容不构成任何建议或决策，也不保证生成的内容的真实性、完整性、准确性、及时性、合法性、功能性或实用性。生成的内容不能替代医疗、法律等领域的专业人士回答您的问题。生成的内容仅供参考，不代表华为的任何态度、立场或观点。您需要根据实际情况做出独立判断，华为不承担任何责任。

## 7. 反馈
如果有任何意见和建议，请提交issue或联系[openPangu@huawei.com](url)。