---
title: DeepSeek-V4-Pro-W4AFP8
canonical_url: "https://www.modelscope.ai/models/MooreThreads/DeepSeek-V4-Pro-W4AFP8"
md_url: "https://www.modelscope.ai/models/MooreThreads/DeepSeek-V4-Pro-W4AFP8.md"
repository: MooreThreads/DeepSeek-V4-Pro-W4AFP8
last_updated: 2026-11-13
license: mit
model_type:
  - deepseek_v4
architectures:
  - DeepseekV4ForCausalLM
parameters: 812.5B
tensor_type:
  - I64
  - I8
  - F8_E4M3
  - F8_E8M0
  - F32
  - BF16
library_name:
  - safetensors
  - pytorch
frameworks:
  - Pytorch
downloads: 8707
stars: 0
---

# DeepSeek-V4-Pro-W4AFP8

> DeepSeek-V4-Pro-W4AFP8 - An open-source model by MooreThreads on ModelScope. DeepSeek-V4-Pro-W4AFP8

MooreThreads/DeepSeek-V4-Pro-W4AFP8 is a 812.5B-parameter machine learning model on ModelScope. licensed under mit.

- **Repository**: MooreThreads/DeepSeek-V4-Pro-W4AFP8
- **License**: mit
- **Parameters**: 812.5B
- **Downloads**: 8707
- **Stars**: 0
- **Last updated**: 2026-11-13

Source: https://www.modelscope.ai/models/MooreThreads/DeepSeek-V4-Pro-W4AFP8

---

# DeepSeek-V4-Pro-W4AFP8

这是 DeepSeek-V4-Pro 的 MUSA W4AFP8 量化模型，适用于支持
`w4afp8` 的 SGLang MUSA 推理后端。

## 模型信息

| 项目 | 内容 |
|---|---|
| 基础模型 | DeepSeek-V4-Pro |
| 架构 | DeepSeek-V4 MoE |
| 总参数量 | 约 1.6T |
| 激活参数量 | 约 49B |
| 最大上下文 | 1M tokens |
| 量化格式 | W4AFP8 |
| 权重 group size | 128 |
| 量化方法标记 | `w4afp8` |

## 量化格式

- Routed MoE expert 权重使用 packed INT4 存储。
- Expert 权重使用每 128 个输入元素一组的 scale。
- 非 routed-expert 权重保持原 checkpoint 格式。
- `config.json` 中的量化配置为：

```json
{
  "activation_scheme": "dynamic",
  "fmt": "e4m3",
  "quant_method": "w4afp8",
  "scale_fmt": "ue8m0",
  "weight_block_size": [128, 128]
}
```

## 文件结构

使用时需要保留完整目录，包括：

```text
config.json
configuration.json
generation_config.json
model.safetensors.index.json
model-*.safetensors
model-w4afp8-layer*.safetensors
model-w4afp8-mtp*.safetensors
tokenizer / encoding files
```

不要删除或重命名任何 `.safetensors` 分片；`model.safetensors.index.json`
负责将 tensor 映射到对应分片。

## 从 ModelScope 下载

```bash
modelscope download \
  --model MooreThreads/DeepSeek-V4-Pro-W4AFP8 \
  --local_dir <local_model_dir>
```

也可以使用 Python：

```python
from modelscope import snapshot_download

model_dir = snapshot_download(
    "MooreThreads/DeepSeek-V4-Pro-W4AFP8",
    local_dir="<local_model_dir>",
)
print(model_dir)
```

## 使用说明

该 checkpoint 不是通用的 CPU/Transformers INT4 模型，量化权重需要由支持
DeepSeek-V4 W4AFP8 的 MUSA backend 加载。使用时保持完整模型目录，并让推理
框架自动读取 `config.json` 中的 `quant_method=w4afp8`。

## 许可证

本模型及相关文件遵循 [MIT License](LICENSE)。基础模型信息请参考
[DeepSeek-V4 官方仓库](https://github.com/deepseek-ai/DeepSeek-V4)。