---
title: gemma-4-26B-A4B-it-MNN
canonical_url: "https://www.modelscope.ai/models/MNN/gemma-4-26B-A4B-it-MNN"
md_url: "https://www.modelscope.ai/models/MNN/gemma-4-26B-A4B-it-MNN.md"
repository: MNN/gemma-4-26B-A4B-it-MNN
last_updated: 2026-10-21
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
model_type:
  - transformer
base_model:
  - google/gemma-4-26B-A4B-it
base_model_relation: quantized
library_name:
  - mnn
frameworks:
  - MNN
language:
  - cn
domain:
  - nlp
downloads: 172
stars: 0
tags:
  - instruction-tuned
---

# gemma-4-26B-A4B-it-MNN

> gemma-4-26B-A4B-it-MNN - An open-source model by MNN on ModelScope. gemma-4-26B-A4B-it-MNN

MNN/gemma-4-26B-A4B-it-MNN is a text-generation model on ModelScope. licensed under apache-2.0. derived from google/gemma-4-26B-A4B-it.

- **Repository**: MNN/gemma-4-26B-A4B-it-MNN
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: google/gemma-4-26B-A4B-it
- **Tags**: instruction-tuned
- **Downloads**: 172
- **Stars**: 0
- **Last updated**: 2026-10-21

Source: https://www.modelscope.ai/models/MNN/gemma-4-26B-A4B-it-MNN

---

# gemma-4-26B-A4B-it-MNN

本仓库是从 [google/gemma-4-26B-A4B-it](https://modelscope.cn/models/google/gemma-4-26B-A4B-it) 转换的 MNN HQQ 4-bit 推理模型。

## 原始模型介绍

Gemma 4 26B A4B IT 是 Google DeepMind 的指令微调 MoE 视觉语言版本，接受文本、图像输入并生成文本。原始介绍强调推理、编程与多语言应用；本仓库对应 Gemma 4 家族中的 26B A4B 权重。

以上概述整理自[原始模型 README](https://modelscope.cn/models/google/gemma-4-26B-A4B-it)。原始模型的能力及评测结论，与下文 MNN 冒烟测试的覆盖范围分别说明。

| 项目 | 内容 |
| --- | --- |
| 原始权重 | [google/gemma-4-26B-A4B-it](https://modelscope.cn/models/google/gemma-4-26B-A4B-it) |
| 本包输入 / 输出 | 文本、图像 → 文本 |
| 层数 | 30 |
| 路由专家数 | 128 |
| 语言模型线性层量化 | HQQ, 4-bit, group size 64, FP16 scales |
| Token Embedding 存储 | 4-bit，与 `lm_head` 共享权重 |

本模型的 Token Embedding 与 `lm_head` 共享权重，[llm_config.json](llm_config.json) 中的 `tie_embeddings` 记录了共享权重偏移和 `quant_bit`。转换命令中的 `--embed_bit 16` 只控制单独导出的 Embedding，本模型不会因此额外生成 BF16 Token Embedding 权重。

## 下载

```bash
python -m pip install -U modelscope
python -c "from modelscope import snapshot_download; snapshot_download('MNN/gemma-4-26B-A4B-it-MNN', local_dir='./gemma-4-26B-A4B-it-MNN')"
export MODEL_DIR="$(pwd)/gemma-4-26B-A4B-it-MNN"
```

## MNN 版本与编译

MNN: [`7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4`](https://github.com/alibaba/MNN/commit/7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4)

该版本已包含本次转换使用的 MoE 导出修复。Linux CPU 编译示例：

```bash
git clone https://github.com/alibaba/MNN.git
git -C MNN checkout 7337404b2815b5fb9ddac13f4ac6a1fb37fcbbb4
(cd MNN && ./schema/generate.sh)
cmake -S MNN -B MNN/build -DCMAKE_BUILD_TYPE=Release \
  -DMNN_BUILD_LLM=ON -DMNN_LOW_MEMORY=ON -DMNN_BUILD_CONVERTER=ON \
  -DMNN_SUPPORT_TRANSFORMER_FUSE=ON \
  -DMNN_BUILD_LLM_OMNI=ON -DMNN_BUILD_OPENCV=ON -DMNN_IMGCODECS=ON -DMNN_BUILD_AUDIO=ON
cmake --build MNN/build --parallel 4
```

## 转换方法

量化参数与 [export_args.json](export_args.json) 一致。下载原始权重后，使用上述版本导出：

```bash
python -m pip install -r MNN/transformers/llm/export/requirements.txt
python -c "from modelscope import snapshot_download; snapshot_download('google/gemma-4-26B-A4B-it', local_dir='./original/gemma-4-26B-A4B-it', allow_patterns=['*.json', '*.safetensors', '*.model', '*.tiktoken', '*.jinja', '*.txt', '*.py'], ignore_patterns=['original/*', '*.gguf', '*.pt', '*.pth'])"
```

```bash
python MNN/transformers/llm/export/llmexport.py \
  --path ./original/gemma-4-26B-A4B-it --export mnn --hqq \
  --quant_bit 4 --quant_block 64 --scale_bit 16 --embed_bit 16 \
  --lm_quant_bit 4 --lm_quant_block 64 \
  --mnnconvert ./MNN/build/MNNConvert --dst_path ./reexported/gemma-4-26B-A4B-it-MNN
```

重新导出后复用本包已验证的 tokenizer 和对话模板，保留新生成的权重偏移及其他模型参数：

```bash
python - <<'PY'
import json, os, shutil
from pathlib import Path
published = Path(os.environ["MODEL_DIR"])
converted = Path("./reexported/gemma-4-26B-A4B-it-MNN")
for filename in ("llm_config.json", "config.json"):
    path = converted / filename
    config = json.loads(path.read_text())
    reference = json.loads((published / filename).read_text())
    for key in ("jinja", "use_template"):
        config.pop(key, None)
        if key in reference:
            config[key] = reference[key]
    if filename == "config.json":
        config["tokenizer_file"] = "tokenizer.mtok"
    path.write_text(json.dumps(config, ensure_ascii=False, indent=2))
shutil.copyfile(published / "tokenizer.mtok", converted / "tokenizer.mtok")
PY
```

## 推理与测试

```bash
printf 'What is 2 + 3? Reply with only the number.\n' > prompt.txt
./MNN/build/llm_demo "$MODEL_DIR/config.json" prompt.txt
./MNN/build/llm_bench -m "$MODEL_DIR/config.json"
```

本模型在原迁移中通过了 10 项 CPU High/Low 冒烟测试，属于功能验证，不代表完整质量或 GPU 性能评测。

## 许可证与来源

权重沿用原始模型的许可证及署名要求，请阅读[原始模型说明](https://modelscope.cn/models/google/gemma-4-26B-A4B-it)、本仓库中的许可证文件和 [MNN LLM 文档](https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html)。