---
title: Sophon-Realtime-32B-Tag
canonical_url: "https://www.modelscope.ai/models/AdventistsAI/Sophon-Realtime-32B-Tag"
md_url: "https://www.modelscope.ai/models/AdventistsAI/Sophon-Realtime-32B-Tag.md"
repository: AdventistsAI/Sophon-Realtime-32B-Tag
last_updated: 2026-11-11
license: apache-2.0
model_type:
  - sophon_realtime
architectures:
  - SophonRealtimeForConditionalGeneration
parameters: 34.3B
tensor_type:
  - BF16
  - F8_E4M3
library_name:
  - safetensors
  - onnx
  - pytorch
frameworks:
  - pytorch
language:
  - zh
  - en
downloads: 12
stars: 0
tags:
  - sophon
  - duplexjev
  - tag-tts
  - vllm-omni
  - realtime
  - full-duplex
  - speech-to-speech
---

# Sophon-Realtime-32B-Tag

> Sophon-Realtime-32B-Tag - An open-source model by AdventistsAI on ModelScope. Sophon-Realtime-32B-Tag

AdventistsAI/Sophon-Realtime-32B-Tag is a 34.3B-parameter machine learning model on ModelScope. licensed under apache-2.0.

- **Repository**: AdventistsAI/Sophon-Realtime-32B-Tag
- **License**: apache-2.0
- **Parameters**: 34.3B
- **Tags**: sophon, duplexjev, tag-tts, vllm-omni, realtime, full-duplex, speech-to-speech
- **Downloads**: 12
- **Stars**: 0
- **Last updated**: 2026-11-11

Source: https://www.modelscope.ai/models/AdventistsAI/Sophon-Realtime-32B-Tag

---

# Sophon-Realtime-32B-Tag

**版本 1.1.0**（2026-11-11）· [更新记录](https://github.com/adventists-ai/sophon-realtime/blob/main/CHANGELOG.md)

代码和一键部署：[github.com/adventists-ai/sophon-realtime/tree/main/tag](https://github.com/adventists-ai/sophon-realtime/tree/main/tag) · 听觉：[DuplexJev](https://github.com/adventists-ai/duplexjev) · 声音：[tag-tts](https://www.modelscope.cn/models/AdventistsAI/tag-tts)

**Sophon-Realtime 的 Tag 版：自己决定怎么说，单卡就能跑。** 32B 思考器边听边判断什么时候该接话，写回复时顺手写上声音标签——说笑话后笑一声、听到坏消息叹口气、重读关键的词；流式的 tag-tts 在回复还没写完时就把这些标签演出来。标签不会被念出来，文字流里也会去掉。

整个系统是**一个 vLLM-Omni 模型**：思考器 → tag-tts 说话段 → flow + HiFT 声码器，跑在一张 80 GB 显卡上。


## 智子实时语音 v1 系列

三个版本共用同一个大脑（同一个 32B 模型负责听、判断接话、写回复），区别只在回复怎么变成声音。完整对比见 [github.com/adventists-ai/sophon-realtime](https://github.com/adventists-ai/sophon-realtime/blob/main/README_CN.md)。

| | **Tag**（推荐） | **Flash** | **E2E**（预览） |
|---|---|---|---|
| 怎么出声 | 擅长表演的语音模型演出声音标签 | 更轻、更快的语音模型说出带标签的回复 | 32B 模型内部的说话头直接出声，不用单独的语音模型 |
| NVV-SuperBench（英 / 中） | **0.80 / 0.86** | 0.63 / 0.77 | 0.60 / 0.77 |
| 单路首包 | 约 0.6 s | **0.31 s** | 约 1 s |
| 每张 80 GB 卡建议并发 | 16 路 | **40 路** | 4–5 路 |
| 显卡 | 1 张 | 1 张 | 2 张 |
| 权重 | [Sophon-Realtime-32B-Tag](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag) | [Sophon-Realtime-32B-Flash](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash) | [Sophon-Realtime-32B-E2E](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-E2E) |

想让声音"会演"选 **Tag**；最看重延迟和单卡并发选 **Flash**。两者接口相同。

## 亮点

- **VoiceBench 82.8、Big Bench Audio 81.8%：开源全双工里最强的「大脑」。** 两项都是开源全双工模型第一，VoiceBench 与 GPT-4o-mini-Audio 持平。
- **副语言理解 48.6，综合第一：听得懂语气。** 在 LISTEN、StressTest、MSPB 公开基准上高于 Gemini 3.8 Flash（46.9）和 Qwen3-Omni（44.6）。它直接从声音里听出情绪、重音、反讽、笑声和叹气。
- **说得出语气，三个版本里最强：NVV-SuperBench 中文 0.86、英文 0.80。** 什么时候笑、叹气、换气、清嗓子、重读哪个词，由模型根据对话自己决定；声音把这些标记演出来，不会把标签念出来。
- **一张 80 GB 显卡、一条命令。** 基于 vLLM-Omni，单卡建议 16 路并发，单路首包约 0.6 秒。
- **Full-Duplex-Bench v3 工具调用 Pass@1 48%，高于 Grok（43%）；接话成功率 100%：能干活。** 支持 Live 模式，兼容 OpenAI GPT-Live 的接口格式。
- **真正的全双工。** 你说话的全程它都在听，回复边听边起草；你一停就接上，你插话它马上停下，你只是「嗯」一声附和它就接着说。
- **Apache-2.0，可以商用。** 也可以用 ms-swift 微调人设、口吻和领域知识。

评测方法和完整对比表见 [v1 系列主页](https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-v1)。想直接试试：[魔搭创空间在线对话](https://www.modelscope.cn/studios/AdventistsAI/Sophon-Realtime)。

## 部署（单卡，一条命令）

```bash
git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/tag
bash install.sh                 # Python 3.12 虚拟环境、vLLM 0.30、vLLM-Omni 0.30、插件，并下载本仓库权重（约 42 GB）
GPU=0 PORT=8000 bash start.sh   # 首次启动 15–20 分钟（编译内核、建 TensorRT 引擎），之后 5–8 分钟
python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh
```

- 接口：`ws://HOST:8000/v1/realtime`（全双工：话轮、打断、附和）、`POST /v1/chat/completions`（语音进 → 文字 + 语音流）。
- 国内镜像：`PIP_INDEX=https://pypi.tuna.tsinghua.edu.cn/simple bash install.sh`。
- 音色：`chelsie`（默认，按语言自动选 `chelsie_zh` / `chelsie_en`）、`vivian_zh`、`ryan_en`、`brand_zh`、`brand_en`。

## 零样本音色克隆（1.1 新增）

给一段任意声音的录音，就能让智子用这个声音和你对话。不用微调，不用重启。

```bash
cp alice.wav model/voices/alice.wav     # 同一个人 3–10 秒的干净语音（wav 或 flac，采样率不限）
python client_example.py --wav 我的问题.wav --lang zh --voice alice
```

- 在 `/v1/chat/completions` 或 `/v1/realtime` 的 `session.update` 里写 `"voice": "alice"` 即可；参考音的语言可以和回复不同。
- 新放进去的录音，服务会在几秒内于后台准备好，首包和内置音色一样快。换音色直接覆盖文件，删音色直接删文件。笑声、叹气等声音标签对克隆音色同样有效。
- 1.1 同时更新了说话模型（`talker/flow.pt` 及其 ONNX），没见过的声音也能还原得更像。需要最新代码：GitHub `main`，或
  `pip install -U "sophon-realtime[trt]"`（1.1.0 及以上）。
- **只克隆你本人或已获授权的声音，不得用于冒充他人或欺诈。**
- 硬件：一张 80 GB 显卡（H100 / H800 / A100 80G），每个实例约 65 GB 显存。

## 性能（单张 H100 80 GB 实测）

| 并发（10 秒内陆续到达） | 首包 中位 / 最慢 | 卡顿（中位） |
|---|---|---|
| 1 路 | 0.67 秒 | 约 0 |
| 8 路 | 0.61 / 0.76 秒 | 0 |
| **16 路** | **0.75 / 1.07 秒** | 0.06 秒 |
| 24 路 | 1.36 / 2.11 秒 | 0.39 秒（开始排队） |

- 全双工：用户说完到听到声音约 0.7 秒。
- **以上数字需要 TensorRT。** `install.sh` 会自动安装；用 pip 安装时请用 `pip install "sophon-realtime[trt]"`（CUDA 13）。没有
  TensorRT 时说话段走纯 PyTorch，高并发下慢约 3 倍：16 路时首包约 2.4 秒、卡顿 1–1.5 秒。可在服务日志里确认有
  `Loaded flow-estimator TensorRT engine` 这一行。
- **建议每张卡最多 16 路并发。** 多卡：每张卡起一个实例，前面加负载均衡，容量基本按卡数线性增长；CPU 不是瓶颈（16 路时每个实例约 1.5 核）。

## 声音标签

`[laughter]`、`[breath]`、`[sigh]`、`[cough]`、`<laughter>…</laughter>`（边笑边说）、`<strong>…</strong>`（重读）。文字流式送入时，标签按整块交给声音模型，与训练时一致。

写了标签时听到对应声音的比例（96 句测试 × 2 轮，经完整服务管线，AST 检测；每类 8–12 句，差 1 句约 10 个点）：

| | 叹气 | 吸气 | 咳嗽 | 笑 |
|---|---|---|---|---|
| 本版本 | 25% | 50% | 33% | 42% |
| 参考：tag-tts 标准渲染（同一声音模型） | 42% | 50% | 33% | 50% |

## Live 模式（兼容 OpenAI GPT-Live）

在已经启动的引擎旁边再运行一条命令，就能用 OpenAI GPT-Live 协议接入：按 GPT-Live 写的客户端只要换地址和 key。智子负责听和说，遇到要查询、办事的请求，先说一句「我帮你查一下」，把任务交给你的后端，拿到结果后用自己的话说出来。

```bash
cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh   # GPT-Live 客户端连 ws://HOST:8780/v1/live/sessions
```

说明和实测见 GitHub 仓库的 [live/](https://github.com/adventists-ai/sophon-realtime/blob/main/live/README_CN.md)。

## 微调

可以用 ms-swift 微调思考器的 LLM 主干（LoRA），改人设、口吻、领域知识和工具调用习惯；听觉、发声和接话判断保持不变，笑声、咳嗽等声音标签也会保留。一张 80 GB 显卡即可，步骤见 GitHub 仓库的 [finetune/](https://github.com/adventists-ai/sophon-realtime/blob/main/finetune/README_CN.md)。

## 组成

| 目录 | 内容 | 许可 |
|---|---|---|
| `thinker/` | DuplexJev-32B-Para v1.5，已合并写标签能力，FP8（含视觉塔） | Apache-2.0 |
| `talker/` | tag-tts：语言模型 + 蒸馏 flow（4 步、无 CFG）+ HiFT；基于 Fun-CosyVoice3-0.5B | Apache-2.0 |
| `voices/` | 六个参考音色（原声 + 预计算提示） | Apache-2.0 |

## 局限

- `[sigh]` 和 `<laughter>…</laughter>` 仍偏弱，思考器写得比声音演得多。
- 蒸馏 flow 下中文清晰度略低于英文；笑声有时会被语音识别转写成“哈哈”。
- 单轮超过约一分钟的超长回复，超出了声音模型的训练范围。