---
title: XingWenYaoJie
canonical_url: "https://www.modelscope.ai/models/lollipop/XingWenYaoJie"
md_url: "https://www.modelscope.ai/models/lollipop/XingWenYaoJie.md"
repository: lollipop/XingWenYaoJie
last_updated: 2026-08-30
pipeline_tag: visual-question-answering
tasks:
  - visual-question-answering
parameters: 2.2B
tensor_type:
  - I64
  - F32
  - BF16
  - U8
library_name:
  - safetensors
downloads: 23
stars: 0
---

# XingWenYaoJie

> XingWenYaoJie - An open-source model by lollipop on ModelScope. 面向星载受限算力的多模态遥感智能解译系统。以经遥感知识蒸馏与 LoRA 微调的 Qwen2.5-VL-3B 为自然语言入口，按需调用 YOLO11n、SegFormer-B2 和 AdaptFormer，支持视觉问答、场景分类、目标检测、语义分割及变化检测等遥感任务。

- **Repository**: lollipop/XingWenYaoJie
- **Tasks**: visual-question-answering
- **Parameters**: 2.2B
- **Downloads**: 23
- **Stars**: 0
- **Last updated**: 2026-08-30

Source: https://www.modelscope.ai/models/lollipop/XingWenYaoJie

---

![星问遥解产品横幅](examples/web_assets/xingwenyaojie_banner.png)

# 星问遥解：面向星载受限算力的多模态遥感智能解译系统

星问遥解使用 Qwen2.5-VL-3B NF4 学生模型与遥感 LoRA，并按任务调用 YOLO11n、SegFormer-B2 和 AdaptFormer，支持图像描述、视觉问答、场景分类、目标检测、目标计数、指代表达定位、语义分割和双时相变化检测。蒸馏阶段使用上游 RSCoVLM 8.292B 参数模型作为教师。

## 仓库结构

| 路径 | 内容 |
| --- | --- |
| `xingwenyaojie/` | 模型加载、任务路由、训练和评测代码 |
| `scripts/` | 推理、复评、训练和测试入口 |
| `checkpoints/` | VLM、LoRA、YOLO11n、SegFormer-B2 和 AdaptFormer 权重 |
| `data/` | 蒸馏标注、训练配置和数据集配置 |
| `examples/` | 离线功能验收使用的固定图像 |
| `results/` | 最终指标、资源测试和功能验收结果 |
| `tests/` | 单元与协议测试 |
| `model_manifest.json` | 模型文件大小与 SHA256 |

## 环境配置

验收环境为 Python 3.10、PyTorch 2.5.1 和 CUDA 12.4。NF4 推理需要 NVIDIA GPU 和 bitsandbytes，建议预留 8 GiB 显存。Caption 与 LEVIR-CC 的 METEOR 评测还需要 Java。

请先在终端进入本 README 所在目录，然后执行：

```bash
conda create -n xingwenyaojie python=3.10 -y
conda activate xingwenyaojie

pip install torch==2.5.1 torchvision==0.20.1 \
  --index-url https://download.pytorch.org/whl/cu124
pip install -e .

export PYTHON_BIN="$(command -v python)"
export OMP_NUM_THREADS=8
```

如需运行 METEOR：

```bash
apt-get update
apt-get install -y default-jre-headless
```

## 快速验收

下面的命令只读取仓库内的样例和权重，不下载公开数据集：

```bash
PYTHON_BIN="$PYTHON_BIN" \
bash scripts/run_offline_function_smoke.sh outputs/offline_function_smoke
```

验收条件为 8 类自然语言任务全部通过且警告数为 0。参考结果位于 `results/function_smoke.json`。

## 推理

单图推理：

```bash
$PYTHON_BIN scripts/run_infer.py \
  --image /path/to/image.png \
  --prompt "图像中一共有多少艘船？"
```

双时相推理：

```bash
$PYTHON_BIN scripts/run_infer.py \
  --image /path/to/before.png /path/to/after.png \
  --prompt "标出两期影像中的变化区域。"
```

Web 界面：

```bash
$PYTHON_BIN scripts/web_demo.py
```

推理结果默认写入 `outputs/`。

## 公开数据集复评

```text
DATA_ROOT/
├── VRSBench/
├── MME-RealWorld/
├── XLRS-Bench-lite/
├── LEVIR-CC/
├── LEVIR-CD/test/{A,B,label}/
└── LoveDA/{Train,Val}/{Rural,Urban}/{images_png,masks_png}/
```

全量复评：

```bash
export DATA_ROOT=/path/to/DATA_ROOT

PYTHON_BIN="$PYTHON_BIN" DATA_ROOT="$DATA_ROOT" \
bash scripts/run_final_competition_evaluation.sh outputs/full_evaluation
```

脚本按固定配置评测 VRSBench、MME-RealWorld-RS、XLRS-Bench-lite、LEVIR-CC、LEVIR-CD 和 LoveDA。抽样检查可运行：

```bash
PYTHON_BIN="$PYTHON_BIN" DATA_ROOT="$DATA_ROOT" \
bash scripts/run_submission_smoke.sh outputs/public_dataset_smoke
```

最终任务指标保存在 `results/competition_results.json`，资源测试保存在 `results/resource_benchmark.json`。

## 训练

VLM 蒸馏训练：

```bash
$PYTHON_BIN scripts/prepare_vlm_student_data.py \
  --source-json "$DATA_ROOT/VRSBench/VRSBench_train.json"
bash scripts/train_vlm_student_distill.sh
```

LoveDA 语义分割：

```bash
$PYTHON_BIN scripts/train_loveda_segformer.py \
  --loveda-root "$DATA_ROOT/LoveDA" \
  --output-dir outputs/segformer_loveda
```

VRSBench YOLO11n：

```bash
$PYTHON_BIN scripts/prepare_vrsbench_yolo_detection.py \
  --vrsbench-root "$DATA_ROOT/VRSBench"
bash scripts/train_vrsbench_yolo11n_detector.sh
```

## 测试

```bash
PYTHONDONTWRITEBYTECODE=1 \
$PYTHON_BIN -m unittest discover -s tests -p 'test_*.py' -v
```

模型目录保留原始 `LICENSE` 与 `NOTICE`。Qwen 模型说明为 “Improved using Qwen”。