---
title: Syncdreamer
canonical_url: "https://www.modelscope.ai/models/Damo_XR_Lab/Syncdreamer"
md_url: "https://www.modelscope.ai/models/Damo_XR_Lab/Syncdreamer.md"
repository: Damo_XR_Lab/Syncdreamer
last_updated: 2025-12-04
license: "MIT License"
pipeline_tag: nerf-recon-acc
tasks:
  - nerf-recon-acc
library_name:
  - pytorch
frameworks:
  - Pytorch
downloads: 125
stars: 0
tags:
  - Alibaba
  - XR
  - "3D生成"
---

# Syncdreamer

> Syncdreamer - An open-source model by Damo_XR_Lab on ModelScope. 基本信息 SyncDreamer是一个Novel View Synthesis(多视角合成)的SoTA模型，他可以从单图推理出16个固定视角RGB图片，对应的相机参数是已知的，所以可以用instant-ngp重建物体的Mesh，从而能够单张图片生成3D物体, 详细信息参考 SyncDreamer: Generating Multiview-consistent Images from…

Damo_XR_Lab/Syncdreamer is a nerf-recon-acc model on ModelScope. licensed under MIT License.

- **Repository**: Damo_XR_Lab/Syncdreamer
- **License**: MIT License
- **Tasks**: nerf-recon-acc
- **Tags**: Alibaba, XR, 3D生成
- **Downloads**: 125
- **Stars**: 0
- **Last updated**: 2025-12-04

Source: https://www.modelscope.ai/models/Damo_XR_Lab/Syncdreamer

---

## 基本信息
#### SyncDreamer是一个Novel View Synthesis(多视角合成)的SoTA模型，他可以从单图推理出16个固定视角RGB图片，对应的相机参数是已知的，所以可以用instant-ngp重建物体的Mesh，从而能够单张图片生成3D物体, 详细信息参考 [SyncDreamer: Generating Multiview-consistent Images from a Single-view Image](https://arxiv.org/abs/2309.03453)
![](description/syncdreamer_framework.png)

## 生成案例
![](description/teaser_syncdreamer.png)

## 模型细节
#### SyncDreamer使用Stable Diffusion作为基础模型在Objaverse上进行了16个视角数据的Fintuning，从而可以进行多视角合成和单张图生成3D模型

## 使用场景
#### 多视角生成、单张图片生成3D模型

## 如何使用
#### 在ModelScope里可以比较方便的使用image-to-3D的能力
#### 代码样例

```bash
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

mviews_pipe = pipeline(
            Tasks.image_to_3d,
            model='Damo_XR_Lab/Syncdreamer')
result = mviews_pipe('./test_img.png')
```
#### 测试结果样例
![](description/concat.png)

## 模型局限性以及可能的偏差
#### 模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。

## 训练数据介绍
#### Objaverse是目前最大的3D数据集，由80万个模型组成，SyncDreamer使用Objaverse全集完成训练，请用户参考论文获取更多介绍。

## 模型训练流程
#### 暂时不支持通过ModelScope接口进行训练，敬请期待。

## 预处理
#### 主要的预处理涉及到图像主体的分割以及处理到256x256像素

## 相关论文以及引用信息
#### 如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：
```
@misc{liu2023syncdreamer,
      title={SyncDreamer: Generating Multiview-consistent Images from a Single-view Image}, 
      author={Yuan Liu and Cheng Lin and Zijiao Zeng and Xiaoxiao Long and Lingjie Liu and Taku Komura and Wenping Wang},
      year={2023},
      eprint={2309.03453},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
```