# 迈向统一多模态生成的视觉新范式
English | 简体中文
## 🌟 概述
SenseNova-Vision 是面向计算机视觉领域的统一多模态大模型。
它摒弃传统方案为每个任务单独设计预测头、解码器与损失函数的思路，
将异构视觉感知任务统一建模为 **文本生成**、**图像生成** 或 **图文混合生成**。
## 🚀 模型介绍
SenseNova-Vision 重新定义计算机视觉范式：**统一多模态生成**。
传统计算机视觉系统针对检测、分割、深度、法向、三维几何等任务分别搭建专属预测分支；而本模型将所有异构视觉任务，映射至多模态模型原生的输入输出空间中。
用户通过自然语言指令、可选视觉提示框，指定目标任务、关注区域、多视图像、输出格式与解码规则，模型会根据任务类型输出三类不同结果：
| 输出类型 | 典型任务 | 输出形式 |
|---|---|---|
| 结构化文本 | 目标检测、指代定位、OCR文字识别、GUI界面定位、关键点检测、相机内外参 | 带归一化坐标与轻量化结构化标记的文本记录 |
| 稠密图像图 | 单目深度估计、表面法向预测、点云图、二值掩码、彩色语义掩码 | 类图像稠密预测图 |
| 图文混合输出 | 多实例分割、对话式指代分割、组合视觉感知 | 文本类别标签 + 生成掩码 / 可视化几何图 |
该统一范式让单模型可完整覆盖结构化视觉理解、稠密几何预测、分割、多视图几何重建，且所有输出均可解码适配主流评测基准。
## 🌐 核心优势
- **统一视觉任务建模**：全部异构视觉任务均可转化为多模态模型原生的文本、图像、图文混合生成任务。
- **无任务专属分支**：不单独搭建检测、分割、深度、法向、三维几何专用预测头。
- **输出可标准解码**：生成文本与图像可反向解析为评测标准所需包围框、关键点、识别文字、掩码、深度图、法向图、点云、相机参数。
- **全场景任务覆盖**：同一模型一站式完成结构化视觉理解、图像分割、稠密几何预测、多视图三维几何重建。
- **指令自定义任务**：依靠自然语言指令灵活定义任务，突破固定评测数据集的预设范式限制。
## 🛠️ 使用方法
请使用 SenseNova-Vision 官方 GitHub 仓库中的推理代码：
```bash
git clone https://github.com/OpenSenseNova/SenseNova-Vision.git
cd SenseNova-Vision
```
### 环境配置
请在仓库根目录下创建运行环境：
```bash
bash setup.sh sensenova-vision
conda activate sensenova-vision
```
### 下载模型
你可以使用 `huggingface_hub` 从 Hugging Face 下载模型权重：
```python
from huggingface_hub import snapshot_download
model_path = snapshot_download("sensenova/SenseNova-Vision-7B-MoT")
print(model_path)
```
输出的 `model_path` 即为本地模型权重路径，可在后续推理中作为模型路径使用。
### 运行示例
```bash
bash scripts/run_sensenova_vision.sh example
```
### 运行单次推理请求
例如，下面的命令会对输入图像中的 `"person"` 类别进行二值分割：
```bash
bash scripts/run_sensenova_vision.sh inference \
binary_seg \
"person" \
examples/images/2.jpg
```
## 🏗️ 核心创新点
- 🔗 提出统一多模态生成建模框架，将各类异构计算机视觉任务映射至统一多模态模型的原生输入输出空间。
- 🧩 构建大规模视觉指令数据集 SenseNova-Vision-Corpus，样本包含可解码文本、稠密图像、图文混合三类标注目标。
- ✨ 训练得到 SenseNova-Vision 统一视觉大模型，在结构化视觉理解、稠密几何预测、分割、多视图几何重建四大赛道均取得优异性能；同时支持通过自然语言自定义任务，不受固定评测集约束。
## 🏆 评测指标结果
我们在结构化视觉理解、稠密几何预测、图像分割、多视图几何重建四大方向开展全面评测。所有任务均使用自然语言指令定义：文本类输出解析为评测所需包围框、关键点、识别文字、相机参数；图像类输出解码为掩码、深度图、表面法向图、三维点云图。
### 结构化视觉理解
本赛道评测输出可表示为结构化文本的任务，包含框/点定位、指代检测、文字识别定位、GUI界面定位、人体关键点检测。
| 方法 |
目标检测 |
OCR文字检测 |
GUI界面定位 |
人体关键点 |
| COCO通用 |
HR/RefCOCOg 视觉/文本指代 |
LVIS长尾检测 |
Dense200稠密检测 |
VisDrone航拍检测 |
HierText分层文字 |
ICDAR15 |
ScreenSpot-V2 |
COCO人体关键点 |
| 框mAP |
框mAP |
框mAP |
框mAP |
框mAP |
点mAP |
框mAP |
框mAP |
框mAP |
点mAP |
| Grounding DINO-Swin-T |
56.6 |
25.2 / 45.9 / 46.8 |
38.8 |
33.1 |
38.5 |
-- |
-- |
-- |
-- |
-- |
| Bagel |
50.2 |
74.6 / 76.4 / 77.8 |
46.8 |
42.4 |
23.0 |
36.9 |
7.1 |
15.8 |
81.1 |
-- |
| Qwen3-VL-8B-Instruct |
46.6 |
70.4 / 72.3 / 72.6 |
43.2 |
13.5 |
28.7 |
35.7 |
22.4 |
25.4 |
90.5 |
-- |
| Qwen3.5-9B |
49.3 |
71.7 / 72.1 / 72.6 |
43.2 |
27.5 |
26.8 |
41.7 |
19.6 |
11.4 |
92.2 |
-- |
| LocateAnything |
54.7 |
78.7 / 76.7 / 77.6 |
50.7 |
58.7 |
39.9 |
60.4 |
29.1 |
26.4 |
85.5 |
-- |
| Rex-Omni |
52.9 |
79.9 / 73.6 / 74.3 |
46.9 |
58.3 |
35.8 |
58.9 |
28.0 |
28.1 |
88.4 |
32.6 |
| SenseNova-Vision |
56.6 |
80.2 / 79.6 / 80.5 |
54.8 |
66.8 |
43.3 |
62.9 |
31.2 |
49.5 |
85.9 |
34.6 |
### 稠密几何预测
本赛道评测像素对齐几何输出，包含单目深度估计、表面法向预测。
| 方法 |
深度估计 |
表面法向估计 |
| NYUv2室内 |
KITTI自动驾驶 |
ETH3D实景重建 |
ScanNet室内重建 |
DIODE室外深度 |
ScanNet |
iBims-1 |
NYUv2 |
| AbsRel误差↓ / δ1精度↑ |
平均角度误差↓ / 11.25°内占比↑ |
| DSINE |
-- | -- | -- | -- | -- |
16.2 / 61.0 | 17.1 / 67.4 | 16.4 / 59.6 |
| DepthAnything |
4.3 / 98.1 | 7.6 / 94.7 | 12.7 / 88.2 | 4.3 / 98.1 | 26.0 / 75.9 |
-- | -- | -- |
| DepthAnything V2 |
4.5 / 97.9 | 7.4 / 94.6 | 13.1 / 86.5 | 4.2 / 97.8 | 26.5 / 73.4 |
-- | -- | -- |
| *MoGe-2 |
3.5 / 98.0 | 5.5 / 97.7 | 3.4 / 98.8 | 3.4 / 98.3 | 23.0 / 82.3 |
12.8 / 68.4 | 14.7 / 70.4 | 14.7 / 62.3 |
| Marigold |
5.5 / 96.4 | 9.9 / 91.6 | 6.5 / 95.9 | 6.4 / 95.2 | 30.8 / 77.3 |
21.3 / 45.6 | 18.5 / 64.7 | 20.9 / 50.5 |
| DICEPTION |
6.1 / 96.0 | 6.9 / 94.9 | 5.0 / 97.5 | 7.2 / 94.4 | 28.9 / 72.2 |
18.8 / 53.6 | -- | 18.3 / 52.9 |
| FE2E |
4.1 / 97.7 | 6.6 / 96.0 | 3.8 / 98.7 | 4.4 / 97.5 | 22.8 / 81.2 |
13.8 / 67.2 | 15.1 / 70.6 | 16.2 / 59.6 |
| Lotus-2 |
4.1 / 97.6 | 6.7 / 94.5 | 4.6 / 98.1 | 4.2 / 97.6 | 22.1 / 75.2 |
14.2 / 66.8 | 15.4 / 70.4 | 16.9 / 59.0 |
| SenseNova-Vision |
4.0 / 98.1 | 5.9 / 95.9 | 4.3 / 97.4 | 3.9 / 98.0 | 20.6 / 76.4 |
12.8 / 68.9 | 15.4 / 69.1 | 14.4 / 62.7 |
### 图像分割
评测语义分割、指代分割、推理分割、对话引导分割、交互式点/框分割的掩码预测效果。
| 方法 |
通用分割 |
指代分割 |
推理分割 |
对话分割 |
交互式分割 |
| 全景IoU / 语义IoU |
RefCOCO / RefCOCO+ / RefCOCOg cIoU |
验证集 / 测试集 gIoU |
验证集 / 测试集 gIoU |
点输入 / 框输入 mIoU |
| LISA-7B | -- | 74.9 / 65.1 / 67.9 | 52.9 / 47.3 | 62.0 / 61.7 | -- |
| PSALM | 55.9 / 66.6 | 83.6 / 72.9 / 73.8 | -- | -- | 64.3 / 67.3 |
| Text4Seg | -- | 79.2 / 72.8 / 74.0 | 59.1 / 57.1 | -- | -- |
| LENS | -- | 84.2 / 79.4 / 81.2 | 62.1 / 57.2 | -- | -- |
| ConverSeg | -- | 79.4 / 74.3 / 74.9 | 61.9 / 57.0 | -- | -- |
| X-SAM | 54.7 / 66.5 | 85.1 / 78.0 / 83.8 | 56.6 / 57.8 | 69.4 / 69.0 | 65.4 / 70.0 |
| SenseNova-Vision | 48.8 / 64.0 | 81.3 / 76.0 / 80.3 | 63.2 / 60.7 | 65.7 / 66.2 | 60.9 / 73.9 |
### 多视图视觉几何
基于多张输入图像完成几何预测，包含多视图点云重建、相机位姿估计。
| 方法 |
多视图重建 |
相机位姿估计 |
| 精度误差↓ / 完整度误差↓ / F1分数↑ |
旋转精度RRA@30↑ / 平移RTA@30↑ / AUC@30↑ |
| 7Scenes室内场景 |
ETH3D实景数据集 |
Re10K |
CO3Dv2 |
| DUSt3R | 0.026 / 0.034 / 87.1 | 0.359 / 0.531 / 66.6 | 99.8 / 84.9 / 67.6 | 97.7 / 93.4 / 78.3 |
| DepthAnything3 | 0.020 / 0.026 / 90.5 | 0.228 / 0.212 / 76.6 | 100.0 / 96.4 / 89.6 | 99.3 / 98.0 / 91.8 |
| VGGT | 0.023 / 0.032 / 88.4 | 0.177 / 0.155 / 80.9 | 100.0 / 93.5 / 79.3 | 98.3 / 96.6 / 89.2 |
| MoRe | 0.038 / 0.039 / 77.1 | 0.348 / 0.318 / 62.7 | 100.0 / 94.0 / 79.1 | 98.4 / 96.3 / 83.0 |
| MapAnything | 0.027 / 0.029 / 87.8 | 0.400 / 0.524 / 67.0 | 100.0 / 93.5 / 80.7 | 95.5 / 91.6 / 70.9 |
| G2VLM | 0.084 / 0.056 / 59.2 | 0.784 / 0.553 / 36.7 | 99.8 / 77.5 / 51.8 | 96.3 / 92.0 / 55.2 |
| SenseNova-Vision | 0.028 / 0.026 / 87.9 | 0.301 / 0.175 / 72.2 | 99.8 / 94.2 / 77.3 | 97.4 / 95.4 / 80.1 |
### 通用视觉大模型横向对比
将本模型与近年通用全能视觉模型，在多类视觉任务上横向对比：
| 方法 | 目标检测 | 语义分割 | 指代分割 | 深度估计 |
|---|
| mAP | mIoU | cIoU | δ1精度 |
|---|
| COCO数据集 | Cityscapes城市场景 | RefCOCO / + / g | NYUv2室内 |
|---|
| Youtu-VL | 47.1 | 70.4 | 80.7 / 76.2 / 76.5 | 90.4 |
| SenseNova-Vision | 53.7 | 71.2 | 81.3 / 76.0 / 80.3 | 98.1 |
| 方法 | 语义分割 | 指代分割 | 推理分割 | 深度估计 | 表面法向 |
|---|
| mIoU | cIoU | gIoU | δ1精度 | 平均角度误差↓ |
|---|
| Cityscapes | RefCOCOg | ReasonSeg | KITTI | NYUv2 | DIODE | ETH3D | NYUv2 | ScanNet | DIODE |
|---|
| Vision Banana | 69.9 | 73.8 | 79.3 | 91.5 | 94.8 | 91.7 | 93.5 | 17.8 | 15.1 | 13.8 |
| SenseNova-Vision | 71.2 | 80.3 | 63.2 | 95.9 | 98.1 | 76.4 | 97.4 | 14.4 | 12.8 | 15.3 |
### 通用多模态综合能力
模型在适配各类视觉感知任务的同时，基本保留通用图文理解与生成能力。
| 方法 | 跨模态理解 | 图文生成 |
|---|
| MMMU多模态问答 | MMVP视觉推理 | MathVista数学图文 | GenEval生成评测 | WISE图文对齐 |
|---|
| Bagel | 0.55 | 69.3 | 73.1 | 0.82 | 0.52 |
| SenseNova-Vision | 0.42 | 79.0 | 67.7 | 0.85 | 0.45 |
## 🖼️ 可视化效果示例
## 📚 训练数据集
SenseNova-Vision 使用 **SenseNova-Vision-Corpus-50M** 大规模视觉指令数据集训练。该数据集将各类异构标注统一转换为标准化样本格式：输入图像 + 自然语言指令 + 可解码标注目标（文本/稠密图像/图文混合）。
数据集分为四大任务大类：
| 任务大类 | 代表性子任务 | 标注目标格式 |
|---|---|---|
| 结构化视觉理解 | 目标检测、指代定位、点标注、关键点、OCR文字、布局解析、GUI界面定位 | 带归一化坐标与轻量化结构标记的文本记录 |
| 稠密几何预测 | 单目深度估计、表面法向预测 | 固定编码规则生成稠密图像图 |
| 图像分割 | 指代分割、推理分割、交互式分割、通用语义分割、对话引导分割 | 二值掩码、彩色语义掩码、图文混合输出 |
| 多视图视觉几何 | 多视图点云重建、相机位姿估计 | 类图像点云图 + 结构化相机参数文本 |
## ⚠️ 局限性
- **非专项最优模型**：本模型覆盖全品类视觉任务，但针对单一细分场景的专用模型，在部分小众评测集上性能可能超越本模型。
- **输出解析依赖任务脚本**：文本类输出需要对应任务专用解析器，稠密图像输出必须遵循训练时的解码规则。
- **几何指标精度不保证**：深度、法向、点云、相机位姿等稠密几何预测结果，下游落地前务必独立校验精度。
- **提示词敏感**：作为指令跟随模型，任务表现会受指令措辞、输出格式定义、视觉提示框输入方式影响。
- **数据集与评测偏差**：模型行为会继承训练数据集的数据分布、标注习惯带来的固有偏置。
## 🛡️ 伦理规范
SenseNova-Vision 可能输出错误的目标定位、分割掩码、深度、表面法向或相机位姿结果。**严禁在无独立校验的安全关键场景直接部署**。
若使用包含人像、人脸、证件文档、医疗影像、监控画面、私密环境的数据集，使用者需自行遵守当地隐私法规、知情同意要求与数据管理规范。
## ✒️ 引用
如果本项目对你的研究有帮助，请引用以下技术报告：
```bibtex
@misc{han2026visionunifiedmultimodalgeneration,
title={Vision as Unified Multimodal Generation},
author={Xiaoyang Han and Jianhua Li and Kewang Deng and Zukai Chen and Xuanke Shi and Sihan Wang and Boxuan Li and Linyan Wang and Siyi Xie and Xin You and Jinsheng Quan and Zhongang Cai and Haiwen Diao and Ziwei Liu and Lei Yang and Dahua Lin and Quan Wang},
year={2026},
eprint={2607.06560},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2607.06560}
}
```
## 📜 开源协议
模型权重基于 CC BY-NC 4.0 许可证发布，仅限非商业用途。
官方 GitHub 仓库中的源代码可能遵循不同的许可证。代码使用请参考对应代码仓库中的许可证说明。第三方数据集、工具和资源仍受其原始许可证和使用条款约束。
## 📮 联系我们
如有疑问、Bug反馈、科研合作需求，可前往官方项目仓库提交Issue；正式发布后也可通过项目主页联系论文作者。