本仓库已并入 RAS，后续开发在 RAS 进行。 This repository has been merged into RAS; future development takes place in RAS.

RP-SceneReal2Sim

单图驱动的可编辑 Real2Sim：联网检索 · 铰链交互 · 布料与柔体

简体中文 | English

2026-10-26：无需 LLM／Blender 的确定性工作台工具。 从头部 RGB、板 A 和实测量重新求相机位姿，导出 USD、scene package 和逐帧投影验收图；两张真机图板 A 拟合 RMS 0.399／0.394 px。旧铃位置在新照片中不匹配，独立轮廓 RMS 38.50 px，保留失败和原因。主流程第 8 步也增加 scene package 清单。通用工具与模板 · 真实图验收。

2026-10-25：Piper 双臂 click_bell 工作台。 真实工作台按板 A 配准、整台转平，导出为 RP-Real2Sim2Real scene package，INTACT 数采现行场景就是它；与 INTACT 现行场景逐点对比最大差 0.000055 mm。案例说明。

2026-10-03：相机标定、真实场景对照与几何／纹理修复。 逐帧 K／位姿贯穿预处理、建模、渲染与结构检查。 ETH3D 收货区保留原生流程与 AWSM 协议移植的独立对照；后续修复原生候选的外壳、部件变换与源照片纹理。 修复版复用的测试集已经暴露，按诊断结果报告；失败候选、局部回归和原生验收边界均保留。 相机接口 · 原始独立对照 · 几何／纹理修复、预览与验证。

从一张 RGB 照片出发，构建可编辑的三维部件与场景。GPT-6 Astra 负责观察、建模决策和预览复查，Blender 与 Python 完成场景构建；联网检索为尺寸、型号和材料提供可追溯的候选依据，按需启用关节和柔体仿真。

能力	我们的特点	使用与证据
单图重建	无需先采集视频或多视角；输出可编辑部件，支持相机、布局和局部几何修订。绝对尺度需要尺寸依据或明确的先验。	Desk1 可编辑场景
联网检索	检索候选商品规格与材料信息，保存来源快照、单位和冲突；记录先验是否真正用于建模。	原生检索链路
铰链交互	门板与框架分离，显式定义转轴、关节限位和接触，可在仿真中检查运动。	动力学案例与测量
布料与体积柔体	分别支持表面弯曲／拉伸和体积压缩，保留位移、接触与稳定性检查。	配置和适用范围

铰链、布料和体积柔体默认关闭、可独立启用，已有附带仿真案例；单张照片不能确定真实弹性参数。以下 Desk1 对照评测静态外观，未评测这些动力学能力。

最新对照：同一张 Desk1 原图

在本轮静态适配条件下，我们的联网先验方案 C 比两条参考适配路线有更低的源图误差。 同一张图、同四个前景区域，RGB MAE 范围 0–255，越低越好：

实际运行条件	前景 RGB MAE ↓	全图 RGB MAE ↓
本项目 C：单图＋联网软尺寸先验	14.48	15.37
AHa-inspired：Pi3X 单图静态适配＋RGB 背景修正	15.68	16.28
Real2Gym-inspired：MoGe-3 静态适配＋RGB 背景修正	17.75	22.51

**比较范围：**两条参考路线共享我们编写的实例适配器，未运行作者完整框架或独立 Astra 迭代，监督与优化预算也未匹配。数字只衡量源图贴合，不代表三维真值精度、完整项目排名或“单图 SOTA”。历史候选 A 的图像误差更低，但仍有 21.3° 最大直角偏差；全部版本和失败记录均保留。完整对照与原始数值 · 联网先验 A/B/C 实验

生成技能、统一生成流、独立场景与研究分支已整合，支持原生 quality_v2 流程。本次首页与分支整合记录 · 快速开始

历史进展与验证记录

**2026-09-30 正式分支整合版：**研究与生成流已统一，最终 14/14 组回归通过。原生 Blender 为权威场景，GLB/USD 外观差异仍明确保留；结果不一致的法线删除实验未作为默认修复。此版本不宣称 SOTA。发布与验证记录。

生成流技能接入： quality_v2 可直接执行 RoomKit 部件建模、Pi3X 参考状态/输出消费，以及渲染后的局部差异反馈。三个技能随仓库分发，反馈进入原有审查与修订回路；Pi3X 未就绪时保留阻塞状态，不自动恢复安装。接入与使用。

**并行实测更新：**已执行固定两轮反馈 A/B、五组组合对照和新的 DROID 接触仿真。组合候选改善了柜体粗轮廓与风口区域误差，床品误差未改善；尚未达到整场景视觉验收或 SOTA。完整结果与失败记录。

**2026-09-29 能力研究进展：**新增结构碰撞修复、固定相机几何反馈、有来源的材料／接触先验与任务轨迹验收。铰链、布料和体积柔体保持可选，默认关闭。同一保留场景的碰撞对照由失败变为通过，14 项回归通过；不改变历史视觉验收结论，也不代表已达到 SOTA。结果与证据。

预览

overview.mp4

包含三个房间的照片对照、巡游、多视角和交互演示。末段是与 ArtVIP 资产的运动学对照，画面保留来源标注。

我们做了什么

• 用尺寸和型号约束比例。 三场景案例采用确认的 2m 床长及两款候选柜体的商品规格，将衣柜宽度从约 0.96m 校正为 0.794m、鞋柜从约 1.34m 校正为 1.05m，让家具比例和空间摆放有明确依据。
• 把场景拆成可编辑部件。 床架、层板、柜门、抽屉、衣物分别建模，提供 21 个静态资产文件对应的资产清单，便于继续修改布局和设置交互。大型模型不随 Git 仓库分发。
• 检查实际生成的资产。 逐项测量尺寸、网格和参考模型差异，保留结果及复查脚本。当前两款柜子的主体尺寸符合约束，含把手的整体深度仍有偏差，详见定量评估。
• 让修改可以接着做。 工作流保存阶段结果、参数与证据；修改几何后重新检查受影响的结果，减少从头重跑。

视频展示的是三场景 V5 案例；仓库另附一个可复跑的杂物房案例，含 MuJoCo 动力学与 GLB/USD 导出检查。两者的结果分别记录。

新测试：独立整场景重建（2026-09-26）

从原始照片和重新估计的参数建立一个独立候选，复用通用工作流，未使用旧卧室/V5/ArtVIP 的几何、拟合参数或建模脚本。2026-09-27 对保留候选补做 ArtVIP 参考评估，测量前后模型未改动。

当前候选／条件参照	平均双向表面差	F-score @10 mm	F-score @100 mm
鞋柜／VITBERGET	25.84 mm	47.65%	96.95%
衣柜／BRUKSVARA	7.47 mm	80.53%	99.20%

验收状态：needs_revision。 Blender/GLB/USD 导出与实际重导入通过；视觉评审要求修改，静态仿真检查因后墙碰撞面偏差 25 mm 未通过。正式 export/validate/report 阶段尚未执行，未生成冻结版本。两款家具型号均未由实物标签确认，上表只衡量与指定参考模型的差异，不能代表整场景实物精度。

这是保留失败结论的新测试案例。仓库提供建模脚本与评估记录，大型模型及完整证据保留远端；复跑依赖该案例的原图、工作流状态与证据。案例与验收记录 · 评估方法与完整数据

定量评估（原 V5 案例）

在 V5 原模型上重新测量 21 组资产。两款柜体与 ArtVIP 参考模型的表面差异如下，每个方向采样 60,000 点，保留原始尺度。

资产	平均表面差	中位数	P95	F-score @10mm	含把手整体深度较目录偏差
VITBERGET 鞋柜	12.50 mm	8.12 mm	42.98 mm	59.15%	+55.61 mm（13.90%）
BRUKSVARA 衣柜	14.40 mm	5.34 mm	53.16 mm	60.13%	+89.98 mm（15.93%）

床的两根纵向侧梁均为 2,000 mm；鞋柜顶板深度 400.001 mm、衣柜侧板深度 565.000 mm，符合输入尺寸约束。含把手的整装深度仍有上表偏差。

网格检查覆盖 663 个去重几何对象：顶点数值全部有限，586 个拓扑封闭，77 个曲线管件存在开放端口；发现 2,546 个零面积面，主要在货架、床头装饰、椅座和黑柜加强筋，仍需清理。

以上衡量尺寸约束符合度和参考模型差异。F-score 是距离阈值内双向表面覆盖率的调和平均；缺少独立实测的其他资产尚不能给出实物准确率。逐资产数据、测量定义与复查脚本。

与领先论文对比：10 mm / 100 mm

核对日期：2026-09-25。选取报告绝对距离阈值的代表性强结果，优先列出单图实验。这是公开结果对照，不是同场景复跑或统一排行榜；输入条件按具体实验标注。

10 mm（1 cm）：F-score ↑

方法／对象	重建输入	评测范围	F-score @10 mm
本项目：VITBERGET 鞋柜	单张房间图＋家具规格／参考辅助	单件柜体，相对 ArtVIP	59.15%
本项目：BRUKSVARA 衣柜	单张房间图＋家具规格／参考辅助	单件柜体，相对 ArtVIP	60.13%
SimFoundry，自动	单图	12 个 YCB 桌面场景，易／中／难	92% / 87% / 81%
SimFoundry，人工微调	单图＋每物体 3 分钟人工调整	同上，易／中／难	99% / 97% / 93%
SAM 3D，SimFoundry 论文复评	单图；评测另作全局尺度对齐	同上，易／中／难	71% / 66% / 68%

论文数字为分组均值，标准差见原表 L.2。SimFoundry 的这项几何实验使用单图，不是视频输入：附录 L.1.1 明确说明，两种方法只接收最终摆满物体的场景图；逐件摆放时拍摄的图像仅用于建立准真值。SAM 3D 的全局尺度通过匹配准真值点云求取。

100 mm（10 cm）：F-score ↑

方法／对象	重建输入	评测范围	F-score @100 mm
本项目：VITBERGET 鞋柜	单张房间图＋家具规格／参考辅助	单件柜体，相对 ArtVIP	100.00%（重新测量）
本项目：BRUKSVARA 衣柜	单张房间图＋家具规格／参考辅助	单件柜体，相对 ArtVIP	98.88%（重新测量）
SAM 3D，Lucida 论文复评	单图生成＋共享估计深度定位	R2S-Scene，选定物体的场景重建	79.4%
SceneGen，Lucida 论文复评	单图＋实例掩码；评测作整场景刚性对齐	同上	35.1%
Lucida	非单图：视频／多视角＋估计深度	同上	92.4%

2026-09-25 已用原 V5 模型和 ArtVIP 参考重新测量。衣柜在 100 mm 下两个方向分别有 58,667/60,000（97.7783%） 和 60,000/60,000（100%） 的采样点落入阈值，F-score 为 98.8767%；鞋柜为 100%。输入模型哈希、Blender 4.5.3 版本、配准与采样设置不变，原 1/5/10/20/50 mm 统计全部精确复现。现已保存逐点距离，其他阈值可直接复核。测量统计 · 逐点距离 · 复算脚本

比较边界： 本项目测两件独立柜体，保留尺度、对齐底面和包围盒中心，以点到三角面的距离评估，包含内部表面；规格与参考模型参与过制作，并非独立留出测试。论文测多物体场景，包含布局误差，采样和配准也不同。Lucida 复评的 SAM 3D 还使用共享估计深度做米制定位，不能称为纯单 RGB 协议。鞋柜在 100 mm 下的 100% 不代表超过 Lucida，也不是整间房间的分数。

来源：SimFoundry，arXiv:2606.28276v4，附录 L.1.1–L.1.3、表 L.2；Lucida，arXiv:2608.30821v1，第 3.3 节、表 4。未把归一化物体指标或相对物体直径的阈值换算为毫米。

补充记录：卧室单图重建重复实验。

开始使用

用自己的照片

1. 克隆仓库，在能够读取文件、执行 Python 和调用 Blender 的 GPT-6 Astra Agent 环境中打开。
2. 按任务模板提供照片、用途，以及已知尺寸、型号或商品链接；未知项留空。
3. 将主 Prompt交给 Agent，按使用指南完成观察、建模和预览复查。

模型访问由你的 Agent 环境提供。新场景需要观察和定制建模；仓库提供工作流与工具入口。

复跑附带案例

准备 Python 环境、Blender 4.5.3、MuJoCo 3.13.0、FFmpeg 及离屏渲染条件，按复跑说明安装依赖后运行：

export R2S_PYTHON=/path/to/venv/bin/python
export R2S_BLENDER=/path/to/blender-4.5.3/blender
export R2S_GPU=0
export R2S_CPU=1
export PYTHONPATH="$PWD/workflow"
"$R2S_PYTHON" tools/rebuild_artifacts.py --output "$PWD/replay_runs/my_replay"

输出目录需为新目录。冻结配方复跑不需要重新调用语言模型。

尺寸与型号说明 · 复跑案例结果 · 能力与限制 · 工具接入

由 Roboparty 维护，非 OpenAI 官方项目。代码采用 MIT；照片、视频和第三方素材适用媒体与来源说明。