WorldMesh：用网格条件扩散生成可导航的多房间 3D 世界

1. 关键创新

一句话判断WorldMesh 的贡献不只是“给扩散模型加深度图”，而是让生成、记忆、验证和 3D 重建都读写同一个几何对象 $M$。

2. 技术路径：输入、信息流与三个关键公式

2.1 布局与结构 mesh

论文事实主题 $T$ 先被 Claude Opus 4.6 转成布局 $L$：房间 floor polygon、墙厚、层高和 opening。结构阶段对 polygon 做 inset，再沿高度挤出；共享墙用半厚度，门窗以 boolean subtraction 切除，并把共享墙上的 opening 同步到邻室。官方约束文档还规定 door graph 必须连通，保证每个房间可达。

分析推断这一步把导航问题提前解决：若门洞关系在 mesh 拓扑层已经断裂，后面的 3DGS 再逼真也只能得到互相独立的漂亮房间。

2.2 对象实例化与墙面记忆

结构 mesh 从 coverage camera 渲染深度，Flux2-Klein 生成一张带建筑上下文的对象布局图；SAM3 提供 mask，SAM-3D-Objects 生成对象 mesh 和相机到世界的变换。落地、墙挂、吊顶对象分别按重力、支撑面和高度规则校正。墙面颜色则在每个成功视角生成后投影回 $M_{geo}$，让外观始终 anchored to the underlying 3D geometry；下一个视角继承已知颜色，未知区域仍用深度占位。

$q$ 是相机旋转四元数，帽子表示单位化；点积绝对值消除了四元数正负等价。生成器从 bootstrap 相机开始，每次选与既有视角旋转最接近的候选，并把该图作为 style reference，目的是让外观沿相机序列渐进传播，而不是每帧重新抽样一个风格。

$E_i^{M}$ 是 mesh 深度图的 Canny 结构边缘，$E_i'$ 是生成图经深度估计后的边缘；膨胀容许少量像素偏移。该分数只惩罚“缺失的结构边”，不会因为扩散模型想象了额外家具而拒绝样本；低于阈值就换 seed 重生成。

2.3 3DGS 的几何锚定

$\hat I_i$ 与 $D_i^S$ 是从高斯场景 $S$ 渲染的颜色和深度，$D_i$ 是 mesh 渲染深度；前两项保留照片细节，最后一项把墙、地板和开口拉回 scaffold。论文的消融直接验证了这项作用：去掉深度损失后 Reproj MAE-norm 从 0.1615 升到 0.3009，同时图像审美几乎不变。

该方法将文本主题依次送入经规则校验的 floor plan、对象重建与增量墙面纹理，再以深度边缘验证和 mesh 深度正则 3DGS 输出可导航场景；但论文的接缝/遮挡说明与消融中的纹理缺失暴露出外观记忆仍不可靠，因此可在 project_wall_texture.py 的投影累积处加入可见性置信度融合，检验其能否在跨视角 AbsRel 与纹理接缝率上同时下降。

3. 源码核对：论文模块确实落地

源码事实官方仓库已发布，README 的默认流程分为“初始渲染 + mask”与“对象重建 + 全量生成”两阶段；仓库还提供本地 Flux2-Klein 路径和公开数据集。下面两段是与论文方法直接对应的最小片段。

method/project_wall_texture.py:104–139 · 世界坐标 → 相机 → UV

w2c = np.linalg.inv(camera_c2w)
verts_h = np.hstack([vertices_world, np.ones((len(vertices_world), 1))])
cam_coords = (w2c @ verts_h.T).T[:, :3]
z = -cam_coords[:, 2]
px = fx * cam_coords[:, 0] / z + cx
py = fy * (-cam_coords[:, 1]) / z + cy
u = px / width
v = 1.0 - (py / height)
return np.stack([u, v], axis=1), z

这对应论文的 projective texturing。源码明确处理 OpenGL 的 $-Z$ 前向和 glTF 的 $v$ 翻转；后续函数再做面朝向、深度遮挡和房间过滤。

method/create_splatfacto_colmap.py:141–189 · mesh 深度 → 3DGS 初始化点云

v, u = np.where(depth > 0)
d = depth[v, u]
indices = np.arange(0, len(u), subsample)
u, v, d = u[indices], v[indices], d[indices]
x_c = (u - cx) / fx * d
y_c = (v - cy) / fy * d
points_cam = np.stack([x_c, -y_c, -d], axis=1)
R_c2w = R_w2c.T
t_c2w = -R_c2w @ t_w2c
points_world = (R_c2w @ points_cam.T).T + t_c2w

源码不是把 3DGS 当成黑盒：它从深度反投影点云、转换 Z-up/Y-up 坐标，并按最多 5M 点自动下采样；阶段 8 用 depth-splatfacto 传入 depth-loss-mult 0.7。

4. 核心数据：一致性增益来自哪里

Figure 3。在床周围近距离旋转时，WorldExplorer、FlexWorld 等方法出现物体重影或视角依赖纹理；mesh 条件保持对象和墙的相对关系。

表 1 重排自论文；感知分数来自 31 位参与者，均为 1–5 分。CLIP-IQA+ 与 Aesthetic 只看 2D 画质，不能单独证明 3D 正确性。

解读WorldMesh 的优势主要体现在三个需要跨视角记忆的维度：Quality 比最强基线 DreamScene360 高 1.29 分，3D Objects 高 1.30 分，3D Structure 高 0.98 分；平均 pairwise preference 为 96.2%。这支持“显式几何是收益来源”的解释，但不等于对所有相机轨迹都成立。

Figure 5。深度、对象和墙纹理各自约束不同失败模式；完整 scaffold 才同时稳定局部对象和全局建筑。

表 2(a) 的精简版；完整表还报告法向对齐和更多条件变体。去掉初始化与深度监督后几何误差暴涨，但 Aesthetic 仍为 5.4270，说明“好看”与“正确的 3D”确实可分离。

表 A3；NB Pro 房间可并行，Flux2-Klein 本地路径在单张 RTX A5000 上顺序执行。附录 Figure A5 报告五个场景最大 4-连通自由空间平均覆盖 96.7%。

Figure 4：主题多样性

Figure A2：条件 mesh 与最终外观

Figure A5：可导航性

5. 改进思路：先从证据定位瓶颈

下表把论文事实、源码事实和分析推断分开；“前沿对照”只引用可核验的论文或官方仓库，不把热门名词当成已验证结果。

由改进推导的科研方向

首选方向：先做 Confidence-Mesh。理由是改动局部、无需新训练大模型、可直接复用官方数据和指标，预计一到两周可完成最小实验；若接缝率与 AbsRel 同向改善，再扩展到主动视角调度。第一阶段只改投影累积器，固定 seed、相机集合、扩散 backbone 和 3DGS 超参数，报告 4/6 房间的 paired bootstrap 置信区间。

6. 局限、复现边界与结论

作者明确承认

论文只处理 single-story layouts；多层环境需要逐层生成并重新设计布局条件。对象重建依赖 SAM-3D-Objects，遮挡区域可能缺少背面和细节。这两点是论文原文的限制，不应被宣传页的“arbitrarily-sized”解读覆盖。

从源码与实验可推断

官方向导在阶段 4 默认打开 Gradio mask 界面，文本到场景并非完全无人值守；默认 Nano Banana Pro 走 API，而本地 Flux2-Klein 虽可复现但时间更长。论文的 edge-recall 描述与仓库可配置开关并不完全等价，复现时必须记录阈值、seed、模型 backbone 和是否启用 validation。

自动指标也有边界：CLIP-Aesthetic 不能证明门洞可通行，IQA+ 不能证明对象背面正确；31 人研究和六房间消融支持的是“在指定近景轨迹上 mesh 有效”，不是所有场景的统计定律。

Figure A5。最大 4-连通自由空间平均覆盖 96.7%；这是对布局连通性的直接检查，但不是建筑安全或机器人规划认证。

结论：WorldMesh 的核心不是更大的图像模型，而是给生成过程一个可以持续查询、验证和反投影的几何状态。消融中“去掉 mesh 初始化与深度损失，几何误差从 0.1615 变成 1.8804，而审美仍很高”把这点说得最清楚：世界要先有骨架，扩散才不会把每个视角画成另一个地方。

可核验来源

1. 论文事实Schneider & Dai, WorldMesh, arXiv:2603.22972v3（Figure 1–5、Table 1–2、Table A1–A3、Figure A2/A5）。
2. 源码事实链接中的行号对应官方仓库 main 分支，页面生成时已克隆并核对 README、结构 mesh、纹理投影、深度验证和 splatfacto 导出。
3. 分析推断改进收益、阈值和研究假设均是待验证命题，不是论文已报告结果。