课程项目 / CS182 机器学习
MOF3R：基于 SAM2 与 3DGS 的 Mask-Guided 三维商品重建
Mask-Guided High-Fidelity 3D Product Reconstruction via SAM2 and 3D-Consistent Gaussian Splatting Refinement
CS182: Introduction to Machine Learning · 课程项目 · 上海科技大学 · 2026
CS182
项目概述
MOF3R 是一个面向物体中心三维重建的课程项目，基于 3D Gaussian Splatting，并引入 SAM2 生成的前景 mask 作为语义先验。项目通过 foreground-aware compound loss 优化 3DGS，并使用几何感知 pruning 移除 floating Gaussians 和边界伪影。CO3Dv2 上的实验显示，相比原始 3DGS，该流程可以得到边界更清晰、背景伪影更少的物体重建结果。
摘要
- 输入单目视频先经过 COLMAP 估计相机参数，并使用 SAM2 生成前景 mask。
- 前景 mask 用于指导 3DGS 训练，使优化更集中于目标物体而不是杂乱背景。
- 训练后的细化阶段结合 mask 一致性、局部密度、各向异性过滤和自适应缩放。
- 项目在代表性的 CO3Dv2 序列上评估物体中心重建质量。
该项目由 Zidong Song、Boyang Zhou 和 Zian Chen 作为 CS182 课程项目完成。
方法
方法被整理为三个紧凑阶段：相机与 mask 预处理、mask-guided 3DGS 优化，以及用于移除残余伪影的几何感知 pruning。
方法
使用 COLMAP 与 SAM2 进行预处理
- 从输入视频序列中抽取帧。
- 使用 COLMAP 估计相机内参和外参。
- 使用 SAM2 和第一帧提示生成前景 mask。
方法
Mask-guided 3DGS 优化
- 将 SAM2 mask 作为前景语义先验。
- 使用 mask-constrained L1 监督，使光度训练聚焦于目标物体。
- 使用 composite-image SSIM 维持边界附近的结构一致性。
方法
几何感知 pruning
- 将 Gaussians 投影到可见视角，并通过前景 mask 进行投票。
- 分析局部 KNN 密度和各向异性以识别异常 primitives。
- 对不确定 Gaussians 进行缩放或删除，在保留细节的同时平滑轮廓。
Mask-Guided 损失
组合目标将 mask-constrained L1 与 composite-image SSIM 结合，使前景重建质量提升，同时避免模型过度拟合杂乱背景。
- SAM2 前景 mask 提供语义监督。
- Mask-constrained L1 将像素损失集中在目标物体上。
- Composite-image SSIM 稳定边界结构。
- 该目标减少 3DGS 优化过程中的背景拟合。
几何感知 Pruning
多视角 mask 一致性
- 将每个 Gaussian center 投影到可见相机视角。
- 检查投影点是否落在对应前景 mask 内。
- 移除在多个有效视角中持续被判断为背景的 Gaussians。
几何感知 Pruning
密度与各向异性过滤
- 使用 K-nearest-neighbor 邻域估计局部密度。
- 识别低密度异常点和过高各向异性结构。
- 针对物体边界附近的拉伸结构和拖尾伪影。
几何感知 Pruning
自适应缩放
- 避免立即删除所有不确定的边界候选。
- 逐步减小低置信 primitives 的尺度和不透明度。
- 在平滑噪声轮廓的同时保留细节几何。
实验与结果
实验使用 CO3Dv2 物体序列，与原始 3D Gaussian Splatting 进行对比，并报告前景 mask 区域内的 PSNR、SSIM 和 LPIPS。以下数值来自代表性真实物体序列上的课程项目实验结果，不作为正式论文发表结论。
摘要
- PSNR 从原始 3DGS 的 19.07 dB 提升到 MOF3R 的 23.56 dB。
- SSIM 从 0.592 提升到 0.935，说明前景结构一致性更强。
- LPIPS 从 0.629 降低到 0.120，与可见感知伪影的减少一致。
可视化结果
单一可视化区块集中展示项目报告中的整体 pipeline、定性重建对比和定量结果对比。
