ReSplat Research Roadmap

Renderer Score Tokens：实验路线图

Claim-driven validation、stop/go gates 与 GPU 预算；尚未运行实验

Published: 2026-07-16 Scope: claim-driven validation Status: planning only；所有 runs 均未启动

Experiment Plan

Problem：ReSplat 的 residual 与当前 renderer primitive/action 不对齐，容易在遮挡、重叠和参数耦合区域产生错误更新。 Method Thesis：standard render 后的 analytic score-replay primitive tokens，比 scalar attribution、index-bound residual 更适合作为 recurrent Gaussian updater 的固定维度 action interface，并应接近 gradient-conditioned quality、获得更好的 latency/VRAM Pareto。 Date：2026-07-15 Execution status：PLANNING ONLY；本轮没有启动任何 run。

Claim Map

Claim	Why It Matters	Minimum Convincing Evidence	Linked Blocks
C1：typed renderer score 更能预测有用 Gaussian action	这是超越 PRIMU/GaussianPOP 用途迁移质疑的核心	相对 index residual、alphaT scatter、GaussianPOP score，held-out one-step utility 更高、loss-increasing step fraction 更低，并在 overlap/occlusion 分层中保持优势	B0, B1, B3
C2：score-replay interface 在 matched time/capacity 下改善 NVS	证明方法不是只在诊断指标上好看	DL3DV 8-view 四步 PSNR 约 +0.25 dB 或遮挡区域显著改善且 global 不退化；端到端 overhead ≤20%；3 seeds	B2, B3, B4
Anti-claim：收益不是额外参数、手写近似 gradient 或更多 render	否则 paper 会被判为工程迁移	matched-capacity projection、raw/detached gradient updater、显式 gradient descent、相同 render/time 对照	B3, B4

Paper Storyline

Main paper must prove：
1. scalar primitive attribution 不足以预测 parameter-typed action；
2. proposed token 提高 held-out single-step utility；
3. 该 utility 转化为 matched-time NVS/geometry 收益；
4. render + analytic score replay 保留 ReSplat 的质量—成本优势。
Appendix can support：完整公式推导、数值 finite-difference check、top-K debug、更多 view counts、cross-dataset、coded probes。
Experiments intentionally cut：dynamic topology、pose refinement、diffusion prior、长 horizon 8–16 步、额外 optical-flow/depth backbone。
Frontier primitive：无。该方法刻意不引入 VLM、Diffusion 或 RL；renderer backward 只可作为 teacher/critic 诊断，不能成为主系统。

Experiment Blocks

Block 0：Renderer Score Correctness and Identifiability

Claim tested：定义的 score 确实对应可解释的局部 renderer response，而不是任意 feature engineering。
Why this block exists：在投入训练前验证公式、符号、Jacobian lift 和 fused kernel。
Dataset / split / task：
- 两平面/三层遮挡 synthetic diagnostic；
- 10–20 个 DL3DV 场景的 256×448 小 batch。
Compared systems：
- CPU/naive reference implementation；
- CUDA score-replay reduction；
- finite difference/group perturbation；
- autograd gradient oracle。
Metrics：
- score 数值相对误差；
- sign accuracy；
- blockwise cosine/top-k overlap；
- multi-view normal equation rank/condition number；
- kernel time/VRAM。
Setup details：不训练；固定 checkpoint；RGB residual only；debug top-K 仅在小 tiles 开启。
Success criterion：
- suffix recovery 与 score replay/reference relative error <1e-3；
- sign accuracy >80% 于高 support primitive；
- 多视图 mean score 相对单视图显著降低 ray-null ambiguity；
- 256×448 score aggregation overhead <30%。
Failure interpretation：若公式/实现无法稳定复现或大部分 geometry score rank-deficient，停止该方向。
Table / figure target：Appendix numerical validation + main paper mechanism figure。
Priority：MUST-RUN。

Block 1：Held-Out Single-Step Action Utility

Claim tested：typed score 比 scalar attribution/index residual 更能产生对未参与候选更新 target view 有益的一步。
Why this block exists：这是 novelty isolation 的最直接证据。
Dataset / split / task：DL3DV 8-view；每次用 context residual 产生一个候选 step，用额外 held-out target 计算前后 utility。
Compared systems：
- ReSplat index-bound RGB+feature residual；
- RGB-only ReSplat；
- alphaT scatter；
- PRIMU-style error+coverage token；
- GaussianPOP removal score token；
- raw gradient input；
- detached gradient feature；
- proposed typed score。
Metrics：
- held-out target loss delta；
- loss-increasing step fraction；
- context-gradient cosine，仅诊断；
- overlap、occlusion、view baseline、iteration 分层。
Setup details：matched Point Transformer、matched parameter count；initializer frozen；1-step 和 4-step checkpoints。
Success criterion：
- high-overlap/occlusion stratum 的 mean/median target utility 显著更好；
- loss-increasing step fraction 相对最强 scalar baseline 至少下降 20%；
- 不是仅由 extra parameter capacity 解释。
Failure interpretation：若 scalar attribution 已达到相同 utility，主 novelty 失败。
Table / figure target：Main Figure 3 / mechanism diagnosis table。
Priority：MUST-RUN。

Block 2：Main Matched-Capacity NVS Result

Claim tested：better action utility 能转化为标准 NVS/geometry 收益。
Why this block exists：决定 CVPR/ICCV 投稿是否成立。
Dataset / split / task：
- 主：DL3DV 8-view，256×448；
- confirmation：DL3DV 8-view，512×960；
- cross-dataset：RealEstate10K，沿用 ReSplat setting。
Compared systems：
- official ReSplat；
- matched-capacity ReSplat；
- strongest scalar attribution baseline；
- raw/detached gradient updater；
- proposed method。
Metrics：
- PSNR、SSIM、LPIPS；
- input/context 与 target gap；
- depth reprojection、depth boundary proxy；
- per-step target utility；
- reconstruction time、render time、VRAM。
Setup details：
- 3 seeds；
- 1/2/4 steps；
- identical initializer、data、loss、training steps；
- H200 完成主训练，A6000 做评测。
Success criterion：
- 四步 global PSNR 约 +0.25 dB；或遮挡/重叠区域有强、稳定收益且 global 不退化超过 0.05 dB；
- 3 seeds 方向一致；
- overhead ≤20%。
Failure interpretation：诊断收益不转化为 NVS，说明 interface 不是实际瓶颈。
Table / figure target：Main Table 1、quality/latency Pareto。
Priority：MUST-RUN。

Block 3：Novelty Isolation and Deletion Study

Claim tested：有效性来自 typed vector/tensor score，而不是已有 alpha attribution、更多特征或参数化清理。
Why this block exists：直接回应 PRIMU/GaussianPOP/Diff3R objection。
Dataset / split / task：DL3DV 8-view 256×448；单 seed 预筛，关键项 3 seeds。
Compared variants：
1. support/alphaT only；
2. - signed opacity/SH；
3. - mean first moment；
4. - multi-view Jacobian pullback；
5. full typed score；
6. equal-width random/learned projection；
7. raw/detached/support-normalized/parameter-normalized gradient。
Metrics：PSNR/LPIPS、held-out utility、loss-increasing step fraction、latency。
Success criterion：full typed score 明显超过 alphaT scalar；去掉 sign、type 或 multi-view pullback 有一致退化。
Failure interpretation：若 alphaT only 或 learned projection 等价，机制 claim 不成立。
Table / figure target：Main Table 2；次级组合放 appendix。
Priority：MUST-RUN。

Block 4：Score-Replay Kernel Efficiency and Scaling

Claim tested：解析 score replay 相对通用 autograd gradient 具有真实质量—延迟—显存优势。
Why this block exists：回答“为何不用 gradient”。
Dataset / split / task：4/8/16/32 views；256×448 与 512×960。
Compared systems：
- original ReSplat；
- debug metadata path；
- score-replay path；
- raw、detached、support-normalized、parameter-scale-normalized gradient feature；
- explicit gradient descent/TTO。
Metrics：forward、backward、aggregation、updater 分项时间；peak VRAM；rendered contributions；end-to-end wall-clock。
Success criterion：
- render + replay 相对原 render/update overhead ≤20% 于 512×960；
- 相对 raw gradient path 显著降低 peak memory 或 wall time；
- 随 view count/resolution 近线性可控。
Failure interpretation：若 matched-wall-time raw gradient 持续更优，backward-free 主张失败。
Table / figure target：Main efficiency table。
Priority：MUST-RUN。

Block 5：Failure Analysis

Claim tested：界定 score tokens 的适用边界。
Dataset / split / task：低 overlap、单视图 support、镜面、重复纹理、极薄结构、错误 pose。
Compared systems：ReSplat、alphaT、proposed、raw gradient。
Metrics：rank-deficient rate、wrong-sign rate、regional PSNR/LPIPS、failure gallery。
Success criterion：明确而非隐藏 failure；confidence statistics 能识别至少一部分不可靠 geometry scores。
Failure interpretation：若主要场景均 rank-deficient，方法不值得继续。
Table / figure target：Main qualitative failure figure + appendix。
Priority：NICE-TO-HAVE，但至少保留一个失败图。

Run Order and Milestones

Milestone	Goal	Runs	Decision Gate	Cost Estimate	Risk
M0	score 公式、suffix recovery 与 replay kernel 正确	R000–R004	reference error <1e-3；geometry rank 可用；overhead <30%	0–20 H200h + 40–100 A6000h	CUDA/公式错误
M1	official baseline 与 matched baseline	R010–R012	指标接近论文/官方 checkpoint；seed variance 可接受	120–300 H200h	基线复现偏差
M2	single-step utility 决策	R020–R026	proposed 超过 alphaT/GaussianPOP；否则 STOP	70–180 H200h	novelty 被 scalar baseline 吞掉
M3	主方法 3 seeds	R030–R032	+0.25 dB 或强区域收益且 global 不退化	450–900 H200h	utility 不转化
M4	decisive ablations + gradient kill test	R040–R049	typed/sign/lift 必须；matched-time gradient 不支配	450–1,000 H200h	手写 gradient objection
M5	full-res、cross-dataset、efficiency	R050–R057	overhead ≤20%；跨分辨率/数据集不崩	350–900 H200h	fused kernel 不扩展
M6	failure/qualitative polish	R060–R064	形成可信边界和可视化	100–300 H200h	时间不足

Stop / Go Gates

Gate G0 — renderer correctness：M0 不通过，停止。
Gate G1 — novelty isolation：alphaT/GaussianPOP 与 proposed 单步 utility 相同，停止。
Gate G2 — action-to-NVS transfer：四步没有 global 或高难区域收益，停止或降为 workshop。
Gate G3 — backward-free value：matched-wall-time gradient updater 更好且资源差异很小，停止主 claim。
Gate G4 — venue readiness：3 seeds、full-res、效率和 failure analysis 均成立后，才进入投稿写作。

Compute and Data Budget

MVP decision budget：约 70–160 H200-GPUh；240–620 A6000-GPUh 以内。
Must-run paper budget：约 1,400–2,700 H200-GPUh。
Full paper upper range：约 1,600–3,600 H200-GPUh。
A6000 role：数值核验、评测、低分辨率消融；不承担 paper-level 主训练。
4×H200 wall-clock interpretation：1,600–3,600 aggregate GPUh 约等于 17–38 天满载墙钟；实际排队、失败重跑和数据开销使项目周期仍为 3–6 个月。
Data preparation：复用 DL3DV/RE10K；synthetic occlusion diagnostic 只用于机制验证，不作为数据集贡献。
Human evaluation：不需要。
Biggest bottleneck：score-replay suffix recovery、per-Gaussian aggregation 与 geometry pullback 的正确性/效率。

Timeline

周	目标
1–2	reference score、synthetic diagnostic、数值核验
3–5	score-replay prototype、M0 gate
6–8	baseline 与 single-step utility、G1 gate
9–12	主训练单 seed、G2 gate
13–16	3 seeds、核心 deletion、gradient kill test
17–19	512×960、view-count、RE10K、效率
20–22	failure analysis、图表、增量查新
23–24	buffer：重跑、写作、审稿风险修补

Risks and Mitigations

Risk：score 实际就是较差的 gradient approximation Mitigation：不回避该关系；用 matched-time raw/detached gradient kill test。
Risk：geometry lift rank-deficient Mitigation：输出 condition statistics；低 rank 时由 updater 降权，不伪造沿 ray 的方向证据。
Risk：score-replay CUDA 开发超期 Mitigation：先 reference/PyTorch 证伪机制；G1 通过后再投入 kernel。
Risk：删除 feature residual 后损失过大 Mitigation：主方法默认删除 ResNet residual 以保证归因清晰；RGB+feature 只作为消融，若必须依赖旧 source-index feature binding 才能恢复质量，则主系统失败。
Risk：并发工作 Mitigation：第 2、6、10、18 周增量查新，重点监控 renderer attribution、forward gradient、generalizable GS optimization。

Final Checklist

[ ] Main paper tables are covered
[ ] Novelty is isolated against PRIMU/GaussianPOP
[ ] Raw/detached gradient kill criterion is run
[ ] Simplicity is defended with matched capacity
[ ] No frontier component is forced
[ ] Nice-to-have runs are separated
[ ] Three seeds and full-resolution confirmation are included
[ ] 本轮没有误标任何计划为实验结果