GaussianGPT：自回归三维高斯场景生成

Sparse 3D Feature Grid

输入场景包含一组 Gaussian。按论文和配置，它们至少具有以下属性：

作者在世界坐标中建立规则网格，根据 Gaussian 中心把 primitive 分配到 voxel。绝对中心位置不作为 feature 输入，而是用 voxel index 表达粗位置、用相对 voxel center 的 offset 表达亚 voxel 位置。若一个 voxel 内有多个 Gaussian，论文采用随机 subsampling，得到每个占用 voxel 一个 Gaussian 的输入。

# configurable_vqvae.py:248-280
xyz_voxel = (points[PCKeys.COORDS] / self.default_grid_size).round().int()
voxel_coords = torch.cat(
    [points[PCKeys.BATCH].unsqueeze(-1), xyz_voxel], dim=-1
).to(torch.int32)

points[PCKeys.COORD_OFFSET] = (
    points[PCKeys.COORDS] / self.default_grid_size
    - xyz_voxel.to(points[PCKeys.COORDS].dtype)
)

Sparse 3D CNN Encoder–Decoder

拼接后的 sparse feature grid 输入 encoder \(\mathcal E\)。场景模型有三次各轴下采样，每次尺度因子为 2，因此总 stride 为 \(2^3=8\)。基础 voxel 为 \(2.5\,\mathrm{cm}\)，latent voxel 对应 \(2.5\times8=20\,\mathrm{cm}\)。decoder \(\mathcal D\) 逐级上采样，并在中间层预测 occupancy 以裁剪不应存在的 voxel。

配置中的 embedding dimension 与 decoder outer dimension 均为 64，最大通道数 512。Gaussian 各属性先分别扩展为“属性维数 × 16”的 embedding，再拼接进入 sparse CNN；解码后，每项属性使用两个 64-channel residual MLP block 和最终线性层恢复。

分析者解释稀疏卷积保留 translation equivariance：相同局部结构平移到另一 voxel 区域，卷积处理方式相同。这对后续使用相对 chunk 坐标的生成器很重要，因为模型希望在不同房间位置复用局部结构规律。

Vector Quantization：为何使用 LFQ

encoder 输出连续 latent \(\mathbf z\)，随后通过 Lookup-Free Quantization 离散化。论文描述为按符号把编码分量二值化为 0/1，并由二值组合得到 code index。默认 codebook size 为 4096，即 \(4096=2^{12}\)，因此每个 latent voxel 最终对应一个 12-bit 组合所索引的离散 feature token；官方库负责从 64 维 encoder feature 投影到所需的 LFQ code space。

传统 VQ 必须寻找最近的 codebook vector；LFQ 用符号组合隐式定义 code，避免大 codebook nearest-neighbor search，并通过 entropy objective 鼓励不同 code 被充分使用。Appendix F 会显示：传统 VQ 在短训练下略好，但训练约慢三分之一，长训练后差距缩小。

# model/vqvae/cnn/minkowski_vq.py:40-54
if self.kind == "lfq":
    self.vq = LFQ(
        dim=self.dim,
        codebook_size=self.codebook_size,
        frac_per_sample_entropy=1.0,
        soft_clamp_input_value=10.0,
        experimental_softplus_entropy_loss=True,
        projection_has_bias=False,
    )
elif self.kind == "vq":
    self.vq = VectorQuantize(
        dim=self.dim, codebook_size=self.codebook_size, decay=0.99
    )

Autoencoder Training

训练监督来自三部分。第一，decoder 输出 Gaussian 后从随机相机重渲染，与目标图像计算 \(L_1\) RGB loss 和 VGG19 perceptual loss。第二，各 decoder upsampling 层预测 occupancy，以 binary cross-entropy 约束稀疏结构。第三，LFQ entropy loss 鼓励 codebook 使用分布，防止大量 code 永远闲置。

3D Grid Serialization

作者使用固定 \(xyz\) traversal，其中 \(z\) 是最低有效维：先遍历同一 \((x,y)\) 下的整个竖直高度列，再移动到下一个 \(y\)，最后移动 \(x\)。它不保证一维序列邻近性等于三维邻近性，但规则简单、可解释，而且与按列 outpainting 兼容。

每个占用 latent voxel 形成一个二元组 \((p_i,f_i)\)：\(p_i\) 表示 chunk 内位置，\(f_i\) 是 LFQ code。序列写为

分析者推导一个 \(20^3\) chunk 最多有 8000 个占用 latent voxel，因此完全占满时需要 16000 个位置/特征 token，再加边界 token，仍低于 16384 context。平均 chunk 约 3.2k latents，即约 6.4k token。这个数值关系直接决定三次下采样是可行配置。

# utils/pos_tokens.py:6-20
def threed_to_oned_indices(indices_3d, side_length):
    return (
        indices_3d[..., 0] * (side_length**2)
        + indices_3d[..., 1] * side_length
        + indices_3d[..., 2]
    )

def oned_to_threed_indices(indices_1d, side_length):
    z = indices_1d % side_length
    y = (indices_1d // side_length) % side_length
    x = (indices_1d // (side_length**2)) % side_length
    return torch.stack([x, y, z], dim=-1)

Vocabulary Design

同一 Transformer backbone 处理全部 token，但 position 与 feature 使用不重叠的词表区间，并在交替位置使用不同有效输出集合。position head 的任务是“下一个 occupied voxel 在哪里”，feature head 的任务是“刚才这个 voxel 使用哪个 LFQ code”。

这种分离有两层意义。统计上，它避免几何地址与外观/局部结构 code 竞争同一 index。工程上，position vocabulary 由 chunk 尺寸决定，而 feature vocabulary 由 tokenizer codebook 决定，两者可独立扩展。当前 scene code 的全词表布局为 8000 个 position id、4096 个 feature id，再加 EOS 与 PAD；feature ids 在代码中整体偏移 8000。

# model/gpt/nanochat_gpt.py:672-700
slot_idx = self._prediction_slot_indices(...)
is_position_slot = slot_idx < self.sparse_num_position_tokens

logits[..., pad_id] = -torch.inf
if is_position_slot.any():
    logits[:, is_position_slot, feature_start:feature_end] = -torch.inf
if (~is_position_slot).any():
    logits[:, ~is_position_slot, :position_vocab] = -torch.inf
    logits[:, ~is_position_slot, eos_id] = -torch.inf

3D Rotary Positional Encoding

若直接对一维 token index 使用普通 positional encoding，空间上相邻的 voxel 可能因序列化而相隔很远，序列上相邻的 token 也不一定空间接近。作者因此把真实 voxel coordinate 注入 attention，使 query–key 相似度随三维相对位移变化。

# model/gpt/nanochat_gpt.py:560-585
position_token_ids = full_tokens.gather(1, slot0_positions)
coords = oned_to_threed_indices(
    safe_position_token_ids, self.sparse_rope_side_length
)
slot_idx = slot_idx.unsqueeze(0).expand(batch_size, -1)
return torch.cat([coords, slot_idx.unsqueeze(-1)], dim=-1)

Transformer Architecture

主干是 decoder-only GPT-2 风格模型。scene 模型对应 GPT-2 medium：24 层、1024 hidden dimension、16 个 query heads、16 个 KV heads；object 模型对应 GPT-2 small：12 层、768 hidden、12 heads。scene context 为 16384 token，object context 为 8192。

相对 vanilla GPT-2，论文列出 3D RoPE、query–key normalization、per-layer residual scaling 与 Muon optimizer。公开配置关闭 value embeddings 与 sliding-window attention，所有层使用完整 causal context。MLP 使用 squared ReLU；logits 在 cross-entropy 前用 smooth soft-cap 限制到约 \([-15,15]\)。这些属于官方实现细节，不是论文的主要算法贡献。

Autoregressive Training

Scene Generation and Completion

无条件生成从 BOS 开始，在 position 与 feature slot 间交替采样，直到 EOS 或 context 上限。默认实验使用 temperature \(0.9\) 与 nucleus sampling \(p=0.9\)。temperature 调整 logits 的平坦程度；top-\(p\) 只保留累计概率达到阈值的最小候选集合。

# complete_chunks.py:400-435
token_rows = full_tokens.view(-1, tokens_per_latent)
pos_tokens = token_rows[:, :num_pos_tokens]
coords = pos_tokens_to_centered_coords(
    pos_tokens[rows_for_split], num_pos_tokens, base_side_length
)
split_x = x_vals.min() + fraction * (x_vals.max() - x_vals.min())
keep_rows[rows_for_split] = x_vals <= split_x
prefix_tokens = full_tokens[:prefix_rows * tokens_per_latent]

大场景生成则反复移动局部 \(4\,\mathrm m\times4\,\mathrm m\) context window，用已生成列作为新 prefix，继续生成相邻 latent-grid columns。若一列完全为空，作者最多回退重采样 5 次；Appendix C 进一步比较 0、5、15 次 retry。该过程允许生成空间范围超过训练 chunk，但每轮只保持局部上下文，因此远离起点后会积累误差。

作者还利用 position token 的显式几何语义施加约束：屏蔽已经生成或违反顺序的位置；大场景时对空列做有限 tree-search/resampling。这是显式空间 token 相比不可解释 latent sequence 的直接优势。

PhotoShape

对象级实验沿用 DiffRF/L3DG protocol。PhotoShape 包含 15,576 把 chair，每个对象有 200 个 rendered views，并被规范化到 canonical grid。对象 autoencoder 使用 \(128^3\) 输入离散化、两次下采样，得到 \(32^3\) latent grid；对象保留一阶 spherical harmonics，因此颜色可以随观察方向变化。

canonical normalization 降低了姿态、尺度和场景布局变化，所以 PhotoShape 主要检验“表示 + 自回归 prior 是否能生成高质量单体”，并不能单独证明完整场景建模能力。

3D-FRONT

作者自行构建高质量 Gaussian scene dataset：对每个 3D-FRONT 场景渲染多视图图像与深度，从 depth map 回投影初始化 Gaussian，再用 Scaffold-GS 优化 60k iterations。为了符合 autoencoder 的规则输入域，anchor 与 voxel center 对齐，并限制每个 anchor 只有一个 Gaussian。

按空间范围过滤后剩 4,472 个场景。围绕竖直轴旋转和镜像形成 \(8\times\) augmentation。这个数据集并非原始 3D-FRONT mesh 的直接 tokenization；它已经包含一个昂贵的 Gaussian optimization preprocessing。因此 GaussianGPT 推理虽然直接生成 Gaussian，但训练数据准备并不是 feed-forward。

Aria Synthetic Environments (ASE)

ASE Gaussian 来自 SceneSplat++，共 25,000 个室内场景，覆盖更丰富的 layout、对象组合和外观。作者用 ASE 与 3D-FRONT 共同预训练，再对 3D-FRONT fine-tune；附录的额外结果显示 ASE pretraining 增加生成多样性。

Autoencoder Configuration

scene autoencoder 的 base voxel size 为 \(0.025\,\mathrm m\)，三次下采样后 latent voxel size 为 \(0.20\,\mathrm m\)。scene 不建模 view-dependent appearance；object 使用一阶 SH。全部实验 codebook size 为 4096。

scene re-rendering loss 使用 12 个 view，\(\lambda_{RGB}=7.5,\lambda_{perc}=0.3\)；object 使用 4 个 view，权重为 12.5 与 0.1。两类训练均用 \(\lambda_{occ}=1.0,\lambda_{LFQ}=0.1\)。更完整的压缩选择见 Appendix F。

Transformer Configuration

scene 模型为 GPT-2 medium-sized，context 16,384；object 模型为 GPT-2 small-sized，context 8,192。全部主结果使用 temperature \(0.9\) 与 nucleus sampling \(p=0.9\)。论文没有报告对不同 temperature/top-\(p\) 的系统敏感性曲线，因此“可控采样”主要是结构能力陈述，而非完整消融结论。

Training Strategy

scene 训练从固定竖直范围的空间 chunks 中采样，使不同场景的 floor height 对齐。chunk 必须达到最小 occupancy：附录给出的阈值是 autoencoder 0.2、GPT 0.3；最多尝试 10 个候选，否则选 occupancy 最高者。

ASE 的 autoencoder supervision 直接与 ground-truth Gaussians 的 render 比较；3D-FRONT 使用前述预渲染图像。监督像素只保留 GT geometry 判定属于当前 chunk 的区域。对象训练使用完整 shape，不做 chunking。

Optimization and Compute

两种模型都使用 cosine decay 到初始学习率的 10%。这些成本不包括把 3D-FRONT 转为优化 Gaussian 的 60k-iteration preprocessing。

Evaluation Protocol

定量比较把 GaussianGPT 与重新训练的 chunked L3DG 放在相同 3D-FRONT spatial setting。无条件 generation 使用 1000 个生成 chunk 与 1000 个 held-out GT chunk；completion 使用 200 个 GT chunk，每个条件采样 5 个 completion。

L3DG completion 使用 RePaint。扩散 baseline 对已知区域仍执行全局去噪步骤，而 GaussianGPT 直接把已知 token 当 prefix。

Qualitative Results

作者认为两种模型均能产生连贯室内结构；GaussianGPT 的 causal prefix 允许任意合法前缀直接延续。Figure 6 显示同一个局部条件可以产生不同家具、墙体延伸和外观，说明模型没有简单复制单一 GT，而是在近似条件分布中采样。

Quantitative Results

分析者解释这组结果最有力地支持论文的结构性主张：prefix conditioning 与 causal factorization 匹配。它并不能证明 autoregressive model 在无条件场景分布上全面优于 diffusion，因为无条件几何覆盖仍明显较弱。

Large Scene Generation

单 chunk 的物理范围为 \(20\times0.20=4\,\mathrm m\)。作者通过滑动局部窗口反复补全 latent columns，生成 \(12\,\mathrm m\times12\,\mathrm m\) 场景。已生成区域成为下一步 context；空列最多重采样 5 次，以避免生成过程过早进入全空区域。

Serialization Strategies

Core Model Components