青山軒

什么是 STE

Straight-Through Estimator，简称 STE，是一种深度学习技巧，主要用于解决模型中‌离散操作不可导导致梯度无法反向传播的问题，通过在前向计算保留离散、反向传播近似梯度的方式实现端到端训练．‌‌‌

ClipGS 的问题描述

在 ClipGS 中，判断一个高斯的可见性的表达式是

$$\mathcal{M} = \bm{1} \, [(\bm{\mu} + \bm{\delta}) \cdot \bm{n} < z], \tag{1}$$

其中 $\bm{\mu}$ 是高斯的均值，$\bm{\delta}$ 是使 $\bm{\mu} + \bm{\delta}$ 更接近贡献中心的偏移，$\bm{n}$ 是裁剪平面的法线．由于离散的 $\mathcal{M} \in \{0, 1\}$ 无法提供梯度信息，所以需要利用 STE 使 $\mathcal{M}$ 可学习．

中文名	源语言名	源语言	英文名
安慕希	ἀμβροσία	希腊语	ambrosia
修昔底德	Θουκυδίδης	希腊语	Thucydides

原始体渲染公式：

$$I(\gamma(t)) =\int T(t) \, \sigma(\gamma(t)) \, c(\gamma(t)) \, \mathrm{d}t, \tag{1}$$

在体积泼溅中，有

$$\sigma(\bm{x}) = \sum_{i=1} ^ K \sigma_i \, \mathcal{G}_i(\bm{x}). \tag{2}$$

第 $i$ 个高斯在 $t$ 处的密度贡献为 $\sigma_i \, \mathcal{G}_i(\gamma(t))$，对第 $i$ 个高斯沿射线积分：

$$\begin{aligned} & \int_\R \sigma_i \, \mathcal{G}_i(\gamma(t)) \, \mathrm{d}t \\ = & \sigma_i \int_\R \mathcal{G}_i(\gamma(t)) \, \mathrm{d}t, \end{aligned}$$

令

$$\tau_i := \int_\R \mathcal{G}_i(\gamma(t)) \, \mathrm{d}t, \tag{3}$$

那么第 $i$ 个高斯的密度贡献就可以表示为 $\sigma_i \tau_i$，因此透射率

$$T_i = \prod_{j=i} ^ {i-1}(1 - \sigma_i \tau_i). \tag{4}$$

所以

$$I(\gamma) = \sum_{i=1} ^ K c_i (\sigma_i \tau_i) T_i,$$

$$\boxed{ I(\gamma) = \sum_{i=1} ^ K c_i \sigma_i \tau_i \prod_{j=1} ^ {i-1} (1 - \sigma_j \tau_j), \quad \text{with } \tau_i = \int_\R \mathcal{G}_i(\gamma(t)) \, \mathrm{d}t. } \tag{5}$$

形如

$$y(x)' + P(x)y(x) = Q(x) \tag{1}$$

的微分方程称为一阶线性微分方程．

解这种方程常用的方法叫积分因子法．我们希望找到一个函数 $\mu(x)$，使得

$$(\mu y)' = \mu y' + \mu P y = \mu Q \tag{2}$$

成立。根据乘积求导公式

$$(\mu y)' = \mu y' + \mu'y, \tag{3}$$

任务目标

通过 $N$ 套多视角图片、相机内参（intrinsic，包括焦距、宽高等）和相机外参（extrinsics，包括旋转、平移）

$$\{\bm{I}_i, \bm{K}_i, \bm{W}_{\!i}\}_{i=1}^N$$

用可微的渲染来重建 3D 场景．

对于每个视角 $i$，都使用当前的参数 $\theta$ 来渲染场景，获得图像 $\bm{I}_{\theta, i}$，然后将这张图像与其对应的输入图像 $\bm{I}_i$ 进行比较，使 $\bm{I}_i \approx \bm{I}_{\theta,i}$．这可以通过使用标准梯度下降算法，达到最小化光度损失 (photometric loss) 以实现：

$$\mathcal{L}(\theta) =\frac{1}{N} \sum_{i=1}^N \| \bm{I}_{\theta,i} -\bm{I}_i \|^2. \tag{1}$$