技术路线及节点整理
技术路线
-
从“未着色的切片”生成“伪彩色的切片”。
需要的知识：LoRA，ControlNet 等。
涉及寻找合适的原始数据 & 数据脱敏。 -
用切片序列 (Slices) 重构体数据 (Volume)，然后通过体数据生成任意截面 (Novel Section)。
已有基础实现，目前着重考虑渲染优化（即 3）。
-
渲染优化。两条路线：3DGS 或拟合函数 (Fitting)。
需要的知识：3DGS，MLP，PTM，体数据压缩等。
优先尝试 3DGS 路线。 -
交互上的创新与优化。
-
从网格生成体数据 (Mesh2Volume)。
需要的知识：以数学为主。
尝试将 Volume 转换成 Mesh，与 Novel Mesh 进行分段拟合 (Piecewise Approximation)。但在 3DGS 路线下或许有其他解决方法。
节点分析
| 编号 | 所表示的掌握程度 |
|---|---|
| ① | 阅读相关论文，了解熟悉该知识点 |
| ② | 在①的基础上，熟读重要论文，并跑通其实现 |
| ③ | 在②的基础上，应用于既有项目或实际场景中 |
- 3DGS ③
紧急且重要，可用于提升现有插件的效果。
Unity 生态里已经有现成项目和公开分享可参考。比如 SIGGRAPH 2023 及其民间实现。 - 学习使用 ComfyUI ② ~ ③
搭建 ControlNet 和 LoRA 等的媒介。
- ControlNet ②
- LoRA ① ~ ②
- NeRF（一定程度上包含 MLP）②
- Retargeting ②
与分段拟合任务有相似之处，可能有助于开拓思路。
- 体数据压缩 ① ~ ②
- PTM (Polynomial Texture Map) ① ~ ②
Garcia et al. 提供了 PTM 在 Unity 中的实现。
- BRDF & BTF (Bidirectional Texture Function) ①
- 阅读西瓜书 ①
- SSS (Subsurface Scattering) ①
作为扩展阅读。
- lapack ①