青山軒

$$\hat{\bm{w}}^* = \argmin_{\hat{\bm{w}}}(\bm{y} - \mathbf{X}\hat{\bm{w}})^\mathrm{T} (\bm{y} - \mathbf{X}\hat{\bm{w}}). \tag{1}$$

记

$$J(\hat{\bm{w}}) := (\bm{y} - \mathbf{X}\hat{\bm{w}})^\mathrm{T} (\bm{y} - \mathbf{X}\hat{\bm{w}}), \tag{2}$$

展开得到

$$J(\hat{\bm{w}}) = \bm{y}^\mathrm{T}\bm{y} - 2\hat{\bm{w}}^\mathrm{T}\mathbf{X}^\mathrm{T}\bm{y} + \hat{\bm{w}}^\mathrm{T}\mathbf{X}^\mathrm{T}\mathbf{X}\hat{\bm{w}}. \tag{3}$$

对 $\hat{\bm{w}}$ 求导：

$$\frac{\partial J(\hat{\bm{w}})}{\partial \hat{\bm{w}}} = -2\mathbf{X}^\mathrm{T}\bm{y} + 2\mathbf{X}^\mathrm{T}\mathbf{X}\hat{\bm{w}}, \tag{4}$$

令梯度为 0，得

$$\mathbf{X}^\mathrm{T}\mathbf{X}\hat{\bm{w}} = \mathbf{X}^\mathrm{T}\bm{y}. \tag{5}$$

当 $\mathbf{X}^\mathrm{T}\mathbf{X}$ 可逆，即 $\mathbf{X}^\mathrm{T}\mathbf{X}$ 是满秩矩阵或正定矩阵时，

$$\boxed{ \hat{\bm{w}}^* = (\mathbf{X}^\mathrm{T}\mathbf{X})^{-1}\mathbf{X}^\mathrm{T}\bm{y}. } \tag{6}$$

死去的排列组合、数理统计、线性代数回忆正在攻击我．

绪论

“奥卡姆剃刀” (Occam’s razor) 是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”．……然而，奥卡姆剃刀并非唯一可行的原则．

对于一个学习算法 $\mathfrak{L}_a$，若它在某些问题上比学习算法 $\mathfrak{L}_b$ 好，则必然存在另一些问题，在那里 $\mathfrak{L}_b$ 比 $\mathfrak{L}_a$ 好．

“没有免费的午餐”定理，简称 NFL 定理。
如果不假设训练数据和测试数据之间有某种共同规律，那么学习是不可能的。
机器学习的关键不是找到“万能模型”，而是找到适合当前问题结构的模型、假设和归纳偏置。

• 去到每一度 點解總會有得嘈
  難度繼續困死陰濕小氣島
  我有一路 清楚找我有幅圖
  閒話素來任你講卡都好儲

• Hey Dr. 眠れないんだ
  朝、陽が射さすまで
  Gotta fall asleep now
  理不尽な毎日が
  狂くるわす Rhythm
  Gotta change my life and…
  But don’t you cry for me
  涙ぐっと堪こらえて
  小さいバッグ一つだけ持って
  知らない僕を探す
  Moving on
  Keep staying strong

部分摘自 2023 年日记。

从 2023 年开始，我在打字聊天时就没有再用过「她」字了，第三人称单数无论男女一律用「他」。

其实早在大约是大二的时候，我就在有意识地从代词上减少无意义的性别对立，基本有两个原因驱使我这么做：

• 一是英文社区中 they 作为第三人称单数通性代词已经是非常普遍的事了，虽然这似乎涉及西方那套性别自由论，但我确实觉得没有必要时时刻刻都将男女代词分开来；
• 二是汉语中也本无「她」字，在新文化运动之前也一直在用通性的「他」，「她」字是当时为了翻译外国文学中类似 she 这样的代词而造的字。那么既然不是为了译外国文学，「她」字也就姑且可以束之高阁了。

港澳台等地直到现在还用「妳」字来指代第二人称女性。既然现在简中已不区分第二人称，那依我看第三人称也合并为好。

当时我曾用过「佢」来表示第三人称单数通性，因为粤语等方言中似会用这个字。但问题就在于，不知道这些方言的人很可能也不清楚这个词具体是什么意思，在打字聊天中还是要以达意为第一要义，所以就逐渐放弃了这种用法。后来想到，何不就用「他」呢，于是就一直这么做了。