上一期 形象解释线性代数之QR分解 提到了 Gram-Schmidt 过程，这一期就来形象地聊聊这个线性代数中的基本概念。
正交性在数据科学中至关重要的首要原因是：确定不相关的特征。
然而，我们面对的数据特征很少是这样的。有很多方法可以解决这个问题，Gram-Schmidt（格拉姆-施密特）过程就是其中之一。下面是它的工作原理。
问题很简单。给定一组基向量 a₁, a₂, …, aₙ ，我们希望将它们转换为正交基 q₁, q₂, …, qₙ ，使得前 i 个 qᵢ 向量与前 i 个 aᵢ 向量有着相同的信息。
形式化角度描述这个条件的一种自然方法就是，他们张成的子空间相同。
我们怎样才能达到这样的结果呢？让我们一步一步来。
先看一个例子。我们的输入由三个高度相关但仍然独立的三维向量组成。
如果我们希望 q₁表示 a₁相同的信息，则选择 q₁ = a₁ 即可。第一步很简单。
现在，我们需要选择 q₂ 使得
q₂ 正交于 q₁,
q₂ 和 q₁ 一起，与a₁和 a₂ 代表相同的信息，也就是说，它们生成相同的子空间。
自然的选择是取 a₂ 减去及其在 q₁ 上的正交投影。
如果您不确定 q₂ 正交于 q₁，可以计算下式。
下图是几何的视觉解释。
这个投影步骤是 Gram-Schmidt 的本质，整个算法只是它的迭代而已。
接着我们再次迭代，从 a₃ 本身减去 a₃ 在 q₂ 和 q₁ 组成空间的正交投影
3维 Gram-Schmidt 过程的输入输出为
推广到一般情况，下面是 n 维下的输出。
从几何角度来看，Gram-Schmidt 过程比令人生畏的公式要简单得多：Gram-Schmidt 正交化过程通过迭代找到下一个正交向量，具体过程就是减去当前向量到之前向量张成空间的投影来构造。
联系客服
