引例：设$A$是$m×n$实矩阵，则对任意$m$维列向量$b$，线性方程组$A^TAx=A^Tb$一定有解。

法方程

方程$A^TAx=A^Tb$被称为法方程（normal equation），它用来求解线性方程组$Ax=b$的最小二乘解。以下从最小二乘法的角度来进行解释。

最小二乘的目标

最小二乘法的目标是找到一个向量 $x$，使得 $Ax$ 与 $b$之间的误差（即残差）最小化。这个误差通常用二范数来衡量，即：$\| Ax - b \|_2$

误差的平方

我们希望最小化误差的平方，即：

$\| Ax - b \|_2^2 = (Ax - b)^T (Ax - b)$

展开这个表达式：

$\| Ax - b \|_2^2 = (Ax - b)^T (Ax - b) = x^T A^T A x - 2 b^T A x + b^T b$

求导并设为零

为了找到最小化这个二次函数的$x$，我们对 $x$ 进行求导，并将导数设为零。这个导数的结果是：

$\frac{\partial}{\partial x} \left( x^T A^T A x - 2 b^T A x + b^T b \right) = 2 A^T A x - 2 A^T b$

设导数为零：

$2 A^T A x - 2 A^T b = 0$

简化得：

$A^T A x = A^T b$

这就是法方程。

4. 解释法方程

法方程 $A^T A x = A^T b$ 确保了向量 $x$ 是使 $\| Ax - b \|_2^2$ 最小的解。换句话说，它找到的 $x$ 是 $Ax = b$ 的最佳近似解，即使在 $Ax = b$ 没有精确解的情况下（例如，当 $b$ 不在 $A$ 的列空间中时）。