本文共 1985 字，大约阅读时间需要 6 分钟。
最小二乘法（Least Squares Method, LSE）是数理统计学的重要工具之一，其发展可以追溯到18世纪末。最小二乘法最初在天文学和测地学中得到应用，被称为“数理统计学的母亲”。丹麦统计学家霍尔曾称它们为“数理统计学的母亲”。1815年前，法国、意大利和普鲁士在天文和测地学中已将其作为标准工具，而到了1825年，英国科学界普遍采用这一方法。
最小二乘法的发展可以追溯到1801年意大利天文学家朱赛普·皮亚齐发现谷神星的轨道问题。在此之前，皮亚齐的观测数据让全球科学家难以找到谷神星的位置。24岁的高斯在其著作《关于绕日行星运动的理论》中首次提出使用最小二乘法，尽管后来与勒让德的优先权之争让人争议不已。勒让德在其著作中对最小二乘法进行了阐述，但缺乏误差分析。而高斯于1823年提出了误差独立同分布的假定，并证明了最小二乘法在所有无偏线性估计方法中具有最小方差特性。
在日常生活中，如何从多个测量值中求取平均值来减少误差是一个常见问题。例如，用五把尺子测量同一条线段，得到的测量值可能因尺子精度、测量环境等因素而有所不同。在这种情况下，取平均值是一个直观的解决方法。
然而，用调和平均数、几何平均数或中位数来估计可能并非最优选择。最小二乘法提供了一种更系统的解决方案。其核心思想是通过最小化观测值与理论值之间误差平方和来找到最佳估计值。
具体来说，将测量值绘制在坐标系中，猜测的线段长度用一条平行于横轴的虚线表示。每个测量值与理论值之间的垂直距离即为误差，误差的平方和最小化即为最优解。这种方法与勒让德的最初提法一致，即选择未知参数使得误差平方和最小。
最小二乘估计是一种通用的未知参数优化方法，适用于任何模型的参数估计。其核心在于通过最小化预测值与观测值之间的误差平方和来找到最佳模型参数。
在回归分析中，最小二乘法是一种常用的方法。回归模型通过建立变量之间的关系，通过最小二乘法估计回归系数。例如，给定温度与冰淇淋销量的数据，可以建立一个线性回归模型来预测销量。通过最小化预测值与实际销量之间的误差平方和，可以得到最佳的回归系数。
非线性回归模型同样可以通过最小二乘法进行估计。例如，假设销量与温度之间存在二次关系，可以通过最小二乘法找到最佳拟合曲线。
从矩阵投影的角度来看，最小二乘法的本质是找到一个向量空间，使其最接近给定的观测向量。这种几何解释帮助我们更直观地理解最小二乘法的工作原理。
在线性方程组中，最小二乘法可以看作是寻找一个最优解，即在给定约束条件下使误差最小。从列的角度看，这涉及到找到系数矩阵的列向量的线性组合，使其尽可能接近目标向量。这种解释与线性代数中的矩阵投影密切相关。
在工程控制领域，维纳滤波器是最小二乘法的一个重要应用。维纳滤波器通过最小化输出误差与输入信号之间的相关性，实现对噪声的抑制。其核心思想是找到一个最优滤波器，使得输出信号与期望响应之间的误差最小。
最小均方算法（Least Mean Square, LMS）是最小二乘法的一种实时应用，广泛应用于信号处理和控制理论中。LMS算法通过最小化误差平方和的瞬时值来更新权值向量，其特点是计算简单且鲁棒。
LMS算法的核心公式为： $$ e(n) = d(n) - W(n)^T x(n) $$ $$ W(n+1) = W(n) + \eta \frac{e(n) x(n)}{|x(n)|^2} $$ 其中，$e(n)$是误差信号，$W(n)$是权值向量，$\eta$是学习率参数，$x(n)$是输入向量，$d(n)$是期望响应。
LMS算法的收敛性依赖于学习率参数$\eta$的选择。当$\eta$足够小时，算法会在维纳解周围进行布朗运动，实现稳定收敛。
在小学习率参数$\eta$的假设下，LMS算法的统计行为可以用朗之万方程来描述。朗之万方程描述了粒子在非平衡热力学条件下的运动，LMS算法的权值误差向量也会在维纳解周围进行布朗运动。
Kushner直接平均法提供了一种简化LMS算法的统计分析方法。通过假设输入向量和期望响应之间的联合高斯分布，可以用时间平均替代路径积分，从而简化统计分析。
在小学习率参数$\eta$的情况下，LMS算法的收敛性可以通过朗之万方程的离散时间版本来说明。通过Kushner直接平均法的分析，可以证明LMS算法在维纳解周围的收敛行为遵循布朗运动规律。
综上所述，最小二乘估计法和LMS算法是数理统计学和信号处理领域中的核心工具，广泛应用于回归分析、控制理论和通信系统等多个领域。
转载地址：http://ipzkz.baihongyu.com/