简介
历史背景
最小二乘法发展于天文学和大地测量学领域，科学家和数学家尝试为大航海探索时期的海洋航行挑战提供解决方案。准确描述天体的行为是船舰在大海洋上航行的关键，水手不能再依靠陆上目标导航作航行。
这个方法是在十八世纪期间一些进步的集大成：
（1）不同观测值的组合是真实值的最佳估计；多次观测会减少误差而不是增加，也许在1722年由Roger Cotes首先阐明。
（2）在相同条件下采取的不同观察结果，与只尝试记录一次最精确的观察结果是对立的。这个方法被称为平均值方法。托马斯·马耶尔（Tobias Mayer）在1750年研究月球的天平动时，特别使用这种方法，而拉普拉斯（Pierre-Simon Laplace）在1788年他的工作成果中以此解释木星和土星的运动差异。
（3）在不同条件下进行的不同观测值组合。该方法被称为最小绝对偏差法，出现在Roger Joseph Boscovich在1757年他对地球形体的著名作品，而拉普拉斯在1799年也表示了同样的问题。
（4）评定对误差达到最小的解决方案标准，拉普拉斯指明了误差的概率密度的数学形式，并定义了误差最小化的估计方法。为此，拉普拉斯使用了一双边对称的指数分布，现在称为拉普拉斯分布作为误差分布的模型，并将绝对偏差之和作为估计误差。他认为这是他最简单的假设，他期待得出算术平均值而成为最佳的估计。可相反地，他的估计是后验中位数。
最小二乘估计法
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见马尔可夫定理。
最小二乘估计法通常归功于高斯（Carl Friedrich Gauss，1795），但最小二乘估计法是由阿德里安-马里·勒让德（Adrien-Marie Legendre）首先发表的。
定义
最小二乘估计法是对过度确定系统，即其中存在比未知数更多的方程组，以回归分析求得近似解的标准方法。在这整个解决方案中，最小二乘法演算为每一方程式的结果中，将残差平方和的总和最小化。
最重要的应用是在曲线拟合上。最小平方所涵义的最佳拟合，即残差（残差为：观测值与模型提供的拟合值之间的差距）平方总和的最小化。当问题在自变量有重大不确定性时，那么使用简易回归和最小二乘法会发生问题；在这种情况下，须另外考虑变量-误差-拟合模型所需的方法，而不是最小二乘法。
最小平方问题分为两种：线性或普通的最小二乘法，和非线性的最小二乘法，取决于在所有未知数中的残差是否为线性。线性的最小平方问题发生在统计回归分析中；它有一个封闭形式的解决方案。非线性的问题通常经由迭代细致化来解决；在每次迭代中，系统由线性近似，因此在这两种情况下核心演算是相同的。
最小二乘法所得出的多项式，即以拟合曲线的函数来描述自变量与预计应变量的变异数关系。
当观测值来自指数族且满足轻度条件时，最小平方估计和最大似然估计是相同的。最小二乘法也能从动差法得出。
回归分析的最初目的是估计模型的参数以便达到对数据的最佳拟合。在决定一个最佳拟合的不同标准之中，最小二乘估计法是非常优越的。这种估计可以表示为：
乘法的解
一般线性情况
若含有更多不相关模型变量，可如组成线性函数的形式
即线性方程组
通常人们将tij记作数据矩阵A，参数bj记做参数向量b，观测值yi记作Y，则线性方程组又可写成：
即
上述方程运用最小二乘法导出为线性平方差计算的形式为：
特殊情况——矩阵
的特解为A的广义逆矩阵与Y的乘积，这同时也是二范数极小的解，其通解为特解加上A的零空间。证明如下：
先将Y拆成A的值域及其正交补两部分
所以，可得
故当且仅当是解时，即为最小二乘解，即。
又因为
故的通解为
因为
所以又是二范数极小的最小二乘解。
示例
某次实验得到了四个数据点：、、、（概述图中红色的点）。我们希望找出一条和这四个点最匹配的直线，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的和：
最小二乘估计法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：
最小值可以通过对分别求和的偏导数，然后使它们等于零得到。
，如此就得到了一个只有两个未知数的方程组，很容易就可以解出：
也就是说直线是最佳的。
数据点（红色）、使用最小二乘法求得的最佳解（蓝色）、误差（绿色）。
