【加权最小二乘法】在统计学和数据建模中，最小二乘法是一种常用的参数估计方法，用于寻找最佳拟合曲线或直线。然而，在实际应用中，观测数据往往存在不同的精度或权重，这时候传统的最小二乘法可能无法准确反映数据的真实情况。为了解决这一问题，引入了“加权最小二乘法”。
加权最小二乘法（Weighted Least Squares, WLS）是对普通最小二乘法（OLS）的一种扩展，它通过给每个观测值赋予一个权重，使得误差较大的点对模型的影响较小，从而提高模型的准确性。
加权最小二乘法的基本原理
加权最小二乘法的核心思想是：在计算残差平方和时，每个残差乘以一个对应的权重系数，从而调整不同观测点对模型拟合结果的影响程度。其目标是最小化加权残差平方和：
$$
\sum_{i=1}^{n} w_i (y_i - \hat{y}_i)^2
$$
其中：
- $ y_i $ 是第 $ i $ 个观测值；
- $ \hat{y}_i $ 是根据模型预测的值；
- $ w_i $ 是第 $ i $ 个观测点的权重。
权重的选择通常基于数据的方差或其他相关指标。例如，若某个观测点的误差较大，则其权重应较小；反之则较大。
加权最小二乘法的应用场景
| 应用场景 | 说明 |
| 数据方差不一致 | 当数据的误差呈现异方差性时，使用WLS可以提高估计的稳定性 |
| 不同测量精度 | 如不同仪器、不同实验条件下的数据，可赋予不同权重 |
| 去除异常值影响 | 对异常点赋予较低权重，减少其对模型的影响 |
| 回归分析优化 | 在线性回归中，WLS可用于改进模型的拟合效果 |
加权最小二乘法与普通最小二乘法的对比
| 特征 | 普通最小二乘法（OLS） | 加权最小二乘法（WLS） |
| 权重设置 | 所有观测点权重相同 | 可根据数据特点设定不同权重 |
| 适用条件 | 数据方差基本一致 | 数据方差差异较大时更优 |
| 稳定性 | 受异常点影响较大 | 异常点影响较小 |
| 计算复杂度 | 较低 | 略高（需计算权重） |
| 模型准确性 | 一般 | 通常更高（在适当权重下） |
实际操作步骤（简要）
1. 确定权重：根据数据特性设定每个观测点的权重，常见方式包括：
- 根据方差倒数设定权重（$ w_i = 1/\sigma_i^2 $）
- 根据经验或领域知识设定
2. 构建加权模型：将权重引入到最小二乘的目标函数中。
3. 求解模型参数：使用加权最小二乘法进行参数估计。
4. 验证模型：检查模型的拟合效果和残差分布是否合理。
总结
加权最小二乘法是一种在数据存在异方差性或不同精度时，提升模型拟合质量的重要方法。相比普通最小二乘法，它能够更灵活地处理不同类型的数据，提高模型的稳定性和准确性。在实际应用中，正确选择权重是关键，合理的权重设置能够显著改善模型表现。