在进行轻量级sfm拼图开发时联想到神经网络的优化，实际上绝大多数算法问题都可以表述为优化问题。两者的异同点以及最小二乘法优化的一些相关知识记载如下：

很多建模问题都可以写成一个统一形式：

$$\underset{\theta }{\min }L(\theta )$$

也就是寻找一组参数 $\theta$，让目标函数或损失函数 $L(\theta )$ 尽可能小。

理解优化问题时，可以把它拆成三个层次：

层次	回答的问题	例子
损失函数	我们要最小化什么？	残差平方和、MSE、交叉熵
正则 / 约束	我们希望解具有什么性质？	平滑约束、权重衰减、bounds
优化算法	用什么方法把目标函数降下来？	SGD、Adam、Gauss-Newton、LM

因此，最小二乘、平滑约束、SGD、Adam、least_squares 并不是同一类概念。它们处在优化问题的不同层次里。

---

1. 残差、RSS、MSE 与最小二乘

假设真实观测值是 $y_i$，模型预测值是 ${\hat{y}}_i$，那么残差就是：

$$r_i=y_i-{\hat{y}}_i$$

残差表示模型预测和真实观测之间的误差。

残差平方和为：

$$RSS=\sum _{i=1}^N{r}_i^2$$

最小二乘就是选择参数，让残差平方和最小：

$$\underset{\theta }{\min }\sum _i{r}_i(\theta {)}^2$$

所以可以简单理解为：

最小二乘 = 以残差平方和作为目标函数，并最小化它。

例如线性回归中：

$${\hat{y}}_i=w{x}_i+b$$

目标函数是：

$$\underset{w,b}{\min }\sum _i(y_i-w{x}_i-b{)}^2$$

这里的“二乘”指残差平方，“最小”指让平方和最小。

如果把 RSS 除以样本数量 $N$，就得到均方误差 MSE：

$$MSE=\frac{1}{N}\sum _{i=1}^N{r}_i^2$$

当 $N$ 固定时，RSS 和 MSE 只差一个常数倍，因此不会改变最优解。但 MSE 更方便比较不同数据集或不同 batch 的平均误差，所以在机器学习中更常见。

需要注意的是，机器学习并不等于最小二乘。

如果损失函数是 MSE，那么它本质上是最小二乘思想；但分类任务常用交叉熵，排序任务有 ranking loss，对比学习也有 contrastive loss 或 triplet loss。

更准确地说：

机器学习是在优化损失函数；如果损失函数是平方残差，它就是最小二乘思想。

---

2. 正则项与约束

实际优化问题中，除了希望模型拟合观测数据，还常常希望解满足一些额外性质，例如：

• 更平滑；
• 不要偏离某个先验值；
• 参数不要过大；
• 参数不要超出某个范围。

这些额外要求通常通过正则项或约束项加入目标函数：

$$\begin{array}{rl}L(\theta )& =L_{\text{data}}(\theta )+\lambda L_{\text{reg}}(\theta )\end{array}$$

其中：

• $L_{\text{data}}$ 是数据项，要求结果符合观测；
• $L_{\text{reg}}$ 是正则项，要求解满足某种偏好；
• $\lambda$ 是权重，用来控制正则项的重要程度。

$\lambda$ 越大，约束越强；$\lambda$ 越小，约束越弱。

---

3. 平滑约束

平滑约束是一类常见正则项，用来惩罚“不平滑”的解。

一阶平滑约束惩罚相邻变量之间的差：

$$L_{\text{smooth}}=\sum _i(x_{i+1}-x_i{)}^2$$

它希望相邻值不要差太多，常用于图像去噪、深度图平滑、时间序列平滑等问题。

二阶平滑约束惩罚相邻差分的变化：

$$L_{\text{smooth}}=\sum _i(x_{i+1}-2x_i+x_{i-1}{)}^2$$

它不一定要求相邻值接近，而是希望变化趋势不要突然改变，常用于曲线拟合、轨迹平滑、运动规划等问题。

二者的区别可以这样理解：

类型	惩罚什么	适合场景
一阶平滑	相邻值差异	避免跳变
二阶平滑	变化量的变化	避免弯曲或加速度突变

简单判断：

希望相邻值接近，用一阶平滑；
希望变化趋势平滑，用二阶平滑。

---

4. 先验项、bounds 与额外残差

如果希望某个参数 $x$ 不要离常数 $c$ 太远，可以加入先验项：

$$L_{\text{prior}}=(x-c{)}^2$$

总损失变为：

$$L=L_{\text{data}}+{\lambda }_{\text{prior}}(x-c{)}^2$$

它表示希望 $x$ 接近先验值 $c$，但不一定强制等于 $c$。

bounds 约束则要区分硬约束和软约束。

如果要求：

$$a\le x\le b$$

并且绝对不能越界，这就是硬约束，通常交给带约束优化器处理。

如果只是希望参数尽量留在范围内，可以写成软约束惩罚项：

$$\begin{array}{rl}{L}_{\text{bound}}& =\max (0,a-x{)}^2+\max (0,x-b{)}^2\end{array}$$

软约束不会绝对禁止越界，只是让越界付出代价。

在最小二乘框架里，正则项通常也可以写成额外残差。比如先验项：

$$\lambda (x-c{)}^2$$

可以写成：

$$r_{\text{prior}}=\sqrt{\lambda }(x-c)$$

因为：

$$r_{\text{prior}}^2=\lambda (x-c{)}^2$$

因此，许多正则项都可以被看作往最小二乘问题里添加新的 residual block。

这也是 BA、图优化、Ceres、g2o、GTSAM 等框架中常见的建模方式：数据项、先验项、平滑项都可以表示成 residual、factor 或 edge。

---

5. 优化算法：least_squares、SGD 与 Adam

一个优化问题可以拆成两部分：

目标函数是什么 + 用什么算法求解。

例如：

$$\underset{\theta }{\min }\sum _i{r}_i(\theta {)}^2$$

这是一个最小二乘问题。

它可以用 Gauss-Newton、Levenberg-Marquardt、Dogleg、Trust Region 等方法求解，也可以用 SGD 或 Adam 求解。

区别在于，不同算法适合的问题结构不同。

least_squares 通常表示一类求解最小二乘问题的方法或接口，它面向的问题形式是：

$$\underset{x}{\min }\sum _i{r}_i(x{)}^2$$

对于非线性最小二乘，常见方法包括：

• Gauss-Newton；
• Levenberg-Marquardt；
• Dogleg；
• Trust Region；
• Schur Complement；
• PCG。

SGD 和 Adam 则是更通用的梯度优化器。它们不要求目标函数必须是残差平方和，只要损失函数可以计算梯度即可：

$$\theta \leftarrow \theta -\eta {\nabla }_{\theta }L(\theta )$$

二者可以这样对比：

项目	least_squares 类方法	SGD / Adam
目标形式	残差平方和	任意可微损失
是否利用残差结构	是	通常否
主要信息	残差、雅可比、近似 Hessian	梯度
数据使用方式	常用全量或局部全量	常用 mini-batch
适合场景	曲线拟合、BA、图优化	深度学习、大规模训练

所以：

least_squares 类方法更适合结构明确的最小二乘问题；
SGD / Adam 更适合大规模、mini-batch、复杂网络训练。

---

6. 为什么深度学习常用 SGD / Adam？

即使用 MSE 作为损失函数，深度学习通常也不会使用传统 least_squares 求解器。

主要原因有三个。

第一，神经网络参数规模太大，可能有几百万、几千万甚至几十亿参数。显式构造残差雅可比矩阵或求解近似 Hessian 系统通常不可行。

第二，深度学习适合 mini-batch 训练。每次只用一小批数据估计梯度，就可以处理海量数据，而不需要每次使用全部样本。

第三，深度学习训练机制更复杂，包括 dropout、batch normalization、数据增强、非凸网络结构以及各种非平方损失。SGD / Adam 更容易和这些机制结合。

因此：

深度学习可以使用最小二乘损失，但通常用 SGD / Adam 优化，而不是传统 least_squares 求解器。

---

7. 为什么 BA / 图优化适合非线性最小二乘？

BA 和图优化虽然规模也可能很大，但它们的大和深度学习的大不一样。

关键在于：

BA / 图优化具有很强的稀疏结构。

Bundle Adjustment 的目标通常是最小化重投影误差：

min ⁡ { T i } , { X j } ∑ i , j ∥ u i j − π ( T i , X j ) ∥ 2 \min_{\lbrace T_i\rbrace,\lbrace X_j\rbrace} \sum_{i,j} \left\lVert u_{ij} - \pi(T_i, X_j)\right\rVert^2 {Ti​},{Xj​}min​i,j∑​∥uij​−π(Ti​,Xj​)∥2

其中：

• $T_i$ 是相机位姿；
• $X_j$ 是三维点；
• $u_{ij}$ 是图像观测点；
• $\pi (T_i,X_j)$ 是投影模型。

这正是非线性最小二乘问题。

BA 的关键特点是：一个观测残差通常只依赖一个相机位姿和一个三维点，而不依赖所有相机和所有点。因此它的雅可比矩阵虽然很大，但大部分元素都是 0。

同时，BA 的变量天然具有块结构：

变量	常见维度
相机位姿	6 或 7 维
三维点	3 维

这种稀疏块结构使得 BA 可以使用 Schur Complement、稀疏线性求解器、PCG 等方法高效求解。

所以，判断一个问题是否适合 least_squares 类方法，不能只看参数数量，还要看：

• 残差数量；
• 雅可比是否稀疏；
• 变量是否有块结构；
• 线性化后的系统能否高效求解。

BA / 图优化虽然也很大，但因为结构清晰、雅可比稀疏，所以非常适合稀疏非线性最小二乘方法。

---

8. BA / 图优化通常使用专门求解器

BA / 图优化属于 least-squares 问题，但实际中通常不会使用普通通用接口，而是使用专门的图优化或非线性最小二乘库，例如：

• Ceres Solver；
• g2o；
• GTSAM；
• miniSAM。

这些工具通常支持：

• 稀疏块矩阵；
• 李群上的位姿更新；
• 鲁棒核函数；
• Schur Complement；
• 边缘化；
• 先验因子；
• 增量式优化。

因此更准确地说：

BA / 图优化使用的是 least-squares 思想和非线性最小二乘方法，但通常依赖专门的稀疏图优化求解器。

---

9. 总结

最小二乘是一类以残差平方和为目标的问题形式：

$$\underset{\theta }{\min }\sum _i{r}_i(\theta {)}^2$$

MSE 是残差平方和的平均形式，不改变固定样本数量下的最优解，但更方便比较不同数据集或 mini-batch 的误差水平。

平滑约束、先验约束、软 bounds 等正则项通常通过加权惩罚项加入损失函数；在最小二乘框架里，它们也可以写成额外 residual block。

least_squares 类方法会利用残差、雅可比和问题结构，适合曲线拟合、BA、图优化等结构化最小二乘问题。

SGD / Adam 是更通用的梯度优化器，适合深度学习这种参数巨大、数据巨大、适合 mini-batch 训练的问题。

BA / 图优化虽然规模也可能很大，但由于雅可比稀疏、变量有块结构，仍然非常适合稀疏非线性最小二乘方法。

一句话概括：

最小二乘描述的是“优化什么”，正则项描述的是“希望解具有什么性质”，而 SGD、Adam、GN、LM 等优化算法描述的是“怎么求解”。

转载自CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/weixin_43145829/article/details/160960880