1. 从一次优化“翻车”说起为什么LossFunction不是小事最近在调一个基于Ceres Solver的视觉里程计后端优化模块遇到了一个挺典型的问题。场景是这样的在一条长走廊里相机做纯旋转运动理论上平移量应该为零。但优化后的轨迹却出现了明显的“漂移”平移向量被错误地估计出了一个不小的值。一开始我怀疑是特征点匹配出了问题或者是参数化的锅排查了一圈最后把目光锁定在了残差项上。我用的都是标准的重投影误差看起来没问题但问题就出在默认的损失函数LossFunction上——我图省事直接用了nullptr也就是平方损失。在长走廊这种场景下特征点的深度估计本身就不准深度值大的点其重投影误差对相机位姿的导数会变得非常小优化过程很容易被少数几个深度估计不准的“外点”Outlier带偏。这些外点会产生巨大的残差而平方损失会“忠实”地放大这些巨大残差的负面影响导致整个优化目标被少数坏数据主导结果自然就偏了。这次“翻车”让我深刻意识到在Ceres Solver里选对LossFunction和构建正确的残差模型同等重要。它直接决定了你的优化器是“兼听则明”的智者还是一个容易被极端值忽悠的“杠精”。简单说Ceres Solver是一个用于求解大规模非线性最小二乘问题的C库在SLAM、三维重建、标定等领域是事实上的标准工具。我们通常构建一个最小二乘问题min Σ ρ(||f_i(x)||²)。其中f_i(x)是第i个残差项||·||²计算平方误差而ρ(·)就是损失函数。默认的ρ(s) s即平方损失对异常值极度敏感。LossFunction的核心作用就是用一个增长更慢的函数ρ(s)去包裹平方残差s从而降低外点对整体目标函数的影响提升优化的鲁棒性。2. 深入LossFunction的数学本质从“平方和”到“鲁棒核函数”很多朋友刚开始用Ceres时会把LossFunction简单理解为“权重”或者“滤波器”这其实不够准确。要真正理解它的选型我们需要深入到它的数学定义和Ceres的实现方式里去。2.1 标准最小二乘与它的阿喀琉斯之踵在没有LossFunction即nullptr或ρ(s)s的情况下Ceres求解的就是经典的最小二乘问题min Σ ||f_i(x)||²。它的最优解等价于在假设观测噪声服从高斯分布下的最大似然估计。高斯分布的特点是概率密度随着误差的增大呈指数级衰减。这意味着在它的世界观里出现一个巨大误差的可能性是微乎其微的。所以当数据中真的出现一个巨大误差外点时最小二乘会为了拟合这个“不可能”出现的点不惜扭曲整个模型导致估计严重偏离真实值。这就是它的致命弱点对异常值零容忍且缺乏韧性。2.2 鲁棒核函数给误差“戴上镣铐”LossFunction更专业的叫法是“鲁棒核函数”Robust Kernel它的任务就是改造目标函数限制单个残差项所能贡献的最大损失。Ceres中一个LossFunction并不直接操作残差f_i(x)而是操作其平方s ||f_i(x)||²。它定义了两个核心函数ρ(s)这是核函数本身它决定了残差平方s最终对总代价的贡献值。ρ(s)和ρ(s)分别是ρ(s)对s的一阶和二阶导数。Ceres在内部使用高斯-牛顿法、列文伯格-马夸尔特法等迭代算法需要计算雅可比矩阵和海森矩阵或近似这些导数对于正确计算梯度方向和步长至关重要。以最常用的Huber损失为例它的定义是ρ(s) s, 当 s δ² (即 |r| δ) ρ(s) 2δ√s - δ², 当 s δ² (即 |r| δ)其中δ是一个阈值参数r √s是残差的绝对值。它的直观意义是当残差绝对值|r|小于等于阈值δ时它退化为标准的平方损失保证在正常数据区域有最快的收敛速度。当残差绝对值大于δ时损失函数从二次增长变为一次线性增长这就极大地抑制了大残差的影响力。你可以把它想象成一个“裁判”小误差按规矩罚平方大误差则顶格处罚线性防止某个选手外点过分影响比赛优化结果。在Ceres中调用时我们通常不直接设置δ而是设置一个缩放参数例如new ceres::HuberLoss(1.0)这个缩放参数会与残差本身的尺度例如重投影误差的像素值共同决定实际起作用的阈值。2.3 Ceres内置核函数纵览与选型初判Ceres提供了一系列内置的LossFunction它们可以看作是在“抑制外点”和“保持效率”之间不同权衡点的选择。下面这个表格梳理了最常用的几种核函数 (LossFunction)核心特点与数学行为适用场景主要参数nullptr/TrivialLossρ(s) s。标准平方损失对异常值敏感收敛快。数据非常干净确信没有外点或作为性能基准。无HuberLoss残差小则二次大则线性。是鲁棒性和效率的较好折中。通用首选。适用于大多数存在少量至中度外点的场景如视觉SLAM、SFM。scale(通常与残差单位一致如1.0像素)CauchyLossρ(s) c² log(1 s/c²)。对大幅值外点的抑制能力非常强重尾。外点较多、数据污染严重的场景。但可能导致收敛变慢且对初始值更敏感。scale(c)SoftLOneLossρ(s) 2b (√(1s/b)-1)。行为类似Huber但过渡更平滑。需要比Huber更平滑过渡的场景有时在BA中效果更好。scale(b)ArctanLossρ(s) 2a³/3 * (arctan(r/a) * (r/a*(3r²/a²)) - log(1r²/a²))。对超大外点几乎完全忽略饱和。存在极端外点且你希望完全无视它们的影响。计算量稍大。scale(a)注意参数scale至关重要。它定义了残差从“内点”过渡到“外点”的尺度。例如在重投影误差中如果误差单位是像素scale1.0意味着大约1像素以上的误差开始被显著抑制。设置过小会过度平滑可能损失有用信息设置过大会失去鲁棒性。通常需要根据你对残差噪声水平的先验知识进行设置。3. 实战场景拆解不同问题下的LossFunction抉择理解了理论我们进入实战。选择LossFunction不是闭着眼睛挑一个而是要根据具体残差项的物理意义、噪声特性以及数据中可能存在的异常模式来决定。3.1 视觉SLAM/三维重建中的重投影误差这是最经典的应用。重投影误差e u_observed - π(T * P)单位通常是像素。默认选择HuberLoss。这是经过大量实践检验的稳健选择。视觉特征匹配中尽管有RANSAC等前端剔除后端优化中仍难免渗入一些匹配错误外点。HuberLoss能温和地处理这些外点同时在内点区域保持牛顿法二次收敛的优势。参数scale通常设在0.5到2.0像素之间我个人的经验是从1.0开始调试。特殊情况动态场景如果场景中有移动物体如行人、车辆会产生大量局部的、聚集的外点。此时CauchyLoss或ArctanLoss可能更合适因为它们对“成群结队”的外点有更强的压制力。鱼眼相机或边缘区域相机模型在图像边缘畸变大重投影误差本身噪声会增大。可以适当增大HuberLoss的scale或者对不同的残差根据其图像位置设置不同的scale但这需要自定义LossFunction。一个关键技巧尺度感知的LossFunction。在单目SLAM中深度估计不准深度的不确定性会传递到重投影误差上。对于深度大的点即使位姿有小偏差其重投影误差也可能很小导数小反之亦然。有人会采用与深度估计不确定性相关的scale但这通常需要更复杂的概率框架。一个更简单的实践是对重投影误差使用HuberLoss同时对位姿变化的参数块如旋转的局部参数化添加适度的先验或正则化也能起到稳定作用。3.2 激光SLAM中的点-线/点-面误差在激光SLAM中残差通常是点到直线或平面的距离。特点激光数据相对视觉更加精确和结构化外点往往来源于动态物体、玻璃反射或激光束打到边缘时的混合像素点。选择HuberLoss依然是安全且常见的选择。由于激光测距精度高scale可以设置得比重投影误差更小例如0.05到0.2米具体取决于激光雷达的精度和场景。进阶考量对于基于正态分布变换NDT的方法其匹配本身已经蕴含了概率分布有时可以不用额外的LossFunction。而对于直接使用点云匹配残差的方法SoftLOneLoss因其平滑性有时能提供比Huber更稳定的收敛。3.3 标定问题中的残差例如手眼标定、相机-IMU外参标定等。特点标定数据通常是在受控或半受控环境下采集的数据质量较高外点较少。但标定问题对参数的全局最优性要求高。选择初期调试可以先用nullptr平方损失运行因为它收敛最快。观察最终残差的大小和分布。如果残差普遍很小且分布集中说明数据质量好平方损失可用。生产环境即使数据质量好也强烈建议使用HuberLoss并设置一个较小的scale例如对应传感器噪声的2-3倍标准差。这相当于增加了一个安全垫防止某次偶然的数据采集失误导致标定失败。一个真实案例在做多相机联合标定时某个相机的某个角点因为反光没有被正确提取但提取程序没有报错给出了一个错误坐标。使用平方损失时这个错误坐标把整个相机的外参都拉歪了连带影响了其他相机的标定。换成HuberLoss后这个错误点被抑制得到了正确的标定结果。3.4 融合多种传感器残差在VIO视觉惯性里程计、LIO激光惯性里程计中我们需要同时优化视觉/激光残差和IMU预积分残差。核心原则不同残差可能需不同LossFunction。IMU预积分残差通常建模为高斯噪声且其噪声协方差矩阵可以在预积分过程中精确计算。因此对于IMU残差通常使用平方损失nullptr但关键在于要使用其信息矩阵协方差矩阵的逆进行加权这通过SetParameterization或直接在残差计算中乘以sqrt_information_matrix来实现。视觉/激光残差如前所述使用HuberLoss等鲁棒核函数。为什么区别对待IMU数据是时间序列短时间内的错误虽然存在但通常不会像视觉匹配错误那样产生“离谱”的几何矛盾。更重要的是IMU噪声模型相对更符合高斯假设。而视觉外点是离散的、突发的不符合高斯分布的长尾特性。混合使用LossFunction就是让每种残差都用最适合自己噪声特性的方式参与优化。4. 高级话题与自定义LossFunction当内置核函数无法满足需求时我们就需要自己动手了。4.1 如何设置合理的scale参数scale是连接理论假设和实际数据的桥梁。一个实用的设置流程是先验估计根据传感器特性估计。例如对于特征匹配可以认为95%的正确匹配点其重投影误差小于2个像素那么可以将scale设为2.0。数据驱动先用平方损失nullptr快速运行一次优化可以迭代次数少一些。分析残差直方图程序结束后输出所有残差r_i的绝对值。绘制其直方图。观察大部分“内点”残差分布的范围。将scale设置为该范围的一个较高百分位数例如75%或90%分位数。在Ceres中你可以通过编写一个简单的回调函数在每次迭代后收集残差。交叉验证用不同的scale值运行优化在独立的数据集或留出的验证集上评估结果质量如轨迹误差、标定重投影误差。选择验证集上性能最好的那个。4.2 自定义LossFunction以“自适应阈值”为例假设我们有一个特殊需求对于重投影误差我们希望阈值δ不是固定的而是根据特征点的深度z自适应变化。因为深度大的点像素级误差对应的三维空间误差更大我们想给它一个更宽松的“容错度”。这时就需要自定义LossFunction。你需要创建一个类继承自ceres::LossFunction并实现三个关键方法class AdaptiveHuberLoss : public ceres::LossFunction { public: explicit AdaptiveHuberLoss(double depth) : depth_(depth) {} virtual void Evaluate(double s, double rho[3]) const override { // s r^2, r是残差绝对值 double adaptive_delta 1.0 * depth_; // 示例阈值与深度成正比 double adaptive_delta2 adaptive_delta * adaptive_delta; if (s adaptive_delta2) { // 内点区域: rho(s) s rho[0] s; rho[1] 1.0; // rho 1 rho[2] 0.0; // rho 0 } else { // 外点区域: rho(s) 2*delta*sqrt(s) - delta^2 double sqrt_s sqrt(s); rho[0] 2 * adaptive_delta * sqrt_s - adaptive_delta2; rho[1] adaptive_delta / sqrt_s; // rho rho[2] -0.5 * adaptive_delta / (s * sqrt_s); // rho } } private: double depth_; };然后在添加残差块时将特征点的深度信息传入problem.AddResidualBlock(cost_function, new AdaptiveHuberLoss(point_depth), parameter_blocks);注意自定义LossFunction需要仔细推导和验证rho[1]一阶导和rho[2]二阶导的正确性。错误的导数会导致优化收敛到错误点或无法收敛。建议先用数值微分的方法进行梯度检查。4.3 与Ceres求解器设置的协同LossFunction的选择需要和Ceres求解器的参数配置联动考虑信任域策略Trust RegionCeres默认使用列文伯格-马夸尔特法LM这是一种信任域方法。鲁棒核函数改变了代价函数的形状可能会影响信任域半径的自动调整。如果使用了像CauchyLoss这样非常“重尾”的核在初期残差较大时它会把代价压得很低可能导致信任域半径估计不准。此时可以考虑将求解器的min_trust_region_radius和initial_trust_region_radius设置得保守一些。线性求解器对于大规模问题如BA使用SPARSE_NORMAL_CHOLESKY或CGNR时鲁棒核函数引入的二阶导数项rho[2]会影响海森矩阵的结构。通常内置核函数的二阶导计算都是经过数值稳定的优化自定义核函数则需要特别注意。迭代回调强烈建议实现一个ceres::IterationCallback在每次迭代后打印出总的代价函数值以及残差的统计信息如中位数、均值、最大值。这能帮助你直观地观察LossFunction是否在正常工作在优化初期总代价应该因为外点被抑制而快速下降后期则平稳收敛。5. 调试心法与常见陷阱在实际项目中选择和调试LossFunction是一个经验活。分享几条我踩过坑后总结的心得从简到繁从默认开始面对一个新问题不要一上来就追求最复杂的鲁棒核。先用nullptr平方损失跑一遍。这次运行有两个目的一是作为性能基准二是观察残差的分布。如果平方损失的结果已经很好且残差分布集中那就没必要引入额外的复杂度。“HuberLoss”是你不犯错的朋友当你怀疑有外点但又不确定其严重程度时HuberLosswithscale1.0或根据你的残差单位调整几乎总是个安全且有效的起点。它在鲁棒性和收敛性之间取得了很好的平衡。警惕“过鲁棒”CauchyLoss和ArctanLoss等函数抑制外点的能力很强但这是一把双刃剑。它们也可能把一些看似很大、但实际上是“有用信息”的残差给压制掉。例如在闭环检测中一个正确的但匹配不够精确的闭环约束可能产生较大的初始残差如果被过度抑制可能导致闭环优化失败。鲁棒性太强可能会模糊问题让你失去发现系统深层错误如错误的参数化、错误的残差模型的机会。参数scale需要精心调试不要把它当作一个魔法数字设完就不管了。它应该与你对传感器噪声的理解一致。一个有用的技巧是将优化后的残差可视化出来。在你的场景中把每个特征点的重投影误差用箭头画在图像上。如果使用了合适的LossFunction和scale你应该看到误差箭头普遍较小且均匀分布。如果某些区域仍然存在巨大的、未被抑制的误差箭头说明要么scale设得太大要么那个地方存在模型无法解释的严重错误可能需要检查是不是有动态物体或模型错误。结合前端外点剔除LossFunction是后端优化的“最后一道防线”而不是“唯一防线”。前端的鲁棒性如RANSAC、光流一致性检查、描述子匹配筛选同样重要。一个干净的前端输入能极大减轻后端LossFunction的压力甚至让你有机会使用更简单、更快的平方损失。性能开销使用鲁棒核函数会带来额外的计算开销因为每个残差都需要计算rho(s)及其导数。对于超大规模问题如城市级神经辐射场NeRF的BA这可能会成为瓶颈。此时需要进行权衡或者探索更轻量级的核函数或者在确信数据质量高的子问题上使用平方损失。回到开头我那个长走廊“翻车”的例子。在将LossFunction从nullptr改为ceres::HuberLoss(1.0)之后重新运行优化平移向量的漂移现象基本消失了。优化过程不再被那几个深度异常点绑架而是更多地听取了大多数内点的一致意见。这个经历让我深刻体会到在非线性优化的世界里“民主集中制”往往比“绝对平均主义”更有效。LossFunction就是那个实现“民主集中制”的机制它确保优化过程既倾听所有数据的声音又不被少数极端意见带偏节奏。选择合适的LossFunction是让你的Ceres模型从“实验室玩具”走向“实战利器”的关键一步。