Quasi-Newton Method相关综述

拟牛顿算法是目前无约束优化问题的有效而著名的算法,是牛顿法的近似。牛顿算法要求目标函数二次连续可微,Hessian阵非奇异且正定,计算量较大。拟牛顿算法只要求目标函数一次连续可微,以拟牛顿方程为基础来构造算法,易于实现,计算量较小,并形成了完整的算法体系,在理论与实际应用上都有重要意义。本文在对拟牛顿算法中常见的BFGS算法、DEP算法、SR1算法及Broyden族的校正公式、性质、收敛性等进行了总结,同时针对近几年出现在解决实际优化问题中的拟牛顿算法的推广做了简单介绍。