爱情岛

报告题目：Gradient Norm Regularization Second-Order Algorithms for Solving Nonconvex-Strongly Concave Minimax Problems

报告人：徐姿 教授

报告时间：2025年10月28日9:00-

报告地点：爱情岛 402（腾讯会议：982-746-928）

邀请人：刘勇进

邀请单位：福建省应用数学中心，爱情岛

报告内容简介：

本报告研究了用于解决非凸-强凹极小极大问题的二阶算法，这类问题近年来在许多领域，尤其是机器学习领域引起了广泛关注。报告提出了一种梯度范数正则化信赖域（GRTR）算法来解决非凸-强凹极小极大问题，其中，每次迭代中信赖域子问题的目标函数使用了 Hessian 矩阵的正则化版本，正则化系数和球约束的半径与梯度范数的平方根成正比。证明了所提出的 GRTR 算法获得$\mathcal{O}(\epsilon,\sqrt{\epsilon})$-二阶稳定点的迭代复杂度上界为$\tilde{\mathcal{O}}(\ell^{1.5}\rho^{0.5}\mu^{-1.5}\epsilon^{-1.5})$，其中$\mu$是强凹系数，$\ell$和$\rho$分别是梯度和雅可比矩阵的 Lipschitz 常数，这一结果与二阶方法在非凸-强凹极小极大问题上已知的最优迭代复杂度相匹配。进一步提出了一种带有梯度范数正则化系数的 Levenberg-Marquardt 算法，并利用负曲率方向来校正迭代方向（LMNegCur），该算法在每次迭代中无需求解信赖域子问题。还证明了 LMNegCur 算法在 $\tilde{\mathcal{O}}(\ell^{1.5}\rho^{0.5}\mu^{-1.5}\epsilon^{-1.5})$次迭代内可达到$\mathcal{O}(\epsilon,\sqrt{\epsilon})$-二阶稳定点。此外，还提出了上述两种算法的两个非精确版本，即IGRTR 算法和 ILMNegCur 算法，允许近似求解子问题，仍能以高概率获得$\mathcal{O}(\epsilon,\sqrt{\epsilon})$-二阶稳定点，仅需计算 $\tilde{\mathcal{O}}(\ell^{2.25}\rho^{0.25}\mu^{-1.75}\epsilon^{-1.75})$次Hessian-向量积和$\tilde{\mathcal{O}}(\ell^{2}\rho^{0.5}\mu^{-2}\epsilon^{-1.5})$次梯度上升步骤。数值结果表明了所提出算法的有效性。

报告人简介：

徐姿，上海大学理爱情岛 教授、博士生导师。主要研究方向是最优化理论与方法及在机器学习等领域中的应用，成果在Mathematical Programming，SIAM Journal on Optimization、Journal of Machine Learning Research、IEEE JSAC等国际著名期刊上发表论文 40余篇。主持国家自然科学基金项目4项和上海市自然基金项目1项。担任中国运筹学会数学规划分会常务理事、上海市运筹学会理事。现任Springer 旗下优化期刊J. Global Optim.客座编委（Guest Editor）；担任国际期刊 JORSC、PLOS One和Numerical Algebra, Control & Optimization编委。曾应邀赴美国明尼苏达大学、香港中文大学、香港理工大学等机构学术访问和交流。2020年获得中国运筹学会科学技术奖青年科技奖。2024年入选上海市东方英才计划拔尖项目。