作者 |
埃拉德·哈赞 尤里·涅斯捷罗夫 |
丛书名 |
华章数学译丛 |
出版社 |
机械工业出版社 |
ISBN |
9782109109520 |
简要 |
简介 |
内容简介书籍数学书籍 ---------------------------8083980 - 在线凸优化:概念、架构及核心算法--------------------------- 本书可作为在线凸优化大量理论的导论教程。第2~5章主要介绍在线凸优化的基本概念、架构和核心算法。本书其余部分则处理更为高级的算法、更为困难的设定和与著名的机器学习范式之间的关系。 ---------------------------8071618 - 凸优化教程(原书第2版)--------------------------- 本书提供了凸优化一个全面的、最新的介绍,这是一个日益重要的领域,在应用数学、经济和金融、工程和计算机科学,特别是在数据科学和机器学习领域有广泛应用。 |
目录 |
[套装书具体书目] 8071618 - 凸优化教程(原书第2版) - 9787111659891 - 机械工业出版社 - 定价 139 8083980 - 在线凸优化:概念、架构及核心算法 - 9787111690221 - 机械工业出版社 - 定价 69 ---------------------------8083980 - 在线凸优化:概念、架构及核心算法--------------------------- 前言 致谢 第1章 导论 1 1.1 在线凸优化模型 2 1.2 可以用OCO建模的例子 3 1.3 一个温和的开始: 从专家建议中学习 8 1.3.1 加权多数算法 10 1.3.2 随机加权多数算法 12 1.3.3 对冲 14 1.4 习题 16 1.5 文献点评 17 第2章 凸优化的基本概念 18 2.1 基本定义和设定 18 2.1.1 在凸集上的投影 20 2.1.2 最优条件简介 21 2.2 梯度、次梯度下降法 23 2.3 非光滑和非强凸函数的归约27 2.3.1 光滑非强凸函数的归约 28 2.3.2 强凸非光滑函数的归约 29 2.3.3 一般凸函数的归约 32 2.4 例子: 支持向量机训练 33 2.5 习题 35 2.6 文献点评 37 第3章 在线凸优化的一阶算法 38 3.1 在线梯度下降法 39 3.2 下界 42 3.3 对数遗憾 43 3.4 应用: 随机梯度下降法 45 3.5 习题 49 3.6 文献点评 50 第4章 二阶方法 51 4.1 动机: 通用投资组合选择 51 4.1.1 主流投资组合理论 51 4.1.2 通用投资组合理论 52 4.1.3 持续再平衡投资组合 54 4.2 exp-凹函数 55 4.3 在线牛顿步算法 57 4.4 习题 63 4.5 文献点评 64 第5章 正则化 66 5.1 正则函数 67 5.2 RFTL 算法及其分析 69 5.2.1 元算法的定义 70 5.2.2 遗憾界 70 5.3 在线镜像下降法 74 5.3.1 迟缓型OMD算法与RFTL 算法的等价性75 5.3.2 镜像下降的遗憾界 76 5.4 应用及特殊情形 78 5.4.1 在线梯度下降法的导出 79 5.4.2 乘法更新的导出 79 5.5 随机正则化 81 5.5.1 对凸代价函数的扰动 82 5.5.2 对线性代价函数的扰动 86 5.5.3 专家建议中的扰动领袖追随算法 87 5.6 最优正则化(选学) 90 5.7 习题 96 5.8 文献点评 98 第6章 Bandit凸优化 100 6.1 BCO设定 100 6.2 多臂赌博机问题 101 6.3 从有限信息到完整信息的归约 107 6.3.1 第1部分: 使用无偏估计 107 6.3.2 第2部分: 点点梯度估计 110 6.4 不需要梯度的在线梯度下降算法113 6.5 BLO最优遗憾算法(选学)116 6.5.1 自和谐障碍 116 6.5.2 一个近优算法 118 6.6 习题 121 6.7 文献点评 122 第7章 无投影算法 123 7.1 回顾: 与线性代数相关的概念 123 7.2 动机: 矩阵补全与推荐系统 124 7.3 条件梯度法 126 7.4 投影与线性优化 131 7.5 在线条件梯度算法 133 7.6 习题 138 7.7 文献点评 139 第8章 博弈、对偶性和遗憾 140 8.1 线性规划和对偶性 141 8.2 零和博弈与均衡 142 8.3 冯·诺伊曼定理的证明 146 8.4 近似线性规划 148 8.5 习题 150 8.6 文献点评 150 第9章 学习理论、泛化和OCO 152 9.1 统计学习理论的设定 152 9.1.1 过拟合 153 9.1.2 没有免费的午餐 154 9.1.3 学习问题的例子 156 9.1.4 泛化和可学习性的定义 157 9.2 使用OCO的不可知学习 159 9.2.1 余项: 度量集中和鞅 160 9.2.2 对归约的分析 162 9.3 习题 165 9.4 文献点评 166 参考文献 167 ---------------------------8071618 - 凸优化教程(原书第2版)--------------------------- 译者序 前言 致谢 引言 第一部分黑箱优化 第1章非线性优化 11非线性优化引论 111问题的一般描述 112数值方法的性能 113全局优化的复杂度界 114优化领域的“身份证” 12无约束极小化的局部算法 121松弛和近似 122可微函数类 123梯度法 124牛顿法 13非线性优化中的一阶方法 131梯度法和牛顿法有何不同 132共轭梯度法 133约束极小化问题 第2章光滑凸优化 21光滑函数的极小化 211光滑凸函数 212函数类F∞,1L(n)的复杂度下界 213强凸函数类 214函数类S∞,1μ,L(n)的复杂度下界 215梯度法 22最优算法 221估计序列 222降低梯度的范数 223凸集 224梯度映射 225简单集上的极小化问题 23具有光滑分量的极小化问题 231极小极大问题 232梯度映射 233极小极大问题的极小化方法 234带有函数约束的优化问题 235约束极小化问题的算法 第3章非光滑凸优化 31一般凸函数 311动机和定义 312凸函数运算 313连续性和可微性 314分离定理 315次梯度 316次梯度计算 317最优性条件 318极小极大定理 319原始对偶算法的基本要素 32非光滑极小化方法 321一般复杂度下界 322估计近似解性能 323次梯度算法 324函数约束的极小化问题 325最优拉格朗日乘子的近似 326强凸函数 327有限维问题的复杂度界 328割平面算法 33完整数据的算法 331目标函数的非光滑模型 332Kelley算法 333水平集法 334约束极小化问题 第4章二阶算法 41牛顿法的三次正则化 411二次逼近的三次正则化 412一般收敛性结果 413具体问题类的全局效率界 414实现问题 415全局复杂度界 42加速的三次牛顿法 421实向量空间 422一致凸函数 423牛顿迭代的三次正则化 424一个加速算法 425二阶算法的全局非退化性 426极小化强凸函数 427伪加速 428降低梯度的范数 429非退化问题的复杂度 43最优二阶算法 431复杂度下界 432一个概念性最优算法 433搜索过程的复杂度 44修正的高斯牛顿法 441高斯牛顿迭代的二次正则化 442修正的高斯牛顿过程 443全局收敛速率 444讨论 第二部分结构优化 第5章多项式时间内点法 51自和谐函数 511凸优化中的黑箱概念 512牛顿法实际上做什么 513自和谐函数的定义 514主要不等式 515自和谐性和Fenchel对偶 52自和谐函数极小化 521牛顿法的局部收敛性 522路径跟踪算法 523强凸函数极小化 53自和谐障碍函数 531研究动机 532自和谐障碍函数的定义 533主要不等式 534路径跟踪算法 535确定解析中心 536函数约束问题 54显式结构问题的应用 541自和谐障碍函数参数的下界 542上界:通用障碍函数和极集 543线性和二次优化 544半定优化 545极端椭球 546构造凸集的自和谐障碍函数 547自和谐障碍函数的例子 548可分优化 549极小化算法的选择 第6章目标函数的原始对偶模型 61目标函数显式模型的光滑化 611不可微函数的光滑近似 612目标函数的极小极大模型 613合成极小化问题的快速梯度法 614应用实例 615算法实现的讨论 62非光滑凸优化的过间隙技术 621原始对偶问题的结构 622过间隙条件 623收敛性分析 624极小化强凸函数 63半定优化中的光滑化技术 631光滑化特征值的对称函数 632极小化对称矩阵的最大特征值 64目标函数的局部模型极小化 641Oracle线性优化 642合成目标函数的条件梯度算法 643收缩型条件梯度 644原始对偶解的计算 645合成项的强凸性 646极小化二次模型 第7章相对尺度优化 71目标函数的齐次模型 711圆锥无约束极小化问题 712次梯度近似算法 713问题结构的直接使用 714应用实例 72凸集的近似 721计算近似椭球 722极小化线性函数的最大绝对值 723具有非负元素的双线性矩阵博弈 724极小化对称矩阵的谱半径 73障碍函数次梯度算法 731自和谐障碍函数的光滑化 732障碍函数次梯度法 733正凹函数极大化 734应用 735随机规划的替代——在线优化 74混合精度优化 741严格正函数 742拟牛顿法 743近似解的解释 附录A求解一些辅助优化问题 参考文献评注 参考文献 索引 |