| 作者 |
| 李崇 邱美康 拉杰·拉杰库马尔 迪奥尼西奥·德·尼茨 马克·克莱恩 |
| 丛书名 |
| 计算机科学丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782103111510 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------8078731 - 信息物理系统强化学习：网络安全示例--------------------------- 本书研究的灵感来自于近期的强化学习(RL)和信息物理系统(CPS)领域的发展。RL植根于行为心理学，是机器学习的主要分支之一。不同于其他机器学习算法（如监督学习和非监督学习），RL的关键特征是其独特的学习范式，即试错。与深度神经网络相结合，深度RL变得如此强大，以至于许多复杂的系统可以被人工智能智能体在超人的水平上自动管理。另一方面，CPS被设想在不久的将来给我们的社会带来革命性的变化。这些例子包括新兴的智能建筑、智能交通和电网。 ---------------------------8004537 - 信息物理系统应用与原理--------------------------- 本书讨论了CPS的大量理论进展以及每个领域的挑战。一些进展源于应用领域的具体挑战，另一些进展带来了新的发展机会。全书分为两部分。第一部分介绍了当前CPS的3个典型领域（医疗、能源、无线传感器网络），这些应用领域推动了CPS的技术革命。第二部分介绍了CPS发展中使用的多学科理论基础。 本书可作为高等院校信息物理系统相关课程的教材，也可作为CPS应用领域相关从业者的参考书。 |
| 目录 |
| [套装书具体书目] 8004537 - 信息物理系统应用与原理 - 9787111598107 - 机械工业出版社 - 定价 79 8078731 - 信息物理系统强化学习：网络安全示例 - 9787111676478 - 机械工业出版社 - 定价 79 ---------------------------8078731 - 信息物理系统强化学习：网络安全示例--------------------------- 出版者的话 译者序 前言 作者简介 第一部分 介绍 第1章 强化学习概述 2 1.1 强化学习综述 2 1.1.1 引言 2 1.1.2 与其他机器学习方法的比较 4 1.1.3 强化学习示例 6 1.1.4 强化学习应用 7 1.2 强化学习的发展历史 9 1.2.1 传统的强化学习 9 1.2.2 深度强化学习 11 1.3 强化学习的仿真工具 12 1.4 本章小结 13 第2章 信息物理系统和网络安全概述 14 2.1 引言 14 2.2 信息物理系统研究示例 16 2.2.1 资源分配 16 2.2.2 数据传输与管理 18 2.2.3 能源控制 18 2.2.4 基于模型的软件设计 19 2.3 网络安全威胁 20 2.3.1 网络安全的对手 20 2.3.2 网络安全的目标 21 2.4 本章小结 26 2.5 练习 26 第二部分 强化学习在信息物理系统中的应用 第3章 强化学习问题 30 3.1 多臂赌博机问题 30 3.1.1 ε-greedy算法 33 3.1.2 softmax算法 35 3.1.3 UCB算法 36 3.2 上下文赌博机问题 37 3.3 完整的强化学习问题 39 3.3.1 强化学习的要素 40 3.3.2 马尔可夫决策过程介绍 41 3.3.3 值函数 42 3.4 本章小结 45 3.5 练习 45 第4章 基于模型的强化学习 49 4.1 引言 49 4.2 动态规划 51 4.2.1 策略迭代法 52 4.2.2 价值迭代法 55 4.2.3 异步动态规划 56 4.3 部分可观察马尔可夫决策过程 58 4.4 连续马尔可夫决策过程 61 4.4.1 惰性近似 61 4.4.2 函数近似 62 4.5 本章小结 63 4.6 练习 64 第5章 无模型强化学习 66 5.1 引言 66 5.2 强化学习预测 66 5.2.1 蒙特卡罗学习 66 5.2.2 时序差分学习 69 5.3 强化学习控制 71 5.3.1 蒙特卡罗控制 71 5.3.2 基于时序差分的控制 72 5.3.3 策略梯度 77 5.3.4 actor-critic 81 5.4 高级算法 84 5.4.1 期望Sarsa 84 5.4.2 双Q-learning 85 5.5 本章小结 85 5.6 练习 86 第6章 深度强化学习 90 6.1 引言 90 6.2 深度神经网络 90 6.2.1 卷积神经网络 92 6.2.2 循环神经网络 94 6.3 深度学习在值函数上的应用 95 6.4 深度学习在策略函数上的应用 100 6.4.1 DDPG 102 6.4.2 A3C 104 6.5 深度学习在强化学习模型上的应用 107 6.6 深度强化学习计算效率 108 6.7 本章小结 109 6.8 练习 109 第三部分 案例研究 第7章 强化学习与网络安全 112 7.1 传统的网络安全方法 112 7.1.1 传统的网络安全技术 112 7.1.2 新兴网络安全威胁 113 7.2 强化学习在网络安全中的应用 114 7.2.1 移动群智感知中的虚假感知攻击 114 7.2.2 认知无线电网络中的安全强化 115 7.2.3 移动边缘计算中的安全问题 117 7.2.4 网络安全分析师的动态调度 118 7.3 本章小结 119 7.4 练习 119 第8章 案例研究：智能电网中的在线网络攻击检测 120 8.1 引言 120 8.2 系统模型和状态估计 122 8.2.1 系统模型 122 8.2.2 状态估计 123 8.3 问题描述 124 8.4 解决方案 127 8.5 仿真结果 130 8.5.1 仿真设计与参数设置 130 8.5.2 性能评估 130 8.6 本章小结 134 第9章 案例研究：击败中间人攻击 135 9.1 引言 135 9.2 强化学习方法 137 9.2.1 状态空间 137 9.2.2 行动空间 139 9.2.3 奖励 139 9.3 实验和结果 139 9.3.1 模型训练 140 9.3.2 在线实验 141 9.4 讨论 143 9.4.1 基于探测器的检测系统 143 9.4.2 运用SDN/OpenFlow使模型实用 144 9.5 本章小结 144 参考文献 145 索引 161 ---------------------------8004537 - 信息物理系统应用与原理--------------------------- 出版者的话 译者序 前言 关于作者 关于其他贡献者 第一部分CPS应用领域 第1章医疗CPS 11引言 12系统描述与操作场景 121虚拟医疗设备 122临床场景 13关键设计驱动与质量属性 131发展趋势 132质量属性以及MCPS领域的挑战 133MCPS的高可信度开发 134按需医疗设备及其安全保障 135智能报警以及医疗决策支持系统 136闭环系统 137安全案例 14从业者的影响 141MCPS开发者角度 142MCPS管理者角度 143MCPS用户角度 144患者角度 145MCPS监管机构角度 15总结与挑战 参考文献 第2章能源CPS 21引言 22系统描述与操作场景 23关键设计驱动与质量属性 231关键系统原则 232架构1的性能目标 233未来的方向 24可持续性SEES的网络范例 241在SEES中基于物理的CPS组合 242在SEES中基于DyMonDS的CPS标准 243交互变量自动建模与控制 25从业者的影响 251性能目标的IT演化 252分布式优化 26总结与挑战 参考文献 第3章基于无线传感器网络的CPS 31引言 32系统描述与操作场景 321媒介访问控制 322路由 323节点定位 324时钟同步 325电源管理 33关键驱动设计与质量属性 331物理感知 332实时感知 333运行时验证感知 334安全感知 34从业者的影响 35总结与挑战 参考文献 第二部分CPS基础理论 第4章CPS的符号化合成 41引言 42基础技术 421预备知识 422问题定义 423合成问题的解决 424符号模型构建 43高级技术 431构建符号模型 432连续时间控制器 433软件工具 44总结与挑战 参考文献 第5章反馈控制系统中的软件和平台问题 51引言 52基础技术 521控制器定时 522资源效率控制设计 53高级技术 531减少计算时间 532降低采样频率 533基于事件的控制 534控制器的软件结构 535计算资源共享 536反馈控制系统的分析与仿真 54总结与挑战 参考文献 第6章混合系统的逻辑正确性 61引言 62基础技术 621离散验证 63高级技术 631实时验证 632混合验证 64总结与挑战 参考文献 第7章CPS的安全 71引言 72基础技术 721网络安全需求 722攻击模型 723应对策略 73高级技术 731系统理论 74总结与挑战 参考文献 第8章分布式CPS的同步 81引言 811CPS的挑战 812一种降低同步复杂度的技术 82基础技术 821软件工程 822分布式一致性算法 823同步锁步执行 824时间触发架构 825相关技术 83高级技术 831物理异步、逻辑同步系统 84总结与挑战 参考文献 第9章CPS的实时调度 91引言 92基础技术 921固定时间参数的调度 922内存效应 93高级技术 931多处理器／多核调度 932适应可变性和不确定性 933其他资源的管理 934间歇任务调度 94总结与挑战 参考文献 第10章CPS模型集成 101引言 102基础技术 1021因果关系 1022时间语义域 1023计算过程的交互模型 1024CPS DSML建模语言的语义 103高级技术 1031ForSpec语言 1032CyPhyML系统建模语言的语法 1033语义的形式化 1034形式化的语言集成 104总结与挑战 参考文献 |