| 作者 |
| 列奥纳多·德·马尔希 劳拉·米切尔 邱锡鹏 |
| 丛书名 |
| 智能系统与技术丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782106111741 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------8081316 - 神经网络设计与实现--------------------------- 本书是一本神经网络实践进阶指南，适合对AI和深度学习感兴趣并且想进一步提高技能的读者阅读。 本书从机器学习基础、深度学习应用和高级机器学习这三个方面入手，结合算法理论、代码实现和应用场景，介绍了机器学习的新动向和新技术。本书分为三部分：第1部分网络神经入门，主要介绍了人工智能历史、机器学习概述和神经网络基础；第二部分，深度学习应用，主要是基于卷积神经网络图像处理、文本挖掘、循环神经网络、利用迁移学习重用神经网络；第三部分，高级应用领域，主要介绍对生成对抗网络、自动编码器、损失函数、深度信度网络、强化学习基本定义等。 ---------------------------8068767 - 神经网络与深度学习--------------------------- 本书主要介绍神经网络与深度学习中的基础知识、主要模型（卷积神经网络、递归神经网络等）以及在计算机视觉、自然语言处理等领域的应用。 |
| 目录 |
| [套装书具体书目] 8068767 - 神经网络与深度学习 - 9787111649687 - 机械工业出版社 - 定价 149 8081316 - 神经网络设计与实现 - 9787111683506 - 机械工业出版社 - 定价 89 ---------------------------8081316 - 神经网络设计与实现--------------------------- 译者序 前言 第一部分 神经网络入门 第1章 有监督学习入门2 1.1 人工智能的历史2 1.2 机器学习概述4 1.2.1 有监督学习4 1.2.2 无监督学习4 1.2.3 半监督学习5 1.2.4 强化学习5 1.3 配置环境6 1.3.1 了解虚拟环境7 1.3.2 Anaconda8 1.3.3 Docker9 1.4 Python有监督学习实践9 1.5 特征工程11 1.6 有监督学习算法14 1.6.1 指标15 1.6.2 模型评估17 1.7 总结19 第2章 神经网络基础20 2.1 感知器20 2.2 Keras27 2.3 前馈神经网络29 2.3.1 反向传播介绍31 2.3.2 激活函数33 2.3.3 Keras实现36 2.4 从头开始使用Python编写FFNN40 2.4.1 FFNN的Keras实现43 2.4.2 TensorBoard45 2.4.3 XOR问题中的TensorBoard45 2.5 总结48 第二部分 深度学习应用 第3章 基于卷积神经网络的图像处理50 3.1 理解卷积神经网络50 3.2 卷积层52 3.2.1 池化层55 3.2.2 丢弃层57 3.2.3 归一化层57 3.2.4 输出层57 3.3 Keras中的卷积神经网络58 3.3.1 加载数据58 3.3.2 创建模型60 3.3.3 网络配置60 3.4 Keras表情识别63 3.5 优化网络68 3.6 总结70 第4章 利用文本嵌入71 4.1 面向NLP的机器学习71 4.2 理解词嵌入73 4.2.1 词嵌入的应用73 4.2.2 Word2vec74 4.3 GloVe80 4.3.1 全局矩阵分解80 4.3.2 使用GloVe模型82 4.3.3 基于GloVe的文本分类85 4.4 总结87 第5章 循环神经网络88 5.1 理解循环神经网络88 5.1.1 循环神经网络原理90 5.1.2 循环神经网络类型91 5.1.3 损失函数94 5.2 长短期记忆95 5.2.1 LSTM架构95 5.2.2 Keras长短期记忆实现98 5.3 PyTorch基础知识102 5.4 总结106 第6章 利用迁移学习重用神经网络107 6.1 迁移学习理论107 6.1.1 多任务学习介绍108 6.1.2 重用其他网络作为特征提取器108 6.2 实现多任务学习108 6.3 特征提取110 6.4 在PyTorch中实现迁移学习110 6.5 总结116 第三部分 高级应用领域 第7章 使用生成算法118 7.1 判别算法与生成算法118 7.2 理解GAN120 7.2.1 训练GAN121 7.2.2 GAN面临的挑战123 7.3 GAN的发展变化和时间线124 7.3.1 条件GAN125 7.3.2 DCGAN125 7.3.3 Pix2Pix GAN131 7.3.4 StackGAN132 7.3.5 CycleGAN133 7.3.6 ProGAN135 7.3.7 StarGAN136 7.3.8 BigGAN138 7.3.9 StyleGAN139 7.3.10 Deepfake142 7.3.11 RadialGAN143 7.4 总结144 7.5 延伸阅读144 第8章 实现自编码器146 8.1 自编码器概述146 8.2 自编码器的应用147 8.3 瓶颈和损失函数147 8.4 自编码器的标准类型148 8.4.1 欠完备自编码器148 8.4.2 多层自编码器151 8.4.3 卷积自编码器152 8.4.4 稀疏自编码器155 8.4.5 去噪自编码器156 8.4.6 收缩自编码器157 8.5 变分自编码器157 8.6 训练变分自编码器159 8.7 总结164 8.8 延伸阅读164 第9章 DBN165 9.1 DBN概述165 9.1.1 贝叶斯置信网络166 9.1.2 受限玻尔兹曼机167 9.2 DBN架构176 9.3 训练DBN177 9.4 微调179 9.5 数据集和库179 9.5.1 示例—有监督的DBN分类180 9.5.2 示例—有监督的DBN回归181 9.5.3 示例—无监督的DBN分类182 9.6 总结183 9.7 延伸阅读183 第10章 强化学习184 10.1 基本定义184 10.2 Q-learning介绍187 10.2.1 学习目标187 10.2.2 策略优化188 10.2.3 Q-learning方法188 10.3 使用OpenAI Gym188 10.4 冰湖问题191 10.5 总结199 第11章 下一步是什么200 11.1 本书总结200 11.2 机器学习的未来201 11.3 通用人工智能202 11.3.1 AI伦理问题203 11.3.2 可解释性203 11.3.3 自动化204 11.3.4 AI安全性204 11.3.5 问责制205 11.4 结语205 ---------------------------8068767 - 神经网络与深度学习--------------------------- 序 前言 常用符号表 第一部分 机器学习基础 第1章 绪论3 1.1人工智能...............................4 1.1.1人工智能的发展历史....................5 1.1.2人工智能的流派.......................7 1.2机器学习...............................7 1.3表示学习...............................8 1.3.1局部表示和分布式表示...................9 1.3.2表示学习...........................11 1.4深度学习...............................11 1.4.1端到端学习..........................12 1.5神经网络...............................13 1.5.1人脑神经网络........................13 1.5.2人工神经网络........................14 1.5.3神经网络的发展历史....................15 1.6本书的知识体系...........................17 1.7常用的深度学习框架.........................18 1.8总结和深入阅读...........................20 第2章 机器学习概述23 2.1基本概念...............................24 2.2机器学习的三个基本要素......................26 2.2.1模型..............................26 2.2.2学习准则...........................27 2.2.3优化算法...........................30 2.3机器学习的简单示例——线性回归.................33 2.3.1参数学习...........................34 2.4偏差-方差分解............................38 2.5机器学习算法的类型.........................41 2.6数据的特征表示...........................43 2.6.1传统的特征学习.......................44 2.6.2深度学习方法........................46 2.7评价指标...............................46 2.8理论和定理..............................49 2.8.1PAC学习理论........................49 2.8.2没有免费午餐定理......................50 2.8.3奥卡姆剃刀原理.......................50 2.8.4丑小鸭定理..........................51 2.8.5归纳偏置...........................51 2.9总结和深入阅读...........................51 第3章 线性模型 3.1线性判别函数和决策边界......................56 3.1.1二分类............................56 3.1.2多分类............................58 3.2Logistic回归.............................59 3.2.1参数学习...........................60 3.3Softmax回归.............................61 3.3.1参数学习...........................62 3.4感知器.................................64 3.4.1参数学习...........................64 3.4.2感知器的收敛性.......................66 3.4.3参数平均感知器.......................67 3.4.4扩展到多分类........................69 3.5支持向量机..............................71 3.5.1参数学习...........................73 3.5.2核函数............................74 3.5.3软间隔............................74 3.6损失函数对比.............................75 3.7总结和深入阅读...........................76 第二部分 基础模型 第4章 前馈神经网络81 4.1神经元.................................82 4.1.1Sigmoid型函数.......................83 4.1.2ReLU函数..........................86 4.1.3Swish函数..........................88 4.1.4GELU函数..........................89 4.1.5Maxout单元.........................89 4.2网络结构...............................90 4.2.1前馈网络...........................90 4.2.2记忆网络...........................90 4.2.3图网络............................90 4.3前馈神经网络.............................91 4.3.1通用近似定理........................93 4.3.2应用到机器学习.......................94 4.3.3参数学习...........................95 4.4反向传播算法.............................95 4.5自动梯度计算.............................98 4.5.1数值微分...........................99 4.5.2符号微分...........................99 4.5.3自动微分...........................100 4.6优化问题...............................103 4.6.1非凸优化问题........................103 4.6.2梯度消失问题........................104 4.7总结和深入阅读...........................104 第5章 卷积神经网络109 5.1卷积..................................110 5.1.1卷积的定义..........................110 5.1.2互相关............................112 5.1.3卷积的变种..........................113 5.1.4卷积的数学性质.......................114 5.2卷积神经网络.............................115 5.2.1用卷积来代替全连接....................115 5.2.2卷积层............................116 5.2.3汇聚层............................118 5.2.4卷积网络的整体结构....................119 5.3参数学习...............................120 5.3.1卷积神经网络的反向传播算法...............120 5.4几种典型的卷积神经网络......................121 5.4.1LeNet-5............................122 5.4.2AlexNet...........................123 5.4.3Inception网络........................125 5.4.4残差网络...........................126 5.5其他卷积方式.............................127 5.5.1转置卷积...........................127 5.5.2空洞卷积...........................129 5.6总结和深入阅读...........................130 第6章 循环神经网络133 6.1给网络增加记忆能力.........................134 6.1.1延时神经网络........................134 6.1.2有外部输入的非线性自回归模型..............134 6.1.3循环神经网络........................135 6.2简单循环网络.............................135 6.2.1循环神经网络的计算能力..................136 6.3应用到机器学习...........................138 6.3.1序列到类别模式.......................138 6.3.2同步的序列到序列模式...................139 6.3.3异步的序列到序列模式...................139 6.4参数学习...............................140 6.4.1随时间反向传播算法....................141 6.4.2实时循环学习算法......................142 6.5长程依赖问题.............................143 6.5.1改进方案...........................144 6.6基于门控的循环神经网络......................145 6.6.1长短期记忆网络.......................145 6.6.2LSTM网络的各种变体...................147 6.6.3门控循环单元网络......................148 6.7深层循环神经网络..........................149 6.7.1堆叠循环神经网络......................150 6.7.2双向循环神经网络......................150 6.8扩展到图结构.............................151 6.8.1递归神经网络........................151 6.8.2图神经网络..........................152 6.9总结和深入阅读...........................153 第7章 网络优化与正则化157 7.1网络优化...............................157 7.1.1网络结构多样性.......................158 7.1.2高维变量的非凸优化....................158 7.1.3神经网络优化的改善方法..................160 7.2优化算法...............................160 7.2.1小批量梯度下降.......................160 7.2.2批量大小选择........................161 7.2.3学习率调整..........................162 7.2.4梯度估计修正........................167 7.2.5优化算法小结........................170 7.3参数初始化..............................171 7.3.1基于固定方差的参数初始化.................172 7.3.2基于方差缩放的参数初始化.................173 7.3.3正交初始化..........................175 7.4数据预处理..............................176 7.5逐层归一化..............................178 7.5.1批量归一化..........................179 7.5.2层归一化...........................181 7.5.3权重归一化..........................182 7.5.4局部响应归一化.......................182 7.6超参数优化..............................183 7.6.1网格搜索...........................183 7.6.2随机搜索...........................184 7.6.3贝叶斯优化..........................184 7.6.4动态资源分配........................185 7.6.5神经架构搜索........................186 7.7网络正则化..............................186 7.7.11和2正则化........................187 7.7.2权重衰减...........................188 7.7.3提前停止...........................188 7.7.4丢弃法............................189 7.7.5数据增强...........................191 7.7.6标签平滑...........................191 7.8总结和深入阅读...........................192 第8章 注意力机制与外部记忆197 8.1认知神经学中的注意力.......................198 8.2注意力机制..............................199 8.2.1注意力机制的变体......................201 8.3自注意力模型.............................203 8.4人脑中的记忆.............................205 8.5记忆增强神经网络..........................207 8.5.1端到端记忆网络.......................208 8.5.2神经图灵机..........................210 8.6基于神经动力学的联想记忆.....................211 8.6.1Hopfiel网络........................212 8.6.2使用联想记忆增加网络容量.................215 8.7总结和深入阅读...........................215 第9章 无监督学习219 9.1无监督特征学习...........................220 9.1.1主成分分析..........................220 9.1.2稀疏编码...........................222 9.1.3自编码器...........................224 9.1.4稀疏自编码器........................225 9.1.5堆叠自编码器........................226 9.1.6降噪自编码器........................226 9.2概率密度估计.............................227 9.2.1参数密度估计........................227 9.2.2非参数密度估计.......................229 9.3总结和深入阅读...........................232 第10章 模型独立的学习方式235 10.1集成学习...............................235 10.1.1AdaBoost算法........................237 10.2自训练和协同训练..........................240 10.2.1自训练............................240 10.2.2协同训练...........................240 10.3多任务学习..............................242 10.4迁移学习...............................245 10.4.1归纳迁移学习........................246 10.4.2转导迁移学习........................247 10.5终身学习...............................249 10.6元学习.................................252 10.6.1基于优化器的元学习....................253 10.6.2模型无关的元学习......................254 10.7总结和深入阅读...........................255 第三部分 进阶模型 第11章 概率图模型261 11.1模型表示...............................262 11.1.1有向图模型..........................263 11.1.2常见的有向图模型......................264 11.1.3无向图模型..........................267 11.1.4无向图模型的概率分解...................267 11.1.5常见的无向图模型......................269 11.1.6有向图和无向图之间的转换.................270 11.2学习..................................271 11.2.1不含隐变量的参数估计...................271 11.2.2含隐变量的参数估计....................273 11.3推断..................................279 11.3.1精确推断...........................279 11.3.2近似推断...........................282 11.4变分推断...............................283 11.5基于采样法的近似推断.......................285 11.5.1采样法............................285 11.5.2拒绝采样...........................287 11.5.3重要性采样..........................288 11.5.4马尔可夫链蒙特卡罗方法..................289 11.6总结和深入阅读...........................292 第12章 深度信念网络297 12.1玻尔兹曼机..............................297 12.1.1生成模型...........................299 12.1.2能量最小化与模拟退火...................301 12.1.3参数学习...........................302 12.2受限玻尔兹曼机...........................304 12.2.1生成模型...........................305 12.2.2参数学习...........................307 12.2.3受限玻尔兹曼机的类型...................308 12.3深度信念网络.............................309 12.3.1生成模型...........................310 12.3.2参数学习...........................310 12.4总结和深入阅读...........................313 第13章 深度生成模型317 13.1概率生成模型.............................318 13.1.1密度估计...........................318 13.1.2生成样本...........................319 13.1.3应用于监督学习.......................319 13.2变分自编码器.............................319 13.2.1含隐变量的生成模型....................319 13.2.2推断网络...........................321 13.2.3生成网络...........................323 13.2.4模型汇总...........................323 13.2.5再参数化...........................325 13.2.6训练..............................325 13.3生成对抗网络.............................327 13.3.1显式密度模型和隐式密度模型...............327 13.3.2网络分解...........................327 13.3.3训练..............................329 13.3.4一个生成对抗网络的具体实现：DCGAN..........330 13.3.5模型分析...........................330 13.3.6改进模型...........................333 13.4总结和深入阅读...........................336 第14章 深度强化学习339 14.1强化学习问题.............................340 14.1.1典型例子...........................340 14.1.2强化学习定义........................340 14.1.3马尔可夫决策过程......................341 14.1.4强化学习的目标函数....................343 14.1.5值函数............................344 14.1.6深度强化学习........................345 14.2基于值函数的学习方法.......................346 14.2.1动态规划算法........................346 14.2.2蒙特卡罗方法........................349 14.2.3时序差分学习方法......................350 14.2.4深度Q网络..........................353 14.3基于策略函数的学习方法......................354 14.3.1REINFORCE算法......................356 14.3.2带基准线的REINFORCE算法...............356 14.4演员-评论员算法...........................358 14.5总结和深入阅读...........................360 第15章 序列生成模型365 15.1序列概率模型.............................366 15.1.1序列生成...........................367 15.2N元统计模型.............................368 15.3深度序列模型.............................370 15.3.1模型结构...........................370 15.3.2参数学习...........................373 15.4评价方法...............................373 15.4.1困惑度............................373 15.4.2BLEU算法..........................374 15.4.3ROUGE算法.........................375 15.5序列生成模型中的学习问题.....................375 15.5.1曝光偏差问题........................376 15.5.2训练目标不一致问题....................377 15.5.3计算效率问题........................377 15.6序列到序列模型...........................385 15.6.1基于循环神经网络的序列到序列模型...........386 15.6.2基于注意力的序列到序列模型...............387 15.6.3基于自注意力的序列到序列模型..............388 15.7总结和深入阅读...........................390 附录数学基础 393 附录A 线性代数 394 附录B 微积分 404 附录C 数学优化 413 附录D 概率论 420 附录E 信息论 433 索引 439 |