| 作者 |
| 谢梁 缪莹莹 高梓尧 王子玲 罗恩·科哈维 黛安·唐 许亚 |
| 丛书名 |
| 数据科学与工程技术丛书 |
| 出版社 |
| 机械工业出版社 |
| ISBN |
| 9782106151557 |
| 简要 |
| 简介 |
| 内容简介书籍计算机书籍 ---------------------------8081327 - 数据科学工程实践：用户行为分析与建模、A/B实验、SQLFlow--------------------------- 内容简介 这是一本将数据科学三要素——商业理解、量化模型、数据技术全面打通的实战性著作，是来自腾讯、滴滴、快手等一线互联网企业的数据科学家、数据分析师和算法工程师的经验总结，得到了SQLFlow创始人以及腾讯、网易、快手、贝壳找房、谷歌等企业的专家一致好评和推荐。 全书三个部分，内容相对独立，既能帮助初学者建立知识体系，又能帮助从业者解决商业中的实际问题，还能帮助有经验的专家快速掌握数据科学的Z新技术和发展动向。内容围绕非实验环境下的观测数据的分析、实验的设计和分析、自助式数据科学平台3大主题展开，涉及统计学、经济学、机器学习、实验科学等多个领域，包含大量常用的数据科学方法、简洁的代码实现和经典的实战案例。 第1部分（第 1～6 章） 观测数据的分析技术 讲解了非实验环境下不同观测数据分析场景所对应的分析框架、原理及实际操作，包括消费者选择偏好分析、消费者在时间维度上的行为分析、基于机器学习的用户生命周期价值预测、基于可解释模型技术的商业场景挖掘、基于矩阵分解技术的用户行为规律发现与挖掘，以及在不能进行实验分析时如何更科学地进行全量评估等内容。 第二部分（第7～9章）实验设计和分析技术 从 A/B 实验的基本原理出发，深入浅出地介绍了各种商业场景下进行实验设计需要参考的原则和运用的方法，尤其是在有样本量约束条件下提升实验效能的方法及商业场景限制导致的非传统实验设计。 第三部分（第10~12章） 自助式数据科学平台SQLFlow 针对性的讲解了开源的工程化的自助式数据科学平台SQLFlow，并通过系统配置、黑盒模型的解读器应用、聚类分析场景等案例帮助读者快速了解这一面向未来的数据科学技术。 ---------------------------8079821 - 关键迭代：可信赖的线上对照实验--------------------------- . 本书基于近些年实验领域的研究成果和实践经验，对实验的方法和应用做了很好的全景式描述，是一本兼顾系统性的方法论和基于实战的经验法则的书籍。根据微软、亚马逊、谷歌和领英每年运行的两万多个对照实验，作者以示例和建议的方式向学生和业内人士分享了自己的实践经验，指出了需要避免的陷阱，并深入探讨了一些进阶专题，可以为希望改善自身及机构数据驱动决策方式的从业者提供参考。 全书分为五个部分：第I部分由四章组成。第1章概述运行线上对照实验的好处，并介绍实验相关术语。第2 章用一个例子剖析运行实验的全过程。第3 章描述常见的陷阱以及如何建立实验的可信赖度。第4 章概述如何搭建实验平台并规模化线上实验。第II部分的五章内容介绍实验的基础原理，比如机构指标。我们推荐所有人阅读这一部分，尤其是领导者和高管。第III部分的两章内容介绍线上对照实验的补充技法，可以帮助管理层、数据科学家、工程师、分析师、产品经理等进行资源和时间的投资。第IV部分专注于实验平台的搭建，面向工程师群体。最后，第V部分深入讨论进阶的实验分析专题，面向数据科学家。 |
| 目录 |
| [套装书具体书目] 8079821 - 关键迭代：可信赖的线上对照实验 - 9787111678809 - 机械工业出版社 - 定价 99 8081327 - 数据科学工程实践：用户行为分析与建模、A/B实验、SQLFlow - 9787111682547 - 机械工业出版社 - 定价 89 ---------------------------8081327 - 数据科学工程实践：用户行为分析与建模、A/B实验、SQLFlow--------------------------- 第1章：如何分析用户的选择 1 1.1选择行为的经济学理论 1 1.1.1 选择无处不在 1 1.1.2 选择行为的经济学理论 2 1.2 用户选择行为计量分析框架：DCM 4 1.2.1 从经济模型到计量模型 4 1.2.2 常用的DCM模型及应用场景 8 1.3 DCM模型的Python实践 11 1.3.1软件包&数据格式 11 1.3.2 使用Logistics Regression分析自驾选择问题 15 1.3.3 使用 Multinomial Logit Model 分析完整交通方式选择问题 21 1.3.4 使用 Nested Logit Model 分析完整交通方式选择问题 25 1.4 本章小节 27 第二章：随时间可变的行为分析 27 2.1 从“如何给二手车定价”案例说起 27 2.1.1 二手车定价背景 27 2.1.2 为什么不选择一般回归模型？ 28 2.1.3 为什么选择生存分析？ 29 2.2 生存分析的理论框架 29 2.2.2 生存函数及风险函数刻画 34 2.2.3 生存函数回归及生存概率的预测 36 2.3 生存分析在二手车定价案例中的应用实践 38 2.3.1 软件包&数据格式&数据入读 40 2.3.2 生存分析基础操作：二手车销售生存曲线绘制及差异对比 42 第三章 洞察消费者长期价值：基于神经网络的LTV建模 44 3.1 LTV的概念和商业应用 44 3.1.1 LTV——用户终生（长期）价值 45 3.1.2 用户生命周期和用户终生价值 45 3.1.3 LTV的特点 46 3.1.4 LTV分析能帮助我们回答的问题 46 3.1.5 LTV的计算方法 47 3.2 神经网络的基本原理 49 3.2.1 神经网络的历史 49 3.2.2 本章所涉及的神经网络结构 50 3.3 基于Keras的LTV模型实践 56 3.3.1 Keras介绍 56 3.3.2 数据的加载和预处理 56 3.3.3 输入数据的准备 59 3.3.4 模型搭建和训练 65 3.3.5 模型分析 68 3.4 本章总结 68 第4章 使用体系化分析方法进行场景挖掘 69 4.1. 选择经验化分析还是体系化分析 69 4.1.1经验化分析的局限性 69 4.1.2体系化方法的手段和优势 70 4.2. 体系化分析常用工具 71 4.2.1黑盒模型与白盒模型 71 4.2.2可解释模型——决策树 71 4.2.3全局代理模型 76 4.2.4场景挖掘模型分析方法框架 77 4.3. 场景挖掘分析实践 78 4.3.1数据背景及数据处理 78 4.3.2经验化分析 80 4.3.3场景挖掘模型的Python实现与模型解读 80 4.4. 本章小结 86 第5章 行为规律的发现与挖掘 86 概述 86 5.1对包含有顺序关系数据的规律分析 87 5.1.1有序数据及SVD方法概述 87 5.1.2SVD原理及推导 88 5.1.3SVD聚类建模Python实战 93 5.2对无序稀疏数据的规律分析 98 5.2.1稀疏数据及NMF方法概述 98 5.2.2NMF原理及推导 99 5.2.3NMF聚类建模Python实战 100 第6章 对观测到的事件进行因果推断 104 6.1 使用全量评估分析已发生的事件 104 6.1.1 为什么要进行全量评估 104 6.1.2 全量评估应用 105 6.2 全量评估主要方法 105 6.2.1 回归分析 105 6.2.2 DID方法 114 6.2.3 合成控制 116 6.2.4 Causal Impact 119 6.3 全量评估方法的应用 123 6.3.1 关于物流单量的全量评估应用(回归模型) 123 6.3.2 恐怖主义对经济影响评估(DID) 128 6.3.3 恐怖主义对经济影响评估(合成控制) 130 6.3.4 天气情况的评估(Causal Impact) 133 6.4 本章小结 147 第7章 如何比较两个策略的效果 147 7.1如何才能正确推断因果关系？ 147 7.1.1 什么是相关性谬误 147 7.1.2 潜在结果和因果效果 148 7.2运用A/B实验进行两策略比较 149 7.2.1 什么是A/B实验 149 7.2.2 为什么应用A/B实验 150 7.2.3 A/B实验的基本原理 150 7.3 A/B实验应用步骤（实验方法具体实施步骤） 151 7.3.1 明确实验要素 151 7.3.2 实验设计 153 7.3.3实验过程监控 155 7.4 A/B实验案例介绍 156 7.4.1 实验场景介绍 156 7.4.3实验效果评估 158 7.5 本章小结 159 第8章 如何提高实验效能 160 8.1 控制实验指标方差的必要性和手段 160 8.2 用随机区组设计控制实验指标方差 161 8.2.1 利用随机区组实验实验设计降低方差 161 8.2.2 随机区组实验的特征选择 162 8.3 随机区组实验应用步骤 163 8.3.1 明确实验目标及背景： 163 8.3.2 实验设计： 163 8.3.3 实验过程监控： 163 8.3.4 实验评估中用到的方差分析的基本原理： 163 8.4 随机区组实验案例介绍 168 8.4.1 背景介绍： 168 8.4.2 基本设计： 169 8.4.3 随机区组实验相关的设计： 169 8.4.4 效果评估 170 8.5 随机区组实验常见问题 172 8.5.1 方差分析的使用前提是什么 172 8.5.2 随机区组的个数是越多越好吗？ 172 8.5.3 随机区组实验的回归方程的$R^2$是越高越好吗，是否证明策略有效果？ 173 8.6 本章小节 173 第9章 特殊场景下的实验设计和分析方法 173 9.1 分流的实验对象间有干扰怎么办 174 9.2 如果实验不能简单分流怎么办(Switchback实验设计和评估方法) 181 9.3 如果实验不能简单分流且时间效率要求高怎么办？（交叉实验设计） 186 9.4 如果不能分流的实验且策略不能轮转怎么办？ 199 9.5 本章总结 205 10.1 SQLFlow简介 206 10.1.1 什么是SQLFlow 206 10.1.2 SQLFlow的定位和目标 207 10.1.3 SQLFlow工作原理 209 10.2 SQLFLow 运行环境的设置 210 SQLFlow in Docker 210 环境配置 215 交互 224 Jupyter Notebook 225 REPL 225 10.3 将分析模型固化到 SQLFlow 中的流程 226 10.4 总结 232 11.1.1 模型可解释的重要性和必要性 233 模型解释的重要性 233 模型解释的必要性 233 11.1.2 常见的可解释性模型 234 （1）线性回归 235 （2）逻辑回归 238 （3） 决策树 242 （4）KNN 243 （5）朴素贝叶斯分类器 245 （6）模型比较 246 11.2 黑盒模型的解释性 247 11.2.1 如何对黑盒模型进行解释 247 11.2.2 代理模型 248 11.2.3 Shapley 250 11.2.4 基于SQLFLow的黑盒模型解释的案例 251 11.3 本章小结 255 第12章 基于LSTM-autoencoder的无监督聚类模型 255 12.1 聚类的广泛应用 256 12.1.1 什么是聚类或模式识别 256 12.2 聚类模型的应用案例 257 12.2.1 k-means clustering -- 司机服务站点选址规划 257 12.2.2 Hierarchical Clustering -- 超市采购商分组 260 12.3 SQLFlow中基于深度学习的聚类模型 265 12.3.1 基于深度学习的聚类模型原理 265 12.3.2 Case study - 如何使用SQLFlow对城市道路交通状况进行分层 272 12.4 本章小结 275 ---------------------------8079821 - 关键迭代：可信赖的线上对照实验--------------------------- 本书赞誉 译者序 前言--如何阅读本书 致谢 第一部分 线上对照实验概览 第1章 概述和写作动机003 1.1 线上对照实验的术语005 1.2 为什么进行实验？相关性、因果关系和可信赖度008 1.3 有效运行对照实验的必要元素010 1.4 宗旨011 1.5 随时间推移的改进013 1.6 有趣的线上对照实验实例015 1.7 战略、战术及它们和实验的关系020 1.8 补充阅读 023 第2章 运行和分析实验--一个全程剖析的案例025 2.1 设立实验025 2.2 假设检验：确立统计显著性028 2.3 设计实验030 2.4 运行实验并获得数据032 2.5 分析结果033 2.6 从结果到决策034 第3章 特威曼定律与实验的可信赖度037 3.1 曲解统计结果038 3.2 置信区间041 3.3 对内部有效性的威胁041 3.4 对外部有效性的威胁046 3.5 细分群的差异049 3.6 辛普森悖论 052 3.7 鼓励健康的怀疑态度054 第4章 实验平台和文化055 4.1 实验成熟度模型055 4.2 基础设施和工具062 第二部分 基础原理 第5章 速度很重要：一个全程案例剖析075 5.1 关键假设：局部线性近似077 5.2 如何测量网站的性能078 5.3 减速实验的设计080 5.4 对不同页面元素的影响是不同的081 5.5 极端结果083 第6章 机构指标085 6.1 指标的分类086 6.2 指标的制定：原则和技术089 6.3 指标的评估091 6.4 指标的演变092 6.5 更多的资源093 6.6 补充材料：护栏指标093 6.7 补充材料：可操纵性095 第7章 实验指标和综合评估标准097 7.1 从业务指标到适用于实验的指标098 7.2 将关键指标组合成一个OEC099 7.3 案例：亚马逊电子邮件的OEC101 7.4 案例：必应搜索引擎的OEC103 7.5 Goodhart法则、Campbell法则以及Lucas批判104 第8章 机构的经验传承与统合分析107 8.1 什么是机构的经验传承107 8.2 为什么机构的经验传承有用108 第9章 对照实验中的伦理111 9.1 背景111 9.2 数据收集116 9.3 文化与流程117 9.4 补充材料：用户标识符117 第三部分 补充及替代技法 第10章 补充技法121 10.1 补充技法的空间121 10.2 基于日志的分析122 10.3 人工评估124 10.4 用户体验调研125 10.5 焦点小组125 10.6 问卷调查126 10.7 外部数据127 10.8 总结129 第11章 观察性因果研究131 11.1 对照实验不可行的情况131 11.2 观察性因果研究的设计133 11.3 陷阱138 11.4 补充材料：被驳斥的观察性因果研究141 第四部分 实验平台搭建 第12章 客户端实验145 12.1 服务器端和客户端的差异145 12.2 对实验的潜在影响148 12.3 结论152 第13章 工具化日志记录153 13.1 客户端与服务器端的工具化日志记录153 13.2 处理多源的日志155 13.3 工具化日志记录的文化156 第14章 选择随机化单元157 14.1 随机化单元和分析单元159 14.2 用户级别的随机化160 第15章 实验放量：权衡速度、质量与风险163 15.1 什么是放量163 15.2 SQR放量框架164 15.3 四个放量阶段165 15.4 最终放量之后168 第16章 规模化实验分析169 16.1 数据处理169 16.2 数据计算170 16.3 结果汇总和可视化172 第五部分 实验分析 第17章 线上对照实验中的统计学知识177 17.1 双样本t检验177 17.2 p值和置信区间178 17.3 正态性假设179 17.4 第一/二型错误和统计功效181 17.5 偏差183 17.6 多重检验183 17.7 费舍尔统合分析184 第18章 方差估计和提高灵敏度：陷阱及解决方法185 18.1 常见陷阱186 18.2 提高灵敏度189 18.3 其他统计量的方差190 第19章 A/A测试193 19.1 为什么运行A/A测试193 19.2 如何运行A/A测试198 19.3 A/A测试失败时199 第20章 以触发来提高实验灵敏度201 20.1 触发示例201 20.2 数值示例204 20.3 最佳的和保守的触发205 20.4 总体实验效应206 20.5 可信赖的触发207 20.6 常见的陷阱207 20.7 开放性问题209 第21章 样本比率不匹配与其他可信度相关的护栏指标211 21.1 样本比率不匹配212 21.2 调试SRM214 第22章 实验变体之间的泄露和干扰219 22.1 示例220 22.2 一些实际的解决方案223 22.3 检测和监控干扰227 第23章 测量实验的长期效应229 23.1 什么是长期效应229 23.2 短期效应和长期效应可能不同的原因230 23.3 为什么要测量长期效应232 23.4 长期运行的实验233 23.5 长期运行实验的替代方法235 参考文献241 索引261 |