数据科学入门.pdf

PDF: https://github.com/jash-git/Jash-good-idea-20200304-001

本书的补充材料（示例代码、练习等）都可以从GitHub 下载：https://github.com/joelgrus/data-science-from-scratch

前言 …………………………………………………………………………………………………………………………………….xiii
第1 章　導論 ……………………………………………………………………………………………………………………….1
1.1　數據的威力 ………………………………………………………………………………………………………………..1
1.2　什麼是資料科學 ………………………………………………………………………………………………………….1
1.3　激勵假設：DataSciencester ………………………………………………………………………………………….2
1.3.1　尋找關鍵連絡人 ………………………………………………………………………………………………3
1.3.2　你可能知道的資料科學家 ………………………………………………………………………………..5
1.3.3　工資與工作年限 ………………………………………………………………………………………………8
1.3.4　付費帳戶 ……………………………………………………………………………………………………….10
1.3.5　興趣主題 ……………………………………………………………………………………………………….11
1.4　展望 …………………………………………………………………………………………………………………………12
第2 章　Python 速成 …………………………………………………………………………………………………………13
2.1　基礎內容 ………………………………………………………………………………………………………………….13
2.1.1　Python 獲取 ……………………………………………………………………………………………………13
2.1.2　Python 之禪 ……………………………………………………………………………………………………14
2.1.3　空白形式 ……………………………………………………………………………………………………….14
2.1.4　模組 ………………………………………………………………………………………………………………15
2.1.5　演算法 ………………………………………………………………………………………………………………16
2.1.6　函數 ………………………………………………………………………………………………………………16
2.1.7　字串 …………………………………………………………………………………………………………..17
2.1.8　異常 ………………………………………………………………………………………………………………18
2.1.9　列表 ………………………………………………………………………………………………………………18
2.1.10　元組 …………………………………………………………………………………………………………….19
vi ｜ 目錄
2.1.11　字典 ……………………………………………………………………………………………………………..20
2.1.12　集合 …………………………………………………………………………………………………………….22
2.1.13　控制流 …………………………………………………………………………………………………………23
2.1.14　真和假 …………………………………………………………………………………………………………24
2.2　進階內容 ………………………………………………………………………………………………………………….25
2.2.1　排序 ………………………………………………………………………………………………………………25
2.2.2　列表解析 ……………………………………………………………………………………………………….25
2.2.3　生成器和反覆運算器 …………………………………………………………………………………………….26
2.2.4　隨機性 …………………………………………………………………………………………………………..27
2.2.5　規則運算式 ……………………………………………………………………………………………………28
2.2.6　物件導向的程式設計 …………………………………………………………………………………………….28
2.2.7　函數式工具 ……………………………………………………………………………………………………29
2.2.8　枚舉 ………………………………………………………………………………………………………………31
2.2.9　壓縮和參數拆分 …………………………………………………………………………………………….31
2.2.10　args 和kwargs ……………………………………………………………………………………………..32
2.2.11　歡迎來到DataSciencester ………………………………………………………………………………33
2.3　延伸學習 ………………………………………………………………………………………………………………….33
第3 章　視覺化數據 ………………………………………………………………………………………………………….34
3.1　matplotlib ……………………………………………………………………………………………………………….34
3.2　橫條圖 ……………………………………………………………………………………………………………………..36
3.3　線圖 …………………………………………………………………………………………………………………………40
3.4　散點圖 ……………………………………………………………………………………………………………………..41
3.5　延伸學習 ………………………………………………………………………………………………………………….44
第4 章　線性代數 ………………………………………………………………………………………………………………45
4.1　向量 …………………………………………………………………………………………………………………………45
4.2　矩陣 …………………………………………………………………………………………………………………………49
4.3　延伸學習 ………………………………………………………………………………………………………………….51
第5 章　統計學 …………………………………………………………………………………………………………………53
5.1　描述單個資料集 ………………………………………………………………………………………………………..53
5.1.1　中心傾向 ……………………………………………………………………………………………………….55
5.1.2　離散度 …………………………………………………………………………………………………………..56
5.2　相關 …………………………………………………………………………………………………………………………58
5.3　辛普森悖論 ……………………………………………………………………………………………………………….60
5.4　相關係數其他注意事項 ……………………………………………………………………………………………..61
5.5　相關和因果 ……………………………………………………………………………………………………………….62
5.6　延伸學習 ………………………………………………………………………………………………………………….63
目錄 ｜ vii
第6 章　概率 ……………………………………………………………………………………………………………………..64
6.1　不獨立和獨立 ……………………………………………………………………………………………………………64
6.2　條件概率 ………………………………………………………………………………………………………………….65
6.3　貝葉斯定理 ……………………………………………………………………………………………………………….66
6.4　隨機變數 ………………………………………………………………………………………………………………….68
6.5　連續分佈 ………………………………………………………………………………………………………………….68
6.6　正態分佈 ………………………………………………………………………………………………………………….69
6.7　中心極限定理 ……………………………………………………………………………………………………………72
6.8　延伸學習 ………………………………………………………………………………………………………………….74
第7 章　假設與推斷 ………………………………………………………………………………………………………….75
7.1　統計假設檢驗 ……………………………………………………………………………………………………………75
7.2　案例：擲硬幣 ……………………………………………………………………………………………………………75
7.3　置信區間 ………………………………………………………………………………………………………………….79
7.4　P-hacking ………………………………………………………………………………………………………………….80
7.5　案例：運行A/B 測試 ………………………………………………………………………………………………..81
7.6　貝葉斯推斷 ……………………………………………………………………………………………………………….82
7.7　延伸學習 ………………………………………………………………………………………………………………….85
第8 章　梯度下降 ………………………………………………………………………………………………………………86
8.1　梯度下降的思想 ………………………………………………………………………………………………………..86
8.2　估算梯度 ………………………………………………………………………………………………………………….87
8.3　使用梯度 ………………………………………………………………………………………………………………….90
8.4　選擇正確步長 ……………………………………………………………………………………………………………90
8.5　綜合 …………………………………………………………………………………………………………………………91
8.6　隨機梯度下降法 ………………………………………………………………………………………………………..92
8.7　延伸學習 ………………………………………………………………………………………………………………….93
第9 章　獲取資料 ………………………………………………………………………………………………………………94
9.1　stdin 和stdout ……………………………………………………………………………………………………………94
9.2　讀取文件 ………………………………………………………………………………………………………………….96
9.2.1　文字檔基礎 ………………………………………………………………………………………………..96
9.2.2　限制的檔 ……………………………………………………………………………………………………97
9.3　網路抓取 ………………………………………………………………………………………………………………….99
9.3.1　HTML 和解析方法 …………………………………………………………………………………………99
9.3.2　案例：關於資料的O’Reilly 圖書 ………………………………………………………………….101
9.4　使用API ………………………………………………………………………………………………………………..105
9.4.1　JSON（和XML） ………………………………………………………………………………………….105
9.4.2　使用無驗證的API ………………………………………………………………………………………..106
9.4.3　尋找API ………………………………………………………………………………………………………107
viii ｜ 目錄
9.5　案例：使用Twitter API ……………………………………………………………………………………………108
9.6　延伸學習 ………………………………………………………………………………………………………………..111
第10 章　資料工作 ………………………………………………………………………………………………………….112
10.1　探索你的資料 ………………………………………………………………………………………………………..112
10.1.1　探索一維資料 ……………………………………………………………………………………………112
10.1.2　二維數據 …………………………………………………………………………………………………..114
10.1.3　多維數據 …………………………………………………………………………………………………..116
10.2　清理與修改 ……………………………………………………………………………………………………………117
10.3　資料處理 ……………………………………………………………………………………………………………….119
10.4　資料調整 ……………………………………………………………………………………………………………….122
10.5　降維 ……………………………………………………………………………………………………………………..123
10.6　延伸學習 ……………………………………………………………………………………………………………….129
第11 章　機器學習 ………………………………………………………………………………………………………….130
11.1　建模 ……………………………………………………………………………………………………………………..130
11.2　什麼是機器學習 …………………………………………………………………………………………………….131
11.3　過擬合和欠擬合 …………………………………………………………………………………………………….131
11.4　正確性 ………………………………………………………………………………………………………………….134
11.5　偏倚- 方差權衡 …………………………………………………………………………………………………….136
11.6　特徵提取和選擇 …………………………………………………………………………………………………….137
11.7　延伸學習 ……………………………………………………………………………………………………………….138
第12 章　k 近鄰法 …………………………………………………………………………………………………………..139
12.1　模型 ……………………………………………………………………………………………………………………..139
12.2　案例：最喜歡的程式設計語言 ………………………………………………………………………………………141
12.3　維數災難 ……………………………………………………………………………………………………………….146
12.4　延伸學習 ……………………………………………………………………………………………………………….151
第13 章　樸素貝葉斯演算法 ………………………………………………………………………………………………152
13.1　一個簡易的垃圾郵件篩檢程式 …………………………………………………………………………………..152
13.2　一個複雜的垃圾郵件篩檢程式 …………………………………………………………………………………..153
13.3　演算法的實現 ……………………………………………………………………………………………………………154
13.4　測試模型 ……………………………………………………………………………………………………………….156
13.5　延伸學習 ……………………………………………………………………………………………………………….158
第14 章　簡單線性回歸 ………………………………………………………………………………………………….159
14.1　模型 ……………………………………………………………………………………………………………………..159
14.2　利用梯度下降法 …………………………………………………………………………………………………….162
14.3　最大似然估計 ………………………………………………………………………………………………………..162
14.4　延伸學習 ……………………………………………………………………………………………………………….163
目錄 ｜ ix
第15 章　多重回歸分析 ………………………………………………………………………………………………….164
15.1　模型 ……………………………………………………………………………………………………………………..164
15.2　最小二乘模型的進一步假設 …………………………………………………………………………………..165
15.3　擬合模型 ……………………………………………………………………………………………………………….166
15.4　解釋模型 ……………………………………………………………………………………………………………….167
15.5　擬合優度 ……………………………………………………………………………………………………………….167
15.6　題外話：Bootstrap　 ……………………………………………………………………………………………..168
15.7　回歸係數的標準誤差 ……………………………………………………………………………………………..169
15.8　正則化 ………………………………………………………………………………………………………………….170
15.9　延伸學習 ……………………………………………………………………………………………………………….172
第16 章　邏輯回歸 ………………………………………………………………………………………………………….173
16.1　問題 ……………………………………………………………………………………………………………………..173
16.2　Logistic 函數 ………………………………………………………………………………………………………….176
16.3　應用模型 ……………………………………………………………………………………………………………….178
16.4　擬合優度 ……………………………………………………………………………………………………………….179
16.5　支持向量機 ……………………………………………………………………………………………………………180
16.6　延伸學習 ……………………………………………………………………………………………………………….184
第17 章　決策樹 ………………………………………………………………………………………………………………185
17.1　什麼是決策樹 ………………………………………………………………………………………………………..185
17.2　熵 …………………………………………………………………………………………………………………………187
17.3　分割之熵 ……………………………………………………………………………………………………………….189
17.4　創建決策樹 ……………………………………………………………………………………………………………190
17.5　綜合運用 ……………………………………………………………………………………………………………….192
17.6　隨機森林 ……………………………………………………………………………………………………………….194
17.7　延伸學習 ……………………………………………………………………………………………………………….195
第18 章　神經網路 ………………………………………………………………………………………………………….196
18.1　感知器 ………………………………………………………………………………………………………………….196
18.2　前饋神經網路 ………………………………………………………………………………………………………..198
18.3　反向傳播 ……………………………………………………………………………………………………………….201
18.4　實例：戰勝CAPTCHA ………………………………………………………………………………………….202
18.5　延伸學習 ……………………………………………………………………………………………………………….206
第19 章　聚類分析 ………………………………………………………………………………………………………….208
19.1　原理 ……………………………………………………………………………………………………………………..208
19.2　模型 ……………………………………………………………………………………………………………………..209
19.3　示例：聚會 ……………………………………………………………………………………………………………210
19.4　選擇聚類數目k ……………………………………………………………………………………………………..213
x ｜ 目錄
19.5　示例：對色彩進行聚類 ………………………………………………………………………………………….214
19.6　自下而上的分層聚類 ……………………………………………………………………………………………..216
19.7　延伸學習 ……………………………………………………………………………………………………………….221
第20 章　自然語言處理 ………………………………………………………………………………………………….222
20.1　詞雲 ……………………………………………………………………………………………………………………..222
20.2　n-grams 模型　 ………………………………………………………………………………………………………224
20.3　語法 ……………………………………………………………………………………………………………………..227
20.4　題外話：吉布斯採樣 ……………………………………………………………………………………………..229
20.5　主題建模 ……………………………………………………………………………………………………………….231
20.6　延伸學習 ……………………………………………………………………………………………………………….236
第21 章　網路分析 ………………………………………………………………………………………………………….237
21.1　仲介中心度 ……………………………………………………………………………………………………………237
21.2　特徵向量中心度 …………………………………………………………………………………………………….242
21.2.1　矩陣乘法 …………………………………………………………………………………………………..242
21.2.2　中心度 ………………………………………………………………………………………………………244
21.3　有向圖與PageRank ………………………………………………………………………………………………..246
21.4　延伸學習 ……………………………………………………………………………………………………………….248
第22 章　推薦系統 ………………………………………………………………………………………………………….249
22.1　手工甄篩 ……………………………………………………………………………………………………………….250
22.2　推薦流行事物 ………………………………………………………………………………………………………..250
22.3　基於用戶的協同過濾方法 ………………………………………………………………………………………251
22.4　基於物品的協同過濾演算法 ………………………………………………………………………………………254
22.5　延伸學習 ……………………………………………………………………………………………………………….256
第23 章　資料庫與SQL …………………………………………………………………………………………………257
23.1　CREATE TABLE 與INSERT …………………………………………………………………………………………257
23.2　UPDATE ………………………………………………………………………………………………………………….259
23.3　DELETE ………………………………………………………………………………………………………………….260
23.4　SELECT ………………………………………………………………………………………………………………….260
23.5　GROUP BY ……………………………………………………………………………………………………………….262
23.6　ORDER BY ……………………………………………………………………………………………………………….264
23.7　JOIN ……………………………………………………………………………………………………………………..264
23.8　子查詢 ………………………………………………………………………………………………………………….267
23.9　索引 ……………………………………………………………………………………………………………………..267
23.10　查詢優化 ……………………………………………………………………………………………………………..268
23.11　NoSQL ……………………………………………………………………………………………………………….268
23.12　延伸學習 ……………………………………………………………………………………………………………..269
目錄 ｜ xi

前言 …………………………………………………………………………………………………………………………………….xiii
第1 章　导论 ……………………………………………………………………………………………………………………….1
1.1　数据的威力 ………………………………………………………………………………………………………………..1
1.2　什么是数据科学 ………………………………………………………………………………………………………….1
1.3　激励假设：DataSciencester ………………………………………………………………………………………….2
1.3.1　寻找关键联系人 ………………………………………………………………………………………………3
1.3.2　你可能知道的数据科学家 ………………………………………………………………………………..5
1.3.3　工资与工作年限 ………………………………………………………………………………………………8
1.3.4　付费账户 ……………………………………………………………………………………………………….10
1.3.5　兴趣主题 ……………………………………………………………………………………………………….11
1.4　展望 …………………………………………………………………………………………………………………………12
第2 章　Python 速成 …………………………………………………………………………………………………………13
2.1　基础内容 ………………………………………………………………………………………………………………….13
2.1.1　Python 获取 ……………………………………………………………………………………………………13
2.1.2　Python 之禅 ……………………………………………………………………………………………………14
2.1.3　空白形式 ……………………………………………………………………………………………………….14
2.1.4　模块 ………………………………………………………………………………………………………………15
2.1.5　算法 ………………………………………………………………………………………………………………16
2.1.6　函数 ………………………………………………………………………………………………………………16
2.1.7　字符串 …………………………………………………………………………………………………………..17
2.1.8　异常 ………………………………………………………………………………………………………………18
2.1.9　列表 ………………………………………………………………………………………………………………18
2.1.10　元组 …………………………………………………………………………………………………………….19
vi ｜ 目录
2.1.11　字典 ……………………………………………………………………………………………………………..20
2.1.12　集合 …………………………………………………………………………………………………………….22
2.1.13　控制流 …………………………………………………………………………………………………………23
2.1.14　真和假 …………………………………………………………………………………………………………24
2.2　进阶内容 ………………………………………………………………………………………………………………….25
2.2.1　排序 ………………………………………………………………………………………………………………25
2.2.2　列表解析 ……………………………………………………………………………………………………….25
2.2.3　生成器和迭代器 …………………………………………………………………………………………….26
2.2.4　随机性 …………………………………………………………………………………………………………..27
2.2.5　正则表达式 ……………………………………………………………………………………………………28
2.2.6　面向对象的编程 …………………………………………………………………………………………….28
2.2.7　函数式工具 ……………………………………………………………………………………………………29
2.2.8　枚举 ………………………………………………………………………………………………………………31
2.2.9　压缩和参数拆分 …………………………………………………………………………………………….31
2.2.10　args 和kwargs ……………………………………………………………………………………………..32
2.2.11　欢迎来到DataSciencester ………………………………………………………………………………33
2.3　延伸学习 ………………………………………………………………………………………………………………….33
第3 章　可视化数据 ………………………………………………………………………………………………………….34
3.1　matplotlib ……………………………………………………………………………………………………………….34
3.2　条形图 ……………………………………………………………………………………………………………………..36
3.3　线图 …………………………………………………………………………………………………………………………40
3.4　散点图 ……………………………………………………………………………………………………………………..41
3.5　延伸学习 ………………………………………………………………………………………………………………….44
第4 章　线性代数 ………………………………………………………………………………………………………………45
4.1　向量 …………………………………………………………………………………………………………………………45
4.2　矩阵 …………………………………………………………………………………………………………………………49
4.3　延伸学习 ………………………………………………………………………………………………………………….51
第5 章　统计学 …………………………………………………………………………………………………………………53
5.1　描述单个数据集 ………………………………………………………………………………………………………..53
5.1.1　中心倾向 ……………………………………………………………………………………………………….55
5.1.2　离散度 …………………………………………………………………………………………………………..56
5.2　相关 …………………………………………………………………………………………………………………………58
5.3　辛普森悖论 ……………………………………………………………………………………………………………….60
5.4　相关系数其他注意事项 ……………………………………………………………………………………………..61
5.5　相关和因果 ……………………………………………………………………………………………………………….62
5.6　延伸学习 ………………………………………………………………………………………………………………….63
目录 ｜ vii
第6 章　概率 ……………………………………………………………………………………………………………………..64
6.1　不独立和独立 ……………………………………………………………………………………………………………64
6.2　条件概率 ………………………………………………………………………………………………………………….65
6.3　贝叶斯定理 ……………………………………………………………………………………………………………….66
6.4　随机变量 ………………………………………………………………………………………………………………….68
6.5　连续分布 ………………………………………………………………………………………………………………….68
6.6　正态分布 ………………………………………………………………………………………………………………….69
6.7　中心极限定理 ……………………………………………………………………………………………………………72
6.8　延伸学习 ………………………………………………………………………………………………………………….74
第7 章　假设与推断 ………………………………………………………………………………………………………….75
7.1　统计假设检验 ……………………………………………………………………………………………………………75
7.2　案例：掷硬币 ……………………………………………………………………………………………………………75
7.3　置信区间 ………………………………………………………………………………………………………………….79
7.4　P-hacking ………………………………………………………………………………………………………………….80
7.5　案例：运行A/B 测试 ………………………………………………………………………………………………..81
7.6　贝叶斯推断 ……………………………………………………………………………………………………………….82
7.7　延伸学习 ………………………………………………………………………………………………………………….85
第8 章　梯度下降 ………………………………………………………………………………………………………………86
8.1　梯度下降的思想 ………………………………………………………………………………………………………..86
8.2　估算梯度 ………………………………………………………………………………………………………………….87
8.3　使用梯度 ………………………………………………………………………………………………………………….90
8.4　选择正确步长 ……………………………………………………………………………………………………………90
8.5　综合 …………………………………………………………………………………………………………………………91
8.6　随机梯度下降法 ………………………………………………………………………………………………………..92
8.7　延伸学习 ………………………………………………………………………………………………………………….93
第9 章　获取数据 ………………………………………………………………………………………………………………94
9.1　stdin 和stdout ……………………………………………………………………………………………………………94
9.2　读取文件 ………………………………………………………………………………………………………………….96
9.2.1　文本文件基础 ………………………………………………………………………………………………..96
9.2.2　限制的文件 ……………………………………………………………………………………………………97
9.3　网络抓取 ………………………………………………………………………………………………………………….99
9.3.1　HTML 和解析方法 …………………………………………………………………………………………99
9.3.2　案例：关于数据的O’Reilly 图书 ………………………………………………………………….101
9.4　使用API ………………………………………………………………………………………………………………..105
9.4.1　JSON（和XML） ………………………………………………………………………………………….105
9.4.2　使用无验证的API ………………………………………………………………………………………..106
9.4.3　寻找API ………………………………………………………………………………………………………107
viii ｜ 目录
9.5　案例：使用Twitter API ……………………………………………………………………………………………108
9.6　延伸学习 ………………………………………………………………………………………………………………..111
第10 章　数据工作 ………………………………………………………………………………………………………….112
10.1　探索你的数据 ………………………………………………………………………………………………………..112
10.1.1　探索一维数据 ……………………………………………………………………………………………112
10.1.2　二维数据 …………………………………………………………………………………………………..114
10.1.3　多维数据 …………………………………………………………………………………………………..116
10.2　清理与修改 ……………………………………………………………………………………………………………117
10.3　数据处理 ……………………………………………………………………………………………………………….119
10.4　数据调整 ……………………………………………………………………………………………………………….122
10.5　降维 ……………………………………………………………………………………………………………………..123
10.6　延伸学习 ……………………………………………………………………………………………………………….129
第11 章　机器学习 ………………………………………………………………………………………………………….130
11.1　建模 ……………………………………………………………………………………………………………………..130
11.2　什么是机器学习 …………………………………………………………………………………………………….131
11.3　过拟合和欠拟合 …………………………………………………………………………………………………….131
11.4　正确性 ………………………………………………………………………………………………………………….134
11.5　偏倚- 方差权衡 …………………………………………………………………………………………………….136
11.6　特征提取和选择 …………………………………………………………………………………………………….137
11.7　延伸学习 ……………………………………………………………………………………………………………….138
第12 章　k 近邻法 …………………………………………………………………………………………………………..139
12.1　模型 ……………………………………………………………………………………………………………………..139
12.2　案例：最喜欢的编程语言 ………………………………………………………………………………………141
12.3　维数灾难 ……………………………………………………………………………………………………………….146
12.4　延伸学习 ……………………………………………………………………………………………………………….151
第13 章　朴素贝叶斯算法 ………………………………………………………………………………………………152
13.1　一个简易的垃圾邮件过滤器 …………………………………………………………………………………..152
13.2　一个复杂的垃圾邮件过滤器 …………………………………………………………………………………..153
13.3　算法的实现 ……………………………………………………………………………………………………………154
13.4　测试模型 ……………………………………………………………………………………………………………….156
13.5　延伸学习 ……………………………………………………………………………………………………………….158
第14 章　简单线性回归 ………………………………………………………………………………………………….159
14.1　模型 ……………………………………………………………………………………………………………………..159
14.2　利用梯度下降法 …………………………………………………………………………………………………….162
14.3　最大似然估计 ………………………………………………………………………………………………………..162
14.4　延伸学习 ……………………………………………………………………………………………………………….163
目录 ｜ ix
第15 章　多重回归分析 ………………………………………………………………………………………………….164
15.1　模型 ……………………………………………………………………………………………………………………..164
15.2　最小二乘模型的进一步假设 …………………………………………………………………………………..165
15.3　拟合模型 ……………………………………………………………………………………………………………….166
15.4　解释模型 ……………………………………………………………………………………………………………….167
15.5　拟合优度 ……………………………………………………………………………………………………………….167
15.6　题外话：Bootstrap　 ……………………………………………………………………………………………..168
15.7　回归系数的标准误差 ……………………………………………………………………………………………..169
15.8　正则化 ………………………………………………………………………………………………………………….170
15.9　延伸学习 ……………………………………………………………………………………………………………….172
第16 章　逻辑回归 ………………………………………………………………………………………………………….173
16.1　问题 ……………………………………………………………………………………………………………………..173
16.2　Logistic 函数 ………………………………………………………………………………………………………….176
16.3　应用模型 ……………………………………………………………………………………………………………….178
16.4　拟合优度 ……………………………………………………………………………………………………………….179
16.5　支持向量机 ……………………………………………………………………………………………………………180
16.6　延伸学习 ……………………………………………………………………………………………………………….184
第17 章　决策树 ………………………………………………………………………………………………………………185
17.1　什么是决策树 ………………………………………………………………………………………………………..185
17.2　熵 …………………………………………………………………………………………………………………………187
17.3　分割之熵 ……………………………………………………………………………………………………………….189
17.4　创建决策树 ……………………………………………………………………………………………………………190
17.5　综合运用 ……………………………………………………………………………………………………………….192
17.6　随机森林 ……………………………………………………………………………………………………………….194
17.7　延伸学习 ……………………………………………………………………………………………………………….195
第18 章　神经网络 ………………………………………………………………………………………………………….196
18.1　感知器 ………………………………………………………………………………………………………………….196
18.2　前馈神经网络 ………………………………………………………………………………………………………..198
18.3　反向传播 ……………………………………………………………………………………………………………….201
18.4　实例：战胜CAPTCHA ………………………………………………………………………………………….202
18.5　延伸学习 ……………………………………………………………………………………………………………….206
第19 章　聚类分析 ………………………………………………………………………………………………………….208
19.1　原理 ……………………………………………………………………………………………………………………..208
19.2　模型 ……………………………………………………………………………………………………………………..209
19.3　示例：聚会 ……………………………………………………………………………………………………………210
19.4　选择聚类数目k ……………………………………………………………………………………………………..213
x ｜ 目录
19.5　示例：对色彩进行聚类 ………………………………………………………………………………………….214
19.6　自下而上的分层聚类 ……………………………………………………………………………………………..216
19.7　延伸学习 ……………………………………………………………………………………………………………….221
第20 章　自然语言处理 ………………………………………………………………………………………………….222
20.1　词云 ……………………………………………………………………………………………………………………..222
20.2　n-grams 模型　 ………………………………………………………………………………………………………224
20.3　语法 ……………………………………………………………………………………………………………………..227
20.4　题外话：吉布斯采样 ……………………………………………………………………………………………..229
20.5　主题建模 ……………………………………………………………………………………………………………….231
20.6　延伸学习 ……………………………………………………………………………………………………………….236
第21 章　网络分析 ………………………………………………………………………………………………………….237
21.1　中介中心度 ……………………………………………………………………………………………………………237
21.2　特征向量中心度 …………………………………………………………………………………………………….242
21.2.1　矩阵乘法 …………………………………………………………………………………………………..242
21.2.2　中心度 ………………………………………………………………………………………………………244
21.3　有向图与PageRank ………………………………………………………………………………………………..246
21.4　延伸学习 ……………………………………………………………………………………………………………….248
第22 章　推荐系统 ………………………………………………………………………………………………………….249
22.1　手工甄筛 ……………………………………………………………………………………………………………….250
22.2　推荐流行事物 ………………………………………………………………………………………………………..250
22.3　基于用户的协同过滤方法 ………………………………………………………………………………………251
22.4　基于物品的协同过滤算法 ………………………………………………………………………………………254
22.5　延伸学习 ……………………………………………………………………………………………………………….256
第23 章　数据库与SQL …………………………………………………………………………………………………257
23.1　CREATE TABLE 与INSERT …………………………………………………………………………………………257
23.2　UPDATE ………………………………………………………………………………………………………………….259
23.3　DELETE ………………………………………………………………………………………………………………….260
23.4　SELECT ………………………………………………………………………………………………………………….260
23.5　GROUP BY ……………………………………………………………………………………………………………….262
23.6　ORDER BY ……………………………………………………………………………………………………………….264
23.7　JOIN ……………………………………………………………………………………………………………………..264
23.8　子查询 ………………………………………………………………………………………………………………….267
23.9　索引 ……………………………………………………………………………………………………………………..267
23.10　查询优化 ……………………………………………………………………………………………………………..268
23.11　NoSQL ……………………………………………………………………………………………………………….268
23.12　延伸学习 ……………………………………………………………………………………………………………..269
目录 ｜ xi