神經網絡與深度學習
作者：邱錫鵬
分類：科技
ISBN：9787111649687
出版時間：2020-4-10
出版社：機械工業出版社
標簽： 暫無
內容簡介
本書主要介紹神經網絡與深度學習中的基礎知識、主要模型（卷積神經網絡、遞歸神經網絡等）以及在計算機視覺、自然語言處理等領域的應用。
章節介紹
序
前言
常用符號表
第一部分 機器學習基礎
第1章 緒論3
1.1人工智能………………………….4
1.1.1人工智能的發展歷史………………..5
1.1.2人工智能的流派…………………..7
1.2機器學習………………………….7
1.3表示學習………………………….8
1.3.1局部表示和分佈式表示……………….9
1.3.2表示學習………………………11
1.4深度學習………………………….11
1.4.1端到端學習……………………..12
1.5神經網絡………………………….13
1.5.1人腦神經網絡……………………13
1.5.2人工神經網絡……………………14
1.5.3神經網絡的發展歷史………………..15
1.6本書的知識體系………………………17
1.7常用的深度學習框架…………………….18
1.8總結和深入閱讀………………………20
第2章 機器學習概述23
2.1基本概念………………………….24
2.2機器學習的三個基本要素………………….26
2.2.1模型…………………………26
2.2.2學習準則………………………27
2.2.3優化算法………………………30
2.3機器學習的簡單示例——線性回歸……………..33
2.3.1參數學習………………………34
2.4偏差-方差分解……………………….38
2.5機器學習算法的類型…………………….41
2.6數據的特征表示………………………43
2.6.1傳統的特征學習…………………..44
2.6.2深度學習方法……………………46
2.7評價指標………………………….46
2.8理論和定理…………………………49
2.8.1PAC學習理論……………………49
2.8.2沒有免費午餐定理………………….50
2.8.3奧卡姆剃刀原理…………………..50
2.8.4醜小鴨定理……………………..51
2.8.5歸納偏置………………………51
2.9總結和深入閱讀………………………51
第3章 線性模型
3.1線性判別函數和決策邊界………………….56
3.1.1二分類……………………….56
3.1.2多分類……………………….58
3.2Logistic回歸………………………..59
3.2.1參數學習………………………60
3.3Softmax回歸………………………..61
3.3.1參數學習………………………62
3.4感知器……………………………64
3.4.1參數學習………………………64
3.4.2感知器的收斂性…………………..66
3.4.3參數平均感知器…………………..67
3.4.4擴展到多分類……………………69
3.5支持向量機…………………………71
3.5.1參數學習………………………73
3.5.2核函數……………………….74
3.5.3軟間隔……………………….74
3.6損失函數對比………………………..75
3.7總結和深入閱讀………………………76
第二部分 基礎模型
第4章 前饋神經網絡81
4.1神經元……………………………82
4.1.1Sigmoid型函數…………………..83
4.1.2ReLU函數……………………..86
4.1.3Swish函數……………………..88
4.1.4GELU函數……………………..89
4.1.5Maxout單元…………………….89
4.2網絡結構………………………….90
4.2.1前饋網絡………………………90
4.2.2記憶網絡………………………90
4.2.3圖網絡……………………….90
4.3前饋神經網絡………………………..91
4.3.1通用近似定理……………………93
4.3.2應用到機器學習…………………..94
4.3.3參數學習………………………95
4.4反向傳播算法………………………..95
4.5自動梯度計算………………………..98
4.5.1數值微分………………………99
4.5.2符號微分………………………99
4.5.3自動微分………………………100
4.6優化問題………………………….103
4.6.1非凸優化問題……………………103
4.6.2梯度消失問題……………………104
4.7總結和深入閱讀………………………104
第5章 卷積神經網絡109
5.1卷積…………………………….110
5.1.1卷積的定義……………………..110
5.1.2互相關……………………….112
5.1.3卷積的變種……………………..113
5.1.4卷積的數學性質…………………..114
5.2卷積神經網絡………………………..115
5.2.1用卷積來代替全連接………………..115
5.2.2卷積層……………………….116
5.2.3匯聚層……………………….118
5.2.4卷積網絡的整體結構………………..119
5.3參數學習………………………….120
5.3.1卷積神經網絡的反向傳播算法……………120
5.4幾種典型的卷積神經網絡………………….121
5.4.1LeNet-5……………………….122
5.4.2AlexNet………………………123
5.4.3Inception網絡……………………125
5.4.4殘差網絡………………………126
5.5其他卷積方式………………………..127
5.5.1轉置卷積………………………127
5.5.2空洞卷積………………………129
5.6總結和深入閱讀………………………130
第6章 循環神經網絡133
6.1給網絡增加記憶能力…………………….134
6.1.1延時神經網絡……………………134
6.1.2有外部輸入的非線性自回歸模型…………..134
6.1.3循環神經網絡……………………135
6.2簡單循環網絡………………………..135
6.2.1循環神經網絡的計算能力………………136
6.3應用到機器學習………………………138
6.3.1序列到類別模式…………………..138
6.3.2同步的序列到序列模式……………….139
6.3.3異步的序列到序列模式……………….139
6.4參數學習………………………….140
6.4.1隨時間反向傳播算法………………..141
6.4.2實時循環學習算法………………….142
6.5長程依賴問題………………………..143
6.5.1改進方案………………………144
6.6基於門控的循環神經網絡………………….145
6.6.1長短期記憶網絡…………………..145
6.6.2LSTM網絡的各種變體……………….147
6.6.3門控循環單元網絡………………….148
6.7深層循環神經網絡……………………..149
6.7.1堆疊循環神經網絡………………….150
6.7.2雙向循環神經網絡………………….150
6.8擴展到圖結構………………………..151
6.8.1遞歸神經網絡……………………151
6.8.2圖神經網絡……………………..152
6.9總結和深入閱讀………………………153
第7章 網絡優化與正則化157
7.1網絡優化………………………….157
7.1.1網絡結構多樣性…………………..158
7.1.2高維變量的非凸優化………………..158
7.1.3神經網絡優化的改善方法………………160
7.2優化算法………………………….160
7.2.1小批量梯度下降…………………..160
7.2.2批量大小選擇……………………161
7.2.3學習率調整……………………..162
7.2.4梯度估計修正……………………167
7.2.5優化算法小結……………………170
7.3參數初始化…………………………171
7.3.1基於固定方差的參數初始化……………..172
7.3.2基於方差縮放的參數初始化……………..173
7.3.3正交初始化……………………..175
7.4數據預處理…………………………176
7.5逐層歸一化…………………………178
7.5.1批量歸一化……………………..179
7.5.2層歸一化………………………181
7.5.3權重歸一化……………………..182
7.5.4局部響應歸一化…………………..182
7.6超參數優化…………………………183
7.6.1網格搜索………………………183
7.6.2隨機搜索………………………184
7.6.3貝葉斯優化……………………..184
7.6.4動態資源分配……………………185
7.6.5神經架構搜索……………………186
7.7網絡正則化…………………………186
7.7.1?1和?2正則化……………………187
7.7.2權重衰減………………………188
7.7.3提前停止………………………188
7.7.4丟棄法……………………….189
7.7.5數據增強………………………191
7.7.6標簽平滑………………………191
7.8總結和深入閱讀………………………192
第8章 註意力機制與外部記憶197
8.1認知神經學中的註意力…………………..198
8.2註意力機制…………………………199
8.2.1註意力機制的變體………………….201
8.3自註意力模型………………………..203
8.4人腦中的記憶………………………..205
8.5記憶增強神經網絡……………………..207
8.5.1端到端記憶網絡…………………..208
8.5.2神經圖靈機……………………..210
8.6基於神經動力學的聯想記憶…………………211
8.6.1Hopfiel網絡……………………212
8.6.2使用聯想記憶增加網絡容量……………..215
8.7總結和深入閱讀………………………215
第9章 無監督學習219
9.1無監督特征學習………………………220
9.1.1主成分分析……………………..220
9.1.2稀疏編碼………………………222
9.1.3自編碼器………………………224
9.1.4稀疏自編碼器……………………225
9.1.5堆疊自編碼器……………………226
9.1.6降噪自編碼器……………………226
9.2概率密度估計………………………..227
9.2.1參數密度估計……………………227
9.2.2非參數密度估計…………………..229
9.3總結和深入閱讀………………………232
第10章 模型獨立的學習方式235
10.1集成學習………………………….235
10.1.1AdaBoost算法……………………237
10.2自訓練和協同訓練……………………..240
10.2.1自訓練……………………….240
10.2.2協同訓練………………………240
10.3多任務學習…………………………242
10.4遷移學習………………………….245
10.4.1歸納遷移學習……………………246
10.4.2轉導遷移學習……………………247
10.5終身學習………………………….249
10.6元學習……………………………252
10.6.1基於優化器的元學習………………..253
10.6.2模型無關的元學習………………….254
10.7總結和深入閱讀………………………255
第三部分 進階模型
第11章 概率圖模型261
11.1模型表示………………………….262
11.1.1有向圖模型……………………..263
11.1.2常見的有向圖模型………………….264
11.1.3無向圖模型……………………..267
11.1.4無向圖模型的概率分解……………….267
11.1.5常見的無向圖模型………………….269
11.1.6有向圖和無向圖之間的轉換……………..270
11.2學習…………………………….271
11.2.1不含隱變量的參數估計……………….271
11.2.2含隱變量的參數估計………………..273
11.3推斷…………………………….279
11.3.1精確推斷………………………279
11.3.2近似推斷………………………282
11.4變分推斷………………………….283
11.5基於采樣法的近似推斷…………………..285
11.5.1采樣法……………………….285
11.5.2拒絕采樣………………………287
11.5.3重要性采樣……………………..288
11.5.4馬爾可夫鏈蒙特卡羅方法………………289
11.6總結和深入閱讀………………………292
第12章 深度信念網絡297
12.1玻爾茲曼機…………………………297
12.1.1生成模型………………………299
12.1.2能量最小化與模擬退火……………….301
12.1.3參數學習………………………302
12.2受限玻爾茲曼機………………………304
12.2.1生成模型………………………305
12.2.2參數學習………………………307
12.2.3受限玻爾茲曼機的類型……………….308
12.3深度信念網絡………………………..309
12.3.1生成模型………………………310
12.3.2參數學習………………………310
12.4總結和深入閱讀………………………313
第13章 深度生成模型317
13.1概率生成模型………………………..318
13.1.1密度估計………………………318
13.1.2生成樣本………………………319
13.1.3應用於監督學習…………………..319
13.2變分自編碼器………………………..319
13.2.1含隱變量的生成模型………………..319
13.2.2推斷網絡………………………321
13.2.3生成網絡………………………323
13.2.4模型匯總………………………323
13.2.5再參數化………………………325
13.2.6訓練…………………………325
13.3生成對抗網絡………………………..327
13.3.1顯式密度模型和隱式密度模型……………327
13.3.2網絡分解………………………327
13.3.3訓練…………………………329
13.3.4一個生成對抗網絡的具體實現：DCGAN……….330
13.3.5模型分析………………………330
13.3.6改進模型………………………333
13.4總結和深入閱讀………………………336
第14章 深度強化學習339
14.1強化學習問題………………………..340
14.1.1典型例子………………………340
14.1.2強化學習定義……………………340
14.1.3馬爾可夫決策過程………………….341
14.1.4強化學習的目標函數………………..343
14.1.5值函數……………………….344
14.1.6深度強化學習……………………345
14.2基於值函數的學習方法…………………..346
14.2.1動態規劃算法……………………346
14.2.2蒙特卡羅方法……………………349
14.2.3時序差分學習方法………………….350
14.2.4深度Q網絡……………………..353
14.3基於策略函數的學習方法………………….354
14.3.1REINFORCE算法………………….356
14.3.2帶基準線的REINFORCE算法……………356
14.4演員-評論員算法………………………358
14.5總結和深入閱讀………………………360
第15章 序列生成模型365
15.1序列概率模型………………………..366
15.1.1序列生成………………………367
15.2N元統計模型………………………..368
15.3深度序列模型………………………..370
15.3.1模型結構………………………370
15.3.2參數學習………………………373
15.4評價方法………………………….373
15.4.1困惑度……………………….373
15.4.2BLEU算法……………………..374
15.4.3ROUGE算法…………………….375
15.5序列生成模型中的學習問題…………………375
15.5.1曝光偏差問題……………………376
15.5.2訓練目標不一致問題………………..377
15.5.3計算效率問題……………………377
15.6序列到序列模型………………………385
15.6.1基於循環神經網絡的序列到序列模型………..386
15.6.2基於註意力的序列到序列模型……………387
15.6.3基於自註意力的序列到序列模型…………..388
15.7總結和深入閱讀………………………390
附錄數學基礎 393
附錄A 線性代數 394
附錄B 微積分 404
附錄C 數學優化 413
附錄D 概率論 420
附錄E 信息論 433
索引 439
網盤地址：
書友評論
- massquantity的評論 是我添加的條目哈哈，講真我覺得這本比《Deep Learning》好，不知是不是作者是中國人的緣故2333
- 歐拉的貓的評論 國內機器學習入門書推薦:邱錫鵬>李航>周志華
- 陸仁以的評論 高校教師往往有出書的指標，安排學生抄抄英文書籍完成任務似乎已然常態。相比之下，作者出這本書十分地良心。
- 小白小白的評論 很好的書，對深度學習的理解受益匪淺
- 江霰的評論 這本書文字簡練流暢，舉例經典恰當，但是公式推導簡直是災難！關鍵地方跳步，瑣碎地方詳細，重要變量（符號）沒有解釋，重要矩陣尤其是高維矩陣不註明尺寸（size），上標下標混亂……所以作者真的想讓人搞明白一些內容嗎? 李沐與Goodfellow的書是深度學習的首選。
- mailtozou的評論 實在看不懂，不明覺厲。說這本書是入門書籍的，你們的門檻也太高瞭。
- 折耳弄青鳶的評論 此書似乎本來就是由邱老師給研究生上深度學習課程的教案資料整理擴充而來，因而有些內容確實不夠深入詳細。應該適合作為初入門時的參考和系統學習之後的總結回顧。
- 呆呢鹿夢遊中的評論 認真寫書的教授都是好老師！
- 黑椒的評論 最好的深度學習自學教程，之前在網站看過電子版，支持正版！
- 通往盛夏的評論 居然在豆瓣上都有這種未出版的書籍！滿分奉上！另外這個ISBN是哪裡來的……
- everfight的評論 書是上課教材拓展而來，符合瞭少量機器學習+深入的深度學習介紹的模式，整體結構很不錯。可以先挑自己需要的部分看。很多吐槽說入門有難度，其實沒必要一下子全看懂。可以先過一遍結構，瞭解基礎的概念。然後再結合網絡上的博文對照教材進行研讀。最後一步可以再考慮深究數學公式和課後習題的推導。當然具體的工作，還是需要代碼的訓練，這部分需要額外尋找相關材料。
- wiz的評論 看的是網上開源的pdf版本，真乃國人良心技術書，尤其是在ML這個大染缸裡顯得相當出眾。從ML基礎開始，到最常見的CNN、RNN和網絡優化，再到一些進階的網絡模型，結構異常清晰，而且細節詳盡但不拖泥帶水，隨便翻開一章細讀都有一定收獲。個人覺得比周志華和李航的兩本要經典一些，值得多讀幾遍。
- 峰池的評論 這本書也太好瞭吧！清晰的數學語言描述方法的核心原理，兼具準確與深度，重要的是非常新！基本18年之前的主要方法和論文都有涉及到！目前看到的深度學習方面最好的教科書
- Ginger的評論 很典型的國內教材
- 西瓜霜含片的評論 目前讀完一半，書對深度學習理論知識講解，歸納總結很到位，看完對DL理解更深刻瞭。國內深度學習難得的好書，幹貨滿滿。書中圖畫的真好，未來出版的話希望能出彩印版。有些地方直接看書理解還是比較吃力。
- 徐言的評論 入學的時候邱老師就在寫這本書，現在終於出版瞭~
- 稀釋象牙白的評論 牛逼！(破音——谷歌牛逼！TensorFlow牛逼！入學瞭，不知還能否再續前緣？
- iphyer的評論 真是一本好書，寫得清楚明白，提綱挈領，深度學習裡面枝枝蔓蔓的各個角落都提到，而且很好的指出重點，需要學習的部分。這本書居然還在網上開源，你都可以看到，不愧是復旦的老師，大贊！
- Rick的評論 很早之前讀的. 數學推導清楚, 這點好評
- 喜努比的評論 很好，很詳細，對卷積神經網絡介紹的很具體，對我寫論文的幫助甚至比知網論文上的cnn還大