機器學習相關知識列表
機器學習相關知識列表
資料來源: https://mp.weixin.qq.com/s/1u08xrMJHprECpvzH-Kllw
第一課：機器學習的數學基礎
1. 機器學習的數學基礎
a. 函數與數據的泛化
b. 推理與歸納 (Deduction and Induction)
2. 線性代數（Linear Algebra）
a. 向量與矩陣 (Vector and Matrix)
b. 特徵值與特徵向量
c. 向量與高維空間
d. 特徵向量（Feature Vector）
3. 概率與統計（Probability and Statistics）
a. 條件概率與經典問題 (Conditional Probability)
b. 邊緣概率 (Marginal Probability)
4. 作業/實踐： 財寶問題的概率計算程序
第二課：機器學習的數學基礎
1. 統計推理（Statistical Inference）
a. 貝葉斯原理與推理 (Bayesian Theorem)
b. 極大似然估計 (Maximum Likelihood)
c. 主觀概率（Subjective Probability）
d. 最大后延概率（MAP)
2. 隨機變量（Random Variable）
a. 獨立與相關 (Independence)
b. 均值與方差 （Mean and Variance）
c. 協方差 (Co-Variance)
3. 概率分布（Probability Distributions)
4. 中心極限定理（Central Limit Theorem)
5. 作業/實踐： 概率分布釆樣與不同隨機變量之間協方差計算
第三課：機器學習的數學基礎
1. 梯度下降（Gradient Descent）
a. 導數與梯度（Derivative and Gradient）
b. 隨機梯度下降（SGD）
c. 牛頓方法（Newton’s Method)
2. 凸函數（Convex Function）
a. Jensen不等式（Jensen’s Inequality）
b. 拉格朗日乘子（Lagrange Multiplier）
3. 作業/實踐： 利用牛頓方法求解給定的方程
第四課：機器學習的哲學（Philosophy of ML）
1. 算法的科學（Science of Algorithms）
a. 輸入與輸出的神話（Mystery of I/O）
b. 奧卡姆剃刀（Occam’s Razor）
2. 維數的詛咒（Curse of Dimensionality）
a. 高維的几何特性 (Geometric Properity )
b. 高維空間流形（High-dimensional Manifold）
3. 機器學習與人工智能（Machine learning and AI）
4. 機器學習的范式（Paradigms of ML）
第五課：經典機器學習模型（Classical ML Models）
1. 樣本學習（Case-Based Reasoning）
a. K-近鄰（K-Nearest Neighbors）
b. K-近鄰預測（KNN for Prediction）
c. 距離與測度（Distance and Metric）
2. 朴素貝葉斯（Naïve Bayes Classifier)
a. 條件獨立（Conditional Independence）
b. 分類（Naive Bayes for Classification)
3. 作業/實踐：垃圾郵件分類的案例
第六課：經典機器學習模型（Classical ML Models）
1. 決策樹（Decision Tree Learning）
a. 信息論與概率
b. 信息熵（Information Entropy）
c. ID3
2. 預測樹（CART）
a. Gini指標（Gini Index）
b. 決策樹與規則（DT and Rule Learning）
3. 作業/實踐：決策樹分類實驗
第七課：經典機器學習模型（Classical ML Models）
1. 集成學習（Ensemble learning）
a. Bagging and Boosting
b. AdaBoost
c. 誤差分解（Bias-Variance Decomposition）
d. 隨機森林（Boosting and Random Forest）
2. 模型評估（Model Evaluation）
a. 交叉驗證（Cross-Validation）
b. ROC (Receiver Operating Characteristics)
c. Cost-Sensitive Learning
3. 作業/實踐：隨機森林與決策樹分類實驗的比較
第八課：線性模型（Linear Models）
1. 線性模型（Linear Models）
a. 線性擬合（Linear Regression）
2. 最小二乘法（LMS）
b. 線性分類器（Linear Classifier）
3. 感知器（Perceptron）
4. 對數几率回歸（Logistic Regression）
5. 線性模型的概率解釋 (Probabilistic Interpretation)
6. 作業/實踐：對數几率回歸的文本情感分析中應用
第九課：線性模型（Linear Models）
1. 線性判別分析 (Linear Discrimination Analysis)
2. 約束線性模型 (Linear Model with Regularization)
a. LASSO
b. Ridge Regression
3. 稀疏表示與字典學習
a. Sparse Representation & Coding
b. Dictionary Learning
第十課：核方法（Kernel Methods）
1. 支持向量機SVM（Support Vector Machines）
a. VC-維（VC-Dimension）
b. 最大間距（Maximum Margin）
c. 支撐向量（Support Vectors）
2. 作業/實踐：SVM不同核函數在實際分類中比較
第十一課：核方法（Kernel Methods）
1. 對偶拉格朗日乘子
2. KKT條件（KKT Conditions）
3. Support Vector Regression (SVR)
4. 核方法（Kernel Methods）
第十二課：統計學習（Statistical Learning）
1. 判別模型與生成模型
a. 隱含變量（Latent Variable）
2. 混合模型（Mixture Model）
a. 三枚硬幣問題（3-Coin Problem）
b. 高斯混合模型（Gaussian Mixture Model）
3. EM算法（Expectation Maximization）
a. 期望最大（Expectation Maximization）
b. 混合模型的EM算法（EM for Mixture Models）
c. Jensen 不等式 (Jensen’s Inequality)
d. EM算法推導與性能 (EM Algorithm)
第十三課：統計學習（Statistical Learning）
1. 隱馬可夫模型（Hidden Markov Models）
a. 動態混合模型（Dynamic Mixture Model）
b. 維特比算法（Viterbi Algorithm）
c. 算法推導 (Algorithm)
2. 條件隨機場（Conditional Random Field）
第十四課：統計學習（Statistical Learning）
1. 層次圖模型（Hierarchical Bayesian Model）
a. 概率圖模型 (Graphical Model)
b. 從隱含語義模型到p-LSA (From LSA to P-LSA)
c. Dirichlet 分布與特點（Dirichlet Distribution）
d. 對偶分布（Conjugate Distribution）
第十五課：統計學習（Statistical Learning）
1. 主題模型（Topic Model – LDA）
a. Latent Dirichlet Allocation
b. 文本分類（LDA for Text Classification）
2. 中文主題模型（Topic Modeling for Chinese）
3. 其他主題模型（Other Topic Variables）
第十六課：無監督學習（Unsupervised Learning）
1. K-均值算法（K-Means）
a. 核密度估計（Kernel Density Estimation）
b. 層次聚類（Hierarchical Clustering）
2. 蒙特卡洛(Monte Carlo)
a. 蒙特卡洛樹搜索（Monte Carol Tree Search）
b. MCMC（Markov Chain Monte Carlo）
c. Gibbs Sampling
第十七課：流形學習（Manifold Learning）
1. 主成分分析（PCA）
a. PCA and ICA
2. 低維嵌入（Low-Dimensional Embedding）
a. 等度量映射（Isomap）
b. 局部線性嵌入（Locally Linear Embedding）
第十八課：概念學習（Concept Learning）
1. 概念學習（Concept Learning）
a. 經典概念學習
b. One-Short概念學習
2. 高斯過程學習（Gaussian Process for ML）
c. Dirichlet Process
第十九課：強化學習（Reinforcement Learning）
1. 獎賞與懲罰（Reward and Penalty）
a. 狀態空間 (State-Space Model)
b. Q-學習算法 (Q-Learning)
2. 路徑規划 （Path Planning）
3. 游戲人工智能 （Game AI）
4. 作業/實踐：小鳥飛行游戲的自動學習算法
第二十課：神經網絡
1. 多層神經網絡
a. 非線性映射（Nonlinear Mapping）
b. 反向傳播（Back-propagation）
2. 自動編碼器（Auto-Encoder）
——————————–
第一课：机器学习的数学基础
1. 机器学习的数学基础
a. 函数与数据的泛化
b. 推理与归纳 (Deduction and Induction)
2. 线性代数（Linear Algebra）
a. 向量与矩阵 (Vector and Matrix)
b. 特征值与特征向量
c. 向量与高维空间
d. 特征向量（Feature Vector）
3. 概率与统计（Probability and Statistics）
a. 条件概率与经典问题 (Conditional Probability)
b. 边缘概率 (Marginal Probability)
4. 作业/实践： 财宝问题的概率计算程序
第二课：机器学习的数学基础
1. 统计推理（Statistical Inference）
a. 贝叶斯原理与推理 (Bayesian Theorem)
b. 极大似然估计 (Maximum Likelihood)
c. 主观概率（Subjective Probability）
d. 最大后延概率（MAP)
2. 随机变量（Random Variable）
a. 独立与相关 (Independence)
b. 均值与方差 （Mean and Variance）
c. 协方差 (Co-Variance)
3. 概率分布（Probability Distributions)
4. 中心极限定理（Central Limit Theorem)
5. 作业/实践： 概率分布采样与不同随机变量之间协方差计算
第三课：机器学习的数学基础
1. 梯度下降（Gradient Descent）
a. 导数与梯度（Derivative and Gradient）
b. 随机梯度下降（SGD）
c. 牛顿方法（Newton’s Method)
2. 凸函数（Convex Function）
a. Jensen不等式（Jensen’s Inequality）
b. 拉格朗日乘子（Lagrange Multiplier）
3. 作业/实践： 利用牛顿方法求解给定的方程
第四课：机器学习的哲学（Philosophy of ML）
1. 算法的科学（Science of Algorithms）
a. 输入与输出的神话（Mystery of I/O）
b. 奥卡姆剃刀（Occam’s Razor）
2. 维数的诅咒（Curse of Dimensionality）
a. 高维的几何特性 (Geometric Properity )
b. 高维空间流形（High-dimensional Manifold）
3. 机器学习与人工智能（Machine learning and AI）
4. 机器学习的范式（Paradigms of ML）
第五课：经典机器学习模型（Classical ML Models）
1. 样本学习（Case-Based Reasoning）
a. K-近邻（K-Nearest Neighbors）
b. K-近邻预测（KNN for Prediction）
c. 距离与测度（Distance and Metric）
2. 朴素贝叶斯（Naïve Bayes Classifier)
a. 条件独立（Conditional Independence）
b. 分类（Naive Bayes for Classification)
3. 作业/实践：垃圾邮件分类的案例
第六课：经典机器学习模型（Classical ML Models）
1. 决策树（Decision Tree Learning）
a. 信息论与概率
b. 信息熵（Information Entropy）
c. ID3
2. 预测树（CART）
a. Gini指标（Gini Index）
b. 决策树与规则（DT and Rule Learning）
3. 作业/实践：决策树分类实验
第七课：经典机器学习模型（Classical ML Models）
1. 集成学习（Ensemble learning）
a. Bagging and Boosting
b. AdaBoost
c. 误差分解（Bias-Variance Decomposition）
d. 随机森林（Boosting and Random Forest）
2. 模型评估（Model Evaluation）
a. 交叉验证（Cross-Validation）
b. ROC (Receiver Operating Characteristics)
c. Cost-Sensitive Learning
3. 作业/实践：随机森林与决策树分类实验的比较
第八课：线性模型（Linear Models）
1. 线性模型（Linear Models）
a. 线性拟合（Linear Regression）
2. 最小二乘法（LMS）
b. 线性分类器（Linear Classifier）
3. 感知器（Perceptron）
4. 对数几率回归（Logistic Regression）
5. 线性模型的概率解释 (Probabilistic Interpretation)
6. 作业/实践：对数几率回归的文本情感分析中应用
第九课：线性模型（Linear Models）
1. 线性判别分析 (Linear Discrimination Analysis)
2. 约束线性模型 (Linear Model with Regularization)
a. LASSO
b. Ridge Regression
3. 稀疏表示与字典学习
a. Sparse Representation & Coding
b. Dictionary Learning
第十课：核方法（Kernel Methods）
1. 支持向量机SVM（Support Vector Machines）
a. VC-维（VC-Dimension）
b. 最大间距（Maximum Margin）
c. 支撑向量（Support Vectors）
2. 作业/实践：SVM不同核函数在实际分类中比较
第十一课：核方法（Kernel Methods）
1. 对偶拉格朗日乘子
2. KKT条件（KKT Conditions）
3. Support Vector Regression (SVR)
4. 核方法（Kernel Methods）
第十二课：统计学习（Statistical Learning）
1. 判别模型与生成模型
a. 隐含变量（Latent Variable）
2. 混合模型（Mixture Model）
a. 三枚硬币问题（3-Coin Problem）
b. 高斯混合模型（Gaussian Mixture Model）
3. EM算法（Expectation Maximization）
a. 期望最大（Expectation Maximization）
b. 混合模型的EM算法（EM for Mixture Models）
c. Jensen 不等式 (Jensen’s Inequality)
d. EM算法推导与性能 (EM Algorithm)
第十三课：统计学习（Statistical Learning）
1. 隐马可夫模型（Hidden Markov Models）
a. 动态混合模型（Dynamic Mixture Model）
b. 维特比算法（Viterbi Algorithm）
c. 算法推导 (Algorithm)
2. 条件随机场（Conditional Random Field）
第十四课：统计学习（Statistical Learning）
1. 层次图模型（Hierarchical Bayesian Model）
a. 概率图模型 (Graphical Model)
b. 从隐含语义模型到p-LSA (From LSA to P-LSA)
c. Dirichlet 分布与特点（Dirichlet Distribution）
d. 对偶分布（Conjugate Distribution）
第十五课：统计学习（Statistical Learning）
1. 主题模型（Topic Model – LDA）
a. Latent Dirichlet Allocation
b. 文本分类（LDA for Text Classification）
2. 中文主题模型（Topic Modeling for Chinese）
3. 其他主题模型（Other Topic Variables）
第十六课：无监督学习（Unsupervised Learning）
1. K-均值算法（K-Means）
a. 核密度估计（Kernel Density Estimation）
b. 层次聚类（Hierarchical Clustering）
2. 蒙特卡洛(Monte Carlo)
a. 蒙特卡洛树搜索（Monte Carol Tree Search）
b. MCMC（Markov Chain Monte Carlo）
c. Gibbs Sampling
第十七课：流形学习（Manifold Learning）
1. 主成分分析（PCA）
a. PCA and ICA
2. 低维嵌入（Low-Dimensional Embedding）
a. 等度量映射（Isomap）
b. 局部线性嵌入（Locally Linear Embedding）
第十八课：概念学习（Concept Learning）
1. 概念学习（Concept Learning）
a. 经典概念学习
b. One-Short概念学习
2. 高斯过程学习（Gaussian Process for ML）
c. Dirichlet Process
第十九课：强化学习（Reinforcement Learning）
1. 奖赏与惩罚（Reward and Penalty）
a. 状态空间 (State-Space Model)
b. Q-学习算法 (Q-Learning)
2. 路径规划 （Path Planning）
3. 游戏人工智能 （Game AI）
4. 作业/实践：小鸟飞行游戏的自动学习算法
第二十课：神经网络
1. 多层神经网络
a. 非线性映射（Nonlinear Mapping）
b. 反向传播（Back-propagation）
2. 自动编码器（Auto-Encoder）
One thought on “機器學習相關知識列表”
機器學習必學10大演算法
資料來源:https://mp.weixin.qq.com/s/PT2zu5Wm-_MxgRdC4DVWIQ
1. 線性回歸: y=b1x+b0
2. Logistic 回歸:它是二分類問題的首選方法
3. 線性判別分析（LDA）
4. 分類和回歸樹
5. 樸素貝葉斯
6. K 最近鄰演算法(KNN)
7. 學習向量量化(LVQ)
8. 支持向量機(SVM)
9. 袋裝法和隨機森林
10. Boosting 和 AdaBoost