机器学习的总结

纲要

---

WHY

1. 逻辑算法 vs 神经网络
   • P问题 和 NP问题
2. 机器学习=模型+策略+算法

数学基础

0. cost function
1. 回归、分类 $\to$ 求极值问题
   • svm
   • 数据集 & 标签
   • 独立同分布
2. 概率论相关
   • 贝叶斯/最大似然估计 $\to$ 极值问题
3. 高维流形、梯度下降等
   • 牛顿迭代法
4. 深度网络、激活函数
   • DBN
   • sigmoid

具体方法

1. 监督学习
   • 反向传递
2. 非监督学习
3. 强化学习
   • 蒙特卡洛搜索树
   • 马尔科夫链
   • 策略/价值结构
     • Q-Learning等
     • policy gradient等
     • actor-critic等
4. 迁移学习

变形方法

• 网络结构变化
• 激活函数变化
• 网络层数变化

示例

不同的场景适用不同的网络结构和激活方法

1. 数字/图片识别（CNN)
2. 图片生成（GAN）
3. 推荐系统（self-attention, FFNN)
4. sdf（siren）
5. 机器翻译/文本摘要等 (RNN/Transformer)

教程

1. 教程：莫烦 python 机器学习

需求

1. 业务场景：条款标签化、预测模型、重要信息预告、常用功能预测

激活函数

---

sigmoid

• 2分类问题

softmax

• 二分类或者多分类问题

$$Softmax(z_i) = \frac{e^{z_i}} {\sum_{c=1}^{C} e^{c_i}}$$

分类、回归

---

库

• sklearn

分类树

1. 决策树
   • 信息熵

自然语言处理

---

Transformer