Unity中的设计

机器学习的总结

纲要


WHY

  1. 逻辑算法 vs 神经网络
    • P问题 和 NP问题
  2. 机器学习=模型+策略+算法

数学基础

  1. cost function
  2. 回归、分类 \to 求极值问题
    • svm
    • 数据集 & 标签
    • 独立同分布
  3. 概率论相关
    • 贝叶斯/最大似然估计 \to 极值问题
  4. 高维流形、梯度下降等
    • 牛顿迭代法
  5. 深度网络、激活函数
    • DBN
    • sigmoid

具体方法

  1. 监督学习
    • 反向传递
  2. 非监督学习
  3. 强化学习
    • 蒙特卡洛搜索树
    • 马尔科夫链
    • 策略/价值结构
      • Q-Learning等
      • policy gradient等
      • actor-critic等
  4. 迁移学习

变形方法

  • 网络结构变化
  • 激活函数变化
  • 网络层数变化

示例

不同的场景适用不同的网络结构和激活方法

  1. 数字/图片识别(CNN)
  2. 图片生成(GAN)
  3. 推荐系统(self-attention, FFNN)
  4. sdf(siren)
  5. 机器翻译/文本摘要等 (RNN/Transformer)

教程

  1. 教程:莫烦 python 机器学习

需求

  1. 业务场景:条款标签化、预测模型、重要信息预告、常用功能预测

激活函数


sigmoid

  • 2分类问题

softmax

  • 二分类或者多分类问题

Softmax(zi)=ezic=1CeciSoftmax(z_i) = \frac{e^{z_i}} {\sum_{c=1}^{C} e^{c_i}}

分类、回归


  • sklearn

分类树

  1. 决策树
    • 信息熵

自然语言处理


Transformer