Bilibili: https://www.bilibili.com/video/BV1MRJmzSEaa

神经网络的中间层相当于“黑箱”，不用知道也不太能知道“特征”都是什么

激活函数

• 一定是非线性的，否则肯定能被一个线性的替换
• 为神经网络引入了非线性

神经元死亡：激活函数始终没有激活

损失函数

回归问题

平均绝对误差(Mean Absolute Error, MAE) / L1 Loss

对异常值鲁棒

0处不可导

均方误差(Mean Squared Error, MSE) / L2 Loss

对异常值敏感（平方放大异常值）

Smooth L1

±1之间用L2，以外用L1

分类问题（二分类、多分类）

交叉熵误差(Cross Entropy Error)

损失函数取最小值 → 当前为最优参数

数值微分

导数的极限没有那么极限之后

x —forward→ y

x + h —forward→ y’

h不能太小，小心浮点误差

中心差分

不用单独的x + h 来求，用x ± h的两个点求，误差更小