一、训练集、验证集和测试集的划分 在机器学习发展的小数据时代，常见做法是将所有数据三七分，即70%训练集和30%测试集，如果没有明确设置验证集，也可以按照60%训练集，20%验证集，20%测试集来划分。 这是早些年机器学习领域普遍认可的最好的实践方法，如果数据只有100条，1000条或10000条，上述比例是非常合理的。 但是在大数据时代，我们现在…

一、梯度下降法 1.梯度下降的简单使用 神经网络的一个核心是反向传播，而反向传播的核心思想是利用梯度下降法和链式求导法则来对网络中的参数进行更新。让我们通过逻辑回归中的参数更新，简单介绍一下梯度下降法的使用。 $$ \begin{aligned} &(1)z = W^Tx^{(i)} + b \ \end{aligned} $$ $$ \b…