批量梯度下降（BGD）是一种在机器学习（ML）和优化问题中常用的优化算法，用于最小化成本函数（cost function）或最大化目标函数（objective function）。
它是梯度下降（GD）算法的一种，通过在每次迭代中计算整个训练数据集的平均梯度来更新模型参数。
批量梯度下降（BGD）算法的工作原理：
1) 初始化模型参数：首先使用随机值初始化模型参数，例如权重和偏差。
2）计算成本函数：在整个训练数据集上评估成本函数或目标函数。成本函数衡量模型预测值与训练数据集中实际值之间的误差或差异。
3）计算梯度：计算成本函数相对于每个模型参数的梯度。梯度表示成本函数最陡峭上升或下降的方向和幅度。
4）更新参数：通过从当前参数值中减去梯度的一部分来调整模型参数。这部分由学习率（learning rate）确定，它控制每次迭代中的步长。参数θ的更新方程为：θ = θ - learning_rate * gradient
5）重复步骤2-4：迭代步骤2至4，直到满足停止标准。这个标准可以是最大迭代次数、达到一定的收敛水平，或其他特定于问题的条件。
批量梯度下降的关键点是在每次迭代中使用整个训练数据集来计算梯度。这使得它在处理大数据集时计算成本高，但可以确保更准确地估计梯度。它还保证了成本函数的全局最小值（或最大值）的收敛。
批量梯度下降的优缺点
优点：
它保证对于凸误差曲面收敛到全局最小值，对于非凸曲面收敛到局部最小值。
缺点：
它可能非常慢。
对于不适合内存的数据集来说，它是不可行的。
它不允许我们在线更新模型。
尽管批量梯度下降有其优势，但也存在一些局限性：
--它要求将整个训练数据集加载到内存中，这对于大数据集来说可能是一个挑战。
--此外，如果成本函数是非凸的或有许多局部最小值，BGD可能会收敛缓慢。
为了克服BGD的内存和计算限制，常常使用随机梯度下降（Stochastic Gradient Descent, SGD）和小批量梯度下降（Mini-Batch Gradient Descent, MBGD）等变体。
SGD每次只使用一个随机训练样本来更新参数，而MBGD使用一小部分（小批量）训练数据集来更新参数。这些变体提供了更快的收敛速度，并能更高效地处理更大的数据集。
小批量梯度下降可以在SGD的鲁棒性和BGD的效率之间找到平衡。
SGD方法是一次迭代或处理一行数据，因此，与批量梯度下降相比，波动更大。
机器学习中梯度下降算法的三种变体：
批量梯度下降（Batch gradient descent, BGD）：计算训练数据集中每个样本的误差，但只在所有训练样本都评估完毕后更新模型。
随机梯度下降（Stochastic gradient descent, SGD）：计算错误并更新模型对于训练数据集中的每个样本。
小批量梯度下降（Mini-Batch gradient descent）：将训练数据集分割成小批量，用于计算模型误差并更新模型系数。（在深度学习领域中使用的梯度下降的最常见实现）
成本函数
学习神经网络的基本设置是定义一个成本函数（也称为损失函数），用来衡量网络在测试集上的预测效果。
目标是找到一组权重和偏差，以最小化成本。
