路由器电脑可以做网站主机wordpress模版安装

路由器电脑可以做网站主机,wordpress模版安装,wordpress怎么获取数据,wordpress内网无法访问1. Mini-batch 梯度下降法其实我们早就在使用这个方法了#xff0c;现在来系统的阐述一下。如果你有些遗忘了梯度下降法本身的概念#xff0c;可以回看之前的笔记#xff1a;梯度下降法而发展出的随机梯度#xff0c;Mini-batch 梯度#xff0c;batch 梯度只是一次迭代中使…1. Mini-batch 梯度下降法其实我们早就在使用这个方法了现在来系统的阐述一下。如果你有些遗忘了梯度下降法本身的概念可以回看之前的笔记梯度下降法而发展出的随机梯度Mini-batch 梯度batch 梯度只是一次迭代中使用样本数量的不同。1.1 随机梯度下降法实际上在第一周学习向量化之前我们理解的梯度下降法就是随机梯度下降法Stochastic Gradient DescentSGD。具体展开概念随机梯度下降法是一种优化算法常用于训练机器学习模型尤其是在深度学习中。随机梯度下降法在每次更新时只使用一个样本来计算梯度并进行参数更新而与之相对的批量梯度下降法就是使用全部样本计算梯度并更新。也就是说在一次训练中我们有多少个样本就会进行多少次参数更新。现在展开几个小问题。1使用随机梯度下降和是否向量化的关系之前在向量化部分我们提到使用向量化是为了在代码中避免显示的for循环以并行提高效率。通过向量化我们可以并行地进行多个样本的训练用多个样本的损失更新参数。那现在使用随机梯度下降我们一次迭代只用一个样本那是不是就代表我们要使用非向量化的输入先说结论随机梯度下降 ≠ 非向量化因为 “是否向量化” 和 “是否使用随机梯度” 是两个不同维度的问题向量化 → 指的是代码实现方式是否用for循环逐样本计算。SGD / Mini-batch / Batch GD → 指的是算法在每次更新参数时使用多少样本。也就是说我们完全可以向量化地实现SGD即一次用一个样本但仍然用矩阵操作计算二者可以并存。举个例子就像做饭时“你一次炒几份菜”与“你用不用电磁炉这种高效设备”是两件不同的事情。是否向量化就像是你用不用电磁炉、用不用多头灶台它决定的是你做菜的效率是工具层面的提升。而随机梯度下降、Batch 或 Mini-batch 则是你每次炒几人份一次炒一份、一次炒十份、还是一次炒满整锅这是做饭方式的选择。你完全可以同时做到“使用电磁炉向量化”并且“每次只炒一份SGD”。两者互不矛盾只是一个管“快不快”一个管“每次做多少”。这就是二者的区别。Pasted image 202511071354352随机梯度下降的优劣先总地看一下这个算法的优劣SGD 的特点 它带来的优点 它造成的缺点每次只使用 1 个样本更新高频、小步、噪声大 更新非常频繁模型能更快开始学习带噪声的更新更容易跳出局部最优 噪声过大导致收敛不稳定损失曲线抖动明显学习率一旦偏大容易发散每次计算量小占用内存少 不需要大显存小设备也能训练适合超大规模数据 单次处理数据量太小无法用好 GPU 的并行能力整体训练速度反而偏慢更新方向依赖单一样本信息量少 每次更新成本低可以快速迭代 单一样本可能不能代表整体趋势更新方向偏差大需要更多 epoch 才能收敛对于其中第一点可能不太清晰我们来详细解释一下。3SGD的收敛不稳定现象我们刚刚提到“每次只使用一个样本更新”会带来一个核心影响更新方向带有更多的噪声。为了更好的理解这点我们依旧把最小化损失类比成从山谷下山。如果我们使用批量梯度下降Batch GD每次更新方向是所有样本平均后的梯度因此方向非常稳定像是沿着山谷中心线稳稳地往下走。但 SGD 不同。因为它每次只使用一个样本如果这个样本是个“好样本”那更新后损失就向谷底走一步如果下一个样本是噪声样本更新后损失甚至可能回反着走回去。这样每次更新对单一样本的依赖就会带来损失的“振荡”导致收敛不稳定就像一个不准的导航让你绕着弯下山。Pasted image 202511071437161.2 Mini-batch 梯度下降法Mini-batch 梯度下降法是介于Batch GD和SGD之间的一种折中方案。它每次更新使用一个小批量样本而不是全部样本或单个样本。举个实例假设我们有 1000 个样本设置 mini-batch 大小为 10那么每次迭代我们会随机选 10 个样本计算平均梯度并更新参数这样下来一个 epoch 需要进行 (1000 / 10 100) 次参数更新。1Mini-batch 的优缺点Mini-batch 特点 它带来的优点 它造成的缺点每次使用部分样本更新 更新方向比 SGD 稳定损失曲线波动小收敛更可靠 每次更新仍存在一定噪声收敛路径不是完全平滑计算量适中可利用并行 可以充分利用 GPU 并行能力训练速度快 mini-batch 太小会像 SGD 一样噪声大太大又趋向 Batch GD灵活性降低在噪声和稳定性之间折中 既有一定跳出局部最优的能力又不会像 SGD 那样过于颠簸 超参数batch size需要调节不同任务最优值不同2Mini-batch 的收敛表现在“下山”比喻下Mini-batch 就像是手里拿着局部准确的地图噪声被部分平滑每次看几个人的样本方向不会因为单一样本异常而大幅偏离。路径仍有微小抖动相比 Batch GD仍然可以“微调”路线更灵活地适应复杂地形。训练效率较高每次更新占用内存适中可以充分利用 GPU 并行整体训练时间比 SGD 更短。Pasted image 20251107143949总的来说Mini-batch 在性能和成本上的平衡让其成为了我们的最佳选择。但Mini-batch也带来一个新的超参数批次大小Batch size。3Batch size 的选择Mini-batch 的核心超参数是 batch size一般来说小 batch如 1~32 → 噪声大收敛不稳定但可能帮助跳出局部最优中 batch如 64~256 → 收敛稳定训练速度较快适合大部分任务大 batch如 1024 以上 → 接近 Batch GD收敛平稳但对 GPU 显存要求高因此我们通常的选择是这样的小数据集 → 可用大 batch保证稳定收敛大数据集 → 使用中等 batch兼顾效率与稳定性尽量避免过小或过大的批次大小。