调整批处理大小(batch size)不会改变已训练的轮数(epoch),因为 epoch 是对整个数据集的一次完整遍历;只需按原轮数继续训练,无需换算为新批大小下的等效轮数。
调整批处理大小(batch size)不会改变已训练的轮数(epoch),因为 epoch 是对整个数据集的一次完整遍历;只需按原轮数继续训练,无需换算为新批大小下的等效轮数。
模型训练里,epoch 和 step 这俩概念,虽然基础,但特别容易混淆。它们俩到底有什么区别?
- Epoch:指的是模型完整地看一遍全部训练样本——也就是整个数据集。这个过程跟 batch size 没关系。
- Step(或 iteration):指的是模型处理一个 batch 的过程。每一轮 epoch 包含的 step 数量是:
ceil(数据集大小 / batch_size)。
明白这个区别,事情就清楚了。当你把 batch size 从 128 改成 64,会发生什么?
- 每一轮 epoch 的 step 数会翻倍。比如原来一轮需要 100 步,现在需要 200 步。
- 但是,epoch 本身的时间语义完全不变。第 8 轮 epoch,始终代表“已经完整遍历过全部训练数据 8 次”,无论 batch size 怎么变,这一点不会变。
现在回到你的具体场景:你在 epoch 8/25 的时候保存了一个 sa ve_at_8.keras 文件。之后,你把 batch size 从 128 减半到 64,并且计划把总的训练轮数从 25 轮提升到 50 轮。这时候,initial_epoch 应该设置成多少?
答案是:直接设为 8,而不是 16。原因很简单——epoch 不是“计算量单位”,而是“数据遍历单位”。不管 batch size 怎么改,第 8 轮就是第 8 轮。
# 正确做法:保持 epoch 计数连续性
model.fit(
x_train, y_train,
batch_size=64,
initial_epoch=8, # ✅ 从第 8 轮开始(不是“等效 step”换算)
epochs=50,
callbacks=[ModelCheckpoint("sa ve_at_{epoch}.keras")])
有一个坑得特别提一下:学习率调度器(LR Scheduler)。如果你用的是那种基于 step 的 warmup 策略,比如 tf.keras.optimizers.schedules.PolynomialDecay 配合了 steps_per_epoch 参数,或者自定义了 step-aware 的调度逻辑,那么仅仅修改 initial_epoch 是不够的。因为 step 的计数没有同步。这时,正确的做法是:
- 显式传入
steps_per_epoch = len(dataset) // new_batch_size; - 或者,干脆重置 scheduler,并用
optimizer.iterations.assign(step_count)手动同步一下已经执行过的 step 数。
最后,还有两个关键点需要强调:
- 千万不要去“折算” epoch。把 epoch 8 换算成 16,这是个典型的错误理解。epoch 不是“计算量”,它是“数据遍历次数”。就算 batch size 变小了,第 8 轮依然意味着模型完整看过所有数据 8 次。
- 提升总训练轮数是一个独立决策。你把总 epoch 从 25 加到 50,是为了补偿更小的 batch size 带来的收敛速度下降,这个策略本身没问题。但一定要盯着验证集的性能,防止过拟合。
一句话总结:initial_epoch 必须和保存时的 epoch 编号保持一致,也就是 8。如果用了对 step 敏感的优化器或调度器,额外校准一下 optimizer.iterations 或者 global_step。所有 checkpoint 的加载、回调的恢复、日志的对齐,都应以 epoch 为锚点,而不是 step。这是 Keras 和 TensorFlow 的官方设计范式,也是工程实践中的标准做法。