A53061. 某预训练任务初始批次⼤⼩(Batch Size)为256,采⽤梯度累积(Gradient Accumulation)策 略每4步更新⼀次,实际等效批次⼤⼩是多少?若改为动态调整策略,在训练中期将批次⼤⼩增⾄ 512,请计算梯度累积步数应如何调整以保持等效批次⼤⼩不变?
单选题
知识点
题目描述
某预训练任务初始批次⼤⼩(Batch Size)为256,采⽤梯度累积(Gradient Accumulation)策 略每4步更新⼀次,实际等效批次⼤⼩是多少?若改为动态调整策略,在训练中期将批次⼤⼩增⾄ 512,请计算梯度累积步数应如何调整以保持等效批次⼤⼩不变?
选项(单选)
答案解析
详细答案解析为会员权益,按每日次数查看。
开通 / 升级会员