测评会员优惠活动进行中 · 开通 VIP,有效期内测评不限次 VIP 优惠中 · 测评不限次 立即查看

A53061. 某预训练任务初始批次⼤⼩(Batch Size)为256,采⽤梯度累积(Gradient Accumulation)策 略每4步更新⼀次,实际等效批次⼤⼩是多少?若改为动态调整策略,在训练中期将批次⼤⼩增⾄ 512,请计算梯度累积步数应如何调整以保持等效批次⼤⼩不变?

单选题

题目描述

某预训练任务初始批次⼤⼩(Batch Size)为256,采⽤梯度累积(Gradient Accumulation)策 略每4步更新⼀次,实际等效批次⼤⼩是多少?若改为动态调整策略,在训练中期将批次⼤⼩增⾄ 512,请计算梯度累积步数应如何调整以保持等效批次⼤⼩不变?

选项(单选)