GESP 1-4级 -- GESP 5-8级 -- CSP-J/S --
测评会员优惠活动进行中 · 开通 VIP，有效期内测评不限次 VIP 优惠中 · 测评不限次 立即查看

A43141. 当数据太大而不能同时在 RAM中处理时，哪种梯度技术更有优势( )

单选题 容易
知识点
显存优化 梯度累积

题目描述

当数据太大而不能同时在 RAM中处理时，哪种梯度技术更有优势(    )

选项（单选）

上一题 下一题

同类题目

根据考点标签或同分类推荐，适合接着练

A53061 某预训练任务初始批次⼤⼩（Batch Size）为256，采⽤梯度累积（Gradient Accumulation）策 略每4步更新⼀次，实际等效批次⼤⼩是多少？若改为动态调整策略，在训练中期将批次⼤⼩增⾄ 512，请计算梯度累积步数应如何调整以保持等效批次⼤⼩不变？ 同考点 A53039 程序题：参数高效微调低秩适配方法 LoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过只训练 部分低秩矩阵插入至原始模型的关键层，实现大语言模型的高效定制。与传统微调相 比，LoRA 显著减少了训练参数量和显存需求，适用于资源受限场景下的大模型下游训练。一个典型训练场景如下：模型：Qwen-2.5-7B-Instruct；LoRA 仅插入注意力机制中关键的两个投影层。•… 同考点