2025 年低资源模型参数高效微调习题（含答
案与解析）
一、单选题（共 15 题）
1. 在低资源模型参数高效微调中，以下哪个技术可以显著减少模型训练所需的计算资源？
A. 分布式训练框架
B. 参数高效微调（LoRA/QLoRA）
C. 持续预训练策略
D. 对抗性攻击防御
答案：B
解析：参数高效微调（LoRA/QLoRA）通过只微调模型的一小部分参数来减少计算资源，而
保持模型性能，参考《低资源模型微调技术指南》2025 版 节。
2. 在模型并行策略中，以下哪种方法适用于不同类型的模型并行？
A. 数据并行
B. 模型并行
C. 精度并行
D. 内存并行
答案：A
解析：数据并行适用于不同类型的模型并行，它通过将数据分割到不同的设备上并行处理来
加速训练，参考《模型并行技术手册》2025 版 节。
3. 在低精度推理中，以下哪种量化方法可以降低模型大小并加快推理速度？
A. INT8 对称量化
B. INT8 不对称量化
C. FP16 量化
D. INT4 量化
答案：A
解析：INT8 对称量化通过将 FP32 参数映射到 INT8 范围，在保持模型精度的情况下显著降
低模型大小和加速推理速度，参考《低精度推理技术白皮书》2025 版 节。
4. 在云边端协同部署中，以下哪种技术可以优化边缘计算资源？
A. 云边端协同部署
B. 模型量化
C. 知识蒸馏
D. 结构剪枝
答案：A
解析：云边端协同部署通过合理分配计算任务到云端、边缘和端设备，优化边缘计算资源，
提高整体性能，参考《云边端协同部署指南》2025 版 节。
5. 在知识蒸馏中，以下哪种方法可以提升小模型的表现？
A. 温度调整
B. 教师模型选择
C. 学生模型选择
D. 交叉熵损失
答案：B
解析：教师模型选择是知识蒸馏的关键步骤，选择性能优异的教师模型可以显著提升小模型
的表现，参考《知识蒸馏技术手册》2025 版 节。
6. 在模型量化中，以下哪种量化方法可以减少量化误差？
A. INT8 对称量化
B. INT8 不对称量化
C. FP16 量化
D. INT4 量化
答案：A
解析：INT8 对称量化通过将 FP32 参数映射到 INT8 范围，在减少量化误差的同时保持模型
精度，参考《模型量化技术白皮书》2025 版 节。
7. 在结构剪枝中，以下哪种方法可以减少模型参数？
A. 权重剪枝
B. 激活剪枝
C. 通道剪枝
D. 层剪枝
答案：C
解析：通道剪枝通过移除某些通道来减少模型参数，同时保持模型性能，参考《结构剪枝技
术手册》2025 版 节。
8. 在稀疏激活网络设计中，以下哪种方法可以降低模型计算量？
A. 稀疏激活
B. 稀疏权重
C. 稀疏卷积
D. 稀疏全连接
答案：A
解析：稀疏激活通过减少非零激活的数量来降低模型计算量，提高推理速度，参考《稀疏激
活网络设计指南》2025 版 节。
9. 在评估指标体系中，以下哪个指标通常用于衡量模型性能？
A. 混淆矩阵
B. 准确率
C. 梯度
D. 模型大小
答案：B
解析：准确率是衡量模型性能的常用指标，它表示模型正确预测的样本比例，参考《机器学
习评估指标手册》2025 版 节。
10. 在伦理安全风险中，以下哪种技术可以降低偏见检测的难度？
A. 偏见检测
B. 数据清洗
C. 特征工程
D. 隐私保护
答案：B
解析：数据清洗可以降低偏见检测的难度，通过去除或修正带有偏见的样本，提高模型的公
平性，参考《伦理安全风险管理指南》2025 版 节。
11. 在优化器对比中，以下哪个优化器通常用于深度学习模型训练？
A. Adam
B. SGD
C. RMSprop
D. Adagrad
答案：A
解析：Adam 优化器结合了动量项和自适应学习率，在深度学习模型训练中表现良好，参考
《优化器对比与选择指南》2025 版 节。
12. 在注意力机制变体中，以下哪种机制可以提升模型性能？
A. 自注意力
B. 位置编码
C. 前馈神经网络
D. 转换器结构
答案：A
解析：自注意力机制可以提升模型性能，特别是在处理序列数据时，参考《注意力机制变体
研究》2025 版 节。
13. 在卷积神经网络改进中，以下哪种方法可以减少模型参数？
A. 深度可分离卷积
B. 稀疏卷积
C. 窄卷积
D. 批归一化
答案：A
解析：深度可分离卷积通过分离深度和空间卷积，减少模型参数，同时保持模型性能，参考
《卷积神经网络改进技术手册》2025 版 节。
14. 在梯度消失问题解决中，以下哪种方法可以缓解梯度消失？
A. ReLU 激活函数
B. Batch Normalization
C. 残差连接
D. 梯度裁剪
答案：C
解析：残差连接可以缓解梯度消失问题，通过跳过层直接连接到后续层，减少梯度消失的影
响，参考《梯度消失问题解决方法》2025 版 节。
15. 在集成学习中，以下哪种方法可以提升模型的泛化能力？
A. 随机森林
B. XGBoost
C. LightGBM
D. CatBoost
答案：A
解析：随机森林通过构建多个决策树并投票预测，提升模型的泛化能力，参考《集成学习方
法手册》2025 版 节。
二、多选题（共 10 题）
1. 以下哪些技术可以用于提升低资源模型的高效微调？（多选）
A. 参数高效微调（LoRA/QLoRA）
B. 模型量化（INT8/FP16）
C. 知识蒸馏
D. 结构剪枝
E. 持续预训练策略
答案：ABCDE
解 析 ： 参 数 高 效 微 调 （ LoRA/QLoRA ） 可 以 显 著 减 少 微 调 所 需 参 数 量 ， 模 型 量 化
（INT8/FP16）可以减少模型大小和计算需求，知识蒸馏可以将大模型的知识迁移到小模型，
结构剪枝可以移除冗余的参数，而持续预训练策略可以增强模型在低资源环境下的泛化能力。
2. 在模型并行策略中，以下哪些方法可以应用于不同的计算架构？（多选）
A. 数据并行
B. 模型并行
C. 精度并行
D. 硬件加速
E. 软件优化
答案：ABC
解析：数据并行（A）、模型并行（B）和精度并行（C）都是基于不同计算架构的模型并行
策略。硬件加速（D）和软件优化（E）是提升并行性能的手段，但不属于并行策略本身。
3. 以下哪些技术可以用于加速模型推理？（多选）
A. INT8 量化
B. 动态批处理
C. 模型剪枝
D. 深度可分离卷积
E. 量化感知训练
答案：ABCE
解析：INT8 量化（A）和量化感知训练（E）可以减少模型大小和计算量，动态批处理（B）
可以在不牺牲性能的情况下提升吞吐量，模型剪枝（C）可以移除不必要的参数，深度可分
离卷积（D）可以减少模型参数。
4. 在云边端协同部署中，以下哪些技术可以提升整体性能？（多选）
A. 边缘计算
B. 分布式存储系统
C. AI 训练任务调度
D. 低代码平台应用
E. CI/CD 流程
答案：ABC
解析：边缘计算（A）可以将计算任务移至数据产生的地方，分布式存储系统（B）可以提
供高效的数据访问，AI 训练任务调度（C）可以优化资源利用率。低代码平台应用（D）和
CI/CD 流程（E）更多与软件开发相关，不直接提升云边端协同部署的性能。
5. 在知识蒸馏过程中，以下哪些步骤是必要的？（多选）
A. 选择教师模型
B. 选择学生模型
C. 计算知识转移
D. 量化输出
E. 调整温度参数
答案：ABCE
解析：选择教师模型（A）和学生模型（B）是知识蒸馏的基础，计算知识转移（C）是将
知识从教师模型转移到学生模型的核心步骤，调整温度参数（E）可以控制学生模型输出的
平滑程度。量化输出（D）不是知识蒸馏的必要步骤，而是在推理过程中可能使用的技术。
6. 以下哪些方法可以增强模型的鲁棒性？（多选）
A. 数据增强
B. 结构剪枝
C. 对抗训练
D. 正则化
E. 知识蒸馏
答案：ABCD
解析：数据增强（A）可以提高模型对未见数据的泛化能力，结构剪枝（B）可以减少模型
复杂度，对抗训练（C）可以增强模型对对抗样本的抵抗能力，正则化（D）可以防止模型
过拟合。知识蒸馏（E）主要是为了提高小模型的表现，与鲁棒性增强不直接相关。
7. 在联邦学习隐私保护中，以下哪些技术可以用于保护用户数据？（多选）
A. 差分隐私
B. 零知识证明
C. 加密技术
D. 隐私预算
E. 同态加密
答案：ABCDE
解析：差分隐私（A）、零知识证明（B）、加密技术（C）、隐私预算（D）和同态加密（E）
都是联邦学习中常用的隐私保护技术，它们可以确保用户数据在训练过程中的安全性。
8. 以下哪些技术可以用于多模态医学影像分析？（多选）
A. 图文检索
B. 跨模态迁移学习
C. 深度学习
D. 3D 点云数据标注
E. 数据融合算法
答案：ABCE
解析：图文检索（A）和跨模态迁移学习（B）可以结合不同模态的信息，深度学习（C）
是进行复杂模式识别的基础，3D 点云数据标注（D）为 3D 模型提供训练数据，数据融合算
法（E）可以将来自不同模态的数据进行整合。
9. 在 AIGC 内容生成中，以下哪些技术可以用于生成文本、图像和视频？（多选）
A. Transformer 变体（BERT/GPT）
B. MoE 模型
C. 动态神经网络
D. 神经架构搜索（NAS）
E. 模型并行策略
答案：ABCD
解析：Transformer 变体（BERT/GPT）在文本生成中表现出色，MoE 模型（B）和动态神经
网络（C）可以用于生成多种类型的媒体，神经架构搜索（NAS）可以帮助发现最优的网络
结构。
10. 在模型服务高并发优化中，以下哪些方法可以提高 API 调用的效率？（多选）
A. 缓存策略
B. 负载均衡
C. 线程池
D. 服务器端渲染
E. 异步处理
答案：ABCE
解析：缓存策略（A）可以减少重复计算，负载均衡（B）可以提高资源利用率，线程池（C）
可以提升并发处理能力，异步处理（E）可以避免阻塞并提高系统吞吐量。服务器端渲染（D）
更多用于前端优化，不直接提高 API 调用的效率。
三、填空题（共 15 题）
1. 分布式训练中，数据并行策略通过___________将数据集拆分到不同设备。
答案：水平划分
2. 参数高效微调（LoRA/QLoRA）中，使用___________来微调模型参数，从而减少计算量。
答案：低秩近似
3. 持续预训练策略中，模型在特定领域的数据上进一步___________，以提高特定任务的性
能。
答案：微调
4. 对抗性攻击防御中，使用___________来生成对抗样本，测试模型的鲁棒性。
答案：生成对抗网络（GAN）
5. 推理加速技术中，通过___________来减少模型推理所需的时间。
答案：模型量化
6. 模型并行策略中，将模型的不同部分分布在多个设备上，以提高___________。
答案：并行计算能力
7. 低精度推理中，使用___________将模型参数从 FP32 转换为 INT8 或 FP16，以减少模型
大小和计算需求。
答案：量化
8. 云边端协同部署中，将计算任务分配到___________，以优化整体性能。
答案：云端、边缘和端设备
9. 知识蒸馏中，使用___________将教师模型的知识迁移到学生模型。
答案：知识转移
10. 模型量化（INT8/FP16）中，将模型参数从 FP32 转换为___________，以降低模型大小
和计算量。
答案：INT8 或 FP16
11. 结构剪枝中，通过移除___________来减少模型参数，从而简化模型结构。
答案：权重或神经元
12. 稀疏激活网络设计中，通过引入___________来降低模型计算量。
答案：稀疏激活
13. 评估指标体系中，困惑度（Perplexity）是衡量___________的常用指标。
答案：模型预测的复杂度
14. 伦理安全风险中，为了检测模型中的偏见，可以使用___________技术。
答案：偏见检测
15. 优化器对比（Adam/SGD）中，___________优化器结合了动量项和自适应学习率。
答案：Adam
四、判断题（共 10 题）
1. 分布式训练中，数据并行的通信开销与设备数量呈线性增长。
正确（ ） 不正确（ ）
答案：不正确
解析：根据《分布式训练技术白皮书》2025 版 节，数据并行的通信开销并不与设备数量
呈线性增长，而是随着设备数量的增加而增加，但增长速度会减慢。
2. 参数高效微调（LoRA/QLoRA）中，使用低秩近似可以显著减少微调所需的计算资源。
正确（ ） 不正确（ ）
答案：正确
解析：根据《低资源模型微调技术指南》2025 版 节，低秩近似可以显著减少模型参数，
从而减少微调所需的计算资源。
3. 持续预训练策略中，预训练模型在特定领域的数据上进一步微调可以提高泛化能力。
正确（ ） 不正确（ ）
答案：正确
解析：根据《持续预训练策略研究》2025 版 节，预训练模型在特定领域的数据上进一步
微调可以提高模型在特定任务上的泛化能力。
4. 对抗性攻击防御中，生成对抗网络（GAN）可以完全防止对抗样本对模型的攻击。
正确（ ） 不正确（ ）
答案：不正确
解析：根据《对抗性攻击防御技术手册》2025 版 节，虽然 GAN 可以生成对抗样本来测
试模型的鲁棒性，但它不能完全防止对抗样本对模型的攻击。
5. 低精度推理中，INT8 量化可以保持模型在所有任务上的精度。
正确（ ） 不正确（ ）
答案：不正确
解析：根据《低精度推理技术白皮书》2025 版 节，INT8 量化可能会在特定任务上引入
精度损失，因此不能保证模型在所有任务上的精度。
6. 云边端协同部署中，边缘计算可以完全替代云端计算。
正确（ ） 不正确（ ）
答案：不正确
解析：根据《云边端协同部署指南》2025 版 节，边缘计算和云端计算各有优势，边缘计
算适用于低延迟、高带宽的应用，而云端计算适用于需要大规模计算资源的应用，两者不能
完全替代。
7. 知识蒸馏中，学生模型的学习速度通常比教师模型快。
正确（ ） 不正确（ ）
答案：不正确
解析：根据《知识蒸馏技术手册》2025 版 节，学生模型通常需要更多时间来学习，因为
它们需要从教师模型中提取知识。
8. 模型量化（INT8/FP16）中，INT8 量化比 FP16 量化更节省内存。
正确（ ） 不正确（ ）
答案：正确
解析：根据《模型量化技术白皮书》2025 版 节，INT8 量化比 FP16 量化使用更少的内存，
因为 INT8 参数只需要 1 字节，而 FP16 参数需要 2 字节。
9. 结构剪枝中，移除所有权重为 0 的神经元可以显著减少模型参数。
正确（ ） 不正确（ ）
答案：正确
解析：根据《结构剪枝技术手册》2025 版 节，移除所有权重为 0 的神经元可以显著减少
模型参数，因为它们对模型的输出没有贡献。
10. 神经架构搜索（NAS）可以自动发现最优的网络结构，无需人工干预。
正确（ ） 不正确（ ）
答案：不正确
解析：根据《神经架构搜索技术手册》2025 版 节，虽然 NAS 可以自动搜索网络结构，
但仍然需要人工干预来选择和优化网络结构。
五、案例分析题（共 2 题）
案例 1. 某在线教育平台计划部署一个用于个性化学习推荐的推荐系统，该系统需要处理大
量的学生数据和课程数据。平台的技术团队选择了使用深度学习模型来进行推荐，但由于数
据量巨大，模型训练和推理的资源需求很高。
问题：针对该案例，提出三种可能的模型优化和部署方案，并简要说明每种方案的优缺点。
方案一：模型量化与剪枝
优点：
- 模型量化可以将模型参数从 FP32 转换为 INT8 或 FP16，减少模型大小和计算量。
- 结构剪枝可以移除冗余的神经元或连接，进一步减少模型大小和计算量。
缺点：
- 量化可能导致精度损失。
- 剪枝可能影响模型的性能。
方案二：知识蒸馏
优点：
- 可以将大型教师模型的知识迁移到小型学生模型，减少计算资源。
- 学生模型可以快速部署并达到接近教师模型的性能。
缺点：
- 需要选择合适的教师模型和学生模型。
- 知识蒸馏过程可能需要调整参数。
方案三：模型并行与分布式训练
优点：
- 模型并行可以将模型的不同部分分布到多个 GPU 上，提高训练速度。
- 分布式训练可以分散计算负载，提高训练效率。
缺点：
- 需要复杂的并行和分布式训练策略。
- 可能需要更多的硬件资源。
案例 2. 某金融科技公司开发了一个用于贷款风险评估的模型，该模型在训练时使用了大量
的历史贷款数据。然而，由于数据隐私和安全性的考虑，公司无法将数据存储在本地数据中
心，而是选择使用云服务进行模型训练和部署。
问题：针对该案例，提出两种可能的解决方案，并说明如何确保数据隐私和安全。
方案一：联邦学习
优点：
- 联邦学习允许在本地设备上训练模型，而不需要共享原始数据。
- 可以保护用户数据的隐私。
缺点：
- 联邦学习可能需要复杂的通信协议和优化算法。
解决方案：
- 使用联邦学习框架（如 TensorFlow Federated）进行模型训练。
- 确保所有参与训练的设备都遵守相同的隐私协议。
方案二：差分隐私与云安全
优点：
- 差分隐私可以添加噪声到数据中，保护单个数据点的隐私。
- 云服务提供商通常有严格的安全措施来保护数据。
解决方案：
- 在数据传输前应用差分隐私技术。
- 选择具有高安全标准的云服务提供商，并确保数据在传输和存储过程中受到保护。
