参数调优-Euler的博客

累计撰写 211 篇文章
累计创建 82 个标签
累计收到 0 条评论

目录CONTENT

以下是参数调优相关的文章

【LLaMA-Factory】核心参数配置指南 LLaMA-Factory 核心参数配置指南在使用 LLaMA-Factory 进行模型微调时，界面上的几个核心参数往往让初学者感到困惑。这些参数看似简单，实际上每个都影响着模型的训练效果和性能表现。本文将深入解析这五个关键参数的作用机制和配置建议。量化等级：在内存与精度间寻找平衡量化等级（Q
- 2025-11-13
- 6
- 0
- 0
- 模型微调
【LLaMA-Factory】微调方法详解：LoRA、Freeze、OFT与Full对比在使用LLaMA-Factory进行模型微调时，我们经常会遇到一个关键选择：应该使用哪种微调方法？LLaMA-Factory提供了四种主要的微调方法：LoRA、Freeze、OFT和Full。每种方法都有其独特的原理、适用场景和资源需求。本文将深入解析这四种方法的区别，帮助你在实际项目中做出合适的选
- 2025-11-13
- 2
- 0
- 0
- 模型微调
【LoRA】LoRA vs QLoRA 的区别核心区别 LoRA (Low-Rank Adaptation) 参数高效微调方法冻结原始模型权重，只训练低秩适配器（adapter）模型以全精度（FP16/BF16）加载到显存显存占用较高，适合显存充足的情况 QLoRA (Quantized LoRA) LoRA + 量化（Quantizat
- 2025-11-12
- 5
- 0
- 0
- 深度学习
【LoRA】LoRA 微调中的 target_modules 参数详解 LoRA 微调中的 target_modules 参数详解什么是 target_modules？在使用 LoRA (Low-Rank Adaptation) 进行大模型微调时，target_modules 是一个关键参数，它指定了哪些模块需要添加 LoRA 适配器。简单来说：LoRA 不会修改
- 2025-11-11
- 2
- 0
- 0
- 深度学习
【深度学习】PERF 中 QUESTION_ANS 与 FEATURE_EXTRACTION 的区别在进行参数高效微调（PERF/PEFT）时，QUESTION_ANS 和 FEATURE_EXTRACTION 这两种任务类型看似都需要特征提取，但实际上它们在训练过程中有本质的不同。核心差异任务目标 QUESTION_ANS：生成式任务，需要根据输入生成特定答案 FEATURE_EXTRACT
- 2025-11-11
- 1
- 0
- 0
- 深度学习
【深度学习】PEFT TaskType 任务类型详解 PEFT（Parameter-Efficient Fine-Tuning）是 Hugging Face 提供的参数高效微调库，在使用 LoRA、Prefix Tuning 等微调方法时，需要指定 TaskType 来告诉 PEFT 库当前任务的类型。正确选择任务类型对于模型微调的成功至关重要。 Ta
- 2025-11-11
- 0
- 0
- 0
- 深度学习