AI前沿-Euler的博客

累计撰写 224 篇文章
累计创建 88 个标签
累计收到 0 条评论

目录CONTENT

以下是 AI前沿相关的文章

【LLaMA-Factory】微调方法详解：LoRA、Freeze、OFT与Full对比在使用LLaMA-Factory进行模型微调时，我们经常会遇到一个关键选择：应该使用哪种微调方法？LLaMA-Factory提供了四种主要的微调方法：LoRA、Freeze、OFT和Full。每种方法都有其独特的原理、适用场景和资源需求。本文将深入解析这四种方法的区别，帮助你在实际项目中做出合适的选
- 2025-11-13
- 46
- 0
- 0
- 模型微调
【LoRA】LoRA vs QLoRA 的区别核心区别 LoRA (Low-Rank Adaptation) 参数高效微调方法冻结原始模型权重，只训练低秩适配器（adapter）模型以全精度（FP16/BF16）加载到显存显存占用较高，适合显存充足的情况 QLoRA (Quantized LoRA) LoRA + 量化（Quantizat
- 2025-11-12
- 29
- 0
- 0
- 深度学习
【LoRA】LoRA 微调中的 target_modules 参数详解 LoRA 微调中的 target_modules 参数详解什么是 target_modules？在使用 LoRA (Low-Rank Adaptation) 进行大模型微调时，target_modules 是一个关键参数，它指定了哪些模块需要添加 LoRA 适配器。简单来说：LoRA 不会修改
- 2025-11-11
- 46
- 0
- 0
- 深度学习
【深度学习】PERF 中 QUESTION_ANS 与 FEATURE_EXTRACTION 的区别在进行参数高效微调（PERF/PEFT）时，QUESTION_ANS 和 FEATURE_EXTRACTION 这两种任务类型看似都需要特征提取，但实际上它们在训练过程中有本质的不同。核心差异任务目标 QUESTION_ANS：生成式任务，需要根据输入生成特定答案 FEATURE_EXTRACT
- 2025-11-11
- 22
- 0
- 0
- 深度学习
【深度学习】PEFT TaskType 任务类型详解 PEFT（Parameter-Efficient Fine-Tuning）是 Hugging Face 提供的参数高效微调库，在使用 LoRA、Prefix Tuning 等微调方法时，需要指定 TaskType 来告诉 PEFT 库当前任务的类型。正确选择任务类型对于模型微调的成功至关重要。 Ta
- 2025-11-11
- 42
- 0
- 0
- 深度学习
【理论】机器学习与大模型研究中的常见实验方案在学术研究与工程实践中，**实验设计（Experimental Design）**是验证一个模型是否真的“有效”的核心环节。一个好的实验方案不仅能证明方法确实带来了改进，更能揭示其背后的因果机制、泛化能力与局限性。本文将系统梳理机器学习与语言模型（LLM）研究中常见的实验设计思路，帮助你在科研或
- 2025-11-04
- 13
- 0
- 0
- 深度学习
【论文】训练万亿参数模型的内存优化（ZeRO）论文地址标题：ZeRO: Memory Optimizations Toward Training Trillion Parameter Models 链接：https://ar5iv.labs.arxiv.org/html/1910.02054 作者：Samyam Rajbhandari, Je
- 2025-11-03
- 26
- 0
- 0
- 论文
【上下文工程】Agent的上下文工程：Manus实战经验深度解析论文地址原文链接：Context Engineering for AI Agents: Lessons from Building Manus 作者：Yichao 'Peak' Ji 发布时间：2025年7月18日机构：Manus AI 核心内容概述这篇文章来自 Manus AI 团队的技术分
- 2025-10-23
- 23
- 0
- 0
- 大语言模型
【OCR】通过光学压缩实现长上下文的高效OCR(DeepSeek-OCR) 论文信息论文标题：DeepSeek-OCR: Contexts Optical Compression 论文地址：https://arxiv.org/html/2510.18234 作者：Haoran Wei, Yaofeng Sun, Yukun Li (DeepSeek-AI) 发表时间：2
- 2025-10-22
- 12
- 0
- 0
- 论文
【论文】Lost in the Middle：语言模型长上下文位置偏见深度解析论文地址论文标题：Lost in the Middle: How Language Models Use Long Contexts 论文链接：https://ar5iv.labs.arxiv.org/html/2307.03172 作者：Nelson F. Liu, Kevin Lin, Joh
- 2025-10-21
- 31
- 0
- 0
- 论文

1
2
3
4
5
6
7