咸宁网站建设网络公司网站文章更新怎么做

咸宁网站建设网络公司,网站文章更新怎么做,wordpress资讯类主题,晋江网友交流区网站本文详细介绍了大语言模型(LLM)的五大训练基础概念#xff1a;预训练阶段让模型通过无监督学习大量文本知识#xff1b;有监督微调(SFT)赋予模型对话能力#xff1b;人类反馈强化学习(RLHF)优化回答质量#xff1b;知识蒸馏(KD)提升小模型性能#xff1b;LoRA实现高效参数…本文详细介绍了大语言模型(LLM)的五大训练基础概念预训练阶段让模型通过无监督学习大量文本知识有监督微调(SFT)赋予模型对话能力人类反馈强化学习(RLHF)优化回答质量知识蒸馏(KD)提升小模型性能LoRA实现高效参数微调。文章还阐述了LLM作为自回归模型的训练流程包括输入输出处理、损失函数和学习率设置等关键要素为理解大模型训练提供了全面的基础知识。1、LLM 训练基础概念1.1 预训练PretrainLLM 首先要学习的并非直接与人交流而是让网络参数中充满知识的墨水“墨水” 理论上喝的越饱越好产生大量的对世界的知识积累。 预训练就是让 Model 先埋头苦学大量基本的知识例如从 Wiki 百科、新闻、书籍整理大规模的高质量训练数据。 这个过程是“无监督”的即人类不需要在过程中做任何“有监督”的校正而是由模型自己从大量文本中总结规律学习知识点。 模型此阶段目的只有一个学会词语接龙。例如我们输入“秦始皇”四个字它可以接龙“是中国的第一位皇帝”。1.2 有监督微调Supervised Fine-Tuning经过预训练LLM 此时已经掌握了大量知识然而此时它只会无脑地词语接龙还不会与人聊天。SFT 阶段就需要把半成品 LLM 施加一个自定义的聊天模板进行微调。例如模型遇到这样的模板【问题-回答问题-回答】后不再无脑接龙而是意识到这是一段完整的对话结束。 称这个过程为指令微调就如同让已经学富五车的「牛顿」先生适应 21 世纪智能手机的聊天习惯学习屏幕左侧是对方消息右侧是本人消息这个规律。1.3 人类反馈强化学习Reinforcement Learning from Human Feedback RLHF在预训练与有监督训练过程中模型已经具备了基本的对话能力但是这样的能力完全基于单词接龙缺少正反样例的激励。 模型此时尚未知什么回答是好的什么是差的。希望模型能够更符合人的偏好降低让人类不满意答案的产生概率。 这个过程就像是让模型参加新的培训优秀员工作为正例消极员工作为反例学习如何更好地回复。可以使用 RLHF 系列之-直接偏好优化Direct Preference Optimization DPO或与 PPOProximal Policy Optimization。DPO 相比于 PPODPO 通过推导 PPO 奖励模型的显式解把在线奖励模型换成离线数据Ref 模型输出可以提前保存。DPO 性能几乎不变只用跑 actor_model 和 ref_model 两个模型大大节省显存开销和增加训练稳定性。RLHF 训练步骤并非必须此步骤难以提升模型“智力”而通常仅用于提升模型的“礼貌”有利符合偏好、减少有害内容也有弊样本收集昂贵、反馈偏差、多样性损失。GRPOGeneralized Reinforcement Preference Optimization是一种改进的强化学习方法用于优化模型输出更符合人类偏好。它是对 PPOProximal Policy Optimization RLAIFReinforcement Learning from AI Feedback等方法的泛化和增强本质上是对 RLHF人类反馈强化学习的一种高效实现。GRPO 的目标从两个或多个候选输出中优化模型朝更高偏好方向移动而不是只学单个“正确答案”。1.4 知识蒸馏Knowledge Distillation KD经过预训练、有监督训练、人类反馈强化学习模型已经完全具备了基本能力通常可以学成出师了。知识蒸馏可以进一步优化模型的性能和效率所谓知识蒸馏即学生模型面向教师模型学习。 教师模型通常是经过充分训练的大模型具有较高的准确性和泛化能力。 学生模型是一个较小的模型目标是学习教师模型的行为而不是直接从原始数据中学习。在 SFT 学习中模型的目标是拟合词 Token 分类硬标签hard labels即真实的类别标签如 0 或 100。 在知识蒸馏中教师模型的 softmax 概率分布被用作软标签soft labels。小模型仅学习软标签并使用 KL-Loss 来优化模型的参数。通俗地说SFT 直接学习老师给的解题答案。而 KD 过程相当于“打开”老师聪明的大脑尽可能地模仿老师“大脑”思考问题的神经元状态。知识蒸馏的目的只有一个让小模型体积更小的同时效果更好。 然而随着 LLM 诞生和发展模型蒸馏一词被广泛滥用从而产生了“白盒/黑盒”知识蒸馏两个派别。 GPT-4 这种闭源模型由于无法获取其内部结构因此只能面向它所输出的数据学习这个过程称之为黑盒蒸馏也是大模型时代最普遍的做法。黑盒蒸馏与 SFT 过程完全一致只不过数据是从大模型的输出收集。1.5 LoRA (Low-Rank Adaptation)LoRA 是一种高效的参数高效微调Parameter-Efficient Fine-Tuning PEFT方法旨在通过低秩分解的方式对预训练模型进行微调。 相比于全参数微调Full Fine-TuningLoRA 只需要更新少量的参数。 LoRA 的核心思想是在模型的权重矩阵中引入低秩分解仅对低秩部分进行更新而保持原始预训练权重不变。2、LLM 训练流程简介训练任何模型需要清楚两个问题明确模型的输入与输出定义模型的损失函数LLM即大语言模型本质上是一个“token 接龙”高手它不断预测下一个词符。这种推理生成方式被称为自回归模型因为模型的输出会作为下一轮的输入形成一个循环。刚开始一个随机大模型面对输入它预测的下一个字符完全是随机的那么它是如何学习的呢在自注意力机制中通过为 qk 增加掩码softmax 后将负无穷对应到 0隐藏掉 n 字符以后的内容。这样输出的第 n1 个字符只能关注到前 n 个字符如同戴上了一副“只看过去”的眼镜。通过训练大模型从一个随机混沌的状态逐渐学会输入与下一个词符之间的潜在联系。以上是为了便于理解而抽象出来的过程。大模型的输入是由数字组成的张量而非自然语言字符。自然语言通过 tokenizer可以理解为一种词典映射到词典的页码数字 ID进行输入计算。得到的输出数字再利用词典进行解码重新得到自然语言。大模型的输出是一个 N*lentokenizer的多分类概率张量在 Topk 中选出的有概率的 token得到下一个词。损失函数交叉熵损失学习率与 batchsize 成倍数关系batchsize 变大一倍学习率也增大一倍如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取