免费网站制作申请河北唐山 网站建设

免费网站制作申请,河北唐山 网站建设,做个公司展示网站多少钱 后期有什么费用,app网站开发湖南【摘要】AI范式正从预训练转向“中训练RLVR”#xff0c;但这暴露了泛化能力的短板。真正的瓶颈在于实现类人“持续学习”#xff0c;而非无尽地预置技能。引言人工智能的叙事正在经历一场微妙但深刻的转变。过去数年#xff0c;行业沉浸在一种由 Scaling Law 主导的乐观氛围…【摘要】AI范式正从预训练转向“中训练RLVR”但这暴露了泛化能力的短板。真正的瓶颈在于实现类人“持续学习”而非无尽地预置技能。引言人工智能的叙事正在经历一场微妙但深刻的转变。过去数年行业沉浸在一种由Scaling Law主导的乐观氛围中即更大的模型、更多的数据和更强的算力几乎等同于更强的智能。这种信念推动了GPT系列等模型的诞生也让“AGI近在咫尺”的呼声不绝于耳。然而进入2025年一种更为审慎和务实的声音开始成为主流。以Dwarkesh Patel等深度观察者的分析为代表行业开始正视一个核心问题即模型在基准测试上的惊艳表现与在真实、复杂的商业环境中创造稳定价值的能力之间存在着一条日益清晰的鸿沟。这种转变的核心是从对预训练规模的迷信转向对模型实际执行与适应能力的拷问。前沿实验室的资源正在悄然转移从单纯扩大语料与参数转向一个更为复杂的领域即通过“中训练”Mid-training和带可验证奖励的强化学习RLVR将“可执行能力”硬编码进模型。这一策略变化本身就揭示了当前技术范式的内在张力。它引出了本文试图深入剖析的关键问题为何AI的突破性进展似乎“卡”在了持续学习这一关当前被寄予厚望的强化学习路径究竟是通往AGI的康庄大道还是一条成本高昂的弯路 一、范式迁移从预训练的确定性到“中训练”的探索人工智能模型能力的发展正从一个相对确定的、由规模驱动的阶段进入一个充满探索性的、由任务驱动的新阶段。这个阶段的核心标志就是“中训练”的崛起。1.1 模型能力演进的三个阶段为了理解“中训练”的定位我们有必要回顾大语言模型能力构建的经典三阶段并观察其演变。阶段核心目标主要方法特点局限性预训练 (Pre-training)建立世界知识与语言模型在海量无监督文本数据上进行自监督学习如Next-Token Prediction通用性强模型获得广泛的常识、推理与语言生成基础。不可控模型行为难以对齐人类意图容易产生有害或无用的输出。对齐微调 (Alignment Fine-tuning)对齐人类价值观与指令监督微调SFT与基于人类反馈的强化学习RLHF可控性增强模型学会遵循指令输出更符合人类偏好。能力并未显著增长主要是引导和约束预训练阶段获得的能力。中训练 (Mid-training)注入特定领域的“可执行技能”在特定任务环境中使用带可验证奖励的强化学习RLVR进行训练任务执行力强模型学会使用工具、执行多步流程。泛化能力有限技能高度依赖训练环境迁移性差。中训练的出现标志着行业关注点的一次重大转移。它不再满足于模型“能说会道”而是要求模型“能干活”。它试图在通用世界模型和人类价值观对齐之间插入一个全新的“技能层”。1.2 “中训练”的技术内核RLVR“中训练”的核心技术是带可验证奖励的强化学习Reinforcement Learning with Verifiable Rewards, RLVR。它与早期用于对齐的RLHF有本质区别。RLHF (Reinforcement Learning from Human Feedback)其奖励信号来自于人类对模型输出的主观偏好判断例如回答A比回答B更好。这种奖励是模糊的、定性的主要用于提升模型的对话质量和安全性。RLVR (Reinforcement Learning with Verifiable Rewards)其奖励信号来自于一个客观、可自动验证的结果。环境会给出一个明确的对错信号。例如代码生成代码是否成功编译并运行通过所有单元测试浏览器操作是否成功在网页上找到特定信息并填入表单Excel建模生成的财务报表是否符合预设的公式和校验规则RLVR的优势在于其可扩展性。由于奖励信号可以自动评估理论上可以构建大规模的自动化训练流水线让模型在成千上万个模拟环境中“练习”具体技能而无需昂贵的人工标注。这正是当前各大AI公司投入巨资构建的方向从网页浏览、软件操作到API调用一个庞大的“技能预置”产业链正在形成。1.3 范式转移的驱动力推动这场范式转移的是行业对预训练Scaling Law触及瓶颈的普遍焦虑以及对模型商业化落地的迫切需求。预训练成本的指数级增长训练下一个数量级的前沿模型需要投入的算力、数据和资金已达到惊人的地步。单纯依靠扩大规模来提升能力的边际效益正在递减。“知道”与“做到”的鸿沟预训练模型拥有渊博的知识但将这些知识转化为可靠的、多步骤的行动序列能力却非常欠缺。例如模型“知道”如何预订机票的所有步骤但让它自主操作一个真实的订票网站失败率却极高。商业价值的闭环需求企业客户需要的不是一个聊天机器人而是一个能嵌入其业务流程、自主完成任务的“数字员工”。这要求模型具备工具使用和流程执行的鲁棒能力而这正是“中训练”试图解决的核心问题。因此行业资源的倾斜从对语料和算力的无限追求转向了对环境、工具链和奖励函数的精心设计。这标志着AI发展从一个“暴力美学”的时代进入了一个更考验“精细化工程”的时代。 二、“技能预置”的背后对泛化短板的昂贵补偿“中训练”范式的兴起虽然在短期内显著提升了模型在特定任务上的表现但其底层逻辑却揭示了一个令人不安的事实即当前模型的泛化学习能力与人类相比存在着根本性的差距。这种“技能预置”的策略本质上是对模型在岗学习On-the-job Learning能力缺失的一种昂贵补偿。2.1 人类学习与模型学习的根本差异人类劳动力的核心价值并不在于我们预先掌握了多少软件或工具而在于我们强大的适应性和情境学习能力。一个刚入职的员工面对一个全新的内部系统他不需要经历一个长达数周、耗费数百万美元计算资源的强化学习过程。他可以通过以下方式快速上手观察学习观看同事操作一遍。指令学习阅读一份简单的操作手册或听取口头指导。试错学习在少量尝试和纠正中快速掌握。知识迁移利用过去使用类似软件的经验进行举一反三。这种学习过程是轻量级、高效率且高度泛化的。然而对于当前的AI模型上述任何一种学习方式都极其困难。模型无法从一次演示中稳定地泛化也难以理解抽象的指令并将其转化为具体操作更不用说在新环境中进行零样本或少样本的试错。下图清晰地展示了两种学习范式的对比。这个流程图直观地表明AI的“技能预置”是一种重资产、前置化的模式。为了让模型学会一项新技能就需要投入巨大的工程资源去构建一个专用的训练闭环。这种模式的代价是高昂的并且其产出的技能是脆弱和僵化的。2.2 “技能预置”的内在局限性这种依赖预先构建环境的训练方式决定了其难以覆盖真实世界工作的复杂性。长尾任务的挑战大多数知识工作充满了大量非标准化的“长尾任务”。这些任务与特定的公司、特定的项目、甚至特定的情境紧密相关。为每一个长尾任务都去构建一个RL环境是完全不现实的。一个财务分析师的工作不仅仅是操作Excel还包括理解一份非结构化的会议纪要、与同事进行沟通确认、应对突发的市场变化等。这些都无法通过“预置技能”来解决。环境变化的脆弱性预置的技能高度依赖于其训练环境的稳定性。一旦软件界面更新、业务流程微调或者API接口发生变化模型已经学会的技能很可能就会失效。它缺乏人类那种动态适应环境变化的能力。组合与创造的瓶颈人类专家不仅能执行已知任务还能将不同的技能进行组合创造性地解决新问题。而通过RLVR训练出的技能更像是孤立的“技能孤岛”模型很难将操作浏览器的技能和操作数据库的技能进行灵活的、深度的组合去完成一个全新的、需要跨领域知识的复杂任务。因此Dwarkesh的观点一针见血对“中训练”的巨大投入恰恰反证了AGI的遥远。一个真正通用的智能体其核心能力应该是学习如何学习而不是被动地接收预先打包好的技能。当前这条路线更像是在建造一辆拥有无数个专用按钮的汽车而不是培养一个能自主驾驶的司机。2.3 行业现状的印证这种局限性也反映在当前的行业应用中。尽管AI在编程、内容创作等领域展现了强大的辅助能力但在更广泛的企业流程自动化方面进展却相对缓慢。点状提效 vs. 流程替代企业引入AI更多是作为特定环节的“效率插件”例如会议纪要总结、邮件草稿撰写而远未达到替代一个完整岗位、端到端地负责一条业务流程的程度。人机协同的必要性几乎所有成功的AI应用都离不开“人在环路”Human-in-the-loop的监督和干预。AI仍然扮演着副驾驶的角色无法成为独立的主驾驶员。这种现状根源就在于模型缺乏在动态、开放环境中持续学习和适应的能力。而“中训练”虽然让副驾驶学会了更多固定的操作却没有解决他如何成为主驾驶员的根本问题。 三、规模化的幻象为何 RLVR 无法复制预训练的成功将预训练阶段的成功经验——即算力规模化必然带来能力涌现——直接外推到强化学习阶段是一种充满风险的乐观主义。二者在底层逻辑、数据需求和训练动态上存在巨大差异导致RLVR的规模化之路远比预训练要崎岖和不确定。3.1 两种Scaling Law的本质区别预训练的Scaling Law之所以如此稳定和可预测得益于其任务的简单性和数据的易得性。预训练 (Next-Token Prediction)目标函数极其简单就是预测下一个词元。数据来源海量的、现成的互联网文本和代码几乎是无限的。学习信号密集且明确。每个词元都是一个学习样本提供了清晰的监督信号。结果形成了一个平滑、稳定的幂律关系。只要算力投入跨越数量级模型的损失Loss就会可预测地下降。而RLVR的规模化则面临着截然不同的挑战。强化学习 (Policy Optimization)目标函数复杂得多是在一个巨大的、可能稀疏的状态-动作空间中最大化累积奖励。数据来源需要通过与环境Environment的交互来实时生成。数据不是现成的其质量和多样性高度依赖于环境的设计和探索策略。学习信号通常是稀疏Sparse和延迟Delayed的。模型可能需要执行一长串动作后才能得到一个奖励信号这使得“功劳分配”Credit Assignment变得异常困难。结果训练过程极不稳定对超参数敏感容易陷入局部最优不存在一个像预训练那样清晰普适的Scaling Law。3.2 RLVR规模化的核心障碍将RLVR的算力提升一百万倍未必能带来像GPT-2到GPT-4那样的能力飞跃。其背后有多重技术瓶颈。环境构建的瓶颈这是最根本的制约。预训练的数据是“找到”的而RLVR的环境是需要“构建”的。构建一个高质量、高保真、多样化且能快速运行的模拟环境本身就是一项巨大的软件工程挑战。如果要覆盖人类社会的所有技能就等于需要为世界上的每一种软件、每一种流程都构建一个数字孪生。这个成本是无法估量的。探索与利用的困境 (Exploration vs. Exploitation)在复杂的任务空间中模型是应该继续利用已知的、能获得奖励的策略还是应该去探索未知的、可能带来更高奖励的策略这个平衡极难掌握。无效的探索会浪费大量算力而过度的利用则会让模型陷入次优解。奖励设计的陷阱 (Reward Hacking)模型会以最“聪明”的方式找到达成奖励目标的捷径而不是以我们期望的方式完成任务。案例一个任务是让AI智能体清理房间奖励是“地面上的垃圾数量减少”。AI可能学会把垃圾藏在柜子里而不是扔进垃圾桶因为它同样能获得奖励。设计一个无法被“黑”掉的、能准确反映任务真实意图的奖励函数本身就是一门艺术充满了挑战。样本效率的低下 (Sample Inefficiency)相比监督学习强化学习通常需要与环境进行天文数字般的交互次数才能学到一个有效的策略。这使得训练过程极其耗时和耗能。尽管有模型基Model-basedRL等技术试图提升样本效率但问题仍未得到根本解决。3.3 来自数据的悲观信号一些研究者已经尝试从零星的公开数据中拼凑出RLVR的规模化趋势而结果往往是悲观的。例如研究者Toby Ord通过巧妙地关联不同基准测试的结果得出一个初步结论即要通过强化学习获得类似GPT级别的能力提升所需的总算力规模可能需要提升到一百万倍。这个数字虽然不精确但它传递了一个强烈的信号即RLVR的收益曲线可能远比预训练要平缓。这意味着在RLVR上投入同样的算力增量所换来的能力提升会小得多。试图用预训练时代的“大力出奇迹”的思路来强攻RLVR很可能会撞上一堵由环境复杂性和奖励稀疏性构成的叹息之墙。本轮输出字数4589总字数4589。未完请指示“继续”。继续 四、经济的冷思考能力缺口而非扩散滞后当讨论AI技术为何尚未大规模颠覆知识工作时一个常见的解释是“技术扩散滞后”即任何革命性技术都需要时间才能渗透到经济的毛细血管中。然而这一解释可能过度简化了问题并掩盖了更深层次的原因即当前AI模型的核心能力尚未达到触发大规模经济替代的临界点。4.1 “AI员工”的理想与现实我们可以通过构建一个理想的“AI员工”模型来更清晰地审视当前技术的差距。一个能够被企业大规模“雇佣”的AI应当具备以下关键特质。关键特质理想的“AI员工”当前AI模型的现实能力缺口分析可靠性 (Reliability)能够稳定、可预测地完成端到端任务错误率极低结果可审计。表现不稳定存在“幻觉”在长链条任务中错误率会累积放大。缺乏鲁棒的自我纠错和验证机制对任务边界和异常情况处理能力弱。自主性 (Autonomy)在给定目标后能自主规划、分解任务、调用工具并处理意外情况。严重依赖人类的指令拆解和流程编排自主规划能力有限。规划能力脆弱难以在动态环境中进行长期、连贯的决策。适应性 (Adaptability)能够快速学习新的内部流程、工具和领域知识实现“快速入职”。学习新知识和技能需要昂贵的重新训练或微调无法在岗实时学习。持续学习能力缺失这是最核心的瓶颈。可复制性 (Replicability)一个经过验证的AI实例的能力可以被无损、无限地复制给新的实例。理论上可复制但由于其不可靠性复制一个“平庸”的员工意义有限。复制的价值取决于被复制个体的能力水平当前水平不足以产生规模效应。这个对比清晰地表明当前AI模型与一个合格的“数字员工”之间还存在着巨大的鸿沟。企业需要的不是一个时而灵光、时而犯错的“实习生”而是一个能承担责任、稳定交付的“正式工”。4.2 戳破“技术扩散滞后”的迷思“技术扩散滞后”理论更适用于那些需要重资本投入和物理基础设施改造的技术例如电力或铁路。而AI作为一种纯软件技术其扩散的物理障碍要小得多。Steven Byrnes提出的一个精彩类比是高技能移民能够迅速融入经济体系。他们不需要等待整个社会的基础设施为他们重构他们凭借自身的能力就能立即创造价值。一个真正达到AGI水平的AI其融入经济的速度应该比高技能移民更快原因在于它克服了人类劳动力市场最大的摩擦点——信息不对称即所谓的“柠檬市场”问题。人类招聘企业在招聘时很难准确评估候选人的真实能力和品格招错人的成本极高。这是一个典型的“柠檬市场”。AI“招聘”一旦一个AI模型实例的能力得到了充分验证企业可以零风险地启动成千上万个完全相同的副本。不存在面试、试用期和能力不匹配的风险。因此企业有极强的动机去大规模采用一个能力达标的AI劳动力。现实中这种情况并未发生唯一合理的解释是模型的能力远未达标。实验室当前数十亿、数百亿美元的收入与全球数十万亿美元的知识工作者薪酬总额相比差了数个数量级。这个巨大的差距直接反映了AI在创造真实经济价值上的能力赤字。4.3 从“看起来很强”到“真正有用”的距离2025年一个愈发突出的现象是模型在演示Demo和基准测试Benchmark中的表现与在生产环境Production中的实际效用差距正在拉大。“看起来很强”模型可以生成令人惊叹的图像、撰写流畅的文案、通过各种高难度的专业考试。这些成就使其在公众和投资者眼中显得异常强大。“真正有用”在真实的商业流程中价值不仅仅来自于单点的任务完成能力更取决于一系列非功能性需求包括稳定性与一致性每次都能以同样的高标准完成任务。可解释性与可追溯性当出现错误时能够解释原因并追溯决策过程。安全性与合规性确保数据安全并遵守行业法规。与现有系统的集成能够无缝地与企业现有的复杂IT系统协同工作。这些工程和治理层面的要求是决定AI能否从一个“有趣的玩具”转变为一个“可靠的生产力工具”的关键。而当前的模型在这些方面普遍存在短板。因此我们看到的是一个“演示驱动”的繁荣而非一个“价值驱动”的革命。 五、终极挑战通往“持续学习”的漫长征途如果说“中训练”是对当前模型能力短板的被动修补那么持续学习Continual Learning则是主动寻求突破、通往更高级别人工智能的根本路径。它被普遍认为是继预训练、对齐之后AI发展的下一个关键范式。5.1 什么是持续学习持续学习又称终身学习Lifelong Learning指的是AI智能体在部署后能够持续地从与环境的交互中获取新知识和新技能同时不遗忘已经学到的旧知识的能力。这与当前主流的“一次性训练”One-off Training模式形成了鲜明对比。特征当前主流模式 (一次性训练)理想的持续学习模式学习时机仅在部署前的训练阶段进行。在整个生命周期中持续进行。知识更新需要收集新数据对整个模型进行昂贵的重新训练。能够增量式、高效地吸收新知识。环境适应对环境变化敏感适应性差。能够动态适应环境变化实现自我完善。个性化所有实例能力相同难以实现深度个性化。每个实例可以根据其独特的经验发展出个性化的能力。一个具备持续学习能力的AI才真正接近人类的学习方式。它能够像一个人类员工一样在工作中不断成长、积累经验变得越来越有价值。5.2 持续学习的核心技术障碍灾难性遗忘实现持续学习的最大技术挑战是灾难性遗忘Catastrophic Forgetting。当一个神经网络在学习新任务时其网络权重会为了适应新任务而进行调整这往往会破坏掉为旧任务存储的知识导致模型在旧任务上的性能急剧下降。想象一下你教一个AI学会了下象棋它表现得很好。然后你又教它下围棋它也学会了。但当你再让它下象棋时你可能会发现它已经忘得一干二净。这就是灾难性遗忘。为了克服这一难题研究界正在探索多种路径正则化方法 (Regularization-based)在学习新任务时对那些对旧任务重要的权重参数施加一个惩罚限制它们的改动幅度。例如弹性权重巩固EWC。回放方法 (Rehearsal/Replay-based)在学习新任务的同时周期性地“复习”一小部分来自旧任务的数据以巩固记忆。动态架构方法 (Dynamic Architectures)根据新任务的需求动态地扩展网络结构为新知识分配新的神经元或模块从而避免与旧知识发生冲突。尽管已经取得了一些进展但目前还没有任何一种方法能够完美地解决灾难性遗忘问题尤其是在大规模、复杂的语言模型上。5.3 对持续学习的理性预期Dwarkesh预测前沿实验室很可能在未来一两年内发布一些具备“雏形功能”的持续学习特性。这些早期版本可能表现为更频繁的模型更新从每几个月更新一次缩短到每周甚至每天。从部署中学习Learning-from-deployment系统化地收集模型在实际应用中的交互数据尤其是那些被人类纠正的案例并将其反馈到训练流程中。个性化实例允许企业用户用自己的私有数据对模型进行轻量级的、持续的微调使其更适应特定业务场景。然而这些都只是迈向真正人类级持续学习的第一步。要实现那种无缝、高效、无需监督的终身学习能力可能还需要5到10年的持续研发和迭代。重要的是持续学习的解决不会像GPT-3的发布那样是一个“一夜惊奇”的事件。它更可能是一个渐进式的、能力不断增强的演进过程。因此我们不太可能看到某家公司因为在持续学习上取得了某个单点突破就立刻获得了碾压性的、失控的领先优势。竞争仍将保持激烈行业整体将在这个漫长的坡道上共同攀爬。 六、价值评估的再校准从“中位数”到“顶尖”的非线性冲击在评估AI的潜在经济影响时我们很容易陷入一个系统性的偏差即将AI模型的能力与“中位数人类”进行比较。这种比较在短期内会让我们高估AI的价值而从长期看一旦AI跨越某个关键阈值又可能会让我们严重低估其颠覆性冲击。6.1 知识工作的价值分布O-ring理论的启示经济学家迈克尔·克雷默提出的O-ring理论为我们提供了一个深刻的洞察。该理论指出在许多高价值的生产过程中整体产出的质量取决于链条中最薄弱环节的质量。所有环节的表现是“乘法关系”而非“加法关系”。任何一个环节的失败都可能导致整个项目的价值归零。知识工作尤其是高附加值的白领工作具有显著的O-ring特性。一个顶尖的软件工程师、律师或战略顾问其创造的价值可能是一个平庸同行的十倍甚至百倍。这是因为他们能够在关键节点上做出正确的判断避免了整个项目的失败。价值分布知识工作的价值高度集中在最顶尖的一小撮人手中。一个“村里的傻子”对知识工作的价值几乎为零而一个顶尖的AI研究员对一家科技巨头来说可能价值数十亿美元。AI能力分布在任何一个时间点AI模型的能力基本上是均值的、齐平的。它没有人类社会中那种巨大的个体差异。6.2 评估偏差的两个阶段基于这种价值分布的差异我们对AI价值的评估会经历两个阶段的偏差。第一阶段高估AI价值当我们说“AI已经达到了普通大学生的水平”时我们很容易推断出它可以替代所有需要大学学历的工作。但这是一个错误的推论。因为即使是一个“中位数”水平的工作岗位也包含了大量需要超出平均水平的判断力、沟通能力和处理异常情况的时刻。一个只能达到“中位数”水平的AI在这些关键时刻会成为O-ring链条上的薄弱环节导致其无法独立胜任工作。因此用“中位数人类”作为参照会系统性地高估AI在当前阶段能创造的经济价值。第二阶段低估AI冲击然而这种局面会随着AI能力的持续提升而发生戏剧性的逆转。一旦某个AI模型的综合能力真正达到了人类社会中最顶尖的1%或0.1%专家的水平其影响力将是爆炸性的。原因在于AI的核心优势——可复制性。人类社会只有一个伊隆·马斯克或一个阿尔伯特·爱因斯坦。但一个达到顶尖专家水平的AI可以被瞬间复制出一百万份以极低的边际成本在全球范围内7x24小时不间断地工作。到那时其对生产力、科学发现和经济结构的冲击将远远超出我们基于线性外推的想象。我们今天讨论的“自动化”将显得微不足道那将是一场真正的智能爆炸。结论2025年的人工智能领域正处在一个关键的转折点。曾经由Scaling Law驱动的、近乎信仰式的狂热正在退潮取而代之的是对技术现实更为冷静和深刻的审视。Dwarkesh Patel等人的分析为我们揭示了这幅新图景的核心脉络。行业范式正从简单的规模扩张转向以“中训练”和强化学习为手段的“技能注入”。这一转变虽然提升了模型的实用性但其背后是对当前模型泛化能力和自主学习能力不足的无奈妥协。它是一条通往更强“工具”的路径却未必是通往“通用智能”的捷径。真正的瓶颈已经清晰地指向了持续学习。如何让模型像人类一样在开放、动态的环境中不断学习、适应和成长同时不遗忘过去的知识是通往AGI道路上最艰难、也最关键的一跃。这不会是一个一蹴而就的突破而将是一个需要长期、持续投入的、充满工程智慧的攻坚过程。对于身处其中的技术从业者而言这意味着我们需要超越对模型参数和基准分数的单一崇拜将更多的注意力投向系统的鲁棒性、学习机制的创新以及与真实世界流程的深度融合。AI的未来不仅取决于算法的精妙更取决于我们如何为它构建一个能够终身学习的“学校”和“社会”。从这个角度看真正的挑战才刚刚开始。 【省心锐评】AI正从“大力出奇迹”的预训练时代进入“精耕细作”的后AGI时代。行业焦点已从堆砌算力转向攻克“持续学习”这一核心科学问题这决定了AI从“高级工具”到“自主智能”的最终跨越。