装修公司网站wordpress 模板品牌营销目标

装修公司网站wordpress 模板,品牌营销目标,欧力虎网站建设,自己做的网站被篡改怎么办基本原理 RAG全称Retrieval-Augmented Generation#xff0c;检索增强生成#xff0c;是LLM时代重要的技术之一#xff0c;可以简单的认为其是在传统的检索上增加了大模型生成这个要素#xff0c;底层的检索匹配说的增强是引入了Embedding技术做向量的语义检索#xff0c;…基本原理RAG全称Retrieval-Augmented Generation检索增强生成是LLM时代重要的技术之一可以简单的认为其是在传统的检索上增加了大模型生成这个要素底层的检索匹配说的增强是引入了Embedding技术做向量的语义检索但是严格意义上这不是一门新的技术从早期的基于Word2Vec做词嵌入进行模板匹配FAQ到苏神的SimBert这种基于UniLM思想、融检索与生成于一体的Bert模型都可以算作对最原始的Bm25召回文本的一种增强。何时使用RAG何时微调RAG可以当作一种低算力资源的知识库外挂适用于时效性较强的知识。从两个方面来看一方面若团队缺乏相关的模型训练技术人员使用RAG外挂知识库不用定期的维护用于训练模型的标注语料只需要简单的对知识库本身的内部文件做更新和剔除。另外一方面无需临时或者定期的对LLM做SFT或者RL节省算力资源。换言之当你手上积累的知识库文档是沉淀下来基本不会变化的内部资料并且拥有算力资源时候微调其实是更好的选择但是当你手上的资料变化较大且无算力资源的时候RAG又是最佳方案。早期的RAG会让人有种隔靴搔痒的感觉因为LLM本身就是一个巨大的高维压缩知识库使用RAG中间多了个检索阶段这里就要引入一层能力损失模型无法对你的知识库内容产生全局的感知无法进行全局的总结或者结合全局的理解某个知识点。当然后续产生的Corrective RAG以及现在流行的DeepResearch等能够经过多次查询弥补这方面的不足。以上是RAG常见的几种构型这里简单的画了张示意图上图下半部分分别是Naive RAG、加入了Rerank模型的RAG、融合了Graph RAG以及加入了CLIP模型做以文搜图的RAG这些RAG基本也是工业界常用的架构这些RAG可以单独的开发分别开发检索部分和大模型回答部分即可可以不需要用框架进行承载。但是随着技术的发展上面构型的RAG随着Self-RAG的出现慢慢发生变化为了解决回答的好的问题2024年先后出现了Adaptive RAG、Corrective RAG等多步的结构为了解决回答的准和识别用户意图的问题RAG慢慢的剥离掉了G的这个部分将RA检索部分成为了工具的一部分通过Function Call接入到了Agent上满足相关的需求如“只有当我需要做知识库检索的时候我才去搜索”或者“我觉得这一次搜索的结果不对我要进行Query的改写后再次搜索”等这样的RAG统一可以成为跑在Agent上的RAG简称Agentic RAGAgentic RAG的变化是多样的这取决于你怎么写这个图在上图的上半部分就是一个简单的基于用户意图分流的Agentic RAG构型RAG只管RA部分根据用户的输入判断是闲聊、查询网络或者请求知识库当然这里只是一个简单的实现后续会介绍如何更好的实现一版不错的Agentic RAG当话题来到这里RAG已经不局限于RAG它成了一种沟通LLM和内部知识库的桥梁是一种没那么独特的基础设施。索引优化RAG是一个巨大的工程它将索引的构建、检索的方式、模型的回答三个模块结合在一起索引的构建是其中最重要也是最复杂的部分这不仅仅是因为它需要和各类的数据库的写入和管理紧密结合而且它的源头是各种类型的文件你需要做适配。这是面试和实践最大不一样面试的时候你说了一堆怎么召回怎么提高召回效果怎么评估而面试官心里可能最在乎的是想让你进来收拾这个碎片摊子解决这部分索引问题这部分甚至可能是定制化的。所谓“garbage in, garbage out”这句古早的训练法则同样适用于RAG这个系统。在实际工作实践中我们常常要把各种不同模态的文本整理成用户的知识库上图是一个可实践的方案我们分别从语音、纯文本以及图片出发说一下相关的技术方案。对于语音一般是通过ASR技术转成文本这里一般使用的方案是阿里的开源方案CosyVoice将语音转成文本后合并于文本的处理方案这里可以做多一步是通过FunASR中的cam模型识别说话人后放进知识库这样你可以在询问知识库的时候问“关于XX发言人说的关于XX内容有什么技术方案”对于图片这里指的是纯的图片输入一般会通过OCR技术将其转化为文本后合并于文本的处理方案但是这里显然是无法处理一些不含有文字的图片如一幅小孩的画如果需要在搜索的时候将其搜索出来一般会用CLIP模型将其编码或者引入更大的多模态大模型编码一般是通过VL模型微调后取Embedding层。对于文档这里就更复杂了这里需要在算力和效果之间做权衡如果场景是每秒上百/千的索引量而算力有限更简易还是简单的提取文字之后进行索引至少能够覆盖到部分未付费用户。如果是需要更好的效果这里建议直接上版面分析拆解出文档的各个元素后再处理截止到该文章发布百度推出的PP-DocLayoutV2PaddleOCR-VL-0.9B是这方面的翘楚笔者在家使用GPU3090单卡VLLM部署对于一张满文字的PDF大概能在800毫秒内完成版面分析文字提取这部分后面会单独的形成一篇工程文章经过版面分析后的文档遇到的图片元素经过OCR提取为文字和CLIP模型处理遇到的纯文本文字合并到文字处理方案特别的对于两种常用的部分需要单独处理分别是表格和线稿流程图前者需要考虑转化为Markdown格式方便模型理解如果表格过长甚至超过了切割的长度则需要在每个切割后的分片上都加上对应的表头这部分就需要一个专门的表格切分器。对于线稿和流程图OCR和CLIP都将失效前者无法描述出图的走向后者只是关联图片的像素语义部分如果业务有需要如说明书、设计图等目前比较好的解决方案是通过VLM转化成一段描述再将描述文本合并于文本处理。在切割方面不建议用字符串的长度进行切割虽然中文基本是1个字一个token但是对于英文而言1 token约等于3~4个字符长度一般平均1个字符串长度大概需要两个token表征对于一个2048 token的embedding模型config.json中max_position_embeddings等于2048粗略估计编码的字符串长度为4k个字符显然如果使用字符串长度就会让分片更多降低分片的语义密度另外为了沟通分片之间的关联在没有GraphRAG的召回下还需要设置滑动窗口在笔者工程实践中一般默认首位各留80个token作为overlap。在切割方面除了做Graph有增益笔者曾尝试过通过模型分割但是性价比和用户使用感受上并没有明显区别大道至简如果只做文本切割依据token长度切割滑动窗口应该是通用且性价比最高的选择。在数据库方面至少需要三个数据库进行管理元数据管理数据库用于记录文档的业务元数据如入库时间、过期时间、所属用户、文件名、所属知识库等业务字段这部分可以满足数据的简单的NL2SQL查询如用户问“我上个月有哪些文件叫做XX的文件”除此之外因为一个文件会分片这里还需要记录向量id分片文本的id等。TextDB有两部分作用一方面是记录分片后的文本用于召回后带给LLM去回答用户问题另外应可以做全文检索匹配兼顾Bm25的召回作用我们在选型的时候使用了ElasticSearch但是现在的向量数据库如Milvus 2.4以上的版本也已支持这部分功能。向量数据库方面选择Milvus、QdrantElasticSearch也已支持这部分向量检索功能这里值得说的是向量存在的内存里面需要耗费大量的内存尽量选择可以MMAP和支持FP16、FP8的向量数据库这一点上Milvus是满足需求的。召回模块召回模块是RAG中的第二个部分一个完备的召回模块应该有以下三个特点其一是如上图是多路召回的其二必须是如下图一样业务可配置并且线上能够实时生效其三是具备临时的算力排队而可降级的。这里第三点中说到的可降级策略分别用于多路召回超时或者重排序超时的情况线上若出现GPU资源挤兑召回需要自动降级到不需要GPU资源的BM25召回重排序阶段需要退化成只使用召回分数排序降级会损失效果但是能够保证稳定性和用户体验下图是一份线上真实的超时降级处理逻辑代码片段BM25和Embedding召回为什么要引入Bm25和Embedding做基础的混和召回BM25可以兼顾短语和稀疏关键词的捕捉召回而Embedding可以兼顾跨语种或同语义的长句召回通过以下例子我们实际举例看效果假如用户的输入是苹果公司知识库里面的内容分别是Apple Inc.山东苹果苹果手机华为公司苹果中国分公司的苹果公司产品为了直接暴露仅召回的结果我们把下游的Rerank给关掉。在全开BM25召回情况下分数排序召回不出来英文的Apple Inc.但是BM25注重关键词匹配所以苹果中国分公司的苹果公司产品这种充斥大量苹果和公司单词的短语分数被拉高其次含有部分焦急的内容如华为公司、山东苹果、苹果手机被捞到在全开Embedding召回情况下分数排名第一的是Apple Inc.这种跨语言匹配同含义完全符合要求排名第二的华为公司和输入的苹果公司属于同一层次的实体也是符合要求的如果BM25召回和Embedding召回各开一半这个时候将会一网打尽排序勉强符合要求也能召回长尾的有交集的关键词但是明显华为公司的排序明显高了这个时候就需要下文介绍的ReRank模型进行重排序修正这种BM25和Embedding混合召回的方式适用于大量通用的业务具有高效兼顾精度的特点能够处理百亿级别知识库的召回和索引但是这种召回方式对于很多小业务来说难以对高度垂直的关联文档连根拔起一网打尽因此召回阶段引入了Graph召回这一召回方式特别适合用在小文档场景千~万级别分片以下具有对关联文档的分片高精度召回能力。GraphRAG Graph召回图以其固有的“节点通过边连接”的性质不仅编码了节点本身还编码的海量的异构和关系信息这有利于RAG在检索文档的时候发现文档的上下游或者周边关系提高召回能力给模型更多可靠的参考。上图是一个GraphRAG的运作原理图文档被分片后通过三元组关系抽取模型抽取分片文档中所有的关系和实体抽取到的实体会通过Embedding模型转化为向量存储在Milvus中图的关系结构存储在图数据库中常用的如NebulaGraph用户的Query经过Embedding编码后先拿到所有相似的节点然后通过N度hops关系拿到完整的关系子图本身和每个节点对应的分片文档一起交给大模型去回答用户的问题。微软提出的GraphRAG被证明在各个场景下都能显著提升RAG的召回效果目前GraphRAG因为涉及到建图的时候需要通过LLM进行三元组的抽取索引慢并且需要耗费大量的token暂不适合构建十万级别以上的知识库应用此处如果用专门的三元组抽取小模型如UIE抽取模型又会影响索引中图联通效果。建议具有以下特点的文档接入Graph召回提高召回效果。语义聚集的垂直文档如某个产品的官方说明文档、客服文档等使用关联关系召回方便拉开文档之间的语义文档的分片数量小于万级别的文档抽取三元组建立索引的时间可接受。CLIP Embedding召回对于有图片搜索需求的业务可以将CLIP模型融合到召回流程中。首先对于无文字但有语义的图片如风景照、证件照、抽象画等等采用CLIP模型进行文本和图片的关联这样能够让用户通过自然语言直接去对图片进行搜索并总结一句话描述CLIP模型CLIP模型用同一套向量空间把图片和文本对齐让模型能理解图像与文字之间的语义对应关系召回效果如下在召回图片后可以把召回结果直接放到VLM模型进行问答而对于有文字有语义的图片不仅需要对该图片进行CLIP模型关联使得用户能够直接发起检索图片的请求并且将图片中的文字通过OCR识别后和上下文进行混排用户可以通过Query找到图片中的文本从而定位到相关的知识分片方便下游使用VLM模型综合图片和文本一起回答。顺这个这个思路其实还以找到更全能的Embedding模型架起图文之间四种模态的搜索反向支持以图搜图或者以图搜文一年前比较成熟的Embedding模型是24年发布的jina-clip-v2截止到该文章发布已经有不少基于VLM微调的多模态Embedding模型出现可参考MMEB LeaderBoard这一部分的需求和可行性进一步得到验证。Rerank模型原理Rerank模型就是一种交互性质的打分模型它将来自不同召回方式的分片结果和用户的输入进行一一打分给出关联性的分数下游再根据打出的分数排序把最相关的排在前面并且取TopK将最相关的输入给LLM进行回答。以下是一个Encoder-Only构型(如Bert、RoBerta、XLMRoBerta)的Rerank模型结构与实现我们可以快速地验证效果为什么要使用Rerank模型对召回进行重排序一是因为召回阶段的召回方式多种多样随着召回方式的扩充不同的召回方式对应的分数很难量化到一个水平造成排序困难二是把最相关的内容给大模型节省输入的Token数降低模型的幻觉。Embedding模型训练一般来说像BGE、GTE、Qwen0.6b-Embedding等模型足以应付在通用的业务数据上做语义相似度的召回了而且像GTE、Qwen0.6b-Embedding模型支持的document的最大长度在8k基本适配不同长度的Query和不同长度的Document进行匹配但是有些业务依然因为非常的垂直从而需要加强训练笔者的仓库开源了本文配套的Embedding模型训练框架支持一些常用基座的Embedding基座的微调。目前所有的Embedding模型训练基本两个步骤1.挖掘难度数据集2.使用对比学习中的损失函数进行训练。一般来说难度样本挖掘可以用业务的堆积的BadCase进行挖掘专门挖掘出Embedding模型判错的两个相似的句子作为负样本即可我们把这些负样本和正样本组合成数据集定义好损失函数就可以开始微调训练常见的对比损失函数为有监督的COSENT、SimCSE的有监督和自监督版本。因为目前大部分模型都使用SimCSE的有监督版本在困难样本上进行训练所以这里只简单的介绍一下SimCSE训练的原理。以下是无监督SimCSE的论文原图无监督SimCSE在一个Batch中每一条样本与自己的Dropout之后的样本作为正样本与同一个Batch里面其它位置样本互为负样本构造数据集的时候直接可以把shuffle后的数据集的每一句和周围的其他句子作为一个Batch即可如下图演示对于有监督的SimCSE训练和无监督的SimCSE不同的是我们一般会使用LLM或者业务的BadCase去构建难度样本我们再把这些难度样本做成数据集有监督的去指导模型要疏离哪些样本或拉近哪些样本的距离和无监督不一样的这里单个样本自己计算损失函数以上每个sentence带有一个正样本和一个负样本损失函数可以表示为:上述的损失函数是一正一负两个样本的InfoNCE损失函数值得说的是Qwen0.6b-Embedding训练的InfoNCE损失函数是个正样本带N个负样本的形式其数据集形式为它使用的InfoNCE损失函数的形式为效果衡量一般来说RAG系统的效果评估会从两个维度进行分别是对召回效果单独的单元评估和端到端的效果评估前者评估的指标通常使用推荐和搜索的核心指标。召回效果的评估召回效果的评估使用通用数据集或者业务数据集进行常见用于中文召回效果评估的数据集如C-Eval评估的一般流程为:脚本向RAG写入待匹配的知识库数据脚本向RAG检索接口请求测试数据集的query记录召回结果调用指标计算方法得出召回检索的指标。这些指标主要是推荐和搜索的召回指标N可以根据业务进行调整N为请求搜索得到前N个结果评估可以一次性在多个N上进行评估比如N123的情况输出的评估结果结构如下通用的数据集往往只能评估检索部分在通用能力上的好坏一些垂直的数据集上需要积累业务自己的Case作为评估的数据集制作数据集的方法类似于mteb的方法对数据集进行整理目前我们内部积累了部分私有的评估数据集定期对自己训练的Embedding模型做评估端到端的评估通俗来说这部分的评估就是让LLM既做选手又做裁判但不同的是这个裁判是更专业更大参数有详细评估规则的裁判RAGAS仓库是第一个对RAG做这个事情的开源仓库它有些核心指标如下这种端到端的评估旨在对用户的输入到模型给出的答案做评估通过写Prompt我们自己可以将评估分三个维度分别是检素质量评估、生成质量的评估以及综合的满意度大部分系统端到端的评估方式还是使用大模型有些系统会将业务上用户的真实反馈进行融合进来打分得到更综合的评判。Agentic RAG话题来到这里RAG正式开始变成一个工具前面的索引和召回可以说都是在为此处做铺垫因为大部分业务升级都会将RAG跑在Agent上这样才能最大化利用RAG中RA的检索能力才能实现基于内部知识库的DeepReseach、实现能够避免无意义回答的Corrective RAG、和其他工具放在一起通过plan and execute进行合理有序的调用等RA也只有跑在Agent上才能最大化它存在的价值在这里一千个读者有一千个哈姆雷特拿到Agent开放框架你可以按照自己的想法编排它们。先看一个简单的下图这个Agentic RAG构型具备以下四个特点1. 具备Query改写解决多轮对话2. 避免无意义的召回干扰模型回答结果3. 避免给用户带出无意义的引用分片4. 具有拒答/自己回答的能力。从左到右整个流程可以理解为用户问问题→系统判断是否命中知识库话题→根据历史的用户输入自动改写问题→将改写的问题检索资料→过滤无法回答用户问题的资料→再决定是否让大模型回答。整个Agent是一个“会思考”的助手而不是只会死板检索的工具以上构型基本99%覆盖企业内部的知识库的检索回答需求其中的判定模型可以换成小一点的LLM节约时间但是悉数问题都被一扫光。下面来看一个更加更加复杂点的Agentic RAG构型它结合了NL2SQL和RA对于用户的搜索可以灵活的反应并返回准确的结果这里就需要用到上文中提到的元数据管理的数据库了用户问”帮我找一下XX员工在2023年的关于大模型训练方面的工作总结然后找到关键节点输出给我。“对于这个问题如果直接塞到RAG中检索出来的效果笔者可以很明确的告诉你不会好RAG捕捉语义信息但是它难以局部捕捉关键词过滤除非你的文件名或者文件内容开头就叫做XX员工2023年工作总结但是一般不会RAG索引的原则就是尽量不要在索引的时候往里面添加先验的信息这里的”XX员工“和”2023年“都是搜索关系型数据库的筛选条件于是我们先把这句话通过NL2SQL的方式把”XX员工“和”2023年“作为WHERE条件筛选出这个人所有的2023年工作总结把他们作为一个子知识库的文档然后再把”关于大模型训练方面的工作总结“拿去再这个子知识库里面去召回相关的文档回头看一下召回框架图左侧多出来加粗的红色流程将会一目了然除此之外Agentic RAG构型非常的多对于这一部分笔者认为不管你是做AI Agent开发的工程师还是做模型训练的算法工程师亦或是两者兼具的工程人员掌握这部分至关重要。引述笔者在朋友圈说的一段话以后将会有至少有一半的做Post Train的人转做Agentic RL现在框架越来越多了就等爆发了人类的工具的描述因为业务要求会更平铺直叙更规范模型理解和调用工具比理解人类日常语言轻松的多。类比的说就像模型给你写代码一样代码语言因为实用性和便于理解性所以代码语言多样性语义球面是收敛的。”模型即业务就是趋势“论文和研究显示这里的爆发不是指你用Dify、MaxKB编排了多少应用。而是厂商和开源推出基于同质化严重的不多不少的优秀的业务工具调用链路和调用记录采用RL端到端的训练你业务的Agent里面的LLM进一步让你”解放“。总结期望RAG本身不包含Agentic RAG本身是一个长期优化的方向现在已经有或者有待优化的方向可以总结如下文件类型和版面的持续优化这是一个长期需要优化的过程话繁多样的文件格式每种格式存在不同的版面该部分存在版面识别算力资源和效率之间的trade-off使用诸如PP-DocLayoutV2PaddleOCR的方式可以对文件很好的做拆分然后单独识别但是面对线上每日成千上万的文档这样的资源耗费量是巨大的文本切分持续优化同样的如何切片能够让分片的文本语义内聚性更高也是一个长期优化的方向它同样存在算力、空间和效果的trade-off采用模型切割需要更多的算力建立文档之间的关联关系需要更多的空间图文混排文本中含有大量的图片和文本比如某个产品的说明书、建筑设计图电路设计方案等使用VLM模型先去做描述本身也会非常复杂需要合理的设计让文和图之间架起桥梁编码合适的引用标识相互定位召回出来的文档整体给LLM去回答图文统一的Emebdding的模型通过一套Embedding架起文到图、图到文、图到图、文到文四者的关联相比于同时使用text embedding和clip模型少存储一套Embedding少请求一次Embedding计算并且在召回层面可以兼容以图搜图和以图搜文的场景截止到该文章发布已经有不少相关的模型出现可参考MMEB LeaderBoard大部分在VL模型上微调而来这里又是算力和效果的trade-offPrompt优化调用工具、识别意图、判断相关性都需要根据不同的业务调整Prompt没法统一单独调优获取最佳的效果按需索引对于一些知识库巨大的场景如用户的全量邮箱、笔记等一次性为用户索引好全部的内容是不可取的会造成计算资源的浪费需要从用户测考虑对用户重要的内容产品测引导用户按需开放如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取