怎么才能找到想做网站建设的客源当今做那些网站能致富

怎么才能找到想做网站建设的客源,当今做那些网站能致富,网站开发销售提成,贷款网站怎么做的论文#xff1a;Octo#xff1a;An Open-Source Generalist Robot Policy 1. 引言 机器人领域构建“通用策略模型”面临多重挑战#xff0c;包括处理不同的机器人结构、传感器设置、动作空间、任务规格和环境条件等#xff0c;考虑设计和开发一个具备广泛适应性的机器人策略…论文OctoAn Open-Source Generalist Robot Policy1. 引言机器人领域构建“通用策略模型”面临多重挑战包括处理不同的机器人结构、传感器设置、动作空间、任务规格和环境条件等考虑设计和开发一个具备广泛适应性的机器人策略模型旨在解决传统机器人策略难以泛化的问题。Octo模型由Transformer架构驱动在Open X-Embodiment数据集的800k条trajectory上训练支持多任务、多传感器输入和多动作空间能够高效微调并适应新领域的机器人任务。2. Octo模型架构Octo的核心架构是基于Transformer的通用策略模型模型设计注重灵活性和可扩展性包括以下三个主要部分input tokenizers将任务描述语言指令或目标图像和观察第三人称和腕式相机图像或其他传感器数据转化为统一的token序列后续统一输入到transformer语言输入通过预训练的T5模型111M参数进行编码。观测和目标图像通过浅层卷积网络编码为token。输出将位置编码添加到任务token和观察token按照 [TT, To1, To2, . . . ]顺序排列Transformer主干网络输入任务token和观察token产生embeddingsOcto的Transformer结构采用了块状的自注意力机制观察token只能因果地关注来自当前或更早时间步的token和任务token。这种模块化设计可以在微调过程中增加或移除观察和任务输入。Readout Headsaction head接受Readout token输出动作序列readout代表transformer的输出中的[CLS] token。readout标记的作用类似于BERT中的[CLS]标记充当序列的紧凑向量嵌入。Action Head用于从Transformer输出中生成连续动作是一个3层 MLP包含256隐藏单元、残差连接和层归一化。Octo的架构设计是为了在处理多种不同机器人平台、传感器输入以及任务定义时具有灵活性。这当在下游添加新的任务不同机器人的动作空间如末端位姿、关节位置、关节速度仅需修改Action Head结构Transformer主干保持完全不变在特定的任务上进行微调。例如: 某个场景中, 机器人配备了激光雷达, rgb相机, 红外相机, 目的是完成某些特定零件的摆放和打包, 所以这里observation就变成了rgb图像, 红外图像, 点云, task为文本指令, 以及最终的head预测为 机械臂的末端位姿, 末端执行器的开合状态等.3. 预训练数据Octo模型预训练基于Open X-Embodiment数据集这是一个包含150万机器人操作轨迹的庞大数据集。Octo使用了其中80万条机器人示范数据覆盖了多种机器人任务和环境。该数据集包括多种不同的机器人类型和任务场景各种传感器配置如手腕相机和第三人称相机丰富的任务标签包括语言指令和目标图像。在数据采样方面论文采用了加权采样方法优先选择数据多样性较高的任务和场景同时避免过度重复的任务对训练产生偏差。此外为了使不同的数据集之间的动作空间保持一致研究团队对抓手动作进行了标准化处理。4. 训练目标与优化方法Octo采用conditional diffusion decoding head来预测连续的、多模态的动作分布。具体来说每个动作预测只执行一次transformer backbone的前向传播之后多步去噪过程完全在action head进行。生成动作步骤如下采样高斯噪声向量将高斯噪声添加到数据集动作通过条件化网络逐步去噪生成准确的动作序列。​xk−1α(xk−γϵθ(xk,e,k)N(0,σ2I))x^{k−1}α(x^k−γ\epsilon_{θ}(x^k,e, k)N(0,σ^2I))xk−1α(xk−γϵθ​(xk,e,k)N(0,σ2I))其中e对应的是transformer的Readout token作为条件输入到去噪网络与均方误差MSE或离散化动作分布的预测方法相比扩散解码能够更好地捕捉多模态动作分布提高策略的精度和灵活性。训练过程中使用了标准的DDPM去噪扩散概率模型目标函数这种方法对处理复杂、多模态的机器人任务非常有效。训练细节根据transformer的参数大小, 训练了两个模型Octo-Small(使用VIT-S), Octo-Base(使用VIT-B),图像使用了2帧历史帧(论文提到只使用1帧历史帧时, 精度反而会轻微下降)当数据集中没有文本指令时, 只用goal image作为task toke