博客网站需求分析网站建设如何创建框架页面

博客网站需求分析,网站建设如何创建框架页面,怎么做游戏网站编辑,电商品牌授权网站本文来源#xff1a;k学长的深度学习宝库#xff0c;点击查看源码详细教程。深度学习#xff0c;从入门到进阶#xff0c;你想要的#xff0c;都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。 1、Monodepth v2 的背景和动机 在 Monodepth#…本文来源k学长的深度学习宝库点击查看源码详细教程。深度学习从入门到进阶你想要的都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。1、Monodepth v2 的背景和动机在 Monodepth2017之后研究者们证明了自监督学习可以让模型从单目图像中学习深度而不需要昂贵的激光雷达或人工标注。作者明确解释了提出 v2 的动机主要是针对 Monodepth v1 的局限性 做改进。核心动机包括解决“无相机运动”场景带来的干扰在 KITTI 的完整数据集中有不少序列是采集车辆在红绿灯前停车时获取的此时相机没有运动。如果直接用 v1 方法训练光度一致性约束会失效模型会被误导。 改进Monodepth2 引入 自动遮罩auto-masking自动检测并忽略这些无效帧对从而避免错误监督提高视差学习的鲁棒性Monodepth v1 的重投影损失在存在遮挡或动态物体时容易出错。 改进Monodepth2 使用 最小重投影损失minimum reprojection loss在多个可能的重建结果中选择误差最小的作为监督信号避免被遮挡区域影响增强深度预测的细节保真Monodepth v1 多尺度训练时低分辨率的深度图在上采样后会丢失细节。 改进Monodepth2 使用 全分辨率多尺度full-resolution multi-scale 策略在更高分辨率上直接计算光度损失从而保留更多几何细节整体性能和稳定性的提升作者通过消融实验表明这些新组件协同工作时完整的 Monodepth2性能明显优于 v1并且在 KITTI 上超越了当时的大部分方法✅ 一句话总结 Monodepth2 的动机是为了解决 Monodepth v1 在 无相机运动、动态物体、遮挡和分辨率不足 等情况下的局限性通过 自动遮罩 最小重投影损失 全分辨率多尺度监督提升了训练的鲁棒性和预测深度的精度。2、Monodepth v2 的核心方法和创新点2.1、三大核心方法(1) 最小重投影损失Minimum Reprojection Loss问题在单目视频里有些像素在一帧能看到在另一帧却被遮挡。普通的重建误差会惩罚模型“看不见的地方”导致错误。方法Monodepth v2 提出在计算误差时对同一像素来自不同源视角的重建只取最小的那个误差。直觉避免因为遮挡导致的“冤枉惩罚”。比喻小朋友考试时老师出两道差不多的题他只需要答对其中一道就不会被扣分。这样即使有一道题他看不到被遮挡也不算错。(2) 自动掩码Auto-Masking Loss问题如果相机停着不动或者场景里的物体车、人和相机同步移动画面几乎没变化。这时候重建误差很小模型就会以为“随便预测都对”。方法Monodepth v2 引入一个“自动掩码”检测出这种情况下的像素把它们从训练中排除。直觉只学那些真的能提供深度信息的像素。(3) 全分辨率多尺度预测Full-Resolution Multi-Scale Prediction问题老方法在低分辨率层计算损失容易出现“纹理复制伪影”比如地砖纹路直接当成深度。方法v2 在每一个尺度预测时都把预测结果“上采样”到原始分辨率再计算损失。这样每个层级都在真实清晰的画面上接受监督。直觉保证模型学到的深度边界更加锐利。比喻以前学生画素描时先在小图上粗略练习结果习惯了糊涂画。现在老师要求不管在哪个阶段都必须在大画布上画边缘要清晰。2.2、创新点总结Monodepth v2 的创新点主要体现在损失函数和训练策略上而不是复杂的新网络结构。最小重投影解决了遮挡像素的冤枉惩罚。自动掩码避免了静态或同步移动场景下的学习错误。全分辨率多尺度抑制了纹理复制伪影让预测更锐利。 这让 Monodepth v2 在保持简单结构的同时大幅提升了鲁棒性和精度。2.3、形象化总结你可以把 Monodepth v2 想象成一个学生在画立体画老师给了三条新规矩看不清的地方可以不画最小重投影题目和答案一模一样的题不用做自动掩码任何时候都要在大画布上画清楚全分辨率多尺度。结果这个学生不但画得更稳、更准而且细节也清晰了。3、Monodepth v2 的主要缺陷虽然 v2 已经比 v1 好很多但它仍然不是“完美”的论文讨论部分也提到了限制 绝对尺度拿不准单目先天的“量纲”问题和 Monodepth v1 一样Monodepth2 只能学到相对深度仍需要额外的尺度信息比如相机基线长度、已知的 LiDAR 点才能恢复绝对深度。依赖亮度恒常/朗伯反射假设遇到反射与高光就“翻车”右边深度图中绿色圈出的地方出现了明显错误原因是该区域有 扭曲形变、强反射或高饱和的颜色。这种情况下光度一致性假设失效左右相机或前后帧看到的颜色/亮度差别太大模型无法通过“像素匹配”来正确估计深度。结果深度估计变得不稳定或完全错误。 通俗理解像车窗玻璃、金属车身、阳光反射的区域左右眼看到的画面根本对不上网络就“懵了”学不到正确的深度。边界模糊、形状复杂、细长结构仍然难现象边界不清楚或几何形状复杂的物体细杆、栅格等容易被错判或糊掉。论文在“失败案例”里明确展示了这类问题。深度图中圈出的两个问题左边物体边界模糊导致网络无法准确识别“哪是物体、哪是背景”结果深度过渡不清晰。右边树叶或路边标志这种 形状复杂的物体网络难以精确建模其几何细节深度预测出现了畸形。原因在于自监督信号主要依赖外观重建它对 边界清晰度和小物体几何 的建模能力有限。 通俗理解模糊边界像是拍照时“虚焦”网络分不清哪里该断开。形状复杂的树枝、树叶对网络来说就像“乱麻”重建监督不足以让它学会复杂几何。仍依赖于相机标定和固定基线Monodepth2 的自监督训练依赖于双目数据或单目视频以及精确的相机内参。跨域问题严重如果测试集的相机焦距、基线、分辨率与训练集不同预测质量会明显下降需要额外微调。4、后续的哪些模型是如何基于此进行改进 DPT (Dense Prediction Transformer)论文Ranftl et al., “Vision Transformers for Dense Prediction”, ICCV 2021.核心思想把 Vision Transformer (ViT) 引入到 像素级预测任务深度估计、语义分割、超分辨率。特点用 Transformer 代替 CNN 来捕捉 全局上下文克服 CNN 只关注局部感受野的问题。Backbone 使用 ViT / DeiT加上专门设计的 token-to-pixel 解码头。训练时混合了多个数据集室内 NYU、室外 KITTI、MegaDepth 等获得强泛化能力。效果DPT 在 单目深度估计 (Monocular Depth Estimation) 上超过了之前的 CNN 方法包括 Monodepth2尤其在跨数据集泛化上表现很好。 MiDaS论文Ranftl et al., “Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer”, TPAMI 2022.核心思想利用 多数据集训练KITTI、NYU、ScanNet、MegaDepth 等得到一个“泛用深度模型”。特点不依赖严格的几何监督而是用不同来源的数据相对深度、稠密深度、稀疏深度混合训练。模型在 零样本 (zero-shot) 场景下泛化极强可以在从未见过的数据集上预测出合理的深度。效果成为工业界和研究界 通用单目深度估计模型常被用作预训练 backbone。 AdaBins论文Bhat et al., “AdaBins: Depth Estimation using Adaptive Bins”, CVPR 2021.核心思想把深度预测从 回归问题 → 分类问题。做法把深度范围切分成多个 自适应区间 (adaptive bins)。模型先预测每个 bin 的边界再对像素做 softmax 分类从而得到深度。优势解决了直接回归深度时容易出现数值不稳定的问题尤其是远处的深度预测更准确。 PackNet-SfM论文Guizilini et al., “3D Packing for Self-Supervised Monocular Depth Estimation”, CVPR 2020.核心思想改进网络结构使其能更好保留分辨率和几何信息。特点设计了 packing-unpacking 卷积层在下采样时保留更多几何信息。同时学习 深度 相机位姿类似 SfMLearner。效果在 KITTI 上显著超过 Monodepth2尤其在精细结构边缘、物体细节上更好。 ManyDepth论文Watson et al., “The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth”, CVPR 2021.核心思想利用 多帧视频上下文 来提升单目深度估计的稳定性。特点在训练和推理时同时使用 多帧图像借助时序一致性。提出 Depth Hints 技术用稀疏深度或几何先验辅助训练。效果在 KITTI 等视频场景中显著优于单帧方法Monodepth2。本文来源k学长的深度学习宝库点击查看源码详细教程。深度学习从入门到进阶你想要的都在这里。包含学习专栏、视频课程、论文源码、实战项目、云盘资源等。