兰溪城市建设规划网站中国娱乐公司三大巨头

兰溪城市建设规划网站,中国娱乐公司三大巨头,网站建设需要注册什么类型的公司,农业企业网站模板免费下载#x1f6a9; 对比学习最经典的框架#xff1a;SimCLR 笔记它来咯#xff01; 主要包括#xff1a;数据增强 编码 投影头 对比损失 文章目录1. 一句话概括2. 简介2.1 模型定位2.2 历史意义2.3 核心思想3. 方法3.1 数据增强#xff08;Data Augmentation#xff09;3.2… 对比学习最经典的框架SimCLR笔记它来咯主要包括数据增强编码投影头对比损失文章目录1. 一句话概括2. 简介2.1 模型定位2.2 历史意义2.3 核心思想3. 方法3.1 数据增强Data Augmentation3.2 编码网络Encoder Network3.3 投影头Projection Head3.4 对比损失Contrastive Loss1. 一句话概括SimCLR是一种基于对比学习的自监督框架对每张图像生成两种强增强视图作为正样本对使用ResNet编码并通过MLP投影头得到对比空间表示在 batch 内把其他样本当作负样本用带温度系数的NT-Xent损失拉近正对、拉远负对从而学习可迁移的视觉表征。2. 简介2.1 模型定位图像分类、目标检测、语义分割的预训练模型2.2 历史意义SimCLRSimple Contrastive Learning of visual Representations它是自监督学习Self-Supervised Learning, SSL在计算机视觉领域的重要里程碑之一由 Google Research 在 2020 年提出。利用对比学习实现自监督学习模型的性能超越了有监督学习模型的性能。论文《A Simple Framework for Contrastive Learning of Visual Representations》代码仓库https://github.com/google-research/simclr2.3 核心思想让同一张图像的不同增强视图在特征空间中彼此靠近同时让不同图像的增强视图彼此远离。对比学习换句话说模型要学会“识别”哪些特征属于同一图像的不同视角从而学到对图像变换鲁棒的通用特征。3. 方法3.1 数据增强Data Augmentation对同一张原始图像 x随机采样两种不同的增强方式得到两个视图x i x_ixi​和x j x_jxj​正样本对数据增强方式组合包括随机裁剪缩放颜色扰动随机灰度高斯模糊水平翻转目的制造视觉上不同但语义相同的样本迫使模型关注语义而非表面特征。前两种数据增强方法对效果提升很重要。importtorchvision.transformsasT# SimCLR 常用的数据增强组合适用于 ImageNet 风格输入simclr_train_transformT.Compose([T.RandomResizedCrop(size224,scale(0.08,1.0)),# 随机裁剪缩放T.RandomApply([# 颜色扰动按概率应用T.ColorJitter(brightness0.4,contrast0.4,saturation0.4,hue0.1)],p0.8),T.RandomGrayscale(p0.2),# 随机灰度T.GaussianBlur(kernel_size23,sigma(0.1,2.0)),# 高斯模糊kernel_size 建议为奇数随分辨率调整T.RandomHorizontalFlip(p0.5),# 水平翻转T.ToTensor(),# 转成 PyTorch TensorT.Normalize(mean(0.485,0.456,0.406),std(0.229,0.224,0.225))# 对每个通道做标准化这组数来自 ImageNet 的统计])3.2 编码网络Encoder Network使用一个卷积神经网络ResNet将增强图像x i x_ixi​和x j x_jxj​编码为特征向量。3.3 投影头Projection Head小型非线性网络通常是MLP投影头的输出z zz才是对比学习任务的直接输入训练完成后可丢弃只用编码器f ( . ) f(.)f(.)提取的特征做下游任务。3.4 对比损失Contrastive Loss使用 Normalized Temperature-scaled Cross Entropy LossNT-Xent​ 计算损失其中τ温度参数temperature控制分布的平滑程度。NT-Xent 损失本质是 InfoNCE 的一种写法损失的演变过程NCE原本是一种用于估计概率模型中配分函数partition function的方法通过将密度估计问题转化为二分类问题区分真实数据与噪声数据。InfoNCE在 NCE 的基础上用于最大化输入与表征之间的互信息的下界在对比学习中它表现为“让正样本对的相似度高于负样本对”。NT-Xent一种写法上的转变