2019年语言分部指威尼斯俱乐部、东莞和威尼斯南部

语义分割(Semantic segmentation)是指将图像中的每个像素分类成类别标签的过程,类别标签可以包括人、车、花、家具等。

我们可以把语义分割看作像素级的图像分类。

例如,在有许多汽车的图像中,分割将所有对象标记为汽车对象。

然后,称为实例分割的模型可以标记图像中出现的对象的独立实例。

这种分割在计算对象数量的应用中非常有用,例如计算购物中心的行人流量。

它的一些主要应用是自动驾驶、人机交互、机器人和照片编辑/创意工具。

例如,语义分割在自动驾驶和机器人技术中非常重要,因为模型理解其环境中的语义信息非常重要。

资料来源:http://www.cs.toronto.edu/~廷伍旺/语义segmentation让我们看看一些研究论文,涵盖了构建语义分割模型的最先进的方法。即:深度卷积神经网络(弱监督和半监督语义分割深度神经网络)的弱监督和半监督学习语义分割(FullyOnvolume Neural Network for ematics)U-NET:用于生物医学图像表示的卷积网络(用于生物医学图像语义分割的卷积神经网络)Nehdraldlayers stiramiu:fully onvolution dense foremanagement(用于语义分割的全volume densenet)多尺度上下文扩展(基于)fastfcn:对语义分割的后端重新采用backaconforcesematics(fast fcn:空中的kingdlatedconvolution语义分割的再思考)门控-SCNN门控形状卷积神经网络提出了一种解决深层卷积网络中弱标记数据处理问题的方法,并将处理好的标记数据和不适当的标记数据结合起来。

本文应用深度神经网络和完全连通条件随机场的组合。

DCNN弱半监督学习(https://arxiv.org/abs/1502.02734)用于语义分割在PASCALVOC分割基准中,该模型给出了70%以上的平均IoU。

该模型的主要困难之一是在训练过程中需要在像素级标记图像。

本文的主要贡献在于:引入了适用于弱监督和半监督设置的期望最大化算法,用于边界框或图像层次的训练;实践证明,弱标记和强标记的结合可以提高性能。将MSCOCO数据集和PASCAL数据集的标记合并后,得到73.9%的IoU在PASCALVOC2012上。实践证明,通过将少量像素级标记图像与大量边界或图像级标记图像相结合,可以获得更好的性能。

02.语义分割总量网络(PAMI,2016年)语义分割总量网络。本文提出的模型在PASCALVOC2012上的平均IU达到了67.2%。

所有连接的网络输入任何大小的图像,以生成对应于空之间维度的输出。

在该模型中,ILSVRC分类器被转换成完全连接的网络,并且使用逐像素损失和网络内上采样增强来执行密集预测。之后,通过微调完成分段训练。

微调是通过整个网络的反向传播来完成的。

03.生物医学图像分割的卷积网络在生物医学图像处理中,获取图像中每个细胞的类别标签非常重要。

然而,生物医学任务中最大的挑战是很难获得成千上万的图像用于训练。

医学图像分割的卷积网络(https://arxiv.org/abs/1505.04597)本文建立在全体积分层的基础上,并对其进行了改进,以使其对一些训练图像有效,并产生更精确的分割。

由于只能获得少量的训练数据,该模型对现有数据进行弹性变形以增强数据。

如图1所示,网络体系结构由左侧的收缩路径和右侧的扩展路径组成。

收缩路径由两个3×3卷积组成,每个卷积之后是一个修改的线性单元和一个2×2最大化池,用于下采样。

每个下采样阶段使特征信道的数量翻倍。

扩展路径步骤包括特征通道的上采样。

随后是2×2汇总,将要素通道数量减少一半。

最后一层是1×1卷积,它将分量特征向量映射到所需的类别数。

在这个模型中,训练是使用输入图像(它们的分割图)和Caffe实现的随机梯度下降来完成的。

数据增强用于教导网络在使用少量训练数据时实现所需的鲁棒性和不变性。

该模型在一次实验中获得了0.92的平均IoU。

04.100 Tier Tiramisu:全卷DenseNets(2017)DenseNets语义分段背后的理念是,以前向传播的方式将每一层连接到所有层将使网络更容易训练和更准确。

100层提拉米苏:语义分割的全体积密度网络(https://arxiv.org/abs/1611.09326)模型结构建立在密度块的下采样和上采样路径中,下采样路径有2个向下过渡(TD),上采样路径有2个向上过渡(TU)。

圆圈和箭头表示网络中的连接模式。

本文的主要贡献在于:将DenseNet结构扩展到全卷产品网络进行语义细分;密集网络中的上采样路径比其他上采样路径具有更好的性能。实践证明,该网络可以在标准基础上产生最佳结果。

该模型在CamVid数据集上实现了88%的全局精度。

05.扩展卷积的多尺度背景聚合(ICLR,2016)本文开发了一个卷积网络模块,可以融合多尺度背景信息而不损失分辨率。

然后,该模块可以以任何分辨率插入到现有架构中。

该模块基于扩展卷积。

扩展卷积多尺度上下文聚合(https://arxiv.org/abs/1511.07122)该模块在帕斯卡尔沃2012数据集上进行了测试。

实践证明,在现有语义分割体系结构中添加上下文模块可以提高其准确性。

经过实验培训后,前端模块在挥发性有机化合物-2012验证装置上的平均IoU达到69.5%,在测试仪上达到71.3%。

模型对不同对象的训练精度如下。

06.深度实验室(DeepLab):基于深度卷积网络的图像语义分割,空洞卷积和完全连通的CRF(TPAMI,2017)。本文对基于深度学习的语义分割的贡献如下:针对强预测任务,提出了上采样滤波器。

提出空之间的金字塔池(ASPP)用于多尺度目标分割,以利用离散余弦神经网络来改善目标边界定位。

深度实验室:语义图像分割,使用深度转换网络、深度转换和完全…(https://arxiv.org/abs/1606.00915)本文提出的深度实验室系统在PASCALVOC-2012语义图像分割任务上达到79.7% mIOU。

本文针对深度神经网络在语义分割应用中面临的主要挑战,包括:最大池化和下采样相结合导致特征分辨率降低。

目标的多尺度问题。

DCNN空之间的变换不变性导致定位精度降低,而面向对象分类器需要具有空之间的变换不变性。

空孔卷积可以通过对滤波器插入零点进行上采样或对输入特征图进行稀疏采样来实现。

第二种方法要求以等于空孔的卷积速率r的因子对输入特征图进行下采样,并移除间隔线以生成分辨率降低的r 2图。每一个可能的r×r分辨率的简化变换都对应一个分辨率图。

然后,将标准卷积运算应用于所获得的特征图,以将提取的特征与图像的原始分辨率融合。

07.重新思考用于语义图像分割的Atrous卷积(2017)本文讨论了使用DCNNs进行语义分割的两个挑战(前面提及);应用连续池化操作出现的特征分辨率降低和对象在多2019年语言分部指威尼斯俱乐部、东莞和威尼斯南部尺度出现。07.重新思考语义图像分割的阿特鲁卷积(2017)本文讨论了使用DCNNs进行语义分割的两个挑战(前面已经提到);应用连续池操作时,会出现特征分辨率的降低和对象的多尺度外观。

为了解决第一个问题,本文建议使用Atlus卷积,也称为扩展卷积。

提出利用阿特鲁卷积扩大视野,从而包含多尺度背景来解决第二个问题。

在没有DenseCRF后处理的情况下,本文的“DeepLabv3”在PASCALVOC2012测试集中达到了85.7%的准确率。

08.基于空孔的可分离卷积编解码器的图像语义分割(ECCV,2018)本文的方法“DeepLabv3+”在PASCALVOC2012和Cityscapes数据集上无需任何后处理,分别实现了89.0%和82.1%的测试集性能。

该模型是DeepLabv3的扩展,它通过添加一个简单的解码器模块来细化分割结果。

基于空孔可分离卷积编解码器的图像语义分割(HTTPS://papers withCode . com/Paper/编码器-解码器-与阿特柔斯分离)来源:https://arxiv.org/pdf/1802.02611v3.pdf本文使用空之间的金字塔池模块实现了两个神经网络用于语义分割。

一种方法通过融合不同分辨率的特征来获取上下文信息,而另一种方法侧重于获得清晰的目标边界。

来源:https://arxiv.org/pdf/1802.02611v3.pdf09.FastFCN:重新思考语义分割模型主干中的扩展卷积(2019)本文提出了一个联合上采样模块,名为联合金字塔上采样(JPU),以取代消耗大量时间和内存的扩展卷积。

其工作原理是将获取高分辨率图像的任务转化为联合上采样问题。

重新考虑语义分割模型主干中的扩展卷积。该方法在PascalContext数据集上实现了53.13%的mIoU性能,运行速度提高了三倍。

来源:https://arxiv.org/pdf/1903.11816v1.pdf该方法实现以全连接网络(FCN)为骨干,利用JPU对低分辨率要素图进行上采样,生成高分辨率要素图。

用JPU代替扩展卷积不会导致任何性能损失。

来源:https://arxiv.org/pdf/1903.11816v1.pdf10.通过视频传播和标签放松优化语义分割(CVPR,2019年)。提出了一种基于视频的方法,通过合成新的训练样本来扩展训练集。

这是为了提高语义分割网络的准确性。

该方法探索视频预测模型预测未来帧的能力,以便预测未来帧的标签。

通过视频传播方法和标签松弛方法优化语义分割源:https://arxiv.org/pdf/1812.01593v3.pdf用合成数据集训练分割网络,提高预测精度。

本文提出的方法在城市景观数据集上可以达到83.5%的百万用户,在摄像机视频数据集上可以达到82.9%的百万用户。

来源:https://arxiv.org/pdf/1812.01593v3.pdf本文提出了两种预测未来标签的方法:标签传播(LP)通过将传播的标签与真实的未来帧配对来创建新的训练样本。

图像标签混合传播通过将传播标签与相应的传播图像进行匹配来创建新的训练样本。

本文主要有三个命题。视频预测模型用于将标签传播到相邻帧。引入图像标签混合传播方法来解决图像错位问题。通过最大化联合类概率似然函数来放松单热标签的训练。

来源:https://arxiv.org/pdf/1812.01593v3.pdf11.门控SCNN:门控形状CNN(2019)语义分割本文是语义分割模块的最新发展。

作者提出了一种双流有线电视新闻网架构。

在这种体系结构中,形状信息被视为一个独立的分支。

该形状流仅处理边界相关信息。

这是通过模型的门控卷积层(GCL)和局部监督来实现的。

门控SCNN:门控形状CNNs(2019,https://arxiv.org/abs/1907.05740)用于语义分割该模型在mloU上的表现优于DeepLab-v3+1.5%,在F接口上的表现优于4%。

该模型已经使用城市景观基准进行了评估。

在更小和更薄的物体上,该模型在IoU上实现了7%的改进。

下表总结了门控SCNN与其他型号的性能比较。我们现在应该跟上最近在各种环境中执行语义分割的一些最常见和最集中的技术。

上面的文章/摘要包含到其代码实现的链接。

我们很高兴看到你考试后的成绩。

通过:https://heart beat . fritz . ai/a-2019-指南-半分段-ca8242f5a7fc您想继续查看本文中的相关链接和参考吗?点击[2019语义细分指南]访问~全干货免费福利配送课程!“有趣的蟒蛇:从数据挖掘到深度学习”涵盖了从蟒蛇介绍到简历和自然语言处理实践的所有内容。这是一门非常好的深度学习入门课程,共有9节32小时的课程,总时长约13小时。

课程页面:https://ai.yanxishe.com/page/domesticCourse/37’s《计算机视觉基础课程》(Basic Course of Computer Vision)本课程主要介绍计算机视觉方向的深度学习算法和应用,涵盖计算机视觉的历史和整个课程规划,美国有线电视新闻网的模型原理和训练技巧,计算机视觉应用案例等。,适合对计算机视觉感兴趣的新人。

课程页面:https://ai.yanxishe.com/page/domesticCourse/46人工智能研究所现在向社区认证用户免费开放两门课程。只要您在认证期间在注释框中填写“Python”,您就可以在认证通过后获得课程的所有解锁权限。

未经允许不得转载:澳门威尼斯人App下载 » 2019年语言分部指威尼斯俱乐部、东莞和威尼斯南部
分享到:
赞(0)

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址