CN108491889A - 图像语义分割方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种图像语义分割方法、装置及计算机可读存储介质，所述图像语义分割方法包括：对现有图片集进行扩增，得到新图片集；通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型；获取测试图片，对所述测试图片进行预处理；将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果。本发明中，增加图片集覆盖场景范围，对测试图片进行预处理，一方面提高了语义分割算法的适用范围，另一方面提高了语义分割算法的预测准确率。

Description

图像语义分割方法、装置及计算机可读存储介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及图像语义分割方法、装置及计算机可读存储介质。

背景技术

随着自动驾驶的飞速发展，与自动驾驶相关的技术也得到了飞速发展，其中，基于深度学习的语义分割技术在自动驾驶中得到广泛应用。语义分割技术能够对目标进行像素级的分类，此种像素级分类对自动驾驶场景中的环境感知具有重大意义。由于语义分割算法相关数据集大多是在路面宽阔，天气良好的情况采集的，因此语义分割算法适用场景也是天气良好的情况。然而随着自动驾驶技术的发展，自动驾驶汽车需要适应的场景也越来越多，目前语义分割算法在识别带有光斑的路面图片时会失效，容易将路面上的光斑识别成路面标线。

发明内容

本发明的主要目的在于提供一种图像语义分割方法、装置及计算机可读存储介质，旨在解决现有技术中语义分割算法应用在光照不均匀场景下，预测准确率较低的技术问题。

为实现上述目的，本发明提供一种图像语义分割方法，所述图像语义分割方法包括：

对现有图片集进行扩增，得到新图片集；

通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型；

获取测试图片，对所述测试图片进行预处理；

将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果。

可选的，所述对现有图片集进行扩增，得到新图片集包括：

对现有图片集中的现有图片进行对比度增强处理以及将目标场景图片加入所述现有图片集，得到新图片集。

可选的，所述通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型包括：

将所述新图片集输入初始语义分割算法，得到训练结果；

通过所述训练结果，对所述初始语义分割算法进行参数优化，得到目标语义分割模型。

可选的，所述获取测试图片，对所述测试图片进行预处理包括：

获取测试图片，对所述测试图片进行对比度增强处理以及白平衡处理。

可选的，所述将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果之后包括：

获取所述测试图片的标注信息；

将所述语义分割结果与所述标注信息进行对比，得到对比结果，并输出所述对比结果。

此外，为实现上述目的，本发明还提供一种图像语义分割装置，所述图像语义分割装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像语义分割程序，所述图像语义分割程序被所述处理器执行时实现如上所述的图像语义分割方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像语义分割程序，所述图像语义分割程序被处理器执行时实现如上所述的图像语义分割方法的步骤。

本发明中，对现有图片集进行扩增，得到新图片集，通过新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型，获取测试图片，对测试图片进行预处理，将经过预处理的测试图片输入目标语义分割模型，得到语义分割结果。本发明中，增加图片集覆盖场景范围，对测试图片进行预处理，一方面提高了语义分割算法的适用范围，另一方面提高了语义分割算法的预测准确率。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的图像语义分割装置结构示意图；

图2为本发明图像语义分割方法第一实施例的流程示意图；

图3为本发明图像语义分割方法一实施例的操作流程示意图；

图4为本发明图像语义分割方法一实施例中语义分割结果示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的图像语义分割装置结构示意图。

本发明实施例图像语义分割装置可以是PC，也可以是智能手机、平板电脑、便携计算机等具备一定数据处理能力的终端设备。

如图1所示，该图像语义分割装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的图像语义分割装置结构并不构成对图像语义分割装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像语义分割程序。

在图1所示的图像语义分割装置中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像语义分割程序，并执行以下操作：

对现有图片集进行扩增，得到新图片集；

通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型；

获取测试图片，对所述测试图片进行预处理；

将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果。

进一步地，所述对现有图片集进行扩增，得到新图片集包括：

对现有图片集中的现有图片进行对比度增强处理以及将目标场景图片加入所述现有图片集，得到新图片集。

进一步地，所述通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型包括：

将所述新图片集输入初始语义分割算法，得到训练结果；

通过所述训练结果，对所述初始语义分割算法进行参数优化，得到目标语义分割模型。

进一步地，所述获取测试图片，对所述测试图片进行预处理包括：

获取测试图片，对所述测试图片进行对比度增强处理以及白平衡处理。

进一步地，所述将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果之后包括：

获取所述测试图片的标注信息；

将所述语义分割结果与所述标注信息进行对比，得到对比结果，并输出所述对比结果。

参照图2，图2为本发明图像语义分割方法第一实施例的流程示意图。

在一实施例中，图像语义分割方法包括：

步骤S10，对现有图片集进行扩增，得到新图片集；

本实施例中，对现有图片集进行扩增得到新图片集包括：对现有图片集中的现有图片进行对比度增强处理，以及在现有图片集中加入光照不均匀场景图片(例如在树荫底下带有光斑的路面图片)。

本实施例中，现有图片集中的现有图片是指在路面宽阔以及天气良好的情况下采集的图片，现有图片中不存在光照不均匀的情况。例如，现有图片集中有若干张路面图片，这些图片均不带有光斑。对这些图片进行对比度增强处理(对比度增强是将图像中的亮度值范围拉伸或压缩成显示系统指定的亮度显示范围，从而提高图像全部或局部的对比度)。相当于在图片中加入了光斑的显示效果，即相当于将这些不带光斑的路面图片模拟成带光斑的路面图片。以及在现有图片集中加入带有光斑的路面图片，本实施例中，带有光斑的路面图片可以是拍摄树荫底下带有光斑的路面图片或是其他障碍物下带有光斑的路面图片。即本实施例中，新图片集包括真实采集的光照不均匀场景图片，例如树荫底下带有光斑的路面图片，以及模拟得到的带有光斑的路面图片。

步骤S20，通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型；

本实施例中，语义分割是指像素级的图像理解，即对图像中的每个像素标注所属的类别。在深度学习广泛应用于计算机视觉领域之前，人们一般使用TextonForest和Random Forest based classifiers的方法进行语义分割。CNN(Convolutional NeuralNetwork，卷积神经网络)不仅有助于图像识别，在图像的语义分割问题中同样取得了成功。深度学习方法中常见的一种语义分割方法是图像块分类(patch classification)，即利用像素周围的图像块对每一个像素进行分类。的原因是网络模型通常包含全连接层(fullyconnect layer)，而且要求固定大小的图像输入。2014年，加州大学伯克利分校的Long等人提出全卷积网络(Fully Convolutional Networks，FCN)，使得卷积神经网络不需要全连接层就可以实现密集的像素级分类，从而成为当前非常流行的像素级分类CNN架构。由于不需要全连接层，所以可以对任意大小的图像进行语义分割，而且比传统方法要快上很多。之后，语义分割领域几乎所有的先进方法都是基于该模型进行扩展的。本实施例中，对于语义分割算法的选择根据实际情况进行选择，在此不作限制。

本实施例中，将新图片集(包括如上所述的真实采集的光照不均匀场景图片，以及模拟得到的带有光斑的路面图片)作为数据输入至初始语义分割算法，得到训练结果。通过该训练结果，利用梯度下降算法(梯度下降是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降(Gradient Descent)是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法)对初始语义分割算法进行参数优化，直至得到目标语义分割模型。本实施例中，通过新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型的具体实施例，可参见现有技术机器学习中模型训练方法，在此不做赘述。

步骤S30，获取测试图片，对所述测试图片进行预处理；

本实施例中，测试图片指光照不均与场景下的图片，例如带有光斑的路面图片。测试图片与步骤S10中真实采集的光照不均匀场景图片不能相同。

本实施例中，对测试图片进行预处理包括对比度压缩处理以及白平衡处理。降低了测试图片的对比度差异，从而降低了目标语义分割模型将测试图片中的光斑识别为路面标线的概率。

步骤S40，将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果。

本实施例中，通过目标语义分割模型对经过预处理的测试图片进行图像语义分割，即对测试图片中的内容进行像素级分类，从像素的角度分割出测试图片中的不同对象，对测试图片中的每个像素都进行标注，即得到语义分割结果。

参照图3，图3为本发明图像语义分割方法一实施例的操作流程示意图。本实施例中，对现有图片进行对比度增强处理，采集光照不均匀场景图片，将经过对比度增强处理的后的图片以及光照不均匀场景图片输入初始语义分割算法，对初始语义分割算法进行参数优化，得到目标语义分割模型。对测试图片进行预处理，预处理包括对比度压缩处理以及白平衡处理，将经过预处理后的图片输入目标语义分割模型，通过目标语义分割模型对经过预处理的测试图片进行图像语义分割，得到语义分割结果。

本实施例中，对现有图片集进行扩增，得到新图片集，通过新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型，获取测试图片，对测试图片进行预处理，将经过预处理的测试图片输入目标语义分割模型，得到语义分割结果。通过本实施例，增加图片集覆盖场景范围，对测试图片进行预处理，一方面提高了语义分割算法的适用范围，另一方面提高了语义分割算法的预测准确率。

进一步的，本发明图像语义分割方法一实施例中，步骤S10包括：

对现有图片集中的现有图片进行对比度增强处理以及将目标场景图片加入所述现有图片集，得到新图片集。

本实施例中，对现有图片集进行扩增得到新图片集包括：对现有图片集中的现有图片进行对比度增强处理，以及在现有图片集中加入光照不均匀场景图片(即目标场景图片，例如在树荫底下带有光斑的路面图片)。

本实施例中，现有图片集中的现有图片是指在路面宽阔以及天气良好的情况下采集的图片，现有图片中不存在光照不均匀的情况。例如，现有图片集中有若干张路面图片，这些图片均不带有光斑。对这些图片进行对比度增强处理(对比度增强是将图像中的亮度值范围拉伸或压缩成显示系统指定的亮度显示范围，从而提高图像全部或局部的对比度)。相当于在图片中加入了光斑的显示效果，即相当于将这些不带光斑的路面图片模拟成带光斑的路面图片。以及在现有图片集中加入带有光斑的路面图片，本实施例中，带有光斑的路面图片可以是拍摄树荫底下带有光斑的路面图片或是其他障碍物下带有光斑的路面图片。即本实施例中，新图片集包括真实采集的光照不均匀场景图片，例如树荫底下带有光斑的路面图片，以及模拟得到的带有光斑的路面图片。

本实施例通过对原有图片集进行数据扩增，增加了图片集覆盖场景范围，提高了语义分割算法的适用范围。

进一步的，本发明图像语义分割方法一实施例中，步骤S20包括：

将所述新图片集输入初始语义分割算法，得到训练结果；

通过所述训练结果，对所述初始语义分割算法进行参数优化，得到目标语义分割模型。

本实施例中，语义分割是指像素级的图像理解，即对图像中的每个像素标注所属的类别。在深度学习广泛应用于计算机视觉领域之前，人们一般使用TextonForest和Random Forest based classifiers的方法进行语义分割。CNN(Convolutional NeuralNetwork，卷积神经网络)不仅有助于图像识别，在图像的语义分割问题中同样取得了成功。深度学习方法中常见的一种语义分割方法是图像块分类(patch classification)，即利用像素周围的图像块对每一个像素进行分类。的原因是网络模型通常包含全连接层(fullyconnect layer)，而且要求固定大小的图像输入。2014年，加州大学伯克利分校的Long等人提出全卷积网络(Fully Convolutional Networks，FCN)，使得卷积神经网络不需要全连接层就可以实现密集的像素级分类，从而成为当前非常流行的像素级分类CNN架构。由于不需要全连接层，所以可以对任意大小的图像进行语义分割，而且比传统方法要快上很多。之后，语义分割领域几乎所有的先进方法都是基于该模型进行扩展的。本实施例中，对于语义分割算法的选择根据实际情况进行选择，在此不作限制。

本实施例中，将新图片集(包括如上所述的真实采集的光照不均匀场景图片，以及模拟得到的带有光斑的路面图片)作为数据输入至初始语义分割算法，得到训练结果。通过该训练结果，利用梯度下降算法(梯度下降是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降(Gradient Descent)是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法)对初始语义分割算法进行参数优化，直至得到目标语义分割模型。本实施例中，通过新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型的具体实施例，可参见现有技术机器学习中模型训练方法，在此不做赘述。

本实施例中，通过新图片集对初始语义分割算法进行训练，得到目标语义分割模型，降低了目标语义分割模型将光斑识别为路面标线的概率。

进一步的，本发明图像语义分割方法一实施例中，步骤S30包括：

获取测试图片，对所述测试图片进行对比度增强处理以及白平衡处理。

本实施例中，测试图片指光照不均与场景下的图片，例如带有光斑的路面图片。测试图片与步骤S10中真实采集的光照不均匀场景图片不能相同。

本实施例中，对测试图片进行预处理包括对比度压缩处理以及白平衡处理。降低了测试图片的对比度差异，提高了语义分割准确率，降低了目标语义分割模型将测试图片中的光斑识别为路面标线的概率。

进一步的，本发明图像语义分割方法一实施例中，步骤S40之后包括：

获取所述测试图片的标注信息；

将所述语义分割结果与所述标注信息进行对比，得到对比结果，并输出所述对比结果。

本实施例中，通过目标语义分割模型对经过预处理的测试图片进行图像语义分割，即对测试图片中的内容进行像素级分类，从像素的角度分割出测试图片中的不同对象，对测试图片中的每个像素都进行标注，即得到语义分割结果。参照图4，图4为本发明图像语义分割方法一实施例中语义分割结果示意图。如图4所示，若语义分割结果将图4中对象1、对象2、对象3标注为路面标线，将对象4、对象5标注为光斑。若该测试图片的标注信息为：对象1、对象2、对象3为路面标线，对象4、对象5为光斑，则对比结果为：语义分割结果正确率100％。若语义分割结果将图4中对象1、对象2、对象3、对象4标注为路面标线，将对象5标注为光斑。若该测试图片的标注信息为：对象1、对象2、对象3为路面标线，对象4、对象5为光斑，则对比结果为：语义分割结果正确率80％。

本实施例中，将语义分割结果与标注信息进行对比，得到对比结果，并输出对比结果，使得相关人员可以通过对比结果获知目标语义分割模型对测试图片进行语义分割的准确性，可将对比结果作为目标语义分割模型能否实际应用的评判标准。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像语义分割程序，所述图像语义分割程序被处理器执行时实现如上所述的图像语义分割方法的步骤。

本发明计算机可读存储介质的具体实施例与上述图像语义分割方法的各个实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像语义分割方法，其特征在于，所述图像语义分割方法包括：

对现有图片集进行扩增，得到新图片集；

通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型；

获取测试图片，对所述测试图片进行预处理；

将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果。

2.如权利要求1所述的图像语义分割方法，其特征在于，所述对现有图片集进行扩增，得到新图片集包括：

对现有图片集中的现有图片进行对比度增强处理以及将目标场景图片加入所述现有图片集，得到新图片集。

3.如权利要求1所述的图像语义分割方法，其特征在于，所述通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型包括：

将所述新图片集输入初始语义分割算法，得到训练结果；

通过所述训练结果，对所述初始语义分割算法进行参数优化，得到目标语义分割模型。

4.如权利要求1所述的图像语义分割方法，其特征在于，所述获取测试图片，对所述测试图片进行预处理包括：

获取测试图片，对所述测试图片进行对比度增强处理以及白平衡处理。

5.如权利要求1所述的图像语义分割方法，其特征在于，所述将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果之后包括：

获取所述测试图片的标注信息；

将所述语义分割结果与所述标注信息进行对比，得到对比结果，并输出所述对比结果。

6.一种图像语义分割装置，其特征在于，所述图像语义分割装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像语义分割程序，所述图像语义分割程序被所述处理器执行时实现如下步骤：

对现有图片集进行扩增，得到新图片集；

通过所述新图片集对初始语义分割算法进行数据训练，得到目标语义分割模型；

获取测试图片，对所述测试图片进行预处理；

将经过预处理的测试图片输入所述目标语义分割模型，得到语义分割结果。

7.如权利要求6所述的图像语义分割装置，其特征在于，所述图像语义分割程序被所述处理器执行时还实现如下步骤：

对现有图片集中的现有图片进行对比度增强处理以及将目标场景图片加入所述现有图片集，得到新图片集。

8.如权利要求6所述的图像语义分割装置，其特征在于，所述图像语义分割程序被所述处理器执行时还实现如下步骤：

将所述新图片集输入初始语义分割算法，得到训练结果；

通过所述训练结果，对所述初始语义分割算法进行参数优化，得到目标语义分割模型。

9.如权利要求6所述的图像语义分割装置，其特征在于，所述图像语义分割程序被所述处理器执行时还实现如权利要求4或5所述的图像语义分割方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像语义分割程序，所述图像语义分割程序被处理器执行时实现如权利要求1至5中任一项所述的图像语义分割方法的步骤。