CN111754521B - 图像处理方法和装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法，包括：获取待处理图像和图像方向；根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向；将处理后的待处理图像输入至主体分割模型，主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的，训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理；根据主体分割模型的输出得到待处理图像的主体掩膜图。还公开了一种主体分割模型的训练方法、图像处理装置、主体分割模型的训练装置、电子设备以及可读存储介质，提高了主体分割的准确度。

Description

图像处理方法和装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理、主体分割模型的训练方法和装置、电子设备以及计算机可读存储介质。

背景技术

近年来，随着计算机技术的快速发展，图像处理技术日渐多样化，在采集的图像中进行目标检测是一种常用的图像处理方式，在智能手机和数码摄像机中的人像背景虚化、图像背景替换等诸多领域都具有广泛的应用。

传统的目标检测，图像会发生失真现象，造成检测结果精度降低。

发明内容

本申请实施例提供一种图像处理、主体分割模型的训练方法和装置、电子设备以及计算机可读存储介质，基于待处理图像的图像方向与主体分割模型的目标处理方向，采用不同的旋转方式处理不同方向的图像，在训练过程中也根据训练图像的图像方向与主体分割模型的目标处理方向，对训练图像及对应的已标注的标签主体掩膜图进行图像前处理，通过将主体分割的前处理过程与主体分割模型的训练过程相关联配合，提高了主体分割的准确度。

一种图像处理方法，包括：

获取待处理图像和所述待处理图像的图像方向；

根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向；

将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理；

根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

一种图像处理装置，包括：

获取模块，用于获取待处理图像和所述待处理图像的图像方向；

方向调整模块，用于根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向；

掩膜图模块，用于将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取待处理图像和所述待处理图像的图像方向；

根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向；

将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理；

根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取待处理图像和所述待处理图像的图像方向；

根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向；

将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理；

根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

上述图像处理方法、装置、电子设备以及计算机可读存储介质，通过获取待处理图像和待处理图像的图像方向，根据待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整待处理图像的图片方向，将处理后的待处理图像输入至主体分割模型，主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，根据主体分割模型的输出得到待处理图像的主体掩膜图，基于待处理图像的图像方向与主体分割模型的目标处理方向的匹配性，采用不同的旋转方式处理不同方向的图像，在训练过程中也根据训练图像的图像方向与主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行图像前处理，通过将主体分割的前处理过程与主体分割模型的训练过程相关联配合，避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

一种主体分割模型的训练方法，包括：

获取训练样本图像，所述训练样本图像包括训练图像和对应的已标注的标签主体掩膜图；

根据所述训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像；

将所述初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像；

将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据所述目标处理训练样本图像中的目标处理标签主体掩膜图与所述训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

一种主体分割模型的训练装置，包括：

训练样本获取模块，用于获取训练样本图像，所述训练样本图像包括训练图像和对应的已标注的标签主体掩膜图；

训练方向调整模块，用于根据所述训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到目标处理训练样本图像；

训练模块，用于将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据所述目标处理训练样本图像中的目标处理标签主体掩膜图与所述训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取训练样本图像，所述训练样本图像包括训练图像和对应的已标注的标签主体掩膜图；

根据所述训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到目标处理训练样本图像；

将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据所述目标处理训练样本图像中的目标处理标签主体掩膜图与所述训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

获取训练样本图像，所述训练样本图像包括训练图像和对应的已标注的标签主体掩膜图；

根据所述训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到目标处理训练样本图像；

将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据所述目标处理训练样本图像中的目标处理标签主体掩膜图与所述训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

上述主体分割模型的训练方法、装置、电子设备以及计算机可读存储介质，根据主体分割模型的目标处理方向与训练样本图像的图像方向在训练过程中对训练样本图像进行对应的前处理，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到的主体分割模型避免了由于不同方向的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程示意图；

图3为一个实施例中横向的正向和反向图像示意图；

图4为一个实施例中竖向的正向和反向图像示意图；

图5为一个实施例中主体分割模型的训练的流程示意图；

图6为一个实施例中主体分割模型的训练方法的流程示意图；

图7a为一个实施例中训练得到以竖拍图像为目标处理方向的第一主体分割模型的示意图；

图7b为一个实施例中通过第一主体分割模型进行图像处理的流程示意图；

图8a为一个实施例中训练得到以横拍图像为目标处理方向的第二主体分割模型的示意图；

图8b为一个实施例中通过第二主体分割模型进行图像处理的流程示意图；

图9为一个实施例中图像处理装置的结构框图；

图10为一个实施例中主体分割模型的训练装置的结构框图；

图11为一个实施例中电子设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中图像处理方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110获取待处理图像，将包括待处理图像的图像处理请求发送至服务器120，服务器120接收到待处理图像，并获取待处理图像的图像方向，根据待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整待处理图像的图片方向；将处理后的待处理图像输入至主体分割模型，主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理；根据主体分割模型的输出得到待处理图像的主体掩膜图，服务器120将主体掩膜图返回终端110。其中终端110可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备可以从服务器下载、应用各类型的图像资源作为待处理图像。其中服务器120可以为一个服务器或服务器集群。

在一些实施例中，图像处理方法可以应用于终端110，由终端110直接执行上述步骤生成主体掩膜图。

图2为一个实施例中图像处理方法的流程图。图2所示的图像处理方法可应用于上述终端110或服务器120中，包括：

步骤202，获取待处理图像和待处理图像的图像方向。

其中，待处理图像可以是终端实时拍摄的图像，也可以是预先配置的图像，如网络中下载的图像，电子相册中的图像等。待处理图像可以为一个或多个。待处理图像的类型不限，可以是raw图、YUV图、RGB图、深度图等。

具体地，待处理图像的图像方向是由图像的宽和高的比例决定的，当宽高比大于1时，为第一方向即横向，当宽高比小于1时，为第二方向即竖向。其中第一方向、第二方向又分别分为正向和反向，正向拍摄的图像符合人眼的识别方向，反向拍摄的图像与人眼的识别方向相反，如图3所示分别为第一方向的正向和反向图像的示意图。如图4所示分别为第二方向的正向和反向图像的示意图。终端在采集图像时，由用户设置的图像方向或通过默认的图像方向采集图像，如默认的图像方向为横向，则采集得到的图像的宽高比大于1。

在一个实施例中，还包括将待处理图像缩放至目标分辨率。

其中，将待处理图像缩放至主体分割模型的网络输入需要的大小，其中目标分辨率是由主体分割模型的输入需要决定的。

具体地，当存在多个针对不同方向图像进行处理的主体分割模型时，可根据当前待处理图像的图像方向选择其中一个对应的匹配主体分割模型，从而根据匹配主体分割模型的输入确定目标分辨率。如存在针对第一方向进行图像处理的第一主体分割模型和针对第二方向处理的第二主体分割模型，当图像方向为第一方向时，将第一主体分割模型作为目标主体分割模型，根据目标主体分割模型确定第一目标分辨率。当图像方向为第二方向时，将第二主体分割模型作为目标主体分割模型，根据目标主体分割模型确定第二目标分辨率。从而可选择与待处理图像更适应的主体分割模型，提高主体掩膜图的质量。可以理解，即使本申请中只有一个主体分割模型，由于输入主体分割模型前对待处理图像进行了方向更新，且主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，使得主体分割模型对于不同方向和不同分辨率的待处理图像具有较好的兼容性。

步骤204，根据待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整待处理图像的图片方向。

其中，根据图像方向与主体分割模型的目标处理方向的匹配性调整待处理图像的图片方向，确定调整的具体角度。在确定调整的具体角度时，如果图像方向在同一个方向上包括正方向和反方向，则图像方向为同一个方向的待处理图像还需要针对正方向和反方向进行不同的方向调整。

具体地，方向调整的原则是使得调整后的待处理图像与主体分割模型的目标处理方向匹配，从而减少由于图像集时方向不同对生成主体掩膜图的影响。由于主体分割模型是通过训练过程得到的，不同的训练过程对训练图像存在不同的图像前处理，在进行方向调整时，需要同时考虑训练过程中图像前处理中对训练图像的方向调整，从而使得主体分割的实际使用过程的图像前处理与训练过程中的图像前处理匹配，达到更好的主体分割效果。如果主体分割模型的目标处理方向是横向，则将在进行主体分割时，将待处理图像统一为横向尺寸，如果主体分割模型的目标处理方向是竖向，则将在进行主体分割时，将待处理图像统一为竖向尺寸。

步骤206，将处理后的待处理图像输入至主体分割模型，主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，主体分割模型的训练过程包括根据训练图像的图像方向与主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理。

其中，主体分割是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。感兴趣区域一般为前景区域，不感兴趣区域一般为背景区域。感兴趣区域一般为发生形状，姿态，颜色或位置变化的区域，但不限于此。感兴趣区域可以是各种对象所在的区域，如人、花、猫、狗、牛、蓝天、白云等。不感兴趣区域为感兴趣区域之外的其他区域，可以是运动幅度小于预设阈值的区域或次要对象对应的区域。掩膜(mask)，是指用选定的图像、图形或物体，对待处理的目标图像进行全部或局部遮挡，例如，可以遮挡住目标图像中的背景区域，从而控制图像处理的区域或处理过程。主体掩膜图可以表示为一个二值化图像，或通过二值化矩阵表示，用于区分图像中主体对象的所在区域以及背景区域，例如，主体对象所在区域所对应的元素取值为1，其他区域的元素取值为0。

具体地，训练图像与已标注的标签主体掩膜图从训练数据集中获取，每个训练图像都有对应的已标注的标签主体掩膜图，图像的类型不限于raw图、YUV图、RGB图、深度图等，默认训练图像只包括横拍方向中的正方向图像和竖拍方向中的正方向图像两种方向。训练图像比较随机，在一个实施例中，训练图像中的主体都是正的，不存在角度的倾斜，从而保证训练结果的准确性。可以用多种不同宽高比例的训练样本进行训练。

其中根据训练图像的图像方向与主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，是指将训练图像的图像方向与主体分割模型的目标处理方向进行对比，根据对比结果，调整训练图像与已标注的标签主体掩膜图的方向，且将调整方向后的训练图像与已标注的标签主体掩膜图进行边缘填充，使得边缘填充后的图像符合预设图像比例，其中预设图像比例可以是配置的图像比例，或根据当前处理终端采集的图像的图像比例确定。在进行方向调整时，引用随机数和预设阈值，使得训练图像及对应的已标注的标签主体掩膜图进行随机的方向调整，且调整的整体目标为有一半的概率对应第一旋转方向和第一更新角度，有一半的概率对应保持图像方向不变。且训练过程中的旋转方向对主体分割模型使用过程中，根据图像方向对待处理图像进行方向调整的旋转方向有影响。

在一个实施例中，当待处理图像的图像方向与目标处理方向不一致时，当待处理图像的图像方向为正方向时，将待处理图像向目标方向旋转目标角度，其中旋转的目标方向和目标角度与训练过程中对训练图像及对应的已标注的标签主体掩膜图的旋转方向和目标角度一致。

步骤208，根据主体分割模型的输出得到待处理图像的主体掩膜图。

具体地，应用主体掩膜图可以针对不同的区域进行不同的图像处理，如提取目标图像中的感兴趣区域，实现主体抠图效果，或对不同的区域作相应的处理，确定需要处理的区域，屏蔽不参与处理的区域。如当主体为人时，得到人像掩膜图，对人像区域之外的区域进行虚化后处理，产生出类似单反拍照的效果。由于通过以上处理使得输出的主体掩膜图不存在边缘不对齐、空洞、误检等情况，提升了主体掩膜图的效果和精度，从而实现精准抠图或提高虚化效果，使得主体掩膜图在各个不同场景下的应用效果提高。

本实施例中的图像处理方法，通过获取待处理图像和待处理图像的图像方向，根据待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整待处理图像的图片方向，将处理后的待处理图像输入至主体分割模型，主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，主体分割模型的训练过程包括根据训练图像的图像方向与主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，根据主体分割模型的输出得到待处理图像的主体掩膜图，基于待处理图像的图像方向与主体分割模型的目标处理方向的匹配性，采用不同的旋转方式处理不同方向的图像，在训练过程中也根据训练图像的图像方向与主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行图像前处理，通过将主体分割的前处理过程与主体分割模型的训练过程相关联配合，避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

在一个实施例中，步骤202之后，还包括：获取主体分割模型的图像前处理中的目标边缘填充图像比例，将待处理图像缩放至与目标边缘填充图像比例匹配的图像分辨率。

具体地，主体分割模型的图像前处理中的目标边缘填充图像比例一般是兼容性较强的图像比例或使用频率高的图像比例，根据目标边缘填充图像比例对待处理图像进行缩放，从而使得缩放后得到的图像分辨率满足主体分割模型的输入要求。当主体分割模型的目标处理方向为横向方向时，边缘填充图像比例可以是横向方向的图像比例，如4/3、16/9或者其他宽高比大于1的图像比例。当主体分割模型的目标处理方向为竖向方向时，边缘填充图像比例可以是竖向方向的图像比例，如3/4、9/16或者其他宽高比小于1的图像比例。当主体分割模型的输入要求图像分辨率小于待处理图像时，对待处理图像进行缩小处理。当主体分割模型的输入要求图像分辨率大于待处理图像时，对待处理图像进行放大处理。

本实施例中，通过主体分割模型的图像前处理中的目标边缘填充图像比例，可快速将待处理图像缩放至与目标边缘填充图像比例匹配的图像分辨率，且将主体分割模型的训练过程与主体分割模型的使用过程中的前处理进行了关联。

在一个实施例中，训练样本图像包括训练图像及对应的已标注的标签主体掩膜图，如图5所示，主体分割模型的训练包括以下步骤：

步骤302，判断训练样本图像是否为主体分割模型的目标处理方向。

具体地，训练样本图像包括训练图像及对应的已标注的标签主体掩膜图，其中训练图像及已标注的标签主体掩膜图存在匹配关系，它们的图像方向一致，后续的前处理过程也一致，已标注的标签主体掩膜图是真实的主体掩膜图。主体分割模型的目标处理方向一般是兼容性高的图像方向或使用频率高的图像方向。其中目标处理方向可以是横向方向或竖向方向。

步骤304，当训练样本图像的图像方向为目标处理方向时，获取第一随机数，根据第一随机数与预设阈值的比较结果确定训练样本图像的第一方向更新角度，根据第一方向更新角度对训练样本图像进行方向更新，将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像。

具体地，可以使用均匀分布随机数或者高斯随机数生成第一随机数据，预设阈值可以根据随机数的范围自定义，比较结果是两种互斥的结果，这两种结果分别为第一随机数大于预设阈值、第一随机数小于或等于预设阈值。定义的原则是使得两种比较结果出现的概率相近，即第一结果与第二结果的数量大致相等，保证后续进入不同的方向更新分支的概率相似。当比较结果为第一结果时，保持图像的方向不变。当比较结果为第二结果时，将训练样本图像旋转预设角度，其中旋转的方向可自定义，可以为顺时针方向或逆时针方向。将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像，填充时可保持长边不变，将短边进行填充，若为RGB图像，则分三通道分别进行填充，每个通道的填充值均为127.5，填充值为训练图像三通道的均值。已标注的标签主体掩膜图的填充值为忽略类别值，忽略类别值是指主体掩膜图的主体识别结果无影的值，如主体掩膜图中包括0和1，则使用255对其进行填充。

步骤306，当训练样本图像的图像方向不为目标处理方向时，获取第二随机数，根据第二随机数与预设阈值的比较结果确定训练样本图像的第二方向更新角度，根据第二方向更新角度对训练样本图像进行方向更新，将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像。

具体地，可以使用均匀分布随机数或者高斯随机数生成第二随机数据，预设阈值可以根据随机数的范围自定义，比较结果是两种互斥的结果，这两种结果分别为第二随机数大于预设阈值、第二随机数小于或等于预设阈值。定义的原则是使得两种比较结果出现的概率相近，即第三结果与第四结果的数量大致相等，保证后续进入不同的方向更新分支的概率相似。当比较结果为第三结果时，保持图像的方向不变。当比较结果为第四结果时，将训练样本图像旋转预设角度，其中旋转的方向可自定义，可以为顺时针方向或逆时针方向。其中预设角度与旋转的方向与步骤304中的预设角度与旋转的方向保持一致。将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像，填充方式可以参考步骤304中的填充方式。

步骤308，将初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像，将目标处理训练样本图像输入主体分割模型进行训练得到已训练的主体分割模型。

具体地，由于上个步骤己经按目标边缘填充图像比例将图像进行了边缘填充，因此在缩放时无需改变宽高比，只需要进行等比例缩放。将初始处理训练样本图像缩放至主体分割模型网络需要的大小，如第一主体分割模型网络输入宽高为480*640，则需要将初始处理训练样本图像缩放至480*640。第二主体分割模型网络输入宽高为640*480，则需要将初始处理训练样本图像缩放至640*480。主体分割模型采用的算法可以是但不限于deeplab系列分割算法、U-Net、FCN(Fully Convolutional Networks)等。主体分割模型包括Encoder特征编码模块和Decoder目标模板生成模块，模型的训练数据由主体数据集构成，主体是一种类别，背景是一种类别。可以采用softmax交叉熵等代价函数进行惩罚，将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据目标处理训练样本图像中的目标处理标签主体掩膜图与训练主体掩膜图代入代价函数计算得到损失值，根据损失值反向传播更新主体分割模型的卷积神经网络参数，不断迭代，直到网络满足收敛条件，迭代结束得到已训练的主体分割模型。

本实施例中，根据主体分割模型的目标处理方向与训练样本图像的图像方向，在训练过程中对训练样本图像进行对应的前处理，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到的主体分割模型的主体分割准确度高。

在一个实施例中，步骤304中根据第一随机数与预设阈值的比较结果确定训练样本图像的第一方向更新角度包括：当第一随机数大于预设阈值时，第一方向更新角度为0度；否则，第一方向更新角度为旋转90度。

具体地，当训练样本图像的图像方向为目标处理方向时，通过比较第一随机数与预设阈值，调整训练样本图像的方向。可生成0到1之间的随机数，理论上横拍竖拍场景的拍摄概率相等，可将预设阈值设置为0.5，当第一随机数大于0.5时，第一方向更新角度为0度保持训练样本图像的方向不变。当第一随机数小于或等于0.5时，第一方向更新角度为旋转90度，可以为顺时针旋转90度或逆时针旋转90度。通过旋转90度可将横拍图像转换为竖拍图像，或将竖拍图像转换为横拍图像。

本实施例中，当训练样本图像的图像方向为目标处理方向时，通过引入随机数将训练样本图像按预设规则进行方向更新，提高主体分割模型对不同方向的图像的检测兼容性。

在一个实施例中，步骤306中根据第二随机数与预设阈值的比较结果确定所述训练样本图像的第二方向更新角度包括：当第二随机数大于预设阈值时，第二方向更新角度为0度，否则，第二方向更新角度为旋转90度。

具体地，当训练样本图像的图像方向不为目标处理方向时，通过比较第二随机数与预设阈值，调整训练样本图像的方向。可生成0到1之间的随机数，理论上横拍竖拍场景的拍摄概率相等，可将预设阈值设置为0.5，当第二随机数大于0.5时，第二方向更新角度为0度保持训练样本图像的方向不变。当第二随机数小于或等于0.5时，第二方向更新角度为旋转90度，可以为顺时针旋转90度或逆时针旋转90度。且旋转方向与步骤304中的旋转方向保持一致。通过旋转90度可将横拍图像转换为竖拍图像，或将竖拍图像转换为横拍图像。

本实施例中，当训练样本图像的图像方向不为目标处理方向时，通过引入随机数将训练样本图像按预设规则进行方向更新，提高主体分割模型对不同方向的图像的检测兼容性。

在一个实例中，步骤204包括：获取主体分割模型的目标处理方向，当待处理图像的图像方向与目标处理方向一致时，当待处理图像的图像方向为正方向时，保持待处理图像的方向不变，当待处理图像的图像方向为反方向时，将待处理图像旋转180度。当待处理图像的图像方向与目标处理方向不一致时，当待处理图像的图像方向为正方向时，将待处理图像向第三方向旋转90度，当待处理图像的图像方向为反方向时，将待处理图像向第三方向的反方向旋转90度，其中第三方向与主体分割模型的训练过程中的图像前处理中的旋转方向一致。

具体地，当待处理图像的图像方向与目标处理方向一致时，当待处理图像的图像方向为正方向时，说明待处理图像无需进行处理，可直接保持待处理图像的方向不变。当待处理图像的图像方向为反方向时，将待处理图像旋转180度，以将反方向调整为正方向。旋转时，可顺时针旋转180度或逆时针旋转180度。当待处理图像的图像方向与目标处理方向不一致时，当待处理图像的图像方向为正方向时，将待处理图像向第三方向旋转90度，当待处理图像的图像方向为反方向时，将待处理图像向第三方向的反方向旋转90度。其中第三方向与主体分割模型的训练过程中的图像前处理中的旋转方向一致，即如果步骤304中第一方向更新角度为顺时针旋转，则此处第三方向为顺时针，如果步骤304中第一方向更新角度为逆时针旋转，则此处第三方向为逆时针。通过旋转90度，可以将与目标处理方向不一致的待处理图像调整为与目标处理方向一致。

本实施例中，根据待处理图像的图像方向与目标处理方向以及待处理图像的图像方向正反性，对待处理图像的方向进行对应的调整，使得输入的图像符合主体分割模型的目标处理方向，以提高主体掩膜图的质量。

在一个实施例中，目标处理方向的确定包括以下步骤：获取当前设备的默认图像存储方向，将默认图像存储方向作为目标处理方向。

具体地，设备默认横拍存储，不管图像采集时什么方向，都存储为横拍形式，则训练时主体分割模型的目标处理方向为横拍。设备默认竖拍存储，不管图像采集时什么方向，都存储为竖拍形式，则训练时主体分割模型的目标处理方向为竖拍。

本实施例中，默认图像存储方向作为目标处理方向，可使得主体分割模型适合设备的图像方向，减少方向更新的次数，提高效率。

在一个实施例中，目标边缘填充图像比例的确定包括以下步骤：获取当前设备的图像采集比例，将图像采集比例作为目标边缘填充图像比例。

具体地，将图像采集比例作为目标边缘填充图像比例，可设备采集得到的原始图像就符合目标边缘填充图像比例，则无需进行边缘填充，只需要后续进行缩放，且使得后续缩放时可进行等比例缩放，无需改变原始图像的图像比例，避免了图像比例改变对图像引起的失真。

本实施例中，根据当前设备的图像采集比例确定目标边缘填充图像比例，减少了图像比例改变对图像引起的失真，从而提高主体分割模型得到的主体掩膜图的质量。

在一个实施例中，步骤202之后，还包括：将待处理图像进行归一化处理。

具体地，归一化的算法可自定义，可以将图像RGB三通道分别通过减均值除方差的方式进行归一化，如对于图像的r值，通过(r-127.5)/127.5得到归一化后的值，对于g值和b值同样操作得到每个像素点对应的归一化值。其中127.5可以来自于预设图库中所有图片各个通道的均值和方差，所以预设图库不同，均值和方差也可能不同。

本实施例中，通过将待处理图像进行归一化处理，可以使主体分割模型输出的主体掩膜图质量更高。

在一个实施例中，将目标处理训练样本图像输入主体分割模型进行训练得到已训练的主体分割模型包括：当目标处理训练样本图像为训练图像时，将训练图像进行归一化处理。

具体地，归一化的算法可自定义，可以将图像RGB三通道分别通过减均值除方差的方式进行归一化，如对于图像的r值，通过(r-127.5)/127.5得到归一化后的值，对于g值和b值同样操作得到每个像素点对应的归一化值。其中127.5来自于训练集所有图片各个通道的均值和方差，所以训练集不同，均值和方差也可能不同。进行训练时的归一化处理与后续实际使用主体分割模型前对输入图像进行的归一化处理可以保持一致。

本实施例中，通过将训练图像进行归一化处理，可以使CNN网络有效收敛，防止网络过拟合。

在一个实施例中，提供一种主体分割模型的训练方法，以应用于上述终端110或服务器120中，如图6所示，包括：

步骤402，获取训练样本图像，训练样本图像包括训练图像和对应的已标注的标签主体掩膜图。

步骤404，根据训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到目标处理训练样本图像。

在一个实施例中，还包括：将目标处理训练样本图像进行等比例的缩放。

步骤406，将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据目标处理训练样本图像中的目标处理标签主体掩膜图与训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体检测模型。

本实施例中，根据主体分割模型的目标处理方向与训练样本图像的图像方向在训练过程中对训练样本图像进行对应的前处理，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到的主体分割模型避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

在一个具体的实施例中，提供一种图像处理方法，通过如图7a所示的主体分割模型的训练方法训练得到以竖向为目标处理方向的第一主体分割模型，如图7b所示的第一图像处理方法利用了图7a训练得到的第一主体分割模型对图像进行处理，得到主体掩膜图。图7a所示的具体训练过程如下：

1、从训练数据集中获取训练样本图像，训练样本图像包括训练图像和对应的已标注的标签主体掩膜图，默认训练图像只包括横拍正向和竖拍正向，两种方向。

2、判断当前训练样本图像是否为竖拍图像，如果是竖拍图像，则生成第一随机数，当第一随机数大于0.5时，直接进行边缘填充至目标边缘填充图像比例，如宽高比为4/3的图像比例。当第一随机数小于或等于0.5时，将当前训练样本图像旋转90度，再进行边缘填充至目标边缘填充图像比例。其中旋转时可以顺时针旋转，也可以逆时针旋转。通过以上处理得到初始处理训练样本图像。

3、如果当前训练样本图像不是竖拍图像，则生成第二随机数，当第二随机数大于0.5时，直接进行边缘填充至目标边缘填充图像比例。当第二随机数小于或等于0.5时，将当前训练样本图像旋转90度，再进行边缘填充至目标边缘填充图像比例。通过以上处理得到初始处理训练样本图像。

4、将初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像，将目标处理训练样本图像中的目标处理训练图像进行归一化处理。

5、将归一化处理后的目标处理训练图像输入主体分割模型，得到输出的训练主体掩膜图，根据训练主体掩膜图与目标处理训练样本图像中的目标处理标签主体掩膜图计算代价值，根据代价值反向传播调整主体检测模型，直到满足收敛条件，得到已训练的以竖向为目标处理方向的第一主体分割模型。

图7b所示的第一图像处理方法利用上述步骤生成的第一主体分割模型对图像进行处理，得到主体掩膜图。图7b所示的具体处理过程如下：

1、获取待处理图像及拍照方向，将所述处理图像缩放至与主体分割模型的输入相符的目标分辨率，得到缩放图像；

2、对缩放图像进行归一化。

3、通过拍照方向判断图像方向，如果待处理图像为横拍方向正向，则向第三方向旋转90度，如果训练过程的步骤2中为顺时针旋转90，则这个步骤也为顺时针旋转90，如果训练过程的步骤2中为逆时针旋转90，则这个步骤也为逆时针旋转90。如果为横拍方向反向，则向第三方向的反方向旋转90度，如果训练过程的步骤2中为顺时针旋转90，则这个步骤为逆时针旋转90，如果训练过程的步骤2中为逆时针旋转90，则这个步骤为顺时针旋转90。

4、如果待处理图像为竖拍正向，则保持方向不变，如果待处理图像为竖拍反向，则顺时针或逆时针旋转180度。

5、将处理后的缩放图像输入第一主体分割模型，得到输出的主体掩膜图。

本实施例中，通过训练得到以竖向为目标处理方向的第一主体分割模型，训练的过程中，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到第一主体分割模型，在实际主体分割时，对待处理图像进行与第一主体分割模型匹配的前处理过程，将待处理图像转化为与第一主体分割模型的目标处理方向的匹配的图像再输入第一主体分割模型，通过将主体分割的前处理过程与主体分割模型的训练过程相关联配合，避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

在一个具体的实施例中，提供一种图像处理方法，通过如图8a所示的主体分割模型的训练方法训练得到以横向为目标处理方向的第二主体分割模型，如图8b所示的第二图像处理方法利用了图8a训练得到的第二主体分割模型对图像进行处理，得到主体掩膜图。图8a所示的具体训练过程如下：

1、从训练数据集中获取训练样本图像，训练样本图像包括训练图像和对应的已标注的标签主体掩膜图，默认训练图像只包括横拍正向和竖拍正向，两种方向。

2、判断当前训练样本图像是否为横拍图像，如果是横拍图像，则生成第一随机数，当第一随机数大于0.5时，直接进行边缘填充至目标边缘填充图像比例，如宽高比为4/3的图像比例。当第一随机数小于或等于0.5时，将当前训练样本图像旋转90度，再进行边缘填充至目标边缘填充图像比例。其中旋转时可以顺时针旋转，也可以逆时针旋转。通过以上处理得到初始处理训练样本图像。

3、如果当前训练样本图像不是横拍图像，则生成第二随机数，当第二随机数大于0.5时，直接进行边缘填充至目标边缘填充图像比例。当第二随机数小于或等于0.5时，将当前训练样本图像旋转90度，再进行边缘填充至目标边缘填充图像比例。通过以上处理得到初始处理训练样本图像。

4、将初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像，将目标处理训练样本图像中的目标处理训练图像进行归一化处理。

5、将归一化处理后的目标处理训练图像输入主体分割模型，得到输出的训练主体掩膜图，根据训练主体掩膜图与目标处理训练样本图像中的目标处理标签主体掩膜图计算代价值，根据代价值反向传播调整主体检测模型，直到满足收敛条件，得到已训练的以横向为目标处理方向的第二主体分割模型。

图8b所示的第二图像处理方法利用上述步骤生成的第二主体分割模型对图像进行处理，得到主体掩膜图。图8b所示的具体处理过程如下：

1、获取待处理图像及拍照方向，将所述处理图像缩放至与主体分割模型的输入相符的目标分辨率，得到缩放图像；

2、对缩放图像进行归一化。

3、通过拍照方向判断图像方向，如果待处理图像为竖拍方向正向，则向第三方向旋转90度，如果训练过程的步骤2中为顺时针旋转90，则这个步骤也为顺时针旋转90，如果训练过程的步骤2中为逆时针旋转90，则这个步骤也为逆时针旋转90。如果为竖拍方向反向，则向第三方向的反方向旋转90度，如果训练过程的步骤2中为顺时针旋转90，则这个步骤为逆时针旋转90，如果训练过程的步骤2中为逆时针旋转90，则这个步骤为顺时针旋转90。

4、如果待处理图像为横拍正向，则保持方向不变，如果待处理图像为横拍反向，则顺时针或逆时针旋转180度。

5、将处理后的缩放图像输入第二主体分割模型，得到输出的主体掩膜图。

本实施例中，通过训练得到以横向为目标处理方向的第二主体分割模型，训练的过程中，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到第二主体分割模型，在实际主体分割时，对待处理图像进行与第二主体分割模型匹配的前处理过程，将待处理图像转化为与第二主体分割模型的目标处理方向的匹配的图像再输入第二主体分割模型，通过将主体分割的前处理过程与主体分割模型的训练过程相关联配合，避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

应该理解的是，虽然图2、图5、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的图像处理装置900的结构框图。如图9所示，一种图像处理装置900，包括：获取模块902、方向调整模块904和掩膜图模块906。其中：

获取模块902，用于获取待处理图像和所述待处理图像的图像方向。

方向调整模块904，用于根据待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整待处理图像的图片方向。

掩膜图模块906，用于将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

本实施中的图像处理装置900，通过获取待处理图像和待处理图像的图像方向，根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向，将处理后的待处理图像输入至主体分割模型，主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，根据主体分割模型的输出得到待处理图像的主体掩膜图，基于待处理图像的图像方向与主体分割模型的目标处理方向的匹配性，采用不同的旋转方式处理不同采集方向的图像，在训练过程中也根据训练图像的图像方向与主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行图像前处理，通过将主体分割的前处理过程与主体分割模型的训练过程相关联配合，避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

在一个实施例中，装置还包括缩放模块，缩放模块用于获取主体分割模型的图像前处理中的目标边缘填充图像比例，将待处理图像缩放至与目标边缘填充图像比例匹配的图像分辨率。

本实施中的图像处理装置900，通过主体分割模型的图像前处理中的目标边缘填充图像比例，可快速将待处理图像缩放至与目标边缘填充图像比例匹配的图像分辨率，且将主体分割模型的训练过程与主体分割模型的使用过程中的前处理进行了关联。

在一个实施例中，训练样本图像包括所述训练图像及对应的已标注的标签主体掩膜图，装置还包括：训练模块，用于判断训练样本图像是否为主体分割模型的目标处理方向；当训练样本图像的图像方向为目标处理方向时，获取第一随机数，根据第一随机数与预设阈值的比较结果确定训练样本图像的第一方向更新角度，根据第一方向更新角度对所述训练样本图像进行方向更新，将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像；当训练样本图像的图像方向不为目标处理方向时，获取第二随机数，根据第二随机数与预设阈值的比较结果确定训练样本图像的第二方向更新角度，根据第二方向更新角度对训练样本图像进行方向更新，将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像；将初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像；将目标处理训练样本图像输入主体分割模型进行训练得到已训练的主体分割模型。

本实施中的图像处理装置900，根据主体分割模型的目标处理方向与训练样本图像的图像方向在训练过程中对训练样本图像进行对应的前处理，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到的主体分割模型的主体分割准确度高。

在一个实施例中，训练模块还用于当第一随机数大于预设阈值时，第一方向更新角度为0度，否则，第一方向更新角度为旋转90度。

本实施例中，当训练样本图像的图像方向为目标处理方向时，通过引入随机数将训练样本图像按预设规则进行方向更新，提高主体分割模型对不同方向的图像的检测兼容性。

在一个实施例中，训练模块还用于当第二随机数大于预设阈值时，第二方向更新角度为0度，否则，第二方向更新角度为旋转90度。

本实施中的图像处理装置900，当训练样本图像的图像方向不为目标处理方向时，通过引入随机数将训练样本图像按预设规则进行方向更新，提高主体分割模型对不同方向的图像的检测兼容性。

在一个实施例中，方向调整模块904还用于获取主体分割模型的所述目标处理方向，当待处理图像的图像方向与所述目标处理方向一致时，当待处理图像的图像方向为正方向时，保持待处理图像的方向不变，当待处理图像的图像方向为反方向时，将待处理图像旋转180度，当待处理图像的图像方向与目标处理方向不一致时，当待处理图像的图像方向为正方向时，将待处理图像向第三方向旋转90度，当待处理图像的图像方向为反方向时，将待处理图像向第三方向的反方向旋转90度，其中第三方向与主体分割模型的训练过程中的图像前处理中的旋转方向一致。

本实施例中，根据待处理图像的图像方向与目标处理方向以及待处理图像的图像方向正反性，对待处理图像的方向进行对应的调整，使得输入的图像符合主体分割模型的目标处理方向，以提高主体掩膜图的质量。

在一个实施例中，所述目标处理方向的确定是通过获取当前设备的默认图像存储方向，将默认图像存储方向作为所述目标处理方向。

本实施例中，默认图像存储方向作为目标处理方向，可使得主体分割模型适合设备的图像方向，减少方向更新的次数，提高效率。

在一个实施例中，目标边缘填充图像比例的确定是通过获取当前设备的图像采集比例，将所述图像采集比例作为所述目标边缘填充图像比例。

本实施例中，根据当前设备的图像采集比例确定目标边缘填充图像比例，减少了图像比例改变对图像引起的失真，从而提高主体分割模型得到的主体掩膜图的质量。

在一个实施例中，装置还包括：

归一化模块，用于将所述待处理图像进行归一化处理。

本实施例中，通过将待处理图像进行归一化处理，可以使主体分割模型输出的主体掩膜图质量更高。

在一个实施例中，训练模块还用于当所述目标处理训练样本图像为训练图像时，将所述训练图像进行归一化处理。

本实施例中，通过将训练图像进行归一化处理，可以使CNN网络有效收敛，防止网络过拟合。

图10为一个实施例的主体分割模型的训练装置1000的结构框图。如图10所示，一种主体分割模型的训练装置1000，包括：训练样本获取模块1002、训练方向调整模块1004和训练模块1006。其中：

训练样本获取模块1002，用于获取训练样本图像，训练样本图像包括训练图像和对应的已标注的标签主体掩膜图。

训练方向调整模块1004，用于根据训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到目标处理训练样本图像。

训练模块1006，用于将目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据目标处理训练样本图像中的目标处理标签主体掩膜图与训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

本实施例中的主体分割模型的训练装置1000，根据主体分割模型的目标处理方向与训练样本图像的图像方向，在训练过程中对训练样本图像进行对应的前处理，对不同方向的训练样本图像进行不同的方向调整和边缘填充，进行调整时同时对训练图像及对应的已标注的标签主体掩膜图进行一致的调整，训练得到的主体分割模型避免了由于不同方向采集的图像尺寸比例不一致，造成的图像缩放失真，导致输出的主体掩膜图存在边缘不对齐、空洞、误检等问题，提高了主体分割的准确度。

在一个实施例中，装置还包括：训练缩放模块，用于将目标处理训练样本图像进行等比例的缩放。

本实施例中，先对目标处理训练样本图像进行等比例的缩放，再输入主体分割模型，便于将图像调整为统一大小，提高处理效率。

关于图像处理装置、主体分割模型的训练装置的具体限定可以参见上文中对于图像处理方法、主体分割模型的训练方法的限定，在此不再赘述。上述图像处理装置、主体分割模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图11为一个实施例中电子设备的内部结构示意图。如图11所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的图像处理方法或主体分割模型的训练方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。

本申请实施例中提供的图像处理装置、主体分割模型的训练装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法或主体分割模型的训练方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法或主体分割模型的训练方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像和所述待处理图像的图像方向；

根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向，使得调整后的待处理图像与主体分割模型的目标处理方向匹配，将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理；

根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像和所述待处理图像的图像方向之后，还包括：

获取所述主体分割模型的所述图像前处理中的目标边缘填充图像比例；

将所述待处理图像缩放至与所述目标边缘填充图像比例匹配的图像分辨率。

3.根据权利要求1所述的方法，其特征在于，训练样本图像包括所述训练图像及对应的已标注的标签主体掩膜图，所述主体分割模型的训练包括以下步骤：

判断训练样本图像是否为主体分割模型的目标处理方向；

当所述训练样本图像的图像方向为所述目标处理方向时，获取第一随机数，根据所述第一随机数与预设阈值的比较结果确定所述训练样本图像的第一方向更新角度，根据所述第一方向更新角度对所述训练样本图像进行方向更新，将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像；

当所述训练样本图像的图像方向不为所述目标处理方向时，获取第二随机数，根据所述第二随机数与预设阈值的比较结果确定所述训练样本图像的第二方向更新角度，根据所述第二方向更新角度对所述训练样本图像进行方向更新，将方向更新后的训练样本图像根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像；

将所述初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像；

将所述目标处理训练样本图像输入主体分割模型进行训练得到已训练的主体分割模型。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一随机数与预设阈值的比较结果确定所述训练样本图像的第一方向更新角度包括：

当所述第一随机数大于所述预设阈值时，所述第一方向更新角度为0度；

否则，所述第一方向更新角度为旋转90度。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第二随机数与预设阈值的比较结果确定所述训练样本图像的第二方向更新角度包括：

当所述第二随机数大于所述预设阈值时，所述第二方向更新角度为0度；

否则，所述第二方向更新角度为旋转90度。

6.根据权利要求3所述的方法，其特征在于，所述根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向包括：

获取主体分割模型的所述目标处理方向；

当所述待处理图像的图像方向与所述目标处理方向一致时，当所述待处理图像的图像方向为正方向时，保持所述待处理图像的方向不变，当所述待处理图像的图像方向为反方向时，将所述待处理图像旋转180度；

当所述待处理图像的图像方向与所述目标处理方向不一致时，当所述待处理图像的图像方向为正方向时，将所述待处理图像向第三方向旋转90度，当所述待处理图像的图像方向为反方向时，将所述待处理图像向第三方向的反方向旋转90度，其中所述第三方向与主体分割模型的训练过程中的图像前处理中的旋转方向一致。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述目标处理方向的确定包括以下步骤：

获取当前设备的默认图像存储方向，将所述默认图像存储方向作为所述目标处理方向。

8.根据权利要求2至6中任一项所述的方法，其特征在于，所述目标边缘填充图像比例的确定包括以下步骤：

获取当前设备的图像采集比例，将所述图像采集比例作为所述目标边缘填充图像比例。

9.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取待处理图像和所述待处理图像的图像方向之后，还包括：

将所述待处理图像进行归一化处理。

10.根据权利要求3至6中任一项所述的方法，其特征在于，所述将所述目标处理训练样本图像输入主体分割模型进行训练得到已训练的主体分割模型包括；

当所述目标处理训练样本图像为训练图像时，将所述训练图像进行归一化处理。

11.一种主体分割模型的训练方法，其特征在于，包括：

获取训练样本图像，所述训练样本图像包括训练图像和对应的已标注的标签主体掩膜图；

根据所述训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到目标处理训练样本图像；

将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据所述目标处理训练样本图像中的目标处理标签主体掩膜图与所述训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

12.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像和所述待处理图像的图像方向；

方向调整模块，用于根据所述待处理图像的图像方向与主体分割模型的目标处理方向的匹配性调整所述待处理图像的图片方向，使得调整后的待处理图像与主体分割模型的目标处理方向匹配；

掩膜图模块，用于将处理后的待处理图像输入至所述主体分割模型，所述主体分割模型是预先根据训练图像及对应的已标注的标签主体掩膜图进行训练得到的模型，所述主体分割模型的训练过程包括根据训练图像的图像方向与所述主体分割模型的目标处理方向的匹配性，对训练图像及对应的已标注的标签主体掩膜图进行调整的图像前处理，根据所述主体分割模型的输出得到所述待处理图像的主体掩膜图。

13.一种主体分割模型的训练装置，其特征在于，包括：

训练样本获取模块，用于获取训练样本图像，所述训练样本图像包括训练图像和对应的已标注的标签主体掩膜图；

训练方向调整模块，用于根据所述训练样本图像的图像方向与主体分割模型的目标处理方向的匹配性，调整训练样本图像的方向，并根据目标边缘填充图像比例进行边缘填充得到初始处理训练样本图像；

训练缩放模块，用于将所述初始处理训练样本图像进行等比例的缩放得到目标处理训练样本图像；

训练模块，用于将所述目标处理训练样本图像中的目标处理训练图像输入主体分割模型，输出对应的训练主体掩膜图，根据所述目标处理训练样本图像中的目标处理标签主体掩膜图与所述训练主体掩膜图的差异调整所述主体分割模型的网络参数，以得到已训练的主体分割模型。

14.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述方法的步骤。

16.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1至11中任一项所述方法的步骤。