CN115511770B - 内窥镜图像处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种内窥镜图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：获取当前图像，并将当前图像输入识别模型，得到当前识别结果；获取历史图像对应的历史识别结果，并利用当前识别结果和历史识别结果进行连续性检测；若通过连续性检测，则基于当前识别结果输出当前图像；该方法可以从识别结果是否符合内窥镜检测结果具有连续规律的角度判断当前识别结果是否准确，并在通过连续性检测，即在确定识别结果准确的情况下，再基于当前识别结果输出当前图像，提高了输出的识别结果的准确性。

Description

内窥镜图像处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种内窥镜图像处理方法、内窥镜图像处理装置、电子设备及计算机可读存储介质。

背景技术

在内窥镜上消化道检查时，用户通过操作内窥镜，检查《上消化道内镜检查规范操作流程》中的规定部位。为辅助用户更好地完成检查，相关技术可以实现对图像中记录的检查部位进行识别并输出，使得用户能够直观了解当前正在检查的位置。然而，由于在检查过程中，内镜、人体组织位姿会时刻变化，使得图像不标准，且识别模型存在推理误差，因此图像识别结果的准确率较低，使得输出的信息对用户的检查造成干扰。且正确结果与错误结果通常交替出现并输出，使得识别结果呈现不稳定的状态，同样对用户造成干扰。

发明内容

有鉴于此，本申请的目的在于提供一种内窥镜图像处理方法、内窥镜图像处理装置、电子设备及计算机可读存储介质，提高了输出的识别结果的准确性与稳定性。

为解决上述技术问题，本申请提供了一种内窥镜图像处理方法，包括：

获取当前图像，并将所述当前图像输入识别模型，得到当前识别结果；

获取历史图像对应的历史识别结果，并利用所述当前识别结果和所述历史识别结果进行连续性检测；

若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像。

可选地，所述利用所述当前识别结果和所述历史识别结果进行连续性检测，包括：

判断所述当前识别结果与所述历史识别结果是否相同；

若相同，则确定通过所述连续性检测；

若不相同，则利用所述当前识别结果与所述历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果。

可选地，所述利用所述当前识别结果与所述历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果，包括：

判断所述当前识别结果和所述历史识别结果是否处于同一区间；

若不处于同一区间，则判断是否满足区间切换条件；

若满足所述区间切换条件，则确定通过所述连续性检测；

若不满足所述区间切换条件，则确定未通过所述连续性检测；

若处于同一区间，则确定通过所述连续性检测。

可选地，所述若不处于同一区间，则判断是否满足区间切换条件，包括：

若不处于同一区间，则更新区间切换参数，并判断所述区间切换参数是否大于切换阈值；

若大于所述切换阈值，则确定满足所述区间切换条件；

若不大于所述切换阈值，则确定不满足所述区间切换条件；

相应的，所述若处于同一区间，则确定通过所述连续性检测，包括：

若处于同一区间，则将所述区间切换参数清零，并确定通过所述连续性检测。

可选地，还包括：

对所述当前图像进行输出条件匹配检测；

相应的，所述若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像，包括：

若通过所述连续性检测，且通过所述输出条件匹配检测，则基于所述当前识别结果输出所述当前图像。

可选地，所述对所述当前图像进行输出条件匹配检测，包括：

利用所述识别模型对所述当前图像进行质量分数识别处理，得到所述当前图像对应的当前质量分数；

利用所述当前质量分数进行图像质量检测；

相应的，所述若通过所述连续性检测，且通过所述输出条件匹配检测，则基于所述当前识别结果输出所述当前图像，包括：

若通过所述连续性检测，且通过所述图像质量检测，则基于所述当前识别结果和所述当前质量分数输出所述当前图像。

可选地，所述利用所述当前质量分数进行图像质量检测，包括：

获取所述历史图像对应的历史质量分数；

对所述当前质量分数和所述历史质量分数进行平滑处理，得到平滑质量分数；

若所述平滑质量分数大于质量阈值，则确定通过所述图像质量检测。

可选地，所述基于所述当前识别结果和所述当前质量分数输出所述当前图像，包括：

将所述当前图像存储于候选图像池；

相应的，还包括：

若检测到输出指令，则将所述候选图像池中各个候选图像按照识别结果分组，得到若干个候选图像组；

输出各个所述候选图像组中质量分数最大的所述候选图像。

可选地，所述识别模型的训练过程，包括：

获取标准训练图像，并利用所述标准训练图像训练初始模型，得到初始识别模型；

利用测试图像对所述初始识别模型进行测试，得到错误识别图像；

输出所述错误识别图像，并获取响应于所述错误识别图像的人工标记负样本图像；

利用所述人工标记负样本图像和所述标准训练图像构建训练数据集，并利用所述训练数据集训练所述初始模型，得到所述识别模型。

本申请还提供了一种内窥镜图像处理装置，包括：

识别模块，用于获取当前图像，并将所述当前图像输入识别模型，得到当前识别结果；

连续性检测模块，用于获取历史图像对应的历史识别结果，并利用所述当前识别结果和所述历史识别结果进行连续性检测；

输出模块，用于若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像。

本申请还提供了一种电子设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的内窥镜图像处理方法。

本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的内窥镜图像处理方法。

本申请提供的内窥镜图像处理方法，获取当前图像，并将当前图像输入识别模型，得到当前识别结果；获取历史图像对应的历史识别结果，并利用当前识别结果和历史识别结果进行连续性检测；若通过连续性检测，则基于当前识别结果输出当前图像。

可见，该方法在获取到当前图像后，利用训练好的识别模型对其进行识别，得到对应的当前识别结果。由于在进行内窥镜检查时，内窥镜在进入消化道后，随着内窥镜在消化道中的深入依次获取各个消化道部位的图像。而消化道中的各个部位相连，因此获取到的图像经过识别得到的识别结果对应的消化道部位应当连续。若出现中断或跳跃，则说明识别错误。因此在得到当前识别结果后，可以利用其与之前被获取并检测的历史图像对应的历史识别结果共同进行连续性检测，即判断在历史识别结果的基础上，当前识别结果是否连续。若通过连续性检测，则说明当前结果与历史图像对应的识别结果相连续，符合内窥镜在人体中运动的规律，因此可以确定该图像的识别结果正确，因此可以基于当前识别结果输出当前图像。通过连续性检测，可以从识别结果是否符合内窥镜检测结果具有连续规律的角度判断当前识别结果是否准确，并在通过连续性检测，即在确定识别结果准确的情况下，再基于当前识别结果输出当前图像，提高了输出的识别结果的准确性，同时避免出现识别结果不稳定的状态，避免对用户造成干扰。

此外，本申请还提供了一种内窥镜图像处理装置、电子设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种内窥镜图像处理方法流程图；

图2为本申请实施例提供的一种具体的内窥镜图像处理方法流程图；

图3为本申请实施例提供的一种内窥镜图像处理装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例提供的一种内窥镜图像处理方法流程图。该方法包括：

S101：获取当前图像，并将当前图像输入识别模型，得到当前识别结果。

当前图像，是指当前时刻下获取到的内窥镜图像，在内窥镜开始工作后，其会按照一定的频率在各个时刻下获取内窥镜图像。本实施例并不限定内窥镜获取图像的具体方式，可以参考相关技术。

识别模型，是指对输入图像中的消化道部位进行识别的模型，消化道具体可以为上消化道或者为下消化道，因此消化道部位具体可以为上消化道中的部位或下消化道中的部位。需要说明的是，任意在功能上能够实现对消化道部位进行识别的网络模型均可以作为识别模型，因此识别模型的结构以及类型均不做限定，例如可以利用采用特殊的CNN(Convolutional Neural Network，卷积神经网络)模型ResNet(Deep residual network，深度残差网络)。

识别模型为经过训练而达到收敛的模型，当本申请中的全部或部分步骤由本设备执行时，识别模型可以由本设备训练得到，或者可以由非本设备的其它设备训练得到。在进行图像处理时，一种实施方式中，本设备可以从本地或其他存储路径下获取已经训练好的识别模型并利用其进行部位识别。

将当前图像输入识别模型后，识别模型中的各个网络层或网络层组依次对当前图像进行处理，得到当前识别结果。根据识别模型的结构不同，对当前图像的具体处理过程也不同，例如可以为特征图生成、特征提取、分类的过程，或者可以为其他过程。当前识别结果，是指识别模型对当前图像记录的消化道部位进行分类或预测得到的结果，其可能为正确的，即与当前图像相匹配，或者可能为错误的，即与当前图像不匹配。

对于当前识别结果的形式，可以根据需要设置表现形式，在一种实施方式中，表现形式为名称形式，则当前识别结果可以为部位名称或异常名称。可以理解的是，部位名称和异常名称的具体数量和内容根据识别模型采用的训练集的不同而不同，当训练集中包括负样本时，则负样本的标签即为异常名称，标准样本(或称为正样本)的标签即为部位名称。若训练集中不包括负样本，则当前识别结果只能为部位名称而不可能为异常名称。具体的，在这种实施方式中，当前识别结果可以为部位名称“食管上段”、“咽喉部”等，或者可以为异常名称“水花遮挡图像”、“体外图像”等。

在另一种实施方式中，当前识别结果的表现形式为编号形式。具体的，根据实际操作时的检查顺序规范等要求，依次为消化道中的各个部位按照顺序排序，得到对应的编号。因此在训练识别模型时采用的训练集的标签均为编号形式，因此在对当前图像识别后得到的当前识别结果即可为编号形式。与上述第一种实施方式类似的，当前识别结果可以为训练集中正样本的编号，即消化道中某一部位对应的编号，或者可以为训练集中负样本的编号，即异常图像对应的编号。

S102：获取历史图像对应的历史识别结果，并利用当前识别结果和历史识别结果进行连续性检测。

历史图像，是指在当前时刻前最后一个基于对应的历史识别结果而输出的图像，其数量为一。需要说明的是，在一种可能的实施方式中，除了历史图像外，连续性检测过程中还需要一个或多个的非标准历史图像。其中，非标准历史图像是指在历史图像之后且在当前时刻之前被获取但未通过连续性检测的图像，其虽然同样被输出，但是其对应的识别结果并不可靠，因此并不基于识别结果对其输出，只是单独输出图像而已，以保证用户在实时查看或整体处理完毕后查看图像组成的视频流时，保证视频流的连贯性。同时，不输出当前识别结果，可以避免不可靠的识别结果对用户造成干扰。具体的，当采用可视化输出时，则仅将当前图像在显示部件上显示，而并不显示对应的当前识别结果；或者在存储输出时，则仅将当前图像在预设路径下存储，而并不存储对应的当前识别结果。根据连续性检测的具体过程不同，采用的历史图像的数量也可能不同。历史图像同样经过识别模型的处理，具有对应的识别结果，即历史识别结果。可以理解的是，若当前图像为第一次获取到的图像，即并不存在其对应的历史图像和历史识别结果，则该历史识别结果可以设置为当前识别结果，或者可以设置为预先指定的某一识别结果，以便执行后续流程。

需要说明的是，由于历史图像已经被输出，因此说明在输出该历史图像的时刻，认为其对应的历史识别结果通过了连续性检测，是正确的识别结果。故此，可以利用该历史识别结果作为连续性检测的标准，利用其与当前识别结果进行连续性检测。

连续性检测，是指对当前识别结果与历史识别结果分别对应的两个消化道部位是否连续的检测。可以理解的是，内窥镜检查在进入消化道时是逐渐深入并随着深入程度依次对各个消化道部位进行检查的，因此内窥镜获取到各个消化道部位对应的图像是具有一定顺序的，例如在进行上消化道检查时，内窥镜从口腔进入上消化道，则必然先获取到食管胃部连接处的图像，在此以后才能获取到胃体中的幽门部位的图像，因为内窥镜是先进入食管再进入胃部的。

通过连续性检测，可以判断当前识别结果对应的消化道部位和上一次准确检测到的消化道部位(即历史识别结果对应的消化道部位)是否连续，进而反映了在历史识别结果对应的消化道部位的基础上，继续进行检测时是否能够获取到当前识别结果对应的消化道部位的图像。若能够获取到，则可以确定通过连续性检测。否则确定未通过连续性检测。

S103：若通过连续性检测，则基于当前识别结果输出当前图像。

若通过连续性检测，则说明在历史识别结果对应的消化道部位的基础上，继续进行检测时能够获取到当前识别结果对应的消化道部位的图像，即目标图像。若当前识别结果与历史识别结果的连续性检测通过，则说明当前识别结果是基于历史识别结果能够得到的合理结果，因此可以确定当前识别结果为准确的结果。而识别模型能够准确对当前图像进行识别，因此进一步说明了从当前图像中能够准确了解其记录了哪一个消化道部位，其并不是质量较差、无法看出具体内容的图像，因此可以基于当前识别结果对当前图像输出。

本实施例并不限定输出的具体方式，例如可以为可视化输出，即对目标图像进行可视化展示。或者可以为保存输出，即将当前图像存储于指定的路径下。

本实施例并不限定未通过连续性检测的当前图像的处理方式，在这种情况下，当前图像事实上为后续获取到的图像的非标准历史图像。具体的，可以将其在预设的存储路径下存储，或者可以将当前图像单独输出而并不基于识别结果输出，或者可以进行计数等其他操作。

应用本申请实施例提供的内窥镜图像处理方法，在获取到当前图像后，利用训练好的识别模型对其进行识别，得到对应的当前识别结果。由于在进行内窥镜检查时，内窥镜在进入消化道后，随着内窥镜在消化道中的深入依次获取各个消化道部位的图像。而消化道中的各个部位相连，因此获取到的图像经过识别得到的识别结果对应的消化道部位应当连续。若出现中断或跳跃，则说明识别错误。因此在得到当前识别结果后，可以利用其与之前被获取并检测的历史图像对应的历史识别结果共同进行连续性检测，即判断在历史识别结果的基础上，当前识别结果是否连续。若通过连续性检测，则说明当前结果与历史图像对应的识别结果相连续，符合内窥镜在消化道中运动的规律，因此可以确定该图像的识别结果正确，因此可以基于当前识别结果输出当前图像。通过连续性检测，可以从识别结果是否符合内窥镜检测结果具有连续规律的角度判断当前识别结果是否准确，并在通过连续性检测，即在确定识别结果准确的情况下，再基于当前识别结果输出当前图像，提高了输出的识别结果的准确性，同时避免出现识别结果不稳定的状态，避免对用户造成干扰。

基于上述实施例，本实施例将对上述实施例中的已有步骤或对上述实施例新增的步骤进行具体的阐述。在利用识别模型对图像进行识别之前，可以在本地生成该识别模型。为了得到更加准确地识别模型，可以构建具有负样本的训练集。识别模型的训练过程可以包括如下步骤：

步骤11：获取标准训练图像，并利用标准训练图像训练初始模型，得到初始识别模型。

步骤12：利用测试图像对初始识别模型进行测试，得到错误识别图像。

步骤13：输出错误识别图像，并获取响应于错误识别图像的人工标记负样本图像。

步骤14：利用人工标记负样本图像和标准训练图像构建训练数据集，并利用训练数据集训练初始模型，得到识别模型。

标准训练图像，是指消化道中各个部位对应的标准图像。初始模型，是指未经过训练的识别模型。在本实施例中，利用标准训练图像对初始模型进行训练并达到收敛后，得到的模型为初始识别模型。初始识别模型可以对能够清楚表示消化道部位特征的图像进行识别，而对于水花遮挡的图像、内镜太过于靠近消化道内壁时拍摄的图像等类似图像，由于其本身没有准确记录消化道部位的特征，因此对其进行识别得到的识别结果几乎必然为错误的。

为了解决上述问题，提高识别模型的准确性，在得到初始识别模型后，利用测试图像对初始识别模型进行测试，得到各个测试图像对应的测试结果，测试结果与测试图像的标准标签相同，则认为初始识别模型能够对测试图像进行准确识别，同样也说明测试图像中记录了足够多的特征，能够支撑初始识别模型对其进行识别。若测试结果与测试图像的标准标签不同，则将测试图像确定为错误识别图像，该现象说明初始识别模型无法对测试图像(即错误识别图像)进行准确识别，因此该测试图像没有记录足够多的特征，其必然属于非标准的图像，例如水花遮挡的图像、内镜太过于靠近消化道内壁时拍摄的图像等。

在这种情况下，通过输出错误识别图像以便由人工对其进行标记，对其具体的真实类别进行标识，例如原本标识为胃体中部大弯，由于水花遮挡的原因识别错误，此时可以由人工将其重新标识为水花遮挡。在标识完毕后将其重新输入，即获取响应于错误识别图像的人工标记负样本图像。在实际应用中，人工标记负样本图像通常为体外图像、内镜贴壁、水花遮挡、图像极其模糊等无法通过单张图像确定部位的图像，而对于图像有模糊、反光、部分水花、部分食物残渣、拍摄角度较偏、镜头高低不适应等情况，虽然其图像质量较差，但是利用单张图像能够确定部位，在利用初始识别模型进行识别时，其可能被错误识别，因此可能被确定为错误识别图像并输出。本实施例并不限定对这一类型的错误识别图像的具体处理方式，在人工标记的过程中，考虑到其他类似情况大概率会被成功识别，因此可以将其标记为非标准训练图像，进而利用其与人工标记负样本图像、标准训练图像一起构成训练数据集。具体的，非标准训练图像的标签为对应部位的信息，其同样为训练图像，但是图像质量比人工标注负样本好，比标准训练图像差。基于上述情况可以说明，人工标记负样本图像的数量可能少于错误识别图像的数量。

将人工标记负样本图像确定为训练数据，实现对训练数据进行扩充的效果。利用其与标准训练图像构建训练数据集，并利用训练数据集训练初始模型，在训练完毕实现收敛后得到的模型即为识别模型。通过生成人工标记负样本图像并利用其训练识别模型，可以使得识别模型具备对这些特殊图像的识别能力，而不是对其进行错误识别得到错误识别结果，使得识别模型具有较高的识别准确性。

基于上述实施例，利用所述当前识别结果和所述历史识别结果进行连续性检测的过程具体可以包括如下步骤：

步骤21：判断当前识别结果与历史识别结果是否相同。

步骤22：若相同，则确定通过连续性检测。

步骤23：若不相同，则利用当前识别结果与历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果。

由于内窥镜在消化道内的移动速度较慢，而内窥镜获取图像的频率相对较高，对于一个消化道部位来说，内窥镜可能会获取到多个图像。因此在进行连续性检测时，可以先判断当前识别结果与历史识别结果是否相同。若相同，则说明当前图像中记录的部位与历史图像记录的部位相同，可以确定当前识别结果和历史识别结果记录的部位相连续，进而可以确定其通过连续性检测。

若不相同，则此时可能出现两种情况，第一种情况为内窥镜在消化道中移动，获取到的图像为后续部位对应的图像，即当前图像记录的部位与历史图像记录的部位事实上不同。第二种情况为当前图像质量较差，其中没有记录到足以对其进行准确识别的特征，导致当前识别结果出现错误。为了准确区分上述两种情况，可以利用当前识别结果与历史识别结果进行部位区间检测，得到对应的部位区间检测结果，并基于其确定连续性检测结果，连续性检测结果即为通过或未通过。

其中，部位区间是指一个或多个部位所属的区间，部位区间检测是指判断当前识别结果对应的部位所属的第一部位区间和历史识别结果对应的部位所属的第二部位区间是否符合规则的检测。根据部位区间的划分方式和对应规则的具体内容的不同，部位区间检测的具体形式可以不同。

在一种实施方式中，各个部位分别属于一个区间，而对应的规则为按照预设检查顺序的区间相邻。在本实施例中，用户需要操作内窥镜按照预设检查顺序对消化道各个部位进行检查，因此在发现当前识别结果与历史识别结果不相同时，需要判断二者是否相邻，且当前识别结果是否为历史识别结果按照预设检查顺序的下一个识别结果。若是，则可以确定通过连续性检测，否则确定未通过连续性检测。

在另一种实施方式中，在实际应用中，对消化道各个部位的检测顺序可能存在多种，且某个部位的检测结果和图像丢失也不会对用户对患者的诊断造成干扰。在这种情况下，为了扩大连续性检测的适用范围，允许用户按照任意检测顺序进行检查，利用当前识别结果与历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果的过程可以包括如下步骤：

步骤31：判断当前识别结果和历史识别结果是否处于同一区间。

步骤32：若不处于同一区间，则判断是否满足区间切换条件。

步骤33：若满足区间切换条件，则确定通过连续性检测。

步骤34：若不满足区间切换条件，则确定未通过连续性检测。

步骤35：若处于同一区间，则确定通过连续性检测。

需要说明的是，本实施例中一个区间内包括多个部位，各个区间内不包括两个特征相近的部位。例如食管中的食管胃连接部与胃体中的幽门相近，因此需要将其分别划分到两个不同的区间。对于区间的划分方式，可以由用户根据经验划分得到，或者对各个部位对应的标准图像进行相似度计算，将相似度超过阈值的两个部位确定为相似部位，并将两个相似部位划分到不同的区间中。

当当前识别结果与历史识别结果不相同时，可以判断二者是否处于同一个区间。若二者属于同一区间，则说明内窥镜当前已经移动到另一部位，获取到的图像为另一部位的图像，因此可以确定通过连续性检测。若二者不处于同一部位，则判断当前是否满足区间切换条件。

区间切换条件，是指能够表明内窥镜从一个区间移动到另一个区间的条件。根据实际需要，区间切换条件的具体内容可以有多种，在一种实施方式中，区间切换条件为连续被确定为未通过连续性检测的图像数量超过数量阈值；在另一种实施方式中，识别模型还能够对当前图像的图像质量进行评分，得到指令参数，此时区间切换条件为连续被确定为未通过连续性检测，且图像质量超过质量阈值的图像数量超过数量阈值。

若满足区间切换条件，则说明内窥镜从消化道的一个区间移动到了另一个区间，可以确定通过连续性检测。若不满足区间切换条件，则说明当前图像可能质量不佳，无法正确识别，得到的当前识别结果不准确，因此可以确定未通过连续性检测。

进一步的，在一种实施方式中，若不处于同一区间，则判断是否满足区间切换条件的过程可以包括如下步骤：

步骤41：若不处于同一区间，则更新区间切换参数，并判断区间切换参数是否大于切换阈值。

步骤42：若大于切换阈值，则确定满足区间切换条件。

步骤43：若不大于切换阈值，则确定不满足区间切换条件。

区间切换参数，是指当前时刻下检测到的连续被确定为未通过连续性检测的图像数量，即当前时刻下非标准历史图像的数量。由于在内窥镜刚刚从一个区间移动到另一个区间时，获取的图像对应的识别结果必然与最后一次输出的历史图像的历史识别结果处于不同的区间，而且无法再获取到处于同一区间的图像。因此可以累计区间切换参数，即当检测到不处于同一区间时，将区间切换参数加一，完成更新。更新完毕后，判断区间切换参数是否大于切换阈值，若大于切换阈值，则说明已经存在足够多新获取的图像对应的识别结果与历史识别结果不一致，这种情况通常在内窥镜刚刚从一个区间移动到另一个区间时出现，且内窥镜获取的图像通常不会出现连续异常(例如出现连续贴壁图像、连续出现多张水花覆盖图像等)，因此可以确定满足区间切换图像。否则确定不满足区间切换条件。

相应的，若处于同一区间，则确定通过连续性检测的过程可以包括如下步骤：

步骤44：若处于同一区间，则将区间切换参数清零，并确定通过连续性检测。

为了避免区间切换参数一直累加导致区间切换条件判断错误，在检测到当前识别结果与历史识别结果处于同一区间时，不仅确定通过连续性检测，同时将区间切换参数清零，以便后续重新进行累加。

基于上述实施例，在另一种实施方式中，当当前图像对应的当前识别结果正确时，还可以进一步检测单签图像是否满足其他要求，进而确定是否基于当前识别结果输出当前图像。具体的，还可以包括如下步骤：

步骤51：对当前图像进行输出条件匹配检测。

其中，输出条件，是指对当前图像是否能够基于当前识别结果输出进行限制的条件。通过输出条件匹配检测，可以判断当前图像是否符合输出条件的要求，进而判断能否基于当前识别结果对其进行输出。若未通过输出条件匹配检测，则可以单独输出当前图像，无论当前识别结果是否正确，均不输出当前识别结果。

对于输出条件的具体内容，可以根据需要进行设置，例如可以为图像质量条件，即判断当前图像的质量是否符合要求；或者可以为亮度条件，即判断当前图像的亮度是否符合要求；或者可以为相似度条件，即判断当前图像与上一时刻输出的图像(即历史图像或非标准历史图像，二者均输出，区别在于是否基于对应的识别结果输出)的相似程度是否符合要求。可以理解的是，输出条件的数量可以为一个或多个。

相应的，若通过连续性检测，则基于当前识别结果输出当前图像，包括：

步骤52：若通过连续性检测，且通过输出条件匹配检测，则基于当前识别结果输出当前图像。

在本实施例中，只有通过连续性检测且与输出条件相匹配，即通过连续性检测且通过输出条件匹配检测时，才能基于当前识别结果输出当前图像。

进一步，在一种实施方式中，输出条件为图像质量条件。具体的，对所述当前图像进行输出条件匹配检测的过程具体可以包括如下步骤：

步骤61：利用识别模型对当前图像进行质量分数识别处理，得到当前图像对应的当前质量分数。

步骤62：利用当前质量分数进行图像质量检测。

在本实施例中，识别模型还能够对当前图像的图像质量进行识别，因此在将当前图像输入识别模型后，还可以得到当前图像对应的当前质量分数。相应的，输出条件匹配检测则具体为图像质量检测。

图像质量检测，是指判断当前质量分数是否满足要求的检测，对于具体的检测方式，在一种实施方式中，可以判断当前质量分数是否大于参数阈值，若大于参数阈值则确定通过图像质量检测。在另一种实施方式中，该步骤可以进一步包括如下步骤：

步骤71：获取历史图像对应的历史质量分数。

步骤72：对当前质量分数和历史质量分数进行平滑处理，得到平滑质量分数。

步骤73：若平滑质量分数大于质量阈值，则确定通过图像质量检测。

为了避免相邻图像内容变化不大而质量相较较大时因图像限制输出导致图像输出不连续，同时想要对质量较差的图像限制输出，本实施例中可以采用对质量分数进行平滑处理的方式得到平滑质量分数。本实施例并不限定平滑处理的具体方式，可以参考相关技术，例如可以为加权平均平滑处理，即分别为历史质量分数和当前质量分数赋予不同的权重，通过加权平均计算得到平滑质量分数。通过平滑处理，可以得到用于进行是否通过图像质量检测的平滑质量分数，并在其大于质量阈值时确定通过图像质量检测。

相应的，若通过连续性检测，且通过输出条件匹配检测，则基于当前识别结果输出当前图像的过程可以包括如下步骤：

步骤63：若通过连续性检测，且通过图像质量检测，则基于当前识别结果和当前质量分数输出当前图像。

本实施例中，在确定图像质量较好且识别结果准确时才将其进行输出，避免低质量图像输出对用户造成干扰。

进一步的，在一种实施方式中，当前图像可以存储于指定路径，在生成病理报告、诊断报告时，可以从指定路径下的各个图像中选择各个部位分别对应的质量最好的图像输出，以便生成报告。因此基于当前识别结果和当前质量分数输出当前图像的过程可以包括如下步骤：

步骤81：将当前图像存储于候选图像池。

其中，候选图像池用于存储候选图像，候选图像，是指在检测到输出指令时等待被选择输出的图像。

相应的，还包括如下步骤：

步骤82：若检测到输出指令，则将候选图像池中各个候选图像按照识别结果分组，得到若干个候选图像组。

步骤83：输出各个候选图像组中质量分数最大的候选图像。

若检测到输出指令，响应于该输出指令，将将候选图像池中所有候选图像按照识别结果进行分组，得到若干个候选图像组。识别结果即为各个图像作为当前图像时的当前识别结果。在各个候选图像组内，基于各个候选图像的质量分数进行排序，确定各个候选图像组内质量分数最大的候选图像，即质量最佳的候选图像，并将其输出。需要说明的是，本实施例中的输出方式不做限定，在一种实施方式中，可以为可视化输出，即将各个部位对应的质量最佳的图像随可视化报告进行显示。具体的，可以基于部位信息确定各个图像在报告中的显示位置，并基于该显示位置进行可视化显示。在另一种实施方式中，可以为存储输出，例如可以将质量分数最大的候选图像存储到输出指令指定的路径下，该被指定的路径具体为报告生成所需数据的存储路径。用户在查看报告时，可以从该路径下获取文字、图像等数据，并对预设的报告模板进行填充，进而生成报告。

基于上述实施例，请参考图2，图2为本申请实施例提供的一种具体的内窥镜图像处理方法流程图。在输入图像后，利用识别模型进行模型推理，得到对应的当前识别结果和当前质量分数(即标准度)。获取历史质量分数和历史识别结果后，利用当前质量分数和历史质量分数进行平滑处理，即进行标准度平滑，并在平滑处理后判断得到的平滑质量分数是否大于阈值。若否，则说明当前图像的质量较差，对其进行异常处理。异常处理为限制当前识别结果输出的处理，例如删除当前识别结果，仅输出图像的处理，此外还可以包括日志记录、提醒等处理。

若平滑质量分数大于阈值，则进一步判断当前识别结果和历史识别结果是否相同，即判断与上一帧是否为同一个部位。若是，则确定通过连续性检测，确定识别结果正确，将部位类别(即当前识别结果)和标准程度(即当前质量分数)输出。若不是同一个部位，则进一步判断与上一帧是否为同一个区间，若是，则确定通过连续性检测，确定识别结果正确，将部位类别和标准程度输出。若不是同一个区间，则进一步判断是否满足区间切换条件，若不满足，则确定未通过连续性检测，执行异常处理，否则确定通过连续性检测，将部位类别和标准程度输出。

在输出完毕后，判断是否出现新的输入，即判断输入是否结束，若未结束，则将新的当前图像输入模型并进行模型推理，重复上述流程。

下面对本申请实施例提供的内窥镜图像处理装置进行介绍，下文描述的内窥镜图像处理装置与上文描述的内窥镜图像处理方法可相互对应参照。

请参考图3，图3为本申请实施例提供的一种内窥镜图像处理装置的结构示意图，包括：

识别模块110，用于获取当前图像，并将所述当前图像输入识别模型，得到当前识别结果；

连续性检测模块120，用于获取历史图像对应的历史识别结果，并利用所述当前识别结果和所述历史识别结果进行连续性检测；

输出模块130，用于若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像。

可选地，连续性检测模块120，包括：

相同判断模块，用于判断所述当前识别结果与所述历史识别结果是否相同；

第一确定单元，用于若当前识别结果与历史识别结果相同，则确定通过所述连续性检测；

区间检测单元，用于若当前识别结果与历史识别结果不相同，则利用所述当前识别结果与所述历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果。

可选地，区间检测单元，包括：

区间判断子单元，用于判断所述当前识别结果和所述历史识别结果是否处于同一区间；

条件判断子单元，用于若不处于同一区间，则判断是否满足区间切换条件；

第一确定子单元，用于若满足所述区间切换条件，则确定通过所述连续性检测；

第二确定子单元，用于若不满足所述区间切换条件，则确定未通过所述连续性检测；

第三确定子单元，用于若处于同一区间，则确定通过所述连续性检测。

可选地，条件判断子单元，包括：

更新子单元，用于若不处于同一区间，则更新区间切换参数，并判断所述区间切换参数是否大于切换阈值；

第四确定子单元，用于若大于所述切换阈值，则确定满足所述区间切换条件；

第五确定子单元，用于若不大于所述切换阈值，则确定不满足所述区间切换条件；

相应的，第三确定子单元为若处于同一区间，则将所述区间切换参数清零，并确定通过所述连续性检测的子单元。

可选地，还包括：

输出条件匹配模块，用于对当前图像进行输出条件匹配检测；

相应的，输出模块130为若通过连续性检测，且通过输出条件匹配检测，则基于当前识别结果输出当前图像的模块。

可选地，输出条件匹配模块，包括：

质量分数识别单元，用于利用识别模型对当前图像进行质量分数识别处理，得到当前图像对应的当前质量分数；

质量检测单元，用于利用当前质量分数进行图像质量检测；

相应的，输出模块130为若通过连续性检测，且通过图像质量检测，则基于当前识别结果和当前质量分数输出当前图像的模块。

可选地，还包括：

质量检测模块，用于利用所述当前质量分数进行图像质量检测；

相应的，输出模块130为若通过所述连续性检测，且通过所述图像质量检测，则基于所述当前识别结果和所述当前质量分数输出所述当前图像的模块。

可选地，质量检测模块，包括：

获取单元，用于获取所述历史图像对应的历史质量分数；

平滑单元，用于对所述当前质量分数和所述历史质量分数进行平滑处理，得到平滑质量分数；

第二确定单元，用于若所述平滑质量分数大于质量阈值，则确定通过所述图像质量检测。

可选地，输出模块130，包括：

存储输出单元，用于将所述当前图像存储于候选图像池；

相应的，还包括：

分组模块，用于若检测到输出指令，则将所述候选图像池中各个候选图像按照识别结果分组，得到若干个候选图像组；

质量输出模块，用于输出各个所述候选图像组中质量分数最大的所述候选图像。

可选地，包括：

初始训练模块，用于获取标准训练图像，并利用所述标准训练图像训练初始模型，得到初始识别模型；

测试模块，用于利用测试图像对所述初始识别模型进行测试，得到错误识别图像；

标记模块，用于输出所述错误识别图像，并获取响应于所述错误识别图像的人工标记负样本图像；

二次训练模块，用于利用所述人工标记负样本图像和所述标准训练图像构建训练数据集，并利用所述训练数据集训练所述初始模型，得到所述识别模型。

下面对本申请实施例提供的电子设备进行介绍，下文描述的电子设备与上文描述的内窥镜图像处理方法可相互对应参照。

请参考图4，图4为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。

其中，处理器101用于控制电子设备100的整体操作，以完成上述的内窥镜图像处理方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。

多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。

电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的内窥镜图像处理方法。具体的，电子设备100具体可以为内窥镜设备，除上述各部件和组件外，内窥镜设备还可以包括内窥镜镜头，用于获取内窥镜图像，即各个时刻下的当前图像。在另一种内窥镜设备中，可以通过通讯组件获取其他电子设备发送的图像，并将其作为当前图像进行处理。

下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的内窥镜图像处理方法可相互对应参照。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的内窥镜图像处理方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种内窥镜图像处理方法，其特征在于，包括：

获取当前图像，并将所述当前图像输入识别模型，得到当前识别结果；

获取历史图像对应的历史识别结果，并利用所述当前识别结果和所述历史识别结果进行连续性检测；所述连续性检测为对所述当前识别结果和所述历史识别结果分别对应的部位是否符合内窥镜在人体中运动规律的检测；

若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像；

其中，所述利用所述当前识别结果和所述历史识别结果进行连续性检测，包括：

判断所述当前识别结果与所述历史识别结果是否相同；

若相同，则确定通过所述连续性检测；

若不相同，则进一步判断在所述历史识别结果对应的部位的基础上，继续进行检测时是否能够获取到所述当前识别结果对应的部位，若能够获取到，则确定通过所述连续性检测，否则确定未通过所述连续性检测。

2.根据权利要求1所述的内窥镜图像处理方法，其特征在于，所述进一步判断在所述历史识别结果对应的部位的基础上，继续进行检测时是否能够获取到所述当前识别结果对应的部位，包括：

利用所述当前识别结果与所述历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果，其中，部位区间是指一个或多个部位所属的区间，部位区间检测是指判断当前识别结果对应的部位所属的第一部位区间和历史识别结果对应的部位所属的第二部位区间是否符合规则的检测。

3.根据权利要求2所述的内窥镜图像处理方法，其特征在于，所述利用所述当前识别结果与所述历史识别结果进行部位区间检测，并基于部位区间检测结果确定连续性检测结果，包括：

判断所述当前识别结果和所述历史识别结果是否处于同一区间；

若不处于同一区间，则判断是否满足区间切换条件；

若满足所述区间切换条件，则确定通过所述连续性检测；

若不满足所述区间切换条件，则确定未通过所述连续性检测；

若处于同一区间，则确定通过所述连续性检测。

4.根据权利要求3所述的内窥镜图像处理方法，其特征在于，所述若不处于同一区间，则判断是否满足区间切换条件，包括：

若不处于同一区间，则更新区间切换参数，并判断所述区间切换参数是否大于切换阈值；

若大于所述切换阈值，则确定满足所述区间切换条件；

若不大于所述切换阈值，则确定不满足所述区间切换条件；

相应的，所述若处于同一区间，则确定通过所述连续性检测，包括：

若处于同一区间，则将所述区间切换参数清零，并确定通过所述连续性检测。

5.根据权利要求1至4任一项所述的内窥镜图像处理方法，其特征在于，还包括：

对所述当前图像进行输出条件匹配检测；

相应的，所述若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像，包括：

若通过所述连续性检测，且通过所述输出条件匹配检测，则基于所述当前识别结果输出所述当前图像。

6.根据权利要求5所述的内窥镜图像处理方法，其特征在于，所述对所述当前图像进行输出条件匹配检测，包括：

利用所述识别模型对所述当前图像进行质量分数识别处理，得到所述当前图像对应的当前质量分数；

利用所述当前质量分数进行图像质量检测；

相应的，所述若通过所述连续性检测，且通过所述输出条件匹配检测，则基于所述当前识别结果输出所述当前图像，包括：

若通过所述连续性检测，且通过所述图像质量检测，则基于所述当前识别结果和所述当前质量分数输出所述当前图像。

7.根据权利要求6所述的内窥镜图像处理方法，其特征在于，所述利用所述当前质量分数进行图像质量检测，包括：

获取所述历史图像对应的历史质量分数；

对所述当前质量分数和所述历史质量分数进行平滑处理，得到平滑质量分数；

若所述平滑质量分数大于质量阈值，则确定通过所述图像质量检测。

8.根据权利要求6所述的内窥镜图像处理方法，其特征在于，所述基于所述当前识别结果和所述当前质量分数输出所述当前图像，包括：

将所述当前图像存储于候选图像池；

相应的，还包括：

若检测到输出指令，则将所述候选图像池中各个候选图像按照识别结果分组，得到若干个候选图像组；

输出各个所述候选图像组中质量分数最大的所述候选图像。

9.根据权利要求1所述的内窥镜图像处理方法，其特征在于，所述识别模型的训练过程，包括：

获取标准训练图像，并利用所述标准训练图像训练初始模型，得到初始识别模型；

利用测试图像对所述初始识别模型进行测试，得到错误识别图像；

输出所述错误识别图像，并获取响应于所述错误识别图像的人工标记负样本图像；

利用所述人工标记负样本图像和所述标准训练图像构建训练数据集，并利用所述训练数据集训练所述初始模型，得到所述识别模型。

10.一种内窥镜图像处理装置，其特征在于，包括：

识别模块，用于获取当前图像，并将所述当前图像输入识别模型，得到当前识别结果；

连续性检测模块，用于获取历史图像对应的历史识别结果，并利用所述当前识别结果和所述历史识别结果进行连续性检测；所述连续性检测为对所述当前识别结果和所述历史识别结果分别对应的部位是否符合内窥镜在人体中运动规律的检测；所述利用所述当前识别结果和所述历史识别结果进行连续性检测包括：判断所述当前识别结果与所述历史识别结果是否相同；若相同，则确定通过所述连续性检测；若不相同，则进一步判断在所述历史识别结果对应的部位的基础上，继续进行检测时是否能够获取到所述当前识别结果对应的部位，若能够获取到，则确定通过所述连续性检测，否则确定未通过所述连续性检测；

输出模块，用于若通过所述连续性检测，则基于所述当前识别结果输出所述当前图像。

11.一种电子设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求1至9任一项所述的内窥镜图像处理方法。

12.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的内窥镜图像处理方法。