CN110059652B - 人脸图像处理方法、装置及存储介质 - Google Patents
人脸图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110059652B CN110059652B CN201910335080.9A CN201910335080A CN110059652B CN 110059652 B CN110059652 B CN 110059652B CN 201910335080 A CN201910335080 A CN 201910335080A CN 110059652 B CN110059652 B CN 110059652B
- Authority
- CN
- China
- Prior art keywords
- face image
- identity
- feature extraction
- sample
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明实施例公开了一种人脸图像处理方法、装置及存储介质，属于图像处理技术领域。该方法包括：获取第一样本人脸图像及对应的第二样本人脸图像；基于已训练完成的第一特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第一样本身份特征；基于当前的第二特征提取模型，对第二样本人脸图像进行特征提取，得到第二样本人脸图像的第二样本身份特征；根据第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数。可以使第二特征提取模型学习到人脸图像与对应的身份特征之间的关系，能够训练出更为准确的特征提取模型，使第二特征提取模型提取到的身份特征更为准确，提高了准确率。
Description
技术领域
本发明实施例涉及图像处理技术领域，特别涉及一种人脸图像处理方法、装置及存储介质。
背景技术
随着图像处理技术的发展和智能化设备的广泛普及，在人脸检测、人脸识别、人脸表情分析等多种场景中均会对人脸图像进行处理。但是，如果采集到的人脸图像的分辨率较低，图像质量较差，会导致人脸图像的处理效果不佳。因此，如何对低分辨率的人脸图像进行处理成为亟待解决的问题。
为了提升图像质量，通常会根据低分辨率的人脸图像获取高分辨率的人脸图像。参见图1，相关技术会先训练残差网络模型，该残差网络模型学习到低分辨率图像与高分辨率图像之间的差异，能够根据低分辨率图像获取对应的高分辨率图像。因此，当获取到低分辨率的第一人脸图像时，基于该残差网络模型和该第一人脸图像获取第二人脸图像，该第二人脸图像即为与第一人脸图像对应的高分辨率的人脸图像，该第二人脸图像的图像质量高于该第一人脸图像的图像质量，后续过程中可以对该第二人脸图像进行处理，以提升处理效果。
上述方案在获取低分辨率人脸图像对应的高分辨率人脸图像时，未考虑人脸图像中能够鉴别人脸身份的身份特征，可能会影响到后续的人脸图像处理效果。因此，亟需提出一种考虑身份特征的人脸图像处理方法。
发明内容
本发明实施例提供了一种人脸图像处理方法、装置及存储介质，可以解决相关技术存在的问题。所述技术方案如下：
一方面，提供了一种人脸图像处理方法，所述方法包括：
获取第一样本人脸图像及对应的第二样本人脸图像，所述第一样本人脸图像属于第一类人脸图像，所述第二样本人脸图像属于第二类人脸图像，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征，所述第一特征提取模型用于提取所述第一类人脸图像的身份特征；
基于当前的第二特征提取模型，对所述第二样本人脸图像进行特征提取，得到所述第二样本人脸图像的第二样本身份特征，所述第二特征提取模型用于提取所述第二类人脸图像的身份特征；
根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛。
可选地，所述方法还包括：
获取目标人脸图像，所述目标人脸图像属于所述第二类人脸图像；
基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
可选地，所述基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
根据所述目标身份特征查询身份数据库，得到所述目标身份特征对应的身份标识，所述身份数据库包括至少一个身份特征及对应的身份标识。
可选地，所述基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征之前，所述方法还包括：
获取第三样本人脸图像和所述第三样本人脸图像的第三样本身份特征，所述第三人脸图像属于所述第一类人脸图像；
基于当前的所述第一特征提取模型，对所述第三样本人脸图像进行特征提取，得到所述第三样本人脸图像的第四样本身份特征；
根据所述第三样本身份特征与所述第四样本身份特征之间的误差，调整所述第一特征提取模型的模型参数，以使基于已训练完成的所述第一特征提取模型对所述第一类人脸图像提取的身份特征，与所述第一类人脸图像的实际身份特征之间的误差收敛。
可选地，所述基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征之后，所述方法还包括：
基于当前的第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本非身份特征，所述第三特征提取模型用于提取所述第一类人脸图像的非身份特征；
将所述第一样本身份特征与所述第一样本非身份特征进行组合，得到第一图像特征，基于当前的人脸图像生成模型，生成所述第一图像特征对应的第一指定人脸图像，所述人脸图像生成模型用于根据图像特征生成与所述图像特征对应的所述第一类人脸图像；
获取所述第一样本人脸图像和所述第一指定人脸图像之间的第一图像误差；
根据所述第一图像误差，调整所述第三特征提取模型的模型参数和所述人脸图像生成模型的模型参数，以使基于已训练完成的所述第三特征提取模型对所述第一类人脸图像提取的非身份特征，和基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征组合后的图像特征，输入至已训练完成的所述人脸图像生成模型后，得到的指定人脸图像与对应的所述第一类人脸图像之间的图像误差收敛。
可选地，所述根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，包括：
基于已训练完成的所述第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第二样本非身份特征；
将所述第二样本身份特征和所述第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的所述人脸图像生成模型，生成所述第二图像特征对应的第二指定人脸图像；
获取所述第一样本人脸图像和所述第二指定人脸图像之间的第二图像误差；
根据所述第二图像误差以及所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，且所述第二类人脸图像对应的所述第一类人脸图像与基于已训练完成的所述人脸图像生成模型生成的指定人脸图像之间的图像误差收敛。
可选地，所述基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
将所述目标身份特征和预设非身份特征进行组合，得到目标图像特征；
基于训练完成的人脸图像生成模型，获取所述目标图像特征对应的指定人脸图像，所述人脸图像生成模型用于根据图像特征生成与所述图像特征对应的所述第一类人脸图像。
可选地，所述根据所述第一图像误差，调整所述第三特征提取模型的模型参数和所述人脸图像生成模型的模型参数，包括：
基于当前的判别模型，对所述第一样本人脸图像进行判别处理，得到第一判别结果，对所述第一指定人脸图像进行判别处理，得到第二判别结果，所述判别模型用于确定任一人脸图像是原始人脸图像的概率；
基于所述已训练完成的所述第一特征提取模型，对所述第一指定人脸图像进行特征提取，得到第一指定身份特征；
获取所述第一指定身份特征与所述第一样本身份特征之间的第一身份特征误差；
根据所述第一判别结果与第一预设判别结果之间的误差、所述第二判别结果与第二预设判别结果之间的误差，以及所述第一身份特征误差，调整所述第三特征提取模型的模型参数、所述人脸图像生成模型的模型参数和所述判别模型的模型参数，以使基于已训练完成的所述判别模型进行判别处理后得到的判别结果的误差收敛，且基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征与基于所述第一特征提取模型对所述第一类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
可选地，所述根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，包括：
基于已训练完成的所述第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第二样本非身份特征；
将所述第二样本身份特征和所述第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的所述人脸图像生成模型，生成所述第二图像特征对应的第二指定人脸图像，获取所述第一样本人脸图像和所述第二指定人脸图像之间的第二图像误差；
基于已训练完成的所述判别模型，对所述第二指定人脸图像进行判别处理，得到第三判别结果；
基于已训练完成的所述第一特征提取模型，对所述第二指定人脸图像进行特征提取，得到所述第二指定人脸图像的第二指定身份特征，获取所述第二指定身份特征与所述第一样本身份特征之间的第二身份特征误差；
根据所述第一样本身份特征与所述第二样本身份特征之间的误差、所述第二图像误差、所述第三判别结果与所述第二预设判别结果之间的误差，以及所述第二身份特征误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，基于所述第一特征提取模型、已训练完成的所述第二特征提取模型、所述第三特征提取模型和所述人脸图像生成模型得到的指定人脸图像与对应的所述第二类人脸图像之间的图像误差收敛，基于所述判别模型进行判别处理后得到的判别结果的误差收敛，且基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
另一方面，提供了一种人脸图像处理方法，所述方法包括：
获取第二特征提取模型，所述第二特征提取模型根据第一特征提取模型调整得到，且调整目标为基于所述第二特征提取模型对第二类人脸图像提取的身份特征，趋向于基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
基于所述第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
可选地，所述基于所述第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
将所述目标身份特征和预设非身份特征进行组合，得到目标图像特征；
基于人脸图像生成模型，获取所述目标图像特征对应的指定人脸图像，所述指定人脸图像属于所述第一类人脸图像；
所述人脸图像生成模型根据所述第一特征提取模型和第三特征提取模型调整得到，且调整目标为基于所述人脸图像生成模型为图像特征生成的指定人脸图像，与所述图像特征对应的、属于所述第一类人脸图像的任一人脸图像之间的图像误差收敛；所述图像特征为基于所述第三特征提取模型对所述任一人脸图像提取的非身份特征和基于所述第一特征提取模型对所述任一人脸图像提取的身份特征组合后的图像特征。
可选地，所述基于第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
根据所述目标身份特征查询身份数据库，得到所述目标身份特征对应的身份标识，所述身份数据库包括至少一个身份特征及对应的身份标识。
另一方面，提供了一种人脸图像处理装置，所述装置包括：
第一样本人脸图像获取模块，用于获取第一样本人脸图像及对应的第二样本人脸图像，所述第一样本人脸图像属于第一类人脸图像，所述第二样本人脸图像属于第二类人脸图像，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
第一特征提取模块，用于基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征，所述第一特征提取模型用于提取所述第一类人脸图像的身份特征；
第二特征提取模块，用于基于当前的第二特征提取模型，对所述第二样本人脸图像进行特征提取，得到所述第二样本人脸图像的第二样本身份特征，所述第二特征提取模型用于提取所述第二类人脸图像的身份特征；
第一调整模块，用于根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛。
可选地，所述装置还包括：
目标图像获取模块，用于获取目标人脸图像，所述目标人脸图像属于所述第二类人脸图像；
目标特征提取模块，用于基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
可选地，所述装置还包括：
查询模块，用于根据所述目标身份特征查询身份数据库，得到所述目标身份特征对应的身份标识，所述身份数据库包括至少一个身份特征及对应的身份标识。
可选地，所述装置还包括：
第二样本人脸图像获取模块，用于获取第三样本人脸图像和所述第三样本人脸图像的第三样本身份特征，所述第三人脸图像属于所述第一类人脸图像；
第三特征提取模块，用于基于当前的所述第一特征提取模型，对所述第三样本人脸图像进行特征提取，得到所述第三样本人脸图像的第四样本身份特征；
第二调整模块，用于根据所述第三样本身份特征与所述第四样本身份特征之间的误差，调整所述第一特征提取模型的模型参数，以使基于已训练完成的所述第一特征提取模型对所述第一类人脸图像提取的身份特征，与所述第一类人脸图像的实际身份特征之间的误差收敛。
可选地，所述装置还包括：
第四特征提取模块，用于基于当前的第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本非身份特征，所述第三特征提取模型用于提取所述第一类人脸图像的非身份特征；
指定图像获取模块，用于将所述第一样本身份特征与所述第一样本非身份特征进行组合，得到第一图像特征，基于当前的人脸图像生成模型，生成所述第一图像特征对应的第一指定人脸图像，所述人脸图像生成模型用于根据图像特征生成与所述图像特征对应的所述第一类人脸图像；
图像误差获取模块，用于获取所述第一样本人脸图像和所述第一指定人脸图像之间的第一图像误差；
第三调整模块，用于根据所述第一图像误差，调整所述第三特征提取模型的模型参数和所述人脸图像生成模型的模型参数，以使基于已训练完成的所述第三特征提取模型对所述第一类人脸图像提取的非身份特征，和基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征组合后的图像特征，输入至已训练完成的所述人脸图像生成模型后，得到的指定人脸图像与对应的所述第一类人脸图像之间的图像误差收敛。
可选地，所述第一调整模块，包括：
特征提取单元，用于基于训练完成的所述第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第二样本非身份特征；
图像获取单元，用于将所述第二样本身份特征和所述第二样本非身份特征进行组合，得到第二图像特征，基于训练完成的所述人脸图像生成模型，生成所述第二图像特征对应的第二指定人脸图像；
图像误差获取单元，用于获取所述第一样本人脸图像和所述第二指定人脸图像之间的第二图像误差；
调整单元，用于根据所述第二图像误差以及所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，且所述第二类人脸图像对应的所述第一类人脸图像与基于已训练完成的所述人脸图像生成模型生成的指定人脸图像之间的图像误差收敛。
可选地，所述装置还包括：
特征组合模块，用于将所述目标身份特征和预设非身份特征进行组合，得到目标图像特征；
图像生成模块，用于基于训练完成的人脸图像生成模型，获取所述目标图像特征对应的指定人脸图像，所述人脸图像生成模型用于根据图像特征生成与所述图像特征对应的所述第一类人脸图像。
可选地，所述第三调整模块，包括：
判别单元，用于基于当前的判别模型，对所述第一样本人脸图像进行判别处理，得到第一判别结果，对所述第一指定人脸图像进行判别处理，得到第二判别结果，所述判别模型用于确定任一人脸图像是原始人脸图像的概率；
特征提取单元，用于基于所述训练完成的所述第一特征提取模型，对所述第一指定人脸图像进行特征提取，得到第一指定身份特征；
特征误差获取单元，用于获取所述第一指定身份特征与所述第一样本身份特征之间的第一身份特征误差；
调整单元，用于根据所述第一判别结果与第一预设判别结果之间的误差、所述第二判别结果与第二预设判别结果之间的误差，以及所述第一身份特征误差，调整所述第三特征提取模型的模型参数、所述人脸图像生成模型的模型参数和所述判别模型的模型参数，以使基于已训练完成的所述判别模型进行判别处理后得到的判别结果的误差收敛，且基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征与基于所述第一特征提取模型对所述第一类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
可选地，所述第一调整模块，包括：
特征提取单元，用于基于训练完成的所述第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第二样本非身份特征；
图像获取单元，用于将所述第二样本身份特征和所述第二样本非身份特征进行组合，得到第二图像特征，基于训练完成的所述人脸图像生成模型，生成所述第二图像特征对应的第二指定人脸图像；
图像误差获取单元，用于获取所述第一样本人脸图像和所述第二指定人脸图像之间的第二图像误差；
判别单元，用于基于训练完成的所述判别模型，对所述第二指定人脸图像进行判别处理，得到第三判别结果；
特征误差获取单元，用于基于训练完成的所述第一特征提取模型，对所述第二指定人脸图像进行特征提取，得到所述第二指定人脸图像的第二指定身份特征，获取所述第二指定身份特征与所述第一样本身份特征之间的第二身份特征误差；
调整单元，用于根据所述第一样本身份特征与所述第二样本身份特征之间的误差、所述第二图像误差、所述第三判别结果与所述第二预设判别结果之间的误差，以及所述第二身份特征误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，基于所述第一特征提取模型、已训练完成的所述第二特征提取模型、所述第三特征提取模型和所述人脸图像生成模型得到的指定人脸图像与对应的所述第二类人脸图像之间的图像误差收敛，基于所述判别模型进行判别处理后得到的判别结果的误差收敛，且基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
另一方面，提供了一种人脸图像处理装置，所述装置包括：
第二特征获取模块，用于获取第二特征提取模型，所述第二特征提取模型根据第一特征提取模型调整得到，且调整目标为基于所述第二特征提取模型对第二类人脸图像提取的身份特征，趋向于基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
目标特征提取模块，用于基于所述第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
可选地，所述装置还包括：
组合模块，用于将所述目标身份特征和预设非身份特征进行组合，得到目标图像特征；
指定图像获取模块，用于基于人脸图像生成模型，获取所述目标图像特征对应的指定人脸图像，所述指定人脸图像属于所述第一类人脸图像；
所述人脸图像生成模型根据所述第一特征提取模型和第三特征提取模型调整得到，且调整目标为基于所述人脸图像生成模型为图像特征生成的指定人脸图像，与所述图像特征对应的、属于所述第一类人脸图像的任一人脸图像之间的图像误差收敛；所述图像特征为基于所述第三特征提取模型对所述任一人脸图像提取的非身份特征和基于所述第一特征提取模型对所述任一人脸图像提取的身份特征组合后的图像特征。
可选地，所述装置还包括：
查询模块，用于根据所述目标身份特征查询身份数据库，得到所述目标身份特征对应的身份标识，所述身份数据库包括至少一个身份特征及对应的身份标识。
另一方面，提供了一种人脸图像处理装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如所述人脸图像处理方法中所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并具有以实现如所述人脸图像处理方法中所执行的操作。
本发明实施例提供的方法、装置及存储介质，对第一特征提取模型进行训练，基于已训练完成的第一特征提取模型，获取第一样本人脸图像的第一样本身份特征，基于当前的第二特征提取模型，获取第二样本人脸图像的第二样本身份特征，根据第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数。本发明实施例提供了一种提取第二类人脸图像的身份特征的方法，在第一特征提取模型训练完成后，根据相互对应的第一类人脸图像和第二类人脸图像，将第一类人脸图像和对应的第二类人脸图像作为样本对，共同参与第二特征提取模型的训练过程，可以使第二特征提取模型学习到人脸图像与对应的身份特征之间的关系，能够训练出更为准确的特征提取模型，使第二特征提取模型提取到的身份特征更为准确，提高了准确率，便于后续根据提取的身份特征进行人脸图像处理。
并且，本发明实施例基于已训练完成的第二特征提取模型，获取目标人脸图像的目标身份特征，通过查询身份数据库，得到目标身份特征对应的身份标识，能够有效利用人脸图像中用于鉴别人脸身份的身份特征，将提取到的身份特征应用于与人脸身份识别等多种场景中，扩大了人脸图像的应用范围。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术中提供的一种人脸图像处理方法的示意图；
图2是本发明实施例提供的一种实施环境的示意图；
图3是本发明实施例提供的一种人脸图像处理方法的流程图；
图4是本发明实施例提供的一种网络架构的示意图；
图5是本发明实施例提供的一种第一特征提取模型的网络架构示意图；
图6是本发明实施例提供的另一种人脸图像处理方法的流程图；
图7是本发明实施例提供的另一种网络架构的示意图；
图8是本发明实施例提供的另一种人脸图像处理方法的流程图；
图9是本发明实施例提供的另一种网络架构的示意图；
图10是本发明实施例提供的一种人脸图像处理装置的结构示意图；
图11是本发明实施例提供的另一种人脸图像处理装置的结构示意图；
图12是本发明实施例提供的一种终端的结构示意图；
图13是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细地解释说明之前，首先对本发明实施例涉及到的概念进行如下解释：
1、第一类人脸图像和第二类人脸图像：
根据人脸图像的分辨率的不同，将人脸图像划分为第一类人脸图像和第二类人脸图像。其中，第一类人脸图像的分辨率高于第二类人脸图像的分辨率，则可以将第一类人脸图像称为高分辨率人脸图像，将第二类人脸图像称为低分辨率人脸图像。
第一类人脸图像的图像质量高于第二类人脸图像的图像质量。相对而言，第一类人脸图像较为清晰，包含的图像信息较多，第二类人脸图像较为模糊，包含的图像信息较少。
2、身份特征：是指对人脸图像中包含的人脸身份具有鉴别性的特征，用于描述人脸图像中包含的人脸的身份信息。
3、非身份特征：是指人脸图像中除身份特征以外的其他特征，用于描述人脸图像中除人脸的身份信息以外的其他信息，如光照、姿态、人脸表情等信息。
4、本发明实施例涉及到的模型如下表1所示：
表1
5、指定人脸图像和原始人脸图像：
指定人脸图像是由人脸图像生成模型根据图像特征生成的人脸图像，而原始人脸图像不是由人脸图像生成模型根据图像特征生成的人脸图像。例如，原始人脸图像可以为终端通过摄像头拍摄得到的人脸图像。
图2是本发明实施例提供的一种实施环境的示意图，该实施环境包括：终端201和服务器202，终端201和服务器202之间通过网络连接。
其中，终端201可以为手机、计算机、平板电脑等多种类型的设备，服务器202可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
本发明实施例提供了一种人脸图像处理方法，通过训练得到用于提取第二类人脸图像的身份特征的特征提取模型，能够对第二类人脸图像进行特征提取，得到能够描述该第二类人脸图像中包含的人脸身份信息的身份特征，后续可以将提取到的身份特征应用于根据人脸图像的人脸身份进行图像处理的场景中。
在一种可能实现方式中，该方法应用于服务器202中。
其中，人脸图像可以由操作人员采集后输入至服务器202中，或者由终端201发送给服务器202，或者由服务器202采用其他方式得到，服务器202基于获取到的人脸图像进行训练，得到该特征提取模型。后续可以将该特征提取模型下发到终端201中，供终端201使用。
在另一种可能实现方式中，该方法应用于终端201中。
其中，人脸图像可以由终端201拍摄得到，或者由终端201从服务器202下载得到，或者由终端201通过采用其他方式得到。终端201基于获取到的人脸图像进行训练，得到该特征提取模型，后续可以基于该特征提取模型提取人脸图像的身份特征。
图3是本发明实施例提供的一种人脸图像处理方法的流程图，该人脸图像处理方法先对第一特征提取模型进行训练，根据已训练完成的第一特征提取模型，对第二特征提取模型进行训练。
本发明实施例的执行主体为处理设备，该处理设备可以为图2所示的终端或服务器，参见图3，该方法包括：
301、对第一特征提取模型进行训练。
人脸图像的图像信息可以包含多种类型，如人脸的身份信息、光照信息、人脸的位置信息等，这些信息可以分为身份信息和非身份信息，相应的，人脸图像的图像特征可以包括身份特征和非身份特征，其中身份特征用于对身份信息进行描述，而非身份特征用于对非身份信息进行描述。
由于人脸图像可以包括第一类人脸图像和第二类人脸图像，第一类人脸图像的分辨率高于第二类人脸图像的分辨率，则第一类人脸图像的图像质量高于第二类人脸图像的图像质量，第一类人脸图像的图像信息多于第二类人脸图像的图像信息。
关于划分第一类人脸图像和第二类人脸图像的方式，在一种可能实现的方式中，设置第一预设分辨率和第二预设分辨率，第一预设分辨率不小于第二预设分辨率，将分辨率高于该第一预设分辨率的人脸图像作为第一类人脸图像，将分辨率低于该第二预设分辨率的人脸图像作为第二类人脸图像。
不同类型的人脸图像的图像信息不同，提取的特征也不同。因此，本发明实施例为了准确地提取身份特征，分别训练出不同的特征提取模型。
参见图4，首先，对第一特征提取模型进行训练，该第一特征提取模型用于提取第一类人脸图像的身份特征。训练过程包括：处理设备获取当前的第一特征提取模型，且当前的第一特征提取模型可以为初始化的第一特征提取模型，也可以为经过一次或多次训练、但还未训练完成的第一特征提取模型。获取属于第一类人脸图像的第三样本人脸图像，以及第三样本人脸图像的第三样本身份特征，该第三样本身份特征为第三样本人脸图像的实际身份特征，基于当前的第一特征提取模型，对第三样本人脸图像进行特征提取，得到第三样本人脸图像的第四样本身份特征。根据第三样本身份特征与第四样本身份特征之间的误差，调整第一特征提取模型的模型参数，以使基于训练完成的第一特征提取模型对第一类人脸图像提取的身份特征，与该第一类人脸图像的实际身份特征之间的误差收敛。
对于任一个模型来说，误差收敛是指，通过对模型进行一次调整，使基于调整后的模型进行处理时得到的误差与基于调整前的模型进行处理时得到的误差相比更小。通过一次或多次调整，模型的误差逐渐减小，直至模型的误差小于预设阈值时，误差收敛，可以认为此时的模型满足要求，模型训练完成。
关于获取第三样本人脸图像的方式，在一种可能实现方式中，该第三样本人脸图像可以由处理设备拍摄得到，或者由其他设备发送至处理设备，或者由处理设备采用其他方式获取得到。
其中，第一特征提取模型在提取第一类人脸图像的身份特征时，所提取的身份特征与第一类人脸图像的实际身份特征之间可能会存在误差，该误差越小，表示第一特征提取模型的提取效果越好，该误差越大，表示第一特征提取模型的提取效果越差。
上述训练过程中，第三样本身份特征为第三样本人脸图像的实际身份特征，而第四样本身份特征为基于当前的第一特征提取模型对第三样本人脸图像进行特征提取后得到的身份特征。因此第三样本身份特征与第四样本身份特征之间的误差可以反映第一特征提取模型当前的提取效果，根据第三样本身份特征和第四样本身份特征之间的误差，调整第一特征提取模型的模型参数，以使基于调整后的第一特征提取模型对第一类人脸图像提取的身份特征的误差减小，以达到优化第一特征提取模型的效果。
本发明实施例仅是以根据第三样本人脸图像及其对应的第三样本身份特征为例，对训练第一特征提取模型的过程进行说明。而为了提高第一特征提取模型的准确率，可以获取多个样本人脸图像及其对应的样本身份特征，多次对第一特征提取模型进行训练。且获取到的多个样本人脸图像的尺寸可以相同，也可以不同。且第一特征提取模型的训练目标为：基于第一特征提取模型对第一类人脸图像提取的身份特征的误差收敛，以保证提取到的身份特征能够尽可能准确地描述该第一类人脸图像中包含的人脸的身份信息。
采用上述训练方式，并按照上述训练目标进行一次或多次训练，直至第一特征提取模型收敛为止，得到已训练完成的第一特征提取模型。
在一种可能实现方式中，为第一特征提取模型设置第一损失函数，基于第一损失函数对第一特征提取模型进行训练，该第一损失函数的输出值由所提取的第一类人脸图像的身份特征的误差确定，与该误差呈正相关关系，因此第一特征提取模型的训练目标可以为：第一损失函数的输出值收敛，以保证第一特征提取模型对任一人脸图像提取到的身份特征与该人脸图像的实际身份特征之间的误差收敛。
其中，该第一损失函数可以为Softmax损失函数(交叉熵损失函数)，或者还可以为其他损失函数。
第一特征提取模型训练完成后，可以将任一第一类人脸图像输入至已训练完成的第一特征提取模型，基于该第一特征提取模型，对该第一类人脸图像进行特征提取，得到该第一类人脸图像的身份特征。
本发明实施例中，在第一特征提取模型训练完成后，还会根据第一特征提取模型，对第二特征提取模型进行训练，该第二特征提取模型用于提取第二类人脸图像的身份特征。训练过程详见下述步骤402-405。
302、获取第一样本人脸图像及对应的第二样本人脸图像。
首先，处理设备获取第一样本人脸图像以及与该第一样本人脸图像对应的第二样本人脸图像。
其中，第一样本人脸图像为属于第一类人脸图像，第二样本人脸图像属于第二类人脸图像，第一类人脸图像的分辨率高于第二类人脸图像的分辨率。第一样本人脸图像和第二样本人脸图像相互对应，即第一样本人脸图像和第二样本人脸图像分别为同一张人脸图像对应的低分辨率图像和高分辨率图像。
关于获取第一样本人脸图像和第二样本人脸图像的方式，在一种可能实现方式中，该第一样本人脸图像可以由处理设备拍摄得到，或者由其他设备发送至处理设备，或者由处理设备采用其他方式得到。该第二样本人脸图像通过对该第一样本人脸图像进行下采样得到。下采样的方式可以为随机尺度下采样或其他方式。
需要说明的是，第二特征提取模型的训练过程中需要综合考虑第一样本人脸图像的身份特征和第二样本人脸图像的身份特征，如果第一样本人脸图像及第二样本人脸图像的尺寸不同，可能会影响训练效果。因此，在一种可能实现的方式中，处理设备设置统一的预设尺寸，当获取到第一样本人脸图像及第二样本人脸图像时，对第一样本人脸图像及第二样本人脸图像进行缩放处理，以使处理后的样本人脸图像的尺寸均为预设尺寸。或者，处理设备获取到第一样本人脸图像及第二样本人脸图像时，对第二样本人脸图像进行缩放处理，以使处理后的第二样本人脸图像的尺寸与第一样本人脸图像的尺寸相同，避免由于人脸图像的尺寸不同而带来的干扰。
其中，缩放处理的方式可以为插值处理方式或其他缩放方式。例如，处理设备采用双三次插值(Bicubic Interpolation)处理方式，将任一尺寸的人脸图像缩放至128*128的尺寸。
303、基于已训练完成的第一特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第一样本身份特征。
处理设备将第一样本人脸图像输入至已训练完成的第一特征提取模型中，由第一特征提取模型对第一样本人脸图像进行特征提取，输出第一样本人脸图像的身份特征，即为第一样本身份特征。
304、基于当前的第二特征提取模型，对第二样本人脸图像进行特征提取，得到第二样本人脸图像的第二样本身份特征。
处理设备获取当前的第二特征提取模型，且当前的第二特征提取模型可以为初始化的第二特征提取模型，也可以为经过一次或多次训练、但还未训练完成的第二特征提取模型。处理设备将第二样本人脸图像输入至当前的第二特征提取模型中，由该当前的第二特征提取模型对第二样本人脸图像进行特征提取，输出第二样本人脸图像的身份特征，即第二样本身份特征。
305、根据第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数。
其中，第二特征提取模型在提取第二类人脸图像的身份特征时，所提取的身份特征与第二类人脸图像的实际身份特征之间可能会存在误差，该误差越小，表示第二特征提取模型的提取效果越好，该误差越大，表示第二特征提取模型的提取效果越差。
上述训练过程中，第一样本身份特征为第一样本人脸图像的身份特征，而第二样本身份特征为基于当前的第二特征提取模型对第二样本人脸图像进行特征提取后得到的身份特征。由于第一样本人脸图像与第二样本人脸图像相互对应，两者虽然图像信息略有不同，但是所包含人脸的身份信息应当相同，则身份特征也应当相同，因此，第一样本身份特征可以看做是第二样本人脸图像的实际身份特征。
因此，第一样本身份特征与第二样本身份特征之间的误差可以反映第二特征提取模型当前的提取效果，根据第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数，以使基于调整后的第二特征提取模型对第二类人脸图像提取的身份特征的误差减小，以达到优化第二特征提取模型的效果。
本发明实施例仅是以根据第一样本人脸图像及第二样本人脸图像为例，对训练第二特征提取模型的过程进行说明。而为了提高第二特征提取模型的准确率，可以获取多组样本人脸图像，每组包括一个第一类人脸图像及其对应的一个第二类人脸图像，且两者的尺寸可以相同，也可以不同。根据多组样本人脸图像，多次对第二特征提取模型进行训练。且第二特征提取模型的训练目标为：基于第二特征提取模型对第二类人脸图像提取的身份特征的误差收敛，即基于已训练完成的第二特征提取模型对第二类人脸图像提取的身份特征，与基于第一特征提取模型对该第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，以保证提取到的身份特征能够尽可能准确地描述该第二类人脸图像中包含的人脸的身份信息。
采用上述训练方式，并按照上述训练目标进行一次或多次训练，直至第二特征提取模型收敛为止，得到已训练完成的第二特征提取模型。
在一种可能实现方式中，为第二特征提取模型设置第二损失函数，基于第二损失函数对第二特征提取模型进行训练，该第二损失函数的输出值由基于第二特征提取模型所提取的第二类人脸图像的身份特征，与基于第一特征提取模型所提取的第一类人脸图像的身份特征之间的差异确定，与该差异呈正相关关系，因此第二特征提取模型的训练目标可以为：第二损失函数的输出值收敛，以保证第二特征提取模型提取到的身份特征与第一特征提取模型提取到的身份特征之间的差异收敛。
其中，该第二损失函数可以为Softmax损失函数，或者还可以为其他损失函数。
由于第二类人脸图像包含的图像信息较少，若直接根据第二类人脸图像进行训练，会导致训练的特征提取模型不够准确。而本发明实施例中，考虑到第一类人脸图像包含的图像信息更多，所提取的身份特征更为准确，因此在训练第二特征提取模型的过程中，将第一类人脸图像和对应的第二类人脸图像作为样本对，共同参与第二特征提取模型的训练过程，能够训练出更为准确的特征提取模型，使第二特征提取模型提取到的身份特征更为准确。
306、获取目标人脸图像。
307、基于已训练完成的第二特征提取模型，对目标人脸图像进行特征提取，得到目标人脸图像的目标身份特征。
第二特征提取模型训练完成后，可以将任一第二类人脸图像输入至已训练完成的第二特征提取模型，基于该第二特征提取模型，对该第二类人脸图像进行特征提取，得到该第二类人脸图像的身份特征。
本发明实施例以目标人脸图像为例，处理设备获取属于第二类人脸图像的目标人脸图像，该目标人脸图像可以由处理设备拍摄得到或者从互联网中下载得到，或者由其他设备发送至处理设备。之后，将该目标人脸图像输入至已训练完成的第二特征提取模型中，基于第二特征提取模型对目标人脸图像进行特征提取，得到目标人脸图像的目标身份特征，该目标身份特征即可用于描述目标人脸图像中包含的人脸的身份信息。
308、根据目标身份特征查询身份数据库，得到目标身份特征对应的身份标识。
处理设备获取身份数据库，根据目标身份特征查询身份数据库，获取与该目标身份特征匹配的身份标识。
其中，身份数据库包括至少一个身份特征及对应的身份标识，该身份标识用于确定唯一的自然人，可以为身份证号码、电话号码或其他用于确定自然人身份的标识。
关于确定身份标识的过程，在一种可能实现的方式中，将目标身份特征与身份数据库中的身份特征进行对比，将与目标身份特征之间的相似度小于预设阈值的身份特征对应的身份标识，确定为目标身份特征对应的身份标识。
例如，获取目标身份特征与身份数据库中身份特征之间的余弦相似度，将余弦相似度小于预设阈值的身份特征对应的身份标识，确定为目标身份特征对应的身份标识。
需要说明的是，上述步骤406-408为可选步骤，对进行身份识别的过程进行了说明，而在另一实施例中，在第二特征提取模型训练完成后，基于该第二特征提取模型提取到第二类人脸图像的身份特征后，还可以根据该身份特征进行其他方式的处理，如人脸表情分析、人脸图像复原等。
本发明实施例提供的方法，对第一特征提取模型进行训练，基于已训练完成的第一特征提取模型，获取第一样本人脸图像的第一样本身份特征，基于当前的第二特征提取模型，获取第二样本人脸图像的第二样本身份特征，根据第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数。本发明实施例提供了一种提取第二类人脸图像的身份特征的方法，在第一特征提取模型训练完成后，根据相互对应的第一类人脸图像和第二类人脸图像，将第一类人脸图像和对应的第二类人脸图像作为样本对，共同参与第二特征提取模型的训练过程，可以使第二特征提取模型学习到人脸图像与对应的身份特征之间的关系，能够训练出更为准确的特征提取模型，使第二特征提取模型提取到的身份特征更为准确，提高了准确率，便于后续根据提取的身份特征进行人脸图像处理。
并且，本发明实施例基于已训练完成的第二特征提取模型，获取目标人脸图像的目标身份特征，通过查询身份数据库，得到目标身份特征对应的身份标识，能够有效利用人脸图像中用于鉴别人脸身份的身份特征，将提取到的身份特征应用于与人脸身份识别等多种场景中，扩大了人脸图像的应用范围。
图5是本发明实施例提供的一种网络架构的示意图，以第一特征提取模型为高分辨率身份特征提取模型501、第二特征提取模型为低分辨率身份特征提取模型502为例。则调整低分辨率身份特征提取模型502的模型参数过程可以包括如下步骤：
1、训练高分辨率身份特征提取模型501。
2、获取多组样本人脸图像，每组样本人脸图像中包括相互对应的高分辨率人脸图像和低分辨率人脸图像。
3、针对每组样本人脸图像，将高分辨率人脸图像输入至高分辨率身份特征提取模型501，得到高分辨率人脸图像的第一样本身份特征；将低分辨率人脸图像输入至低分辨率身份特征提取模型502，得到低分辨率人脸图像的第二样本身份特征。
4、对比第一样本身份特征和第二样本身份特征，调整低分辨率身份特征提取模型502的模型参数。
5、根据多组样本人脸图像，重复执行上述步骤3-4，对低分辨率身份特征提取模型502进行多次调整，得到训练后的低分辨率身份特征提取模型502。
图6是本发明实施例提供的一种人脸图像处理方法的流程图，该人脸图像处理方法在第一特征提取模型训练完成后，根据已训练完成的第一特征提取模型，对第三特征提取模型和人脸图像生成模型进行训练，在第三特征提取模型和人脸图像生成模型训练完成后，根据第三特征提取模型和人脸图像生成模型，对第二特征提取模型进行训练。
本发明实施例的执行主体为处理设备，该处理设备可以为图2所示的终端或服务器，参见图6，该方法包括：
601、获取第一样本人脸图像及对应的第二样本人脸图像。
602、基于已训练完成的第一特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第一样本身份特征。
步骤601-602与上述实施例中步骤302-303类似，在此不再赘述。
603、基于当前的第三特征提取模型，对第一样本人脸图像进行特征提取，得到该第一样本人脸图像的第一样本非身份特征。
由于人脸图像中不仅包含用于鉴别人脸身份的身份信息，还包括除身份信息以外的非身份信息，该非身份信息包括光照信息、表情信息、姿态信息等。为了得到用于描述人脸图像的非身份信息的非身份特征，处理设备获取当前的第三特征提取模型，将第一样本人脸图像输入至该第三特征提取模型中，由该第三特征提取模型对第一样本人脸图像进行特征提取，输出第一样本人脸图像的非身份特征，即第一样本非身份特征。该第一样本非身份特征用于描述第一样本人脸图像的非身份信息。
其中，当前第三特征提取模型可以为初始化的第三特征提取模型，也可以为经过一次或多次训练、但还未训练完成的第三特征提取模型。
604、将第一样本身份特征和第一样本非身份特征进行组合，得到第一图像特征。
本发明实施例还可以训练用于根据图像特征生成对应的指定人脸图像的人脸图像生成模型。对于同一人脸图像，身份特征仅用于描述该人脸图像的身份信息，非身份特征仅用于描述该人脸图像的非身份信息，只有综合考虑身份特征和非身份特征，才能够得到人脸图像准确的图像信息，从而生成准确的人脸图像。
因此，在获取到第一样本人脸图像的第一样本身份特征和第一样本非身份特征后，为了生成对应的人脸图像，处理设备将第一样本身份特征和第一样本非身份特征进行组合，得到第一图像特征。该第一图像特征包括第一样本身份特征和第一样本非身份特征，能够描述第一样本人脸图像的图像信息。
在一种可能实现的方式中，组合方式为拼接组合方式，即将第一样本身份特征与第一样本非身份特征进行拼接，拼接后的特征即为第一图像特征。
例如，第一样本身份特征是维度为128维的特征数据，第一样本非身份特征是维度为128维的特征数据，将二者拼接后，得到维度为256维的第一图像特征。
605、基于当前的人脸图像生成模型，生成第一图像特征对应的第一指定人脸图像。
处理设备获取当前的人脸图像生成模型，将第一图像特征输入至该人脸图像生成模型中，由该人脸图像生成模型对第一图像特征进行处理，输出第一图像特征对应的指定人脸图像，即第一指定人脸图像。该第一指定人脸图像属于第一类人脸图像。
其中，当前的人脸图像生成模型可以为初始化的人脸图像生成模型，也可以为经过一次或多次训练、但还未训练完成的人脸图像生成模型。
606、获取第一样本人脸图像和第一指定人脸图像之间的第一图像误差。
607、根据第一图像误差，调整第三特征提取模型的模型参数和人脸图像生成模型的模型参数。
由于人脸图像生成模型在生成人脸图像时，生成的指定人脸图像与实际人脸图像之间可能会存在图像误差。因此，处理设备获取第一样本人脸图像和第一指定人脸图像之间的图像误差，即第一图像误差。该第一图像误差用于描述第一样本人脸图像和第一指定人脸图像之间的差异。
该图像误差越小，表示人脸图像生成模型的准确率越高，该图像误差越大，表示人脸图像生成模型的准确率越低。
第三特征提取模型的作用是为了获取第一类人脸图像的非身份特征，人脸图像生成模型的作用是为了生成足够真实的人脸图像，即生成的指定人脸图像要尽可能与对应的原始人脸图像相近。由于第一图像误差可以反映人脸图像生成模型当前的准确率，因此，根据第一图像误差，调整第三特征提取模型的模型参数和人脸图像生成模型的模型参数，以使基于已训练完成的第三特征提取模型对第一类人脸图像提取的非身份特征，和基于第一特征提取模型对第一类人脸图像提取的身份特征组合后的图像特征，输入至已训练完成的人脸图像生成模型后，得到的指定人脸图像与对应的第一类人脸图像之间的图像误差收敛。该图像误差越小，表示第三特征提取模型和人脸图像生成模型的训练效果越好，该图像误差越大，表示第三特征提取模型和人脸图像生成模型的训练效果越差。
在一种可能实现方式中，为第三特征提取模型设置第三损失函数，为人脸图像生成模型设置第四损失函数，该第三损失函数的输出值由所提取的第一类人脸图像的非身份特征的误差确定，与该误差呈正相关关系，该第四损失函数的输出值由人脸图像生成模型生成的指定人脸图像与原始人脸图像之间的图像误差确定，与该图像误差呈正相关关系。因此，第三特征提取模型和人脸图像生成模型的训练目标可以为：第三损失函数的输出值收敛，且第四损失函数的输出值收敛，以保证基于已训练完成的第三特征提取模型对任一目标人脸图像提取的非身份特征和基于第一特征提取模型提取的身份特征组合后的图像特征，输入至已训练完成的人脸图像生成模型后，得到指定人脸图像与对应的目标人脸图像之间的图像误差收敛。
其中，该第三损失函数和该第四损失函数可以为Softmax损失函数，或者还可以为其他损失函数。
采用上述训练方式，并按照上述训练目标进行一次或多次训练，直至第三特征提取模型和人脸图像生成模型均收敛为止，训练完成，得到已训练完成的第三特征提取模型和人脸图像生成模型。
第三特征提取模型训练完成后，可以将任一第一类人脸图像输入至已训练完成的第三特征提取模型，基于该第三特征提取模型，对该第一类人脸图像进行特征提取，得到该第一类人脸图像的非身份特征。
人脸图像生成模型训练完成后，可以将任一图像特征输入至已训练完成的人脸图像生成模型，基于该人脸图像生成模型，生成该图像特征对应的指定人脸图像。
608、基于当前的第二特征提取模型，对第二样本人脸图像进行特征提取，得到该第二样本人脸图像的第二样本身份特征。
步骤608与上述实施例中的步骤304类似，在此不再赘述。
609、基于已训练完成的第三特征提取模型，对第一样本人脸图像进行特征提取，得到该第一样本人脸图像的第二样本非身份特征。
已训练完成的第三特征提取模型能够提取第一类人脸图像的较为准确的非身份特征，处理设备将第一样本人脸图像输入至已训练完成的第三特征提取模型中，由第三特征提取模型对第一样本人脸图像进行特征提取，得到第一样本人脸图像的非身份特征，即第二样本非身份特征。
由于已训练完成的第三特征提取模型的准确率高于未训练完成的第三特征提取模型，而第一样本非身份特征是基于未训练完成的第三特征提取模型提取得到的，第二样本非身份特征是基于已训练完成的第三特征提取模型提取得到的，因此第二样本非身份特征比第一样本非身份特征更为准确。
610、将第二样本身份特征和第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的人脸图像生成模型，生成第二图像特征对应的第二指定人脸图像。
由于第一样本人脸图像与第二样本人脸图像相互对应，因此二者的图像信息应当一致，所包含的身份特征和非身份特征应当相同。然而，与第一样本人脸图像相比，第二样本人脸图像的分辨率较低，可能会缺乏部分图像信息。
因此，为了根据第二样本人脸图像的图像特征生成更加准确的指定人脸图像，处理设备将第二样本非身份特征作为第二样本人脸图像的非身份特征，将第二样本身份特征和第二样本非身份特征进行组合，得到第二图像特征。该第二图像特征包括第二样本身份特征和第二样本非身份特征，能够描述第二样本人脸图像的图像信息。
获取到第二图像特征后，处理设备将该第二图像特征输入至已训练完成的人脸图像生成模型中，由已训练完成的人脸图像生成模型对第二图像特征进行处理，输出第二图像特征对应的指定人脸图像，即第二指定人脸图像。该第二指定人脸图像属于第一类人脸图像。
由于第二指定人脸图像是根据第二样本人脸图像的图像信息生成的人脸图像，而第二样本人脸图像为第二类人脸图像，因此，通过人脸图像生成模型可以生成比第二样本人脸图像的分辨率更高的第一类人脸图像，实现了由低分辨率人脸图像复原出高分辨率人脸图像的效果。
611、获取第一样本人脸图像和第二指定人脸图像之间的第二图像误差，根据第二图像误差以及第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数。
在第二特征提取模型还未训练完成时，基于第二特征提取模型提取到的第二样本身份特征可能无法准确描述第二样本人脸图像的身份信息，因此，将第二样本身份特征和第二样本非身份特征组合得到的第二图像特征也无法准确描述第二样本人脸图像，导致基于第二图像特征获取到的第二指定人脸图像不够准确，与第二样本人脸图像之间存在图像误差。
为此，处理设备获取第二样本人脸图像和第二指定人脸图像之间的第二图像误差，根据第二图像误差以及第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数，以使基于已训练完成的第二特征提取模型对第二类人脸图像提取的身份特征，与基于第一特征提取模型对第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，以保证提取到的身份特征能够尽可能准确地描述该第二类人脸图像中包含的人脸的身份信息，且第二类人脸图像对应的第一类人脸图像与基于已训练完成的人脸图像生成模型生成的指定人脸图像之间的图像误差收敛。
采用上述训练方式，并按照上述训练目标进行一次或多次训练，直至第二特征提取模型收敛为止，得到已训练完成的第二特征提取模型。
训练第二特征提取模型的过程与上述实施例中步骤405类似，在此不再赘述。
612、获取目标人脸图像。
其中，目标人脸图像属于第二类人脸图像。
613、基于已训练完成的第二特征提取模型，对目标人脸图像进行特征提取，得到目标人脸图像的目标身份特征。
步骤612-613与上述实施例中步骤306-307类似，在此不再赘述。
614、将目标身份特征和预设非身份特征进行组合，得到目标图像特征。
由于人脸图像生成模型用于根据包括身份特征和非身份特征的图像特征，生成对应的第二类人脸图像，因此，在获取目标身份特征后，处理设备获取预设非身份特征，将该预设非身份特征和目标身份特征进行组合，得到目标图像特征，该目标图像特征用于描述目标人脸图像。
其中，该预设非身份特征可以根据一般的人脸图像的非身份特征确定，即为通用的人脸图像的非身份特征。由于第二类人脸图像的图像信息较少，非身份特征的维度不足，因此通过引入预设非身份特征的方式，可以增大特征维度，得到维度满足要求的图像特征，后续能够根据该图像特征生成第一类人脸图像。
例如，目标身份特征为一个M维的向量，预设非身份特征为一个N维的零向量，将获取到的目标身份特征与预设非身份特征进行组合，得到目标图像特征，该目标图像特征的维度为M与N之和，M和N为正整数。
615、基于已训练完成的人脸图像生成模型，获取目标图像特征对应的指定人脸图像。
在获取到目标图像特征后，处理设备将目标图像特征输入至已训练完成的人脸图像生成模型中，由已训练完成的人脸图像生成模型对目标图像特征进行处理，输出该目标图像特征对应的指定人脸图像。该指定人脸图像为目标人脸图像对应的第一类人脸图像。
目标人脸图像的图像质量较差，分辨率较低，而本发明实施例提供的方法能够根据第二类人脸图像恢复出对应的第一类人脸图像，该第一类人脸图像的图像质量更高，分辨率更高，所表达的信息更多，用户通过该第一类人脸图像可以查看到更多的信息。
例如，当获取到一张分辨率较低的、包含人脸的旧照片，为了能够查看到更加清晰的照片，可以采用本发明实施例提供的方法，获取该旧照片对应的身份特征，基于已训练完成的人脸图像生成模型，生成该身份特征对应的人脸图像，从而获取该旧照片对应的高分辨率的照片。
本发明实施例提供的方法，基于当前的第三特征提取模型，获取第一样本非身份特征，将第一样本身份特征和第一样本非身份特征组合后得到第一图像特征，基于当前的人脸图像生成模型，生成第一指定人脸图像，根据第一样本人脸图像和第一指定人脸图像之间的第一图像误差，调整第三特征提取模型的模型参数和人脸图像生成模型的模型参数。基于已训练完成的第三特征提取模型，获取第二样本非身份特征，基于已训练完成的人脸图像生成模型，生成第二图像特征对应的第二指定人脸图像，根据第一样本身份特征、第二样本身份特征以及第一样本人脸图像和第二指定人脸图像之间的第二图像误差，调整第二特征提取模型的模型参数。本发明实施例通过设置第三特征提取模型和人脸图像生成模型，可以获取非身份特征和指定人脸图像，根据指定人脸图像与对应的原始人脸图像之间的差异进行训练，可以使第二特征提取模型学习到人脸图像与对应的身份特征之间更为准确的关系，进一步提高第二特征提取模型的性能，使得基于已训练完成的第二特征提取模型，能够获取第二类人脸图像的更为准确的身份特征，提高了提取到的第二类人脸图像的身份特征的准确性和稳定性。
并且，本发明实施例获取目标身份特征和预设非身份特征组合后的目标图像特征，基于已训练完成的人脸图像生成模型，获取目标图像特征对应的指定人脸图像，能够基于人脸图像生成模型生成任一第二类人脸图像对应的第一类人脸图像，实现了由第二类人脸图像复原出第一类人脸图像的效果，提升了人脸图像的图像质量，能够获取到包含更多信息的人脸图像，便于后续对人脸图像进行查看或进行其他处理操作。
图7本发明实施例提供的另一种网络架构的示意图，以第一特征提取模型为高分辨率身份特征提取模型501、第二特征提取模型为低分辨率身份特征提取模型502、第三特征提取模型为高分辨率非身份特征提取模型503、人脸图像生成模型为图像恢复模型504为例。则调整低分辨率身份特征提取模型502的模型参数的过程包括如下步骤：
1、训练高分辨率身份特征提取模型501。
2、获取多组样本人脸图像，每组样本人脸图像中包括相互对应的高分辨率人脸图像和低分辨率人脸图像。
3、针对每组样本人脸图像，将高分辨率人脸图像输入至高分辨率身份特征提取模型501，得到高分辨率人脸图像的第一样本身份特征；将高分辨率人脸图像输入至高分辨率非身份特征提取模型503，得到高分辨率人脸图像的第一样本非身份特征。
4、将第一样本身份特征和第一样本非身份特征进行组合，得到第一样本图像特征，将该第一样本图像特征输入至图像恢复模型504，得到第一指定人脸图像。
5、对比第一指定人脸图像与高分辨率人脸图像，获取二者之间的误差，根据该误差，调整高分辨率非身份特征提取模型503的模型参数和图像恢复模型504的模型参数。
6、根据多组样本人脸图像，重复执行上述步骤3-5，对高分辨率非身份特征提取模型503和图像恢复模型504进行多次调整，得到已训练完成的高分辨率非身份特征提取模型503和图像恢复模型504。
7、针对每组样本人脸图像，将低分辨率人脸图像输入至低分辨率身份特征提取模型502，得到低分辨率人脸图像的第二样本身份特征。
8、将第二样本身份特征和第一样本非身份特征进行组合，得到第二样本图像特征，将该第二样本图像特征输入至图像恢复模型504，得到第二指定人脸图像。
9、对比高分辨率人脸图像和第二指定人脸图像，获取二者之间的误差，根据该误差以及第一样本身份特征与第二样本身份特征之间的误差，调整低分辨率身份特征提取模型502的模型参数。
10、根据多组样本人脸图像，重复执行上述步骤7-9，对低分辨率身份特征提取模型502进行多次调整，得到已训练完成的低分辨率身份特征提取模型502。
图8是本发明实施例提供的一种人脸图像处理方法的流程图，该人脸图像处理方法在第一特征提取模型训练完成后，根据已训练完成的第一特征提取模型，对第三特征提取模型、人脸图像生成模型和判别模型进行训练，在第三特征提取模型、人脸图像生成模型和判别模型训练完成后，根据第三特征提取模型、人脸图像生成模型和判别模型，对第二特征提取模型进行训练。
本发明实施例的执行主体为处理设备，该处理设备可以为图2所示的终端获服务器，参见图8，该方法包括：
801、获取第一样本人脸图像及对应的第二样本人脸图像。
802、基于已训练完成的第一特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第一样本身份特征。
803、基于当前的第三特征提取模型，对第一样本人脸图像进行特征提取，得到该第一样本人脸图像的第一样本非身份特征。
804、将第一样本身份特征和第一样本非身份特征进行组合，得到第一图像特征，基于当前的人脸图像生成模型，生成第一图像特征对应的第一指定人脸图像。
步骤801-804与上述实施例中的步骤601-605类似，在此不再赘述。
805、基于当前的判别模型，对第一样本人脸图像进行判别处理，得到第一判别结果，对第一指定人脸图像进行判别处理，得到第二判别结果。
在基于人脸图像生成模型生成第一指定人脸图像后，可以基于判别模型确定该指定人脸图像是原始人脸图像的概率。后续可以根据该概率对人脸图像生成模型进行训练，进而提高人脸图像生成模型的处理效果。
处理设备获取当前的判别模型，将第一样本人脸图像输入至判别模型中，基于该判别模型，对第一样本人脸图像进行判别处理，输出第一样本人脸图像是第一样本人脸图像的概率，即第一判别结果。将第一指定人脸图像输入至判别模型中，基于该判别模型，对第一指定人脸图像进行判别处理，输出该第一指定人脸图像是第一样本人脸图像的概率，即第二判别结果。
判别模型输出的判别结果能够表示从人脸图像生成模型输入至判别模型的人脸图像与原始人脸图像之间的差异，该差异越小，表示人脸图像生成模型的处理效果越好，该差异越大，表示人脸图像生成模型的处理效果越差。
在一种可能实现方式中，判别结果可以为第一结果或第二结果，其中判别结果为第一结果表示输入至判别模型的人脸图像不是原始人脸图像，判别结果为第二结果表示输入至判别模型的人脸图像是原始人脸图像。
例如，该判别模型为一个二分类器，该二分类器的输出结果包括0和1，其中0表示输入至该判别模型的人脸图像是原始人脸图像，1表示输入至该判别模型的人脸图像不是原始人脸图像。
在另一种可能实现方式中，判别结果为第一数值和第二数值之间的任一数值，第二数值大于第一数值。该数值越接近于第一数值，表示输入至判别模型的人脸图像是原始人脸图像的概率较小，判别结果接近于第二数值，表示输入至判别模型的人脸图像是原始人脸图像的概率较大。其中，第一数值可以为0，第二数值可以为1。
806、基于已训练完成的第一特征提取模型，对第一指定人脸图像进行特征提取，得到第一指定身份特征。
处理设备在获取到第一指定人脸图像后，将该第一指定人脸图像输入至已训练完成的第一特征提取模型，由第一特征提取模型对第一指定人脸图像进行特征提取，输出该第一指定人脸图像的身份特征，即第一指定身份特征。
807、获取第一指定身份特征与第一样本身份特征之间的第一身份特征误差。
由于人脸图像生成模型在生成人脸图像时，生成的指定人脸图像与实际人脸图像之间可能会存在图像误差。因此，第一指定人脸图像与第一样本人脸图像之间也存在误差，根据第一指定人脸图像获取的第一指定身份特征与根据第一样本人脸图像获取的第一样本身份特征之间也存在误差。
因此，处理设备获取第一指定身份特征与第一样本身份特征之间的身份特征误差，即第一身份特征误差。该第一身份特征误差用于描述第一指定身份特征与第一样本身份特征之间的差异。其中，第一身份特征误差越大，表示第一指定身份特征与第一样本身份特征之间的差异越大，第一身份特征误差越小，表示第一指定身份特征与第一样本身份特征之间的差异越小。
808、根据第一判别结果与第一预设判别结果之间的误差、第二判别结果与第二预设判别结果之间的误差，以及第一身份特征误差，调整第三特征提取模型的模型参数、人脸图像生成模型的模型参数和判别模型的模型参数。
其中，第一预设判别结果表示输入至判别模型的人脸图像为原始人脸图像，而非人脸图像生成模型生成的指定人脸图像。第二预设判别结果表示输入至判别模型的人脸图像为人脸图像生成模型生成的指定人脸图像，而非原始人脸图像。第一样本人脸图像为原始人脸图像，因此第一样本人脸图像的实际判别结果为第一预设判别结果，第一指定人脸图像是人脸图像生成的人脸图像，因此第一指定人脸图像的实际判别结果为第二预设判别结果。
在获取到第一身份特征误差后，处理设备根据已获取的第一判别结果与第一预设判别结果之间的误差、第二判别结果与第二预设判别结果之间的误差，以及第一身份特征误差，调整第三特征提取模型的模型参数、人脸图像生成模型的模型参数和判别模型的模型参数，以使基于已训练完成的判别模型对第一类人脸图像进行判别处理后得到的判别结果的误差收敛，基于已训练完成的判别模型进行判别处理后得到的判别结果的误差收敛，且基于第一特征提取模型对该第一类人脸图像提取的身份特征与基于该第一特征提取模型对该第一类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
在一种可能实现方式中，为第三特征提取模型设置第三损失函数，为人脸图像生成模型设置第四损失函数，为判别模型设置第五损失函数，第三损失函数和第四损失函数与上述实施例中的步骤707中类似，在此不再赘述，该第五损失函数的输出值由判别模型的判别结果的误差确定，与该判别结果的误差呈正相关关系。因此，第三特征提取模型、人脸图像生成模型和判别模型的调整目标可以为：第三损失函数的输出值收敛，第四损失函数的输出值收敛，且第五损失函数的输出值收敛。基于训练完成的第三特征提取模型对任一目标人脸图像提取的非身份特征和基于第一特征提取模型提取的身份特征组合后的图像特征，输入至已训练完成的人脸图像生成模型后，得到指定人脸图像的身份特征与对应的目标人脸图像的身份特征之间的误差收敛，且判别模型输出的判别结果的误差收敛。
809、基于已训练完成的第三特征提取模型，对第一样本人脸图像进行特征提取，得到该第一样本人脸图像的第二样本非身份特征，基于当前的第二特征提取模型，对第二样本人脸图像进行特征提取，得到该第二样本人脸图像的第二样本身份特征。
步骤809与上述实施例中步骤608-609类似，在此不再赘述。
810、将第二样本身份特征和第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的人脸图像生成模型，生成该第二图像特征对应的第二指定人脸图像，获取第一样本人脸图像和第二指定人脸图像之间的第二图像误差。
步骤810与上述实施例中步骤610-611类似，在此不再赘述。
811、基于已训练完成的判别模型，对第二指定人脸图像进行判别处理，得到第三判别结果。
为了得到第二指定人脸图像更为准确的判别结果，将第二指定人脸图像输入至已训练完成的判别模型，基于已训练完成的判别模型对第二指定人脸图像进行判别处理，输出第二指定人脸图像的判别结果，即第三判别结果。该第三判别结果是第二指定人脸图像是第一样本人脸图像的概率。
由于用于生成第二指定人脸图像的图像特征中的身份特征，是基于已训练完成的第三特征提取模型提取到的，第二指定人脸图像是基于已训练完成的人脸图像生成模型生成的，且第三判别结果是基于已训练完成的判别模型判别处理后得到的，因此，该第三判别结果的准确性较高。
812、基于已训练完成的第一特征提取模型，对第二指定人脸图像进行特征提取，得到第二指定人脸图像的第二指定身份特征，获取第二指定身份特征与第一样本身份特征之间的第二身份特征误差。
获取到第二指定人脸图像后，将第二指定人脸图像输入至已训练完成的第一特征提取模型中，基于已训练完成的第一特征提取模型对第二指定人脸图像进行特征提取，输出第二指定人脸图像的身份特征，即第二指定身份特征。
处理设备获取该第二指定身份特征与第一样本身份特征之间的身份误差，即第二身份特征误差，该第二身份特征误差用于描述第二指定身份特征与第一样本身份特征之间的差异。其中，第二身份特征误差越大，表示第二指定身份特征与第一样本身份特征之间的差异越大，第二身份特征误差越小，表示第二指定身份特征与第一样本身份特征之间的差异越小。
813、根据第一样本身份特征与第二样本身份特征之间的误差、第二图像误差、第三判别结果与第二预设判别结果之间的误差，以及第二身份特征误差，调整第二特征提取模型的模型参数。
其中，由于第二指定人脸图像为人脸图像生成模型生成的人脸图像，因此第二指定人脸图像的实际判别结果为第二预设判别结果。
在获取到第二身份特征误差后，处理设备根据已获取的第一样本身份特征与第二样本身份特征之间的误差、第二图像误差、第三判别结果与第二预设判别结果之间的误差，以及第二身份特征误差，调整第二特征提取模型的模型参数，以使基于已训练完成的第二特征提取模型对第二类人脸图像提取的身份特征，与基于第一特征提取模型对第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，以保证提取到的身份特征能够尽可能准确地描述该第二类人脸图像中包含的人脸的身份信息，基于第一特征提取模型、训练完成的第二特征提取模型、第三特征提取模型和人脸图像生成模型得到的指定人脸图像与对应的第二类人脸图像之间的图像误差收敛，基于判别模型进行判别处理后得到的判别结果的误差收敛，且基于第一特征提取模型对第一类人脸图像提取的身份特征，与基于第一特征提取模型对第二类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
采用上述训练方式，并按照上述训练目标进行一次或多次训练，直至第二特征提取模型收敛为止，得到已训练完成的第二特征提取模型。
对第二特征提取模型进行训练的过程与上述实施例中步骤405类似，在此不再赘述。
需要说明的是，本发明实施例中，判别模型训练完成后，可以应用于对任一人脸图像是否为原始人脸图像进行判别的场景中。例如，在仅需要判别任一人脸图像属于根据图像特征生成的人脸图像还是原始人脸图像的场景中，可以基于判别模型对该人脸图像进行判别处理，得到判别结果。
并且，本发明实施例中的人脸图像生成模型与判别模型共同构成了一个对抗生成模型，人脸图像生成模型生成尽可能真实的人脸图像以迷惑判别模型，而判别模型则对输入的人脸图像进行判别，判断该人脸图像是否为原始人脸图像。通过二者的共同训练，可以相互学习，共同对抗，从而同时提升二者的性能。
本发明实施例提供的方法，获取第一指定人脸图像，基于当前的判别模型，获取第一判别结果和第二判别结果，获取第一指定身份特征与第一样本身份特征之间的第一身份特征误差。根据第一判别结果与第一样本人脸图像的预设判别结果之间的误差、第二判别结果与第一指定人脸图像的预设判别结果之间的误差，以及第一身份特征误差，调整第三特征提取模型的模型参数、人脸图像生成模型的模型参数和判别模型的模型参数。之后，获取第二图像特征与对应的第二指定人脸图像之间的第二图像误差，基于已训练完成的判别模型获取第三判别结果，基于已训练完成的第一特征提取模型获取第二指定身份特征和第二身份特征误差，根据第一样本身份特征与第二样本身份特征之间的误差、第二图像误差、第三判别结果与第二指定人脸图像的预设判别结果之间的误差，以及第二身份特征误差，调整第二特征提取模型的模型参数。本发明实施例通过设置判别模型，可以使得判别模型与第三特征提取模型和人脸图像生成模型一起训练，提升各个模型的性能，进而根据训练后的第三特征提取模型、人脸图像生成模型和判别模型，对第二特征提取模型进行训练，可以进一步地提升第二特征提取模型的性能，提高基于第二特征提取模型提取到的第二类人脸图像的身份特征的准确性。
需要说明的是，可以采用梯度下降法对上述实施例涉及到的各个模型进行优化，优化过程为，在对模型进行训练的过程中，采用优化算法不断迭代更新模型的参数，逐步完成对模型的训练。或者，还可以采用其他算法对模型进行优化，如Adam(adaptive momentestimation，适应性矩估计)算法。由于训练过程会涉及到大量的样本或特征数据，因此，为了提高训练模型的效率，可以以批量的形式进行训练，如小批量形式或微小批量形式。
需要说明的是，上述实施例中所涉及的各个模型可以采用预设训练算法进行训练，该预设训练算法可以为卷积神经网络算法、循环神经网络算法、决策树算法等多种算法。
图9是本发明实施例提供的另一种网络架构的示意图，以第一特征提取模型为高分辨率身份特征提取模型501、第二特征提取模型为低分辨率身份特征提取模型502、第三特征提取模型为高分辨率非身份特征提取模型503、人脸图像生成模型为图像恢复模型504为例，还包括判别模型505。则调整低分辨率身份特征提取模型502的模型参数的过程包括如下步骤：
1、训练高分辨率身份特征提取模型501。
2、获取多组样本人脸图像，每组样本人脸图像中包括相互对应的高分辨率人脸图像和低分辨率人脸图像。
3、针对每组样本人脸图像，将高分辨率人脸图像输入至高分辨率身份特征提取模型501，得到高分辨率人脸图像的第一样本身份特征；将高分辨率人脸图像输入至高分辨率非身份特征提取模型503，得到高分辨率人脸图像的第一样本非身份特征。
4、将第一样本身份特征和第一样本非身份特征进行组合，得到第一样本图像特征，将该第一样本图像特征输入至图像恢复模型504，得到第一指定人脸图像。
5、将第一指定人脸图像输入至高分辨率身份特征提取模型501中，得到第一指定身份特征；将第一指定人脸图像输入至判别模型505中，得到第一判别结果；将高分辨率人脸图像输入至判别模型505中，得到第二判别结果。
6、对比第一样本身份特征和第一指定身份特征，得到二者之间的误差，根据该误差，第一判别结果与高分辨率人脸图像的预设判别结果之间的误差、第二判别结果与第一指定人脸图像的预设判别结果之间的误差，调整高分辨率非身份特征提取模型503的模型参数、图像恢复模型504的模型参数和判别模型505的模型参数。
7、根据多组样本人脸图像，重复执行上述步骤3-6，对高分辨率非身份特征提取模型503、图像恢复模型504和判别模型505进行多次调整，得到训练完成的高分辨率非身份特征提取模型503、图像恢复模型504和判别模型505。
8、针对每组样本人脸图像，将低分辨率人脸图像输入至低分辨率身份特征提取模型502，得到低分辨率人脸图像的第二样本身份特征。
9、将高分辨率人脸图像输入至高分辨率非身份特征提取模型503中，得到第二样本非身份特征，将第二样本身份特征和第二样本非身份特征进行组合，得到第二样本图像特征。
10、将该第二样本图像特征输入至图像恢复模型504，得到第二指定人脸图像；将第二指定人脸图像输入至判别模型505，得到第三判别结果，将第二指定人脸图像输入至高分辨率身份特征提取模型501中，得到第二指定身份特征。
11、对比第二指定人脸图像与高分辨率人脸图像，获取二者之间的误差1，对比第二指定身份特征和第一样本身份特征，获取二者之间的误差2，根据误差1、误差2、第一样本身份特征与第二样本身份特征之间的误差，以及第三判别结果与第二指定人脸图像的预设判别结果之间的误差，调整低分辨率身份特征提取模型502的模型参数。
12、根据多组样本人脸图像，重复执行上述步骤8-11，对低分辨率身份特征提取模型502进行多次调整，得到训练完成的低分辨率身份特征提取模型502。
本发明实施例提供的方法还可以应用于身份识别场景、身份核查场景、人脸图像复原场景等多种场景中。
在一种可能实现方式中，本发明实施例提供的方法应用于身份识别场景中。例如，公司员工通过刷脸打卡上下班的场景中，公司预先对所有员工进行人脸图像采集，采用本发明实施例提供的方法获取每个员工的身份特征，将所有员工的身份特征保存至身份数据库中。当刷脸设备采集到任一员工的人脸图像时，采用本发明实施例提供的方法，获取人脸图像的身份特征，将获取到的身份特征与身份数据库中的身份特征进行对比，从而确定是哪一个员工打卡成功。
图10是本发明实施例提供的一种人脸图像处理装置的结构示意图。参见图10，该装置包括：
第一样本人脸图像获取模块1001，用于执行上述实施例中获取第一样本人脸图像及对应的第二样本人脸图像的步骤；
第一特征提取模块1002，用于执行上述实施例中基于已训练完成的第一特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第一样本身份特征的步骤；
第二特征提取模块1003，用于执行上述实施例中基于当前的第二特征提取模型，对第二样本人脸图像进行特征提取，得到第二样本人脸图像的第二样本身份特征的步骤；
第一调整模块1004，用于执行上述实施例中根据第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数的步骤。
可选地，装置还包括：
目标图像获取模块，用于执行上述实施例中获取目标人脸图像，目标人脸图像属于第二类人脸图像的步骤；
目标特征提取模块，用于执行上述实施例中基于第二特征提取模型，对目标人脸图像进行特征提取，得到目标人脸图像的目标身份特征的步骤。
可选地，装置还包括：
查询模块，用于执行上述实施例中根据目标身份特征查询身份数据库，得到目标身份特征对应的身份标识的步骤。
可选地，装置还包括：
第二样本人脸图像获取模块，用于执行上述实施例中获取第三样本人脸图像和第三样本人脸图像的第三样本身份特征的步骤；
第三特征提取模块，用于执行上述实施例中基于当前的第一特征提取模型，对第三样本人脸图像进行特征提取，得到第三样本人脸图像的第四样本身份特征的步骤；
第二调整模块，用于执行上述实施例中根据第三样本身份特征与第四样本身份特征之间的误差，调整第一特征提取模型的模型参数的步骤。
可选地，装置还包括：
第四特征提取模块，用于执行上述实施例中基于当前的第三特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第一样本非身份特征的步骤；
指定图像获取模块，用于执行上述实施例中将第一样本身份特征和第一样本非身份特征进行组合，得到第一图像特征，基于当前的人脸图像生成模型，生成第一图像特征对应的第一指定人脸图像的步骤；
图像误差获取模块，用于执行上述实施例中获取第一样本人脸图像和第一指定人脸图像之间的第一图像误差的步骤；
第三调整模块，用于执行上述实施例中根据第一图像误差，调整第三特征提取模型的模型参数和人脸图像生成模型的模型参数的步骤。
可选地，第一调整模块1004，包括：
特征提取单元，用于执行上述实施例中基于已训练完成的第三特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第二样本非身份特征的步骤；
图像获取单元，用于执行上述实施例中将第二样本身份特征和第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的人脸图像生成模型，生成第二图像特征对应的第二指定人脸图像的步骤；
图像误差获取单元，用于执行上述实施例中获取第一样本人脸图像和第二指定人脸图像之间的第二图像误差的步骤；
调整单元，用于执行上述实施例中根据第二图像误差以及第一样本身份特征与第二样本身份特征之间的误差，调整第二特征提取模型的模型参数的步骤。
可选地，装置还包括：
特征组合模块，用于执行上述实施例中将目标身份特征和预设非身份特征进行组合，得到目标图像特征的步骤；
图像生成模块，用于执行上述实施例中基于已训练完成的人脸图像生成模型，获取目标图像特征对应的指定人脸图像的步骤。
可选地，第三调整模块，包括：
判别单元，用于执行上述实施例中基于当前的判别模型，对第一样本人脸图像进行判别处理，得到第一判别结果，对第一指定人脸图像进行判别处理，得到第二判别结果的步骤；
特征提取单元，用于执行上述实施例中基于已训练完成的第一特征提取模型，对第一指定人脸图像进行特征提取，得到第一指定身份特征的步骤；
特征误差获取单元，用于执行上述实施例中获取第一指定身份特征与第一样本身份特征之间的第一身份特征误差的步骤；
调整单元，用于执行上述实施例中根据第一判别结果与第一预设判别结果之间的误差、第二判别结果与第二预设判别结果之间的误差，以及第一身份特征误差，调整第三特征提取模型的模型参数、人脸图像生成模型的模型参数和判别模型的模型参数的步骤。
可选地，第一调整模块1004，包括：
特征提取单元，用于执行上述实施例中基于已训练完成的第三特征提取模型，对第一样本人脸图像进行特征提取，得到第一样本人脸图像的第二样本非身份特征的步骤；
图像获取单元，用于执行上述实施例中将第二样本身份特征和第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的人脸图像生成模型，生成第二图像特征对应的第二指定人脸图像的步骤；
图像误差获取单元，用于执行上述实施例中获取第一样本人脸图像和第二指定人脸图像之间的第二图像误差的步骤；
判别单元，用于执行上述实施例中基于已训练完成的判别模型，对第二指定人脸图像进行判别处理，得到第三判别结果的步骤；
特征误差获取单元，用于执行上述实施例中基于已训练完成的第一特征提取模型，对第二指定人脸图像进行特征提取，得到第二指定人脸图像的第二指定身份特征，获取第二指定身份特征与第一样本身份特征之间的第二身份特征误差的步骤；
调整单元，用于执行上述实施例中根据第一样本身份特征与第二样本身份特征之间的误差、第二图像误差、第三判别结果与第二预设判别结果之间的误差，以及第二身份特征误差，调整第二特征提取模型的模型参数的步骤。
图11是本发明实施例提供的一种人脸图像处理装置的结构示意图。参见图11，该装置包括：
第二特征获取模块1101，用于执行上述实施例中获取第二特征提取模型的步骤；
目标特征提取模块1102，用于执行上述实施例中基于第二特征提取模型，对属于第二类人脸图像的目标人脸图像进行特征提取，得到目标人脸图像的目标身份特征的步骤。
可选地，装置还包括：
组合模块，用于执行上述实施例中将目标身份特征和预设非身份特征进行组合，得到目标图像特征的步骤；
指定图像获取模块，用于执行上述实施例中基于人脸图像生成模型，获取目标图像特征对应的指定人脸图像的步骤。
可选地，装置还包括：
查询模块，用于执行上述实施例中根据目标身份特征查询身份数据库，得到目标身份特征对应的身份标识的步骤。
需要说明的是：上述实施例提供的人脸图像处理装置在处理人脸图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将处理设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸图像处理装置与人脸图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12示出了本发明一个示例性实施例提供的终端1200的结构框图。该终端1200可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(MovingPicture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备，或其他任意智能终端。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所具有以实现本申请中方法实施例提供的人脸图像处理方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及8G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1120。该一个或多个传感器1120包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，由处理器1201根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商标志集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图13是本发明实施例提供的一种服务器的结构示意图，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1301和一个或一个以上的存储器1302，其中，所述存储器1302中存储有至少一条指令，所述至少一条指令由所述处理器1301加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器1300可以用于执行上述人脸图像处理方法中处理设备所执行的步骤。
本发明实施例还提供了一种人脸图像处理装置，该装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器加载并具有以实现上述实施例的人脸图像处理方法中所执行的操作。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并具有以实现上述实施例的人脸图像处理方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明实施例的较佳实施例，并不用以限制本发明实施例，凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种人脸图像处理方法，其特征在于，所述方法包括：
获取第一样本人脸图像及对应的第二样本人脸图像，所述第一样本人脸图像和所述第二样本人脸图像为同一人脸的图像，所述第一样本人脸图像属于第一类人脸图像，所述第二样本人脸图像属于第二类人脸图像，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征，所述第一特征提取模型用于提取所述第一类人脸图像的身份特征；
基于当前的第二特征提取模型，对所述第二样本人脸图像进行特征提取，得到所述第二样本人脸图像的第二样本身份特征，所述第二特征提取模型用于提取所述第二类人脸图像的身份特征；
根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标人脸图像，所述目标人脸图像属于所述第二类人脸图像；
基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
根据所述目标身份特征查询身份数据库，得到所述目标身份特征对应的身份标识，所述身份数据库包括至少一个身份特征及对应的身份标识。
4.根据权利要求1所述的方法，其特征在于，所述基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征之前，所述方法还包括：
获取第三样本人脸图像和所述第三样本人脸图像的第三样本身份特征，所述第三样本人脸图像属于所述第一类人脸图像；
基于当前的所述第一特征提取模型，对所述第三样本人脸图像进行特征提取，得到所述第三样本人脸图像的第四样本身份特征；
根据所述第三样本身份特征与所述第四样本身份特征之间的误差，调整所述第一特征提取模型的模型参数，以使基于已训练完成的所述第一特征提取模型对所述第一类人脸图像提取的身份特征，与所述第一类人脸图像的实际身份特征之间的误差收敛。
5.根据权利要求1所述的方法，其特征在于，所述基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征之后，所述方法还包括：
基于当前的第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本非身份特征，所述第三特征提取模型用于提取所述第一类人脸图像的非身份特征；
将所述第一样本身份特征和所述第一样本非身份特征进行组合，得到第一图像特征，基于当前的人脸图像生成模型，生成所述第一图像特征对应的第一指定人脸图像，所述人脸图像生成模型用于根据图像特征生成与所述图像特征对应的所述第一类人脸图像；
获取所述第一样本人脸图像和所述第一指定人脸图像之间的第一图像误差；
根据所述第一图像误差，调整所述第三特征提取模型的模型参数和所述人脸图像生成模型的模型参数，以使基于已训练完成的所述第三特征提取模型对所述第一类人脸图像提取的非身份特征，和基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征组合后的图像特征，输入至已训练完成的所述人脸图像生成模型后，得到的指定人脸图像与对应的所述第一类人脸图像之间的图像误差收敛。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，包括：
基于已训练完成的所述第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第二样本非身份特征；
将所述第二样本身份特征和所述第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的所述人脸图像生成模型，生成所述第二图像特征对应的第二指定人脸图像；
获取所述第一样本人脸图像和所述第二指定人脸图像之间的第二图像误差；
根据所述第二图像误差以及所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，且所述第二类人脸图像对应的所述第一类人脸图像与基于已训练完成的所述人脸图像生成模型生成的指定人脸图像之间的图像误差收敛。
7.根据权利要求2所述的方法，其特征在于，所述基于所述第二特征提取模型，对所述目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
将所述目标身份特征和预设非身份特征进行组合，得到目标图像特征；
基于已训练完成的人脸图像生成模型，获取所述目标图像特征对应的指定人脸图像，所述人脸图像生成模型用于根据图像特征生成与所述图像特征对应的所述第一类人脸图像。
8.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像误差，调整所述第三特征提取模型的模型参数和所述人脸图像生成模型的模型参数，包括：
基于当前的判别模型，对所述第一样本人脸图像进行判别处理，得到第一判别结果，对所述第一指定人脸图像进行判别处理，得到第二判别结果，所述判别模型用于确定任一人脸图像是原始人脸图像的概率；
基于所述已训练完成的所述第一特征提取模型，对所述第一指定人脸图像进行特征提取，得到第一指定身份特征；
获取所述第一指定身份特征与所述第一样本身份特征之间的第一身份特征误差；
根据所述第一判别结果与第一预设判别结果之间的误差、所述第二判别结果与第二预设判别结果之间的误差，以及所述第一身份特征误差，调整所述第三特征提取模型的模型参数、所述人脸图像生成模型的模型参数和所述判别模型的模型参数，以使基于已训练完成的所述判别模型进行判别处理后得到的判别结果的误差收敛，且基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征与基于所述第一特征提取模型对所述第一类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，包括：
基于已训练完成的所述第三特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第二样本非身份特征；
将所述第二样本身份特征和所述第二样本非身份特征进行组合，得到第二图像特征，基于已训练完成的所述人脸图像生成模型，生成所述第二图像特征对应的第二指定人脸图像，获取所述第一样本人脸图像和所述第二指定人脸图像之间的第二图像误差；
基于已训练完成的所述判别模型，对所述第二指定人脸图像进行判别处理，得到第三判别结果；
基于已训练完成的所述第一特征提取模型，对所述第二指定人脸图像进行特征提取，得到所述第二指定人脸图像的第二指定身份特征，获取所述第二指定身份特征与所述第一样本身份特征之间的第二身份特征误差；
根据所述第一样本身份特征与所述第二样本身份特征之间的误差、所述第二图像误差、所述第三判别结果与所述第二预设判别结果之间的误差，以及所述第二身份特征误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛，基于所述第一特征提取模型、已训练完成的所述第二特征提取模型、所述第三特征提取模型和所述人脸图像生成模型得到的指定人脸图像与对应的所述第二类人脸图像之间的图像误差收敛，基于所述判别模型进行判别处理后得到的判别结果的误差收敛，且基于所述第一特征提取模型对所述第一类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的指定人脸图像提取的身份特征之间的误差收敛。
10.一种人脸图像处理方法，其特征在于，所述方法包括：
获取第二特征提取模型，所述第二特征提取模型根据第一特征提取模型训练得到，且训练目标为基于所述第二特征提取模型对属于第二类人脸图像的第二样本人脸图像提取的身份特征，趋向于基于所述第一特征提取模型对属于所述第二类人脸图像对应的第一类人脸图像的第一样本人脸图像提取的身份特征，所述第一样本人脸图像和所述第二样本人脸图像为同一人脸的图像，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
基于所述第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
11.根据权利要求10所述的方法，其特征在于，所述基于所述第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征之后，所述方法还包括：
将所述目标身份特征和预设非身份特征进行组合，得到目标图像特征；
基于人脸图像生成模型，获取所述目标图像特征对应的指定人脸图像，所述指定人脸图像属于所述第一类人脸图像；
所述人脸图像生成模型根据所述第一特征提取模型和第三特征提取模型训练得到，且训练目标为基于所述人脸图像生成模型为图像特征生成的指定人脸图像，与所述图像特征对应的、属于所述第一类人脸图像的任一人脸图像之间的图像误差收敛；所述图像特征为基于所述第三特征提取模型对所述任一人脸图像提取的非身份特征和基于所述第一特征提取模型对所述任一人脸图像提取的身份特征组合后的图像特征。
12.一种人脸图像处理装置，其特征在于，所述装置包括：
第一样本人脸图像获取模块，用于获取第一样本人脸图像及对应的第二样本人脸图像，所述第一样本人脸图像和所述第二样本人脸图像为同一人脸的图像，所述第一样本人脸图像属于第一类人脸图像，所述第二样本人脸图像属于第二类人脸图像，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
第一特征提取模块，用于基于已训练完成的第一特征提取模型，对所述第一样本人脸图像进行特征提取，得到所述第一样本人脸图像的第一样本身份特征，所述第一特征提取模型用于提取所述第一类人脸图像的身份特征；
第二特征提取模块，用于基于当前的第二特征提取模型，对所述第二样本人脸图像进行特征提取，得到所述第二样本人脸图像的第二样本身份特征，所述第二特征提取模型用于提取所述第二类人脸图像的身份特征；
第一调整模块，用于根据所述第一样本身份特征与所述第二样本身份特征之间的误差，调整所述第二特征提取模型的模型参数，以使基于已训练完成的所述第二特征提取模型对所述第二类人脸图像提取的身份特征，与基于所述第一特征提取模型对所述第二类人脸图像对应的第一类人脸图像提取的身份特征之间的误差收敛。
13.一种人脸图像处理装置，其特征在于，所述装置包括：
第二特征获取模块，用于获取第二特征提取模型，所述第二特征提取模型根据第一特征提取模型训练得到，且训练目标为基于所述第二特征提取模型对属于第二类人脸图像的第二样本人脸图像提取的身份特征，趋向于基于所述第一特征提取模型对属于所述第二类人脸图像对应的第一类人脸图像的第一样本人脸图像提取的身份特征，所述第一样本人脸图像和所述第二样本人脸图像为同一人脸的图像，所述第一类人脸图像的分辨率高于所述第二类人脸图像的分辨率；
目标特征提取模块，用于基于所述第二特征提取模型，对属于所述第二类人脸图像的目标人脸图像进行特征提取，得到所述目标人脸图像的目标身份特征。
14.一种人脸图像处理装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至9任一权利要求所述的人脸图像处理方法中所执行的操作；或者实现如权利要求10至11任一项权利要求所述的人脸图像处理方法中所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至9任一权利要求所述的人脸图像处理方法中所执行的操作；或者实现如权利要求10至11任一项权利要求所述的人脸图像处理方法中所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335080.9A CN110059652B (zh) | 2019-04-24 | 2019-04-24 | 人脸图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910335080.9A CN110059652B (zh) | 2019-04-24 | 2019-04-24 | 人脸图像处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110059652A CN110059652A (zh) | 2019-07-26 |
| CN110059652B true CN110059652B (zh) | 2023-07-25 |
Family
ID=67320530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910335080.9A Active CN110059652B (zh) | 2019-04-24 | 2019-04-24 | 人脸图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059652B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160095B (zh) * | 2019-11-26 | 2023-04-25 | 华东师范大学 | 基于深度自编码器网络的无偏人脸特征提取分类方法及系统 |
| CN111209878A (zh) * | 2020-01-10 | 2020-05-29 | 公安部户政管理研究中心 | 跨年龄人脸识别方法及装置 |
| CN111275055B (zh) * | 2020-01-21 | 2023-06-06 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像处理方法及装置 |
| CN111582200B (zh) * | 2020-05-12 | 2023-11-21 | 北京邮电大学 | 人体姿态估计方法、装置、电子设备及介质 |
| CN111651623B (zh) * | 2020-06-11 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 高精度人脸表情库的构建方法、装置、设备及存储介质 |
| CN111928947B (zh) * | 2020-07-22 | 2021-08-31 | 广州朗国电子科技有限公司 | 基于低精度人脸测温仪的额头温测量方法、装置及测温仪 |
| CN113409207B (zh) * | 2021-06-15 | 2023-12-08 | 广州光锥元信息科技有限公司 | 一种人脸图像清晰度提升方法及装置 |
| CN114648531B (zh) * | 2022-05-20 | 2022-08-19 | 领伟创新智能系统(浙江)有限公司 | 基于色彩通道亮度分布的太阳能面板表面灰尘辨识方法 |
| CN115098125A (zh) * | 2022-06-02 | 2022-09-23 | 厦门瑞为信息技术有限公司 | 一种人脸识别算法平滑升级方法、装置及可读介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105164696A (zh) * | 2013-05-03 | 2015-12-16 | 诺基亚技术有限公司 | 用于人物标识的方法和技术设备 |
| CN107633218A (zh) * | 2017-09-08 | 2018-01-26 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| WO2018054283A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京眼神科技有限公司 | 人脸模型的训练方法和装置、人脸认证方法和装置 |
| CN108921782A (zh) * | 2018-05-17 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10733744B2 (en) * | 2017-05-11 | 2020-08-04 | Kla-Tencor Corp. | Learning based approach for aligning images acquired with different modalities |
-
2019
- 2019-04-24 CN CN201910335080.9A patent/CN110059652B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105164696A (zh) * | 2013-05-03 | 2015-12-16 | 诺基亚技术有限公司 | 用于人物标识的方法和技术设备 |
| WO2018054283A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京眼神科技有限公司 | 人脸模型的训练方法和装置、人脸认证方法和装置 |
| CN107633218A (zh) * | 2017-09-08 | 2018-01-26 | 百度在线网络技术（北京）有限公司 | 用于生成图像的方法和装置 |
| CN108921782A (zh) * | 2018-05-17 | 2018-11-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 全局重建和位置块残差补偿的人脸图像超分辨率算法;马祥;齐春;;西安交通大学学报(第04期);9-12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110059652A (zh) | 2019-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN111091132B (zh) | 基于人工智能的图像识别方法、装置、计算机设备及介质 | |
| CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
| CN110083791B (zh) | 目标群组检测方法、装置、计算机设备及存储介质 | |
| CN110222789B (zh) | 图像识别方法及存储介质 | |
| CN110059685B (zh) | 文字区域检测方法、装置及存储介质 | |
| CN109086709A (zh) | 特征提取模型训练方法、装置及存储介质 | |
| CN109815150B (zh) | 应用测试方法、装置、电子设备及存储介质 | |
| CN110110787A (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
| CN112907725B (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
| CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
| CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
| CN109522863B (zh) | 耳部关键点检测方法、装置及存储介质 | |
| CN112581358B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN112818979B (zh) | 文本识别方法、装置、设备及存储介质 | |
| CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN114282035A (zh) | 图像检索模型的训练和检索方法、装置、设备及介质 | |
| CN111738365B (zh) | 图像分类模型训练方法、装置、计算机设备及存储介质 | |
| CN110991445B (zh) | 竖排文字识别方法、装置、设备及介质 | |
| CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
| CN112053360B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN110135329B (zh) | 从视频中提取姿势的方法、装置、设备及存储介质 | |
| CN111488895B (zh) | 对抗数据生成方法、装置、设备及存储介质 | |
| CN110163192B (zh) | 字符识别方法、装置及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |