CN110211518A - 电路装置和电子设备 - Google Patents
电路装置和电子设备 Download PDFInfo
- Publication number
- CN110211518A CN110211518A CN201910146701.9A CN201910146701A CN110211518A CN 110211518 A CN110211518 A CN 110211518A CN 201910146701 A CN201910146701 A CN 201910146701A CN 110211518 A CN110211518 A CN 110211518A
- Authority
- CN
- China
- Prior art keywords
- image
- mapping
- circuit
- processing
- circuit device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims abstract description 349
- 238000012545 processing Methods 0.000 claims abstract description 284
- 238000001514 detection method Methods 0.000 claims abstract description 156
- 230000009471 action Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 description 56
- 230000000007 visual effect Effects 0.000 description 41
- 238000000034 method Methods 0.000 description 36
- 101000801088 Homo sapiens Transmembrane protein 201 Proteins 0.000 description 35
- 102100033708 Transmembrane protein 201 Human genes 0.000 description 35
- 101100075908 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) IMA3 gene Proteins 0.000 description 31
- 101100233058 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) IMA2 gene Proteins 0.000 description 26
- 101000852539 Homo sapiens Importin-5 Proteins 0.000 description 21
- 102100036340 Importin-5 Human genes 0.000 description 21
- 230000009466 transformation Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 101100102920 Arabidopsis thaliana WEB1 gene Proteins 0.000 description 13
- 101100309794 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SEC31 gene Proteins 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 239000004615 ingredient Substances 0.000 description 11
- 101100184713 Arabidopsis thaliana PMI2 gene Proteins 0.000 description 9
- 101100465519 Arabidopsis thaliana MPA1 gene Proteins 0.000 description 8
- 101100300012 Mannheimia haemolytica purT gene Proteins 0.000 description 8
- 101100067996 Mus musculus Gbp1 gene Proteins 0.000 description 8
- 229910002056 binary alloy Inorganic materials 0.000 description 8
- 102100028538 Guanylate-binding protein 4 Human genes 0.000 description 7
- 101001058851 Homo sapiens Guanylate-binding protein 4 Proteins 0.000 description 7
- 101000998629 Homo sapiens Importin subunit beta-1 Proteins 0.000 description 7
- 102100033258 Importin subunit beta-1 Human genes 0.000 description 7
- 230000005611 electricity Effects 0.000 description 7
- 102100038910 Alpha-enolase Human genes 0.000 description 6
- 101000882335 Homo sapiens Alpha-enolase Proteins 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 230000018199 S phase Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- XAEWZDYWZHIUCT-UHFFFAOYSA-N desipramine hydrochloride Chemical compound [H+].[Cl-].C1CC2=CC=CC=C2N(CCCNC)C2=CC=CC=C21 XAEWZDYWZHIUCT-UHFFFAOYSA-N 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Processing (AREA)
Abstract
电路装置和电子设备,能够适当地检测平视显示器的显示图像的错误。电路装置(100)包含图像处理电路(135)和比较电路(145)。图像处理电路(135)进行第1映射处理和第2映射处理,该第1映射处理是将所输入的第1图像(IMA1)映射处理成用于投射到被投射体的第2图像(IMA2),该第2映射处理是通过第1映射处理的逆映射处理将第2图像(IMA2)变换成第3图像(IMA3)。比较电路(145)进行第1图像(IMA1)与第3图像(IMA3)之间的比较,将其比较的结果作为用于进行第2图像(IMA2)的错误检测的信息输出。
Description
技术领域
本发明涉及电路装置和电子设备等。
背景技术
公知有将二维图像投射到被投射体而向用户提供该投射的图像的平视显示器(HUD:Head Up Display)。被投射体例如是汽车的挡风玻璃等,一般为非平面形状。因此,在将图像投射到非平面时,为了向用户提供不失真的图像,头戴显示器控制器(HUDC:Head UpDisplay Controller)要进行图像的映射处理。
例如在专利文献1中公开了映射处理的现有技术。在专利文献1中记载了源排列与目标排列之间的像素的映射方法,尤其是详细地记载了从目标排列向源排列的逆映射的方法。源排列是映射处理前的像素排列,目标排列是通过映射处理对源排列进行坐标变换时的作为目的地的像素排列。
专利文献1:日本特开平10-49665号公报
在平视显示器控制器如上述那样进行了映射处理的情况下,存在显示于平视显示器的图像是否为适当的显示内容的问题。即,存在如下课题:需要确认用于映射处理的映射数据或使用了该映射数据的坐标变换是否正常。在映射处理的现有技术中,虽然公开了映射方法本身,但没有公开确认映射处理是否正常的方法。
发明内容
本发明的一个方式涉及电路装置,其包含:图像处理电路,其进行第1映射处理和第2映射处理,该第1映射处理是将所输入的第1图像映射处理成用于投射到被投射体的第2图像,该第2映射处理是通过所述第1映射处理的逆映射处理将所述第2图像变换成第3图像;以及比较电路,其进行所述第1图像与所述第3图像之间的比较,将所述比较的结果作为用于进行所述第2图像的错误检测的信息输出。
并且,在本发明的一个方式中,也可以是,所述比较电路根据所述第1图像的像素值和所述第3图像的像素值,或者根据所述第1图像的边缘图像的像素值和所述第3图像的边缘图像的像素值,求出表示所述第1图像与所述第3图像之间的一致度的指标作为所述比较的结果。
并且,在本发明的一个方式中,也可以是,所述图像处理电路使用根据与所述被投射体对应的映射数据生成的第1映射数据进行所述第1映射处理,使用作为所述映射数据的第2映射数据进行所述第2映射处理。
并且,本发明的其他方式涉及电路装置,其包含:图像处理电路,其进行第1映射处理和第2映射处理,该第1映射处理是根据与被投射体对应的映射数据,将所输入的第1图像映射处理成用于投射到所述被投射体的第2图像,该第2映射处理是根据所述映射数据,通过与所述第1映射处理不同的第2映射处理将所述第1图像变换成第3图像;以及比较电路,其进行所述第2图像与所述第3图像之间的比较,将所述比较的结果作为用于进行所述第2图像的错误检测的信息输出。
并且,本发明的其他方式中,也可以是,所述比较电路根据所述第2图像的像素值和所述第3图像的像素值,或者根据所述第2图像的边缘图像的像素值和所述第3图像的边缘图像的像素值,求出表示所述第2图像与所述第3图像之间的一致度的指标作为所述比较的结果。
并且,本发明的其他方式中,也可以是,所述图像处理电路使用根据所述映射数据生成的第1映射数据进行所述第1映射处理,使用作为所述映射数据的第2映射数据进行所述第2映射处理。
并且,本发明的其他方式中,也可以是,所述图像处理电路生成分辨率比所述第1图像低的所述第3图像,所述比较电路对所述第2图像进行与所述第3图像的分辨率对应的低分辨率化,对所述第3图像和所述低分辨率化后的所述第2图像进行比较。
并且,本发明的其他方式中,也可以是,该电路装置包含错误检测电路,该错误检测电路根据所述比较的结果进行所述第2图像的错误检测。
并且,本发明的其他方式中,也可以是,该电路装置包含动作模式设定寄存器,在该动作模式设定寄存器中设定有由所述错误检测电路判定为错误时的电路装置的动作模式。
并且,本发明的其他方式中,也可以是,在所述动作模式设定寄存器中设定有向所述电路装置的外部装置通知所述错误检测的结果的模式、不显示所述第2图像的模式、或显示特定图像的模式作为所述动作模式。
并且,本发明的其他方式中,也可以是,所述错误检测电路通过所述比较的结果与用于判定所述第2图像的错误的阈值的比较来进行所述错误检测。
并且,本发明的其他方式中,也可以是,该电路装置包含阈值寄存器,在该阈值寄存器中设定有所述阈值。
并且本发明的另一个方式涉及电子设备,该电子设备包含上述的任意一个电路装置。
附图说明
图1是本实施方式的电路装置的第1结构例。
图2是第1结构例的电路装置的变形例。
图3是示意性地示出第1结构例的电路装置的动作的图。
图4是本实施方式的电路装置的第2结构例。
图5是比较电路的详细结构例。
图6是本实施方式的电路装置的第3结构例。
图7是示意性地示出第3结构例的电路装置的动作的图。
图8是本实施方式的电路装置的第4结构例。
图9是分析图像的第1例。
图10是基准图像的例子。
图11是基准图像的平均图像。
图12是分析图像的第2例。
图13是分析图像的第3例。
图14是分析图像的第4例。
图15是关注区域中的分析图像的例子。
图16是根据分析图像计算出的边缘值的例。
图17是关注区域中的YCbCr的各通道的直方图。
图18是对直方图进行互相关运算而得的互相关值。
图19是分析图像和基准图像的直方图的例子。
图20是分析图像和基准图像的直方图的互相关值的例子。
图21是电子设备的结构例。
标号说明
100:电路装置;110:接口;125:预处理电路;135:图像处理电路;140:接口;145:比较电路;146:像素布置处理部;147:指标取得部;150:错误检测电路;170:寄存器电路;175:比较结果寄存器;176:错误检测结果寄存器;177:动作模式设定寄存器;178:阈值寄存器;190:接口;200:处理装置;210:非易失性存储器;300:电子设备;310:处理装置;320:电路装置;330:显示驱动器;335:光源;340:显示面板;345:镜头;350:存储装置;360:操作装置;370:通信装置;380:投影装置;IMA1~IMA3:图像;IMB1~IMB3:图像;MPA1、MPA2:映射数据;MPB1、MPB2:映射数据;WEA1、WEA2:映射处理部;WEB1、WEB2:映射处理部。
具体实施方式
以下,对本发明的优选实施方式进行详细说明。另外,以下说明的本实施方式并非不当地限定权利要求所记载的本发明的内容,在本实施方式中说明的结构并非全部都是作为本发明的解决手段所必须的。
1.第1结构例、第2结构例
图1是本实施方式的电路装置的第1结构例。电路装置100包含接口110(第1接口)、预处理电路125、图像处理电路135、接口140(第2接口)、比较电路145、寄存器电路170以及接口190(第3接口)。电路装置100例如是集成电路装置(IC)。
接口110例如接收从处理装置200等发送到电路装置100的图像数据,将该接收到的图像数据变换成在电路装置100的内部使用的形式。例如,接口11是OpenLDI(Open LVDSDisplay Interface),将以LVDS(Low Voltage Differential Signaling)的方式接收到的串行信号变换成RGB的并行信号。处理装置200例如是SoC(System on a Chip)或MCU(MicroControl Unit)、CPU(Central Processing Unit)等。
预处理电路125对从接口110输入的图像数据进行预处理,输出预处理后的图像IMA1。例如,预处理电路125进行伽马校正、FRC(Frame Rate Control)、白平衡处理等作为预处理。预处理电路125是取得输入到图像处理电路135的图像的电路,也称为图像取得电路。
图像处理电路135包含:映射处理部WEA1,其根据被投射体的表面形状对图像进行映射;以及映射处理部WEA2,其进行其逆映射。具体来说,映射处理部WEA1对预处理电路125所输出的图像IMA1进行使用了映射数据MPA1的映射处理,输出映射处理后的图像IMA2。该映射处理是如下的处理:使图像IMA1变形,以使得投射到被投射体的图像在用户观看时处于不失真的状态。映射处理部WEA2对映射处理部WEA1输出的图像IMA2进行使用了映射数据MPA2的映射处理,输出映射处理后的图像IMA3。该映射处理相当于映射处理部WEA1进行的映射处理的逆变换。即,是将与被投射体对应地变形后的图像IMA2恢复成变形前的图像的变换。
在映射处理无错误的情况下,由于图像IMA3与IMA1的一致度较高,所以通过后述的比较电路145对图像IMA3和IMA1进行比较,从而能够检测出作为显示图像的图像IMA2是否为正常的图像。另外,图像IMA3和IMA1作为图像数据不需要完全一致,只要图像相似到能够通过比较电路145进行比较的程度即可。即,映射处理部WEA2进行的映射处理是映射处理部WEA1进行的映射处理的逆变换,但不需要是使图像IMA3和IMA1完全一致的逆变换。
被投射体是被投射或显示图像IMA2的物体。即,图像IMA2从接口140输出到投影装置,投影装置将图像IMA2投射到被投射体。投射到该被投射体的图像被提示给用户。投影装置例如包含液晶显示面板、驱动该液晶显示面板的显示驱动器、光源以及镜头。显示驱动器根据接收到的图像数据使液晶显示面板显示图像,光源向液晶显示面板输出光,通过了液晶显示面板的光被镜头投射到被投射体。被投射体具有对投射的光进行反射的反射面,例如反射面是被投射体的表面。反射面是至少对入射光的一部分进行反射的面,反射可以是漫反射、镜面反射中的任意反射。被投射体是供平视显示器投射图像的对象物,例如在车载平视显示器的情况下,被投射体是汽车的挡风玻璃等。另外,被投射体不限于该例,只要是通过投影装置投射或显示图像的对象物即可。
映射处理是根据映射数据对图像的像素位置进行坐标变换的处理。作为与坐标变换相伴的处理,映射处理可以包含像素值的插值处理等。作为映射处理,具有正向映射和逆向映射。在正向映射中,将处理前的图像的像素位置的坐标变换为处理后的图像的像素位置的坐标,使用该坐标变换的结果生成处理后的图像。即,依次选择处理前的图像的像素,对该选择出的像素的像素位置(xa,ya)进行坐标变换,使该像素的像素值成为坐标变换后的像素位置(ua,va)处的像素值。另一方面,在逆向映射中,将处理后的图像的像素位置的坐标变换为处理前的图像的像素位置的坐标,使用该坐标变换的结果生成处理后的图像。即,依次选择处理后的图像的像素位置,将该选择出的像素位置(ub,vb)的坐标变换成处理前的图像的像素位置,使该像素位置(xb,yb)的像素的像素值成为处理后的图像的像素位置(ub,vb)处的像素值。
映射数据是表示与被投射体的反射面的形状对应的坐标变换的数据,是将映射处理前的图像的像素位置和映射处理后的图像的像素位置之间对应起来的表数据。将用于正向映射的映射称为正向映射,该映射数据是将映射处理前的图像的像素位置(xa,ya)与映射处理后的图像的像素位置(ua,va)对应起来的表数据。将用于逆向映射的映射称为逆向映射,该映射数据是将映射处理后的图像的像素位置(ub,vb)与映射处理前的图像的像素位置(xb,yb)对应起来的表数据。映射处理部WEA1、WEA2使用的映射数据MPA1、MPA2例如从处理装置200经由接口190输入到映射处理部WEA1、WEA2。
接口140将图像IMA2输出到电路装置100的外部。电路装置100的外部例如是对显示面板进行驱动的显示驱动器。例如,接口140是LVDS的接口,将来自图像处理电路135的RGB的并行信号变换成LVDS的串行信号。
比较电路145进行图像IMA1与图像IMA3之间的比较处理,并输出其比较结果。该比较结果用于检测图像IMA2的错误。即,用于验证映射数据MPA1以及映射处理部WEA1进行的映射处理是否正常。具体来说,比较电路145求出表示图像IMA1与图像IMA3之间的一致度的指标。该指标相当于后述的形状指标,是其值根据图像IMA1和IMA3中所显示的物体的形状或其边缘的一致度而变化的指标。或者,也可以求出后述的可视性指标作为指标。可视性指标是其值根据显示有图标等的关注区域的图像与其他的背景区域的图像之间的不相似度而变化的指标。关注区域的图像也被称为前景图像。具体来说,通过对图像IMA1、IMA3的像素值的直方图进行比较,求出表示前景图像与背景图像之间的对比度的指标。
寄存器电路170构成为能够经由接口190从处理装置200进行访问。寄存器电路170包含比较结果寄存器175,该比较结果寄存器175存储比较电路145所输出的比较结果的信息,处理装置200经由接口190从比较结果寄存器175读出比较结果的信息。处理装置200包含错误检测电路,该错误检测电路根据其比较结果的信息进行错误检测。通过以上的图像比较和错误检测,实现了投射到被投射体的图像IMA2的错误检测。即,检测映射处理部WEA1是否正常地进行了映射处理。
另外,在上述的结构中,将比较电路145输出的比较结果的信息存储在寄存器电路170中,处理装置200经由接口190从寄存器电路170读出比较结果的信息,利用处理装置200内的错误检测电路进行错误检测,但不限于此。即,例如如图4等那样,在电路装置100内包含错误检测电路的情况下,电路装置100内的错误检测电路也可以根据比较电路145输出的比较结果的信息进行错误检测。在该情况下,在电路装置100内的错误检测电路检测到错误后,电路装置100也可以使处理装置200中断,报告错误。
接口190在电路装置100与处理装置200之间进行设定信息或控制信息等的通信。例如,接口190是SPI(Serial Peripheral Interface)方式或I2C方式等的串行通信接口。来自处理装置200的设定信息或控制信息例如被写入到寄存器电路170中,电路装置100进行与该设定信息或控制信息对应的动作。
电路装置100所包含的逻辑电路例如可以由单独的电路构成,或者也可以由通过自动配置布线等一体化后的电路构成。逻辑电路例如是预处理电路125、图像处理电路135、比较电路145。并且,这些逻辑电路的一部分或全部也可以通过DSP(Digital SignalProcessor)等的处理器实现。在该情况下,描述了各电路的功能的程序或指令集存储在存储器中,由处理器执行该程序或指令集,从而实现各电路的功能。
上述的预处理电路125是取得输入到图像处理电路135的图像的电路,但并不限于此。图2是第1结构例的电路装置的变形例。例如,将从接口110输入的图像数据设为IMA1’,映射处理部WEA1对IMA1’进行使用了映射数据MPA1的映射处理。之后,也可以构成为后处理电路126对由映射处理部WEA1进行了映射处理后的图像数据进行伽马校正、FRC、白平衡处理等作为后处理。后处理电路126与图1的预处理电路125对应。映射处理部WEA2对后处理电路126输出的图像数据IMA2’进行使用了映射数据MPA2的映射处理。在该情况下,除了能够确认映射处理是否正常之外,还能够确认图像没有因伽马校正、FRC、白平衡处理等后处理而大幅变更。
接着,对图1的电路装置100的动作进行说明。图3是示意性地示出图1的电路装置100的动作的图。
如图3所示,对基准的映射数据进行映射变换处理而生成映射A,使用基准的映射数据作为映射B。具体来说,图1所示的非易失性存储器210存储基准的映射数据,处理装置200从非易失性存储器210读出基准的映射数据而进行映射变换处理,生成与映射A对应的映射数据MPA1。映射数据MPA1经由接口190输入到映射处理部WEA1。映射变换处理例如是正向映射与逆向映射之间的变换、映射的旋转、映射的平行移动等。并且,处理装置200输出基准的映射数据作为与映射B对应的映射数据MPA2。映射数据MPA2经由接口190输入到映射处理部WEA2。
扭曲引擎(warp engine)A与映射处理部WEA1对应,使用映射A对图像IMA1进行映射处理而生成图像IMA2。映射处理也称为扭曲处理。并且,扭曲引擎B与映射处理部WEA2对应,使用映射B对图像IMA2进行逆映射处理而生成图像IMA3。该逆映射处理也可以包含与映射变换处理中的映射的旋转或平行移动的逆变换对应的图像的旋转变换或平行移动。
由于扭曲引擎A生成显示用的图像IMA2,所以,进行质量比扭曲引擎B高的映射处理。例如,进行与显示的分辨率对应的高分辨率的映射处理。并且,为了确保显示的质量而进行像素值的插值处理。另一方面,由于扭曲引擎B生成错误检测用的图像IMA3,所以,进行比扭曲引擎A简化的映射处理。例如,通过对坐标变换的对象像素进行间疏,生成分辨率比图像IMA1低的图像IMA3。并且,也可以省略像素值的插值处理。
在比较电路145进行的比较处理中,如后述那样进行图像IMA1的间疏处理,并且进行图像IMA1与IMA3的像素的对位,根据该对位后的图像求出指标。
在以上的动作中,对基准的映射数据进行映射变换处理而生成映射A。因此,在映射A因映射变换处理中的错误而出现异常的情况下,由使用了映射A的扭曲引擎A生成的图像IMA2可能出现异常。并且,即使映射A无异常,在基于扭曲引擎A的映射处理出现异常的情况下,由扭曲引擎A生成的图像IMA2也可能出现异常。为了检测这种异常,需要从通过扭曲引擎A而变形的图像中检测错误,在现有技术中很难进行错误检测。例如,在使用了CRC等数据错误检测的情况下,由于以通过扭曲引擎A进行变换之前的图像的CRC值为基准,所以,本来就与根据被扭曲引擎A变换后的图像求出的CRC值不一致。
在本实施方式中,通过扭曲引擎B对图像IMA2进行逆映射处理,对该逆映射处理后的图像IMA3和原来的图像IMA1进行比较而求出表示一致度的指标。在映射A和扭曲引擎A无异常的情况下,由于图像IMA3与IMA1的一致度较高,所以,能够根据指标来检测图像IMA2的错误。另外,由于指标是根据一致度而变化的值,所以,图像IMA1和IMA3也可以不完全一致。即,即使映射A或扭曲引擎A存在微小的异常,只要图像IMA2是用户能够辨认的程度,则也可以判定为无错误。例如,通过在错误检测中对指标进行阈值判定并设定其阈值,能够调整将哪种程度的一致度判定为错误。
图4是本实施方式的电路装置的第2结构例。在图4中,电路装置100包含错误检测电路150。并且,寄存器电路170包含错误检测结果寄存器176、动作模式设定寄存器177以及阈值寄存器178。另外,对与已经说明的结构要素相同的结构要素赋予相同的标号,适当省略该结构要素的说明。
比较电路145将图像IMA1与IMA3的比较结果输出到错误检测电路150。错误检测电路150根据该比较结果进行显示用的图像IMA2的错误检测。在比较结果是上述指标的情况下,错误检测电路150通过对指标和阈值进行比较来进行错误检测。针对形状指标的阈值是表示能够允许哪种程度的相似性的阈值。针对可视性指标的阈值是表示能够允许哪种程度的可视性的阈值。
在通过错误检测电路150检测出错误的情况下,图像处理电路135停止向接口140输出图像IMA2。或者,在通过错误检测电路150检测出错误的情况下,接口140停止输出图像IMA2。接口140也可以将图像IMA2与错误信息一起输出,接收到该错误信息的显示驱动器进行基于错误信息的动作。错误信息例如是错误判定标志或指标等。基于错误信息的动作例如是显示的停止等。
错误检测结果寄存器176存储错误检测电路150所输出的错误检测结果。错误检测结果例如是表示显示图像是否被判定为错误的错误判定标志。
从处理装置200经由接口190对动作模式设定寄存器177设定模式设定信息。模式设定信息是在错误检测结果表示错误的情况下对电路装置100的动作模式进行设定的信息,是设定进行哪种动作作为检测出错误时的动作的信息。图像处理电路135根据模式设定信息进行上述的错误检测时的动作。另外,也可以构成为由处理装置200进行错误检测时的动作。在该情况下,处理装置200经由接口190从错误检测结果寄存器176读出错误检测结果。在错误检测结果表示错误的情况下,处理装置200进行错误检测时的动作。错误检测时的动作例如是停止向电路装置100发送图像数据、或者向电路装置100发送规定的图像数据等。规定的图像数据是在检测出错误时提示给用户的图像的图像数据。
从处理装置200经由接口190对阈值寄存器178设定阈值。错误检测电路150对指标和设定于阈值寄存器178的阈值进行比较而进行错误检测。即,错误检测电路150对形状指标和形状指标用阈值进行比较,对可视性指标和可视性指标用阈值进行比较,根据它们的比较结果进行错误检测,将该结果作为错误检测结果输出。例如,在这些比较结果中的至少一方是表示错误的结果的情况下,判定为第2图像中存在错误。
在图4的结构中,与图1的结构同样,通过进行图像IMA1与IMA3的比较,能够根据其比较结果进行投射到被投射体的映射处理后的图像IMA2的错误检测。
以上,以电路装置100将错误检测结果输出到处理装置200的情况为例进行了说明,但电路装置100也可以不将错误检测结果输出到电路装置100的外部,而是只在电路装置100的内部使用错误检测结果。例如,在检测出错误的情况下电路装置100也可以变换到安全模式。在安全模式中,例如也可以将规定的错误通知图像发送到显示驱动器,或者进行使液晶显示装置的背光源熄灭的控制。由此,能够通过来自电路装置100的控制而直接向用户通知错误状态,而不是通过处理装置200的控制。
作为以上说明的图1、图4的电路装置100,可想到对平视显示器进行控制的平视显示器控制器、或对显示驱动器进行控制的显示控制器。但是,能够应用本实施方式的方法的电路装置并不限于此。例如,电路装置也可以是包含显示控制器的功能的显示驱动器。在电路装置是平视显示器控制器、显示控制器、显示驱动器的情况下,电路装置例如是集成电路装置(IC)。另外,电路装置也可以包含多个集成电路装置。例如,电路装置包含作为第1集成电路装置的平视显示器控制器和作为第2集成电路装置的处理装置。在该情况下,平视显示器控制器包含进行图像IMA1与IMA3的比较处理的比较电路,处理装置包含错误检测电路,该错误检测电路根据从平视显示器控制器接收到的比较结果进行错误检测。
图5是比较电路145的详细结构例。比较电路145包含像素布置处理部146和指标取得部147。
像素布置处理部146进行用于对图像IMA1和IMA3进行比较的像素布置处理,将处理后的图像IMA1和IMA3输出到指标取得部147。具体而言,如上所述,图像IMA3的分辨率比图像IMA1低,所以,像素布置处理部146进行使图像IMA1的像素数与图像IMA3的像素数一致的下采样处理。并且,例如也可以进行旋转处理、平移处理、插值处理等,以使得像素配置在图像IMA1和IMA3的相同像素位置。
指标取得部147根据进行像素布置处理后的图像IMA1和IMA3,求出用于检测图像IMA2的错误的指标。如上述那样,指标是形状指标,也可以还取得可视性指标。形状指标、可视性指标的详细内容在后面叙述。指标取得部147输出的指标作为比较结果的信息存储到比较结果寄存器175中。或者,错误检测电路150根据指标进行错误检测。
根据以上的实施方式,图像处理电路135进行第1映射处理和第2映射处理,该第1映射处理是将所输入的第1图像映射处理成用于投射到被投射体的第2图像,该第2映射处理是通过第1映射处理的逆映射处理将第2图像变换成第3图像。比较电路145进行第1图像与第3图像之间的比较,将比较的结果作为用于进行第2图像的错误检测的信息而输出。
在图1~图5中,IMA1是第1图像,IMA2是第2图像,IMA3是第3图像。并且,映射处理部WEA1进行的映射处理是第1映射处理,映射处理部WEA2进行的映射处理是第2映射处理。用于进行错误检测的信息是图像IMA1与IMA3的比较结果的信息,例如相当于后述的形状指标或可视性指标,或者相当于形状指标以及可视性指标。
如图3等说明的那样,在映射处理或映射数据出现异常的情况下,第2图像出现异常,但在现有技术中很难检测到该异常。关于该点,根据本实施方式,在第2映射处理中,通过第1映射处理的逆映射处理将第2图像变换成第3图像,从而能够对第1图像和第3图像进行比较。由于第3图像是根据第2图像生成的,所以,如果第3图像与作为基准的第1图像的一致度较高,则能够判断为第2图像无错误。这样,例如能够检测出平视显示器等的投射到被投射体的图像是否为适当的显示内容。
并且,在本实施方式中,比较电路145根据第1图像的像素值和第3图像的像素值,或者根据第1图像的边缘图像的像素值和第3图像的边缘图像的像素值,求出表示第1图像与第3图像之间的一致度的指标作为比较的结果。
这里,边缘图像的像素值是该像素的边缘量,是通过边缘提取而得到的信号值。表示一致度的指标是形状指标,在后面进行详细叙述。
由此,能够根据表示第1图像与第3图像之间的一致度的指标进行第3图像的错误检测,而不是CRC那样的以位为单位的错误检测。如果在第3图像中未检测到错误,则能够判断为正常地进行了映射处理,因此,能够检测通过映射处理生成的第2图像的错误。例如,在车载的平视显示器等中显示用于提示给用户的图标等。根据本实施方式,这样的图标不会因1位错误等而停止显示,在能够正确地识别出形状的情况下可以提示给用户。
并且,在本实施方式中,图像处理电路135使用根据与被投射体对应的映射数据生成的第1映射数据进行第1映射处理,使用作为映射数据的第2映射数据进行第2映射处理。
在图1~图4中,与被投射体对应的映射数据是存储于非易失性存储器210的映射数据。第1映射数据是映射数据MPA1,是通过映射变换处理而生成的映射A的数据。第2映射数据是映射数据MPA2,是作为从非易失性存储器210读出的映射数据的映射B的数据。
在根据与被投射体对应的映射数据生成了第1映射数据的情况下,当在该处理中出现异常时,可能在使用第1映射数据进行映射处理的第2图像中出现异常。根据本实施方式,直接使用作为基准的映射数据作为第2映射数据,生成作为比较用图像的第3图像。由此,根据第3图像与第1图像的比较结果,能够判断使用了第1映射数据的第1映射处理是否正常。
并且,在本实施方式中,电路装置100包含错误检测电路150,该错误检测电路150根据比较电路145的比较结果进行第2图像的错误检测。
由此,能够通过内置于电路装置100的错误检测电路150进行显示图像的错误检测。并且,电路装置100能够根据错误检测结果进行检测出错误时的动作,或者,将错误检测结果输出到处理装置200等,处理装置200等能够根据错误检测结果进行检测出错误时的动作。
并且,在本实施方式中,电路装置100包含动作模式设定寄存器177,在该动作模式设定寄存器177中设定由错误检测电路150判定为错误时的电路装置100的动作模式。
由此,能够经由接口在动作模式设定寄存器177中设定根据第1图像与第2图像的比较结果而判定为第2图像错误时的电路装置100的动作模式。例如,处理装置200能够经由接口190在动作模式设定寄存器177中设定动作模式。例如,能够使电路装置100进行用户期望的检测出错误时的动作。
并且,在本实施方式中,作为动作模式,在动作模式设定寄存器177中设定有向电路装置100的外部装置通知错误检测的结果的模式、不显示第2图像的模式、或显示特定的图像的模式。
外部装置例如是处理装置200,例如是SoC或CPU等。例如经由接口190向外部装置输出错误检测的结果。另外,根据接口的不同,有时无法从电路装置100向处理装置200发送通知,在该情况下,电路装置100以中断的方式向处理装置200进行通知,处理装置能够经由接口从电路装置读出详细信息。不显示是指,设定为不使显示面板显示图像的状态,例如使显示面板的整个显示区域成为黑色或白色。特定的图像是与作为错误检测对象的显示图像不同的图像,是在检测出错误时希望显示的图像。例如,是显示检测出错误时提示给用户的消息、记号、颜色等的图像。在颜色的情况下,例如使显示面板的显示区域的全部或一部分显示例如红色等规定的颜色。
由此,能够将第2图像被判定为错误时的电路装置100的动作模式设定为上述3个模式中的任意一个模式。例如,作为用户期望的检测出错误时的动作,能够使电路装置100进行上述3个模式的动作中的任意一个动作。
并且,在本实施方式中,错误检测电路150通过将比较结果与用于判定第2图像的错误的阈值进行比较来进行错误检测。
在图4中,用于判定第2图像的错误的阈值是与作为比较结果的指标进行比较的阈值。
在CRC中,通过将与图像数据一起接收到的CRC值和根据接收到的图像数据运算出的CRC值进行比较来检测图像数据中是否存在错误。另一方面,作为本实施方式的比较结果的指标的值根据第1图像与第3图像的一致度而变化,而不是仅仅单纯地表示是否是错误的指标。通过对该指标和阈值进行比较,即使在无法使用CRC等数据错误检测方法的情况下,也能够进行错误检测。即,能够在根据一致度判断为无法确保形状的相似性的情况下判定为错误。
并且,在本实施方式中,电路装置100包含阈值寄存器178,在该阈值寄存器178中设定阈值。
由此,能够经由接口将用于与作为比较结果的指标进行比较的阈值设定在阈值寄存器178中。例如,处理装置200能够经由接口190将阈值设定在阈值寄存器178中。通过可变地设定阈值,在具有哪种程度的形状的相似性的情况下判断为存在错误是可变的。通过设置阈值寄存器178,例如用户能够任意地设定作为错误判定基准的阈值。
2.第3结构例、第4结构例
图6是本实施方式的电路装置的第3结构例。在图6中,图像处理电路135包含:映射处理部WEB1,其根据被投射体的表面形状来映射图像;以及映射处理部WEB2,其进行与映射处理部WEB1相同方向的映射。然后,比较电路145对映射处理部WEB1、WEB2输出的图像IMB2、IMB3进行比较。另外,对与已经说明的结构要素相同的结构要素赋予相同的标号,适当省略该结构要素的说明。
预处理电路125输出预处理后的图像IMB1。预处理的内容与在图1中说明的内容同样。
映射处理部WEB1对预处理电路125输出的图像IMB1进行使用了映射数据MPB1的映射处理,输出映射处理后的图像IMB2。该映射处理与图1的映射处理部WEA1进行的映射处理同样。映射处理部WEB2对预处理电路125输出的图像IMB1进行使用了映射数据MPB2的映射处理,输出映射处理后的图像IMB3。该映射处理是根据被投射体的表面形状来映射图像的处理,但不需要与映射处理部WEB1进行的映射处理相同。即,映射数据和映射处理中的至少一方可以与映射处理部WEB1不同。例如,映射处理部WEB2生成分辨率比图像IMB2低的图像IMB3。并且,也可以省略像素值的插值处理。
比较电路145进行图像IMB2与图像IMB3之间的比较处理,输出其比较结果。该比较结果用于检测图像IMB2的错误。即,用于验证映射数据MPB1以及映射处理部WEB1进行的映射处理是否正常。具体来说,比较电路145求出表示图像IMB2与图像IMB3之间的一致度的指标。该指标相当于后述的形状指标。或者,也可以求出后述的可视性指标作为指标。
寄存器电路170包含比较结果寄存器175,该比较结果寄存器175存储比较电路145输出的比较结果的信息。处理装置200根据经由接口190从比较结果寄存器175读出的比较结果的信息,进行错误检测。通过以上的图像比较和错误检测,实现了投射到被投射体的图像IMB2的错误检测。即,检测是否正常地进行了映射处理部WEB1的映射处理。
接着,对图6的电路装置100的动作进行说明。图7是示意性地示出图6的电路装置100的动作的图。
如图7所示,对基准的映射数据进行映射变换处理而生成映射C,使用基准的映射数据作为映射D。具体来说,图6所示的非易失性存储器210存储基准的映射数据,处理装置200从非易失性存储器210读出基准的映射数据而进行映射变换处理,生成与映射C对应的映射数据MPB1。映射数据MPB1经由接口190输入到映射处理部WEB1。并且,处理装置200将基准的映射数据作为与映射D对应的映射数据MPB2输出。映射数据MPB2经由接口190输入到映射处理部WEB2。
扭曲引擎C与映射处理部WEB1对应,使用映射C对图像IMB1进行映射处理而生成图像IMB2。并且,扭曲引擎D与映射处理部WEB2对应,使用映射D对图像IMB1进行映射处理而生成图像IMB3。该映射处理也可以包含与映射变换处理中的映射的旋转或平行移动对应的图像的旋转变换或平行移动。
由于扭曲引擎C生成显示用的图像IMB2,所以,进行质量比扭曲引擎D高的映射处理。例如,进行与显示的分辨率对应的高分辨率的映射处理。并且,为了确保显示的质量而进行像素值的插值处理。另一方面,由于扭曲引擎D生成错误检测用的图像IMB3,所以,进行比扭曲引擎C简化的映射处理。例如,通过对坐标变换的对象像素进行间疏,生成分辨率比图像IMB2低的图像IMB3。并且,也可以省略像素值的插值处理。
在比较电路145进行的比较处理中,进行图像IMB2的间疏处理,并且进行图像IMB2与IMB3的像素的对位,根据该对位后的图像求出指标。比较电路145的详细结构与图5同样。即,只要在图5中将IMA1、IMA3理解为IMB2、IMB3即可。
在本实施方式中,扭曲引擎D进行与扭曲引擎C相同方向的映射处理,对映射处理后的图像IMB2和IMB3进行比较,求出表示一致度的指标。在映射C和扭曲引擎C没有异常的情况下,由于图像IMB2与IMB3的一致度较高,所以,能够根据指标检测出图像IMB2的错误。另外,由于指标是根据一致度而变化的值,所以,图像IMB2和IMB3也可以不完全一致。即,即使映射C或扭曲引擎C存在微小的异常,只要图像IMB2是用户能够辨认的程度,则也可以判定为无错误。
图8是本实施方式的电路装置的第4结构例。在图8中,电路装置100包含错误检测电路150。并且,寄存器电路170包含错误检测结果寄存器176、动作模式设定寄存器177以及阈值寄存器178。另外,对与已经说明的结构要素相同的结构要素赋予相同的标号,适当省略该结构要素的说明。
比较电路145将图像IMB2与IMB3的比较结果输出到错误检测电路150。错误检测电路150根据其比较结果进行显示用的图像IMB2的错误检测。在比较结果是上述指标的情况下,错误检测电路150通过对指标和阈值进行比较来进行错误检测。
在图8的结构中,与图6的结构同样,通过进行图像IMB2与IMB3的比较,能够根据该比较结果进行投射到被投射体的映射处理后的图像IMB2的错误检测。
以上,以电路装置100将错误检测结果输出到处理装置200的情况为例进行了说明,但电路装置100也可以不将错误检测结果输出到电路装置100的外部,而是只在电路装置100的内部使用错误检测结果。
作为以上说明的图6、图8的电路装置100,可想到对平视显示器进行控制的平视显示器控制器或对显示驱动器进行控制的显示控制器。但是,能够应用本实施方式的方法的电路装置并不限于此。例如,电路装置也可以是包含显示控制器的功能的显示驱动器。在电路装置为平视显示器控制器、显示控制器、显示驱动器的情况下,电路装置例如是集成电路装置(IC)。另外,电路装置也可以包含多个集成电路装置。例如,电路装置包含作为第1集成电路装置的平视显示器控制器和作为第2集成电路装置的处理装置。在该情况下,平视显示器控制器包含比较电路,该比较电路进行图像IMB2与IMB3的比较处理,处理装置包含错误检测电路,该错误检测电路根据从平视显示器控制器接收到的比较结果进行错误检测。
根据以上的实施方式,图像处理电路135进行第1映射处理和第2映射处理,该第1映射处理是根据与被投射体对应的映射数据将所输入的第1图像映射处理成用于投射到被投射体的第2图像,该第2映射处理是根据映射数据,通过与第1映射处理不同的第2映射处理将第1图像变换成第3图像。比较电路145进行第2图像与第3图像之间的比较,将其比较的结果作为用于进行第2图像的错误检测的信息输出。
在图6~图8中,IMB1是第1图像,IMB2是第2图像,IMB3是第3图像。并且,映射处理部WEB1进行的映射处理是第1映射处理,映射处理部WEB2进行的映射处理是第2映射处理。用于进行错误检测的信息是图像IMB2与IMB3的比较结果的信息,例如相当于后述的形状指标或可视性指标,或者相当于形状指标以及可视性指标。
这里,第1、第2映射处理不同是指硬件或算法不同。例如,在图6、图8中,映射处理部WEB1、WEB2也可以由独立的映射处理电路构成。或者,第1、第2映射处理不同是指映射数据和映射处理的内容的至少一方不同。例如,如图7说明的那样,与第1映射处理对应的扭曲引擎C使用的映射C可以是对基准的映射数据进行映射变换处理而得的,与第2映射处理对应的扭曲引擎D使用的映射D可以是基准的映射数据本身。或者,第1映射处理也可以是正向映射和逆向映射中的一方,第2映射处理是另一方。或者,第1、第2映射处理也可以是分辨率不同的映射处理。或者,也可以是,第1映射处理包含插值处理,第2映射处理不包含插值处理。
根据本实施方式,通过第1、第2映射处理将第1图像变换成第2、第3图像。第1、第2映射处理是对第1图像进行同样的变形的相同方向的映射处理。由此,能够对第2图像和第3图像进行比较。如果第2图像与第3图像的一致度较高,则能够判断为第2图像无错误。这样,例如能够检测出平视显示器等的投射到被投射体的图像是否为适当的显示内容。并且,由于第2映射处理是与第1映射处理不同的映射处理,所以,能够避免在第1、第2映射处理中出现相同的异常,能够提高错误的检测精度。
并且,在本实施方式中,比较电路145根据第2图像的像素值和第3图像的像素值,或者根据第2图像的边缘图像的像素值和第3图像的边缘图像的像素值,求出表示第2图像与第3图像之间的一致度的指标作为比较的结果。
由此,能够根据表示第2图像与第3图像之间的一致度的指标进行第2图像的错误检测,而不是CRC那样的以位为单位的错误检测。如果在该处理中没有检测到错误,则能够判断为正常地进行了映射处理,因此,能够检测出通过映射处理生成的第2图像的错误。例如,在车载的平视显示器等中显示用于提示给用户的图标等。根据本实施方式,这种图标不会因1位错误等而停止显示,在能够正确地识别出形状的情况下提示给用户。
并且,在本实施方式中,图像处理电路135使用根据与被投射体对应的映射数据生成的第1映射数据进行第1映射处理,使用作为映射数据的第2映射数据进行第2映射处理。
在图6~图8中,与被投射体对应的映射数据是存储于非易失性存储器210的映射数据。第1映射数据是映射数据MPB1,是通过映射变换处理而生成的映射C的数据。第2映射数据是映射数据MPB2,是作为从非易失性存储器210读出的映射数据的映射D的数据。
根据本实施方式,直接使用成为基准的映射数据作为第2映射数据,生成作为比较用图像的第3图像。由此,根据第3图像与第2图像的比较结果,能够判断出使用了第1映射数据的第1映射处理是否正常。
并且,在本实施方式中,图像处理电路135生成分辨率比第1图像低的第3图像。比较电路145对第2图像进行与第3图像的分辨率对应的低分辨率化,对第3图像和低分辨率化后的第2图像进行比较。
在将图5的结构应用于图6、图8的比较电路145的情况下,像素布置处理部146对第2图像进行与第3图像的分辨率对应的低分辨率化,指标取得部147对第3图像和低分辨率化后的第2图像进行比较而取得指标。
根据本实施方式,通过使作为比较用图像的第3图像成为低分辨率,能够使生成第3图像的第2映射处理成为低分辨率的映射处理。由此,能够减轻第2映射处理的处理负荷,或者减小进行第2映射处理的硬件的电路规模。并且,通过对第2图像进行与第3图像的分辨率对应的低分辨率化,能够对第3图像和第2图像进行比较。
3.比较处理、错误检测处理
以下,对比较电路145进行的比较处理和错误检测电路150进行的错误检测处理进行说明。这里,以在比较处理中取得指标的情况为例进行说明,将比较处理称为指标取得处理。但是,比较处理不限于此,能够使用各种图像比较。
在将内容显示于显示器的图像处理系统中,有时需要确认图像的规定区域与初始的意图是否一致。例如,考虑在汽车用系统的集群显示器中显示重要的图像的情况。集群显示器是仪表面板的显示器。此时,需要借助与显示于画面的现有内容重叠的可见图像来显示规定的重要信息。以下,说明用于检测图像是否正确地显示的几个方法。检测是通过以下方式进行的:对关注区域进行分析,导出表示该区域正确地显示的程度的几个主要指标。在本实施方式中,关注区域是图像整体,但也可以将图像的一部分区域设为关注区域。以下,将关注区域还称为ROI(Region Of Interest)。
以下,将作为分析对象的图像称为分析图像,将作为分析基准的图像称为基准图像。在图1和图4中,图像IMA3是分析图像,图像IMA1是基准图像。在图6和图8中,图像IMB2是分析图像,图像IMB3是基准图像。另外,由于比较处理是两个图像的相互比较,所以,也可以调换分析图像和基准图像。
3.1.形状指标(第1指标)的第1运算方法
形状指标是表示关注区域中的分析图像与基准图像的形状是否一致的指标。以下,对形状指标的运算方法进行说明。
图9是分析图像的第1例。A1是关注区域,A2是图标。另外,表示关注区域的虚线实际上在显示图像中未描绘。并且,这里将关注区域作为分析图像的一部分,但关注区域也可以是分析图像整体。
首先,对分析图像的ROI的像素块进行平均化,以使最终的平均图像为m×n像素。该下采样处理是为了不会将少量的像素错误检测为重要错误而进行的,忽略这些错误,确认基准图像和分析图像的整体形状。想要忽略的错误例如是色移、轻微的失真等。为了得到完全的一致,可以提高下采样后的图像的分辨率。m×n的值能够根据用途来选择。在如下述那样与基准图像关联使用的情况下,根据采样数据观测来选择m×n的值。
在分析图像的关注区域为u×v像素的情况下,平均化块大小是u/m×v/n像素。在无法利用基准背景信息的情况下,将不存在基准像素的部分的分析图像的像素删除。这相当于基准前景掩蔽。这是因为需要在基准图像与分析图像之间对背景像素进行基线化(对齐、成为同等条件)。基线化是对齐或成为同等条件。因此,背景像素的值在分析图像和基准图像双方中设定为相同的值。
基准图像的平均化也以成为m×n像素的方式进行。对各通道分别进行平均化。图10是基准图像的例子。作为基准图像RIA的图标的前景F1被着色,作为图标以外的区域的背景为无色,例如黑色等。在图10中,基准图像RIA的尺寸为256×256像素。图11是基准图像的平均图像。在图11中,m=n=16,平均图像SRef的尺寸为16×16像素。在该基准图像及其平均图像的背景为无色的情况下,分析图像的关注区域也可以将背景变换为无色,从而求出该关注区域的平均图像。例如,也可以通过将背景删除而将背景变换为无色。
接着,使用距离基准,按照每个像素对基准图像的平均图像(SRef m×n)和分析图像的关注区域的平均图像(SAnz m×n)进行比较,如下式(1)那样求出距离D。距离D是三维距离。在本实施方式中,距离基准是笛卡尔距离的平方,即使是其他距离基准,也能够获得同样的参数。
c表示通道,x表示平均图像中的横向的像素位置,y表示平均图像中的纵向的像素位置。横向也称为水平方向,纵向也称为垂直方向。m、n是平均图像的尺寸。Rxyc表示通道c中的基准图像的平均图像的位置(x,y)处的像素值。R'c表示通道c中的Rxy像素的平均值。Rxy像素的平均值是在平均图像内对Rxyc进行平均而得的。Axyc表示通道c中的分析图像的平均图像的位置(x,y)处的像素值。A'c表示通道c中的Axy像素的平均值。Axy像素的平均值是在平均图像内对Axyc进行平均而得的。
在各通道中减去平均值的理由是不将基准图像与分析图像之间的小色移视为错误。在要求完全一致的情况下,能够将平均值设定为0。在该情况下,根据距离基准来检查形状和颜色的一致。
形状指标S是通过下式(2)、(3)根据距离参数导出的。形状指标S也称为形状参数。T是阈值,可以采用任意的值。在D<T的情况下T/D=1,形状指标S无变化。
D=T if D<T (3)
以容易安装到硬件的方式选择函数f。例如,函数f也可以是将范围0~1缩放到0~k的尺度函数K。在以下所记载的例子中,函数f是单位函数。即,S=T/D。形状指标S表示基准图像与分析图像之间的形状的一致度。在图像不一致的情况下,该值减小,有变成0的趋势。下面,叙述该例子。
在图9中,基准图像的图标正确地显示在分析图像中。在该情况下,形状指标为S=1,在图9中表示为Shape:1.000。
图12是分析图像的第2例。B1表示关注区域。如图12的B2所示,基准图像的图标在分析图像中不清晰。即,基准像素的一些像素在分析图像中不存在,在函数f为单位函数的情况下,形状指标S小于1。在这种不清晰的前景的情况下,形状指标为较小的值。另外,后述的可视性指标也是较小的值。
图13是分析图像的第3例。E1表示关注区域。如图13的E2所示,基准图像的图标在分析图像中是旋转的。在该例中,由于形状从基准起进行旋转,所以,在函数f为单位函数的情况下形状指标S小于1。在前景以这种方式旋转的情况下,形状指标是较小的值。另外,后述的可视性指标是较大的值。在后面对可视性指标进行叙述,通过将可视性指标和形状指标组合起来,能够在各种前景的状态下进行适当的错误检测,能够提高错误检测的精度。
上述的形状指标仅检查基础信号的一致。在可视性较低的图像的情况下,将边缘检测内核与分析图像的关注区域以及基准图像一起进行卷积而生成一阶梯度图像,之后,能够通过形状运算算法求出参数。边缘检测内核例如是Laplacian或Sobel等。根据所求出的参数,能够将基于形状指标而得到的误检测去除。由此,在可视性较低的图像的情况下也能够得到正确的错误检测结果。
3.2.形状指标的第2运算方法
图14是分析图像的第4例。在图14中,在仪表盘图像DIM上重叠有图标ICA。图标图像按照某种透过率与仪表盘图像混合。
在本实施方式中,使用边缘检测技术检测关注区域中的分析图像和基准图像的边缘。边缘检测技术例如是使用了索贝尔边缘检测卷积算子的边缘检测技术。
图15是关注区域中的分析图像的例子。图像CIB是在仪表盘图像DIM中混合了基准图像ICB的关注区域的图像。在图标部分中,通过混合而透过看到仪表盘图像DIM。另外,在无错误的情况下,希望关注区域中的基准图像是与图15同样的图像。
图16是根据分析图像计算出的边缘值的例子。ECIB是图15的图像CIB的边缘图像。由于图示的原因,将边缘用黑线和灰线示出,但实际上边缘的强度可以用灰度示出。白色表示高强度的边缘,黑色表示无边缘。对亮度通道进行该边缘检测。同样,也对颜色通道或在YCbCr那样的颜色空间中进行边缘检测。另外,在无错误的情况下,希望关注区域中的基准图像的边缘图像是与图16同样的图像。
前景区域和背景区域的边缘是针对基准图像和分析图像计算出的,形状指标是如下式(4)~(15)所示通过计算相似量而算出的。下式(15)的Match是形状指标。形状指标也称为符合值。以下,将基准图像设为m×n像素的尺寸,将显示图像的关注区域也设为m×n像素。
下式(4)是水平索贝尔核,即,是检测水平方向的边缘的索贝尔滤波器的算子。下式(5)是垂直索贝尔核,即,是检测垂直方向的边缘的索贝尔滤波器的算子。
如下式(6)~(11)所示,对基准图像和显示图像的关注区域中的各像素位置计算边缘值。“*”是卷积算子。N是用于将值保持在0与1之间的归一化系数,这里,N=4。IRef是基准图像的亮度(Y)通道。IRef(x,y)是基准图像的亮度通道的位置x、y的像素。x是0<x≦m的整数,y是0<y≦n的整数。IRen是关注区域中的显示图像的亮度通道。IRen(x,y)是以关注区域中的显示图像的亮度通道的位置x、y为中心的3×3像素。
E1H(x,y)=FH*IRef(x,y) (7)
E1V(x,y)=FV*IRef(x,y) (8)
E2H(x,y)=FH*IRen(x,y) (10)
E2V(x,y)=FV*IRen(x,y) (11)
如下式(12)~(15)所示,根据上述的边缘值求出形状指标Match(符合值)。“·”表示内积算子。
当将上述的运算应用于图15、图16时,例如,Match=0.78。
在要求不对背景进行分析而计算符合值的情况下,使用下式(16)~(21)所示的计算。
M(x,y)是1。另外,M(x,y)也可以是定义要对哪些像素进行比较的掩模像素。该掩模可以通过将不进行比较的像素定义为0、将进行比较的像素定义为1的单纯的1位掩模来实现。例如,在想要仅对图标进行比较等只对关注区域的一部分进行图像比较的情况下,只要设定与其对应的掩模即可。
根据以上的实施方式,比较电路145根据分析图像的像素值和基准图像的像素值,或者根据分析图像的边缘图像的像素值和基准图像的边缘图像的像素值,求出表示分析图像与基准图像的一致度的指标。错误检测电路150根据该指标进行显示图像的错误检测。
这样,能够根据表示分析图像与基准图像之间的一致度的指标来进行分析图像的错误检测,而不是根据CRC那样的以位为单位的错误检测。在分析图像与基准图像的一致度较高的情况下,很可能在视觉上将该分析图像看作与基准图像相同的形状。即,根据本方法,能够在分析图像的形状没有被正确地显示的情况下判断为错误。并且,如果在分析图像中没有检测到错误,则能够判断为正常地进行了映射处理,因此,通过进行分析图像的错误检测,能够检测出投射到被投射体的图像的错误。
这里,上式(2)~(4)所示的第1运算方法与根据分析图像的像素值和基准图像的像素值求出指标(S)的情况对应。并且,上式(5)~(21)所示的第2运算方法与根据分析图像的边缘图像的像素值和基准图像的边缘图像的像素值求出指标(Match)的情况对应。边缘图像的像素值与上式(6)、(9)、(16)、(17)的边缘量对应。
并且,一致度例如是图标、文字、图形、标记等(以下称为图标等)的形状的一致程度。更具体来说,是图标等的轮廓和朝向的一致程度。并且,还可以包含图标等的轮廓的内侧状态(例如轮廓的内侧是否被填充等状态)的一致程度。例如,前景图像与背景图像的一致度越高,则表示一致度的指标的值越大。
并且,在本实施方式中,如上式(2)、(3)所示,比较电路145根据将给定的阈值(T)除以距离信息(D)而得的值,求出指标(S)。
由于形状的一致度越高,距离(D)越小,所以,通过将给定的阈值除以距离信息,能够求出形状的一致度越高则值越大的指标(S)。
并且,在本实施方式中,比较电路145进行分析图像的边缘图像的像素值与基准图像的边缘图像的像素值的积和运算(上式(12)),根据该积和运算的结果求出指标(上式(15))。
边缘图像是边缘量被定义为各像素的像素值的图像。在形状一致的情况下,当以相同的像素对分析图像的边缘图像和基准图像的边缘图像进行比较时,应该是相同(包括大致相同)的边缘量。相反地,在形状不一致的情况下,由于边缘的位置在分析图像和基准图像中不一致,所以,即使例如在分析图像的边缘图像中存在较大的边缘量,在基准图像的边缘图像的相同像素中边缘量也会变为零。因此,在求出相同像素彼此的边缘量的积和时,在形状一致的情况下,积和的结果是较大的值,在形状不一致的情况下,积和的结果是较小的值。因此,通过使用边缘量的积和运算,能够适当评价形状的一致度。
这里,在上式(12)中,积和的“积”是矢量的内积,但“积”不限于此。例如在边缘量由标量定义的情况下,“积”是标量彼此的乘积。
3.3.求出可视性指标(第2指标)的第1运算方法
在可视性指标的运算中,也与形状指标的运算同样地使用分析图像和基准图像的术语。在图1、图4中,图像IMA3是分析图像,图像IMA1是基准图像。在图6、图8中,图像IMB2是分析图像,图像IMB3是基准图像。另外,由于比较处理是两个图像之间的相互比较,所以,也可以交换分析图像和基准图像。
图17是关注区域中的YCbCr的各通道的直方图。并且,图18是对分析图像和基准图像的直方图进行互相关运算而得到的互相关值。
如图17所示,对YCbCr图像的各通道使用n个二进制来求出直方图。例如,可以使用256个二进制来生成具有不同的二进制组的直方图。
在直方图中,对关注区域中出现特定的值的次数进行计数。即,针对YCbCr图像的各通道,在关注区域内对具有各二进制所示的值的像素的数量进行计数。接着,将直方图归一化为0~a之间的值。可以考虑到安装的容易性来选择值“a”。例如能够将a设定为1或255等。在图17中,a=1。接着,在各通道中对分析图像和基准图像的直方图进行互相关运算。然后,在之后的分析中使用该互相关信号。如图18所示,对互相关信号进行归一化,以使零延迟时的峰值为1或预先设定的值。
互相关值是通过下式(22)求出的。f、g表示进行相关运算的函数。f、g的一方是分析图像的直方图,f、g的另一方是基准图像的直方图。f*g表示函数f与函数g的相关运算。f*表示函数f的复共轭,在本实施方式中f*=f。m表示直方图的二进制数的编号。n表示延迟(lag),在图18中n是-255~+255的整数。
另外,在图17的直方图中,由于256个二进制被归一化为0~1之间,所以,横轴为0~1。由于图18的相关值是以1个二进制为单位改变延迟而求出的,因此,横轴为-(256-1)~+(256-1)。
如图18所示,当在关注区域中存在双色的图像的情况下,通过相关运算来获得边带。从出现上述波峰的中心开始的延迟的距离表示颜色之间的对比度。中心与零延迟对应。人的眼睛能够通过对比度来识别图像的特征,所以,对3个通道的所有波峰进行检查。对比度例如是亮度对比度或颜色对比度。在图18中,Y通道用虚线表示,Cb通道用细实线表示,Cr通道用粗实线表示。检查是通过如下方式进行的:以使得不拾取互相关信号的噪声的方式,设定波峰搜索的阈值。例如,将最小波峰阈值设定为0.05。搜索信号中的波峰以求出局部最大值。要搜索的波峰是具有比阈值大的峰值的波峰。
另外,为了避开波段内的信号波峰,也可以将连续波峰之间的最小距离设定为规定值。这些阈值是可调节的值,根据用途进行选择。
为了求出表示可识别的图像是否显示在两种颜色以上的背景上的可视性指标,在对所有通道求出超过噪声阈值的互相关信号的所有波峰之后,求出出现波峰的最大距离即最大延迟。将在3个通道中出现波峰的延迟中的最大值选择为表示可视性的指标。
在图18所示的相关图中,用圆圈表示波峰。在图示的例子中,Cr通道表示最大的分离,距离为184。将上述值归一化为可设想的最大延迟。例如,可设想的最大延迟是直方图的二进制的个数256。因此,指标值是184/255=0.722。在图9所述的图像中,用Vis参数表示上述指标值。针对一个例子示出了上述运算。
在图9中,作为黑色所示的部分的图标A2的内部为红色,作为白色所示的部分的背景为绿色。
在图9的图像中,由于在关注区域内存在红色和绿色这两种颜色的像素组,所以,在图17所示的直方图中,在YCbCr的各通道中出现两个大小不同的波峰。例如,在Cr通道中,波峰出现在二进制Ba、Bb处。该两个波峰之间的距离表示作为图标的前景图标的颜色与背景的颜色之间的对比度,距离越大,则前景与背景的颜色差异越大。直方图中的两个波峰之间的距离是在图18所示的互相关值中出现波峰的延迟的距离。在图9的图像中,由于作为图标的前景图标为红色,背景为绿色,所以,在图17所示的直方图中,Cr通道的两个波峰之间的距离为最大距离,该距离是|Ba-Bb|×255。这被检测为在互相关值中出现波峰的最大距离,归一化的指标值是|Ba-Bb|。因此,作为图标的前景图标的颜色与背景的颜色之间的对比度越大,则可视性的指标值也越大。
错误检测电路150根据如上述那样求出的可视性指标进行错误检测。例如,对可视性指标和给定的阈值进行比较,在可视性指标比给定的阈值小的情况下判定为错误。或者,也可以将可视性指标作为错误检测结果输出到电路装置100的外部。
3.4.求出可视性指标的第2~第4运算方法
在第2运算方法中,对在互相关信号中是否存在超过规定阈值的波峰进行调查,代替求出互相关信号的波峰距中心点的距离。在存在这样的波峰的情况下,在考虑像素的分布时,基准图像和分析图像在很大程度上一致。由此,能够对分析图像进行第1级的错误检测。该参数不表示空间的相关性,只表示像素分布相关性。该情况下的指标可以是峰值本身,而不是波峰距中心点的距离。
图19是分析图像和基准图像的直方图的例子。图20是图19的直方图的互相关值的例子。这里,对彩色图像的1个通道进行说明,但对多个通道进行同样的处理。例如,只要采用多个通道的互相关值的波峰中的最大峰值即可。
如图19所示,在分析图像和基准图像的直方图中出现了3个以上的波峰。在图19的例子中出现了4个波峰。分析图像的直方图的波峰与基准图像的直方图的波峰错开了Bn。在该情况下,如图20所示,在互相关值的延迟Bn处出现了较大的波峰。在该波峰的峰值比阈值Thr大的情况下,例如,采用该峰值作为可视性的指标值。
在第3运算方法中,求出前景和背景的对比度之比作为可视性的指标值。
在第1运算方法中,将在Cr通道的直方图中出现波峰的二进制Ba、Bb之间的差分|Ba-Bb|用作可视性的指标值。
在第3运算方法中,求出对比度之比|Ba-Bb|/Ba或|Ba-Bb|/Bb,将其设为可视性的指标值。或者,在使用第2运算方法的基准图像的情况下,求出分析图像中的C1=|Ba-Bb|和基准图像中的C2=|Ba-Bb|,求出对比度之比C1/C2或C2/C1,将其设为可视性的指标值。
在第4运算方法中,生成多维直方图以求出可视性指标。
在第1运算方法中,在可视性的分析中使用各通道的一维直方图。
另一方面,在第4运算方法中,根据多个通道的信号生成多维直方图,对该多维直方图进行多维相关运算而求出可视性指标。多维相关运算是多维互相关运算。由此,可能能够更好地模拟出基于人眼的对比度检测。通过使用3D颜色直方图,有时可获得更好的性能。
根据以上的实施方式,比较电路145根据分析图像和基准图像的像素值,统计性地求出指标。
统计性地求出指标是指:将分析图像中所包含的多个像素值设为第1统计的总体,将基准图像中所包含的多个像素值设为第2统计的总体,通过使用了统计方法的处理求出指标。具体来说,根据分析图像和基准图像分别生成直方图,根据这些直方图求出指标。
根据本实施方式,通过统计性地求出指标,能够求出表示前景图像与背景图像之间的不相似度的指标。即,不用像CRC那样检测数据的缺陷,而是通过统计的方法评价前景图像与背景图像之间的不相似度,根据该不相似度来确定是否判定为错误。
并且,在本实施方式中,比较电路145求出分析图像和基准图像的像素值的直方图,进行使用了该直方图的相关运算。在上述的例子中,像素值是YCbCr的像素值。比较电路145根据相关运算的结果求出可视性指标,该可视性指标表示前景图像与背景图像之间的不相似度,该前景图像是分析图像中的关注区域的图像,该背景图像相当于分析图像中的前景图像的背景。错误检测电路150根据该指标进行错误检测。
在前景图像与背景图像的不相似度较高的情况下,可能无法在视觉上区分该前景图像和背景图像,因此,可认为前景图像的可视性较高。即,根据本方法,能够在前景图像的可视性较低的情况下判断为错误。例如在车载的仪表面板等中显示用于警告用户的图标等。根据本实施方式,这种图标不会因1位错误等而停止显示,而在确保可视性的情况下尽可能地进行显示,从而对用户进行警告。
这里,前景图像是分析图像中的想要通过指标判定与背景图像的不相似度的区域的图像。并且,该区域是给定的区域。并且,背景图像是除前景图像之外的显示图像的一部分或全部。即,将包含前景图像的区域(关注区域)设定为显示图像的一部分或全部,该关注区域中的除前景图像之外的区域的图像是背景图像。
并且,不相似度是作为颜色空间的结构成分的各成分中的不相似的程度。结构成分也称为通道。例如,在YCbCr空间中,不相似度是这样的程度:表示前景图像的亮度与背景图像的亮度之间的差异、或前景图像的颜色与背景图像的颜色之间的差异处于哪种程度。或者,在RGB空间中,是这样的程度:表示前景图像的颜色与背景图像的颜色之间的差异处于哪种程度。
并且,在本实施方式中,比较电路145求出颜色空间的结构成分的各成分的直方图,对各成分的直方图进行互相关运算,针对各成分求出出现互相关的波峰的距离,根据所求出的距离中的最大距离求出指标。最大距离在图18中是|Ba-Bb|,这里的指标是可视性指标。
这样,能够通过颜色空间的结构成分的各成分中的、在前景图像和背景图像中差异最大的成分求出指标。由于在前景图像和背景图像中差异最大的成分可认为在视觉上可看到最大差异,所以,利用该成分求出指标,从而能够评价背景与前景的不相似度。并且,通过使用该指标,能够适当地评价前景的可视性。
这里,指标是根据最大距离|Ba-Bb|求出的值即可。例如,在第1运算方法中,指标是最大距离|Ba-Bb|本身。并且,在第2运算方法中,指标是基于最大距离|Ba-Bb|的对比度之比。对比度之比例如是|Ba-Bb|/Ba等。
并且,在本实施方式中,如在图19和图20中说明的那样,比较电路145根据分析图像求出颜色空间的结构成分的各成分的第1直方图作为直方图,根据基准图像求出各成分的第2直方图。比较电路145对各成分进行第1直方图与第2直方图的互相关运算,根据互相关的波峰的峰值求出指标。
这样,即使在分析图像和基准图像是包含两种颜色以上的颜色的多种色调的情况下,也能够求出表示前景图像与背景图像之间的不相似度的指标。即,在基准图像的直方图中出现了两个以上的波峰,但在分析图像的直方图中包含有与该直方图相同的模式(pattern)的情况下,在分析图像中包含有至少在颜色或亮度的模式中与基准图像类似的图像。在该情况下,由于在互相关运算的结果中应该出现较大的波峰,所以,通过利用该峰值求出指标,能够适当地评价前景的可视性。
并且,在本实施方式中,比较电路145求出作为第1指标的形状指标和作为第2指标的可视性指标。错误检测电路150根据第1指标和第2指标进行错误检测。
这样,能够将两个指标组合起来而进行投影图像的错误检测,这两个指标是通过对相互不同的性质进行评价而获得的。即,能够通过将可视性指标和形状指标组合起来而更高精度地进行投影图像的错误检测,其中,该可视性指标表示分析图像与基准图像之间的亮度或颜色的不相似度,该形状指标表示分析图像与基准图像之间的形状的一致度。
4.电子设备
图21是包含本实施方式的电路装置的电子设备的结构例。电子设备300包含处理装置310、电路装置320、投影装置380、存储装置350、操作装置360以及通信装置370。处理装置310例如是MCU等。电路装置320与图1、图4、图6、图8的电路装置100对应,例如是平视显示器控制器或显示控制器。
投影装置380包含显示驱动器330、显示面板340、光源335以及镜头345。显示驱动器330对显示面板340进行驱动而使图像进行显示。光源335向显示面板340输出投影用的光,经过了显示面板340或从显示面板340反射的光入射到镜头345。镜头345使图像在被投射体上成像。
处理装置310将存储于存储装置350的图像数据或由通信装置370接收的图像数据传送给电路装置320。电路装置320对图像数据进行图像处理、显示时刻控制、传送给显示驱动器的图像数据的错误检测处理等。在错误检测处理中,进行可视性指标或形状指标的计算、基于这些指标的错误检测。显示驱动器330根据从电路装置320传送的图像数据和电路装置320的显示时刻控制,对显示面板340进行驱动而使图像进行显示。显示面板340例如是液晶显示面板。存储装置350例如是存储器、硬盘驱动器、光盘驱动器等。操作装置360是用于供用户操作电子设备300的装置,例如是按钮、触摸面板、键盘等。通信装置370例如是进行有线通信的装置或进行无线通信的装置。有线通信例如是LAN或USB等。无线通信例如是无线LAN或近距离无线通信等。
在图21中,以电子设备是平视显示器的情况为例进行了说明,但包含本实施方式的电路装置的电子设备不限于此。作为包含本实施方式的电路装置的电子设备,例如可想到头戴显示器或投影仪等将图像投射到被投射体的各种设备。电子设备的结构不限于图21,能够根据用途采用各种结构。例如,在车载用电子设备中,将电路装置320、投影装置380和操作装置360组装到仪表面板中,将处理装置310、存储装置350和通信装置370组装到ECU(Electronic Control Unit)中。在该情况下,仪表面板相当于包含本实施方式的电路装置的电子设备。
另外,如上述那样对本实施方式进行了详细说明,但本领域技术人员应当能够容易地理解,可以实施不实质上脱离本发明的新事项和效果的多个变形。因此,这样的变形例全部包含在本发明的范围内。例如,在说明书或附图中至少有一次与更广义或同义的不同用语一起记载的用语也能够在说明书或附图的任意位置处置换为该不同用语。并且,本实施方式和变形例的全部组合也包含在本发明的范围内。并且,电路装置、电子设备的结构/动作等也不限于本实施方式说明的情况,能够实施各种变形。
Claims (13)
1.一种电路装置,其特征在于,该电路装置包含:
图像处理电路,其进行第1映射处理和第2映射处理,该第1映射处理是将所输入的第1图像映射处理成用于投射到被投射体的第2图像,该第2映射处理是通过所述第1映射处理的逆映射处理将所述第2图像变换成第3图像;以及
比较电路,其进行所述第1图像与所述第3图像之间的比较,将所述比较的结果作为用于进行所述第2图像的错误检测的信息输出。
2.根据权利要求1所述的电路装置,其特征在于,
所述比较电路根据所述第1图像的像素值和所述第3图像的像素值,或者根据所述第1图像的边缘图像的像素值和所述第3图像的边缘图像的像素值,求出表示所述第1图像与所述第3图像之间的一致度的指标作为所述比较的结果。
3.根据权利要求1或2所述的电路装置,其特征在于,
所述图像处理电路使用根据与所述被投射体对应的映射数据生成的第1映射数据进行所述第1映射处理,使用作为所述映射数据的第2映射数据进行所述第2映射处理。
4.一种电路装置,其特征在于,该电路装置包含:
图像处理电路,其进行第1映射处理和第2映射处理,该第1映射处理是根据与被投射体对应的映射数据,将所输入的第1图像映射处理成用于投射到所述被投射体的第2图像,该第2映射处理是根据所述映射数据,通过与所述第1映射处理不同的第2映射处理将所述第1图像变换成第3图像;以及
比较电路,其进行所述第2图像与所述第3图像之间的比较,将所述比较的结果作为用于进行所述第2图像的错误检测的信息输出。
5.根据权利要求4所述的电路装置,其特征在于,
所述比较电路根据所述第2图像的像素值和所述第3图像的像素值,或者根据所述第2图像的边缘图像的像素值和所述第3图像的边缘图像的像素值,求出表示所述第2图像与所述第3图像之间的一致度的指标作为所述比较的结果。
6.根据权利要求4或5所述的电路装置,其特征在于,
所述图像处理电路使用根据所述映射数据生成的第1映射数据进行所述第1映射处理,使用作为所述映射数据的第2映射数据进行所述第2映射处理。
7.根据权利要求4~6中的任意一项所述的电路装置,其特征在于,
所述图像处理电路生成分辨率比所述第1图像低的所述第3图像,
所述比较电路对所述第2图像进行与所述第3图像的分辨率对应的低分辨率化,对所述第3图像和所述低分辨率化后的所述第2图像进行比较。
8.根据权利要求1~7中的任意一项所述的电路装置,其特征在于,
该电路装置包含错误检测电路,该错误检测电路根据所述比较的结果进行所述第2图像的错误检测。
9.根据权利要求8所述的电路装置,其特征在于,
该电路装置包含动作模式设定寄存器,在该动作模式设定寄存器中设定有由所述错误检测电路判定为错误时的电路装置的动作模式。
10.根据权利要求9所述的电路装置,其特征在于,
在所述动作模式设定寄存器中设定有向所述电路装置的外部装置通知所述错误检测的结果的模式、不显示所述第2图像的模式、或显示特定图像的模式作为所述动作模式。
11.根据权利要求8~10中的任意一项所述的电路装置,其特征在于,
所述错误检测电路通过所述比较的结果与用于判定所述第2图像的错误的阈值的比较来进行所述错误检测。
12.根据权利要求11所述的电路装置,其特征在于,
该电路装置包含阈值寄存器,在该阈值寄存器中设定有所述阈值。
13.一种电子设备,其特征在于,该电子设备包含权利要求1~12中的任意一项所述的电路装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-034613 | 2018-02-28 | ||
JP2018034613A JP7180079B2 (ja) | 2018-02-28 | 2018-02-28 | 回路装置及び電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110211518A true CN110211518A (zh) | 2019-09-06 |
CN110211518B CN110211518B (zh) | 2023-06-06 |
Family
ID=65686679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910146701.9A Active CN110211518B (zh) | 2018-02-28 | 2019-02-27 | 电路装置和电子设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11055833B2 (zh) |
EP (1) | EP3534331B1 (zh) |
JP (1) | JP7180079B2 (zh) |
CN (1) | CN110211518B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110798661A (zh) * | 2019-10-16 | 2020-02-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器非等角符号完整性监控系统及监控方法 |
CN113467083A (zh) * | 2020-03-31 | 2021-10-01 | 拉碧斯半导体株式会社 | 图像失真校正电路和显示装置 |
CN115775508A (zh) * | 2021-09-06 | 2023-03-10 | 精工爱普生株式会社 | 控制系统和电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020027176A (ja) * | 2018-08-10 | 2020-02-20 | セイコーエプソン株式会社 | 回路装置、表示制御システム、電子機器及び移動体 |
EP4173289A4 (en) * | 2020-06-24 | 2023-12-27 | Beijing Dajia Internet Information Technology Co., Ltd. | METHOD AND DEVICE FOR PREDICTION-DEPENDENT RESIDUAL SCALING FOR VIDEO CODING |
CN112233158B (zh) * | 2020-10-14 | 2022-02-15 | 俐玛精密测量技术(苏州)有限公司 | 微纳米ct投影图像的二次投影配准方法 |
DE102021113572A1 (de) * | 2021-05-26 | 2022-12-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Betreiben eines Frontscheiben-Anzeigesystems |
JP2023057564A (ja) | 2021-10-12 | 2023-04-24 | セイコーエプソン株式会社 | 回路装置及びヘッドアップディスプレイ装置 |
JP2023108821A (ja) | 2022-01-26 | 2023-08-07 | セイコーエプソン株式会社 | 回路装置及びヘッドアップディスプレイ装置 |
CN118805372A (zh) * | 2022-03-09 | 2024-10-18 | 株式会社索思未来 | 显示控制装置、显示系统及显示控制方法 |
JP2024017215A (ja) * | 2022-07-27 | 2024-02-08 | セイコーエプソン株式会社 | 表示制御システム及び移動体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1207229A (zh) * | 1996-10-31 | 1999-02-03 | 株式会社东芝 | 图像编码装置及图像解码装置 |
WO2001057836A1 (fr) * | 2000-02-04 | 2001-08-09 | Hitachi, Ltd. | Procede de projection d'images, appareil de projection d'images et circuit de commande associe |
US7092018B1 (en) * | 1999-10-27 | 2006-08-15 | Sanyo Electric Co., Ltd. | Image signal processor and deficient pixel detection method |
US20060221304A1 (en) * | 2005-03-15 | 2006-10-05 | Niranjan Damera-Venkata | Projection of overlapping single-color sub-frames onto a surface |
WO2007072695A1 (ja) * | 2005-12-22 | 2007-06-28 | Matsushita Electric Industrial Co., Ltd. | 画像投射装置 |
US20140035596A1 (en) * | 2012-08-01 | 2014-02-06 | Samsung Electronics Co., Ltd. | Display apparatus and method for detecting error from voltage thereof |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5848199A (en) | 1996-05-31 | 1998-12-08 | Hewlett Packard Company | Apparatus and method for performing fast and precise spatial transformations of images |
JP4742898B2 (ja) * | 2006-02-15 | 2011-08-10 | セイコーエプソン株式会社 | 画像処理方法、画像処理プログラム、記録媒体、及びプロジェクタ |
US7835592B2 (en) | 2006-10-17 | 2010-11-16 | Seiko Epson Corporation | Calibration technique for heads up display system |
MX2014003556A (es) * | 2011-09-27 | 2014-05-28 | Koninkl Philips Nv | Aparato y metodo para transformacion de intervalo dinamico de imagenes. |
US9407896B2 (en) * | 2014-03-24 | 2016-08-02 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions |
US20190213071A1 (en) | 2016-08-15 | 2019-07-11 | Seiko Epson Corporation | Circuit device, electronic apparatus and error detection method |
RU2661760C1 (ru) * | 2017-08-25 | 2018-07-19 | Общество с ограниченной ответственностью "Аби Продакшн" | Использование нескольких камер для выполнения оптического распознавания символов |
-
2018
- 2018-02-28 JP JP2018034613A patent/JP7180079B2/ja active Active
- 2018-09-12 US US16/129,054 patent/US11055833B2/en active Active
-
2019
- 2019-02-26 EP EP19159375.5A patent/EP3534331B1/en active Active
- 2019-02-27 CN CN201910146701.9A patent/CN110211518B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1207229A (zh) * | 1996-10-31 | 1999-02-03 | 株式会社东芝 | 图像编码装置及图像解码装置 |
US7092018B1 (en) * | 1999-10-27 | 2006-08-15 | Sanyo Electric Co., Ltd. | Image signal processor and deficient pixel detection method |
WO2001057836A1 (fr) * | 2000-02-04 | 2001-08-09 | Hitachi, Ltd. | Procede de projection d'images, appareil de projection d'images et circuit de commande associe |
US20060221304A1 (en) * | 2005-03-15 | 2006-10-05 | Niranjan Damera-Venkata | Projection of overlapping single-color sub-frames onto a surface |
WO2007072695A1 (ja) * | 2005-12-22 | 2007-06-28 | Matsushita Electric Industrial Co., Ltd. | 画像投射装置 |
US20140035596A1 (en) * | 2012-08-01 | 2014-02-06 | Samsung Electronics Co., Ltd. | Display apparatus and method for detecting error from voltage thereof |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110798661A (zh) * | 2019-10-16 | 2020-02-14 | 中国航空工业集团公司洛阳电光设备研究所 | 一种平视显示器非等角符号完整性监控系统及监控方法 |
CN113467083A (zh) * | 2020-03-31 | 2021-10-01 | 拉碧斯半导体株式会社 | 图像失真校正电路和显示装置 |
CN115775508A (zh) * | 2021-09-06 | 2023-03-10 | 精工爱普生株式会社 | 控制系统和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20190266711A1 (en) | 2019-08-29 |
CN110211518B (zh) | 2023-06-06 |
EP3534331A1 (en) | 2019-09-04 |
JP7180079B2 (ja) | 2022-11-30 |
US11055833B2 (en) | 2021-07-06 |
JP2019149760A (ja) | 2019-09-05 |
EP3534331B1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110211518A (zh) | 电路装置和电子设备 | |
CN110164341A (zh) | 电路装置、电子设备以及错误检测方法 | |
WO2018034214A1 (ja) | 回路装置、電子機器及びエラー検出方法 | |
US9535498B2 (en) | Transparent display field of view region determination | |
JP2024096981A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
US20110057943A1 (en) | Balancing Luminance Disparity in a Display by Multiple Projectors | |
JP7418639B2 (ja) | 粒子解析用データ生成方法、粒子解析用データ生成プログラム、及び粒子解析用データ生成装置 | |
US8031191B2 (en) | Apparatus and method for generating rendering data of images | |
CN108989794B (zh) | 基于抬头显示系统的虚像信息测量方法及系统 | |
TW201518694A (zh) | 光源亮度檢測方法及系統 | |
WO2021027334A1 (zh) | 屏体画面串扰测试方法和装置、存储介质 | |
CN105654909A (zh) | 显示装置及其控制方法 | |
US11667197B2 (en) | Angle-of-view testing method, device and system for a projection display device | |
CN116540435B (zh) | 光晕测试方法及光晕测试设备 | |
CN108989798B (zh) | 显示装置串扰度值的确定方法、设备及存储介质 | |
CN106548184A (zh) | 一种调整光照平衡的方法和装置 | |
CN109600604A (zh) | 对比度测试方法、装置和计算机可读存储介质 | |
CN106445208B (zh) | 一种基于串口的标注图形跟随显示的方法 | |
CN114625332B (zh) | 一种led屏显示拼接方法、装置、电子设备及存储介质 | |
JP7322999B2 (ja) | 回路装置、表示システム及び電子機器 | |
US9519991B2 (en) | Method for displaying optically determined surface geometries | |
CN115705807A (zh) | 显示屏低灰显示效果的测试方法、装置、设备和介质 | |
CN107870757B (zh) | 一种用于实验室管理系统的图形显示方法 | |
CN118961151A (zh) | 光波导测试方法、设备及存储介质 | |
JP2009055112A (ja) | 動画特性評価方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |