KR101117591B1 - 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계 - Google Patents
렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계 Download PDFInfo
- Publication number
- KR101117591B1 KR101117591B1 KR1020067013186A KR20067013186A KR101117591B1 KR 101117591 B1 KR101117591 B1 KR 101117591B1 KR 1020067013186 A KR1020067013186 A KR 1020067013186A KR 20067013186 A KR20067013186 A KR 20067013186A KR 101117591 B1 KR101117591 B1 KR 101117591B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- color
- intensity
- color space
- video content
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title 1
- 230000007613 environmental effect Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 77
- 238000012937 correction Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 72
- 239000003086 colorant Substances 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000013507 mapping Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 239000000463 material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 239000000049 pigment Substances 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000000975 dye Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000001795 light effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 241000519995 Stachys sylvatica Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- UYTPUPDQBNUYGX-UHFFFAOYSA-N guanine Chemical compound O=C1NC(N)=NC2=C1N=CN2 UYTPUPDQBNUYGX-UHFFFAOYSA-N 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 235000019688 fish Nutrition 0.000 description 2
- 235000013312 flour Nutrition 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000012860 organic pigment Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000005881 Calendula officinalis Nutrition 0.000 description 1
- 241000692870 Inachis io Species 0.000 description 1
- 240000009125 Myrtillocactus geometrizans Species 0.000 description 1
- 235000009781 Myrtillocactus geometrizans Nutrition 0.000 description 1
- 240000007817 Olea europaea Species 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 240000000785 Tagetes erecta Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 150000004056 anthraquinones Chemical class 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- ZYGHJZDHTFUPRJ-UHFFFAOYSA-N benzo-alpha-pyrone Natural products C1=CC=C2OC(=O)C=CC2=C1 ZYGHJZDHTFUPRJ-UHFFFAOYSA-N 0.000 description 1
- XJHABGPPCLHLLV-UHFFFAOYSA-N benzo[de]isoquinoline-1,3-dione Chemical class C1=CC(C(=O)NC2=O)=C3C2=CC=CC3=C1 XJHABGPPCLHLLV-UHFFFAOYSA-N 0.000 description 1
- 229910052948 bornite Inorganic materials 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 235000001671 coumarin Nutrition 0.000 description 1
- 150000004775 coumarins Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000839 emulsion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000010445 mica Substances 0.000 description 1
- 229910052618 mica group Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 150000002979 perylenes Chemical class 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 230000004310 photopic vision Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 239000003755 preservative agent Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000004296 scotopic vision Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012882 sequential analysis Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 150000005075 thioxanthenes Chemical class 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
본 발명은, 낮은 휘도 상태 중에 비디오 컨텐츠를 모방하는 환경광원의 플리커가 없는 작동에 관한 것이며, 이 경우 환경광원은 환경광원의 상태의 온/오프 변화가 가변 세기가 하나 또는 두 개의 임계값을 통과한 후에 개시될 수 있도록 출력 임계화된다. 출력 임계화는 렌더링된 컬러 공간에서 인코딩된 비디오 컨텐츠를 추출하고 처리할 때 사용되며, 이것은 선택된 스크린 영역에서 평균 또는 다른 컬러 정보를 추출하는 것처럼, 선택된 프레임으로부터 오직 컬러 정보만을 사용하는 인터프레임 보간 프로세스에 의해 탭핑된 프레임으로 디코딩될 수 있다. 네거티브 감마 정정(negative gamma correction)은 번쩍거리거나 부적절한 색도와 휘도(lumina)를 방지하는 것을 돕는다.
Description
본 발명은, 복수의 광원을 사용하여, 일반적으로 예를 들어, 비디오 디스플레이로부터, 비디오 컨텐츠에 기초해, 또는 이와 연관된, 환경광 효과를 생성시키고 설정하는 것에 관한 것이다. 더 구체적으로, 실시간으로 비디오 컨텐츠로부터 선택된 컬러 정보를 추출하고, 비디오 환경으로부터 복수의 환경광원의 구동을 허용하는 환경으로의 컬러 맵핑 변환을 수행함으로써 복수의 환경광원을 구동하거나 설정하기 위한 방법에 관한 것이다.
엔지니어들은 시청 스크린 및 프로젝션 영역을 확대하고, 실제와 같은 3D 효과를 위해 음향을 변조하고, 더 넓은 비디오 컬러 전영역(gamut), 해상도 및 예컨대, 고화질(HD) 디지털 TV 및 비디오 시스템에서의 화면비를 향상시킴으로써 감각적인 경험으로 얻어진 소비적 비디오 컨텐츠의 확장을 오랫동안 추구해왔다. 게다가, 필름, TV 및 비디오 제작사들은 또한 컬러, 장면 삭제, 시야각, 주변 장면, 및 컴퓨터-지원 그래픽 표현을 잘 사용함으로써, 시각/청각 수단을 사용하여 시청자의 경험에 영향을 주고자 했다. 이것은 또한 연극 무대 조명도 포함한다. 조명 효과는, 예를 들어, 원하는 구조로 인코딩된 적절한 장면 스크립트로 프로그래밍된 기기 또는 컴퓨터의 도움으로 대개 스크립팅(script)되고-비디오 또는 재생 장면과 동기화되고- 재생된다.
종래 기술의 디지털 도메인에서, 기획되지 않거나 스크립팅되지 않은 장면을 포함해, 장면의 빠른 변화에 대해 조명을 자동으로 적응시키는 것은, 현재 시스템을 사용하여 요구된 큰 고대역 비트 스트림의 오버헤드로 인해 많은 부분에 조화롭게 편성하는 것이 쉽지 않았다.
필립스(네덜란드)와 다른 회사들은 비디오 디스플레이로부터 따로 분리된 광원을 사용해, 일반적 가정용 또는 업무용 애플리케이션을 위한 비디오 컨텐츠를 향상시키기 위해 환경 또는 주변광을 변경하기 위한, 그리고, 많은 애플리케이션을 위해, 일부 종류의 고급 스크립팅 또는 원하는 조명 효과를 인코딩하기 위한 수단을 개시하였다.
비디오 디스플레이 또는 텔레비전에 추가된 환경광은 시청자의 피로감을 줄이고 리얼리즘과 경험의 깊이를 개선하기 위해 보여져왔다.
감각적 경험은 자연스럽게 인간의 시각의 양상들의 작용이며, 이것은 컬러와 광 효과의 센세이션을 창출하기 위해 상당히 복잡한 감각 및 신경 기관을 사용한다. 인간은 아마도 천만가지의 다른 색상을 구별할 수 있을 것이다. 인간의 눈에는, 컬러-수신 또는 사진과 같은 시각의 경우, 상당한 부분이 중복되는, 최대 445,535 및 565nm의 광 파장을 가진 흡수 분포(absorption distributions)를 지닌 콘(cone)이라고 하는 대략 2천만개의 감각체(sensory bodies)의 집합 세 개가 존재한다. 이들 세 가지 콘 유형은 소위 삼자극 체계(tristimulus system)를 형성하며 역사적인 이유로 인해 B(청색), G(녹색) 및 R(적색)이라고 한다; 피크(peak)는 예컨대, 일반적으로 사용된 RGB 형광체(phosphor)와 같이, 디스플레이에서 사용된 임의의 원색들에 대응할 필요는 없다. 또한 로드(rod)라고 하는 암소시(scotopic vision), 또는 소위 야간 시야 기관에 대한 상호작용이 존재한다. 인간의 눈은 일반적으로 1억2천만개의 로드를 가지며, 이것은 시각적인 경험, 특히 홈 시어터에서와 같은 낮은 광 상태에 경우, 영향을 미친다.
컬러 비디오는 인간의 시각의 원리에 근거하며, 인간 시각의 잘 알려진 3원색 및 반대 채널 이론은 원래 또는 의도된 이미지에 높은 충성도를 가지는 원하는 컬러 및 효과를 보기 위해 눈에 영향을 미치는 방법에 대한 이해에 결합되었다. 대부분의 컬러 모델 및 공간에서, 3차원 또는 좌표들이 인간의 시각적 경험을 설명하기 위해 사용된다.
컬러 비디오는 절대적으로 조건등색(metamerism)에 의존하며, 이것은 원하는 컬러 및 특성의 실제광보다는, 작은 수의 기준 자극(stimuli)을 사용하여 컬러 인지의 생성을 허용한다. 이렇게 하여, 컬러의 전영역은 전세계의 비디오 재생에 사용된 잘 알려진 RGB(적색, 녹색, 청색) 삼원색 체계와 같은, 기준 자극의 제한된 수를 사용하여 인간의 머릿속에서 재생된다. 예컨대, 거의 모든 비디오 디스플레이가 각 픽셀 또는 화소에서 적색 및 녹색광의 대략 같은 양을 생성함으로써 노란 장면광(scene light)을 보여준다는 사실은 잘 알려져 있다. 픽셀들은 그들이 대한(subtend) 입방각과 관련하여 작으며, 눈은 노란색으로 인식하게 된다; 실제로 브로드캐스팅되고 있는 녹색 또는 적색은 인식하지 않는다.
비디오 재생을 위한 컬러를 설명하고 지정하기 위해 사용하는 잘 알려진 CIE(Commission Internationale de l'Eclairage) 컬러 좌표 시스템을 포함해, 많은 컬러 모델과 컬러 지정 방법이 존재한다. 임의의 수의 컬러 모델은 CIE L*U*V*(CIELUV) 또는 CIE L*a*b(CIELAB) 체계와 같은, 렌더링되지 않은 반대 컬러 공간에 응용을 포함하는, 순간적인 발명을 사용하여 이용될 수 있다. 1931년에 설립된 CIE는, 모든 컬러 관리 및 재생을 위한 재단이며, 그 결과는 세 개의 좌표, x, y 및 z를 사용하는 색환표(chromaticity diagram)이다. 최대 밝기에서 이러한 3차원 체계의 플롯은 일반적으로 x 및 y의 항으로 컬러를 설명하기 위해 사용되며, 1931 x,y 색환표라고 하는, 이 플롯은, 인간이 인지하는 모든 컬러를 설명할 수 있다고 믿어진다. 이것은 컬러 재생과는 대조적으로, 조건등색을 사용하여 눈과 두뇌를 속인다. 많은 컬러 모델 또는 공간은 3원색 또는 형광체, 특히 Adobe RGB, NTSC RGB 등을 사용함으로써 컬러를 복제하기 위해 오늘날 사용된다.
그러나, 이들 삼자극(tristimulus) 체계를 사용하여 비디오 시스템에 의해 보여진 모든 가능한 컬러의 범위는 제한된다는 사실에 주목하는 것이 중요하다. NTSC(National Television Standards Committee; 국가 TV 표준 위원회) RGB 체계는 비교적 넓은 범위의 이용가능한 컬러를 구비하지만, 이 체계는 오직 인간이 인식하는 모든 컬러의 절반만을 재생할 수 있다. 많은 청색 및 보라색, 청록색, 및 오렌지/적색은 종래의 비디오 시스템의 이용가능한 범위를 사용해 적절히 렌더링되지 않는다.
게다가, 인간의 시각 체계는 그 이해가 임의의 비디오 시스템을 설계하는데 필요한 인식과 보상의 품질이 부여된다. 인간의 컬러는 외관의 여러 모드, 그 중에서 특히, 물체 모드 및 조명 모드에서 발생할 수 있다.
물체 모드에서, 광 자극은 광원에 의해 조명된 물체로부터 반사된 광으로 인식된다. 조명 모드에서, 광 자극은 광원으로 보여 진다. 조명 모드는 다른 자극보다 훨씬 더 밝은 복잡한 필드에서의 자극을 포함한다. 이것은 밝기 또는 휘도가 자극이 물체 모드에 있는 것처럼 보이도록 장면 또는 필드의 전체 밝기 이하인, 비디오 디스플레이와 같은 광원인 것으로 알려진 자극을 포함하지 않는다.
현저하게, 물체 모드에서만 나타나는 많은 컬러가 있는데, 그 중에서도, 갈색, 올리브색, 적갈색(maroon), 회색 및 베이지 살색이 있다. 예를 들어, 갈색-컬러의 신호등과 같이, 광의 갈색 조명원으로서 사용되는 경우는 없다.
이러한 이유로, 환경광은 물체 컬러의 추가를 시도하는 비디오 시스템에 대한 환경광의 보충은 밝은 직접 광원을 사용하여 그렇게 할 수 없다. 가까운 범위에서 밝은 적색 및 녹색광원의 조합은 갈색 또는 적갈색을 재생할 수 없으며, 이것은 선택의 폭을 상당히 제한한다. 변화하는 강도와 채도에서, 오직 무지개 스펙트럼 컬러만이, 밝은 광원의 직접 관찰을 통해 재생될 수 있다. 이것은 색조 관리에 특별히 주의하여 광원으로부터 낮은 강도의 휘도 출력을 제공하기 위해, 환경광 체계에 대한 미세 제어의 필요성을 강조한다. 이러한 미세 제어는 본 데이터 아키텍처 하에서 빠르게 변화하는 미묘한 환경광을 허용하는 방식으로 현재 다루어지고 있지 않다.
비디오 재생은 많은 형태를 취할 수 있다. 스펙트럼 컬러 재생은 원래 자극의 스펙트럼 전력 분포의 정확한 재생을 허용하지만, 이것은 3가지 원색을 사용하는 임의의 비디오 재생에서 실현가능하지 않다. 정확한 컬러 재생은 인간의 시각 3자극치(tristimulus values)를 복제하고, 원본에 대한 조건등색(metameric) 매칭을 생성할 수 있지만, 화상 및 원래 장면에 대한 전체 시청 조건은 유사한 외관을 얻기 위해 유사해야 한다. 화상 및 원래 장면에 대한 전체 조건은 화상의 대변각(angular subtense), 주변의 휘도 및 채도, 그리고 빛(glare)을 포함한다. 정확한 컬러 재생이 종종 달성될 수 없는 한 가지 이유는 컬러 모니터에서 생성될 수 있는 최대 휘도의 제한이다.
측색(colorimetric) 컬러 재생은 삼자극치가 원래 장면에서의 그것에 비례하는 유용한 대안을 제공한다. 채도 좌표는 정확히 재생되지만, 비례적으로 휘도가 감소된다. 측색 컬러 재생은, 원본 및 재생된 기준 흰색이 동일한 채도를 가지며, 시청 조건이 동일하고 비디오 시스템이 통일성의 전체 감마를 가진다고 가정하면, 비디오 시스템에 유익한 참조 표준이다. 채도와 휘도가 원래 장면과 매치하는 동일한 컬러 재생은 비디오 디스플레이에서 생성된 제한된 휘도로 인해 달성될 수 없다.
실용되고 있는 대부분의 비디오 재생은 대응 컬러 재생의 달성을 시도하며, 재생된 컬러는 재생한 것과 같은 평균 휘도 레벨과 이와 동일한 기준 흰색 채도를 생성하기 위해 조명된 경우 원래 장면에서의 컬러의 외관과 동일한 외관을 갖는다. 그러나, 많은 사람들은 디스플레이 시스템을 위한 궁극적 목적은 실제로 선호되는 컬러 재생이며, 시청자의 선호 설정은 컬러 충성도(color fidelity)에 영향을 준다고 주장한다. 예를 들어, 선탠한 피부색은 평균적인 실제 피부색이 선호되며, 하늘은 파란색이, 잎사귀는 실제 색보다 더 녹색인 것이 선호된다. 대응 컬러 재생이 디자인 표준으로 수용되었다고 해도, 살색과 같은 일부 컬러들은 다른 컬러보다 더 중요한데, 이것은 NTSC 비디오 표준과 같은 많은 재생 시스템에서 특별 취급 대상이다.
장면광을 재생함에 있어서, 흰색 균형을 이루기 위한 색채 조정은 중요하다. 적절히 조정된 카메라와 디스플레이를 사용해, 흰색과 중간 회색은 일반적으로 CIE 표준 일광 발광체(illuminant) D65의 채도로 재생된다. 흰색 표면을 항상 동일한 채도로 재생함으로써, 시스템은 인간의 시각 체계를 흉내내고, 이것은 본질적으로 인식을 적응시켜 흰색 표면이, 발광체의 채도와 무관하게, 항상 동일하게 보이도록 하고, 흰색 종이가 해변에서 맑은 날에 발견되었든지, 또는 백열등이 켜진 실내 장면이든지, 흰색으로 보이도록 한다. 컬러 재생에서, 흰색 균형 조정은 대개 R,G,B 채널에 대한 통제를 얻음으로써 이루어진다.
일반적인 컬러 수신기의 광출력은 일반적으로 선형적이지 않지만, 인가된 비디오 전압에 대한 전력-법(power-law) 관계를 따른다. 광출력은 전력 감마까지 증가된 비디오-구동 전압에 비례하며, 이 때 감마는 일반적으로 CRT(cathode ray tube; 음극선관)의 경우 2.5이고, 다른 유형의 광원의 경우 1.8이다. 이 계수에 대한 보상은 카메라 비디오 처리 증폭기에서 세 가지 원색 감마 정정기를 통해 이루어져서, 인코딩되고, 전송되며, 디코딩된 원색 비디오 신호는 사실 R,G,B가 아닌, R1/(,G1/(,B1/(이다. 측색 컬러 재생은 비디오 재생(카메라, 디스플레이 및 임의의 감마-조정 전자를 포함)에 대한 전체 감마가 통일될 것을 요구하지만, 대응 컬러 재생이 시도될 때에는, 주변의 휘도가 우선한다. 예를 들어, 희미한 환경은 약 1.2의 감마를 요구하며, 어두운 환경은 최적 컬러 재생을 위해 약 1.5의 감마를 요구한다. 감마는 RGB 컬러 공간에 대해 중요한 구현 이슈이다.
대부분의 컬러 재생 인코딩은 RGB,ROMM RGB, Adobe RGB 98, Apple RGB와 같은 표준 RGB 컬러 공간 및 NTSC 표준에서 사용된 것과 같은 비디오 RGB 공간을 사용한다. 일반적으로, 이미지는 센서 또는 소스 디바이스 공간에 캡쳐되며, 이것은 디바이스 및 이미지가 특정된다. 이는 렌더링되지 않은 이미지 공간으로 변환될 수 있으며, 이는 원본의 측색을 설명하는 표준 컬러 공간이다(정의 부분 참조)
그러나, 비디오 이미지는 소스 디바이스 공간에서 렌더링된 이미지 공간으로 거의 항상 직접적으로 변환되며(정의 부분 참조), 이것은 비디오 디스플레이와 같은 일부 실제 또는 가상 출력 디바이스의 컬러 공간을 설명한다. 대부분의 기존 표준 RGB 컬러 공간은 렌더링된 이미지 공간이다. 예를 들어, 카메라와 스캐너로 생성된 소스 및 출력 공간은 CIE-기반 컬러 공간이 아니며, 카메라 또는 스캐너의 스펙트럼 민감성 및 다른 특성으로 한정된 스펙트럼 공간이다.
렌더링된 이미지 공간은 실제 또는 가상 디바이스 특성의 측색에 기초한 디바이스-특정 컬러 공간이다. 이미지는 렌더링된 이미지 공간 또는 렌더링되지 않은 이미지 공간에서 렌더링된 공간으로 변환될 수 있다. 이들 변환의 복잡성은 변화하며, 복잡한 이미지 의존적 알고리즘을 포함할 수 있다. 변환은 전환가능하지 않을 수 있고, 원래 장면 인코딩의 일부 정보는 특정 디바이스의 동적 범위와 전영역에 맞추기 위해 폐기되거나 압축된다.
디지털 스틸 카메라의 컬러 특성화(characterization)에 가장 많이 사용되는, ISO 17321에서 정의한 ISO RGB인 표준이 되는 과정 중에 있는 렌더링되지 않은 오직 하나의 RGB 컬러 공간이 현재 존재한다. 오늘날 대부분의 애플리케이션에서, 이미지는 비디오 신호를 포함해, 기록 보존(achiving) 또는 데이터 전송을 위한 렌더링된 컬러 공간으로 변환된다. 하나의 렌더링된 이미지 또는 컬러 공간에서 다른 것으로 변환하면 심각한 이미지 결함을 초래할 수 있다. 2개의 디바이스 사이에서 매칭되지 않은 전영역과 흰색 지점이 더 많이 존재할수록, 부정적 효과는 더 강해진다.
종래의 환경광 디스플레이 시스템에서의 한 가지 문제점은 적절한 측색(colorimetry)과 외관을 부여하기 위해 렌더링된 3자극치를 비디오로부터 환경광원의 그것으로 변환하기 위한 동기적 실시간 작동을 제공하기 위해 주어진 특정한 방법이 없다는 것이다. 예를 들어, LED 환경광원으로부터의 출력은 제한되거나 스큐잉된(skewed) 컬러 전영역과 함께 종종 번쩍거리며, 색조 및 크로마(chroma)는 측정과 재생이 어렵다. 예를 들어, Akashi 등의 미국 특허 6,611,297은 환경광에서의 리얼리즘을 다루지만, 어떠한 특정한 방법도 정확하고 유쾌한 색도를 보장하기 위해 주어지지 않으며, Akash의 297의 교시는 비디오를 실시간으로 분석하는 것을 설명하고 있지 않지만, 오히려 스크립트 또는 그 등가물을 필요로 한다.
더욱이, 비디오 컨텐츠로부터의 감마 정정된 컬러 공간을 사용하여 환경광원의 설정하면 종종 번쩍거리고, 밝은 컬러를 초래한다. 종래 기술에서 더 심각한 문제는 실시간 비디오 컨텐츠의 기능으로서 환경광원을 구동하고, 양호한 컬러 매칭이 요구되는 원하는 신속하게 변화하는 환경광 환경에 맞추도록 요구되는 대량의 전송된 정보이다.
종래 기술의 다른 문제점은 원하는 환경광의 대부분은 낮은 강도, 그리고 텔레비전 또는 비디오 모니터 상에 컬러에 대해 현실적으로 매칭이 되지 않는다는 점이다. LED(Light Emitting Diode)와 같은 환경광원은 낮은 강도 출력을 제공하지 않으며, 종종 만족스러운 작동을 위한 최소 전력 성태를 갖는다. 이들은 따라서 낮은 강도 출력에 대해 쉽게 변조되지 않으며, 이들을 낮은 광 홈 시어터 시나리오에 대해 부적절하고 낮은 휘도에 대한 색조 또는 원하는 색도를 재생할 수 없게 만든다.
그러므로, 일반적인 3자극 비디오 디스플레이 시스템과 연관해 환경광에 의해 생성된 가능한 전영역의 컬러를 확장시키는 것이 유리하다. 광 레벨의 기능으로서 다른 컬러의 상대적 휘도에서의 변화와 같이, 사람의 눈의 특성을 이용하는 것이 바람직한데, 이것은 사람의 시각의 효과, 민감도 및 다른 특수성을 보상하는 좋은 이점을 사용하는 환경광 시스템을 이용해 비디오 사용자에게 전송된 컬러 및 광의 특성을 변조하거나 변경함으로써 이루어진다.
또한 감마-야기된 왜곡 효과가 없는 양질의 대기를 생성하는 것도 유리하다. 평균 또는 특성화된 컬러값을 인코딩하는 경제적인 데이터 스트림을 사용하여 선택된 비디오 영역으로부터 발생한 모방(emulative) 환경광을 제공하기 위한 방법을 제공할 수 있으면 더 바람직하다. 또한 이러한 데이터 스트림의 필요한 크기를 더 감소시키는 것이 더 바람직하다. 또한 낮은 전체 비디오 광 레벨 조건에 대해 성공적인 LED 작동을 위한 방법을 제공하는 것이 더 바람직하다.
비디오 재생을 포함해, 비디오 및 텔레비전 엔지니어링, 압축 기술, 데이터 전송 및 인코딩, 인간의 시각, 컬러 과학 및 인지, 컬러 공간, 측색 및 이미지 렌더링에 관한 정보는, 본 명세서에 그 전문이 병합된 다음 참고 문헌에서 찾을 있다: 참고[1] Physics Today, 1992년 12월호, 제 45판, 제 12번 p.24-29에 게재된, Alan R. Robertson의 컬러 인지; 참고[2] John Wiley & Sons, Inc., New Yorkⓒ2001의 Kurt Nassau의 컬러 물리학 및 화학, 제2개정판; 참고[3] John Wiley & Sons, Inc., New Yorkⓒ2000의 Roy S. Berns의 컬러 기술의 원리, 제3개정판; 참고[4] McGraw-Hill, New Yorkⓒ2003의 Jerry Whitaker와 K.Blair Benson의 비디오 및 텔레비전 엔지니어링의 표준 핸드북, 제4개정판.
본 발명은 컬러 출력을 개선하고 플리커없는 작동을 촉진시키기 위해 비디오 컨텐츠를 실행시키도록 제어되거나 야기시키는 환경광원의 출력 임계화에 관한 것이며, 컬러 정보의 임계화는 컬러 정보에 의해 제어된 환경광원의 상태의 온/오프 변화가 휘도 강도 또는 등가 파라미터가 임계값을 통과한 이후에만, 또는 강도가 다른 강도값을 갖는 2개의 별도의 임계값을 통과한 이후에만 개시될 수 있도록 한다.
본 발명은 비디오 컨텐츠의 대리 실행에 사용되는 환경광원을 출력 임계화하기 위한 방법을 제공하며, [1] 비디오 컨텐츠의 적어도 일부를 인코딩하는 비디오 신호로부터, 강도를 포함하는, 컬러 정보를 추출하는 단계; [2] 컬러 정보에 의해 제어된 환경광원의 상태의 온/오프 변경이 강도가 임계값을 초과하거나, 2개의 분리되고 별도의 임계값을 초과한 후에 개시될 수 있도록 컬러 정보를 임계화하는 단계를 포함한다.
본 발명은 환경광원에 의해 실행되도록 렌더링된 컬러 공간에서 인코딩된 비디오 컨텐츠를 추출하고 처리하며, 그리고 선택적 인터프레임 보간 프로세스를 사용하기 위한 방법에 관한 것이며; [1] 강도를 포함해, 적어도 일부 비디오 컨텐츠를 인코딩하는 비디오 신호로부터 컬러 정보를 추출하는 단계; [2] 컬러 정보를 렌더링되지 않은 컬러 공간으로 변환하는 단계; [3] 상기 컬러 정보를 렌더링되지 않은 컬러 공간에서 환경광원의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 변환하는 단계; 및 [4] 컬러 정보에 의해 제어된 환경광원의 상태의 온/오프 변경이 강도가 임계값 또는 2개의 임계값을 초과한 후 개시될 수 있도록 컬러 정보를 임계화하는 단계를 포함한다.
단계 [1]은 추가적으로 비디오 신호를 프레임 세트로 디코딩하는 단계; 추출 영역으로부터의 적어도 하나의 컬러 정보 추출을 포함하는, 컬러 정보로부터의 평균 컬러 추출 단계; 추출 영역과 인접한 환경광원으로부터 환경광을 브로드캐스팅(broadcast)하기 위해 컬러 정보의 추출을 사용하는 단계를 포함한다. 더욱이, 환경광 유닛에 제공된 제 2 렌더링된 컬러 공간에 대한 감마 정정을 수행할 수 있다.
단계 [2] 및 [3]은 추가적으로 제 1 및 제 2 삼자극 원색 행렬을 사용하여 렌더링된 컬러 공간과 제 2 렌더링된 컬러 공간의 원색들을 렌더링되지 않은 컬러 공간으로 행렬 변환하는 단계; 및 렌더링된 컬러 공간의 원색, 제 1 3자극 행렬, 및 제 2 3자극의 역(inverse) 행렬의 행렬 곱셈을 통해 컬러 정보를 제 2 렌더링된 컬러 공간으로의 변환을 유도하는 단계를 포함할 수 있다.
렌더링되지 않은 컬러 공간은 CIE XYZ; ISO 표준 17321에 정의된 ISO RGB; Photo YCC; 및 CIE LAB 중에 하나가 될 수 있으며, 단계 [1],[2] 및 [3]은 제 2 렌더링된 컬러 공간에서 컬러 정보를 사용하는 비디오 디스플레이로부터 또는 그 주변에서 환경광 브로드캐스팅을 하는, 비디오 신호와 실질적으로 동기적일 수 있다.
또한 비디오 컨텐츠의 대리 실행(emulation)을 위한 환경광원의 출력 임계화, 추가적으로 측색 추정치의 사용 및 인터프레임 보간 프로세스를 채용하기 위한 방법으로서, 가능한 단계인: [1] 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 비디오 신호로부터, 강도를 포함해, 컬러 정보의 추출 단계; [2] 비디오 신호를 프레임 세트로 디코딩하는 단계, 오직 선택된 추출 프레임으로부터 컬러 정보를 추출하는 단계 및 보간된 프레임을 얻기 위해 추출 프레임 사이의 인터프레임 보간을 수행하는 단계, 상기 컬러 정보는 이후 새롭게 추출 프레임과 보간된 프레임으로부터 파생되는, 디코딩 단계; [3] 각 개별 프레임에서 추출 영역으로부터 컬러 정보로부터 측색 추정치를 추출하는 단계; [4] 측색 추정치를 렌더링되지 않은 컬러 공간으로 변환하는 단계; [5] 렌더링되지 않은 컬러 공간으로부터 측색 추정치를 환경광원의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 변환하는 단계; [6] 컬러 정보에 의해 제어된 환경광원의 상태의 온/오프 변화가 강도가 임계값 또는 2개의 임계값을 통과한 이후에 개시될 수 있도록 컬러 정보를 임계화하는 단계; 및 [7] 비디오 디스플레이 영역 상의 추출 영역에 인접한 환경광원으로부터 환경광을 브로드캐스팅하기 위해 측색 추정치를 사용하는 단계를 포함한다. 단계 [1] - 단계 [7]은 비디오 신호와 실질적으로 동기적일 수 있다.
도 1은 컬러 정보 추출 영역과 본 발명에 따른 6개의 환경광원으로부터 환경광의 관련 브로드캐스팅을 나타내는 비디오 디스플레이의 단순한 표면 전면도.
도 2는 복수의 환경광원으로부터의 환경광이 본 발명을 사용하여 생성된 방의-일부는 개략적이고 일부는 단면도- 평면도.
도 3은 컬러 정보를 추출하고 환경광원의 구동을 허용하기 위해 컬러 공간 변환을 수행하기 위한 본 발명에 따른 시스템을 도시한 도면.
도 4는 비디오 추출 영역으로부터 평균 컬러 정보를 계산하기 위한 식.
도 5는 렌더링된 원색 RGB를 렌더링되지 않은 컬러 공간 XYZ로 변환하기 위한 종래 기술의 행렬식.
도 6과 도 7은 비디오 및 환경광 렌더링된 컬러 공간 각각을, 렌더링되지 않은 컬러 공간으로 매핑하기 위한 행렬식.
도 8은 렌더링되지 않은 컬러 공간 XYZ로부터 환경광 3자극치 R'G'B'를 파생시키기 위해 알려진 역행렬을 사용한 해법.
도 9 내지 도 11은 흰색 포인트 방법을 사용하여 3자극 원색 행렬 M의 종래 기술 도출된 식.
도 12는 환경 브로드캐스팅을 위한 감마 정정 단계를 추가적으로 포함하는, 도 3에 도시된 것과 유사한 시스템을 도시한 도면.
도 13은 본 발명에 사용된 일반 변환 프로세스에 대한 개략도.
도 14는 본 발명에 의해 사용된 환경광원에 대한 변환 행렬 계수를 얻기 위한 프로세스 단계를 도시한 도면.
도 15는 본 발명을 사용하여 추정된 비디오 추출과 환경광 재생을 위한 프로세스 단계를 도시한 도면.
도 16은 본 발명에 따른 비디오 프레임 추출의 개략도.
도 17은 본 발명에 따른 생략된 크로미넌스 평가를 위한 프로세스 단계를 도시한 도면.
도 18은 프레임 디코더를 이용하고, 프레임 추출 비율을 설정하고, 환경광원을 구동하기 위한 출력 계산을 수행하는 도 3과 도 12에 도시된 추출 단계를 도시한 도면.
도 19 및 도 20은 본 발명을 위한 컬러 정보 추출 및 처리를 위한 프로세스 단계를 도시한 도면.
도 21 및 도 22는 본 발명에 따른 출력 임계화를 증명하는 데카르트 플롯.
도 23은 프레임 디코더를 채용하고 환경광원을 구동하기 위한 출력 계산을 수행하는, 도 3, 도 12 및 도 18에 도시된 것과 유사한 단순화된 추출 단계를 도시 한 도면.
도 24는 컬러 정보 추출, 처리 및 출력 임계화를 위한 처리 단계를 도시한 도면.
다음 정의는 본 명세서 전체에 사용된다.
- 환경광원- 첨부된 청구항에서, 임의의 광 생성 회로 또는 이에 따라 사용을 위한 광 스크립트 코드를 디코딩하는데 필요한 구동기를 포함한다.
- 환경 공간- 비디오 디스플레이 유닛 외부의 임의 및 모든 중요한 본체 또는 대기 또는 공간을 의미한다.
- 평균 컬러- 첨부된 청구항에서, 수치적 평균 이외에 평균 특성화를 포함하며, 채도 및 휘도의 오프셋을 포함해, 비디오 컨텐츠의 기능적 또는 운영자-한정된 특성화를 포함한다.
- 크로미넌스- 환경광원을 구동한다는 맥락에서, 생성된 광의 컬러 특성을 지정하는 기계적, 수치적 또는 물리적 방법을 가리키며, NTSC 또는 PAL 텔레비전 브로드캐스팅에서 사용된 것과 같은 특정 방법을 의미하지 않는다.
- 컬러 정보- 크로미넌스 및 휘도 중에 하나 또는 이들 모두, 또는 기능적으로 등가의 수량을 포함한다.
- 컴퓨터- 알려진 아키텍처를 이용하는 CPU와 같은, 모든 프로세서뿐만 아니라, 디지털 광학 디바이스, 또는 동일한 기능을 수행하는 아날로그 전자 회로와 같이, 코딩, 디코딩, 판독, 처리, 설정 코드 또는 변경 코드의 실행을 허용할 수 있 는 임의의 인텔리전트 디바이스를 포함한다.
- 제어된 운영 파라미터- 휘도, 크로미넌스 또는, 전송 각도 또는 측광기(goniophotometric) 지수와 같은 광 특성 지수와 같이, 물리량 또는 물리 변수의 표시로서 인코딩된 파라미터를 나타낸다.
- 고니오크로매틱(goniochromatic)- 무지개색(iridescence)에 의해 생성된 것같이, 시야각 또는 관찰각의 함수로서 다른 컬러 또는 색도를 부여하는 품질을 뜻한다.
- 측광기(goniophotometric)- 진주광택이 나거나(pearlescent), 번쩍이거나(sparkling) 역반사체(retroreflective) 현상에서 발견된 것과 같이, 시야각 또는 관찰각의 함수로서 다른 광 밀도, 투과 및/또는 컬러를 부여하는 품질을 뜻한다.
- 보간- 2개의 알려진 값의 세트 사이에 값을 설정하기 위한 함수적 규칙뿐만 아니라, 2개의 값 세트 사이의 선형적 또는 수학적 보간을 포함한다.
- 강도 - 밝기, 휘도 또는 등가의 측정치의 임의의 파라미터 또는 측정치를 나타내며, 광생성 또는 측정 또는 정신-생물학적 보간의 특정 방법을 의미하지 않는다.
-광 특성- 넓은 의미에서, 광 투과 또는 반사의 정도와 같이, 휘도 및 크로미넌스 이외의 모든 서술자(descriptor)를 포함하여, 환경광원에 의해 생성된 것과 같은 광의 속성의 임의의 내역; 또는 환경광원을 관찰할 때 컬러, 번쩍임 또는 다른 알려진 현상이 시야각의 함수로서 생성되는 정도를 포함하여, 측광기 품질의 임 의의 내역; 포인팅(Poynting) 또는 다른 전파 벡터를 지정함으로써 가능한 방향성을 포함하는, 광출력 방향; 입체각 또는 입체각 배분 함수와 같은, 광의 각 배분의 내역을 뜻한다. 또한 요소 픽셀 또는 램프 위치와 같은, 환경광원 상의 위치를 지정하기 위한 좌표(들)를 포함한다.
- 휘도- 임의의 밝기 파라미터 또는 크기, 세기, 또는 등가의 크기를 나타내며, 광 생성 또는 측정의 특정 방법, 또는 정신-생물학적 해석을 의미하지 않는다.
- 렌더링된 컬러 공간- 센서로부터 캡쳐되거나, 소스 또는 디스플레이 디바이스에 특정된 이미지 또는 컬러 공간을 나타내고, 이것은 디바이스 및 이미지-특정적이다. 대부분의 RGB 컬러 공간은 렌더링된 이미지 공간이며, 비디오 디스플레이(D)에 사용된 비디오 공간을 포함한다. 첨부된 청구항에서, 비디오 디스플레이와 환경광원(88)에 특정된 컬러 공간 모두는 렌더링된 컬러 공간이다.
- 임계화(출력 임계화)- 본 발명에 따른 환경광원에서 상태 변화의 임의의 억제 또는 개시를 말한다.
- 컬러 정보를 렌더링되지 않은 컬러 공간으로 변환- 첨부된 청구항에서, 렌더링되지 않은 컬러 공간으로의 직접 변환 또는 렌더링되지 않은 컬러 공간(예, 도 8에 도시된 것 같은, (M2)01)으로 변환을 통해 얻어진 3자극 원색 행렬의 역행렬을 사용하는 것에서 파생된 혜택의 사용을 포함한다.
- 렌더링되지 않은 컬러 공간- 표준 CIE XYZ; ISO 17321 표준에 정의된 것과 같은, ISO RGB; Photo YCC; 및 CIE LAB 컬러 공간을 사용하여 원래 이미지 측색을 설명하는 것과 같은 표준 또는 비-디바이스-특정 컬러 공간을 나타낸다.
- 비디오- 광 생성을 위한 에너지를 필요로 하는 능동 디바이스인지, 사무실 건물의 창문처럼, 이미지 정보를 전달하는 임의의 투과형 매체인지, 이미지 정보가 원격으로 유도되는 광 가이드인지와 무관하게, 임의의 시각 또는 광 생성 디바이스를 가리킨다.
- 비디오 신호- 임의의 오디오 부분을 포함하는, 비디오 디스플레이 유닛을 제어하기 위해 전송된 신호 또는 정보를 가리킨다. 그러므로, 비디오 컨텐츠 분석은 오디오 부분에 대한 가능한 오디오 컨텐츠 분석을 포함하는 것으로 고려된다. 일반적으로, 비디오 신호는 임의의 수의 알려진 변조 기술을 사용하는 무선 주파수 신호; 아날로그 및 양자화된 아날로그 파형을 포함하는 전자 신호; 펄스-폭 변조, 펄스-수 변조, 펄스-위치 변조, PCM(pulse code modulation; 펄스 코드 변조) 및 펄스 진폭 변조를 사용하는 것과 같은, 디지털(전자) 신호; 또는 음향(acoustic) 신호, 오디오 신호 및 광학 신호와 같은 다른 신호와 같이, 모두 디지털 기술을 사용할 수 있는, 임의의 유형의 신호를 포함할 수 있다. 컴퓨터-기반 애플리케이션에서와 같이, 다른 정보 사이에서 또는 이과 함께 단지 순차적으로 배치되는 데이터도 역시 사용될 수 있다.
본 발명에 따른 비디오 컨텐츠로부터 파생된 환경광은 원하는 경우, 원래 비디오 장면 광의 채도에 대한 높은 정도의 충실도를 허용하면서도, 필요한 계산상의 부담이 낮은 환경광에 대한 재량의 정도의 한정성을 높은 정도로 유지한다. 이는 작은 컬러 전영역 및 감소된 휘도 공간을 가진 환경광원이 비교적 큰 컬러 전영역 및 휘도 응답 곡선을 가진 더 진보된 광원으로부터 비디오 장면광을 모방하는 것을 허용한다. 환경광에 대한 가능한 광원은 LED(Light Emitting Diodes) 및 관련 반도체 레디에이터; 비-반도체 유형을 포함한 전계 발광 디바이스; 할로겐 또는 진보된 화학을 사용한 변형된 유형을 포함한, 백열등; 형광등 및 네온등을 포함한 이온 방전 램프; LCD 또는 다른 광 변조기를 사용함으로써 변조된 광원; 기능상 디스플레이와 닮은 어레이를 포함한, 광발광성 이미터, 또는 임의의 수의 알려진 제어가능한 광원을 포함하여, 임의의 수의 알려진 광 디바이스를 포함할 수 있다.
이제 도 1을 참조하면, 본 발명에 따른 비디오 디스플레이(D)의 단순화된 전면도가 예시적으로 도시된다. 디스플레이(D)는 NTSC, PAL 또는 SECAM 브로드캐스트 표준과 같이, 렌더링된 컬러 공간 또는 Adobe RGB와 같이, 렌더링된 RGB 공간으로부터 비디오 컨텐츠를 디코딩하는 임의의 다수의 알려진 디바이스일 수 있다. 디스플레이(D)는 그 경계가 임의로 미리 한정된 컬러 정보 추출 영역(R1,R2,R3,R4,R5,R6)을 포함하며, 이들은, 예를 들어, 디스플레이(D)가 장착된 벽(미도시)에 부분적인 광 확산에 의해, 도시된 것처럼 환경광(L1,L2,L3,L4,L5,L6)을 생성하고 브로드캐스팅하는 후면-장착된 제어가능한 환경광 유닛(미도시)을 통해서와 같이, 특징적인 환경광(A8)을 생성할 목적을 위한 특징을 갖는다. 대안적으로, 도시된 것 같은 디스플레이 프레임(Df)은 그 자체가 또한 시청자에 대해 바깥 쪽(미도시)을 포함해, 유사한 방법으로 광을 디스플레이하는 환경광 유닛을 포함할 수 있다. 원하는 경우, 각 컬러 정보 추출 영역(R1-R6)은 그 자체에 인접한 환경광에 영향을 줄 수 있다. 예를 들어, 컬러 정보 추출 영역(R4)은 도시된 것처럼 환경광에 영향을 줄 수 있다.
이제 도 2를 참조하면, 방 또는 환경 공간(AO)의 평면도(부분 개략도 및 부분 단면도)가 도시되며 여기서 다수의 환경광원으로부터의 환경광은 본 발명을 사용해 생성된다. 주변 공간(AO)은 비디오 디스플레이(D)의 시청을 할 수 있도록 배열된 도시된 것과 같은 의자와 테이블(7)이 배치되어 있다. 주변 공간(AO)에는 또한, 도시된 광 스피커(1-4), 도시된 소파 또는 의자 밑에 보조광뿐만 아니라, 디스플레이(D) 주변에 배열된 특수 모방 환경광 유닛 세트, 즉, 도 1에 도시된 것 같은 환경광(Lx)을 생성하는 중앙광을 포함해, 본 발명을 사용해 선택적으로 제어되는 복수의 환경광 유닛이 배열된다. 이들 환경광 유닛 각각은 도면에서 그림자처럼 도시된 환경광(A8)을 방출할 수 있다.
본 발명과 협력하여, 비디오 디스플레이(D)로부터 파생되지만, 실제로 이로써 브로드캐스팅되지 않는 컬러 또는 색도를 가진 환경광 유닛으로부터 환경광을 생성할 수 있다. 이것은 사람의 눈과 시각 체계의 특성의 이용을 허용한다. 다양한 가시파장(visible wavelength)에 대한 검출 민감도를 부여하는, 인간의 시각 체계의 휘도 기능은 광 레벨의 기능으로 변화한다는 것이 주목되어야 한다.
예를 들어, 로드에 의존하는 암소시 또는 야간 시야는 청색과 녹색에 더 민감한 경향이 있다. 콘을 사용하는 광소시(photopic vision)는 적색과 노란색과 같은 더 긴 파장광을 검출하는데 더 알맞다. 어두운 홈 시어터 환경에서, 광 레벨의 기능으로서 다른 컬러의 관련 휘도의 이러한 변화는 주변 공간에서 비디오 사용자에게 전송된 컬러를 변조하거나 변경함으로써 다소 중화될 수 있다. 이것은 광 변 조기(미도시)를 사용하여 광 스피커(1-4)와 같은 환경광 유닛의 광을 어둡게 하거나 광을 주변에 전파시키기 전에 더 변조시키기 위해 광 스피커에 추가된 부품, 즉, 광발광(photoluminescent) 에미터를 사용함으로써 행해질 수 있다. 광발광 에미터는 광원으로부터의 인입된 광으로부터 여기(excitation)를 흡수하거나 수용한(undergoing) 다음 이 광을 더 높은 요구된 파장으로 재방출함으로써 컬러 변환을 행한다. 형광 안료와 같은, 광발광 에미터에 의한 이러한 여기와 재방출은, 원래 비디오 이미지 또는 광원에 원래 존재하지 않고, 아마도 디스플레이(D)의 작동에 내재된 컬러의 범위 또는 컬러 전영역에서도 존재하지 않는 새로운 컬러의 렌더링을 허용할 수 있다. 이것은 환경광(Lx)의 원하는 휘도가, 매우 어두운 장면에서와 같이 낮을 때, 그리고 원하는 인지 레벨이 광 변조없이 일반적으로 이뤄진 것보다 더 높을 때 도움이 될 수 있다.
새로운 컬러의 생성은 새롭고 흥미로운 시각 효과를 제공할 수 있다. 예시적인 예로서, 이용가능한 형광 안료가 잘 알려진(참고 [2] 참조), 헌터 오렌지(hunter's orange)라는 컬러와 같은, 오렌지색 광의 생성을 들 수 있다. 주어진 예는 형광의 일반적 현상 및 이와 관련된 현상과 반대로서, 형광색을 포함한다. 형광 오렌지 또는 다른 형광색 염료를 사용하면 낮은 광 상태에 특히 유용할 수 있으며, 이 상태에서 적색 및 오렌지색을 강하게 하면 긴 파장에 대한 암소시의 감소된 민감도를 중화시킬 수 있다.
환경광 유닛에 사용될 수 있는 형광 염료는 페릴렌(Perylenes), 나프탈리마이드(Naphthalimides), 쿠마린(Coumarins), 티오잔텐(Thioxanthenes), 안트라퀴 논(Anthraquinones), 티오인디고이드(Thioindigoids)와 같은 염료 등급, 그리고 미국, 오하이오주, 클리브랜드, Day-Glo Color Corporation이 제조한 것과 같은, 독점적 염료 등급으로 알려진 염료를 포함한다. 이용가능한 컬러는 아파치 옐로우(Apache Yellow), 티크리스 옐로우(Tigris Yellow), 사바나 옐로우(Savannah Yellow), 포코노 옐로우(Pocono Yellow), 모호크 옐로우(Mohawk Yellow), 포토맥 옐로우(Potomac Yellow), 매리골드 오렌지(Marigold Orange), 오타와 레드(Ottawa Red), 볼가 레드(Volga Red), 새몬 핑크(Salmon Pink), 및 컬럼비아 블루(Columbia Blue)를 포함한다. 이들 염료 등급은 알려진 공정을 사용하여, PS, PET 및 ABS와 같은, 합성수지에 결합될 수 있다.
형광 염료 및 물질은 동일한 색도의 비형광 물질에 보다 상당히 밝도록 만들어질 수 있으므로, 시각적 효과를 향상시켰다. 형광색을 생성하기 위해 사용된 전통적인 유기 안료의 소위 지속성 문제는 지난 20년 동안 상당 부분 해결되었는데, 이것은 기술적 진보가 직사광선에 노출된 상태에서 7-10년 동안 생생한 색감을 유지하는 내구성있는 형광 안료를 개발하였기 때문이다. 이들 안료는 그러므로 자외선 유입이 최소화된 홈 시어터 환경에서 거의 파괴할 수 없다.
대안적으로, 형광 광안료(photopigment)가 사용될 수 있으며, 이것은 단순히 단파장광을 흡수하고, 이 광을 적색 또는 오렌지색과 같은 더욱 긴 파장으로 재방출함으로써 작용한다. 기술적으로 진보된 비유기(inorganic) 안료, 즉, 예를 들어, 청색과 보라색과 같은, 400-440nm 광의 가시광을 사용하여 여기를 행하는 안료는 이제 쉽게 이용가능하다.
측광기 및 고니오크로매틱 효과는 시야각의 함수로서 다른 광 컬러, 세기 및 특성을 만들기 위해 유사하게 전개될 수 있다. 이 효과를 실현하기 위해, 환경광 유닛(1-4 및 SL 및 Lx)은 알려진 측광기 소자(미도시)를 단독으로 또는 결합하여 사용할 수 있으며, 그 예로는, 금속 및 진주 광택이 나는 투과성 착색제(colorant); 잘 아려진 회절성 또는 박막 방해 효과를 사용한, 예를 들어, 물고기 비늘 에센스(fish scale essence)를 사용한 무지개 빛깔의(iridescent) 물질; 얇은 구아닌(guanine) 플레이크; 또는 방부제가 함유된 2-아미노히폭산틴(2-aminohypoxanthine)이 있다. 미세한 가루로 만든 운모 또는 다른 물질을 사용한 산란기(diffuser)가 사용될 수 있으며, 기타 물질의 예로는 산화물층, 반동광(bornite) 또는 공작 광석(peacock ore)으로 만들어진 진주 빛깔이 나는 물질; 금속 플레이크, 유리 플레이크, 또는 플라스틱 플레이크; 미립자 물질; 오일; 가루 유리 및 가루 플라스틱이 있다.
이제 도 3을 참조하면, 환경광원의 구동을 허용하기 위해 컬러 정보를 추출하고 컬러 공간 변환을 행하기 위한 본 발명에 따른 시스템이 도시된다. 제 1 단계로서, 컬러 정보는 알려진 기술을 사용하여 비디오 신호(AVS)로부터 추출된다.
비디오 신호(AVS)는 MPEG 인코딩, 오디오 PCM 인코딩 등을 위해 사용된 것 같은 알려진 디지털 데이터 프레임 또는 패킷을 포함할 수 있다. 가변 길이 데이터 패킷을 구비한 프로그램 스트림, 또는 데이터 패킷을 균등하게 분할하는 전송 스트림과 같은 데이터 패킷을 위한 알려진 인코딩 방식, 또는 단일 프로그램 전송 스트림과 같은 다른 방식을 사용할 수 있다. 대안적으로, 본 개시에서 주어진 기능적 단계 또는 블록은 비동기적 프로토콜을 포함하여, 컴퓨터 코드 및 다른 통신 표준을 사용하여, 모방될 수 있다.
일반적인 예로서, 도시된 비디오 신호(AVS)는 도시된 하드 디스크(HD)에 그리고 이로부터 선택된 컨텐츠를 기록하고 전송하기 위한 알려진 방법을 사용하여, 가능하게 컨텐츠 유형의 라이브러리 또는 도시된 메모리(MEM)에 저장된 다른 정보를 사용하여, 도시된 비디오 컨텐츠 분석(CA)을 행할 수 있다. 이것은, 선택된 비디오 컨텐츠의 독립적, 병렬적, 직접적, 지연적, 지속적, 주기적 또는 비주기적 전송을 허용할 수 있다. 이 비디오 컨텐츠로부터 컬러 정보의 구동과 같은 도시된 특성 추출(FE)을 수행할 수 있다. 이 컬러 정보는 여전히 렌더링된 컬러 공간으로 인코딩된 다음, 도시된 RUR 맵핑 변환 회로(10)를 사용하여 CIE XYZ와 같은 렌더링되지 않은 컬러 공간으로 변환된다. RUR은 본 명세서에서 원하는 변환 유형, 즉, 렌더링-비렌더링-렌더링(Rendered-Unrendered-Rendered)을 나타내며, 따라서 RUR 맵핑 변환 회로(10)는 또한 도시된 상기 환경광원(들)(88)의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간으로 컬러 정보를 더 변환한다.
RUR 맵핑 변환 회로(10)는 동일한 기능을 행하는 소프트웨어를 사용하는 컴퓨터 시스템에 기능적으로 장착될 수 있지만, 데이터 전송 프로토콜로 전송된 디코딩 패킷화된 정보의 경우, 비디오 렌더링된 컬러 공간 계수 등을 상관시키거나 제공하는 정보를 포함하거나, 이를 포함하기 위해 업데이트된 회로(10) 내의 메모리(미도시)가 있을 수 있다. 이러한 새롭게 생성된 제 2 렌더링된 컬러 공간은 환경광원(88)(도 1 및 도 2에 도시됨)을 구동하기에 적합하며, 그 구동이 요구되며, 도 시된 환경광 생성 회로(18)로 알려진 인코딩을 사용하여 제공된다. 환경광 생성 회로(18)는 RUR 맵핑 변환 회로(10)로부터 제 2 렌더링된 컬러 공간 정보를 취한 다음, 가능하게 도시된 환경광(제 2 렌더링된) 컬러 공간 LUT를 참고한 후 실제 환경광 출력 제어 파라미터(예, 인가된 전압)를 개발할 임의의 사용자 인터페이스 및 임의의 결과 선호설정 메모리(모두 U2로 표시됨)로부터 임의의 입력을 담당한다. 환경광 생성 회로(18)에 의해 생성된 환경광 출력 제어 파라미터는 도시된 환경광원(88)을 직접 제어하거나 제공하기 위해 램프 인터페이스 구동기(D88)에 제공되며, 이것은 도 1 및 도 2에 도시된 것처럼 이전에 언급한 환경광 스피커(1-4) 또는 주변 중앙광(Lx)과 같이, 개별 환경광 유닛(1-N)을 포함할 수 있다.
계산상 부담을 줄이기 위해, 비디오 신호(AVS)로부터 삭제된 컬러 정보는 생략되거나 제한될 수 있다. 도 4를 참조하면, 비디오 추출 영역으로부터의 평균 컬러 정보를 계산하기 위한 식이 도시된다. 이하 설명된 것처럼, 비디오 신호(AVS)에서 비디오 컨텐츠는 시간 순의 일련의 비디오 프레임을 포함할 것이 생각되지만, 반드시 그럴 필요는 없다. 각 비디오 프레임 또는 등가의 시간 블록에 대해, 각 추출 영역(예, R4)으로부터 평균 또는 다른 컬러 정보를 추출할 수 있다. 각 추출 영역은 100X376 픽셀과 같이, 특정 크기를 갖도록 설정될 수 있다. 평균 추출 전에 추출 영역(R1-R6)에 대한 결과 전체 데이터(gross data)로서, 예를 들어, 25 프레임/초의 프레임 속도를 가정하면(8 비트 컬러를 지정하기 위해 오직 1 바이트만 필요하다고 가정하면) 각 비디오 RGB 3자극 원색에 대해 6x100x376x25 또는 5.64백만 바이트/초가 될 것이다. 이 데이터 스트림은 매우 크며 RUR 맵핑 변환 회로(10)에 서 취급이 어려울 수 있어서, 각 추출 영역(R1-R6)에 대한 평균 컬러의 추출은 특성 추출(FE) 중에 수행될 수 있다. 특히, 도시된 것처럼 m x n 픽셀의 각 추출 영역에서 각 픽셀에 대해 RGB 컬러 채널값(예, Rij)을 합계할 수 있으며, 도시한 것처럼, 각 RGB 원색(예, 적색의 경우 Ravg)에 대한 평균에 도달하도록 픽셀 m x n의 수로 나눌 수 있다. 따라서 각 RGB 컬러 채널에 대해 이 합계를 반복하면, 각 추출 영역에 대한 평균은 세 조(triplet), 즉, 
가 될 수 있다. 동일한 절차는 모든 추출 영역(R1-R6)에 대해 그리고 각 RGB 컬러 채널에 대해 반복된다. 추출 영역의 수와 크기는 도시된 것과 다를 수 있으며, 원하는 것을 적용할 수 있다.
RUR 맵핑 변환 회로(10)에 의해 컬러 맵핑 변환을 행하는 다음 단계는 도 5에 도시된 것처럼, 알려진 3자극 원색 행렬을 사용하여 예시적으로 도시되고 표현될 수 있으며, 이 경우 벡터(R,G,B)를 가진 렌더링된 3자극 컬러 공간은 Xr,max, Yr,max, Zr,max와 같은 요소를 가진 3자극 원색 행렬(M)을 사용하여 변환되며, 이 때 Xr,max는 최대 출력에서 R 원색의 3자극치이다.
디바이스-독립적 공간을 렌더링된 컬러 공간에서 렌더링되지 않은 컬러 공간으로의 변환은 이미지 및/또는 디바이스 특정적일 수 있으며(알려진 선형화(linearization), 픽셀 재구성(필요한 경우)), 흰색 지점 선택 단계가 수행될 수 있으며, 행렬 변환이 후속된다. 이러한 경우, 단순히 렌더링되지 않은 컬러 공간 측색으로의 변환을 위해 렌더링된 비디오 출력 공간을 시작 지점으로 채용하기 위해 선택한다. 렌더링되지 않은 이미지는 시청가능하게 또는 인쇄가능하게 만들기 위해 추가적 변환을 거쳐야 하며, RUR 변환은 제 2 렌더링된 컬러 공간으로의 변환을 수반한다.
제 1 가능한 단계로서, 도 6과 도 7은 비디오 렌더링된 컬러 공간(원색 R,G,B로 표시)과 환경광 렌더링된 컬러 공간(R',G',B'로 표시)을 도시된 것처럼 렌더링되지 않은 컬러 공간(X,Y,Z)으로 맵핑하기 위한 행렬식을 나타내며, 이 때 3자극 원색 행렬(M1)은 비디오 RGB를 렌더링되지 않은 XYZ로 변환하며, 3자극 원색 행렬(M2)은 환경광원 R'G'B'을 도시된 것처럼 렌더링되지 않은 XYZ 컬러 공간으로 변환한다. 렌더링된 컬러 공간(RGB 및 R'G'B') 모두를 도 8에 도시된 것처럼 등식화하면 제 1 및 제 2 3자극 원색 행렬(M1,M2)을 사용하여 렌더링된 (비디오) 컬러 공간의 원색 RGB 및 R'G'B 및 제 2 렌더링된 (주변) 컬러 공간을 상기 렌더링되지 않은 컬러 공간으로의 변환(RUR 맵핑 변환); 및 렌더링된 비디오 컬러 공간의 RGB 원색, 제 1 3자극 행렬(M1) 및 제 2 3자극 행렬의 역행렬(M2)-1의 행렬 곱셈을 통해 컬러 정보를 제 2 렌더링된 컬러 공간(R'G'B')으로의 변환 유도를 허용한다. 알려진 디스플레이 디바이스에 대한 3자극 원색 행렬이 쉽게 이용가능한 반면, 환경광원에 대한 3자극 원색 행렬은 당업자에 의해서 알려진 흰색 지점 방법을 사용하여 결정될 수 있다.
도 9 내지 도 11을 참조하면, 흰색 지점 방법을 사용하여 일반화된 3자극 원색 행렬(M)의 종래 기술의 유도가 도시된다. 도 9에서, SrXr와 같은 수는 최대 출력에서 각 (환경광원) 원색의 3자극치를 나타내며, Sr는 흰색 지점 증폭을 나타내며, Xr는 (환경) 광원에 의해 생성된 원색광의 색도를 나타낸다. 흰색 지점 방법을 사용하여, 행렬식은 도시된 광원 색도 행렬의 알려진 역행렬을 사용하여 흰색 지점 기준값의 벡터와 Sr을 등식화한다. 도 11은 Xw와 같은 흰색 지점 기준값이 흰색 지점 증폭 또는 휘도와 광원 색도의 곱이라는 것을 연상시키기 위한 대수학적 조작이다. 전체적으로, 3자극치(X)는 색도(x)와 같게 설정되고; 3자극치(Y)는 색도(y)와 같게 설정되고; 3자극치(Z)는 1-(x+y)와 같게 설정되도록 정의된다. 알려진 것처럼, 제 2 렌더링된 환경광원 컬러 공간에 대한 컬러 원색 및 기준 흰색 컬러 성분은 컬러 분광계(spectrometer)를 사용하는 것과 같이, 알려진 기술을 사용하여 획득될 수 있다.
제 1 렌더링된 비디오 컬러 공간에 대한 유사한 수를 알 수 있다. 예를 들어, 오늘날 스튜디오 모니터는 북미, 유럽 및 일본에서 조금씩 다른 표준을 가지고 있는 것으로 알려져 있다. 그러나, 고화질 텔레비전(HDTV)을 위한 원색에 대한 국제적인 합의가 도출되었으며, 이들 원색은 스튜디오 비디오, 컴퓨팅 및 컴퓨터 그래픽에서의 오늘날 모니터를 근접하게 대표하고 있다. 이 표준은 공식적으로 ITU-R 권고 BT.709로 표시되며, 이것은 요구된 파라미터를 포함하며, 이 때 RGB에 대한 관련 3자극 원색 행렬(M)은:
0.640 0.300 0.150 ITU-R BT.709에 대한 행렬 M
0.330 0.600 0.060
0.030 0.100 0.790
이며 흰색 지점값은 또한 알려져 있다.
이제 도 12를 참조하면, 도 3에 도시된 것과 유사한 시스템이 도시되며, 주변 브로드캐스팅을 위한 도시된 특성 추출 단계(FE) 이후에 감마 정정 단계(55)를 추가적으로 포함한다. 대안적으로, 감마 정정 단계(55)는 RUR 맵핑 변환 회로(10)와 환경광 생성 회로(18)에 의해 수행된 단계들 사이에서 수행될 수 있다. LED 환경광원에 대한 최적의 감마 값은 1.8인 것으로 알려졌으며, 따라서 일반적 비디오 컬러 공간 감마인 2.5를 중화시키기 위한 음의 감마 정정이 알려진 수학식을 사용해 발견된 정확한 감마 값으로 수행될 수 있다.
일반적으로, 임의의 적절한 알려진 소프트웨어 플랫폼을 통해 수행된 기능적 블록이 될 수 있는, RUR 맵핑 변환 회로(10)는 도 13에 도시된 것과 같은 일반적인 RUR 변환을 수행하며, 이 때 도시된 개략도는 비디오 RGB와 같은 렌더링된 컬러 공간을 포함하는 비디오 신호(AVS)를 취하며, 이를 CIE XYZ와 같은 렌더링되지 않은 컬러 공간으로 변환한 다음; 제 2 렌더링된 컬러 공간(환경광원 RGB)으로 변환한다. 이러한 RUR 변환 이후에, 환경광원(88)은 도시된, 신호 처리와는 별도로, 구동될 수 있다.
도 14는 본 발명에 의해 사용된 환경광원에 대한 변환 행렬 계수를 얻기 위한 프로세스 단계를 도시하며, 이 때 단계들은 도시된 것처럼, 환경광 유닛(들)을 구동하는 단계; 및 종래 기술에 도시된 것같이 출력 선형도 점검 단계를 포함한다. 환경광원 원색이 안정적인 경우(왼쪽 화살표에 안정 원색으로 도시됨), 컬러 분광계를 사용하여 변환 행렬 계수를 획득할 수 있는 반면; 환경광원 원색이 안정적이지 않은 경우(오른쪽 화살표에 불안정 원색으로 도시됨), 이전에 주어진 감마 정정을 리셋할 수 있다(감마 곡선 리셋으로 도시됨).
일반적으로, 반드시 그런 것은 아니지만, R4와 같은 추출 영역에서 모든 픽셀로부터 컬러 정보를 추출하는 것이 바람직하며, 대신, 원하는 경우, 선택된 픽셀을 폴링(poll)하면 평균 컬러의 더 빠른 추정, 또는 추출 영역 컬러 특성화의 더 빠른 생성이 일어나도록 할 수 있다. 도 15는 본 발명을 사용한 추정된 비디오 추출과 환경광 재생을 위한 프로세스 단계를 도시하며, 이 때 단계들은 [1] (비디오 RGB와 같이, 렌더링된 컬러 공간으로부터) 비디오 재생의 측색 추정치 준비 단계; [2] 렌더링되지 않은 컬러 공간으로 변환 단계; 및 [3] 주변 재생에 대한 측정 추정치 변환 단계(LED RGB와 같이 제 2 렌더링된 컬러 공간)를 포함한다.
비디오 프레임으로부터의 비디오 컨텐츠의 추출 및 처리를 지원하는데 필요한 요구된 데이터 비트스트림은(아래의 도 18 참조) 비디오 프레임의 현명한 서브샘플링에 의해 본 발명에 따라 감소될 수 있다는 사실이 발견되었다는 것이 주목되어야 한다. 이제 도 16을 참조하면, 본 발명에 따른 비디오 프레임 추출의 개략도가 도시된다. NTSC, PAL 또는 SECAM 표준에 의해 지정된 개별 비월(interlaced) 또는 비-비월(non-interlaced) 비디오 프레임과 같은 일련의 개별 연속적인 비디오 프레임(F), 즉 프레임(F1, F2, F3 등)이 도시된다. 컨텐츠 분석 및/또는 선택된 연속 프레임(예, 프레임(F1, F2))으로부터의 특성 추출(예, 컬러 정보 추출)을 수행함으로써, 데이터 로드 또는 오버헤드를 절감하면서, 수용가능한 환경광원 응답성, 리얼리즘 및 충성도를 유지할 수 있다. N=10이면 양호한 결과를 가져오는데, 즉, 10개의 연속적인 프레임 중 1개의 프레임을 서브샘플링하면 효과가 나타날 수 있다는 것이 발견되었다. 이것은 낮은 처리 오버헤드의 프레임 추출 사이에 리프레시 기간(P)을 제공하며, 이 기간 동안 인터프레임 보간 프로세스는 디스플레이(D)에서 크로미넌스 변화의 시간 경과의 적절한 근사(approximation)를 제공할 수 있다. 선택된 프레임(F1 및 FN)은 도시된 것처럼 추출되며(EXTRACT) G2,G3,G4로 도시된 크로미넌스 파라미터에 대한 중간 보간된 값은 환경광원(88)에 대한 이전에 언급된 구동 프로세서를 알리기 위해 필요한 컬러 정보를 제공한다. 이것은 프레임(2 내지 N-1) 전체에서 동일한 컬러 정보를 간단히 고정시키거나 유지할 필요성을 제거한다. 보간된 값은 추출된 프레임(F1 및 FN) 사이의 전체 크로미넌스 차이가 보간된 프레임(G) 상에 확산된 경우와 같이, 선형적으로 결정될 수 있다. 대안적으로, 함수는 추출된 프레임(F1 및 FN) 사이의 크로미넌스 차이를 임의의 다른 방법으로 확산시켜서, 추출된 컬러 정보의 시간 경과의 더 높은 순서의 근사에 맞출 수 있다.
도 17은 본 발명에 따른 생략된 크로미넌스 평가에 대한 프로세스 단계를 도시한다. 프레임 추출의 더 높은 순차 분석은 다른 경우에 가능한 것 보다 더 긴 리 프레시 기간(P)과 더 큰 N일 수 있다. 프레임 추출 중에, 또는 추출 영역(Rx)에서 선택된 픽셀의 잠정적 폴링 중에, 도시된 것과 같은 생략된 크로미넌스 평가를 행할 수 있으며, 이것은 왼쪽에 도시된 것처럼, 다음 프레임 추출에서의 지연을 야기시키거나 오른쪽에 도시된 것처럼, 전체 프레임 추출의 개시를 초래할 것이다. 어떠한 경우라도, 보간이 진행되며, 지연된 다음 프레임 추출은 고정되거나 증가된 크로미넌스 값이 사용되도록 한다. 이것은 비트스트림 또는 대역폭 오버헤드에 대해 더욱 경제적인 작동을 제공할 수 있다.
도 18은 도 3과 도 12의 맨 위 부분을 도시하며, 이 경우 대안적인 추출 단계가 도시되고 이에 따라 프레임 디코더(FD)가 사용되며, 추출 영역(예,R1)으로부터 영역 정보를 설명하는 것은 도시된 것처럼 단계(33)에서 추출된다. 추가적인 프로세스 또는 성분 단계(35)는 크로미넌스를 평가하는 단계, 및 나타난 것처럼, 비디오 프레임 추출 속도를 설정하기 위해 이 정보를 사용하는 단계를 포함한다. 도 4의 평균화 단계처럼, 출력 계산(00)을 수행하는 다음 프로세스 단계는, 도시된 것처럼, 환경광 및 이전에 도시된 생성 회로(18)로의 데이터 전송 이전에 수행된다.
도 19에 도시된 것처럼, 본 발명을 위한 컬러 정보 추출 및 처리를 위한 일반적인 프로세스 단계는 비디오 신호(AVS)를 획득하는 단계; 선택된 비디오 프레임(이전에 언급한 F1 및 FN와 같이)으로부터 영역 (컬러) 정보를 추출하는 단계; 선택된 비디오 프레임 사이에 보간하는 단계; RUR 맵핑 변환; 선택적 감마 정정; 및 이 정보를 환경광원(88)을 구동하기 위해 사용하는 단계를 포함한다.
도 20에 도시된 것처럼, 2개의 추가적인 프로세스 단계는 선택된 프레임으로부터 정보의 영역 추출이후에 삽입될 수 있으며: 선택된 프레임(F1 및 FN) 사이의 크로미넌스 차이의 평가를 수행할 수 있고, 미리 설정된 표준에 따라서, 나타난 것처럼 새로운 프레임 추출 속도를 설정할 수 있다. 따라서, 연속적인 프레임(F1 및 FN) 사이의 크로미넌스 차이가 크거나, 급격히 증가하거나(예, 큰 제 1 도함수(derivative)), 크로미넌스 차이 이력에 기초하는 것처럼 일부 다른 표준을 충족시키는 경우, 프레임 추출 속도를 증가시킬 수 있으며, 따라서 리프레시 기간(P)을 감소시킬 수 있다. 그러나, 연속적인 프레임(F1 및 FN) 사이의 크로미넌스 차이가 작고, 안정되거나 급격히 증가하지 않거나(예, 작거나 0인 절대적 제 1 도함수), 크로미넌스 차이 이력에 기초한 것과 같이, 일부 다른 표준을 충족시키는 경우, 요구된 필요한 데이터 비트스트림 상에 저장할 수 있으며 프레임 추출 속도를 감소시킬 수 있으며, 따라서 리프레시 기간(P)이 증가된다.
설명한 것처럼, LED와 같은 많은 원하는 환경광원에 대한 낮은 세기의 작동 문제는 설계자들에게는 어려운 문제이다. 최소 전력 레벨에서 낮은 세기의 작동 및 종종 정확하지 못한 시작 및 종료 시점으로 인해, 색조(hue)와 색도를 재생하는 것이 어렵다. 예를 들어, 디스플레이(D) 상의 비디오 컨텐츠가 95%는 검은색 또는 검은색에 가까운 픽셀로, 5%는 적색 픽셀로 구성된 장면 물질을 보여주는 경우, 유사한 시각적 인식은 거의 검은색이다. 그러나, 5% 적색 방출로 설정된 LED를 사용하여 이 색도를 재생하려고 하면, 이로부터 출력의 인지된 컬러는(벽에서 반사된 것) 어두운 적색일 것이다. 어두운 컬러를 보여주기 위해 LED를 사용할 수 없으므로, 더 나은 접근 방식, 즉, 특정 추출 영역에 대해 추출된 평균 컬러(RAVG)의 세기가 제 1 임계값 아래로 떨어질 때마다 출력을 스위칭하거나 LED의 전원을 끄는 방법, 추출된 컬러 평균이 제 1 임계값 이상으로 올라갈 때 LED를 다시 스위칭 온하는 방법이 발견되었다. 이 방법은 도 21에 그래프로 도시된다.
이제 도 21을 참조하면, 본 발명에 따른 이러한 출력 임계(thresholding)를 보여주는 데카르트 플롯(cartesian plot)이 주어진다. 도시된 가로 좌표 상에는 상대적 밝기 세기 또는 도시된 다른 파라미터와 같은, 샘플 파라미터가 있다. 세기(I)는 초 단위의 시간 함수로서 좌표가 기입(plot)된다. 도시된 것처럼, 이전에 주어진 방법에 의해 요청된 것과 같은 세기(I)는, 대략 0.16 상대 단위의 값으로부터 내려오고, 대략 0.05의 레벨에서 변동하며 도시된 것처럼 제 1 임계값(T1)의 위 아래를 통과하며, 여기서 제 1 임계값(T1)은 0.05의 세기로 설정된다. 또한 이 플롯에서는 온 상태와 오프 상태(81 및 80)가 각각 도시되며, 이것은 본 발명에 따른 LED 작동의 관리를 반영한다. 보다시피, 세기(I)가 제 1 임계값(T1) 아래로 떨어질 때마다. 오프 상태(80)가 부가되고; 세기(I)가 제 1 임계값(T1) 위로 다시 한번 올라가면, 온 상태(81)가 설정된다. 따라서 상태의 온/오프 변경은 제 1 임계값(T1)에서 개시된다.
이 방법은 한 가지 단점과 함께, 더 나은 색도와 컬러/ 휘도 관리를 예기치 않게 제공한다. 추출된 평균 컬러 세기(I)는 도 21에 도시된 것처럼, 제 1 임계 값(T1) 주변에서 변동되는 일부 경우에서의 문제점이 여전히 존재한다는 것이 발견되었다. 이러한 경우, LED는 반복하여 가끔은 매 초마다 여러 번 스위칭 온/오프되며, 이것은 성가시거나 플리커링(flickering) 인지를 유도할 수 있다. 본 발명의 다른 실시예, 즉, 다른 제 2 임계값(T2)은 제 1 임계값(T1) 이상으로 설정되는 방식 및 세기(I)가 제 1 임계값(T1) 이하로 떨어지고, LED는 스위칭 오프되고, 세기(I)가 제 2 임계값 이상으로 올라갈 때, 이들이 스위칭 온되는 방식의 두 가지 임계값 접근 방식이 발견되었다.
이제 도 22를 참조하면, 이러한 이중 임계값 출력 임계를 보여주는 데카르트 플롯은 유사한 플롯을 사용하여 주어진다. 보다시피, LED 온 상태(81)는 세기(I)가 LED 오프 상태(80)로 되는 제 1 임계값(T1)과 제 2 임계값(T2) 이하로 떨어질 때까지 지속된다. LED 온 상태(81)는 세기(I)가 임계값(T1 및 T2) 위로 상승될 때까지 다시 적용되지 않는다. 이러한 접근 방식과 주어진 세기(I)의 플롯을 사용하여, LED 또는 환경광원을 오직 두 가지로 상태를 변화시킬 수 있는데, 다른 경우, 도 21의 단일 임계값 방법을 사용하여 6 가지로 상태를 변화시킬 수도 있다. 제 1 임계값(T1) 및 제 2 임계값(T2)은 각각 0.05 및 0.08이라는 것이 발견되었다. 제 1 임계값(T1)과 제 2 임계값(T2) 사이에 해당하는 세기(I)의 값은 어떠한 상태 변경도 발생하지 않는 종류의 버퍼에 있다. 온 상태에서 오프 상태로 또는 이와 반대로의 상태 변경은 세기(I)가 이들 임계값(T1 및 T2)을 통과할 때만 발생할 것이다. 이러한 요건은 본질적으로 임계값(T1 및 T2)에서 또는 이에 근접하여 변동하는 세기(I)에 대해, 도시된 것처럼 온/오프 플리커를 감소시킨다.
도 23은 도 3, 도 12 및 도 18에 도시된 것과 유사한 단순화된 추출 단계, 즉, 프레임 디코더 이용 단계(FD), 단계 33의 영역 정보 추출 단계, 및 환경광원을 구동하기 위한 출력 계산 수행 단계(00)를 도시하는데; 하지만, 출력이 RUR 맵핑 변환 회로 또는 단계 10을 통과한 후, 결과 출력은 이후, 설명한 것처럼 임계화된(thresholded) 작동을 발생시킬 필요가 있는 처리 단계를 수행하기 위해 임계값 유닛(TU)에 의해 처리된다. 임계화된 출력은 이후 이전에 주어진 것처럼 환경광 생성 회로(18)로 전송된다.
도 24는 도 20에 도시된 것과 유사한 컬러 정보 추출, 처리 및 출력 임계를 위한 처리 단계를 도시하지만, 보다시피, 도시된 감마 정정 이후에, 출력은 임계값 렌더링된 출력으로 도시된 것처럼 임계화된다. 이들 단계의 순서는 변경될 수 있는데; 예를 들어, 임계 단계는 감마 정정 이전에 발생될 수 있다.
제 1 임계값(T1) 및 제 2 임계값(T2)에 대한 실제값은 시간에 따라 또는 크로미넌스, 휘도, 또는 심지어 이전에 주어진 사용자 인터페이스 및 선호 설정 메모리(U2)의 함수로서 변경될 수 있다. 임계 단계는 분리된 임계 단위(TU)로 발생할 필요는 없으며, 다른 구성요소에 의해, 또는 컴퓨터 명령어 또는 코드에 의해 수행될 수 있다. 구성 요소 설명은 본 명세서에서 예시적으로 도시된다. 임계 단계는 단일 값 또는 파라미터에 따라 정해질 필요는 없으며, 본 명세서에서 작동하는 것으로 발견된 온/오프 상태의 변화의 억제 또는 개시이다. 또한, 램프 또는 환경광원의 개체수(population)의 오직 일부(가능하게는 하나)만이 교시에서 이탈하지 않고 본 명세서에서 교시된 출력 임계에 포함되도록 설정될 수 있다.
일반적으로, 환경광원(88)은 희게 하거나(frosted) 광택을 낸(glazed) 표면; 리브(ribbed) 유리 또는 플라스틱을 가진 램프 구조를 사용함으로써; 또는 개별 광원을 둘러싸는 금속 구조를 사용함으로써, 반투명 또는 다른 현상뿐만 아니라 광 혼합을 생성하기 위하 다양한 산란기 효과를 구현할 수 있다. 재미있는 효과를 제공하기 위해, 임의의 수의 알려진 산란 또는 분산 물질 또는 현상이 사용될 수 있으며, 여기에는 작은 떠 있는 입자로부터 분산을 이용해 얻어진 것; 어두운(clouded) 플라스틱 또는 레진, 콜로이드, 에멀전, 또는 예를 들어, 1:m보다 작은, 1-5:m 이하의 알약을 사용한 조제품이 포함되며, 장수명 유기 혼합물; 겔; 및 졸(sol), 당업자에 알려진 제조물 및 제작물이 포함된다. 분산 현상은 환경광의 청색을 강화하기 위한 청색 제조를 위한 것과 같은 가시 파장에 대한 레일리(Rayleigh) 분산을 포함하도록 공작될 수 있다. 생성된 컬러는, 예를 들어, 특정 영역에서의 전체적으로 청색의 색조를 띄거나, 맨 위 부분에 청색 광이 생성되도록(환경광 L1 또는 L2), 부분적 색조와 같이, 부분적으로 한정될 수 있다.
주변 램프는 또한 램프 구조 내부에 형성되거나, 이와 결합하거나 이에 삽입될 수 있는 원통형 프리즘 또는 렌즈와 같은 측광기 소자와 적합될 수 있다. 이것은 생성된 광의 특성이 시청자의 위치의 함수로서 변경하는 특수 효과를 허용할 수 있다. 다른 광 형태 및 형상이 사용될 수 있으며, 여기에는, 직사각형, 삼각형 또는 불규칙한 형태의 프리즘 또는 형태가 포함되며, 이들은 환경광 유닛에 배치되거나 이에 결합될 수 있다. 그 결과는 등방성 출력을 얻기보다는, 얻어진 효과가 무한히 변화될 수 있으며, 그 예로는 주변 벽, 물체, 및 환경광원 주변에 배치된 표 면 상에 비춰진 재밌는 광의 범위가 있으며, 광의 유형이 어두운 방에서 장면 요소, 컬러 및 비디오 디스플레이 유닛 상의 세기의 변화로서 보여지도록 한다. 이 효과는 시청자가 홈 시어터를 볼 때 의자에서 일어나 시청 위치를 이동하면, 광 특성을 시청자 위치의 함수로서 매우 민감하게 변화시키는 시어터 환경광이 될 수 있다.(예, 청색의 불꽃, 이후 적색 광). 사용될 수 있는 측광기 요소의 수와 유형은 거의 제한이 없으며, 플라스틱, 유리를 포함하며, 광학 효과는 스코어링(scoring) 및 조심스럽게 파괴적인 제조 기법으로부터 생성된다. 환경 램프는 다른 시어터 효과에 대해, 고유하고, 심지어 교환가능하게 만들어질 수 있다. 이들 효과는 측광기 요소를 통과하도록 허용된 광의 양을 변경함으로써, 또는 환경광 유닛의 다른 부분(예, 보조 램프 또는 LED 그룹을 사용)을 조명함으로써 변조가능할 수 있다.
이렇게 하여, 도 1에 도시된 것처럼 추출 영역(R3)을 모방하기 위해 L3에서 생성된 환경광은 도시된 것처럼 움직이는 물고기같이, 해당 영역에서 현상의 인지적 연장을 제공하는 색도를 가질 수 있다. 이것은 시각적 경험을 배가할 수 있으며 적절하고 번쩍거리지 않거나 적절하지 않게 잘못 매칭되지 않은 색조를 제공할 수 있다.
비디오 신호(AVS)는 물론 디지털 데이터스트림이 될 수 있으며 동기화 비트 및 연결 비트; 패리티 비트; 에러 코드; 인터리빙(interleaving); 특수 변조; 버스트 헤더, 및 환경광 효과의 설명(예, "번개 폭풍", "일출" 등)과 같은 원하는 메타데이터를 포함하며 당업자는 주어진 기능적 단계들은 본 명세서에서 단지 예시적이며 명료함을 위해, 종래의 단계 또는 데이터를 포함하지 않는다.
도 3과 도 12에 도시된 것처럼 사용자 인터페이스 및 선호 설정 메모리는 시스템 비헤이비어(behavior)에 관한 선호 설정을 변경하는데 사용될 수 있으며, 그 예로는 컬러 충성도의 정도를 원하는 비디오 디스플레이(D)의 비디오 컨텐츠를 변경하는 것; 현란함(flamboyance)을 변경하는 것이 있으며, 상기 정도는 형광색 또는 전영역 외의 컬러가 주변 공간에 브로드캐스팅되는 정도 또는 환경광이 얼마나 빨리 또는 크게 비디오 컨텐츠 내의 변화에 반응하는지 정도를 포함하며, 이것은 광 스크립트 명령 컨텐츠 내의 변화의 세기 또는 다른 품질을 과장함으로써 이루어진다. 이것은 특정 특성의 영화 또는 컨텐츠에 대한 완화된 톤을 만들 수 있는 진보된 컨텐츠 분석을 포함할 수 있다. 컨텐츠 내에 많은 어두운 장면을 포함하는 비디오 컨텐츠는 환경광원(88)의 비헤이비어에 영향을 줄 수 있으며, 브로드캐스팅 환경광이 흐려지도록 하는 반면, 현란하거나 밝은 톤은 많은 살색 또는 밝은 장면(태양 아래 해변, 사바나의 호랑이 등)과 같이, 특정 다른 컨텐츠에 대해 사용될 수 있다.
본 명세서에서 당업자가 본 발명을 실행할 수 있도록 설명이 주어진다. 많은 구성이 본 교시를 사용하여 가능하며 본 명세서에 주어진 구성과 배열은 오직 예시적이다. 실제로, 교시되고 청구된 방법은, 환경 센터 또는 홈 시어터 센터와 같이, 더 큰 시스템의 일부로 나타날 수 있다.
본 명세서에서 예시적으로 교시된 기능과 계산은 소프트웨어 또는 기계 코드를 사용하여 기능적으로 재생되거나 모방될 수 있으며, 당업자는 본 명세서에서 교시된 인코딩과 디코딩이 관리되는 방법과 상관없이 이들 교시를 사용할 수 있다는 것은 잘 알려져 있다.
당업자는, 이들 교시에 기초해, 본 명세서에서 교시되고 청구된 장치 및 방법을 변경할 수 있으며 따라서, 예를 들어, 특정 애플리케이션, 및 예시적인 목적으로 선택된 것들과 거의 공통점이 없을 수 있는 생성 시스템에 맞추기 위해 단계 또는 데이터 구조를 재배열할 수 있다.
위의 예를 사용하여 개시된 본 발명은 전술한 특성의 오직 일부만을 사용하여 실행될 수 있다. 또한, 본 명세서에서 교시되고 청구된 어떠한 것도 다른 구조 또는 기능적 요소의 추가를 배제하지 않는다.
명백하게, 본 발명의 많은 변경과 변형은 전술한 교시의 견지에서 가능하다. 따라서, 첨부된 청구항의 범위 내에서, 본 발명은 본 명세서에서 구체적으로 설명되거나 제안된 것 이외의 것으로 실행될 수 있다는 것이 이해될 것이다.
본 발명은, 복수의 광원을 사용하여, 일반적으로 예를 들어, 비디오 디스플레이로부터, 비디오 컨텐츠에 기초해, 또는 이와 연관된, 환경광 효과를 생성시키고 설정하는 것에 관한 것으로서, 출력 임계를 사용하여, 환경광원에 의해 모방될 비디오 컨텐츠를 추출하고 처리하기 위한 방법 등에 이용가능하다.
Claims (20)
- 환경광원에서 상태 변화의 억제 또는 개시를 나타내는 임계화된 출력을 사용하여, 환경광원(88)에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법으로서,[1] 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 비디오 신호(AVS)로부터, 휘도의 세기 또는 광도의 세기를 포함하는 컬러 정보를 추출하는 단계;[4] 상기 환경광원의 상태의 온/오프 변경이 (a) 상기 휘도의 세기 또는 광도의 세기가 임계값 아래로 떨어질 때 상기 환경광원을 스위칭 오프하고, (b) 상기 휘도의 세기 또는 광도의 세기가 상기 임계값 이상으로 올라갈 때 상기 환경광원을 스위칭 온할 수 있도록 상기 컬러 정보를 임계화하는 단계를 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 단계 [1] 이후에:[2] 상기 컬러 정보를 렌더링되지 않은 컬러 공간(XYZ)으로 변환하는 단계;[3] 상기 컬러 정보를 상기 렌더링되지 않은 컬러 공간으로부터 상기 환경광원을 구동하는 것을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간(R'G'B')으로 변환하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 단계 [1]은 상기 컬러 정보로부터 평균 컬러(RAVG)를 추출하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 단계 [1]은 상기 비디오 컨텐츠를 디코딩하는 비디오 디스플레이의 한 부분인 추출 영역(R1)으로부터 상기 컬러 정보의 적어도 하나를 추출하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 4항에 있어서, 단계 [1]은 상기 추출 영역에 인접한 상기 환경광원으로부터 환경광(L4)을 방출하기 위해 상기 컬러 정보의 상기 추출을 사용하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 1항에 있어서, 상기 임계값은 제 1 임계값(T1) 및 제 2 임계값(T2)을 포함하고, 상기 환경광원의 상태의 온/오프 변경은 (a) 상기 휘도의 세기 또는 광도의 세기가 상기 제 1 임계값(T1) 및 상기 제 2 임계값(T2) 아래로 떨어질 때 상기 환경광원을 스위칭 오프하고, (b) 상기 휘도의 세기 또는 광도의 세기가 상기 제 1 임계값(T1) 및 상기 제 2 임계값(T2) 이상으로 올라갈 때 상기 환경광원을 스위칭 온하는 것인, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 상기 제 2 렌더링된 컬러 공간으로의 감마 정정을 수행하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 단계 [2] 및 [3]은 렌더링된 컬러 공간의 원색(RGB)과 제 2 렌더링된 컬러 공간의 원색(R'G'B')을 제 1 3자극 원색 행렬(M1) 및 제 2 3자극 원색 행렬(M2)을 사용하여 상기 렌더링되지 않은 컬러 공간으로 행렬 변환하는 단계; 및 상기 렌더링된 컬러 공간의 상기 원색, 상기 제 1 3자극 원색 행렬(M1), 및 상기 제 2 3자극 원색 행렬의 역행렬(M2)-1의 행렬 곱셈에 의해 상기 컬러 정보를 상기 제 2 렌더링된 컬러 공간(R'G'B')으로 변환을 유도하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 8항에 있어서, 상기 렌더링되지 않은 컬러 공간은 CIE XYZ; ISO 표준 17321에서 정의된 ISO RGB; 포토 YCC; 및 CIE LAB 중 하나인, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 8항에 있어서, 단계 [1]은 상기 컬러 정보로부터 평균 컬러(RAVG)를 추출하는 단계를 추가적으로 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 10항에 있어서, 단계 [1]은 상기 비디오 컨텐츠를 디코딩하는 비디오 디스플레이의 한 부분인 추출 영역(R1)으로부터 상기 컬러 정보의 적어도 하나를 추출하는 단계를 더 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 11항에 있어서, 단계 [1]은 상기 추출 영역에 인접한 상기 환경광원으로부터 환경광(L4)을 방출하기 위해 상기 컬러 정보의 상기 추출을 사용하는 단계를 더 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 단계 [1],[2] 및 [3]은 상기 제 2 렌더링된 컬러 공간에서 상기 컬러 정보를 사용하는 비디오 디스플레이로부터 또는 비디오 디스플레이 주변에서 환경광을 방출하는, 상기 비디오 신호(AVS)와 동기화되어 실시간으로 동작하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 2항에 있어서, 상기 제 2 렌더링된 컬러 공간에서 상기 컬러 정보를 사용하여 상기 환경광원으로부터 환경광(L1)을 방출하는 단계를 더 포함하는, 환경광원에 의해 재생될 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 환경광원에서 상태 변화의 억제 또는 개시를 나타내는 임계화된 출력을 사용하여 환경광원(88)에 의해 재생될 렌더링된 컬러 공간(RGB)으로부터 비디오 컨텐츠를 추출하고 처리하기 위한 방법으로서,[1] 상기 렌더링된 컬러 공간에서 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 비디오 신호(AVS)로부터, 휘도의 세기 또는 광도의 세기를 포함하는, 컬러 정보를 추출하는 단계;[2] 상기 비디오 신호(AVS)를 프레임 세트로 디코딩 하고, 상기 프레임 각각에서 비디오 컨텐츠를 디코딩하는 비디오 디스플레이의 한 부분인 추출 영역(R1)으로부터 상기 컬러 정보로부터 평균 컬러(RAVG)를 추출하는 단계;[3] 상기 평균 컬러를 렌더링되지 않은 컬러 공간(XYZ)으로 변환하는 단계;[4] 상기 렌더링되지 않은 컬러 공간으로부터 상기 평균 컬러를 상기 환경광원의 구동을 허용하기 위해 형성된 제 2 렌더링된 컬러 공간(R'G'B')으로 변환하는 단계;[5] 상기 환경광원의 상태의 온/오프 변경이 (a) 상기 휘도의 세기 또는 광도의 세기가 임계값 아래로 떨어질 때 상기 환경광원을 스위칭 오프하고, (b) 상기 휘도의 세기 또는 광도의 세기가 상기 임계값 이상으로 올라갈 때 상기 환경광원을 스위칭 온할 수 있도록 상기 컬러 정보를 임계화하는 단계;[6] 상기 추출 영역에 인접한 상기 환경광원으로부터 환경광(L4)을 방출하기 위해, 상기 평균 컬러를 사용하는 단계를 포함하는, 환경광원에 의해 재생될 렌더링된 컬러 공간(RGB)으로부터 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 15항에 있어서, 상기 임계값은 제 1 임계값(T1) 및 제 2 임계값(T2)을 포함하고, 상기 환경광원의 상태의 온/오프 변경은 (a) 상기 휘도의 세기 또는 광도의 세기가 상기 제 1 임계값(T1) 및 상기 제 2 임계값(T2) 아래로 떨어질 때 상기 환경광원을 스위칭 오프하고, (b) 상기 휘도의 세기 또는 광도의 세기가 상기 제 1 임계값(T1) 및 상기 제 2 임계값(T2) 이상으로 올라갈 때 상기 환경광원을 스위칭 온하는 것인, 환경광원에 의해 재생될 렌더링된 컬러 공간(RGB)으로부터 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 제 15항에 있어서, 단계 [3] 및 [4]는 렌더링된 컬러 공간의 원색(RGB)과 제 2 렌더링된 컬러 공간의 원색(R'G'B')을 제 1 3자극 원색 행렬(M1)및 제 2 3자극 원색 행렬(M2)을 사용하여 상기 렌더링되지 않은 컬러 공간으로 행렬 변환하는 단계; 및상기 렌더링된 컬러 공간의 상기 원색, 상기 제 1 3자극 원색 행렬(M1), 및 상기 제 2 3자극 원색 행렬의 역행렬(M2)-1의 행렬 곱셈을 통해 상기 컬러 정보를 상기 제 2 렌더링된 컬러 공간(R'G'B')으로 변환을 유도하는 단계를 더 포함하는, 환경광원에 의해 재생될 렌더링된 컬러 공간(RGB)으로부터 비디오 컨텐츠를 추출하고 처리하기 위한 방법.
- 비디오 컨텐츠의 재생을 위한 환경광원(88)을 상기 환경광원에서 상태 변화의 억제 또는 개시를 나타내는 임계 기준에 따라 임계화하여 출력하기 위한 방법으로서,[1] 상기 비디오 컨텐츠의 적어도 일부를 인코딩하는 비디오 신호(AVS)로부터, 휘도의 세기 또는 광도의 세기를 포함하는 컬러 정보를 추출하는 단계;[6] 상기 환경광원의 상태의 온/오프 변경은 (a) 상기 휘도의 세기 또는 광도의 세기가 임계값 아래로 떨어질 때 상기 환경광원을 스위칭 오프하고, (b) 상기 휘도의 세기 또는 광도의 세기가 상기 임계값 이상으로 올라갈 때 상기 환경광원을 스위칭 온할 수 있도록 상기 컬러 정보를 임계화하는 단계를 포함하는, 비디오 컨텐츠의 재생을 위한 환경광원을 임계화하여 출력하기 위한 방법.
- 제 18항에 있어서, 추가적으로 측색 추정치를 사용하고 인터프레임 보간 프로세스를 이용하는, 상기 방법은:[2] 상기 비디오 신호를 프레임(F) 세트로 디코딩하고, 오직 선택된 추출 프레임(F1,FN)으로부터 상기 컬러 정보를 추출하고, 및 보간된 프레임(G2,G3+)을 얻기 위해 상기 추출 프레임 사이의 인터프레임 보간을 수행하며, 상기 컬러 정보는 이후 상기 추출 프레임과 상기 보간된 프레임으로부터 새로 파생되는, 디코딩 단계;[3] 상기 선택된 추출 프레임 각각에서 비디오 컨텐츠를 디코딩하는 비디오 디스플레이의 한 부분인 추출 영역(R1)으로부터의 상기 컬러 정보로부터 측색 추정치를 추출하는 단계;[4] 상기 측색 추정치를 렌더링되지 않은 컬러 공간(XYZ)으로 변환하는 단계;[5] 상기 렌더링되지 않은 컬러 공간으로부터의 상기 측색 추정치를 상기 환경광원의 구동을 허용하도록 형성된 제 2 렌더링된 컬러 공간(R'G'B')으로 변환하는 단계;[7] 상기 추출 영역에 인접한 상기 환경광원으로부터 환경광(L4)을 방출하기 위해 단계 [6] 이후에 상기 측색 추정치를 사용하는 단계를 더 포함하는, 비디오 컨텐츠의 재생을 위한 환경광원을 임계화하여 출력하기 위한 방법.
- 제 18항에 있어서, 상기 임계값은 제 1 임계값(T1) 및 제 2 임계값(T2)을 포함하며, 상기 환경광원의 상태의 온/오프 변경은 (a) 상기 휘도의 세기 또는 광도의 세기가 상기 제 1 임계값(T1) 및 상기 제 2 임계값(T2) 아래로 떨어질 때 상기 환경광원을 스위칭 오프하고, (b) 상기 휘도의 세기 또는 광도의 세기가 상기 제 1 임계값(T1) 및 상기 제 2 임계값(T2) 이상으로 올라갈 때 상기 환경광원을 스위칭 온하는 것인, 비디오 컨텐츠의 재생을 위한 환경광원을 임계화하여 출력하기 위한 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US53426504P | 2004-01-05 | 2004-01-05 | |
| US60/534,265 | 2004-01-05 | ||
| PCT/IB2005/050054 WO2005069638A1 (en) | 2004-01-05 | 2005-01-05 | Flicker-free adaptive thresholding for ambient light derived from video content mapped through unrendered color space |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060112678A KR20060112678A (ko) | 2006-11-01 |
| KR101117591B1 true KR101117591B1 (ko) | 2012-02-24 |
Family
ID=34794259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020067013186A KR101117591B1 (ko) | 2004-01-05 | 2005-01-05 | 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7859595B2 (ko) |
| EP (1) | EP1704727B1 (ko) |
| JP (1) | JP2007521774A (ko) |
| KR (1) | KR101117591B1 (ko) |
| CN (1) | CN100584037C (ko) |
| WO (1) | WO2005069638A1 (ko) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006126844A2 (en) | 2005-05-26 | 2006-11-30 | Lg Electronics Inc. | Method and apparatus for decoding an audio signal |
| JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
| CN100534204C (zh) * | 2005-10-26 | 2009-08-26 | 仁宝电脑工业股份有限公司 | 仿真影像信号情境的方法及装置 |
| CN101371298A (zh) * | 2006-01-19 | 2009-02-18 | Lg电子株式会社 | 用于解码信号的方法和装置 |
| EP1974346B1 (en) | 2006-01-19 | 2013-10-02 | LG Electronics, Inc. | Method and apparatus for processing a media signal |
| KR100991795B1 (ko) | 2006-02-07 | 2010-11-04 | 엘지전자 주식회사 | 부호화/복호화 장치 및 방법 |
| WO2007113740A1 (en) * | 2006-03-31 | 2007-10-11 | Koninklijke Philips Electronics, N.V. | Ambient lighting filter control |
| KR100774203B1 (ko) * | 2006-06-27 | 2007-11-08 | 엘지전자 주식회사 | 텔레비전 수신기 및 텔레비전 수신기에서 디스플레이특성을 조절하는 방법 |
| ATE473618T1 (de) | 2006-10-05 | 2010-07-15 | Koninkl Philips Electronics Nv | Farbübergangsverfahren für ein umgebungs- oder ein allgemeines beleuchtungssystem |
| CN101682962A (zh) | 2007-05-22 | 2010-03-24 | 皇家飞利浦电子股份有限公司 | 用于显示器设备的环境照明系统以及这种环境照明系统的操作方法 |
| CN101463963B (zh) * | 2007-12-21 | 2010-09-29 | 富士迈半导体精密工业（上海）有限公司 | 照明系统 |
| JP5250638B2 (ja) * | 2008-01-17 | 2013-07-31 | トムソン ライセンシング | フリッカー測定方法 |
| US8860751B2 (en) | 2009-09-01 | 2014-10-14 | Entertainment Experience Llc | Method for producing a color image and imaging device employing same |
| JP2013504080A (ja) | 2009-09-01 | 2013-02-04 | エンターテインメント イクスピアリアンス エルエルシー | カラー画像を生成する方法及び当該方法を使用した画像化装置 |
| US8576340B1 (en) | 2012-10-17 | 2013-11-05 | Sony Corporation | Ambient light effects and chrominance control in video files |
| US8928811B2 (en) * | 2012-10-17 | 2015-01-06 | Sony Corporation | Methods and systems for generating ambient light effects based on video content |
| US8928812B2 (en) | 2012-10-17 | 2015-01-06 | Sony Corporation | Ambient light effects based on video via home automation |
| TWI465701B (zh) * | 2013-01-28 | 2014-12-21 | Lextar Electronics Corp | 偵測環境光源閃爍頻率的方法與系統 |
| US9645395B2 (en) | 2013-03-15 | 2017-05-09 | Mark Bolas | Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments |
| US9293079B2 (en) | 2013-03-15 | 2016-03-22 | University Of Southern California | Control of ambient and stray lighting in a head mounted display |
| US9628783B2 (en) | 2013-03-15 | 2017-04-18 | University Of Southern California | Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display |
| US9600904B2 (en) * | 2013-12-30 | 2017-03-21 | Samsung Electronics Co., Ltd. | Illuminating a virtual environment with camera light data |
| CN103747224B (zh) * | 2014-01-26 | 2015-09-09 | 冠捷显示科技（厦门）有限公司 | 基于音视频设备的环境光自适应变化率的控制方法 |
| US20150282275A1 (en) | 2014-03-25 | 2015-10-01 | General Electric Company | Dimmer with photo sensor and high/low clamping |
| US20180060994A1 (en) * | 2016-08-27 | 2018-03-01 | Grace Rusi Woo | System and Methods for Designing Unobtrusive Video Response Codes |
| US10602111B2 (en) | 2016-09-06 | 2020-03-24 | Apple Inc. | Auto white balance control algorithm based upon flicker frequency detection |
| WO2019041147A1 (zh) * | 2017-08-29 | 2019-03-07 | 广东虚拟现实科技有限公司 | 光点识别方法、装置以及系统 |
| CN110473280B (zh) * | 2018-05-09 | 2024-02-23 | 网易（杭州）网络有限公司 | 多光源画面渲染方法、装置、存储介质、处理器和终端 |
| CN109661073B (zh) * | 2019-01-25 | 2024-06-04 | 广州腾龙健康实业股份有限公司 | 一种pwm信号转换方法、装置及其灯具亮度调控装置 |
| CN116312312B (zh) * | 2022-09-05 | 2024-06-28 | 深圳市集贤科技有限公司 | 颜色数据的处理方法、光源系统、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611297B1 (en) * | 1998-04-13 | 2003-08-26 | Matsushita Electric Industrial Co., Ltd. | Illumination control method and illumination device |
| US20040174326A1 (en) * | 2001-06-28 | 2004-09-09 | Shinichi Yamamoto | Illumination service providing method, illumination apparatus, recording medium, and reproduction apparartus |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63164582A (ja) * | 1986-12-25 | 1988-07-07 | Nec Corp | 調光装置 |
| JPH0676958A (ja) * | 1992-08-26 | 1994-03-18 | Matsushita Electric Works Ltd | 可変色照明装置 |
| JPH06267664A (ja) * | 1993-03-10 | 1994-09-22 | Toshiba Lighting & Technol Corp | テレビ用照明システム |
| JPH09134488A (ja) * | 1995-11-10 | 1997-05-20 | Atsumi Electron Corp Ltd | 監視カメラシステム |
| JP4399087B2 (ja) * | 2000-05-31 | 2010-01-13 | パナソニック株式会社 | 照明システム、映像表示デバイスおよび照明制御方法 |
| JP2005057410A (ja) * | 2003-08-01 | 2005-03-03 | Alpine Electronics Inc | 映像出力装置および方法 |
-
2005
- 2005-01-05 KR KR1020067013186A patent/KR101117591B1/ko not_active IP Right Cessation
- 2005-01-05 EP EP05702584A patent/EP1704727B1/en not_active Not-in-force
- 2005-01-05 US US10/584,007 patent/US7859595B2/en not_active Expired - Fee Related
- 2005-01-05 JP JP2006546467A patent/JP2007521774A/ja active Pending
- 2005-01-05 CN CN200580001913A patent/CN100584037C/zh not_active Expired - Fee Related
- 2005-01-05 WO PCT/IB2005/050054 patent/WO2005069638A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611297B1 (en) * | 1998-04-13 | 2003-08-26 | Matsushita Electric Industrial Co., Ltd. | Illumination control method and illumination device |
| US20040174326A1 (en) * | 2001-06-28 | 2004-09-09 | Shinichi Yamamoto | Illumination service providing method, illumination apparatus, recording medium, and reproduction apparartus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005069638A1 (en) | 2005-07-28 |
| CN1993999A (zh) | 2007-07-04 |
| JP2007521774A (ja) | 2007-08-02 |
| US20090033801A1 (en) | 2009-02-05 |
| CN100584037C (zh) | 2010-01-20 |
| EP1704727B1 (en) | 2012-07-25 |
| EP1704727A1 (en) | 2006-09-27 |
| US7859595B2 (en) | 2010-12-28 |
| KR20060112678A (ko) | 2006-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101117591B1 (ko) | 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 컨텐츠로부터 유도된 환경광을 위한 플리커가 없는 적응성 임계 | |
| KR101044709B1 (ko) | 주변광원에 의해 모방될 렌더링된 컬러 공간에서 인코딩된 비디오 컨텐츠를 추출하고 처리하기 위한 방법 | |
| US8063992B2 (en) | Dominant color extraction for ambient light derived from video content mapped through unrendered color space | |
| US7894000B2 (en) | Dominant color extraction using perceptual rules to produce ambient light derived from video content | |
| KR20060112677A (ko) | 비디오 컨텐츠의 서브샘플링으로 파생되고 렌더링되지 않은컬러 공간을 통해 맵핑된 주변광 | |
| WO2006003624A1 (en) | Ambient lighting derived from video content and with broadcast influenced by perceptual rules and user preferences | |
| EP1704729B1 (en) | Ambient light script command encoding | |
| WO2007026283A2 (en) | Ambient lighting derived from video content using adaptive extraction regions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |