KR20210104462A - 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치 - Google Patents

이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치 Download PDF

Info

Publication number
KR20210104462A
KR20210104462A KR1020200019240A KR20200019240A KR20210104462A KR 20210104462 A KR20210104462 A KR 20210104462A KR 1020200019240 A KR1020200019240 A KR 1020200019240A KR 20200019240 A KR20200019240 A KR 20200019240A KR 20210104462 A KR20210104462 A KR 20210104462A
Authority
KR
South Korea
Prior art keywords
image data
image sensor
image
color filter
arrangement pattern
Prior art date
Application number
KR1020200019240A
Other languages
English (en)
Inventor
신덕하
최영준
왕태식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200019240A priority Critical patent/KR20210104462A/ko
Priority to US17/027,898 priority patent/US11601629B2/en
Priority to DE102020129028.4A priority patent/DE102020129028A1/de
Priority to CN202011342353.1A priority patent/CN113271455A/zh
Publication of KR20210104462A publication Critical patent/KR20210104462A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N9/04557—
    • H04N9/735—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 제1 타입의 배열 패턴을 갖는 컬러 필터 어레이를 포함하는 이미지 센서의 교정 방법에 관한 것이다. 본 발명의 교정 방법은, 이미지 센서를 이용하여 대상을 캡처하여 제1 이미지 데이터를 생성하는 단계, 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하는 단계, 그리고 제2 이미지 데이터에 대해, 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하는 단계를 포함한다. 이미지 센서는 제3 이미지 데이터를 이용하여 교정된다.

Description

이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치{IMAGE SENSOR, CALIBRATION METHOD OF IMAGE SENSOR, AND ELECTRONIC DEVICE FOR CALIBRATING IMAGE SENSOR}
본 발명은 반도체 장치에 관한 것으로, 더 상세하게는 교정 시간이 감소된 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치를 제공하는 데에 있다.
이미지 센서는 대상(target) 또는 풍경(scenery)으로부터 대상 또는 풍경을 나타내는 이미지 데이터를 생성할 수 있다. 스마트폰, 스마트패드 등과 같은 모바일 장치들의 성능들이 향상되면서, 모바일 장치들에 이미지 센서들이 채용되고 있다. 모바일 장치들에 채용된 이미지 센서들은 이미지 데이터를 생성함으로써, 이미지 기반 콘텐츠를 제작하는데 사용될 수 있다.
이미지 센서가 제조된 후에 그리고 이미지 센서가 모바일 장치들에 결합되기 전에, 이미지 센서의 교정이 수행될 수 있다. 이미지 센서의 교정은 이미지 센서의 렌즈와 픽셀들 사이의 거리를 조절함으로써 해상도를 조절하거나, 또는 이미지 센서의 렌즈와 픽셀들이 수평으로 위치하도록 렌즈의 틸트(tilt)를 조절하는 것을 포함할 수 있다. 이미지 센서의 교정이 완료되면, 이미지 센서는 설계 시에 의도된 성능을 가질 수 있다.
이미지 센서를 채용하는 전자 장치들(또는 모바일 장치들)의 수가 증가하면서, 그리고 각 전자 장치(또는 모바일 장치)에 채용되는 이미지 센서들의 수가 증가하면서, 이미지 센서의 수요가 급증하고 있다. 이미지 센서의 교정에 필요한 시간은 이미지 센서의 생산 시간을 증가시키고, 따라서 이미지 센서의 생산 비용을 증가시킬 수 있다.
본 발명의 목적은 감소된 교정 시간을 갖는 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치를 제공하는 데에 있다.
제1 타입의 배열 패턴을 갖는 컬러 필터 어레이를 포함하는 본 발명의 실시 예에 따른 이미지 센서의 교정 방법은, 이미지 센서를 이용하여 대상을 캡처하여 제1 이미지 데이터를 생성하는 단계, 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하는 단계, 그리고 제2 이미지 데이터에 대해, 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하는 단계를 포함한다. 이미지 센서는 제3 이미지 데이터를 이용하여 교정된다.
본 발명의 실시 예에 따른 이미지 센서는 렌즈, 렌즈의 하단에 배치되고 제1 배열 패턴을 갖는 컬러 필터들을 포함하는 컬러 필터 어레이, 컬러 필터 어레이의 하단에 배치되고, 컬러 필터들에 각각 대응하는 픽셀들을 포함하고, 렌즈 및 컬러 필터 어레이를 통해 입사되는 광을 감지하도록 구성되는 픽셀 어레이, 그리고 픽셀 어레이에 의해 감지된 결과를 디지털화하여 제1 이미지 데이터를 생성하도록 구성되는 아날로그-디지털 블록을 포함한다. 제1 모드에서, 아날로그-디지털 블록은 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하고, 제2 이미지 데이터에 대해 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하고, 그리고 제3 이미지 데이터를 출력하도록 구성된다.
본 발명의 실시 예에 따른 전자 장치는 제1 타입의 배열 패턴의 컬러 필터 어레이를 포함하는 이미지 센서로부터 제1 이미지 데이터를 수신하도록 구성되는 물리 블록, 그리고 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하고, 제2 이미지 데이터에 대해 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하고, 그리고 제3 이미지 데이터에 기반하여 이미지 센서를 교정하기 위한 신호를 생성하도록 구성되는 프로세서를 포함한다.
본 발명에 따르면, 제1 타입의 컬러 필터 어레이를 갖는 이미지 센서에 의해 획득된 이미지 데이터는 화이트 밸런스 및 역 화이트 밸런스에 기반하여 제2 타입의 컬러 필터 어레이에 대응하는 이미지 데이터로 변환된다. 이미지 센서의 교정은 변환된 이미지 데이터에 기반하여 수행될 수 있다. 제1 타입의 컬러 필터 어레이에 대응하는 이미지 데이터를 제2 타입의 컬러 필터 어레이에 대응하는 이미지 데이터로 변환하는 동작이 화이트 밸런스 및 역 화이트 밸런스에 의해 수행되므로, 이미지 센서의 교정에 필요한 시간이 단축된다.
도 1은 본 발명의 제1 실시 예에 따른 이미지 센서 교정 시스템을 보여준다.
도 2는 제1 컬러 필터 어레이의 제1 배열 패턴에 따라 배열된 컬러 필터들의 예를 보여준다.
도 3은 본 발명의 제2 실시 예에 따른 이미지 센서 교정 시스템을 보여준다.
도 4는 제1 컬러 필터 어레이의 제2 타입의 배열 패턴에 따라 배열된 컬러 필터들의 예를 보여준다.
도 5는 본 발명의 실시 예에 따른 이미지 센서의 교정 방법의 예를 보여준다.
도 6은 입사광의 세기에 따른 제1 이미지 데이터의 녹색, 적색 및 청색의 색상들의 세기들을 보여준다.
도 7은 입사광의 세기에 따른 제2 이미지 데이터의 녹색, 적색 및 청색의 색상들의 세기들을 보여준다.
도 8은 제2 컬러 필터 어레이와 연관되어 역 화이트 밸런스 동작이 수행되는 예를 보여준다.
도 9는 이미지 센서를 교정하도록 구성되는 전자 장치의 예를 보여준다.
도 10은 본 발명의 다른 실시 예에 따른 이미지 센서 교정 시스템을 보여준다.
도 11은 도 10의 이미지 센서의 동작 방법의 예를 보여준다.
도 12는 본 발명의 실시 예에 따른 이미지 센서의 구성 요소들을 보여준다.
도 13은 이미지 데이터의 일부를 이용하여 이미지 센서의 교정 동작이 수행되는 예를 보여준다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 발명의 제1 실시 예에 따른 이미지 센서 교정 시스템(100)을 보여준다. 도 1을 참조하면, 이미지 센서 교정 시스템(100)은 이미지 센서(110), 그리고 이미지 센서(110)를 교정하도록 구성되는 전자 장치(120)를 포함할 수 있다.
이미지 센서(110)는 CIS(CMOS Image Sensor) 또는 CCD(Charge-Coupled Device)에 기반할 수 있다. 이미지 센서(110)는 렌즈(111), 지지부(112), 제1 컬러 필터 어레이(113)(CFA1), 픽셀 어레이(114)(PA), 아날로그-디지털 블록(115)(A-D), 그리고 제1 물리 블록(116)(PHY1)을 포함할 수 있다.
렌즈(111)는 외부로부터 입사되는 광을 제1 컬러 필터 어레이(113)에 전달할 수 있다. 지지부(112)는 렌즈(111)를 지지할 수 있다. 지지부(112)는 렌즈(111)와 제1 컬러 필터 어레이(113) 또는 렌즈(111)와 픽셀 어레이(114) 사이의 거리를 조절하도록 구성될 수 있다. 지지부(112)는 렌즈(111)와 제1 컬러 필터 어레이(113) 또는 렌즈(111)와 픽셀 어레이(114) 사이의 틸트(tilt)를 조절하도록 구성될 수 있다.
제1 컬러 필터 어레이(113)는 렌즈(111)를 통해 입사되는 광들에 적용되는 컬러 필터들을 포함할 수 있다. 제1 컬러 필터 어레이(113)는 제1 타입의 배열 패턴을 가질 수 있다 제1 컬러 필터 어레이(113)의 컬러 필터들은 제1 타입의 배열 패턴에 따라 배열될 수 있다.
도 2는 제1 컬러 필터 어레이(113)의 제1 타입의 배열 패턴에 따라 배열된 컬러 필터들의 예를 보여준다. 도 1 및 도 2를 참조하면, 제1 컬러 필터 어레이(113)는 적색(R), 녹색(G) 및 청색(B)의 세 가지의 컬러 필터들을 포함할 수 있다. 제1 컬러 필터 어레이(113)의 컬러 필터들은 제1 타입의 배열 패턴에 따라, 제1 기본 단위(BU1)의 단위로 행들 및 열들을 따라 배열될 수 있다.
제1 기본 단위(BU1)는 네 개의 컬러 필터들을 포함할 수 있다. 제1 기본 단위(BU1)는 좌상단으로부터 시계방향을 따라 순차적으로 배열되는 녹색(G), 적색(R), 녹색(G), 그리고 청색(B)의 컬러 필터들을 포함할 수 있다. 예시적으로, 제1 컬러 필터 어레이(113)의 제1 타입의 배열 패턴은 베이어(Bayer) 패턴일 수 있다.
픽셀 어레이(114)는 행들 및 열들로 배열되는 픽셀들을 포함할 수 있다. 픽셀 어레이(114)의 픽셀들은 제1 컬러 필터 어레이(113)의 컬러 필터들에 각각 대응할 수 있다. 녹색(G) 컬러 필터에 대응하는 픽셀은 녹색(G)의 광량에 대응하는 정보를 전류 또는 전압의 형태로 출력할 수 있다.
적색(R) 컬러 필터에 대응하는 픽셀은 적색(R)의 광량에 대응하는 정보를 전류 또는 전압의 형태로 출력할 수 있다. 청색(B) 컬러 필터에 대응하는 픽셀은 청색(B)의 광량에 대응하는 정보를 전류 또는 전압의 형태로 출력할 수 있다.
아날로그-디지털 블록(115)은 픽셀 어레이(114)로부터 픽셀들에 의해 광량이 감지된 결과들을 수신할 수 있다. 수신된 결과들은 아날로그의 형태를 가질 수 있다. 아날로그-디지털 블록(115)은 수신된 결과들을 디지털화하여 이미지 데이터를 생성할 수 있다. 이미지 데이터는 픽셀 어레이(114)의 픽셀들에 대응하는(또는 픽셀들로부터 생성된) 픽셀 데이터를 포함할(또는 픽셀 데이터로 구성될) 수 있다.
제1 물리 블록(116)은 아날로그-디지털 블록(115)으로부터 이미지 데이터를 수신할 수 있다. 제1 물리 블록(116)은 다양한 통신 프로토콜들 중 대응하는 통신 프로토콜에 기반하여 이미지 데이터를 출력할 수 있다. 예를 들어, 다양한 통신 프로토콜들은 D-PHY 및 C-PHY를 포함할 수 있다.
제1 컬러 필터 어레이(113)의 제1 타입의 배열 패턴이 베이어 패턴이므로, 제1 물리 블록(116)으로부터 출력되는 신호는 베이어 패턴에 대응하는 베이어 신호(BS)일 수 있다.
전자 장치(120)는 이미지 센서(110)의 교정을 위해 구성된(또는 조직화된) 컴퓨터, 또는 이미지 센서(110)의 교정을 위해 설계 및 제조된 교정 장치를 포함할 수 있다. 전자 장치(120)는 이미지 센서(110)로부터 베이어 신호(BS)를 수신할 수 있다.
전자 장치(120)는 제2 물리 블록(121)(PHY2) 및 이미지 신호 프로세서(122)(ISP)를 포함할 수 있다. 제2 물리 블록(121)은 이미지 센서(110)의 제1 물리 블록(116)과 동일한 구조를 갖고, 동일한 통신 프로토콜에 기반할 수 있다.
이미지 신호 프로세서(122)는 전자 장치(120)에 실장되며, 이미지 센서(110)의 교정을 위해 코딩된 라이브러리를 실행하도록 구성될 수 있다. 또는, 이미지 신호 프로세서(122)는 이미지 센서(110)의 교정을 위해 설계 및 제조되고, 그리고 전자 장치(120)에 실장되는 집적 회로를 포함할 수 있다.
이미지 신호 프로세서(122)는 베이어 신호 기반(BS-based)으로 구성되어, 제1 타입의 배열 패턴, 즉 베이어 패턴에 기반한 베이어 신호(BS)를 처리할 수 있다. 이미지 신호 프로세서(122)는 베이어 신호(BS)로부터 이미지 센서(110)의 해상도를 검출하고, 해상도를 교정하기 위한 피드백 신호(FBS)를 이미지 센서(110)의 지지부(112)에 전달할 수 있다.
예를 들어, 해상도는 렌즈(111)와 픽셀 어레이(114) 사이의 거리에 의해 결정될 수 있다. 피드백 신호(FBS)는 렌즈(111)와 픽셀 어레이(114) 사이의 거리에 대한 교정 정보를 포함할 수 있다. 피드백 신호(FBS)에 응답하여, 지지부(112)는 렌즈(111)와 픽셀 어레이(114) 사이의 거리를 조절할 수 있다.
이미지 신호 프로세서(122)는 베이어 신호(BS)로부터 이미지 센서(110)의 렌즈(111)의 틸트(tilt)를 검출하고, 틸트를 교정하기 위한 피드백 신호(FBS)를 이미지 센서(110)의 지지부(112)에 전달할 수 있다.
예를 들어, 렌즈(111)와 제1 컬러 필터 어레이(113) 또는 픽셀 어레이(114)가 평행하지 않은 경우, 이미지 데이터의 일부 영역에서 번짐과 같은 현상이 발생할 수 있다. 피드백 신호(FBS)는 렌즈(111)의 틸트에 대한 교정 정보를 포함할 수 있다. 피드백 신호(FBS)에 응답하여, 지지부(112)는 렌즈(111)의 틸트를 조절할 수 있다.
예시적으로, 도 1에서 피드백 신호(FBS)가 지지부(112)로 전달되고, 지지부(112)에서 해상도 및 틸트가 조절되는 것으로 도시되었다. 이미지 센서 교정 시스템(100)은 이미지 센서(110)의 해상도 및 틸트를 조절하기 위한 조절 장치를 더 포함할 수 있다. 피드백 신호(FBS)는 조절 장치로 제공되고, 조절 장치가 지지부(112)를 제어하여 이미지 센서(110)의 해상도 및 틸트를 조절할 수 있다. 예시적으로, 조절 장치는 전자 장치(120)에 포함될 수 있다.
도 3은 본 발명의 제2 실시 예에 따른 이미지 센서 교정 시스템(200)을 보여준다. 도 3을 참조하면, 이미지 센서 교정 시스템(200)은 이미지 센서(210), 그리고 이미지 센서(210)를 교정하도록 구성되는 전자 장치(220)를 포함할 수 있다.
이미지 센서(210)는 CIS(CMOS Image Sensor) 또는 CCD(Charge-Coupled Device)에 기반할 수 있다. 이미지 센서(210)는 렌즈(211), 지지부(212), 제2 컬러 필터 어레이(213)(CFA2), 픽셀 어레이(214)(PA), 아날로그-디지털 블록(215)(A-D), 그리고 제1 물리 블록(216)(PHY1)을 포함할 수 있다.
이미지 센서(210)는 도 1의 제1 컬러 필터 어레이(113) 대신에 제2 컬러 필터 어레이(213)를 포함하는 것을 제외하면, 도 1의 이미지 센서(110)와 동일하게 구성되고 동일하게 동작할 수 있다. 따라서, 중복되는 설명은 생략되지만, 도 1의 이미지 센서(110)와 연관되어 설명된 구성들, 동작들 및 특색들은 이미지 센서(210)에 동일하게 적용될 수 있다.
제2 컬러 필터 어레이(213)는 렌즈(211)를 통해 입사되는 광들에 적용되는 컬러 필터들을 포함할 수 있다. 제2 컬러 필터 어레이(213)는 제2 타입의 배열 패턴을 가질 수 있다 제2 컬러 필터 어레이(213)의 컬러 필터들은 제2 타입의 배열 패턴에 따라 배열될 수 있다. 제2 타입의 배열 패턴은 제1 타입의 배열 패턴인 베이어 패턴과 다를 수 있다.
도 4는 제2 컬러 필터 어레이(213)의 제2 타입의 배열 패턴에 따라 배열된 컬러 필터들의 예를 보여준다. 도 3 및 도 4를 참조하면, 제2 컬러 필터 어레이(213)는 적색(R), 녹색(G) 및 청색(B)의 세 가지의 컬러 필터들을 포함할 수 있다. 제2 컬러 필터 어레이(213)의 컬러 필터들은 제1 타입의 배열 패턴에 따라, 제2 기본 단위(BU2)의 단위로 행들 및 열들을 따라 배열될 수 있다.
제2 기본 단위(BU2)는 열두 개의 컬러 필터들을 포함할 수 있다. 제2 기본 단위(BU2)를 가로축 및 세로축을 이용하여 균등하게 4 분할할 때, 제2 기본 단위(BU2)는 좌상단에 위치한 네 개의 녹색(G)의 컬러 필터들, 우상단에 위치한 네 개의 적색(R)의 컬러 필터들, 좌하단에 위치한 네 개의 청색(B)의 컬러 필터들, 그리고 우하단에 위치한 네 개의 녹색(G)의 컬러 필터들을 포함할 수 있다.
예시적으로, 제2 기본 단위(BU2)는 서로 가장 인접하게 배치되며 동일한 색에 대응하는 셋 이상의 컬러 필터들을 포함할 수 있다. 제2 컬러 필터 어레이(213)의 제2 타입의 배열 패턴은 베이어(Bayer) 패턴이 아닐 수 있다.
제2 컬러 필터 어레이(213)의 제2 타입의 배열 패턴이 베이어 패턴이 아니므로, 제1 물리 블록(216)으로부터 출력되는 신호는 베이어 패턴에 대응하는 비-베이어 신호(NBS)일 수 있다.
전자 장치(220)는 이미지 센서(210)의 교정을 위해 구성된(또는 조직화된) 컴퓨터, 또는 이미지 센서(210)의 교정을 위해 설계 및 제조된 교정 장치를 포함할 수 있다. 전자 장치(220)는 이미지 센서(210)로부터 베이어 신호(BS)를 수신할 수 있다.
전자 장치(220)는 제2 물리 블록(221)(PHY2) 및 이미지 신호 프로세서(222)(ISP)를 포함할 수 있다. 제2 물리 블록(221)은 이미지 센서(210)의 제1 물리 블록(216)과 동일한 구조를 갖고, 동일한 통신 프로토콜에 기반할 수 있다.
이미지 신호 프로세서(222)는 전자 장치(220)에 실장되며, 이미지 센서(210)의 교정을 위해 코딩된 라이브러리를 실행하도록 구성될 수 있다. 또는, 이미지 신호 프로세서(222)는 이미지 센서(210)의 교정을 위해 설계 및 제조되고, 그리고 전자 장치(220)에 실장되는 집적 회로를 포함할 수 있다.
이미지 신호 프로세서(222)는 베이어 신호 기반(BS-based)으로 구성될 수 있다. 이미지 신호 프로세서(222)에서 비-베이어 신호(NBS)를 처리하기 위해, 비-베이어 신호(NBS)가 베이어 신호(BS)로 변환되어야 한다.
비-베이어 신호(NBS)를 베이어 신호(BS)로 변환하는 알려진 방법들은 이미지 데이터의 품질을 유지하며 변환을 수행한다. 따라서, 비-베이어 신호(NBS)를 베이어 신호(BS)로 변환할 때 기준 시간보다 많은 시간이 필요하다. 이러한 변환 방법은 대량의 이미지 센서들의 교정 시에 교정을 지연시키는 주요 요인으로 작용할 수 있다.
본 발명의 실시 예에 따른 이미지 신호 프로세서(222)는 빠른 변환기(223)(FC)를 더 포함할 수 있다. 빠른 변환기(223)는 기준 시간보다 작은 시간 동안에 비-베이어 신호(NBS)를 베이어 신호(BS)로 변환할 수 있다. 따라서, 이미지 센서들의 교정 시간이 감소될 수 있다.
전자 장치(220)는 이미지 신호 프로세서(222)에 빠른 변환기(223)가 포함되는 것을 제외하면, 도 1의 이미지 신호 프로세서(122)와 동일하게 구성되고 동일하게 동작할 수 있다. 따라서, 중복되는 설명은 생략되지만, 도 1의 전자 장치(120)를 참조하여 설명된 구성들, 동작들 및 특색들은 전자 장치(220)에 동일하게 적용될 수 있다.
도 5는 본 발명의 실시 예에 따른 이미지 센서의 교정 방법의 예를 보여준다. 도 3 및 도 5를 참조하면, S110 단계에서, 이미지 센서(210)를 이용하여 무채색(achromatic) 대상(target)을 캡처하여 제1 이미지 데이터를 생성하는 단계가 수행될 수 있다.
색은 색상(Hue), 채도(chroma) 및 명도(Value)로 표현될 수 있다. 무채색의 대상의 채도(chroma)는 '0'일 수 있다. 무채색의 대상의 색상(Hue)의 녹색(G), 적색(R) 및 청색(B)의 값들이 동일할 수 있다. 무채색의 대상은 다양한 명도(Value)를 가질 수 있다.
이미지 센서(210)의 해상도 및 틸트를 교정할 수 있는 정보가 획득될 수 있도록, 무채색의 대상은 다양한 명도들을 갖는 다양한 패턴들을 포함할 수 있다. 예를 들어, 무채색의 대상으로 ISO12233 해상도 차트(resolution chart)가 사용될 수 있다.
S110 단계에 이어 S120 단계가 수행된다. S120 단계에서, 제1 이미지 데이터에 대해 화이트 밸런스 동작을 수행하여 제2 이미지 데이터를 수행하는 단계가 수행될 수 있다. 화이트 밸런스 동작은 대상으로부터 반사되어 이미지 센서에서 캡처되는 광들의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 이득들(gains)을 조절할 수 있다.
예시적으로, 제1 이미지 데이터는 무채색의 대상으로부터 반사된 광들의 정보를 포함할 수 있다. 제2 컬러 필터 어레이(213)의 녹색(G)의 컬러 필터들, 적색(R)의 컬러 필터들 및 청색(B)의 컬러 필터들의 광 투과도들(또는 민감도들)은 서로 다를 수 있다. 따라서, 무채색의 대상으로부터 이미지 센서(210)의 픽셀 어레이(214)에 의해 캡처되는 제1 이미지 데이터의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들은 서로 다를 수 있다.
도 6은 입사광의 세기에 따른 제1 이미지 데이터의 색상(Hue)의 녹색(G), 적색(R) 및 청색(B)의 세기들을 보여준다. 도 6에서, 가로축은 입사광의 세기(Intensity)를 나타내고, 세로축은 캡처된 세기(Captured Intensity)를 가리킨다.
도 3 및 도 6을 참조하면, 제1선(L1)은 녹색(G)의 컬러 필터에 대응하는 픽셀에서 캡처되는 세기를 보여준다. 제2선(L2)은 적색(R)의 컬러 필터에 대응하는 픽셀에서 캡처되는 세기를 보여준다. 제3선(L3)은 청색(B)의 컬러 필터에 대응하는 픽셀에서 캡처되는 세기를 보여준다.
도 6에 도시된 바와 같이, 채도(chroma)를 갖지 않는 무채색의 대상으로부터 반사된 동일한 세기의 광이 입사될 때, 녹색(G)의 컬러 필터를 통해 캡처되는 세기는 적색(R)의 컬러 필터를 통해 캡처되는 세기보다 높을 수 있다. 또한, 적색(R)의 컬러 필터를 통해 캡처되는 세기는 청색(B)의 컬러 필터를 통해 캡처되는 세기보다 높을 수 있다.
즉, 무채색의 대상으로부터 생성된 제1 이미지 데이터는 채도(chroma)를 갖는 유채색의 이미지 데이터일 수 있다. 화이트 밸런스 동작은 제1 이미지 데이터의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hue)의 세기들의 이득들을 조절하여, 무채색의 제2 이미지 데이터를 생성할 수 있다.
도 7은 입사광의 세기에 따른 제2 이미지 데이터의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들을 보여준다. 도 7에서, 가로축은 입사광의 세기(Intensity)를 나타내고, 세로축은 캡처된 세기(Captured Intensity)를 가리킨다.
도 7을 참조하면, 제4선(L4)은 입사광의 세기에 따른 녹색(G), 적색(R) 및 청색(B)의 컬러 필터들에 대응하는 세기들을 보여준다. 제2 이미지 데이터에서 무채색의 대상으로부터 반사된 동일한 세기의 광의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들은 동일할 수 있다.
제2 이미지 데이터는 무채색의 대상으로부터 캡처된 이미지의 정보를 포함하되, 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들이 무채색의 대상의 본래 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들로 보정된 정보를 포함할 수 있다.
즉, 화이트 밸런스 동작은 제1 이미지 데이터의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들의 이득들을 조절하여 무채색으로 조절하는 동작일 수 있다. 화이트 밸런스 동작에 의해 생성된 제2 이미지 데이터는 무채색의 정보를 포함할 수 있다.
예시적으로, 도 6에 도시된 것과 같은 캡처된 세기들의 차이들은 제2 컬러 필터 어레이(213)의 특성에 기반할 수 있다. 화이트 밸런스 동작은 컬러 필터 어레이(213)의 특성이 기반하여 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 이득들 조절할 수 있다.
화이트 밸런스 동작은 제2 컬러 필터 어레이(213)를 통해 생성된 제1 이미지 데이터에 대해 수행되므로, 화이트 밸런스 동작은 제2 컬러 필터 어레이(213)의 제2 타입의 배열 패턴에 기반할 수 있다.
제1 이미지 데이터가 제2 이미지 데이터로 변환되는 과정에서 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들이 보정되었지만, 무채색의 대상으로부터 캡처된 무채색의 패턴들의 형태들 및 서로 다른 명도들은 동일하게 유지될 수 있다. 무채색의 패턴들의 형태들 및 서로 다른 명도들은 이미지 센서(210)의 교정을 위해 사용될 수 있다.
다시 도 3 및 도 5를 참조하면, S120 단계에 이어 S130 단계가 수행된다. S130 단계에서, 제2 이미지 데이터에 대해 역 화이트 밸런스 동작이 수행되어 제3 이미지 데이터가 수행될 수 있다. 역 화이트 밸런스 동작은 제1 컬러 필터 어레이(113)의 제1 타입의 배열 패턴, 즉 베이어 패턴에 기반할 수 있다.
도 2 및 도 4를 참조하여 설명된 바와 같이, 제1 컬러 필터 어레이(113)의 제1 타입의 배열 패턴과 제2 컬러 필터 어레이(213)의 제2 타입의 배열 패턴은 컬러 필터들을 서로 다른 위치들에 배열한다.
도 5를 참조하여 설명된 바와 같이, 이미지 센서(210)의 교정을 위해 무채색의 대상이 캡처되어 제1 이미지 데이터가 생성될 수 있다. 또한, 제1 이미지 데이터에 대해 화이트 밸런스 동작이 수행되어 제2 이미지 데이터가 생성될 수 있다.
무채색의 대상의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들은 동일하고, 채도(chroma)는 '0'이고, 명도(Values)는 다양할 수 있다. 또한, 제2 이미지 데이터의 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들은 동일하고, 채도(chroma)는 '0'이고, 명도(Values)는 다양할 수 있다. 즉, 제2 이미지 데이터는 무채색의 대상의 색에 대한 모든 정보를 포함할 수 있다.
무채색의 제2 이미지 데이터에 대해 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 이득들을 화이트 밸런스 동작과 반대로 조절하여, 제1 타입의 배열 패턴에 대응하는 제3 이미지 데이터가 생성될 수 있다.
도 8은 제2 컬러 필터 어레이(213)와 연관되어 역 화이트 밸런스 동작이 수행되는 예를 보여준다. 도 2, 도 4 및 도 8을 참조하면, 제2 컬러 필터 어레이(213)가 제1 기본 단위(BU1)와 동일한 사이즈의 서브 단위들(SU1~SU4)로 분할될 수 있다. 도 8에서, 제2 기본 단위(BU2)의 사이즈(또는 입상도(granularity))는 서브 단위의 사이즈(또는 입상도)의 정수배(예를 들어, 4배)인 것으로 도시되지만, 본 발명은 이에 한정되지 않는다.
각 서브 단위에서, 컬러 필터들은 제1 타입의 배열 패턴에 대응하도록 변환될 수 있다. 예를 들어, 제1 서브 단위(SU1)에서, 녹색(G)의 컬러 필터들 중 하나는 적색(R)으로 변환(G->R)되고, 다른 하나는 청색(B)으로 변환(G->B)될 수 있다. 제2 서브 단위(SU2)에서, 적색(R)의 컬러 필터들 중 두 개는 녹색(G)으로 변환(R->G)되고, 다른 하나는 청색(B)으로 변환(R->B)될 수 있다.
제3 서브 단위(SU3)에서, 청색(B)의 컬러 필터들 중 두 개는 녹색(G)으로 변환(G->R)되고, 다른 하나는 적색(R)으로 변환(B->R)될 수 있다. 제4 서브 단위(SU4)에서, 녹색(G)의 컬러 필터들 중 하나는 적색(R)으로 변환(G->R)되고, 다른 하나는 청색(B)으로 변환(G->B)될 수 있다.
도 8과 같이 컬러 필터들의 변환이 수행되면, 변환된 컬러 필터 어레이는 제1 타입의 배열 패턴과 동일한 배열 패턴을 가질 수 있다. 변환된 배열 패턴에 따라, 역 화이트 밸런스 동작은 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 이득들을 조절할 수 있다.
역 화이트 밸런스 동작은 제2 이미지 데이터의 도 7에 도시된 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들을 도 6에 도시된 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 세기들로 조절할 수 있다. 역 화이트 밸런스에 의해 생성된 제3 이미지 데이터는 제1 타입의 배열 패턴을 갖는 제1 컬러 필터 어레이(113)를 이용하여 무채색의 대상으로부터 캡처된 이미지 데이터와 동일 또는 유사할 수 있다.
예시적으로, 도 6에 도시된 것과 같은 캡처된 세기들의 차이들은 제2 컬러 필터 어레이(213)의 특성에 기반할 수 있다. 역 화이트 밸런스 동작은 컬러 필터 어레이(213)의 특성이 기반하여 녹색(G), 적색(R) 및 청색(B)의 색상들(Hues)의 이득들 조절할 수 있다.
다시 도 3 및 도 5를 참조하면, S130 단계에 이어 S140 단계가 수행된다. S140 단계에서, 제3 이미지 데이터를 이용하여 이미지 센서(210)가 교정될 수 있다.
상술된 바와 같이, 본 발명의 실시 예에 따른 교정 방법은 무채색의 대상으로부터 제1 이미지 데이터를 생성하고, 제1 이미지 데이터에 대해 화이트 밸런스 동작을 수행하여 무채색의 제2 이미지 데이터를 생성하고, 그리고 제2 이미지 데이터에 대해 역 화이트 밸런스를 수행하여 베이어 패턴에 대응하는 제3 이미지 데이터를 생성하는 단계들을 포함한다.
제3 이미지 데이터는 베이어 패턴에 기반하는 베이어 신호(BS)일 수 있다. 화이트 밸런스 동작 및 역 화이트 밸런스 동작은 기준 시간보다 짧은 시간 동안 수행되고 완료될 수 있다. 예를 들어, 상술된 단계들은 이미지 센서(210)의 교정 시에 실시간으로 수행될 수 있다. 따라서, 이미지 센서(210)의 교정 시간이 감소할 수 있다.
예시적으로, 이미지 센서의 교정 시에 이미지 센서에 의해 캡처되는 대상의 적어도 일부는 무채색이고, 나머지 일부는 유채색을 포함할 수 있다. 이때, 도 5의 교정 방법은 무채색인 적어도 일부의 부분을 이용하여 수행될 수 있다.
예시적으로, 이미지 센서(210)를 이용하여 제1 이미지 데이터를 생성하는 것은 고정된 색 온도의 교정 환경에서 수행될 수 있다. 화이트 밸런스 동작 및 역 화이트 밸런스 동작은 고정된 색 온도의 정보에 기반하여 수행될 수 있다.
다른 예로서, 이미지 센서(210)를 이용하여 제1 이미지 데이터를 생성하기 전에, 교정 환경의 색 온도의 정보를 획득하는 과정이 수행될 수 있다. 화이트 밸런스 동작 및 역 화이트 밸런스 동작은 고정된 색 온도의 정보에 기반하여 수행될 수 있다.
도 9는 이미지 센서를 교정하도록 구성되는 전자 장치(300)의 예를 보여준다. 전자 장치(300)는 도 3의 전자 장치(220)에 대응할 수 있다. 도 3 및 도 9를 참조하면, 전자 장치(300)는 버스(301), 프로세서(310), 주 메모리(320), 스토리지 장치(330), 제2 물리 블록(340), 표시 장치(350), 그리고 피드백 신호 생성기(360)를 포함할 수 있다.
버스(301)는 전자 장치(300)의 구성 요소들의 사이에 채널들을 제공할 수 있다. 프로세서(310)는 전자 장치(300)의 동작을 제어하고, 운영 체제 및 응용들을 실행할 수 있다. 프로세서(310)는 범용 프로세서 또는 이미지 센서의 교정을 수행하도록 설계 및 제조된 특수 목적 프로세서일 수 있다.
주 메모리(320)는 프로세서(310)에 의해 액세스될 수 있다. 주 메모리(320)는 프로세서(310)가 필요로 하는 코드들 또는 데이터를 임시로 저장할 수 있다. 주 메모리(320)는 DRAM, SRAM, 또는 SCRAM(storage Class RAM)을 포함할 수 있다.
스토리지 장치(330)는 전자 장치(300)에서 사용되는 코드들 및 데이터를 불휘발성으로 저장할 수 있다. 스토리지 장치(330)는 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 광학 디스크 드라이브(ODD) 등과 같은 다양한 저장 장치들을 포함할 수 있다.
스토리지 장치(330)는 이미지 신호 처리 코드들(351)(ISP Codes)을 포함할 수 있다. 이미지 신호 처리 코드들(351)은 베이어 신호(BS) 기반 이미지 데이터를 이용하여 이미지 센서(210)의 교정을 수행하기 위한 다양한 코드들 및 데이터를 포함할 수 있다.
이미지 신호 처리 코드들(351)은 빠른 변환기(361)(FC)를 포함할 수 있다. 빠른 변환기(361)는 도 5를 참조하여 설명된 바와 같이 비-베이어 신호에 대해 화이트 밸런스 동작 및 역 화이트 밸런스 동작을 수행하여 비-베이어 신호(NBS)를 베이어 신호(BS)로 변환하기 위한 코드들 및 데이터를 포함할 수 있다.
프로세서(310)는 빠른 변환기(361)를 포함하는 이미지 신호 처리 코드들(351) 또는 그들의 일부를 주 메모리에 로드할 수 있다. 프로세서(310)는 주 메모리(320)에 로드된 빠른 변환기(362)를 포함하는 이미지 신호 처리 코드들(352) 또는 그들의 일부로부터 필요한 코드 또는 데이터를 가져올(fetch) 수 있다.
프로세서(310)는 이미지 센서(210)로부터 제2 물리 블록(340)(PHY2)을 통해 제1 이미지 데이터를 수신할 수 있다.
프로세서(310)는 가져온 빠른 변환기(363)를 포함하는 이미지 신호 처리 코드들(353)을 실행하여, 제1 이미지 데이터에 기반하여 이미지 센서(210)의 교정을 위한 연산들을 수행할 수 있다. 예를 들어, 프로세서(310)는 빠른 변환기(363)를 실행하여 베이어 신호(BS)인 제3 이미지 데이터를 생성할 수 있다. 또한, 프로세서(310)는 이미지 신호 처리 코드들(353)을 실행하여, 제3 이미지 데이터로부터 이미지 센서(210)의 해상도 및 틸트를 조절하기 위한 정보를 계산할 수 있다.
프로세서(310)는 계산의 결과를 표시 장치(350)를 통해 표시할 수 있다. 또한, 프로세서(310)는 계산의 결과에 기반하여, 이미지 센서(210)의 해상도 및 틸트를 조절하기 위한 정보를 포함하는 피드백 신호(FBS)를 생성하도록 피드백 신호 생성기(360)를 제어할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 이미지 센서 교정 시스템(400)을 보여준다. 도 10을 참조하면, 이미지 센서 교정 시스템(400)은 이미지 센서(410), 그리고 이미지 센서(410)를 교정하도록 구성되는 전자 장치(420)를 포함할 수 있다.
이미지 센서(410)는 CIS(CMOS Image Sensor) 또는 CCD(Charge-Coupled Device)에 기반할 수 있다. 이미지 센서(410)는 렌즈(411), 지지부(412), 제2 컬러 필터 어레이(413)(CFA2), 픽셀 어레이(414)(PA), 아날로그-디지털 블록(415)(A-D), 그리고 제1 물리 블록(416)(PHY1)을 포함할 수 있다.
이미지 센서(410)는 아날로그-디지털 블록(415)에 빠른 변환기(417)(FC)가 제공되는 것을 제외하면, 도 3의 이미지 센서(210)와 동일하게 구성되고 동일하게 동작할 수 있다. 따라서, 중복되는 설명은 생략되지만, 도 3의 이미지 센서(210)와 연관되어 설명된 구성들, 동작들 및 특색들은 이미지 센서(410)에 동일하게 적용될 수 있다.
아날로그-디지털 블록(415)은 빠른 변환기(417)를 포함할 수 있다. 제1 모드에서, 아날로그-디지털 블록(415)은 빠른 변환기(417)를 활성화할 수 있다. 제2 모드에서, 아날로그-디지털 블록(415)은 빠른 변환기(417)를 비활성화할 수 있다. 활성화된 빠른 변환기(417)는 도 5를 참조하여 설명된 화이트 밸런스 동작 및 역 화이트 밸런스 동작을 수행할 수 있다. 즉, 빠른 변환기(417)가 활성화된 때에, 이미지 센서(410)는 베이어 신호(BS)를 출력할 수 있다. 빠른 변환기(417)가 비활성화된 때에, 이미지 센서(410)는 비-베이어 신호(NBS)를 출력할 수 있다.
전자 장치(420)는 이미지 센서(410)의 교정을 위해 구성된(또는 조직화된) 컴퓨터, 또는 이미지 센서(410)의 교정을 위해 설계 및 제조된 교정 장치를 포함할 수 있다. 전자 장치(420)는 이미지 센서(410)로부터 베이어 신호(BS)를 수신할 수 있다.
전자 장치(420)는 제2 물리 블록(421)(PHY2) 및 이미지 신호 프로세서(422)(ISP)를 포함할 수 있다. 제2 물리 블록(421)은 이미지 센서(410)의 제1 물리 블록(416)과 동일한 구조를 갖고, 동일한 통신 프로토콜에 기반할 수 있다.
이미지 신호 프로세서(422)는 전자 장치(420)에 실장되며, 이미지 센서(410)의 교정을 위해 코딩된 라이브러리를 실행하도록 구성될 수 있다. 또는, 이미지 신호 프로세서(422)는 이미지 센서(410)의 교정을 위해 설계 및 제조되고, 그리고 전자 장치(420)에 실장되는 집적 회로를 포함할 수 있다. 이미지 신호 프로세서(422)는 베이어 신호 기반(BS-based)으로 구성될 수 있다.
도 11은 도 10의 이미지 센서(410)의 동작 방법의 예를 보여준다. 도 10 및 도 11을 참조하면, 이미지 센서(410)는 제1 모드 및 제2 모드 중 하나의 모드로 동작할 수 있다. 제1 모드는 이미지 센서(410)의 교정을 위한 교정 모드일 수 있다. 제2 모드는 이미지 센서(410)가 모바일 장치에 실장되고 이미지 콘텐츠를 생산하는 통상 동작 모드일 수 있다.
제1 모드는 S210 단계 내지 S240 단계를 포함할 수 있다. 제1 모드에서 빠른 변환기(417)가 활성화될 수 있다. 제1 모드의 S210 단계 내지 S230 단계는 도 5의 S110 단계 내지 S130 단계와 동일하게 수행될 수 있다. 이미지 센서(410)는 무채색의 대상으로부터 제1 이미지 데이터를 생성하고, 제1 이미지 데이터에 대해 화이트 밸런스 동작을 수행하여 제2 이미지 데이터를 생성하고, 그리고 제2 이미지 데이터에 대해 역 화이트 밸런스 동작을 수행하여 제3 이미지 데이터를 생성할 수 있다.
제1 모드의 S240 단계에서, 이미지 센서(410)는 베이어 신호(BS)인 제3 이미지 데이터를 출력할 수 있다. 제3 이미지 데이터는 이미지 센서(410)의 교정을 교정하도록 구성되는 교정 장치로 출력될 수 있다.
제2 모드는 S250 단계 및 S260 단계를 포함할 수 있다. 제2 모드에서 빠른 변환기(417)가 비활성화될 수 있다. 제2 모드의 S250 단계에서, 이미지 센서(410)는 대상 또는 풍경을 캡처하여 제4 이미지 데이터를 생성할 수 있다. S260 단계에서, 이미지 센서(410)는 비-베이어 신호(NBS)인 제4 이미지 데이터를 출력할 수 있다.
제4 이미지 데이터는 이미지 센서(410)의 교정이 완료된 후에 이미지 센서(410)가 실장되는 장치(예를 들어, 모바일 장치)의 프로세서로 출력될 수 있다.
도 12는 본 발명의 실시 예에 따른 이미지 센서(500)의 구성 요소들을 보여준다. 이미지 센서(500)는 도 10의 이미지 센서(410)에 대응할 수 있다. 도 10 및 도 12를 참조하면, 이미지 센서(500)는 픽셀 어레이(510), 타이밍 생성기(520), 행 스캔 회로(530), 제1 내지 제n 샘플 및 홀드 회로(541~54n)(SH), 램프 회로(550), 제1 내지 제n 아날로그-디지털 변환기(561~56n)(ADC), 래치 회로(570), 그리고 디지털 프로세서(580)를 포함할 수 있다.
픽셀 어레이(510)는 행들 및 열들로 배열된 픽셀들(예를 들어, 이미지 센서 픽셀들)을 포함할 수 있다. 픽셀 어레이(510)는 도 10의 픽셀 어레이(414)에 대응할 수 있다. 픽셀 어레이(510)는 픽셀들의 행들을 순차적으로 선택하는 스캐닝 방식으로 이미지 데이터를 생성할 수 있다. 선택된 행의 픽셀들은 유입되는 광량을 전류 또는 전압의 형태로 변환하여 출력할 수 있다. 예시적으로, 픽셀 어레이(510) 상의 제2 컬러 필터 어레이(413) 및 렌즈(411)는 도 12에서 생략되어 있다.
타이밍 생성기(520)는 행 스캔 회로(530)에 제1 신호(S1)를 제공하고, 제1 내지 제n 샘플 및 홀드 회로들(541~54n)에 제2 신호(S2)를 제공하고, 램프 회로(550) 에 제3 신호(S3)를 제공하고, 그리고 래치 회로(570)에 제4 신호(S4)를 제공할 수 있다. 타이밍 생성기(520)는 행 스캔 회로(530), 제1 내지 제n 샘플 및 홀드 회로들(541~54n), 램프 회로(550), 그리고 래치 회로(570)가 가 적절한 타이밍들에 동작하도록 제1 신호(S1), 제2 신호(S2), 제3 신호(S3) 및 제4 신호(S4)를 제어할 수 있다.
행 스캔 회로(530)는 제1 내지 제m 워드 라인들(WL1~WLm)을 통해 픽셀 어레이(510)의 픽셀들이 행들에 연결된다. 행 스캔 회로(530)는 제1 신호(S1)에 응답하여 제1 내지 제m 워드 라인들(WL1~WLm)을 순차적으로 선택할 수 있다. 행 스캔 회로(530)는 선택된 워드 라인에 활성 전압(예를 들어, 양전압)을 인가하고, 비선택된 워드 라인들에 비활성 전압(예를 들어, 접지 전압)을 인가할 수 있다.
제1 내지 제n 샘플 및 홀드 회로들(541~54n)은 제1 내지 제n 비트 라인들(BL1~BLn)을 통해 픽셀 어레이(510)의 픽셀들의 열들에 연결될 수 있다. 제1 내지 제n 샘플 및 홀드 회로들(541~54n)은 제2 신호(S2)에 응답하여 제1 내지 제n 비트 라인들(BL1~BLn)의 전압 또는 전류를 감지하고, 그리고 감지된 전압 또는 전류를 홀드할 수 있다.
램프 회로(550)는 제3 신호(S3)에 응답하여 점진적으로 증가(또는 감소)하는 레벨을 갖는 램프 신호(RS)를 생성할 수 있다. 램프 회로(540)에 의해 생성되는 램프 신호(RS)는 제1 내지 제n 아날로그-디지털 변환기들(561~56n) 에 제공될 수 있다.
제1 내지 제n 아날로그-디지털 변환기들(561~56n)은 램프 회로(550)로부터 램프 신호(RS)를 수신하고, 그리고 제1 내지 제n 샘플 및 홀드 회로들(541~54n) 홀드된 전압(또는 전류)을 수신할 수 있다. 제1 내지 제n 아날로그-디지털 변환기들(561~56n)은 수신된 전압(또는 전류)을 램프 신호(RS)와 비교하고, 그리고 비교 결과에 기반하여 디지털 값들을 생성할 수 있다.
래치 회로(570)는 제4 신호(S4)에 응답하여 제1 내지 제n 아날로그-디지털 변환기들(561~56n)로부터 수신되는 디지털 값들을 순차적으로 저장할 수 있다. 래치 회로(570)는 저장된 디지털 값들을 디지털 프로세서(580)로 전달할 수 있다.
디지털 프로세서(580)는 디지털 값들에 대한 후속 처리들을 수행할 수 있다. 예를 들어, 디지털 프로세서(580)는 빠른 변환기(590)를 포함할 수 있다. 빠른 변환기(590)는 화이트 밸런스 동작 및 역 화이트 밸런스 동작을 수행하도록 구성될 수 있다. 디지털 프로세서(580)는 이미지 센서(500)의 동작 모드에 따라 빠른 변환기(590)를 활성화 또는 비활성화하도록 구성될 수 있다.
디지털 프로세서(580)는 베이어 신호(BS)인 이미지 데이터 또는 비-베이어 신호(NBS)인 이미지 데이터를 제1 물리 블록(416)으로 전달할 수 있다. 예시적으로, 타이밍 생성기(520), 행 스캔 회로(530), 제1 내지 제n 샘플 및 홀드 회로들(541~54n), 램프 회로(550), 제1 내지 제n 아날로그-디지털 변환기들(561~56n), 래치 회로(570), 그리고 디지털 프로세서(580)는 아날로그-디지털 블록(415)에 포함될 수 있다.
도 13은 이미지 데이터(IMG)의 일부를 이용하여 이미지 센서의 교정 동작이 수행되는 예를 보여준다. 도 3, 도 10 및 도 13을 참조하면, 이미지 데이터(IMG)는, 예를 들어, 픽셀 어레이(214 또는 414)에 의해 캡처된 아날로그 이미지 데이터일 수 있다. 아날로그-디지털 블록(215 또는 415)은 아날로그 이미지 데이터의 일부에 대해 아날로그-디지털 변환을 수행할 수 있다.
아날로그-디지털 변환된 데이터에 기반하여, 전자 장치(220)에 의해 도 5의 교정 동작이 수행될 수 있다. 또는, 아날로그-디지털 블록(415)에 의해 도 11의 제1 모드의 동작이 수행되고, 그리고 전자 장치(420)에 의해 교정이 수행될 수 있다.
다른 예로서, 이미지 데이터(IMG)는 아날로그-디지털 블록(215)에 의해 생성되는 제1 이미지 데이터일 수 있다. 아날로그-디지털 블록(215)은 제1 이미지 데이터의 일부 또는 전부를 전자 장치(220)로 출력할 수 있다. 전자 장치(220)는 제1 이미지 데이터의 일부에 기반하여 도 5의 교정 동작을 수행할 수 있다. 또는, 아날로그-디지털 블록(415)은 제1 이미지 데이터의 일부에 기반하여 도 11의 제1 모드의 동작들을 수행할 수 있다.
예시적으로, 이미지 데이터(IMG)의 제1 부분 이미지 데이터 및 제2 부분 이미지 데이터에 기반하여, 서로 다른 제1 교정 및 제2 교정이 수행될 수 있다.
상술된 실시 예들에서, 제1, 제2, 제3 등의 용어들을 사용하여 본 발명의 기술적 사상에 따른 구성 요소들이 설명되었다. 그러나 제1, 제2, 제3 등과 같은 용어들은 구성 요소들을 서로 구별하기 위해 사용되며, 본 발명을 한정하지 않는다. 예를 들어, 제1, 제2, 제3 등과 같은 용어들은 순서 또는 임의의 형태의 수치적 의미를 내포하지 않는다.
상술된 실시 예들에서, 블록들을 사용하여 본 발명의 실시 예들에 따른 구성 요소들이 참조되었다. 블록들은 IC (Integrated Circuit), ASIC (Application Specific IC), FPGA (Field Programmable Gate Array), CPLD (Complex Programmable Logic Device) 등과 같은 다양한 하드웨어 장치들, 하드웨어 장치들에서 구동되는 펌웨어, 응용과 같은 소프트웨어, 또는 하드웨어 장치와 소프트웨어가 조합된 형태로 구현될 수 있다. 또한, 블록들은 IC 내의 반도체 소자들로 구성되는 회로들 또는 IP(Intellectual Property)로 등록된 회로들을 포함할 수 있다.
상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.
100, 200: 이미지 센서 교정 시스템
110, 210: 이미지 센서
111, 211: 렌즈
112, 212: 지지부
113, 213: 컬러 필터 어레이
114, 214: 픽셀 어레이
115, 215: 아날로그-디지털 블록
116, 216: 물리 블록
120, 220: 전자 장치
121, 221: 물리 블록
122, 222: 이미지 신호 프로세서
223: 빠른 변환기

Claims (20)

  1. 제1 타입의 배열 패턴을 갖는 컬러 필터 어레이를 포함하는 이미지 센서의 교정 방법에 있어서:
    상기 이미지 센서를 이용하여 대상을 캡처하여 제1 이미지 데이터를 생성하는 단계;
    상기 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하는 단계; 그리고
    상기 제2 이미지 데이터에 대해, 상기 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하는 단계를 포함하고,
    상기 이미지 센서는 상기 제3 이미지 데이터를 이용하여 교정되는 교정 방법.
  2. 제1항에 있어서,
    상기 제2 타입의 배열 패턴은 베이어(Bayer) 패턴인 교정 방법.
  3. 제1항에 있어서,
    상기 제1 타입의 배열 패턴은 서로 가장 인접하게 배치되며 동일한 색에 대응하는 셋 이상의 컬러 필터들을 포함하는 교정 방법.
  4. 제3항에 있어서,
    상기 제1 이미지 데이터, 상기 제2 이미지 데이터 및 상기 제3 이미지 데이터의 각각은 상기 이미지 센서의 픽셀들에 대응하는 픽셀 데이터를 포함하고,
    상기 역 화이트 밸런스가 수행되는 동안, 상기 셋 이상의 컬러 필터들에 대응하는 상기 제2 이미지 데이터의 셋 이상의 픽셀 데이터 중 적어도 하나는 상기 동일한 색과 다른 색으로 변환되는 교정 방법.
  5. 제1항에 있어서,
    상기 대상은 무채색을 포함하는 교정 방법.
  6. 제5항에 있어서,
    상기 이미지 센서는 상기 제3 이미지 데이터 중 상기 무채색에 대응하는 부분을 이용하여 교정되는 교정 방법.
  7. 제1항에 있어서,
    상기 이미지 센서는 상기 컬러 필터 어레이 하부의 픽셀들 및 상기 컬러 필터 어레이 상부의 렌즈를 더 포함하고,
    상기 제3 이미지 데이터를 이용하여 상기 렌즈의 틸트, 그리고 상기 렌즈 및 상기 픽셀들의 해상도 중 적어도 하나가 조절되는 교정 방법.
  8. 제1항에 있어서,
    상기 제1 이미지 데이터를 생성하는 단계, 상기 제2 이미지 데이터를 생성하는 단계, 그리고 상기 제3 이미지 데이터를 생성하는 단계는 상기 이미지 센서에 의해 수행되는 교정 방법.
  9. 제1항에 있어서,
    상기 제1 이미지 데이터를 생성하는 단계는 상기 이미지 센서에 의해 수행되고, 그리고 상기 제2 이미지 데이터를 생성하는 단계 및 상기 제3 이미지 데이터를 생성하는 단계는 상기 이미지 센서를 교정하기 위한 교정 장치에서 수행되는 교정 방법.
  10. 제1항에 있어서,
    상기 제1 이미지 데이터를 생성하는 단계는,
    상기 이미지 센서에 의해 캡처된 정보 중 일부를 디지털화하여 상기 제1 이미지 데이터를 생성하는 단계를 포함하는 교정 방법.
  11. 제1항에 있어서,
    상기 제1 이미지 데이터를 생성하는 단계는,
    상기 이미지 센서에 의해 캡처된 정보를 디지털화하여 상기 제1 이미지 데이터를 포함하는 제4 이미지 데이터를 생성하는 단계를 포함하는 교정 방법.
  12. 렌즈;
    상기 렌즈의 하단에 배치되고 제1 배열 패턴을 갖는 컬러 필터들을 포함하는 컬러 필터 어레이;
    상기 컬러 필터 어레이의 하단에 배치되고, 상기 컬러 필터들에 각각 대응하는 픽셀들을 포함하고, 상기 렌즈 및 상기 컬러 필터 어레이를 통해 입사되는 광을 감지하도록 구성되는 픽셀 어레이; 그리고
    상기 픽셀 어레이에 의해 감지된 결과를 디지털화하여 제1 이미지 데이터를 생성하도록 구성되는 아날로그-디지털 블록을 포함하고,
    제1 모드에서, 상기 아날로그-디지털 블록은 상기 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하고, 상기 제2 이미지 데이터에 대해 상기 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하고, 그리고 상기 제3 이미지 데이터를 출력하도록 구성되는 이미지 센서.
  13. 제12항에 있어서,
    제2 모드에서, 상기 아날로그-디지털 블록은 상기 제1 이미지 데이터를 출력하도록 더 구성되는 이미지 센서.
  14. 제13항에 있어서,
    상기 이미지 센서는 상기 제3 이미지 데이터를 상기 이미지 센서를 교정하도록 구성되는 교정 장치로 출력하고, 그리고 상기 제1 이미지 데이터를 상기 이미지 센서가 실장되는 장치의 프로세서로 출력하도록 더 구성되는 이미지 센서.
  15. 제12항에 있어서,
    상기 제1 모드에서, 상기 아날로그-디지털 블록은 상기 감지된 결과 중 일부를 디지털화하여 상기 제1 이미지 데이터를 생성하는 이미지 센서.
  16. 제12항에 있어서,
    상기 제1 모드에서, 상기 아날로그-디지털 블록은 상기 감지된 결과를 디지털화하여 제4 이미지 데이터를 생성하고, 그리고 상기 제1 이미지 데이터는 상기 제4 이미지 데이터의 일부인 이미지 센서.
  17. 제1 타입의 배열 패턴의 컬러 필터 어레이를 포함하는 이미지 센서로부터 제1 이미지 데이터를 수신하도록 구성되는 물리 블록; 그리고
    상기 제1 이미지 데이터에 대해 화이트 밸런스(white balance)를 수행하여 제2 이미지 데이터를 생성하고, 상기 제2 이미지 데이터에 대해 상기 제1 타입의 배열 패턴과 다른 제2 타입의 배열 패턴에 기반하여 역 화이트 밸런스(inverse white balance)를 수행하여 제3 이미지 데이터를 생성하고, 그리고 상기 제3 이미지 데이터에 기반하여 상기 이미지 센서를 교정하기 위한 신호를 생성하도록 구성되는 프로세서를 포함하는 전자 장치.
  18. 제17항에 있어서,
    상기 신호는 상기 이미지 센서의 해상도 및 렌즈의 틸트에 대한 정보를 포함하는 전자 장치.
  19. 제17항에 있어서,
    상기 제1 타입의 배열 패턴은 서로 가장 인접하게 배치되며 동일한 색에 대응하는 셋 이상의 컬러 필터들을 포함하고, 그리고
    상기 제2 타입의 배열 패턴은 베이어(Bayer) 패턴인 전자 장치.
  20. 제19항에 있어서,
    상기 제1 이미지 데이터, 상기 제2 이미지 데이터 및 상기 제3 이미지 데이터의 각각은 상기 이미지 센서의 픽셀들에 대응하는 픽셀 데이터를 포함하고,
    상기 역 화이트 밸런스가 수행되는 동안, 상기 셋 이상의 컬러 필터들에 대응하는 상기 제2 이미지 데이터의 셋 이상의 픽셀 데이터 중 적어도 하나는 상기 동일한 색과 다른 색으로 변환되는 교정 방법.
KR1020200019240A 2020-02-17 2020-02-17 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치 KR20210104462A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200019240A KR20210104462A (ko) 2020-02-17 2020-02-17 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
US17/027,898 US11601629B2 (en) 2020-02-17 2020-09-22 Image sensors, calibration methods of image sensors, and electronic devices for calibrating image sensors
DE102020129028.4A DE102020129028A1 (de) 2020-02-17 2020-11-04 Bildsensoren, verfahren zur kalibrierung von bildsensoren und elektronische vorrichtungen zur kalibrierung von bildsensoren
CN202011342353.1A CN113271455A (zh) 2020-02-17 2020-11-25 图像传感器、图像传感器的校准方法、和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200019240A KR20210104462A (ko) 2020-02-17 2020-02-17 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20210104462A true KR20210104462A (ko) 2021-08-25

Family

ID=77227821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200019240A KR20210104462A (ko) 2020-02-17 2020-02-17 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치

Country Status (3)

Country Link
US (1) US11601629B2 (ko)
KR (1) KR20210104462A (ko)
CN (1) CN113271455A (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11308634A (ja) 1998-04-20 1999-11-05 Ricoh Co Ltd 白バランス制御装置
KR100763656B1 (ko) 2006-06-02 2007-10-11 엠텍비젼 주식회사 이미지 센서 및 이미지 처리 방법
KR101451982B1 (ko) * 2008-02-12 2014-10-24 삼성전자주식회사 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9699429B2 (en) 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
WO2013169671A1 (en) 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
KR102069533B1 (ko) 2013-05-03 2020-01-28 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
JP6643250B2 (ja) 2014-12-18 2020-02-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
JP2016163331A (ja) * 2015-03-05 2016-09-05 株式会社東芝 画像処理装置
EP3493539B1 (en) * 2017-12-01 2021-03-24 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN108230407B (zh) * 2018-01-02 2021-03-23 京东方科技集团股份有限公司 一种图像的处理方法和装置
CN111869213A (zh) * 2018-01-16 2020-10-30 株式会社尼康 编码装置、解码装置、编码方法、解码方法、编码程序及解码程序
US11457189B2 (en) * 2019-06-20 2022-09-27 Samsung Electronics Co., Ltd. Device for and method of correcting white balance of image
KR20210147694A (ko) * 2020-05-29 2021-12-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Also Published As

Publication number Publication date
CN113271455A (zh) 2021-08-17
US20210258553A1 (en) 2021-08-19
US11601629B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
EP4113977A1 (en) Image acquisition method, imaging apparatus, electronic device, and readable storage medium
US10015428B2 (en) Image sensor having wide dynamic range, pixel circuit of the image sensor, and operating method of the image sensor
US20230319430A1 (en) Image sensor
US20150249795A1 (en) Imaging processing apparatus and method
US9628725B2 (en) Pixel array including pixel groups of long and short exposure pixels and image sensor including same
US20080278609A1 (en) Imaging apparatus, defective pixel correcting apparatus, processing method in the apparatuses, and program
US20050243181A1 (en) Device and method of detection of erroneous image sample data of defective image samples
CN102870404B (zh) 摄像设备及其暗电流校正方法
US8275213B2 (en) Apparatus and method for gain correction
EP3902242B1 (en) Image sensor and signal processing method
US20030184666A1 (en) Image sensor having pixel array and method for automatically compensating black level of the same
US9092845B2 (en) Image processing device with defect correcting circuit and image processing method
CN210694150U (zh) 图像传感器
US20220309712A1 (en) Application processor including neural processing unit and operating method thereof
US7667748B2 (en) Method and apparatus of defective pixel correction for a solid-state imaging device
US11646338B2 (en) Imaging device including shared pixels and operating method thereof
JP6700732B2 (ja) ピクセルイメージに含まれる不良画素の処理方法とその方法を用いたイメージセンサー及びアプリケーションプロセッサ
KR20210104462A (ko) 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
US9066056B2 (en) Systems for constant hue and adaptive color correction image processing
US11985436B2 (en) Image sensor for converting analog pixel signal based on different bit precisions, imaging device, electronic device, image processing system and signal processing method
US20240185558A1 (en) Image signal processor and image sensing device thereof
US12047691B2 (en) Image sensor, image processing apparatus, and image processing method
US20150264285A1 (en) Image processing apparatus and solid-state imaging apparatus
US20240171866A1 (en) Image processing device and image processing method
JP5968145B2 (ja) 画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination