KR20140125983A - 전자 장치 운용 방법 및 이를 지원하는 전자 장치 - Google Patents

전자 장치 운용 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20140125983A
KR20140125983A KR1020130043851A KR20130043851A KR20140125983A KR 20140125983 A KR20140125983 A KR 20140125983A KR 1020130043851 A KR1020130043851 A KR 1020130043851A KR 20130043851 A KR20130043851 A KR 20130043851A KR 20140125983 A KR20140125983 A KR 20140125983A
Authority
KR
South Korea
Prior art keywords
image
sensor
information
mapping
unit
Prior art date
Application number
KR1020130043851A
Other languages
English (en)
Inventor
이용만
김광영
조성대
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130043851A priority Critical patent/KR20140125983A/ko
Priority to US14/256,585 priority patent/US10110806B2/en
Publication of KR20140125983A publication Critical patent/KR20140125983A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시는 영상 처리에 관한 것으로, 특히 본 개시는 이미지 센서의 센서 패턴을 유지한 센서 영상을 수신하는 동작 및 상기 센서 영상과 관련된 정보를 포함한 메타 정보를 수신하는 동작, 상기 센서 영상 및 상기 메타 정보를 포함하는 센서 영상 정보를 저장하는 저장 동작을 포함하는 전자 장치 운용 방법과 저장된 영상을 선택하여 출력하는 운용 방법 및 이를 지원하는 전자 장치의 구성을 개시한다.

Description

전자 장치 운용 방법 및 이를 지원하는 전자 장치{Operating Method And Electronic Device thereof}
본 개시는 영상 처리에 관한 것으로, 특히 이미지 센서가 수집한 영상 처리에 관한 것이다.
전자 장치는 통신 기능을 가지며 휴대가 간편하여 많은 사람들이 이용하고 있다. 이러한 전자 장치는 다양한 컨텐츠를 제공할 수 있는 하드웨어 및 소프트웨어 발달에 힘입어 극적인 성장을 이루고 있으며, 전자 장치의 주요 기능으로는 영상을 수집하여 제공하는 기능이 있다.
본 개시의 다양한 실시 예에 따르면, 본 개시는 개선된 영상 저장 및 출력 처리를 가능케 하는 전자 장치 운용 방법 및 이를 지원하는 전자 장치를 제공할 수 있다.
본 개시의 일 실시 예에 따르면, 본 개시는 이미지 센서의 센서 패턴을 유지한 센서 영상을 수신하는 동작 및 상기 센서 영상과 관련된 정보를 포함한 메타 정보를 수신하는 동작, 상기 센서 영상 및 상기 메타 정보를 포함하는 센서 영상 정보를 저장하는 저장 동작을 포함하는 전자 장치 운용 방법의 구성을 개시한다.
본 개시는 또한, 이미지 센서의 센서 패턴을 유지한 센서 영상 및 상기 센서 영상과 관련된 정보를 포함한 메타 정보를 포함한 센서 정보 영상을 선택하는 이벤트를 수신하는 동작, 상기 선택 이벤트에 따라 상기 이미지 센서의 센서 패턴을 표시부의 센서 패턴에 매핑한 매핑 정보 및 상기 메타 정보를 기반으로 표시부에 출력할 출력 매핑 영상을 생성하는 생성 동작, 상기 생성된 출력 매핑 영상을 상기 표시부에 출력하는 동작을 포함하는 방법의 구성을 개시한다.
본 개시는 또한, 센서 영상을 수집하는 이미지 센서, 상기 센서 영상 수집을 위한 입력 이벤트를 생성하는 입력부 및 표시부 중 적어도 하나, 상기 이미지 센서의 센서 패턴과 동일한 포맷의 제1 타입 이미지 및 상기 이미지 센서의 센서 패턴과 다른 포맷의 제2 타입 이미지 저장을 제어하는 제어부, 상기 제1 타입 이미지 및 상기 제2 타입 이미지를 정의한 특성 정보들을 포함하는 헤더, 상기 제1 타입 이미지, 상기 제2 타입 이미지를 포함하는 종합 영상을 저장하는 저장부를 포함하는 영상 처리를 지원하는 전자 장치의 구성을 개시한다.
이상에서 살펴본 바와 같이 본 개시의 영상 처리 방법 및 이를 지원하는 전자 장치에 따르면, 본 개시는 수집된 영상의 저장 및 출력 과정에서의 보다 효율적인 영상 처리를 제공할 수 있다.
도 1은 본 개시의 실시 예에 따른 영상 처리를 지원하는 전자 장치의 구성을 개략적으로 나타낸 도면.
도 2는 본 개시의 일 실시 예에 따른 저장부 구성과 제어부 구성을 나타낸 도면.
도 3은 본 개시의 실시 예에 따른 이미지 매핑 처리를 설명하기 위한 도면.
도 4는 본 개시의 실시 예에 따른 영상 처리 방법 중 영상 저장 과정에서의 전자 장치 운용 방법을 설명하기 위한 순서도.
도 5는 본 개시의 실시 예에 따른 영상 처리 방법 중 저장된 영상 선택에 따른 전자 장치 운용 방법을 설명하기 위한 순서도.
도 6은 본 개시의 다른 실시 예에 따른 영상 처리 지원 제어부 구성과 저장부 구성을 나타낸 도면.
도 7은 본 개시의 종합 영상의 데이터 구조를 설명하기 위한 도면.
도 8은 본 개시의 다른 실시 예에 따른 영상 처리 방법 중 영상 저장 과정에서의 전자 장치의 제어 방법을 설명하기 위한 순서도.
도 9는 본 개시의 다른 실시 예에 따른 영상 처리 방법 중 저장된 영상 선택에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도.
도 10은 본 개시의 일실시 예에 따른 영상 처리 방법 중 외부 표시 장치 운용에서의 전자 장치의 제어 방법을 설명하기 위한 순서도.
이하, 본 개시의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.
다양한 실시 예를 설명함에 있어서 본 개시가 속하는 기술분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 개시는 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
도 1은 본 개시의 실시 예에 따른 영상 처리를 지원하는 전자 장치 예컨대 단말기(이하 "단말기")의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면 본 개시의 단말기(100)는 이미지 센서(110), 입력부(120), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. 여기서 표시부(140)는 전자 장치의 영상 출력을 위한 출력 장치의 구성이 될 수 있다. 한편 단말기(100)는 근거리 통신 기능 및 이동통신 기능 중 적어도 하나의 통신 기능을 지원할 수 있는 적어도 하나의 통신 모듈을 포함하는 통신부(170)를 더 포함할 수 있다. 또한 단말기(100)는 외부 표시 장치 접속을 지원하는 접속 인터페이스(130)를 더 포함할 수 있다. 추가로 단말기(100)는 송수신된 오디오 신호, 저장된 오디오 신호, 수집된 오디오 신호 중 적어도 하나를 출력할 수 있는 오디오 처리부의 구성을 더 포함할 수 있다.
이와 같은 구성을 포함하는 단말기(100)는 이미지 센서(110)를 통하여 수집(Capture)한 영상을 저장부(150)에 저장하는 과정에서 이미지 센서(110)의 촬영 조건 정보를 메타 정보로서 함께 저장할 수 있다. 그리고 단말기(100)는 저장된 이미지 선택 신호를 수신하면 메타 정보 및 표시부의 하드웨어 구조에 따른 픽셀 타입 또는 영상 타입 예컨대 베이어 패턴에 대응하는 매핑 정보를 기반으로 출력 매핑 영상을 생성하여 출력할 수 있다. 예컨대, 본 개시의 단말기(100)는 저장된 센서 영상 정보를 출력하는 과정에서 별도의 디코딩 과정을 수행하지 않고 매핑 정보와 메타 정보를 이용하여 센서 영상(Raw Image)으로부터 출력 매핑 영상을 생성하여 출력할 수 있다. 예컨대 본 개시의 단말기(100)는 이미지 센서(110)가 제공한 RGB(Red, Green, Blue) 타입 센서 영상을 동일한 RGB 타입의 출력 매핑 영상으로 변환할 수 있다. 이에 따라 본 개시의 단말기(100)는 영상 출력 과정에서 요구되는 디코딩 과정을 제거함으로써 보다 간소화된 영상 출력 기능을 지원할 수 있다.
이미지 센서(110)는 하드웨어 특성에 따라 다양한 해상도를 가지는 영상을 획득할 수 있다. 예컨대 이미지 센서(110)의 하드웨어가 8MP(Mega Pixel) 해상도의 영상을 획득하면 단말기(100)는 8MP 해상도의 센서 영상과 메타 정보를 포함하는 센서 영상 정보(153)를 저장부에 저장할 수 있다. 한편 제어부(160)는 저장된 고해상도의 (예컨대 8MP) 센서 영상에 해당하는 이미지를 표시부(140)에 출력하도록 요청받는 경우 스케일을 조정하여 예컨대 4MP 해상도의 출력 매핑 영상을 생성할 수 있다. 이 과정에서 제어부(160)는 고해상도의 센서 영상이 적절한 출력 매핑 영상으로 변환되도록 사전 정의된 매핑 정보와 센서 영상이 수집된 시점의 촬영 조건 정보에 해당하는 메타 정보를 기반으로 영상 변환을 수행할 수 있다. 이때 이용되는 매핑 정보는 표시부(140)의 해상도 또는 표시부(140)의 하드웨어 특징에 따라 다양한 형태로 구성될 수 있다.
이미지 센서(110)는 영상을 획득 및 수집하는 장치이다. 예컨대 이러한 이미지 센서(110)는 다수의 반도체 소자가 매트릭스 형태로 배치될 수 있다. 이때 매트릭스 형태로 배치되는 다수의 반도체 소자의 집적도에 따라 이미지 센서(110)의 해상도가 결정될 수 있다. 한편 본 개시의 단말기(100)에 적용되는 이미지 센서(110)는 표시부(140)에 출력되는 영상에 비하여 상대적으로 고해상도의 영상을 획득 및 수집할 수 있는 장치가 될 수 있다. 이러한 이미지 센서(110)는 렌즈 모듈과, 렌즈 모듈을 감싸는 하우징, 렌즈 모듈을 통해 입력된 광을 처리하여 특정 타입의 데이터로 전환하는 광변환 회로 등의 구성을 포함할 수 있다. 이미지 센서(110)는 피사체에 대한 특정 타입 예컨대 RGB 베이어 패턴 영상을 제어부(160)에 제공할 수 있다. 또는 이미지 센서(110)는 설계 형태에 따라 피사체에 대한 RGBW(Red, Green, Blue, White) 베이어 패턴 영상을 제어부(160)에 제공할 수도 있다. 이하 설명에서는 RGB 타입을 예로 하여 본 개시의 영상 처리 기능에 대하여 설명하기로 한다.
입력부(120)는 단말기(100) 운용과 관련된 다양한 입력 신호 생성을 지원하는 구성이다. 이러한 입력부(120)는 단말기(100)의 적어도 일측에 마련되는 적어도 하나의 하드웨어 키 또는 물리 키를 포함할 수 있다. 입력부(120)는 단말기(100) 턴??온 또는 턴??오프를 위한 입력 신호, 이미지 센서(110) 활성화를 위한 입력 신호, 이미지 캡쳐를 위한 입력 신호를 생성할 수 있다. 입력부(120)의 물리 키 중 특정 키는 이미지 센서(110)를 직접적으로(Directly) 활성화할 수 있는 핫 키로 설계될 수도 있다.
또한 입력부(120)는 이미지 센서(110)의 광학 조건 조정 신호 등을 사용자 제어에 따라 생성할 수 있다. 광학 조건 조정 신호는 이미지 센서(110)의 적어도 하나의 환경 조건 조절을 위한 신호를 포함할 수 있다. 예컨대 광학 조건 조정 신호는 디지털 줌인 또는 줌아웃 등의 거리 조절 신호, 후레쉬 적용 신호, 이미지 이펙트 조절 신호, 셔터 속도 조절 신호, ISO 조절 신호, 단사 또는 연사 조절 신호 등을 포함할 수 있다. 생성된 입력 신호는 제어부(160)에 전달된다. 한편 표시부(140)가 터치스크린 등의 입력 수단 형태로 마련되는 경우 입력 신호 생성의 측면에서 표시부(140)는 입력부(120) 구성으로 이해될 수 있다. 터치스크린 형태의 표시부(140)는 상술한 다양한 입력 신호를 터치 기반의 터치 이벤트로 생성하여 제어부(160)에 전달할 수 있다.
한편 입력부(120)는 접속 인터페이스(130)를 통하여 외부 표시 장치가 접속되면 외부 표시 장치 지원을 위한 특정 매핑 정보 선택 신호를 생성할 수 있다. 후술하겠지만 제어부(160)는 접속 인터페이스(130)에 외부 표시 장치가 접속되면 외부 표시 장치의 종류를 확인하고 그에 따른 매핑 정보가 자동 선택되도록 지원할 수 있다. 다만 특정 외부 표시 장치의 경우에는 최적의 매핑 정보 선택이 자동으로 제공되지 않을 수도 있다. 이 경우 제어부(160)는 외부 표시 장치에 외부 출력 매핑 영상을 제공하기 위한 매핑 정보 선택을 위한 화면을 제공할 수 있다. 그러면 사용자는 입력부(120) 또는 입력 기능의 표시부(140)를 이용하여 수동으로 특정 매핑 정보 선택을 수행할 수 있다.
접속 인터페이스(130)는 외부 표시 장치 접속을 지원하는 장치가 될 수 있다. 예컨대 접속 인터페이스(130)는 외부 표시 장치와 케이블 등으로 접속되는 유선 접속 인터페이스를 포함할 수 있다. 또한 접속 인터페이스(130)는 외부 표시 장치와 무선으로 데이터를 전송할 수 있는 무선 접속 인터페이스를 포함할 수 있다. 이에 따라 접속 인터페이스(130)는 USB나 UART와 같은 직렬 인터페이스뿐만 아니라, 근거리 무선 통신 모듈의 형태로 마련될 수도 있다. 한편 접속 인터페이스(130)에 외부 표시 장치가 연결되면 접속 인터페이스(130)는 외부 표시 장치 접속에 따른 신호를 제어부(160)에 전달할 수 있다.
상기 단말기(100)는 접속 인터페이스(130)를 통하여 외부 표시 장치 연결을 지원할 수 있다. 그리고 단말기(100)는 저장부(150)에 저장된 센서 영상 정보(153)로부터 생성된 출력 매핑 영상을 표시부(140) 뿐만 아니라 외부 표시 장치에 출력할 수도 있다. 예컨대, 단말기(100)는 표시부(140) 및 외부 표시 장치 중 적어도 하나를 포함하는 출력 장치에 센서 영상 정보(153)로부터 생성된 출력 매핑 영상을 출력할 수 있다.
이를 위하여 단말기(100)는 외부 표시 장치의 표시 특성 확인을 수행하고 그에 대응하는 매핑 정보를 선택할 수 있다. 그리고 단말기(100)는 선택된 매핑 정보 및 센서 영상 정보(153)의 메타 정보를 기반으로 센서 영상으로부터 외부 출력 매핑 영상을 생성할 수 있다. 단말기(100)는 생성된 외부 출력 매핑 영상을 외부 표시 장치에 출력하도록 지원할 수 있다. 결과적으로 단말기(100)는 저장부(150)에 저장된 센서 영상 정보(153) 출력 시 다양한 매핑 정보 중 외부 표시 장치에 최적화된 매핑 정보를 활용함으로써 최적의 외부 출력 매핑 영상 출력을 지원할 수 있다.
한편 본 개시에 적용되는 외부 표시 장치는 접속 인터페이스(130)를 통하여 단말기(100)에 접속될 수 있는 장치가 될 수 있다. 이러한 외부 표시 장치는 단말기(100)와 통신 채널을 유무선 중 적어도 하나의 방식으로 형성할 수 있다. 그리고 외부 표시 장치는 형성된 통신 채널을 통하여 단말기(100)로부터 출력 매핑 영상을 수신하여 출력할 수 있다. 외부 표시 장치는 접속 인터페이스(130)를 통하여 단말기(100)에 자신의 장치 ID 정보 또는 표시 장치의 베이어 패턴 정보를 제공할 수 있다. 그리고 외부 표시 장치는 자신이 제공한 정보에 최적화된 외부 출력 매핑 영상을 수신하여 출력하도록 지원할 수 있다. 이러한 외부 표시 장치는 일례로서 TV 모니터, 스마트 TV, 태블릿 PC, 슬레이트 PC, 패드형 또는 노트형 PC 등 표시 패널을 가지는 전자 장치가 될 수 있다.
표시부(140)는 단말기(100) 운용과 관련된 다양한 화면을 출력할 수 있다. 예컨대 표시부(140)는 단말기(100) 운용에 필요한 메뉴 화면, 위젯 화면, 아이콘 화면, 대기 화면, 갤러리 화면, 웹 접속 화면 등을 출력할 수 있다. 특히 표시부(140)는 이미지 센서(110) 활성화를 위한 아이콘이나 메뉴 항목을 포함한 화면을 제공할 수 있다. 그리고 저장된 영상 선택 요청에 따라 표시부(140)는 저장부(150)에 저장된 센서 영상 정보(153)에 대응하는 출력 매핑 영상을 출력할 수 있다. 이때 표시부(140)에 출력되는 출력 매핑 영상은 메타 정보 및 매핑 정보 기반으로 저장부(150)에 저장된 센서 영상의 스케일이 조정된 영상이 될 수 있다.
단말기(100)가 휴대 기능을 지원하도록 마련되는 경우 표시부(140)는 크기가 일정 크기 이하로 제한될 수 있다. 그리고 단말기(100)의 표시부(140) 해상도는 크기 및 하드웨어 집적 기술에 따라 다양할 수 있다. 예컨대 표시부(140) 해상도는 960 X 640, 1280 X 800, 800 X 480 등이 될 수 있다. 따라서 이미지 센서(110)가 수집한 고해상도의 센서 영상이 표시부(140)에 출력될 때 스케일이 조정될 수 있다. 예컨대 센서 영상은 업스케일 또는 다운스케일(Down Scale)이 적용되어 출력될 수 있다.
상술한 표시부(140)는 다양한 형태 중 어느 하나가 될 수 있다. 예컨대 표시부(140)는 액정 표시 장치 타입, AMOLED 타입, 탄소나노튜브 기반 표시 장치, 플라즈마 패널 표시 장치 등 다양한 표시 장치 타입 중 어느 하나가 될 수 있다. 또한 표시부(140)는 각 타입들에 대해서도 이미지를 출력하는 타입이 다르게 구현될 수 있다. 예컨대 표시부(140)는 이미지 표시 타입 구분에서 RGBW 칼라필터 타입, RGBG AMOLED 타입, RGB LCD 타입, RGB AMOLED 타입 등이 될 수 있다.
표시부(140)는 이미지 센서(110)가 활성화되면 이미지 센서(110)의 촬영 환경 설정을 위한 제어 화면을 출력할 수 있다. 표시부(140)는 이미지 센서(110)가 수집한 센서 영상으로부터 제1 매핑 정보를 적용하여 생성된 출력 매핑 영상을 출력할 수 있다. 이때 제1 매핑 정보는 표시부 베이어 패턴에 최적화되도록 저장부(150)에 저장된 센서 영상을 변환하기 위한 매핑 정보가 될 수 있다. 한편 표시부(140)는 접속 인터페이스(130)에 외부 표시 장치가 접속되는 경우 자동으로 턴??오프될 수 있다. 또는 표시부(140)는 스케줄 정보에 따라 또는 사용자 제어에 따라 외부 표시 장치의 접속과는 독립적으로 턴??온 상태를 유지하거나 턴??오프될 수도 있다.
저장부(150)는 단말기(100) 운용에 필요한 다양한 데이터 및 프로그램을 저장할 수 있는 구성이다. 예컨대 저장부(150)는 단말기(100) 운용을 위한 적어도 하나의 운영 체제(Operation System: OS)를 포함할 수 있다. 저장부(150)는 단말기(100) 기능 지원을 위한 다양한 프로그램 예컨대 브라우저 앱(Application : 이하 앱), 음악 재생 앱, 동영상 재생 앱, 방송 수신 기능 앱, 블랙박스 기능 앱, 화상 채팅 앱, 영상 통화 앱 등을 포함할 수 있다. 또한 저장부(150)는 본 개시의 출력 매핑 영상 처리를 위하여 영상 처리 프로그램(151)을 포함할 수 있다. 그리고 저장부(150)는 이미지 센서(110)가 수집한 센서 영상 정보(153)를 저장할 수 있다. 저장부(150)는 출력 매핑 정보 생성을 위하여 매핑 정보(166)를 더 포함할 수 있다.
영상 처리 프로그램(151)은 저장 루틴, 생성 루틴 및 출력 루틴을 포함할 수 있다. 이러한 루틴들은 제어부(160)에 로드되어 후술하는 전처리부, 매핑부, 후처리부 등의 구성으로서 동작할 수 있다. 저장 루틴은 이미지 센서(110)가 수집한 센서 영상을 센서 영상 정보(153)로 저장하기 위한 서브루틴들을 포함할 수 있다. 생성 루틴은 저장된 센서 영상 정보(153)를 기반으로 출력 매핑 영상을 생성하기 위한 서브루틴들을 포함할 수 있다. 출력 루틴은 생성된 출력 매핑 영상을 출력 장치에 출력하기 위한 서브루틴들을 포함할 수 있다.
저장 루틴은 입력 이벤트에 따라 피사체에 대한 이미지 센서(110)의 센서 영상을 수집하는 서브루틴, 수집된 센서 영상을 원 이미지 형태(Raw Image)로 저장하는 서브루틴을 포함할 수 있다. 또한 저장 루틴은 이미지 수집 시 이미지 센서(110)의 촬영 조건 정보를 메타 정보로 수집하는 서브루틴, 메타 정보를 센서 영상에 포함시켜 센서 영상 정보(153)로 저장하는 서브루틴을 포함할 수 있다. 촬영 조건 정보는 이미지 센서(110)의 하드웨어 특성 정보, 촬영 시 밝기 정보, ISO 정보, 줌 정보, 후레쉬 적용 정보, 이미지 이펙트 적용 정보, 셔터 속도 정보 등 촬영 조건과 관련된 다양한 정보 중 적어도 하나를 포함할 수 있다.
생성 루틴은 센서 영상 정보(153)에서 메타 정보를 확인하는 서브루틴, 출력 장치의 표시 장치 특성 예컨대 베이어 패턴 정보에 해당하는 매핑 정보를 확인하는 서브루틴을 포함할 수 있다. 그리고 생성 루틴은 메타 정보 및 매핑 정보를 기반으로 센서 영상으로부터 출력 매핑 영상을 생성하는 서브루틴을 포함할 수 있다. 이때 생성된 출력 매핑 영상은 출력 장치의 표시 장치에 따라 센서 영상의 스케일이 조정된 예컨대 업스케일 또는 다운스케일한 영상이 될 수 있다. 또한 출력 매핑 영상은 메타 정보에 따라 센서 정보의 밝기 정보, 줌 정보, 이미지 이펙트 정보 등이 적용된 영상이 될 수 있다.
출력 루틴은 출력 매핑 영상을 출력할 출력 장치를 확인하는 서브루틴, 확인된 출력 장치에 해당 출력 매핑 영상을 출력하는 서브루틴을 포함할 수 있다. 예컨대 출력 루틴 운용에 따라 출력 매핑 영상은 상술한 표시부(140)를 통하여 출력될 수 있다. 또한 출력 루틴 운용에 따라 출력 매핑 영상은 후술하는 접속 인터페이스(130)에 접속된 외부 표시 장치로 출력될 수 있다.
한편 상술한 영상 처리 프로그램(151)은 접속 인터페이스(130)를 통하여 접속되는 외부 표시 장치에 출력할 외부 출력 매핑 영상 생성과 출력을 지원하는 루틴을 더 포함할 수 있다. 예컨대, 영상 처리 프로그램(151)은 표시부(140)를 통한 출력 매핑 영상 출력을 지원하는 표시부 출력 루틴 및 외부 표시 장치를 통하여 외부 출력 매핑 영상 출력을 지원하는 외부 표시 장치 출력 루틴을 포함할 수 있다. 외부 표시 장치 출력 루틴은 외부 표시 장치로 출력될 외부 출력 매핑 영상 생성을 위한 제2 매핑 정보 선택 루틴, 제2 매핑 정보 기반으로 외부 출력 매핑 영상을 생성하는 루틴, 생성된 외부 출력 매핑 영상을 출력하는 루틴을 포함할 수 있다.
센서 영상 정보(153)는 센서 영상과 메타 정보를 포함할 수 있다. 센서 영상은 이미지 센서(110)가 수집하여 제공한 영상(RGB/RGBW Raw Image)이 될 수 있다. 메타 정보는 앞서 설명한 바와 같이 이미지 센서(110)의 촬영 조건에 대한 적어도 하나의 정보를 포함할 수 있다. 이러한 센서 영상 정보(153)는 촬영에 따라 복수개가 저장될 수 있다.
매핑 정보(166)는 저장부(150)에 저장된 센서 영상 정보(153)로부터 출력 매핑 영상을 생성하는 과정에서 적용되는 정보이다. 이러한 매핑 정보(166)는 별도의 외부 표시 장치로 출력 매핑 영상의 전송을 지원하지 않는 경우 표시부(140)에 해당하는 하나의 정보만을 포함할 수 있다. 한편 외부 표시 장치로의 출력 매핑 영상 전송을 지원하는 경우 매핑 정보(166)는 외부 표시 장치별로 최적화된 센서 영상의 변환 정보들을 포함할 수 있다. 매핑 정보(166)는 저장부(150)에 저장되지 않고 제어부(160)에 마련된 별도의 저장 영역에 저장 관리될 수 있다. 예컨대 매핑 정보(166)는 제어부(160)의 매핑부(163) 구성에 임베이디드 되는 형태 또는 미들웨어 형태로 포함될 수 있다.
본 개시의 단말기(100)는 통신 기능 지원을 위하여 적어도 하나의 통신 모듈을 포함하는 통신부(170)의 구성을 포함할 수 있다. 통신부(170)는 예컨대 이동통신 모듈의 형태가 될 수 있다. 이러한 통신부(170)는 매핑 정보 수신을 지원할 수 있다. 매핑 정보는 센서 영상을 출력 매핑 영상으로 전환하는 과정에서 적용되는 기준 정보일 수 있다. 이러한 매핑 정보는 다양한 실험적 결과 및 통계 결과에 따라 업데이트 될 수 있다. 이에 따라 통신부(170)는 상술한 매핑 정보를 제공하는 서버 장치와의 통신 채널 형성을 지원할 수 있다. 단말기(100)는 통신부(170)가 제공하는 매핑 정보를 수신하여 상술한 저장부(150)에 저장할 수 있다. 또는 단말기(100)는 매핑 정보가 제어부(160)에 저장되는 형태로 설계되는 경우, 제어부(160)에 기록된 매핑 정보를 통신부(170)가 수신한 새로운 매핑 정보로 갱신할 수 있다.
또한 통신부(170)는 외부 표시 장치가 제공한 장치 ID 또는 베이어 패턴에 최적화된 매핑 정보 검색을 지원할 수 있다. 이를 위하여 통신부(170)는 매핑 정보를 제공하는 외부 서버 장치와 자동으로 또는 사용자 요청에 따라 통신 채널을 형성할 수 있다. 그리고 통신부(170)는 제어부(160) 제어에 따라 장치 ID 또는 베이어 패턴 정보를 외부 서버 장치에 제공할 수 있다. 외부 서버 장치가 해당 장치 ID 또는 베이어 패턴 정보에 대응하는 매핑 정보를 제공하면, 통신부(170)는 이를 수신하여 제어부(160)에 제공할 수 있다. 이에 따라 제어부(160)는 접속 인터페이스(130)를 통해 접속된 외부 표시 장치에 최적화된 매핑 정보를 실시간 검색 및 적용을 수행할 수 있다. 또한 통신부(170)는 제어부(160) 제어에 따라 저장부(150)에 저장된 센서 영상 정보(153)를 타 전자 장치에 전송하기 위한 통신 채널 형성을 지원할 수 있다. 한편 단말기(100)가 통신 기능을 지원하지 않는 경우 통신부(170) 구성은 생략될 수 있다.
제어부(160)는 단말기(100) 기능 운용에 필요한 다양한 데이터의 처리, 신호 처리, 제어 신호의 전달, 앱 활성화, 입력부(120) 및 표시부(140) 제어 등을 수행할 수 있다. 특히 제어부(160)는 본 개시의 저장된 센서 영상 정보에 대응하는 출력 매핑 영상 처리를 위한 센서 영상의 저장 처리를 제어할 수 있다. 또한 제어부(160)는 센서 영상 정보 기반의 출력 매핑 영상 생성을 제어할 수 있다. 또한 제어부(160)는 생성된 출력 매핑 영상 출력을 지원할 수 있다. 이를 위하여 제어부(160)는 본 개시의 실시 예에 따라 도 2 또는 도 6에 도시된 바와 같은 구성을 포함할 수 있다.
먼저, 도 2는 본 개시의 단말기(100) 구성 중 일 실시 예에 따른 저장부(150) 구성 및 보다 상세히 나타낸 제어부(160) 관련 도면이다. 도 3은 제어부(160) 구성 중 매핑부(163) 구성의 이미지 매핑의 일례를 설명하기 위한 도면이다.
도 2를 참조하면, 본 개시의 제어부(160)는 전처리부(161), 매핑부(163), 후처리부(165)를 포함할 수 있다. 그리고 제어부(160)는 상술한 구성들의 영상 처리를 지원하기 위하여 연산부(167), 메모리(169), 운영 체제(162), 버스(164)를 포함할 수 있다.
전처리부(161)는 이미지 센서(110) 제어를 지원할 수 있다. 예컨대, 전처리부(161)는 입력부(120) 및 표시부(140) 중 적어도 하나로부터 생성된 이미지 센서(110) 관련 입력 신호에 따라 이미지 센서(110) 제어를 수행할 수 있다. 예컨대 전처리부(161)는 이미지 센서(110)의 초점 조정을 제어할 수 있다. 또한 전처리부(161)는 이미지 센서(110)의 밝기 조절을 제어할 수 있다. 전처리부(161)는 이미지 센서(110)가 제공하는 센서 영상의 보정을 수행할 수 있다. 예컨대 전처리부(161)는 렌즈 쉐이딩(Lens Shading), 오점 정정(Defect correction), AE(Auto Exposure), AWB(Auto White Balance), AF(Auto Focusing) 제어 등을 수행할 수 있다. 전처리부(161)는 영상 수집 요청에 따라 이미지 센서(110)가 수집하여 제공한 센서 영상을 전처리한 후 이를 메모리(169)에 임시 저장하였다가 저장부(150)에 전달할 수 있다. 이때 전처리부(161)는 센서 베이어 패턴을 유지한 센서 영상 및 이미지 센서(110)의 촬영 조건 정보에 해당하는 메타 정보를 포함하는 센서 영상 정보(153)를 저장부(150)에 전달할 수 있다. 여기서 저장부(150)는 플래쉬 메모리 등으로 마련될 수 있다. 여기서 센서 베이어 패턴은 센서 패턴의 일례로서 이미지 센서의 촬상 소자를 구성하는 하드웨어의 물리적 패턴 또는 포토 센서들의 RGB 센서 패턴을 명명하는 용어로 사용하기로 한다.
매핑부(163)는 저장부(150)에 저장된 센서 영상 정보(153) 선택이 발생하면 해당 센서 영상의 해상도 변환, 디지털 줌 수행에 따른 패턴 변환을 지원할 수 있다. 이를 위하여 매핑부(163)는 저장부(150)에 저장된 센서 베이어 패턴 형태로 저장된 센서 영상 정보(153)를 표시부(140)의 하드웨어 특성에 맞도록 변환할 수 있다. 예컨대, 매핑부(163)는 센서 영상의 원 베이어 패턴(raw bayer pattern)을 표시부 베이어 패턴(Bayer pattern)에 맞게 스케일이 조정될 수 있다. 이때 매핑부(163)는 기 저장된 매핑 정보(166)와 센서 영상 정보(153)에 포함된 메타 정보를 기반으로 센서 영상의 베이어 패턴을 표시부 베이어 패턴에 맞게 조정할 수 있다.
매핑 정보(166)는 저장부(150)에 저장되었다가 참조될 수 있다. 또는 매핑 정보(166)는 매핑부(163)에 기록되었다가 참조될 수 있다. 매핑 정보(166)는 센서 베이어 패턴을 표시부 베이어 패턴으로 변환할 때 어떠한 방식으로 패턴을 변경할지를 정의한 정보를 포함할 수 있다. 또한 매핑 정보(166)는 센서 베이어 패턴을 외부 표시 장치의 베이어 패턴으로 변환할 때 어떠한 방식으로 패턴으로 변경할지를 정의한 정보를 포함할 수 있다.
도 3은 매핑 정보(166) 적용의 일례를 설명하기 위한 도면이다. 매핑 정보(166)는 예를 들면 도 3에 도시된 바와 같이 4개의 서브 픽셀들이 "RGGB" 패턴으로 배치된 센서 베이어 패턴(111) 4개 픽셀(4개의 서브 픽셀을 하나의 픽셀로 정의할 경우 16개의 서브 픽셀)을 하나의 표시부 베이어 패턴(141) 픽셀로 변경하는 것을 예시한 것이다. 여기서 표시부 베이어 패턴(141)은 4개의 서브 픽셀이 "RGBW" 패턴으로 배치될 수 있다.
여기서 도 3에 예시한 매핑 정보(166)는 센서 영상의 해상도를 1/4로 다운스케일한 출력 매핑 영상을 생성하도록 정의한 정보가 될 수 있다. 여기서 센서 베이어 패턴(111)에 해당하는 RGGB 패턴을 표시부 베이어 패턴(141)에 해당하는 RGBW 패턴으로 변경할 때 실험적 결과에 따라 다양한 방식이 정의될 수 있다. RGB 타입에서 픽셀은 하드웨어의 물리적 특성에 따라 색상도가 다르게 정의될 수 있다. 예컨대 하드웨어의 물리적 특성이 이미지 색상도 구분을 위하여 8bit가 적용된다면 RGB 타입에서 각각의 서브 픽셀은 256개의 색상도를 가질 수 있다. 이에 따라 매핑 정보(166)는 센서 베이어 패턴(111)의 복수개의 서브 픽셀 색상도들을 표시부 베이어 패턴(141)의 하나의 서브 픽셀 색상도로 변경하는 정보가 될 수 있다.
예컨대 매핑 정보(166)는 센서 베이어 패턴(111) 16개의 서브 픽셀에 포함된 "R" 요소의 색상도 평균치를 표시부 베이어 패턴(141)의 "R" 서브 픽셀의 색상도 값으로 정의할 수 있다. 유사한 방식으로 매핑 정보(166)는 센서 베이어 패턴(111) 16개의 서브 픽셀에 포함된 "B" 요소의 색상도 평균치를 표시부 베이어 패턴(141)의 "R" 서브 픽셀 색상도 값으로 정의할 수 있다. 또한 매핑 정보(166)는 센서 베이어 패턴(111) 32개의 서브 픽셀에 포함된 "G" 요소의 색상도 평균치를 표시부 베이어 패턴(141)의 2개의 "G" 서브 픽셀 색상도 값으로 정의할 수 있다. 또는 매핑 정보(166)는 센서 베이어 패턴(111) 16개의 서브 픽셀에 포함된 "R", "B", "G" 요소들 각각의 색상도 값 중 가장 높은 색상도 값들을 표시부 베이어 패턴(141)의 "R", "B", "G" 서브 픽셀들 색상도 값으로 정의할 수 있다.
또는 매핑 정보(166)는 비선형적 패턴 변환을 정의할 수 있다. 예컨대, 매핑 정보(166)는 수집된 영상의 영역별 특성에 따라 패턴 변환을 다르게 적용하도록 정의할 수 있다. 예컨대 매핑 정보(166)는 센서 영상에 포함된 경계 영역에서의 패턴 변환을 제1 타입 패턴 변경을 정의할 수 있고, 색상이 변경되지 않는 비경계 영역에서의 패턴 변환을 제2 타입 패턴 변경으로 정의할 수 있다.
여기서 일례로서 제1 타입 패턴 변경은 경계 영역을 보다 선명하게 표현할 수 있도록 지원하는 방식 예컨대 색상도가 높은 값에 가중치를 더 크게 부여하는 방식이 될 수 있다. 또한 일례로서 제2 타입 패턴 변경은 비경계 영역의 색상 밝기 구분을 보다 선명하게 표현할 수 있도록 "white" 가중치를 상대적으로 높게 적용하는 방식이 될 수 있다.
상술한 바와 같이 본 개시의 매핑 정보(166)는 센서 베이어 패턴(111)을 표시부 베이어 패턴(141)으로 전환하는 과정에서 다양한 형태 중 적어도 하나의 형태로 정의될 수 있다. 따라서 본 개시의 실시 예가 상술한 매핑 정보(166)의 정의 방식에 한정되는 것은 아니다. 예컨대, 이미지 센서(110)의 하드웨어 특징 및 표시부(140)의 하드웨어 특징에 따라 다양하게 변경될 수 있기 때문에, 매핑 정보(166)는 본 개시가 적용되는 전자 장치의 특성에 따라 실험적 및 통계적 결과에 따라 다양하게 정의될 수 있을 것이다.
다시 도 2를 참조하면, 후처리부(165)는 매핑부(163)가 전달한 패턴 조정된 영상을 표시부(140)에 출력할 적절한 출력 매핑 영상이 되도록 처리할 수 있다. 예컨대, 후처리부(165)는 최종적으로 표시부(140)에 출력할 화질 정보 갱신을 수행할 수 있다. 예컨대 후처리부(165)는 칼라 이미지 프로세싱 및 디스플레이 프로세싱을 처리할 수 있다. 칼라 이미지 프로세싱은 노이즈 저감(Noise Reduction), 칼라 정정(Color Correction) 등의 과정을 포함할 수 있다. 디스플레이 프로세싱은 플립/회전(Flip/Rotate) 처리, 스무스/샤프니스(smooth/sharpness) 처리, 크랍(crop) 처리 등의 과정을 포함할 수 있다.
연산부(167)는 운영 체제(162)가 제공하는 다양한 루틴들을 이용하여 전처리부(161), 매핑부(163), 후처리부(165)의 업무 수행을 제어 및 조정하는 구성이다. 이 과정에서 연산부(167)는 이미지 센서(110) 구동에 필요한 다양한 루틴들에 대한 스케줄 정보를 참조할 수 있다. 그리고 연산부(167)는 참조 정보를 기반으로 이미지 센서(110)의 설정 제어를 지원할 수 있다. 그리고 연산부(167)는 입력부(120) 및 표시부(140)로부터 입력되는 입력 신호에 따라 이미지 센서(110)를 활성화할 수 있다. 연산부(167)는 이미지 센서(110)가 획득한 센서 영상을 전처리부(161)에 제공하도록 제어할 수 있다. 그리고 연산부(167)는 설정된 스케줄 정보에 따라 전처리부(161)를 통해 이미지 센서(110) 제어를 수행할 수 있다.
본 개시의 일 실시예에 따르면,연산부(167)는 전처리부(161) 제어를 통하여 이미지 센서(110)가 제공한 센서 영상을 이미지 센서(110)의 촬영 조건 정보와 함께 센서 영상 정보(153)로서 저장부(150)에 저장하도록 제어할 수 있다. 또한 연산부(167)는 저장부(150)에 저장된 센서 영상 정보(153)를 표시부(140)에 출력하도록 요청받으면 매핑부(163) 제어를 통하여 매핑 정보(166)와 메타 정보를 이용하여 센서 영상을 출력 매핑 영상으로 변환하도록 제어할 수 있다. 이 과정에서 연산부(167)는 매핑 정보(166)에 기록된 정보에 따라 센서 베이어 패턴을 표시부 베이어 패턴으로 변환하도록 제어할 수 있다. 또한 연산부(167)는 메타 정보에 포함된 정보에 따라 패턴 변환된 영상에 밝기 조절, 디지털 줌인 또는 줌아웃 조절, 이미지 이펙트 조절 등을 적용하도록 제어할 수 있다.
본 개시의 일 실시예 따르면, 메모리(169)는 제어부(160)의 운용을 위해 필요한 데이터들이 로드되는 영역이 될 수 있다. 여기서 메모리(169)는 저장부(150)와 구분되거나 또는 저장부(150)의 일부 구성으로 이해될 수 있다. 예컨대 저장부(150)가 단말기(100)의 플래쉬 메모리 타입으로 제작되고 하드 디스크 형태로 제공되는 경우 메모리(169)는 RAM 타입 형태로 제공될 수 있다. 한편 메모리(169)는 본 개시의 센서 영상의 저장 및 출력 기능 과정에서 센서 영상을 메타 정보와 함께 센서 영상 정보(153)로 저장할 수 있도록 작업 공간 역할을 수행할 수 있다. 또한 메모리(169)는 저장부(150)에 저장된 센서 영상 정보(153)를 메타 정보와 매핑 정보(166)를 기반으로 출력 매핑 영상으로 변환할 때 작업 공간 역할을 수행할 수 있다.
본 개시의 일 실시예 따르면, 제어부(160)의 접근 용이성 측면이나 속도면 등에서 메모리(169)가 상술한 RAM 또는 Cache 타입으로 제공될 수 있으나 본 개시이 이에 한정되는 것은 아니다. 메모리(169)는 센서 베이어 패턴을 가지는 센서 영상이 저장되며, 이를 표시부 베이어 패턴으로 변경한 출력 매핑 영상이 저장되는 영역이 될 수 있다.
본 개시의 일 실시예 따르면, 버스(164)는 상술한 각 구성들의 데이터 전달과, 제어 신호의 전달을 지원하는 물리적 및/또는 논리적 구성이 될 수 있다. 본 개시에서 버스(164)는 이미지 센서(110)가 수집한 센서 영상을 메모리(169)를 거쳐 저장부(150)에 저장하는 과정에서 데이터의 전달 역할을 수행할 수 있다. 그리고 버스(164)는 매핑부(163)가 저장부(150)에 저장된 센서 영상 정보(153)를 매핑 정보(166) 및 메타 정보를 기반으로 출력 매핑 영상으로 변경하도록 제어하는 제어 신호를 전달하는 역할을 수행할 수 있다. 그리고 버스(164)는 저장부(150)에 저장된 데이터를 메모리(169)로 이동시키며, 메모리(169)에 저장된 데이터들을 매핑부(163) 및 후처리부(165)에 전달시키도록 지원할 수 있다. 또한 버스(162)는 후처리에 의해 생성된 출력 매핑 영상을 표시부(140)에 출력하도록 데이터 전달을 지원할 수 있다.
이상에서 설명한 바와 같이 본 개시의 전자 장치는 이미지 센서(110)가 수집한 센서 베이어 패턴의 센서 영상을 메타 정보와 함께 저장부(150)에 저장할 수 있다. 그리고 저장부(150)에 저장된 센서 영상을 표시부(140)에 출력할 때 센서 베이어 패턴을 표시부 베이어 패턴으로 변환하도록 기 정의된 매핑 정보(166)와 메타 정보를 토대로 센서 영상을 출력 매핑 영상으로서 변환할 수 있다. 이에 따라 본 개시는 센서 영상에 대한 인코딩 또는 디코딩 과정의 수행 없이도 센서 영상의 저장과 검색을 위한 영상 출력을 지원할 수 있다.
도 4는 본 개시의 실시 예에 따른 영상 처리 방법 중 센서 영상 저장 과정에서의 전자 장치 제어 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 개시의 전자 장치 예컨대 단말기(100)의 제어부(160)는 단말기(100)의 기능 운용을 대기하면서 스케줄 정보 또는 입력부(120)나 입력 기능의 표시부(140)로부터 제공되는 이벤트를 수신할 수 있다. 그리고 제어부(160)는 401 동작에서 해당 이벤트가 이미지 센서(110) 활성화를 위한 이벤트인지 확인할 수 있다. 이 동작에서 제어부(160)는 해당 이벤트가 이미지 센서(110)와 관련이 없는 경우 403 동작으로 분기하여 해당 이벤트에 대응하는 기능 수행을 지원할 수 있다. 예컨대 제어부(160)는 단말기(100)의 통화 기능, 특정 앱 기능, 알람 기능 등 이벤트의 종류와 특성에 따른 기능 수행을 지원할 수 있다.
한편 403 동작에서 이미지 센서(110) 활성화를 위한 이벤트가 수신되면, 제어부(160)는 이미지 센서(110)의 전원 공급을 지원할 수 있다. 그리고 제어부(160)는 이미지 센서(110)의 초기화를 수행할 수 있다. 그리고 제어부(160)는 405 동작에서 이미지 촬영 모드에서의 이미지 캡쳐를 위한 입력 이벤트 발생이 있는지 확인할 수 있다. 이 동작에서 이미지 캡쳐를 위한 입력 이벤트가 없으면 제어부(160)는 407 동작에서 프리뷰 모드 지원을 수행할 수 있다.
한편, 405 동작에서 이미지 캡쳐를 위한 입력 이벤트 예컨대 셔터 입력 신호가 수신되면 제어부(160)는 409 동작에서 센서 영상 및 센서 관련 메타 정보 수집을 수행할 수 있다. 셔터 입력 신호가 발생하면 이미지 센서(110)는 피사체에 대한 센서 영상을 Raw Image로 제어부(160)에 제공할 수 있다. 그러면 제어부(160)는 해당 센서 영상이 수집된 시점의 이미지 센서(110)와 촬영 조건 정보를 메타 정보로 수집할 수 있다. 그리고 제어부(160)는 센서 영상과 메타 정보를 포함하는 센서 영상 정보를 저장부(150)에 저장하도록 제어할 수 있다.
다음으로 제어부(160)는 411 동작에서 기능 종료를 위한 이벤트 발생을 확인할 수 있다. 그리고 제어부(160)는 기능 종료를 위한 이벤트가 발생하면 이미지 센서(110) 관련 기능을 종료할 수 있다. 이때 제어부(160)는 이미지 센서(110)의 전원 공급을 차단하고 기 설정된 스케줄 정보에 따른 특정 화면 예컨대 대기 화면 전환을 수행할 수 있다. 한편 제어부(160)는 기능 종료를 위한 별도의 이벤트 발생이 없는 경우 405 동작 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.
도 5는 본 개시의 실시 예에 따른 영상 처리 방법 중 저장된 센서 영상 출력 과정에서의 전자 장치 제어 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 본 개시의 영상 처리 방법은 501 동작에서 제어부(160)가 발생되는 이벤트 중 저장된 영상 선택을 위한 이벤트 발생이 있는지 확인을 수행할 수 있다. 예컨대, 제어부(160)는 저장부(150)에 저장된 센서 영상 정보(153)를 선택하기 위한 이벤트 발생이 있는지 확인할 수 있다. 저장부(150)에 저장된 센서 영상 정보(153)의 선택 이벤트는 특정 영상 촬영 및 저장 시 자동으로 발생할 수 있다. 또한 사용자 제어에 따라 입력부(120) 또는 입력 기능의 표시부(140)에서 저장부(150)에 저장된 다수의 센서 영상 정보(153)의 검색을 위한 선택 이벤트가 발생할 수 있다. 여기서 발생된 이벤트가 저장된 영상 선택을 위한 이벤트가 아닌 경우 제어부(160)는 503 동작으로 분기하여 해당 이벤트 특성에 따른 기능 수행을 지원할 수 있다. 예컨대 제어부(160)는 이벤트가 특정 파일 재생을 요청하는 이벤트인 경우 해당 파일 재생을 위한 기능 수행을 지원할 수 있다.
한편 501 동작에서 저장된 영상 선택을 위한 이벤트가 발생하면 제어부(160)는 505 동작에서 매핑 정보 및 메타 정보 확인을 수행할 수 있다. 이를 위하여 제어부(160)는 센서 영상을 표시부(140)에 출력하도록 사전 정의된 매핑 정보를 선택할 수 있다. 그리고 제어부(160)는 센서 영상 정보(153)에 포함된 메타 정보를 확인할 수 있다. 이후 제어부(160)는 507 동작에서 메타 정보 및 매핑 정보를 기반으로 출력 매핑 영상 생성할 수 있다. 예컨대, 제어부(160)는 매핑 정보를 기반으로 표시부 베이어 패턴에 맞는 센서 영상의 스케일을 적용할 수 있다. 그리고 제어부(160)는 메타 정보를 기반으로 센서 영상의 영상 효과나 영상 보정을 수행할 수 있다.
출력 매핑 영상이 생성되면, 제어부(160)는 509 동작에서 생성된 출력 매핑 영상을 표시부(140)에 출력할 수 있다. 이 과정에서 제어부(160)는 메타 정보 및 매핑 정보에 의해 생성된 출력 매핑 영상의 후처리 과정을 더 수행할 수 있다.
다음으로, 제어부(160)는 511 동작에서 기능 종료를 위한 이벤트 발생을 확인할 수 있다. 이 동작에서 기능 종료를 위한 이벤트 발생 시 제어부(160)는 저장된 영상 검색 기능을 종료하고 스케줄 정보에 따른 기능으로의 전환을 제어할 수 있다. 또는 제어부(160)는 단말기(100) 턴??오프를 위한 입력 신호 발생 시 해당 신호에 따른 단말기(100) 턴??오프를 제어할 수 있다. 한편 제어부(160)는 기능 종료를 위한 별도 이벤트 발생이 없는 경우 501 동작 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다. 이하 과정을 재수행하면서 제어부(160)는 새로운 저장된 영상 선택이 발생하면 해당 영상 선택에 따른 메타 정보와 표시부 베이어 패턴 적용을 위한 매핑 정보를 수집할 수 있다. 그리고 제어부(160)는 수집된 정보들을 기반으로 출력 매핑 영상을 새롭게 생성하여 출력하도록 지원할 수 있다.
도 6은 본 개시의 다른 실시 예에 따른 단말기(100) 일부 구성을 나타낸 도면이며, 특히 제어부(160) 구성을 보다 상세히 나타낸 도면이다. 그리고 도 7은 도 6의 저장부(150)에 저장되는 종합 영상(155)의 세부 데이터 구조를 나타낸 도면이다.
도 6을 참조하면, 본 개시의 제어부(160)는 전처리부(161), 매핑부(163), 후처리부(165), 연산부(167), ISP(164), 압축부(168)를 포함하여 구성될 수 있다.
이와 같은 구성을 포함하는 본 개시의 제어부(160)는 이미지 센서(110)가 수집하는 센서 영상에 대하여 두 가지 타입으로 영상 처리를 수행할 수 있다. 예컨대, 도 7에 도시된 바와 같이 본 개시의 제어부(160)에 의해 처리되어 저장되는 종합 영상(155)은 헤더(51), 제1 타입 이미지(53) 및 제2 타입 이미지(55)를 포함할 수 있다.
본 개시의 일 실시예 따르면, 헤더(51)는 제1 타입 이미지(53)와 관련된 제1 특성 정보와 제2 타입 이미지(55)의 데이터 특성을 정의하는 제2 특성 정보를 포함할 수 있다. 예컨대 헤더(51)에 저장된 제1 특성 정보는 제1 타입 이미지(53) 생성을 위해 적용된 매핑 정보의 종류, 제1 타입 이미지(53)의 해상도, 제1 타입 이미지(53)가 타겟팅한 베이어 패턴 정보 등을 포함할 수 있다. 헤더(51)에 저장된 제2 특성 정보는 제2 타입 이미지(55)의 데이터 특성을 정의한 정보가 될 수 있다. 예컨대 제2 특성 정보는 제2 타입 이미지(55)의 압축률, 제2 타입 이미지(55)의 데이터 구조, 확장자 등의 정보를 포함할 수 있다.
본 개시의 일 실시예 따르면, 제1 타입 이미지(53)는 전처리부(161)와 매핑부(163) 동작에 따라 생성된 영상이 될 수 있다. 예컨대, 제1 타입 이미지(53)는 센서 베이어 패턴의 센서 영상을 사전 정의된 매핑 정보를 기반으로 표시부 베이어 패턴에 맞도록 매핑한 출력 매핑 영상이 될 수 있다. 이러한 제1 타입 이미지(53)는 이미지 센서(110)보다 저해상도의 표시부(140)에 출력되도록 생성된 영상이 될 수 있다. 이에 따라 제1 타입 이미지(53)는 상대적으로 고해상도의 센서 영상에 비하여 상대적으로 저해상도의 영상이 될 수 있다. 일례로서 센서 영상이 13M 픽셀 해상도를 가지는 경우 제1 타입 이미지(53)는 표시부(140)에 최적화된 영상으로서 4M 픽셀 해상도가 될 수 있다.
본 개시의 일 실시예 따르면, 제2 타입 이미지(55)는 전처리부(161), ISP(164) 및 압축부(168)에 의하여 생성된 데이터가 될 수 있다. 이러한 제2 타입 이미지(55)는 이미지 센서(110)로부터 제공된 영상에서 광 특성을 추출하고, 추출된 광 특성을 기반으로 인코딩 및 압축된 이미지가 될 수 있다. 예를 들면 이미지 센서(110)가 RGB 타입 이미지를 제공한 경우 제2 타입 이미지(55)는 YCbCr 타입의 이미지가 될 수 있으며, 단말기(100)가 제공하는 인코더에 의하여 인코딩되고 데이터 저장 과정에서 압축 과정에 의하여 압축된 데이터로서 저장될 수 있다.
본 개시의 일 실시예 따르면, 전처리부(161)는 앞서 설명한 전처리부(161)의 기능을 지원할 수 있다. 그리고 도 6에서 설명하는 전처리부(161)는 이미지 센서(110)가 전달하는 센서 영상을 매핑부(163) 및 ISP(164)에 동시에 전달할 수 있다.
본 개시의 일 실시예 따르면, 매핑부(163)는 전처리부(161)가 제공한 센서 영상을 표시부 베이어 패턴에 맞도록 변환하도록 정의된 매핑 정보(166)를 기반으로 제1 타입 이미지(53)에 해당하는 출력 매핑 영상을 생성하는 구성이다. 이때 매핑부(163)에 의하여 생성되는 출력 매핑 영상은 이미지 센서(110)가 촬영을 위해 수집한 센서 영상을 기반으로 생성된 영상이 될 수 있다. 매핑부(163)는 출력 매핑 영상이 생성되면 해당 영상을 제1 타입 이미지(53)로서 저장부(150)에 전달할 수 있다.
본 개시의 일 실시예 따르면, ISP(164)는 이미지 센서(110)가 제공한 센서 영상에 대한 다양한 영상 처리를 수행하는 구성이다. ISP(164)는 블랙 레벨 조정, 노이즈 저감, 화이트 밸런스, 칼라필터어레이 인터폴레이션, 칼라 정정, 감마 정정 등 다양한 영상 처리를 지원할 수 있다. 특히 ISP(164)는 RGB 포맷은 YUV 포맷으로 변경하도록 지원할 수 있다. ISP(164)는 센서 영상의 이미지 포맷을 변경하여 압축부(168)에 제공할 수 있다.
본 개시의 일 실시예 따르면, 압축부(168)는 사전 정의된 알고리즘을 기반으로 ISP(164)가 제공한 포맷 변경 영상을 압축할 수 있다. 예컨대 압축부(168)는 포맷 변경 영상을 JPEG 등으로 압축하여 포맷 변경 압축 영상을 생성하고, 이를 제2 타입 이미지(55)로서 저장부(150)에 전달할 수 있다.
본 개시의 일 실시예 따르면, 연산부(167)는 출력 매핑 영상에 해당하는 제1 타입 이미지(53), 포맷 변경 압축 영상에 해당하는 제2 타입 이미지(55)를 통합하여 종합 영상(155)을 생성할 수 있다. 이때 연산부(167)는 제1 타입 이미지(53)를 위한 제1 특성 정보 및 제2 타입 이미지(55)를 위한 제2 특성 정보를 포함하는 헤더(51)를 작성할 수 있다. 그리고 연산부(167)는 헤더(51), 제1 타입 이미지(53) 및 제2 타입 이미지(55)가 포함된 종합 영상(155)을 저장부(150)의 일정 영역에 저장하도록 제어할 수 있다.
본 개시의 일 실시예 따르면, 메모리(169)는 상술한 각 구성들의 데이터 읽기, 쓰기, 신호 처리 과정에서 필요한 데이터 로딩 공간을 제공할 수 있다. 예컨대, 메모리(169)는 전처리부(161)에 의해 전처리된 데이터를 임시 저장하고, 이를 매핑부(163)와 ISP(164)에 각각 전달할 수 있다. 그리고 메모리(169)는 제1 타입 이미지(53) 및 제2 타입 이미지(55)를 임시 저장할 수 있으며, 연산부(167)에 의해 작성된 헤더(51)를 임시 저장할 수 있다. 한편 메모리(169)는 저장부(150)에 저장된 종합 영상(155)의 출력 과정에서 제1 타입 이미지(53)를 임시 저장할 수 있다. 또한 메모리(169)는 종합 영상(155)의 타 단말기 전송 과정에서 종합 영상(155)의 적어도 일부 데이터를 임시 저장할 수 있다.
한편, 저장부(150)에 저장된 종합 영상(155)에 대한 선택 이벤트가 발생하면 제어부(160)는 종합 영상(155)에 포함된 제1 타입 이미지(53) 만을 추출할 수 있다. 제어부(160)는 제1 타입 이미지(53)를 후처리부(165)에 의해 후처리하도록 제어할 수 있다. 제어부(160)는 후처리된 제1 타입 이미지(53)를 표시부(140)에 출력하도록 제어할 수 있다. 제1 타입 이미지(53)는 생성 당시 매핑 정보를 기반으로 센서 베이어 패턴을 표시부 베이어 패턴에 맞도록 매핑한 영상이 될 수 있다. 이 때문에 제어부(160)는 제1 타입 이미지(53)에 대하여 별도의 매핑 정보 적용 없이 표시부(140)에 출력하도록 지원할 수 있다.
한편, 종합 영상(155)을 다른 단말기에 전송을 요청받을 수 있다. 이 경우 제어부(160)는 타 단말기의 특성에 따라 제1 타입 이미지(53)와 그에 대응하는 제1 특성 정보를 삭제하고 수정된 종합 영상을 타 단말기에 전송하도록 지원할 수 있다. 예컨대, 타 단말기의 표시 장치 특성이 종합 영상(155)을 전송하는 단말기(100)의 표시 장치 특성과 상이한 경우 제1 타입 이미지(53)는 타 단말기에서 올바르게 적용될 수 없을 수 있다. 이에 따라 제어부(160)는 제1 타입 이미지(53)를 제거한 수정된 종합 영상의 전송을 지원할 수 있다.
또한 타 단말기 표시 장치 특성이 전송측 단말기(100)의 표시 장치 특성과 동일한 경우 제어부(160)는 상기 종합 영상(155)을 바로 전송하도록 지원할 수 있다. 예컨대 동일 모델의 단말기에 종합 영상(155)을 전송 요청받는 경우 제어부(160)는 별도 수정 없이 종합 영상(155)의 전송을 지원할 수 있다. 이를 위하여 제어부(160)는 타 단말기의 표시 장치 특성에 관한 정보를 수신하고, 전송측 표시 장치 특성과 동일한지 여부를 확인할 수 있다. 또는 제어부(160)는 타 단말기의 모델 정보를 수신하고 동일 모델인지를 확인할 수 있다.
추가로 단말기(100)는 타 단말기와 관련된 표시 장치 지원을 위한 매핑 정보를 포함할 수 있다. 이 경우 제어부(160)는 타 단말기의 표시 장치 특성에 해당하는 매핑 정보를 검색할 수 있다. 그리고 제어부(160)는 제1 타입 이미지(53)를 타 단말기를 위한 매핑 정보를 기반으로 변경하여 전송용 매핑 영상을 생성할 수 있다. 그리고 제어부(160)는 종합 영상(155)에서 제1 타입 이미지(53)를 제거하면서 상기 전송용 매핑 영상을 종합 영상(155)에 추가하여 타 단말기에 전송하도록 제어할 수도 있다.
도 8은 본 개시의 다른 실시 예에 따른 영상 처리 방법 중 종합 영상 저장을 위한 전자 장치 제어 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 본 개시의 전자 장치 제어 방법은 제어부(160)는 이미지 센서(110) 활성화를 위한 이벤트 발생을 801 동작에서 확인할 수 있다. 이 동작에서 제어부(160)는 발생된 이벤트가 이미지 센서(110) 활성화를 위한 이벤트가 아니면, 803 동작에서 이벤트 특성에 따른 해당 기능 수행을 지원할 수 있다. 한편 이미지 센서(110) 활성화를 위한 이벤트가 발생하면 제어부(160)는 이미지 센서(110)의 전원 공급을 수행하고, 초기화 과정을 수행할 수 있다.
그리고 제어부(160)는 805 동작에서 이미지 캡쳐를 위한 입력 이벤트 발생을 확인할 수 있다. 여기서 제어부(160)는 이미지 캡쳐를 위한 입력 이벤트 발생이 없으면, 807 동작에서 이미지 센서(110)의 특정 기능 예컨대 프리뷰 모드 지원을 수행할 수 있다. 한편 제어부(160)는 805 동작에서 이미지 캡쳐를 위한 대기를 수행하면서 프리뷰 모드를 지원할 수 있다.
805 동작에서 이미지 캡쳐를 위한 이벤트가 발생하면 제어부(160)는 809 동작에서 제1 타입 이미지(53) 및 제2 타입 이미지(55) 생성을 수행할 수 있다. 이 과정에서 제어부(160)는 사전 정의된 매핑 정보를 기반으로 이미지 센서(110)가 제공한 센서 영상으로부터 제1 타입 이미지(53)를 생성할 수 있다. 예컨대 제1 타입 이미지(53)는 RGB 타입 센서 영상과 동일한 RGB 타입이되 스케일이 조정된 영상이 될 수 있다. 제2 타입 이미지(55)는 이미지 센서(110)가 제공한 센서 영상을 영상 처리하고, 인코딩 및 압축하여 저장한 영상이 될 수 있다. 예컨대 센서 영상이 RGB 타입인 경우 제2 타입 이미지(55)는 YUV 타입이 될 수 있다.
다음으로, 제어부(160)는 811 동작에서 제1 타입 이미지(53)와 제2 타입 이미지(55)를 종합하고 헤더(51)를 포함시켜 종합 영상(155)으로 저장하도록 제어할 수 있다. 여기서 헤더(51)는 제1 타입 이미지(53)의 베이어 패턴 정보와 제2 타입 이미지(55)의 인코딩 및 압축 정보 등을 포함할 수 있다. 이후, 제어부(160)는 813 동작에서 기능 종료를 위한 입력 신호 발생을 확인할 수 있다. 여기서 기능 종료를 위한 입력 신호 발생이 없는 경우 805 동작 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.
도 9는 본 개시의 다른 실시 예에 따른 영상 처리 방법 중 종합 영상 출력을 위한 전자 장치 제어 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 본 개시의 전자 장치 제어 방법은 제어부(160)가 901 동작에서 저장된 영상 선택을 위한 입력 이벤트 발생을 확인할 수 있다. 이 동작에서 해당 이벤트 발생이 없으면, 제어부(160)는 903 동작에서 수신된 이벤트 특성에 따른 해당 기능 수행을 지원할 수 있다.
한편 901 동작에서 저장된 영상 선택을 위한 입력 이벤트가 발생하면, 제어부(160)는 905 동작에서 표시부(140)에 출력할 제1 타입 이미지(53)를 추출할 수 있다. 이를 위하여 제어부(160)는 입력 이벤트에 의해 지정된 저장부(150)에 저장된 종합 영상(155)을 확인할 수 있다. 그리고 종합 영상(155)에서 제1 타입 이미지(53) 영역만을 메모리(169)에 임시 저장할 수 있다.
이후 제어부(160)는 907 동작에서 메모리(169)에 저장된 제1 타입 이미지(53)를 출력 매핑 영상으로 표시부(140)에 출력하도록 제어할 수 있다. 이때 제어부(160)는 설정된 스케줄 정보에 따라 선택적으로 제1 타입 이미지(53)에 대한 후처리 과정을 수행하도록 제어할 수 있다. 다음으로 제어부(160)는 909 동작에서 기능 종료를 위한 입력 이벤트 발생을 확인할 수 있다. 그리고 입력 이벤트 발생 시, 제어부(160)는 901 동작 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다. 기능 종료를 위한 입력 이벤트가 발생하면 제어부(160)는 저장된 영상 선택을 위한 화면들의 출력을 제거하고, 기 설정된 스케줄 정보에 따른 화면이 표시부(140)에 출력하도록 지원할 수 있다. 또는 제어부(160)는 입력 이벤트 특성에 따라 단말기(100)의 슬립 모드로 진입하도록 제어할 수 있다.
도 10은 본 개시의 또 다른 실시 예에 따른 전자 장치 제어 방법을 설명하기 위한 도면이다. 특히, 이하에서는 외부 표시 장치 연결에 따른 센서 영상의 저장과 출력에 대하여 설명한다.
도 10을 참조하면, 본 개시의 전자 장치 제어 방법에서 제어부(160)는 1001 동작에서 저장된 영상 선택을 위한 입력 이벤트가 발생하는지 확인할 수 있다. 이 동작에서 제어부(160)는 저장된 영상 선택을 위한 입력 이벤트 발생이 아닌 경우 1003 동작에서 해당 입력 이벤트 특성에 따른 기능 수행을 지원할 수 있다. 예컨대 제어부(160)는 사진 편집 기능, 배경 화면 변경 기능, 파일 재생 기능, 통신 기능 등을 지원할 수 있다.
한편 1001 동작에서 저장된 영상 선택을 위한 입력 이벤트가 발생하면, 제어부(160)는 1005 동작에서 외부 표시 장치 선택을 위한 이벤트 발생이 있는지 확인할 수 있다. 이를 위하여 제어부(160)는 단말기(100)의 접속 인터페이스(130)를 검사하여 접속된 외부 표시 장치가 있는지 여부를 확인할 수 있다. 그리고 제어부(160)는 저장된 영상 선택을 위한 입력 이벤트가 발생하면 외부 표시 장치 목록을 표시부(140)에 출력하도록 지원할 수 있다. 여기서 외부 표시 장치 선택을 위한 이벤트 발생이 없으면, 제어부(160)는 1007 동작에서 표시부(140) 기반 출력 매핑 영상 출력을 지원할 수 있다.
이 과정에서 제어부(160)는 도 2에서 설명한 구성을 가지도록 설계된 경우 저장부(150)에 저장된 센서 영상을 매핑 정보와 메타 정보를 기반으로 출력 매핑 영상을 생성할 수 있다. 그리고 제어부(160)는 생성된 출력 매핑 영상을 표시부(140)에 출력하도록 지원할 수 있다. 한편 제어부(160)는 도 6에서 설명한 구성을 가지도록 설계된 경우 저장부(150)에 저장된 종합 영상(155)에서 제1 타입 이미지(53)를 추출할 수 있다. 그리고 제어부(160)는 추출된 제1 타입 이미지(53)를 표시부(140)에 출력하도록 지원할 수 있다.
본 개시의 일 실시예 따르면, 1005 동작에서 외부 표시 장치 선택을 위한 이벤트가 발생하거나, 또는 접속 인터페이스(130)에 외부 표시 장치 접속 시 디폴트로 선택되도록 설계된 경우 제어부(160)는 1009 동작에서 외부 표시 장치에 대응하는 매핑 정보 선택을 수행할 수 있다. 이를 위하여 제어부(160)는 외부 표시 장치 접속 시에 또는 저장된 영상 출력이 요청되는 경우 외부 표시 장치의 표시 장치 특성 정보, 외부 표시 장치의 모델 정보 중 적어도 하나를 수집할 수 있다. 그리고 제어부(160)는 외부 표시 장치에 대응하는 매핑 정보를 검출할 수 있다. 이를 위하여 매핑 정보들은 외부 표시 장치 식별 정보별로 저장되거나, 외부 표시 장치 모델별로 저장될 수 있다. 여기서 매핑 정보는 센서 영상으로부터 표시부(140) 또는 외부 표시 장치의 하드웨어 특성에 맞도록 최적화된 외부 출력 매핑 영상을 생성하기 위한 매핑 알고리즘을 포함할 수 있다.
다음으로, 1011 동작에서 제어부(160)는 검출된 매핑 정보 및 메타 정보를 기반으로 외부 출력 매핑 영상을 생성할 수 있다. 여기서 메타 정보는 센서 영상을 저장하는 과정에서 함께 수집되어 저장된 촬영 조건 관련 정보를 포함할 수 있다. 외부 출력 매핑 영상이 생성되면, 제어부(160)는 1013 동작에서 접속 인터페이스(130)를 통하여 외부 출력 매핑 영상을 출력하도록 제어할 수 있다. 이후 제어부(160)는 1015 동작에서 기능 종료를 위한 입력 이벤트 발생을 확인할 수 있다. 그리고 제어부(160)는 입력 이벤트 발생이 없으면 1001 동작 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.
본 개시의 일 실시예 따르면, 상술한 전자 장치 제어 방법은 저장부(150)에 촬영된 센서 영상이 저장된 경우를 설명한 것이다. 저장부(150)에 종합 영상(155)이 저장된 경우 본 개시의 전자 장치 제어 방법을 위한 제어부(160)는 도 6에서 설명한 바와 같이 제1 타입 이미지(53)가 제거된 수정된 종합 영상을 외부 표시 장치에 출력하도록 지원할 수 있다. 또는 제어부(160)는 제1 타입 이미지(53)를 외부 표시 장치에 맞도록 전송용 매핑 영상으로 변경할 수 있다. 그리고 제어부(160)는 전송용 매핑 영상을 포함한 종합 영상을 외부 표시 장치에 출력하도록 지원할 수 있다.
이상에서 설명한 바와 같이 본 개시의 실시 예에 따른 영상 처리 방법 및 이를 지원하는 전자 장치에 따르면, 본 개시는 이미지 센서(110)가 획득한 센서 영상에 대해 보다 간소화된 처리 과정을 통해 저장부(150)에 저장할 수 있다. 또한 본 개시는 보다 간소화된 처리 과정을 통해 저장부(150)에 저장된 센서 영상을 표시부(140) 또는 외부 표시 장치에 출력할 수 있다. 이에 따라 본 개시는 센서 영상 처리를 위한 하드웨어 장치를 보다 간소화할 수 있으며 그에 다른 물리적인 공간 확보를 가능케 한다. 또한 본 개시는 센서 영상 처리에서의 부하를 감소시켜 전자 장치의 운용 효율을 개선할 수 있다.
한편 본 개시의 이미지 센서(110)의 획득 영상의 베이어 패턴은 상술한 RGB/RGBW 패턴에 한정되는 것은 아니다. 예컨대, 이미지 센서(110)의 설계 방식이나 형태 변경에 따라 보다 다양한 형태가 될 수 있다.
또 한편, 이미지 센서(110)는 피사체 영상을 직접 처리하여 상술한 출력 매핑 영상을 생성 후 제어부(160)에 전달할 수도 있다. 이를 위하여 이미지 센서(110)는 영상 처리를 위하여 영상 처리 모듈을 포함할 수 있다. 예컨대, 상술한 제어부(160) 구성 중 전처리부(161), 매핑부(163) 및 후처리부(165)의 구성이 이미지 센서(110)의 구성으로 포함될 수 있다. 이 경우 이미지 센서(110)는 상술한 구성들을 모두 포함하는 통합 모듈의 의미로 이해될 수 있을 것이다. 이와 같은 구성의 이미지 센서(110)에 포함된 매핑부(163)는 매핑 정보를 임베이디드 타입 또는 미들웨어 타입으로 탑재할 수 있다. 그리고 이미지 센서(110)는 해당 매핑 정보를 기반으로 출력 매핑 영상을 생성하여 제어부(160)에 전달할 수 있다. 이때 제어부(160)는 이미지 센서(110)가 제공한 출력 매핑 영상을 별도의 처리 과정 없이 표시부(140)에 출력하는 기능만을 제어할 수 있을 것이다.
본 개시의 일 실시예 따르면, 상술한 단말기(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 예컨대, 상기 단말기(100)는 상기 단말기(100)의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 개시의 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
또한 본 개시의 실시 예에 따른 상기 단말기(100)는 예를 들면, 상기 단말기(100)는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)을 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어 및 그에 대한 응용기기를 포함할 수 있다.
한편, 본 명세서와 도면을 통해 본 개시의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 기술적 사상의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 개시의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 개시의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 개시이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 단말기 110 : 이미지 센서
120 : 입력부 130 : 접속 인터페이스
140 : 표시부 150 : 저장부
160 : 제어부 170 : 통신부

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    이미지 센서의 센서 패턴을 유지한 센서 영상을 수신하는 동작 및 상기 센서 영상과 관련된 정보를 포함한 메타 정보를 수신하는 동작;
    상기 센서 영상 및 상기 메타 정보를 포함하는 센서 영상 정보를 저장하는 저장 동작을 포함하는 전자 장치 운용 방법.
  2. 제1항에 있어서,
    상기 메타 정보가
    상기 이미지 센서의 하드웨어 특성 정보, 촬영 시 밝기 정보, ISO 정보, 줌 정보, 후레쉬 적용 정보, 이미지 이펙트 적용 정보, 셔터 속도 정보 중 적어도 하나를 포함하는 방법.
  3. 제1항에 있어서,
    상기 저장 동작이
    RGB 또는 RGBW 타입 센서 패턴의 센서 영상을 저장하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 이미지 센서의 센서 영상 촬영을 위한 입력 이벤트를 수신하는 동작;
    상기 이미지 센서의 센서 패턴을 표시부 센서 패턴에 매핑한 매핑 정보를 기반으로 표시부에 출력할 제1 타입 이미지를 생성하는 동작 및 상기 이미지 센서의 센서 패턴과 다른 포맷의 제2 타입 이미지를 생성하는 동작;
    상기 제1 타입 이미지 및 상기 제2 타입 이미지를 정의한 특성 정보들을 포함하는 헤더, 상기 제1 타입 이미지, 상기 제2 타입 이미지를 포함하는 종합 영상을 저장하는 동작;을 더 포함하는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 제1 타입 이미지 생성 동작은
    상기 센서 패턴을 다운 스케일한 동일 RGB 패턴의 출력 매핑 영상을 생성하는 동작;을 포함하는 영상 처리 방법.
  6. 제4항에 있어서,
    상기 저장된 종합 영상 보기 선택을 위한 입력 이벤트를 수신하는 동작;
    상기 종합 영상에 포함된 제1 타입 이미지를 추출하는 동작;
    상기 제1 타입 이미지를 상기 표시부에 출력하는 동작;을 더 포함하는 영상 처리 방법.
  7. 제4항에 있어서,
    상기 제2 타입 이미지 생성 동작이
    상기 센서 영상을 이미지 시그널 프로세싱 처리한 후 압축하여 포맷이 YUV 타입으로 변경된 이미지를 생성하는 동작;을 포함하는 영상 처리 방법.
  8. 전자장치의 동작 방법에 있어서,
    이미지 센서의 센서 패턴을 유지한 센서 영상 및 상기 센서 영상과 관련된 정보를 포함한 메타 정보를 포함한 센서 정보 영상을 선택하는 이벤트를 수신하는 동작;
    상기 선택 이벤트에 따라 상기 이미지 센서의 센서 패턴을 표시부의 센서 패턴에 매핑한 매핑 정보 및 상기 메타 정보를 기반으로 표시부에 출력할 출력 매핑 영상을 생성하는 생성 동작;
    상기 생성된 출력 매핑 영상을 상기 표시부에 출력하는 동작을 포함하는 방법.
  9. 제8항에 있어서,
    상기 생성 동작이
    상기 이미지 센서의 센서 패턴을 상기 출력 장치의 센서 패턴에 매핑하되 스케일을 조정하는 방식으로 매핑하는 매핑 동작;을 포함하는 영상 처리 방법.
  10. 제9항에 있어서,
    상기 매핑 동작이
    다운스케일 방식인 영상 처리 방법.
  11. 제9항에 있어서,
    상기 매핑 동작이
    상기 이미지 센서의 센서 패턴에 포함된 복수개의 서브 픽셀의 색상도 평균치를 상기 출력 장치의 하나의 서브 픽셀의 색상 값으로 매핑하는 동작;을 포함하는 영상 처리 방법.
  12. 제9항에 있어서,
    상기 매핑 동작이
    상기 이미지 센서의 센서 패턴에 포함된 복수개의 서브 픽셀 중 가장 큰 색상 값을 상기 출력 장치의 하나의 서브 픽셀 색상 값으로 매핑하는 동작;을 포함하는 영상 처리 방법.
  13. 제9항에 있어서,
    상기 매핑 동작이
    상기 센서 영상의 영역별 특성에 따라 매핑 방식을 다르게 적용하는 동작;을 포함하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 매핑 동작이
    상기 센서 영상에 포함된 경계 영역과 비 경계 영역의 다운스케일 방식을 다르게 적용하는 영상 처리 방법.
  15. 센서 영상을 수집하는 이미지 센서;
    상기 센서 영상 수집을 위한 입력 이벤트를 생성하는 입력부 및 표시부 중 적어도 하나;
    상기 이미지 센서의 센서 패턴과 동일한 포맷의 제1 타입 이미지 및 상기 이미지 센서의 센서 패턴과 다른 포맷의 제2 타입 이미지 저장을 제어하는 제어부;
    상기 제1 타입 이미지 및 상기 제2 타입 이미지를 정의한 특성 정보들을 포함하는 헤더, 상기 제1 타입 이미지, 상기 제2 타입 이미지를 포함하는 종합 영상을 저장하는 저장부;를 포함하는 영상 처리를 지원하는 전자 장치.
  16. 제17항에 있어서,
    상기 제어부는
    상기 종합 영상 선택 이벤트 수신 시 상기 제1 타입 이미지를 상기 표시부에 출력하도록 제어하는 영상 처리를 지원하는 전자 장치.
  17. 제16항에 있어서,
    상기 제어부는
    상기 센서 영상을 다운 스케일하여 상기 제1 타입 이미지를 생성하도록 제어하는 영상 처리를 지원하는 전자 장치.
  18. 제15항에 있어서,
    외부 표시 장치 접속을 위한 접속 인터페이스;를 더 포함하고,
    상기 제어부는
    상기 외부 표시 장치의 표시 장치 특성 정보를 확인하는 영상 처리를 지원하는 전자 장치.
  19. 제18항에 있어서,
    상기 제어부가
    상기 외부 표시 장치가 상기 표시부 장치와 다른 경우 상기 제1 타입 이미지가 제거된 수정된 종합 영상을 상기 외부 표시 장치에 전송하도록 제어하거나,
    상기 외부 표시 장치가 상기 표시부 장치와 동일한 경우 상기 종합 영상을 상기 외부 표시 장치에 전송하도록 제어하는 영상 처리를 지원하는 전자 장치.
  20. 제18항에 있어서,
    상기 제어부가
    상기 외부 표시 장치 및 상기 표시부 장치가 다른 경우 상기 제1 타입 이미지를 상기 외부 표시 장치의 베이어 패턴 특성에 맞도록 정의된 매핑 정보를 기반으로 새로운 이미지로 변환하고, 변환된 이미지를 상기 종합 영상의 제1 타입 이미지와 교체하여 상기 외부 표시 장치에 전송하도록 제어하는 영상 처리를 지원하는 전자 장치.
KR1020130043851A 2013-04-19 2013-04-19 전자 장치 운용 방법 및 이를 지원하는 전자 장치 KR20140125983A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130043851A KR20140125983A (ko) 2013-04-19 2013-04-19 전자 장치 운용 방법 및 이를 지원하는 전자 장치
US14/256,585 US10110806B2 (en) 2013-04-19 2014-04-18 Electronic device and method for operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130043851A KR20140125983A (ko) 2013-04-19 2013-04-19 전자 장치 운용 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20140125983A true KR20140125983A (ko) 2014-10-30

Family

ID=51728716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043851A KR20140125983A (ko) 2013-04-19 2013-04-19 전자 장치 운용 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
US (1) US10110806B2 (ko)
KR (1) KR20140125983A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107968A1 (ko) * 2017-12-01 2019-06-06 삼성전자 주식회사 전자 장치 및 그의 이미지 획득 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10033916B2 (en) * 2016-06-14 2018-07-24 Intel Corporation Transmission of image data and camera management commands
US10291814B2 (en) 2016-10-14 2019-05-14 Intel Corporation Transmission of encrypted image data
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
KR102629343B1 (ko) 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion
WO2021163909A1 (zh) * 2020-02-19 2021-08-26 深圳市汇顶科技股份有限公司 图像传感器以及相关电子装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7847833B2 (en) * 2001-02-07 2010-12-07 Verisign, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
US20100220215A1 (en) * 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
US8508621B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image sensor data formats and memory addressing techniques for image signal processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019107968A1 (ko) * 2017-12-01 2019-06-06 삼성전자 주식회사 전자 장치 및 그의 이미지 획득 방법
US11082612B2 (en) 2017-12-01 2021-08-03 Samsung Electronics Co., Ltd. Electronic device and image acquisition method thereof

Also Published As

Publication number Publication date
US10110806B2 (en) 2018-10-23
US20140313360A1 (en) 2014-10-23

Similar Documents

Publication Publication Date Title
KR20140125983A (ko) 전자 장치 운용 방법 및 이를 지원하는 전자 장치
CN107395898B (zh) 一种拍摄方法及移动终端
US9392160B2 (en) Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
KR20140125984A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
KR102495763B1 (ko) 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
US8682024B2 (en) Apparatus for and method of processing image data
WO2023160285A1 (zh) 视频处理方法和装置
US9723194B2 (en) Photographing apparatus providing image transmission based on communication status, method of controlling the same, and non-transitory computer-readable storage medium for executing the method
KR20210053096A (ko) 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
CN105407295B (zh) 移动终端拍摄装置和方法
US9819897B2 (en) Digital photographing apparatus capable of reconfiguring image signal processor and method of controlling the same
US9262062B2 (en) Method of providing thumbnail image and image photographing apparatus thereof
US9432574B2 (en) Method of developing an image from raw data and electronic apparatus
CN104349047A (zh) 图像拍摄设备及其拍摄方法
KR20190096748A (ko) 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
US20140340538A1 (en) Method and Apparatus for Digital Image Capture
US10904452B2 (en) Method of generating composite image using plurality of images with different exposure values and electronic device supporting the same
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN114298889A (zh) 图像处理电路和图像处理方法
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
CN108370415A (zh) 图像处理装置及图像处理方法
KR20190057993A (ko) 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치
US20130169840A1 (en) Method of providing user interface and image photographing apparatus applying the same
WO2022061723A1 (zh) 一种图像处理方法、设备、终端及存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid