JP4981514B2 - Camera and image recording method - Google Patents

Camera and image recording method Download PDF

Info

Publication number
JP4981514B2
JP4981514B2 JP2007132374A JP2007132374A JP4981514B2 JP 4981514 B2 JP4981514 B2 JP 4981514B2 JP 2007132374 A JP2007132374 A JP 2007132374A JP 2007132374 A JP2007132374 A JP 2007132374A JP 4981514 B2 JP4981514 B2 JP 4981514B2
Authority
JP
Japan
Prior art keywords
image
virtual space
camera
shooting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007132374A
Other languages
Japanese (ja)
Other versions
JP2008288922A5 (en
JP2008288922A (en
Inventor
修 野中
猛士 鈴木
敏 宮崎
淳 丸山
将臣 冨澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Imaging Corp
Original Assignee
Olympus Corp
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Imaging Corp filed Critical Olympus Corp
Priority to JP2007132374A priority Critical patent/JP4981514B2/en
Publication of JP2008288922A publication Critical patent/JP2008288922A/en
Publication of JP2008288922A5 publication Critical patent/JP2008288922A5/ja
Application granted granted Critical
Publication of JP4981514B2 publication Critical patent/JP4981514B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、カメラおよび画像記録方法に関し、詳しくは、仮想空間等の外部サービスによって提供される情景の撮影機能を有するカメラおよび画像記録方法に関する。 The present invention relates to a camera and an image recording how, particularly, relates to a camera and an image recording how having the photographing function of the scene provided by an external service such as a virtual space.

近年、デジタルカメラの画像送信の容易さを利用して、パーソナルコンピュータ(PC)通信やインターネット、携帯電話回線などを利用して画像送信を行なうことにより画像を楽しむ機会が増えてきている。また、このインターネット上には、実際の生活空間とは異なる仮想空間を形成し、この仮想空間の画像を提供するサービスなどがある。この仮想世界では、そこに住む仮想住人によって、建物が建てられ、土地が開発されて、刻一刻と風景を変化させている。こうした空間内の風景を、あたかも日常の風景として、仮想現実空間での体験を享受している人も増えてきている。 In recent years, there have been increasing opportunities to enjoy images by transmitting images using personal computer (PC) communication, the Internet, mobile phone lines, and the like, taking advantage of the ease of image transmission of digital cameras. On the Internet, there is a service for forming a virtual space different from the actual living space and providing an image of the virtual space. In this virtual world, buildings are built and land is developed by virtual residents who live in the virtual world, and the landscape changes every moment. An increasing number of people are enjoying the experience in a virtual reality space as if it were an everyday landscape.

このようなコンピュータグラフィック(CG)的な画像を撮像するものとして、例えば、特許文献1には、撮影画像に対して、コンピュータ画像で見えるはずの構造物の名称を、地図情報管理部から取得して、その構造物名称を撮影画像に重畳して表示する報道支援システムが開示されている。この報道支援システムによれば、各構造物の様々な情報を瞬時に取り出すことが可能となる。 As what captures such a computer graphic (CG) image, for example, in Patent Document 1, a name of a structure that should be visible in a computer image is acquired from a map information management unit for a captured image. In addition, a report support system that displays the structure name superimposed on a captured image is disclosed. According to this report support system, it is possible to instantly extract various information of each structure.

特開2000−50156号公報JP 2000-50156 A

この特許文献1に開示された報道支援システムでは、CG画像と現実画像の合成表示であって、仮想現実空間のようにネット上に構築されているバーチャル空間を、従来のカメラと同様の操作で撮影することができず、また、仮想現実体験を、リアルな体験と同じように思い出に記録することができない。 In the report support system disclosed in Patent Document 1, a virtual space that is a composite display of a CG image and a real image and is constructed on the net like a virtual real space can be operated by the same operation as a conventional camera. It is not possible to shoot, and the virtual reality experience cannot be recorded in memories just like a real experience.

すなわち、仮想世界では、仮想住人によって、刻一刻と風景を変化させており、現実以上のスピードで変化する風景の中では、ある時間における自分の経験を、画像として記録しておきたいという要望がある。しかし、仮想世界での体験と、現実体験を共に同じ感覚で撮影できるカメラはなかった。 In other words, in the virtual world, landscapes are constantly changing by virtual residents, and in landscapes that change at a speed faster than reality, there is a desire to record their experiences at a certain time as images. is there. However, there was no camera that could capture both the virtual world experience and the real experience with the same feeling.

本願発明は、このような事情を鑑みてなされたものであり、仮想空間のコンピュータグラフィック画像で生成された情景を、現実の情景と同じ感覚で撮影できるカメラおよび画像記録方法を提供することを目的とする。 The present invention has been made in view of these circumstances, to provide an a scene generated by a computer graphic image of the virtual space, the camera and image recording how can photograph in the same way as the real scene Objective.

上記目的を達成するため第1の発明に係わるカメラは、撮像素子の出力に基づく画像を表示手段に表示し、その画像を観察しながら撮影を行うと共に、撮影した複数の画像を送信可能なカメラにおいて、送信する各画像の撮影位置の変化、撮影日時を表す時間情報、または撮影禁止領域の表示に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、上記表示手段に表示する表示制御手段と、上記コンピュータグラフィック画像を、静止画像として撮影する仮想空間撮影手段と、を備える。 In order to achieve the above object, a camera according to a first aspect of the present invention is a camera capable of displaying an image based on an output of an image sensor on a display means, taking a picture while observing the image, and transmitting a plurality of taken pictures. In this case, the computer graphic of the virtual space transmitted from the external device when the shooting position information of each image to be transmitted, the time information indicating the shooting date / time, or the shooting condition information related to the display of the shooting prohibited area matches a predetermined condition. Display control means for displaying an image on the display means, and virtual space photographing means for photographing the computer graphic image as a still image .

第2の発明に係わるカメラは、上記第1の発明において、上記受信画像は、上記撮像素子の出力の変化に従って変化する。 In the camera according to a second aspect , in the first aspect, the received image changes according to a change in the output of the imaging element.

上記目的を達成するため第の発明に係わる画像記録方法は、撮像素子の出力に基づく画像を表示手段に表示し、その画像を観察しながら撮影を行うと共に、撮影した複数の画像を送信可能なカメラにおける画像記録方法であって、送信する各画像の撮影位置の変化、撮影日時を表す時間情報、または撮影禁止領域の表示に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、上記表示手段に表示し、該コンピュータグラフィック画像の静止画撮影を行うIn order to achieve the above object, the image recording method according to the third aspect of the present invention displays an image based on the output of the image sensor on the display means, can shoot while observing the image, and can transmit a plurality of taken images. An image recording method for a simple camera, which is transmitted from an external device when a change in shooting position of each image to be transmitted , time information indicating the shooting date and time, or shooting condition information regarding display of a shooting prohibited area matches a predetermined condition. computer graphic image of the virtual space coming to, and displayed on the display means, a still image shooting of the computer graphic image.

本発明によれば、仮想空間のコンピュータグラフィック画像で生成された情景を、現実の情景と同じ感覚で撮影できるカメラおよび画像記録方法を提供することができる。また、画像の撮影位置の変化に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、表示手段に表示し撮影を行うので、実際に撮影できないような空間での撮影が可能となる。また、各画像の撮影日時を表す時間情報に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、表示手段に表示し撮影することが可能となる。さらに、撮影禁止領域の表示に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、表示手段に表示し撮影することが可能となる。 According to the present invention, it is possible to provide a a scene generated by a computer graphic image of the virtual space, the camera and image recording how can be photographed with the same feeling as in the real scene. In addition, when the shooting condition information relating to the change in the shooting position of the image matches a predetermined condition, the computer graphic image of the virtual space transmitted from the external device is displayed on the display means and shooting is performed. Shooting in such a space becomes possible. In addition, when the shooting condition information regarding the time information representing the shooting date and time of each image matches a predetermined condition, it is possible to display and shoot a computer graphic image of the virtual space transmitted from the external device on the display means. Become. Furthermore, when the shooting condition information related to the display of the shooting prohibited area matches a predetermined condition, a computer graphic image of the virtual space transmitted from the external device can be displayed and shot on the display means.

以下、図面に従って本発明を適用したカメラと、仮想空間サービスシステムを用いて好ましい実施形態について説明する。本発明の第1実施形態に係るカメラは、仮想サービスと電話回線やインターネット等の通信網によって接続されている。撮影画像やその撮影情報が所定の条件を満たすと、仮想空間に入ることができる。仮想空間に入ると、そこでの情景がカメラの表示部に表示され、ユーザーは気に入った画像があれば、通常のカメラ撮影と同様に、レリーズ操作を行なうことにより、その静止画像を記録することができる。 Hereinafter, a preferred embodiment will be described using a camera to which the present invention is applied and a virtual space service system according to the drawings. The camera according to the first embodiment of the present invention is connected to a virtual service via a communication network such as a telephone line or the Internet. When the captured image and the captured information satisfy a predetermined condition, the virtual space can be entered. When entering the virtual space, the scene is displayed on the display of the camera, and if there is a favorite image, the user can record the still image by performing a release operation in the same way as normal camera shooting. it can.

図1は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。ユーザーが使用するカメラ100には、撮影レンズ2、AF(オートフォーカス)制御部2a、絞り2b、絞り制御部2c、撮像素子3、アナログフロントエンド(以下、AFEと略す)部4が設けられている。撮影レンズ2は、内部にフォーカスレンズを有し、入射した被写体20の像を撮像素子3上に結像させる。 FIG. 1 is a block diagram of a digital camera and its surroundings according to an embodiment of the present invention. A camera 100 used by a user includes a photographic lens 2, an AF (autofocus) control unit 2a, an aperture 2b, an aperture control unit 2c, an image sensor 3, and an analog front end (hereinafter referred to as AFE) unit 4. Yes. The taking lens 2 has a focus lens inside, and forms an image of the incident subject 20 on the image sensor 3.

AF制御部2aは、撮影レンズ2の合焦位置を、後述する画像処理部5内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置(ピント位置)を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。AFによって合焦位置に達すると、このときの撮影レンズ2を検出することにより、距離判定を行うことができる。この場合、撮影レンズ2がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。 The AF control unit 2a performs image processing in an image processing unit 5 to be described later, detects an in-focus position of the photographic lens 2, detects it by a so-called hill-climbing method, drives the focus lens, and moves it to the in-focus position. Note that the hill-climbing method is a method for detecting the in-focus position (focus position) from the contrast signal peak of the photographed image. It may be replaced. When the in-focus position is reached by AF, the distance can be determined by detecting the photographing lens 2 at this time. In this case, when the photographing lens 2 is a zoom lens, the distance is determined in consideration of the zoom position and the like.

撮影レンズ2内または近傍に、シャッタや絞りの効果を奏する絞り2bが設けられる。絞り2bは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部2cは、絞り2bを駆動して絞り径を設定する。この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。撮像素子3は、多数の受光面(画素)からなるCCDやCMOSセンサ等であり、撮影レンズ2を介して被写体20からの像を受光しこれを画像信号に変換する。 A diaphragm 2b that provides the effects of a shutter and a diaphragm is provided in or near the photographing lens 2. The diaphragm 2b is opened to a predetermined aperture at the time of photographing, and is closed when the exposure is finished to finish the exposure. The aperture control unit 2c drives the aperture 2b to set the aperture diameter. By changing the aperture, the depth of field of the lens changes, so you can change the expression by adjusting the blurring of the background, etc. Can do. The image pickup device 3 is a CCD or CMOS sensor having a large number of light receiving surfaces (pixels), and receives an image from the subject 20 via the photographing lens 2 and converts it into an image signal.

アナログフロントエンド(AFE)部4は、アナログデジタル変換(AD)手段を含み、撮像素子3からの信号をデジタル信号化する。そして、AFE部4は、撮像素子3から出力される画像信号について各種処理を行う。また、AFE部4には、撮像素子3のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、4画素(2×2)や9画素(3×3)など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、S/Nを向上させることができ、また、感度を上げることも出来る。 The analog front end (AFE) unit 4 includes analog-to-digital conversion (AD) means, and converts a signal from the image sensor 3 into a digital signal. The AFE unit 4 performs various processes on the image signal output from the image sensor 3. The AFE unit 4 is also provided with a function of reading several pixels of the image pickup device 3 together and reading them together. For example, when the signal level of each pixel is small, such as 4 pixels (2 × 2) and 9 pixels (3 × 3), several pixel signals can be added to improve the S / N. Sensitivity can also be increased.

このような操作によって感度を上げることができ、シャッタスピードを速くする等、撮影上の工夫が可能となる。シャッタスピードが速いと、動いている被写体が止まっているように撮影することが可能となる。 Sensitivity can be increased by such an operation, and it is possible to devise photography such as increasing the shutter speed. When the shutter speed is high, it is possible to shoot as if the moving subject is stopped.

また、AFE部4は、撮像素子3の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子3の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部5によって高速処理し、表示制御部8aを介して表示パネル8に表示することにより、フレーミングが可能となる。 The AFE unit 4 has a function of selecting signals output from the image sensor 3 and can extract image data in a limited range from the light receiving range. In general, when pixel signals thinned out from the pixels of the image sensor 3 are extracted, high-speed reading is possible. Thus, the image signal for composition confirmation is processed at high speed by the image processing unit 5 and displayed on the display panel 8 via the display control unit 8a, thereby enabling framing.

AFE部4の出力は、画像処理部5に接続されている。画像処理部5は、入力信号の色や階調やシャープネスを補正処理する。また、撮像素子3から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。また、画像処理部5は、ライブ画像をリアルタイムに表示部に表示できるように、撮像素子3からの信号を表示パネル8に表示できるようなサイズに加工するリサイズ部5bを有する。この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。 The output of the AFE unit 4 is connected to the image processing unit 5. The image processing unit 5 corrects the color, gradation, and sharpness of the input signal. Further, it has an intensifying unit that amplifies the image signal obtained from the image sensor 3 to a predetermined level and sets the correct gray level and the correct gray level. This is a digital operation so that the digitized signal level becomes a predetermined level. In addition, the image processing unit 5 includes a resizing unit 5b that processes a signal from the image sensor 3 to a size that can be displayed on the display panel 8 so that a live image can be displayed on the display unit in real time. By this function, an image incident on the image sensor can be confirmed prior to shooting, and the timing and photo opportunity at the time of shooting can be determined while viewing this.

また、この画像処理部5の信号を利用して、撮像素子から入力されてくる画像の特徴などを判定する画像判定機能を有している。例えば、画像情報を加工して得られる輪郭情報から、撮像しているものの形状を検出する形状判定部5aや、画像の信号レベルのコントラストを判定して、被写体の距離を判定する距離判定部5c、また、時間による画像の変化を調べて、カメラや被写体の移動を検出する動き検出部5dなどが、このシステムには含まれている。これらは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するために用いられるものである。 In addition, the image processing unit 5 has an image determination function for determining characteristics of an image input from the image sensor using the signal of the image processing unit 5. For example, a shape determination unit 5a that detects the shape of an object being captured from contour information obtained by processing image information, or a distance determination unit 5c that determines the distance of the subject by determining the contrast of the signal level of the image. In addition, the system includes a motion detection unit 5d that examines changes in the image with time and detects the movement of the camera and the subject. These are used to determine what kind of photograph the user is going to take at the time of taking a picture and optimize the taking control.

また、画像処理部5は、前述した画像のコントラストを判定する機能を有し、撮影レンズのピント合わせ手段との連動で、オートフォーカスの制御を行う。前述の距離判定部5cは、撮影レンズ2のピント合わせ時のレンズ位置の情報によって、被写体の距離や、背景の距離などが判定できる。 The image processing unit 5 has a function of determining the contrast of the image described above, and controls autofocus in conjunction with the focusing unit of the photographic lens. The distance determination unit 5c described above can determine the distance of the subject, the distance of the background, and the like based on the information on the lens position when the photographing lens 2 is focused.

また、カメラ100には、圧縮部6、記録部9a、記録メディア9、送受信部9c、受信設定部9d、送信設定部9e、表示パネル8、表示制御部8a及びマルチ画像処理部8bが設けられている。圧縮部6は、撮影時に画像処理部5から出力された信号を圧縮する。圧縮部6内には、MPEG(Moving Picture Experts Group)4やH.264などの圧縮用コア部で構成される動画用の圧縮部及び JPEG(Joint
Photographic Experts Group)コア部など静止画像用の圧縮部が設けられる。また、圧縮部6は記録メディア9に記録されている画像を表示パネル8に再生する際には、画像伸張も行なう。
Further, the camera 100 is provided with a compression unit 6, a recording unit 9a, a recording medium 9, a transmission / reception unit 9c, a reception setting unit 9d, a transmission setting unit 9e, a display panel 8, a display control unit 8a, and a multi-image processing unit 8b. ing. The compression unit 6 compresses the signal output from the image processing unit 5 at the time of shooting. The compression unit 6 includes MPEG (Moving Picture Experts Group) 4 and H.264. A compression unit for moving images composed of a compression core unit such as H.264 and JPEG (Joint
A still image compression unit such as a Photographic Experts Group) core unit is provided. The compression unit 6 also performs image expansion when reproducing an image recorded on the recording medium 9 on the display panel 8.

記録部9aは、圧縮された画像信号を記録メディア9に記録する。記録メディア9はカメラに着脱可能な保存用の記録媒体である。なお、画像信号の記録にあたっては、写真撮影した時の時間情報も併せて記録しても良い。撮影時間情報は、後述するMPU1内の時計部1tによって計測されており、MPU1は画像と関連付を行なう。 The recording unit 9 a records the compressed image signal on the recording medium 9. The recording medium 9 is a storage recording medium that can be attached to and detached from the camera. In recording an image signal, time information when a photograph is taken may also be recorded. The photographing time information is measured by a clock unit 1t in the MPU 1 described later, and the MPU 1 associates with the image.

メディア9や記録部9aに記録された撮影画像データは、送受信部9cによって、インターネットや電話回線などの通信回線32経由で、画像を管理するサーバー33等の他の機器に転送したり、直接またはサーバー33を介して仮想空間サービスの提供者と接続することができる。また、送受信部9cは、受信設定部9dと送信設定部9eと接続されており、この受信設定部9dは受信先を指定する指定部であり、また送信設定部9eは送信先を指定する指定部である。 The captured image data recorded on the media 9 or the recording unit 9a is transferred to another device such as a server 33 that manages images by the transmission / reception unit 9c via the communication line 32 such as the Internet or a telephone line, or directly or A virtual space service provider can be connected via the server 33. The transmission / reception unit 9c is connected to a reception setting unit 9d and a transmission setting unit 9e. The reception setting unit 9d is a designation unit that designates a reception destination, and the transmission setting unit 9e is a designation that designates a transmission destination. Part.

表示パネル8は、例えば液晶や有機EL等から構成され、撮影時には観察用に被写体画像を表示し、再生時には伸張処理された記録画像を表示する。また、この表示パネル8は、送受信部9cを介して受信した仮想空間のCG画像を表示する。 The display panel 8 is composed of, for example, a liquid crystal or an organic EL, and displays a subject image for observation at the time of photographing, and displays an expanded recorded image at the time of reproduction. The display panel 8 displays a CG image of the virtual space received via the transmission / reception unit 9c.

表示制御部8aは、表示パネル8への表示を制御する。マルチ画像処理部8bは、表示パネル8上に、複数の画像を表示する場合の制御部である。このマルチ画像処理部8bによって、撮影した画像や撮影する画像の上に、送信先のアドレスの文字表示や種々の警告表示をすることが可能である。なお、表示パネル8には、撮影して送信済み画像を一覧表示して、そこからサーバー34が運営するブログサービスなどにアップする画像や、アップして、ブログに表示する時のレイアウトを選択できるようにしてもよい。 The display control unit 8 a controls display on the display panel 8. The multi-image processing unit 8b is a control unit for displaying a plurality of images on the display panel 8. By this multi-image processing unit 8b, it is possible to display characters of a destination address and various warnings on the captured image and the captured image. The display panel 8 displays a list of images that have been taken and transmitted, and from there, an image to be uploaded to a blog service or the like operated by the server 34, or a layout for uploading and displaying the image on a blog can be selected. You may do it.

カメラ100には、補助光発光部11、MPU(Micro Processing Unit)1、レリーズスイッチ1a、モード切替スイッチ1b、他のスイッチ1cが設けられる。補助光発光部11は、白色LEDやXe放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体20に光を照射して、明るさの不足や不均一な明るさを防止する。 The camera 100 is provided with an auxiliary light emitting unit 11, an MPU (Micro Processing Unit) 1, a release switch 1a, a mode switch 1b, and another switch 1c. The auxiliary light emitting unit 11 includes a white LED and a Xe discharge light emitting tube, and the amount of light can be controlled by the amount of current. Depending on the situation, the subject 20 is irradiated with light to prevent lack of brightness and uneven brightness.

MPU1は、カメラ全体の制御を司る制御手段である。レリーズスイッチ1a、モード切替スイッチ1b、他のスイッチ1cおよびプログラム等を記憶したROM(不図示)が、MPU1に接続される。MPU1内には、日や時刻を検出するための時計部1tが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。なお、スイッチ1b、1cは、スイッチを総称的に表示したものであって、実際には多数のスイッチ群から構成されている。 The MPU 1 is a control unit that controls the entire camera. A release switch 1a, a mode switch 1b, another switch 1c, and a ROM (not shown) storing a program and the like are connected to the MPU 1. A clock unit 1t for detecting the date and time is provided in the MPU 1, and the shooting date and time of the photo is detected and associated with the captured image. Note that the switches 1b and 1c are generically displayed switches, and are actually composed of a large number of switch groups.

各スイッチ1a〜1cは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるMPU1に通知する。MPU1が、これらのスイッチの操作に従って動作を切り換える。また、MPU1は撮影時には、AF制御部2aや絞り制御部2c等の制御を行う撮影制御部として機能し、さらに、仮想空間の撮影時には、インターネット等を介して受信した仮想空間のCG画像を取り込み、記録部9aや記録メディア9に記録を行う。 Each switch 1a-1c detects a user's operation, and notifies the result to MPU1 which is a calculation control means consisting of a microcontroller. The MPU 1 switches the operation according to the operation of these switches. The MPU 1 functions as a shooting control unit that controls the AF control unit 2a, the aperture control unit 2c, and the like when shooting, and further captures a CG image of the virtual space received via the Internet or the like when shooting the virtual space. Recording is performed on the recording unit 9a and the recording medium 9.

このカメラ100は、前述したように、送受信部9cを利用して仮想空間のサービスの提供を受けることができる。このサービスは、仮想空間をCGで構成して提供するものであり、ユーザーは、この仮想空間内の仮想の土地に、建物のグラフィックを作成し、あたかも都市のような景観を呈しているものがある。このようなサービスは、あくまで仮想の世界であるが、最新の3D技術によって、その中を歩いていくような感覚が得られ、あたかも現実の世界のような体験が得られる。 As described above, the camera 100 can receive provision of a virtual space service by using the transmission / reception unit 9c. This service provides the virtual space configured by CG, and the user creates a graphic of the building on the virtual land in this virtual space, as if it is presenting a city-like landscape is there. Such a service is a virtual world to the last, but the latest 3D technology gives you the feeling of walking in it, giving you a real-world experience.

従って、このような空間に入って行くにも、不自然なインターフェースでの設定が介在すると興趣がそがれる。現実空間の撮影を経て、仮想空間に入っていくような自然なインターフェースが求められ、現実と仮想現実を意識せずに行き来しながら撮影ができることが好ましい。そこで、現実の撮影を楽しんでいるうちに、仮想空間の撮影に移行できるような工夫が望まれる。本実施形態においては、所定の条件を満たす撮影を行うと、仮想空間を提供するサーバーにアクセスし、仮想空間に入りこむようにしている。MPU1に接続された条件判定部1dが、リアルからバーチャル移行の条件を満たすか否かを判定する。 Therefore, even if you enter such a space, you will be offended if you set up with an unnatural interface. It is desirable that a natural interface that enters the virtual space after photographing the real space is required, and it is possible to shoot while going back and forth without being conscious of the reality and the virtual reality. Therefore, it is desired to devise a technique that allows the user to shift to shooting in a virtual space while enjoying actual shooting. In the present embodiment, when shooting is performed that satisfies a predetermined condition, a server that provides the virtual space is accessed to enter the virtual space. The condition determination unit 1d connected to the MPU 1 determines whether or not the condition for real to virtual transition is satisfied.

次に、図2を用いて、カメラ100、サーバー33および仮想空間を提供するサーバー34の間における画像データや情報の授受を中心に説明する。図2は、サーバー33の内部構造と、カメラ100によって送信される画像とサーバー33から送信されるCG画像データの授受を示している。 Next, with reference to FIG. 2, an explanation will be given focusing on the exchange of image data and information among the camera 100, the server 33, and the server 34 that provides the virtual space. FIG. 2 shows the internal structure of the server 33, and the exchange of images transmitted by the camera 100 and CG image data transmitted from the server 33.

サーバー33は、仮想空間のCGを提供するサーバー34と連携しており、このサーバー34内には、仮想空間のCGを生成するためのCGライブラリ34aが設けられている。サーバー33は、カメラ100のアクセス先のサーバーであり、この内部には、カメラ100からアクセスを受けた際に、データを受信するための受信部33c、この受信部33cに接続されて、データを記録するための記録部33bが設けられている。 The server 33 is linked to a server 34 that provides a virtual space CG, and a CG library 34 a for generating a virtual space CG is provided in the server 34. The server 33 is a server that is the access destination of the camera 100, and when receiving access from the camera 100, the server 33 is connected to the receiving unit 33 c for receiving data and connected to the receiving unit 33 c to store the data. A recording unit 33b for recording is provided.

また、受信部33cには、受信した撮影条件等の情報が添付された画像が所定条件を満たすか否かの判定を行なう条件判定部33aが接続されている。さらに、条件判定部33aには、判定結果に応じてサーバー34と連携するための連携部33fが接続されている。この連携部33fはサーバー34と接続しており、サーバー34から仮想空間のCGデータを受信する。連携部33fは送信部33bと接続しており、送信部33bはカメラ100にCGデータを送信する。 The receiving unit 33c is connected to a condition determining unit 33a that determines whether an image to which the received information such as shooting conditions is attached satisfies a predetermined condition. Further, the condition determination unit 33a is connected to a cooperation unit 33f for cooperation with the server 34 according to the determination result. The cooperation unit 33 f is connected to the server 34 and receives virtual space CG data from the server 34. The cooperation unit 33f is connected to the transmission unit 33b, and the transmission unit 33b transmits CG data to the camera 100.

この図2を用いて、本実施形態に係るシステムの動作について説明する。カメラ100で撮影された撮影画像は、受信部33cにおいて受信され、記録部33dに保存される。記録部33dに記録された画像は、一般に公開し閲覧することが可能である。また、受信した撮影画像は、条件判定部33aによって、図3を用いて後述するような所定条件を満たすか否かの判定が行なわれる。 The operation of the system according to this embodiment will be described with reference to FIG. The captured image captured by the camera 100 is received by the receiving unit 33c and stored in the recording unit 33d. The image recorded in the recording unit 33d can be opened to the public and viewed. In addition, the received photographed image is determined by the condition determination unit 33a as to whether or not a predetermined condition described later with reference to FIG. 3 is satisfied.

この判定部で所定条件が満たされた場合、連携部33fを介して仮想空間のCGライブラリ34aを有するサーバー34と連携し、所定の景色の画像を選択し、送信部33bを介して、CG画像データ36をカメラ100に送信する。カメラ100は、仮想空間の画像データ36を受信すると、カメラ背面等に設けられた表示パネル8に仮想空間の画像を動画像として表示する(図4参照)。この表示パネル8は、通常の使用では、撮影レンズ2を介して取得したスルー画像、あるいは記録された撮像画像の再生画像を表示しているが、本実施形態では、これらの画像に加えて仮想空間の画像も表示される。 When the predetermined condition is satisfied in this determination unit, the image having the predetermined scenery is selected through cooperation with the server 34 having the CG library 34a in the virtual space through the cooperation unit 33f, and the CG image is transmitted through the transmission unit 33b. Data 36 is transmitted to the camera 100. Upon receiving the virtual space image data 36, the camera 100 displays the virtual space image as a moving image on the display panel 8 provided on the back of the camera or the like (see FIG. 4). In normal use, the display panel 8 displays a through image acquired via the photographing lens 2 or a reproduced image of a recorded captured image. In this embodiment, in addition to these images, a virtual image is displayed. An image of the space is also displayed.

これによって、現実の撮影のあと、仮想空間にさまよいこんだような効果が得られる。ここでは、あたかも現実の風景が続いているような表示画像を用意しておき、そこからさらに奥に入り込めるようにする。レンズ内の撮影の画像が移動すると、それを画像処理部5内の動き検出部5dによって検出し、検出結果に応じて、図4(a)から(b)に示すように、風景が移り変わるようにすればよい。このとき、動き検出部5での検出結果をサーバー33に送信することにより、サーバー33は動きに応じた仮想空間の画像をカメラ100に送信する。 As a result, it is possible to obtain the effect of wandering in a virtual space after actual shooting. Here, a display image as if a real landscape continues is prepared so that it can be further penetrated from there. When the photographed image in the lens moves, it is detected by the motion detector 5d in the image processor 5, and the landscape changes as shown in FIGS. 4A to 4B according to the detection result. You can do it. At this time, by transmitting the detection result in the motion detection unit 5 to the server 33, the server 33 transmits an image of the virtual space corresponding to the motion to the camera 100.

仮想空間の風景が表示パネル8に表示されると、カメラ100で仮想空間の撮影が可能となる。この状態で撮影操作を行うと、仮想空間の風景の画像が静止画像として撮影され、記録部9aや記録メディア9に記録される。なお、撮影信号を送信することによって、高品位の仮想空間の画像を表す静止画データをサーバー34からカメラ100に送信するようにしてもよい。 When the landscape of the virtual space is displayed on the display panel 8, the camera 100 can shoot the virtual space. When a photographing operation is performed in this state, a landscape image in the virtual space is photographed as a still image and recorded in the recording unit 9a and the recording medium 9. Note that still image data representing an image in a high-quality virtual space may be transmitted from the server 34 to the camera 100 by transmitting a photographing signal.

このように、本実施形態に係わるカメラ100は、現実と仮想空間のいずれをも撮影できるが、次に、図3を用いて、現実と仮想空間の遷移方法について説明する。現実の世界から仮想空間への遷移方法については、種々あるが、ここでは3つの例を挙げる。 As described above, the camera 100 according to the present embodiment can shoot both real and virtual spaces. Next, a transition method between the real and virtual spaces will be described with reference to FIG. There are various transition methods from the real world to the virtual space, but three examples are given here.

第1の例は、撮影位置の変化に基づく遷移方法である。図3(a)の地図で示す場所Aで撮影し、そのあと場所Bで撮影を行う。条件判定部1dは、GPSによって検出した撮影位置情報から、撮影者は図3(a)の地図上で左下に移動しながら撮影していると判断する。そして次はCの場所で撮影したいという判断を行い、Cの場所は実際には海であるが、仮想都市を形成したサービスとリンクして、この仮想の景観を撮影できるようにする。このように実際に撮影できないような空間での撮影が可能となる。なお、条件判定部1dまたは後述するようにサーバー33の条件判定部33aが画像判定機能を有し、この画像判定機能によって撮影場所を特定することができれば、撮影画像に撮影位置情報を添付する必要がなくなる。 The first example is a transition method based on a change in shooting position. Photographing is performed at a location A shown in the map of FIG. The condition determination unit 1d determines from the shooting position information detected by the GPS that the photographer is shooting while moving to the lower left on the map of FIG. Next, it is determined that the user wants to take a picture at the place C, and the place C is actually the sea, but is linked to the service that formed the virtual city so that this virtual landscape can be taken. In this way, it is possible to shoot in a space where actual shooting is not possible. If the condition determination unit 1d or the condition determination unit 33a of the server 33 has an image determination function as will be described later, and the shooting location can be specified by this image determination function, it is necessary to attach shooting position information to the shot image. Disappears.

第2の例は、時間情報の変化に基づく遷移方法である。図3(a)に示したような場所の変化だけではなく、図3(b)に示すように、所定の日時に撮影し、次の撮影を所定の日時に行えば、その次の撮影が仮想空間撮影になるようにしてもよい。例えば、週末の土曜の旅先に撮影を行い、翌日、同じ場所で日曜に撮影を行った時、次の月曜は旅先から戻って、実際には旅先にはいなくとも、その場所の風景を擬似的に構成したCG映像を撮影可能なようにすれば、旅から帰った後も、その余韻にひたった撮影を行うことができる。 The second example is a transition method based on a change in time information. In addition to the change in location as shown in FIG. 3 (a), as shown in FIG. 3 (b), if the next shooting is performed at a predetermined date and time, the next shooting is performed. You may make it become virtual space imaging | photography. For example, if you take a picture of a weekend destination on a weekend and take the picture the next day on a Sunday, the next Monday will return from the destination, but you may not be actually at the destination, If the CG image configured as described above can be photographed, it is possible to perform photographing with the reverberation after returning from the trip.

第3の例は、撮影禁止領域の撮影に基づく遷移方法である。これは、図3(c)のように、撮影禁止の看板を遠くから撮影し、少し近づいて撮影する。サーバー33はこのような画像であると判定すると、看板の先は実際には撮影禁止領域であるが、撮影禁止の看板の先にある風景の画像を配信し、それを擬似的に撮影できるようなサービスを行うことができる。実際には立ち入り禁止の文化財であっても、擬似的に眺め、撮影等できることから、文化財などの保護に役立つサービスが可能となる。 The third example is a transition method based on the shooting of the shooting prohibited area. In this case, as shown in FIG. 3C, a sign prohibiting photographing is photographed from a distance and photographed a little closer. If the server 33 determines that it is such an image, the signboard tip is actually a shooting-prohibited area, but it is possible to deliver an image of the landscape ahead of the signage-prohibited signboard and shoot it in a pseudo manner. Service can be performed. In fact, even a cultural property that is prohibited from entry can be viewed and photographed in a pseudo manner, so that it is possible to provide services that help protect cultural properties.

次に、カメラ100の動作について、図5に示すフローチャートを用いて説明する。なお、ここでは、現実世界から仮想空間への遷移の判定は、サーバー33内の条件判定部33aでは行わず、カメラ100内の条件判定部1dに行っている。まず、最初に撮影画像が仮想空間に遷移するための所定条件を満たしているか、すなわち、図3(a)から(c)に示したような条件を満たしているか否かの判定を行なう(S1)。判定の結果、所定の条件を満たしていない場合には、ステップ2以下に進み、通常のカメラ制御を行う。 Next, the operation of the camera 100 will be described using the flowchart shown in FIG. Here, the determination of the transition from the real world to the virtual space is not performed by the condition determination unit 33a in the server 33, but is performed by the condition determination unit 1d in the camera 100. First, it is determined whether or not the photographed image satisfies a predetermined condition for transitioning to the virtual space, that is, whether or not the condition as shown in FIGS. 3A to 3C is satisfied (S1). ). As a result of the determination, if the predetermined condition is not satisfied, the process proceeds to step 2 and the subsequent camera control is performed.

通常のカメラ制御として、まずスルー画表示を行う(S2)。ここでスルー画表示は、撮影レンズ2によって撮像素子3上に結像された被写体像を光電変化し、これに基づく画像データを表示パネル8に動画表示する。次に、レリーズ操作がなされ、撮影を行うか否かを判定する(S4)。判定の結果、撮影を行う場合には、静止画像データを取得し(S5)、記録部9aまたは記録メディア9に画像データの記録を行う(S6)。 As normal camera control, first, a through image display is performed (S2). Here, in the through image display, the subject image formed on the image sensor 3 by the photographing lens 2 is photoelectrically changed, and image data based on the subject image is displayed on the display panel 8 as a moving image. Next, a release operation is performed, and it is determined whether or not to perform shooting (S4). As a result of the determination, when shooting is performed, still image data is acquired (S5), and image data is recorded on the recording unit 9a or the recording medium 9 (S6).

次に、ステップS5で撮影された画像の判定を行う(S7)。ここでの判定は、条件判定部1dによってなされ、図3を用いて前述したような仮想空間への遷移条件を満たすか否かの判定である。判定の結果、所定条件を満たす場合は、条件を満たす旨の設定がなされる(S8→S9)。 Next, the image taken in step S5 is determined (S7). The determination here is made by the condition determination unit 1d and is a determination as to whether or not the transition condition to the virtual space as described above with reference to FIG. 3 is satisfied. If the predetermined condition is satisfied as a result of the determination, a setting that satisfies the condition is made (S8 → S9 ).

ステップS9において、条件を満たす旨の設定がなされると、フローをリターンし、再びステップS1に戻っての判定の際に、所定条件を満たしていることから、ステップS3aに進む。ステップS3aは、現実の撮影から仮想空間の表示に移るステップで、サーバー33に仮想空間の画像データを要求し、送信されてきた仮想空間の画像を表示パネル8に再生表示する(S3a)。 If it is determined in step S9 that the condition is satisfied, the flow is returned, and since the predetermined condition is satisfied in the determination of returning to step S1 again, the process proceeds to step S3a. Step S3a is a step of moving from actual shooting to display of the virtual space. The server 33 requests the virtual space image data from the server 33 and reproduces and displays the transmitted virtual space image on the display panel 8 (S3a).

続いて、ユーザーがカメラ100を動かし移動したか否かを、撮像素子3から出力される画像信号に基づいて動き検出部5dで検出し、動いている場合には、仮想空間を移動して行くように画像の切り替えを行う(S3b)。そして、ステップS4において、ユーザーが仮想空間の情景を撮影したい場合には、前述した撮影動作のステップを実行する。すなわち、現実の撮影と何ら差異なく撮影が楽しめるように、S4以下のステップは共通で、撮影操作は共通となっている。 Subsequently, whether or not the user moves and moves the camera 100 is detected by the motion detection unit 5d based on the image signal output from the image pickup device 3, and moves in the virtual space when moving. Thus, the image is switched (S3b). In step S4, when the user wants to photograph a scene in the virtual space, the above-described photographing operation step is executed. That is, the steps after S4 are common and the photographing operation is common so that photographing can be enjoyed without any difference from actual photographing.

ステップS4において、撮影でないと判定された場合には、ステップS11に進み、再生か否かの判定を行なう。ユーザーが画像の再生を望む場合には、モード切替スイッチ1b等により再生モードに切り替えるので、これらのスイッチを検出することにより判定する。判定の結果、再生であった場合には、再生動作を行う(S12)。撮影レンズ2および撮像素子3によって取得した被写体画像および仮想空間の画像を再生し、表示パネル8に表示し、楽しむことができる。 If it is determined in step S4 that shooting is not being performed, the process proceeds to step S11 to determine whether or not playback is to be performed. When the user desires to reproduce an image, the mode is switched to the reproduction mode by the mode changeover switch 1b or the like, so that determination is made by detecting these switches. If the result of determination is playback, playback is performed (S12). The subject image and the virtual space image acquired by the photographing lens 2 and the image sensor 3 can be reproduced, displayed on the display panel 8, and enjoyed.

本実施形態によれば、通常のカメラでは、撮影できないようなシーンでも、通常のカメラと同じ操作で撮影が可能なカメラが提供できる。すなわち、本実施形態においては、送受信部9cを介して、コンピュータグラフィックで生成された仮想空間の画像を受信し、これを表示パネル8に表示すると共に、通常撮影と同様にレリーズ操作がなされると、この仮想空間の画像を記録部9aや記録メディア9に記録することができる。 According to the present embodiment, it is possible to provide a camera that can shoot a scene that cannot be shot with a normal camera by the same operation as the normal camera. That is, in the present embodiment, when an image of a virtual space generated by computer graphics is received via the transmission / reception unit 9c and displayed on the display panel 8, a release operation is performed in the same manner as in normal shooting. The image in the virtual space can be recorded on the recording unit 9a or the recording medium 9.

また、本実施形態によれば、送受信部9cで受信した仮想空間の画像を表示パネル8に表示中に、撮像素子3からの画像信号に基づいて画像処理部5cの動き検出部5dがカメラ100の動きを検出し、この検出された動きに応じて、仮想空間の画像が移動するように、サーバー33に画像を要求するようにしている。このためカメラ100の表示パネル8を通して、仮想空間の中を自在に見て回ることができる。 Further, according to the present embodiment, the motion detection unit 5d of the image processing unit 5c is based on the image signal from the imaging device 3 while the virtual space image received by the transmission / reception unit 9c is displayed on the display panel 8. The server 33 is requested to request an image so that the image in the virtual space moves in accordance with the detected motion. Therefore, the user can freely look around the virtual space through the display panel 8 of the camera 100.

さらに、本実施形態によれば、条件判定部1dにおいて、複数の撮影画像が所定の条件を満たしているか否かを判定し、仮想空間に遷移するようにしている。現実の世界からバーチャルの世界に飛び込むに、単に特定のアドレスに接続するだけでは、あまりに機械的すぎて仮想空間を楽しむことができない。そこで、本実施形態においては、仮想サービスから仮想空間の画像の提供を受けるにあたって、現実からバーチャル世界への変化を体験できるように設定している。 Furthermore, according to the present embodiment, the condition determination unit 1d determines whether or not a plurality of captured images satisfy a predetermined condition, and makes a transition to the virtual space. To jump from the real world to the virtual world, simply connecting to a specific address is too mechanical to enjoy the virtual space. Therefore, in this embodiment, when receiving provision of the image of the virtual space from the virtual service, the setting is made so that the change from the reality to the virtual world can be experienced.

次に、図6および図7のフローチャートを用いて、本発明の第2実施形態を説明する。本発明の第1実施形態においては、仮想空間への遷移する所定条件を満たしているか否かの判定は、カメラ100内に設けた条件判定部1dにおいて行なっていた。第2実施形態においては、所定条件を満たしているか否かの判定を、サーバー33の条件判定部33aにおいて行なっている。第2実施形態の構成は、第1実施形態において図5のフローチャートを図6および図7に置き換える以外は同様であるので、相違点のみを中心に説明する。 Next, a second embodiment of the present invention will be described using the flowcharts of FIGS. In the first embodiment of the present invention, whether or not the predetermined condition for transition to the virtual space is satisfied is determined by the condition determination unit 1d provided in the camera 100. In the second embodiment, the condition determination unit 33a of the server 33 determines whether or not a predetermined condition is satisfied. Since the configuration of the second embodiment is the same as that of the first embodiment except that the flowchart of FIG. 5 is replaced with FIG. 6 and FIG. 7, only the differences will be mainly described.

本実施形態におけるカメラ100の制御フローは、通常の撮影はステップS34以下で行い、再生表示はステップS41以下で行い、それ以外のモードとして、ステップS51以下において仮想空間要求を行なっている。まず、ステップS31において、サーバー33より仮想空間の画像データを受信中か否かの判定を行なう。判定の結果、受信中ではない場合には、第1実施形態におけるステップS2と同様にスルー画表示を行なう(S32)。 In the control flow of the camera 100 in the present embodiment, normal shooting is performed in step S34 and subsequent steps, reproduction display is performed in step S41 and subsequent steps, and as other modes, a virtual space request is performed in step S51 and subsequent steps. First, in step S31, it is determined whether image data in the virtual space is being received from the server 33. If the result of determination is that reception is not in progress, a through image display is performed as in step S2 in the first embodiment (S32).

次に、第1実施形態におけるステップS4と同様に撮影か否かの判定を行なう(S34)。判定の結果、撮影の場合には、ステップS5と同様に撮影を行う(S35)。この後、図3で説明したような仮想空間への遷移条件を満たしているか否かを判定する等のために、位置情報や時間情報等の撮影条件の情報付加を行う(S36)。撮影条件の付加が終わると、撮影画像の記録を行う(S37)。この記録にあたっては、撮影画像に関連付けて撮影条件の付加情報も記録する。記録が終わると、フローの最初に戻る。 Next, it is determined whether or not the photographing is performed, similarly to step S4 in the first embodiment (S34). As a result of the determination, in the case of shooting, shooting is performed as in step S5 (S35). Thereafter, in order to determine whether or not the condition for transition to the virtual space as described with reference to FIG. 3 is satisfied, information on shooting conditions such as position information and time information is added (S36). When the shooting conditions are added, the shot image is recorded (S37). In this recording, additional information on the shooting conditions is also recorded in association with the shot image. When recording is complete, return to the beginning of the flow.

ステップS34の判定の結果、撮影ではない場合には、次に再生か否かの判定を行なう(S41)。判定の結果、再生の場合には、第1実施形態のステップS12と同様に、再生動作を行う。再生動作が終わると、次にサーバー33に記録通信を行なうか否かの判定を行なう(S43)。すなわち、再生中の画像をサーバー33に送信し公開したい場合は、記録通信の操作を行う(S44)。送信された画像はサーバー33の記録部33dに格納され、公開される。 If the result of determination in step S34 is not shooting, it is next determined whether or not to play back (S41). As a result of the determination, in the case of reproduction, a reproduction operation is performed as in step S12 of the first embodiment. When the reproduction operation is finished, it is next determined whether or not to perform recording communication with the server 33 (S43). That is, when it is desired to transmit the image being played back to the server 33 for publication, a recording communication operation is performed (S44). The transmitted image is stored in the recording unit 33d of the server 33 and released.

ステップS41における判定の結果、再生ではなかった場合には、仮想空間への遷移についての所定条件を満たしているか判定を行なうか否かを判定する。この判定を行なうのは、ホットスポット等でサーバー33と通信が可能となった場合である。所定条件を満たしているか判定する場合には、ステップS36で求めた撮影条件をサーバー33に送信し(S52)、仮想画像送信を要求する(S53)。サーバー33は、撮影条件を判定し、満足していれば、カメラ100の置かれている状態に相応しい仮想空間の画像を送信する。仮想空間要求を送信すると、最初のステップに戻る。なお、カメラ100を強制的に仮想空間に遷移させるための仮想空間モードに設定した場合にも、ステップS51をYesで抜けて、仮想空間要求を行なう。 If the result of determination in step S41 is not reproduction, it is determined whether or not it is determined whether or not a predetermined condition for transition to the virtual space is satisfied. This determination is made when communication with the server 33 becomes possible through a hot spot or the like. When it is determined whether the predetermined condition is satisfied, the photographing condition obtained in step S36 is transmitted to the server 33 (S52), and a virtual image transmission is requested (S53). The server 33 determines the shooting conditions. If satisfied, the server 33 transmits an image of a virtual space suitable for the state where the camera 100 is placed. When the virtual space request is transmitted, the process returns to the first step. Even when the camera 100 is set to the virtual space mode for forcibly transitioning to the virtual space, the step S51 is skipped in Yes and a virtual space request is made.

ステップS31に戻り、仮想空間の画像の受信の有無を判定し、受信がある場合には、仮想空間のバーチャル画像の表示を行う(S33a)。この時、カメラ100の撮像素子3の画像信号に基づき動き検出部5dによって、カメラの動きを検出し、サーバー33に送信する(S33b)。サーバー33は動きに応じて、仮想風景を移動させる。ユーザーは第1実施形態と同様に、気に入った情景があれば、ステップS34以下において撮影動作を行い、その画像を記録する(S37)。以上の動作によって、ユーザーは、いつのまにか仮想空間に紛れ込んだような感覚で、撮影を楽しめる。 Returning to step S31, it is determined whether or not an image in the virtual space is received. If there is reception, the virtual image in the virtual space is displayed (S33a). At this time, the motion detector 5d detects the camera motion based on the image signal of the image sensor 3 of the camera 100, and transmits it to the server 33 (S33b). The server 33 moves the virtual landscape according to the movement. As in the first embodiment, if there is a favorite scene, the user performs a shooting operation in step S34 and subsequent steps and records the image (S37). With the above operation, the user can enjoy shooting with the feeling that he or she has been drowned in the virtual space.

次に、カメラ100に仮想空間の画像を送信するサーバー33の動作を、図7に示すフローチャートを用いて説明する。まず、カメラ100から撮影画像が送信されてきたか否かの判定を行なう。これは、前述のステップS44(図6)においてカメラ100が行なった画像送信を、サーバー33が受信するステップである。判定の結果、画像を入力した場合には、記録部33dに画像記録を行う(S102)。ここで記録された画像は、多くの人に閲覧可能で、迅速な画像公開ができる。つまり、PCや携帯電話からのアクセスがあれば、ステップS121でその信号を判定し、ステップS122で所定の暗証が一致した場合に、画像閲覧を可能とする(S123)。もちろん、多くの人に見てもらいたい場合、閲覧制限を行わなくてもよい。 Next, the operation of the server 33 that transmits an image of the virtual space to the camera 100 will be described using the flowchart shown in FIG. First, it is determined whether a captured image has been transmitted from the camera 100. This is a step in which the server 33 receives the image transmission performed by the camera 100 in step S44 (FIG. 6) described above. If it is determined that an image has been input, the image is recorded in the recording unit 33d (S102). The images recorded here can be browsed by many people and can be released quickly. That is, if there is an access from a PC or mobile phone, the signal is determined in step S121, and image browsing is enabled when the predetermined password matches in step S122 (S123). Of course, when many people want to see, there is no need to restrict viewing.

ステップS101における判定の結果、画像入力ではない場合には、次に、仮想空間通信か否かの判定を行なう(S111)。すなわち、カメラ100は仮想空間の画像要求をステップS53にて行う際にステップS36にて取得した撮影条件と共に撮影画像を送信してくる。 If the result of determination in step S101 is not image input, it is next determined whether or not virtual space communication is in effect (S111). In other words, the camera 100 transmits a photographed image together with the photographing condition acquired in step S36 when the virtual space image request is made in step S53.

ステップS111における判定の結果、仮想空間通信の場合には、次に、撮影位置、時間変化が条件を満たすか否かの判定を行なう(S112)。ここでは、図3(a)、(b)で説明したような、撮影画像の位置や時間の変化が所定の条件を満たした場合には、Yesで抜けてステップS115に進む。一方、ステップS112の判定の結果が、Noであった場合には、図3(c)で説明したような撮影画像が所定の変化をしているか否かの判定を行う。 If the result of determination in step S111 is virtual space communication, it is next determined whether or not the shooting position and time change satisfy the conditions (S112). Here, when the change in the position and time of the captured image satisfies the predetermined condition as described with reference to FIGS. 3A and 3B, the process leaves Yes and proceeds to step S115. On the other hand, if the result of the determination in step S112 is No, it is determined whether or not the photographed image as described in FIG.

ステップS113における判定の結果が、Noであった場合には、カメラ100が所定モードに設定されているか否かの判定を行なう(S114)。すなわち、カメラ100が仮想空間モードに設定されステップS53で仮想空間要求がなされている場合や、撮影位置がアミューズメントパーク等の特定場所にある等、その他の条件を満たしているか否かの判定を行なう。判定の結果、所定モード設定となっていれば、ステップS115に進む。 If the result of determination in step S113 is No, it is determined whether or not the camera 100 is set to a predetermined mode (S114). That is, it is determined whether or not other conditions are satisfied, such as when the camera 100 is set to the virtual space mode and a virtual space request is made in step S53, or the shooting position is at a specific place such as an amusement park. . If it is determined that the predetermined mode is set, the process proceeds to step S115.

ステップS115においては、現在仮想空間内にあるか否かの判定を行なう。すなわち、本実施形態においては、仮想空間にない場合に、所定の条件を満たせば、仮想空間に入り、一方、仮想空間にある場合に所定の条件を満たせば仮想空間から現実の世界に戻るように構成している。そこで、判定の結果、仮想空間にない場合はステップS115からステップS116に分岐して、カメラ100から送信されてきた画像の条件に応じて、サーバー33は、仮想空間の画像データの送信を行う。 In step S115, it is determined whether or not the user is currently in the virtual space. That is, in this embodiment, when not in the virtual space, if a predetermined condition is satisfied, the virtual space is entered. On the other hand, if the predetermined condition is satisfied in the virtual space, the virtual space returns to the real world. It is configured. Therefore, if the result of determination is that there is no virtual space, processing branches from step S115 to step S116, and the server 33 transmits image data in the virtual space according to the conditions of the image transmitted from the camera 100.

この時、カメラ100から送信されてきた画像の条件の中に、撮影位置情報が含まれている場合には、この撮影位置に応じた仮想空間の画像を送るようにしても良い。例えば、ディズニーランドのようなアミューズメントパークであれば、それに相応しい仮想空間とする。次に、ステップS33bにおいて送信されてきたカメラ100の動き信号を受信し、動き信号に応じた仮想空間の表示切替を行う(S117)。これによって、仮想空間を移動しての撮影ができる。 At this time, if the image condition transmitted from the camera 100 includes the shooting position information, an image of the virtual space corresponding to the shooting position may be sent. For example, if it is an amusement park like Disneyland, the virtual space is suitable. Next, the motion signal of the camera 100 transmitted in step S33b is received, and the display of the virtual space is switched according to the motion signal (S117). Thereby, it is possible to take a picture while moving in the virtual space.

ステップS114の判定の結果、すでに仮想空間に入っている場合は、ステップS115からS118に分岐し、その仮想空間内で所定の条件の撮影がなされると、現実空間の撮影に切り替わる。例えば、図4(b)に示すような扉37に向って行って、そこを開けると、現実画像に戻るような方法であれば、自然な風景の遷移となる。 As a result of the determination in step S114, if the virtual space is already entered, the process branches from step S115 to S118, and when shooting under a predetermined condition is performed in the virtual space, switching to real space shooting is performed. For example, if it is a method to go to the door 37 as shown in FIG.4 (b) and open there and return to a real image, it will become a transition of a natural scenery.

本発明の第2実施形態によれば、撮影条件の判定をカメラ100ではなく、画像送信先のサーバー33が行い、外部のデータベースを利用することができるので、より複雑な条件設定が可能となる。なお、本実施形態においては、仮想空間に遷移し、また仮想空間から現実世界に復帰するための所定条件については、サーバー33において判定しているが、まず、カメラ100の条件判定部1dにおいて、1次判定を行い、この1次判定を満足した場合に、サーバー33で、より複雑な条件で判定するようにしてもよい。 According to the second embodiment of the present invention, the imaging condition is determined by the image transmission destination server 33 instead of the camera 100, and an external database can be used, so that more complicated condition setting is possible. . In the present embodiment, the server 33 determines the predetermined condition for transitioning to the virtual space and returning from the virtual space to the real world. First, the condition determination unit 1d of the camera 100 When the primary determination is performed and the primary determination is satisfied, the server 33 may perform determination under more complicated conditions.

以上、説明したように本発明の実施形態によれば、現実空間からさらに撮影領域を拡大したカメラを提供でき、カメラを使用、携帯する率が高まり、カメラを利用し易くなる。また、通常のカメラでは、撮影できないようなシーンでも、通常のカメラと同じ操作で撮影が可能なカメラが提供できる。 As described above, according to the embodiment of the present invention, it is possible to provide a camera in which the photographing area is further enlarged from the real space, increase the rate of using and carrying the camera, and make it easier to use the camera. In addition, it is possible to provide a camera that can shoot a scene that cannot be shot with a normal camera by the same operation as the normal camera.

また、本実施形態によれば、仮想空間の画像を表示パネル8に表示中に、カメラ100の動きを検出し、この検出された動きに応じて、仮想空間の画像を移動させている。このため、仮想空間でありながら、現実の世界のように楽しむことができる。なお、本実施形態においては、カメラ100の動きは、撮像素子3からの画像信号に基づいて画像処理部5cの動き検出部5dが検出していたが、これに限らず、例えば、手振れ判定のセンサなどによって、カメラ100の動きを検出するようにしても良い。 Further, according to the present embodiment, the movement of the camera 100 is detected while the virtual space image is being displayed on the display panel 8, and the virtual space image is moved in accordance with the detected movement. For this reason, although it is a virtual space, it can enjoy like the real world. In the present embodiment, the motion of the camera 100 is detected by the motion detection unit 5d of the image processing unit 5c based on the image signal from the image pickup device 3, but the present invention is not limited to this. The movement of the camera 100 may be detected by a sensor or the like.

さらに、本実施形態によれば、カメラ100内の条件判定部1dやサーバー33の条件判定部33aにおいて、撮影条件や撮影画像に基づいて遷移のための所定の条件を満たしているか否かを判定し、仮想空間と現実世界の間を遷移するようにしている。このため、現実から仮想へ、仮想から現実へ自然なインターフェースで切り換えることができる。 Furthermore, according to the present embodiment, the condition determination unit 1d in the camera 100 and the condition determination unit 33a of the server 33 determine whether or not a predetermined condition for transition is satisfied based on the shooting condition and the shot image. And transition between the virtual space and the real world. Therefore, it is possible to switch from real to virtual and from virtual to real with a natural interface.

なお、各実施形態の説明において、記録部9aや記録メディア9に記録する画像は静止画像のデータであったが、これに限らず、動画を記録するようにしても良い。この場合には、レリーズスイッチ1aが操作された時に動画像の記録を開始し、次に、レリーズスイッチ1aが操作された時に動画像の記録を停止するようにすれば良い。 In the description of each embodiment, the image to be recorded on the recording unit 9a or the recording medium 9 is still image data. However, the present invention is not limited to this, and a moving image may be recorded. In this case, the recording of the moving image may be started when the release switch 1a is operated, and then the recording of the moving image may be stopped when the release switch 1a is operated.

本発明の第1実施形態に係わるカメラとその周辺のブロック図である。It is a block diagram of the camera concerning 1st Embodiment of this invention, and its periphery. 本発明の第1実施形態に係わる、カメラ、サーバーおよび仮想空間を提供するサーバーからなるシステムを示すブロック図である。It is a block diagram which shows the system which consists of a server which provides the camera, server, and virtual space concerning 1st Embodiment of this invention. 本発明の第1実施形態において、仮想空間に遷移するための所定条件を説明する図であり、(a)は撮影位置の変化より遷移する例を説明する図であり、(b)は時間変化より遷移する例を説明する図であり、(c)は撮影画像の変化より遷移する例を説明する図である。In 1st Embodiment of this invention, it is a figure explaining the predetermined conditions for changing to virtual space, (a) is a figure explaining the example which changes from the change of imaging | photography position, (b) is a time change. It is a figure explaining the example which changes more, (c) is a figure explaining the example which changes from the change of a picked-up image. 本発明の第1実施形態において、カメラの表示パネルにおける仮想空間の画像の表示状態を示し、カメラの動きに応じて仮想空間の風景が変化することを説明する図である。In 1st Embodiment of this invention, it is a figure which shows the display state of the image of the virtual space on the display panel of a camera, and demonstrates that the scenery of virtual space changes according to a motion of a camera. 本発明の第1実施形態におけるカメラの制御の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of control of the camera in 1st Embodiment of this invention. 本発明の第2実施形態におけるカメラの制御の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of control of the camera in 2nd Embodiment of this invention. 本発明の第2実施形態におけるサーバーの制御の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of control of the server in 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1・・・MPU、1a・・・レリーズスイッチ、1b・・・モード切替スイッチ、1c・・・他のスイッチ、1d・・・条件判定部、1t・・・時計部、2・・・撮影レンズ、2a・・・AF(オートフォーカス)制御部、2b・・・絞り、2c・・・絞り制御部、3・・・撮像素子、4・・・アナログフロントエンド(AFE)部、5・・・画像処理部、5a・・・形状判定部、5b・・・リサイズ部、5c・・・距離判定部、5d・・・動き検出部、6・・・圧縮部、8・・・表示パネル、8a・・・表示制御部、8b・・・マルチ画像処理部、9・・・記録メディア、9a・・・記録部、9c・・・送受信部、9d・・・受信設定部、9e・・・送信設定部、11・・・補助光発光部、20・・・被写体、31・・・他のユーザー、32・・・通信回線、33・・・サーバー、33a・・・条件判定部、33b・・・送信部、33c・・・受信部、33d・・・記録部、33f・・・連携部、34・・・サーバー、34a CGライブラリ、35・・・送信画像、36 CG画像データ、37・・・扉、100・・・カメラ DESCRIPTION OF SYMBOLS 1 ... MPU, 1a ... Release switch, 1b ... Mode changeover switch, 1c ... Other switch, 1d ... Condition judgment part, 1t ... Clock part, 2 ... Shooting lens 2a ... AF (autofocus) control unit, 2b ... aperture, 2c ... aperture control unit, 3 ... imaging device, 4 ... analog front end (AFE) unit, 5 ... Image processing unit, 5a ... shape determination unit, 5b ... resizing unit, 5c ... distance determination unit, 5d ... motion detection unit, 6 ... compression unit, 8 ... display panel, 8a ... Display control unit, 8b ... Multi-image processing unit, 9 ... Recording medium, 9a ... Recording unit, 9c ... Transmission / reception unit, 9d ... Reception setting unit, 9e ... Transmission Setting unit, 11 ... auxiliary light emitting unit, 20 ... subject, 31 ... other users, 32 ..Communication line, 33... Server, 33a .. condition determination unit, 33b... Transmission unit, 33c... Reception unit, 33d... Recording unit, 33f. -Server, 34a CG library, 35 ... Transmission image, 36 CG image data, 37 ... Door, 100 ... Camera

Claims (3)

撮像素子の出力に基づく画像を表示手段に表示し、その画像を観察しながら撮影を行うと共に、撮影した複数の画像を送信可能なカメラにおいて、
送信する各画像の撮影位置の変化、撮影日時を表す時間情報、または撮影禁止領域の表示に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、上記表示手段に表示する表示制御手段と、
上記コンピュータグラフィック画像を、静止画像として撮影する仮想空間撮影手段と、
を備えたことを特徴とするカメラ。
In the camera capable of displaying an image based on the output of the image sensor on the display means, photographing while observing the image, and transmitting a plurality of photographed images,
A computer graphic image of the virtual space transmitted from the external device when the shooting position information of each image to be transmitted, the time information indicating the shooting date and time, or the shooting condition information related to the display of the shooting prohibited area matches a predetermined condition. Display control means for displaying on the display means;
Virtual space photographing means for photographing the computer graphic image as a still image ;
A camera characterized by comprising
上記コンピュータグラフィック画像は、上記撮像素子の出力の変化に従って変化することを特徴とする請求項1に記載のカメラ。 The camera according to claim 1, wherein the computer graphic image changes in accordance with a change in output of the image sensor. 撮像素子の出力に基づく画像を表示手段に表示し、その画像を観察しながら撮影を行うと共に、撮影した複数の画像を送信可能なカメラにおける画像記録方法であって、
送信する各画像の撮影位置の変化、撮影日時を表す時間情報、または撮影禁止領域の表示に関する撮影条件情報が、所定条件に合致した時に、外部機器より発信されてくる仮想空間のコンピュータグラフィック画像を、上記表示手段に表示し、該コンピュータグラフィック画像の静止画撮影を行うことを特徴とする画像記録方法。
An image recording method in a camera capable of displaying an image based on an output of an image sensor on a display unit, photographing while observing the image, and transmitting a plurality of photographed images,
A computer graphic image of the virtual space transmitted from the external device when the shooting position information of each image to be transmitted, the time information indicating the shooting date and time, or the shooting condition information related to the display of the shooting prohibited area matches a predetermined condition. An image recording method characterized in that a still image of the computer graphic image is displayed on the display means.
JP2007132374A 2007-05-18 2007-05-18 Camera and image recording method Expired - Fee Related JP4981514B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007132374A JP4981514B2 (en) 2007-05-18 2007-05-18 Camera and image recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007132374A JP4981514B2 (en) 2007-05-18 2007-05-18 Camera and image recording method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012095249A Division JP5329691B2 (en) 2012-04-19 2012-04-19 Camera and camera control method

Publications (3)

Publication Number Publication Date
JP2008288922A JP2008288922A (en) 2008-11-27
JP2008288922A5 JP2008288922A5 (en) 2010-06-24
JP4981514B2 true JP4981514B2 (en) 2012-07-25

Family

ID=40148218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007132374A Expired - Fee Related JP4981514B2 (en) 2007-05-18 2007-05-18 Camera and image recording method

Country Status (1)

Country Link
JP (1) JP4981514B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5329691B2 (en) * 2012-04-19 2013-10-30 オリンパス株式会社 Camera and camera control method
JP7013786B2 (en) 2017-10-16 2022-02-01 富士フイルムビジネスイノベーション株式会社 Information processing equipment, programs and control methods
WO2023047645A1 (en) 2021-09-21 2023-03-30 ソニーグループ株式会社 Information processing device, image processing method, and program
WO2024157415A1 (en) * 2023-01-26 2024-08-02 株式会社ソニー・インタラクティブエンタテインメント Display control device and display control method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111956A (en) * 1996-10-07 1998-04-28 Mitsubishi Electric Corp Composing device for computer graphics and real video
JP2002109539A (en) * 2000-07-26 2002-04-12 Fujitsu Ltd Positional attitude detector of image pickup means, three- dimensional object recognizing device and map characteristic data preparing method
JP2003046814A (en) * 2001-08-02 2003-02-14 Minolta Co Ltd Digital camera and photographing system
JP4244590B2 (en) * 2002-08-08 2009-03-25 株式会社セガ Information processing apparatus in network system and control method of information processing apparatus in network system
JP3741713B2 (en) * 2003-05-20 2006-02-01 松下電器産業株式会社 Imaging system
JP4371863B2 (en) * 2004-03-12 2009-11-25 キヤノン株式会社 Playback apparatus and method
JP2007052484A (en) * 2005-08-15 2007-03-01 Dainippon Printing Co Ltd Image processor, image processing method, program for image processing, and information recording medium

Also Published As

Publication number Publication date
JP2008288922A (en) 2008-11-27

Similar Documents

Publication Publication Date Title
JP5895409B2 (en) Imaging device
US7656451B2 (en) Camera apparatus and imaging method
JP4805198B2 (en) Image sharing system and server control method
JP2012065263A (en) Imaging apparatus
JP4981514B2 (en) Camera and image recording method
JP5329691B2 (en) Camera and camera control method
JP4870503B2 (en) Camera and blog management system
JP2009230635A (en) Image data generating device, image data generating method and image data generating program
JP4889554B2 (en) Camera, content creation method, and program
JP4912972B2 (en) Imaging apparatus and imaging system
JP2008129841A (en) Device for disclosing text with image, camera, and method of disclosing text with image
JP5603979B2 (en) Server and server image transmission method
JP4965361B2 (en) Camera, shooting information display method, and server
JP5914714B2 (en) Imaging equipment and method
JP4922066B2 (en) camera
JP5242756B2 (en) Image processing apparatus, image processing method, and camera
JP2008103850A (en) Camera, image retrieval system, and image retrieving method
JP5249078B2 (en) Imaging device
JP5847230B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP5213285B2 (en) Camera and shooting method
JP4965315B2 (en) IMAGING DEVICE, IMAGING METHOD, AND INFORMATION DEVICE
JP5362927B2 (en) Camera, camera playback method and program
JP4979454B2 (en) Camera, camera image acquisition method, and image acquisition system
JP5568149B2 (en) Camera and shooting method
JP5230876B2 (en) Camera and image transmission system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120326

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4981514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees