WO2014141522A1 - 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム - Google Patents

画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム Download PDF

Info

Publication number
WO2014141522A1
WO2014141522A1 PCT/JP2013/078803 JP2013078803W WO2014141522A1 WO 2014141522 A1 WO2014141522 A1 WO 2014141522A1 JP 2013078803 W JP2013078803 W JP 2013078803W WO 2014141522 A1 WO2014141522 A1 WO 2014141522A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured
imaging device
captured image
measurement target
Prior art date
Application number
PCT/JP2013/078803
Other languages
English (en)
French (fr)
Inventor
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201380074604.4A priority Critical patent/CN105190226B/zh
Priority to JP2015505223A priority patent/JP5819564B2/ja
Priority to DE112013006814.1T priority patent/DE112013006814T5/de
Publication of WO2014141522A1 publication Critical patent/WO2014141522A1/ja
Priority to US14/832,557 priority patent/US9721346B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present invention relates to a technique related to three-dimensional measurement, and more particularly to a technique for determining an image pair used for three-dimensional measurement from a plurality of captured images.
  • a photographing position is moved relative to a measurement object, a plurality of photographed images are acquired by an imaging device, an image pair is formed from the plurality of photographed images, and three-dimensional measurement is performed (moving stereo method).
  • moving stereo method when a measurement object is large, it may be difficult to perform a three-dimensional measurement with only one image pair.
  • a method for three-dimensionally measuring a large measurement object a plurality of image pairs are created, and the three-dimensional data created from each image pair is synthesized to create one large three-dimensional data.
  • Patent Document 1 for a captured image composed of a plurality of frames, a feature point of a captured object (which is considered to correspond to the measurement object of the present application) in the captured image is tracked, and based on the vertical parallax of the feature point.
  • a technique for determining the correctness of a stereo pair (which is considered to correspond to the image pair of the present application) is described.
  • Japanese Patent Application Laid-Open No. 2004-268832 discloses a technique for tracking a feature point of a subject to be photographed in a photographed image of a plurality of frames, determining whether a corresponding point corresponding to the feature point is correct, and selecting a stereo pair. Is described.
  • Patent Document 3 the orientation information obtained from the orientation sensor and the acceleration sensor and the orientation information of the camera are displayed on the liquid crystal panel so that the optical axis orientation between the two images and the horizontal orientation state do not relatively shift.
  • a technique is described in which a pair of images is acquired by performing imaging control via a CPU or the like while assisting user shooting.
  • Japanese Patent Application Laid-Open No. 2004-228867 discloses an imaging unit for capturing an object to be measured, a first feature point specifying unit for specifying a feature point on an image where the object to be measured is captured by the imaging unit, A distance measuring means for measuring a distance to the feature point on the object to be measured designated by the point designating means; and a object corresponding to the feature point on the image obtained by photographing the object to be measured at the first photographing position.
  • Second feature point designating means for designating a point on the measurement object as a feature point on the image obtained by photographing the object to be measured at the second photographing position by the image pickup means; a first photographing position; The first shooting position and the second shooting are based on the feature points on the image where the measurement object is shot at the two shooting positions and the distances to the feature points measured at the shooting positions by the distance measuring means.
  • a calculation means for obtaining a position and an angle relative to the position.
  • Patent Documents 3 and 4 do not describe selection of a pair of images from a plurality of captured images.
  • the present invention has been made in view of such circumstances, and an image determination apparatus, an imaging apparatus, and a three-dimensional measurement apparatus that can accurately and quickly determine an image pair used for three-dimensional measurement from a plurality of captured images.
  • An object is to provide an image pair determination method and a program.
  • an image determination apparatus is an image determination apparatus that determines an image pair to be used for three-dimensional measurement from a plurality of captured images.
  • First photographed image selection means for selecting one photographed image
  • first photographed image information acquisition means for obtaining the photographing position and photographing direction of the selected first photographed image
  • first photographing that is the photographing position of the first photographed image.
  • a measurement target distance acquisition means for acquiring a measurement target distance from the position to the measurement target in the first captured image, and a position on the optical axis in capturing the first captured image, the measurement target distance from the first capture position
  • Measurement target position calculating means for calculating a measurement target position in a three-dimensional space separated by a distance
  • second photographed image selecting means for selecting a second photographed image from a plurality of photographed images, and a photographing position of the selected second photographed image
  • the second shooting position Shooting for calculating a shooting range corresponding to the second shot image based on the shooting position, shooting direction, and angle of view of the acquired second shot image;
  • a range calculating unit and a determination unit that determines whether or not the calculated measurement target position is included in the calculated shooting range, and if it is determined that it is included, a determination unit that determines the first captured image and the second captured image as an image pair. And comprising.
  • the determination unit further includes a resolution ⁇ Z represented by the following [Equation 1] including a baseline length L between the imaging device at the first imaging position and the imaging device at the second imaging position.
  • a resolution ⁇ Z represented by the following [Equation 1] including a baseline length L between the imaging device at the first imaging position and the imaging device at the second imaging position.
  • ⁇ Z Resolution Z: Distance to be measured f: Focal length p: Pixel pitch L of the image pickup element in the image pickup apparatus that acquired the shot image: Base line length between the image pickup apparatus at the first shooting position and the image pickup apparatus at the second shooting position
  • the determination unit further includes an optical axis of the imaging device at the first imaging position and a straight line C connecting the imaging device at the first imaging position and the imaging device at the second imaging position.
  • the angle ⁇ formed and the angle ⁇ formed by the optical axis of the image pickup apparatus and the straight line C at the second shooting position are 45 ° or more and 135 ° or less, the first shot image and the second shot image are displayed as images. Judge as a pair.
  • the arrangement of the imaging device that has captured the first captured image and the imaging device that has captured the second captured image is appropriate for performing the three-dimensional measurement, and it is possible to select an image pair that is more suitable for the three-dimensional measurement. it can.
  • the determination unit further includes the first captured image and the second captured image when the distance S between the measurement target position and the optical axis of the image capturing apparatus at the captured position of the second captured image is equal to or less than a threshold value.
  • the image is determined as an image pair.
  • the second photographed image selection unit includes a baseline length Lx between the imaging device at the first photographing position and the imaging device at the photographing position of one of the plurality of photographed images. Then, a captured image whose resolution ⁇ Z value expressed by the following [Equation 2] is equal to or smaller than a threshold value is selected as the second captured image.
  • ⁇ Z Resolution Z: Distance to be measured f: Focal length p: Pixel pitch Lx of the image pickup device in the image pickup apparatus that acquired the shot image: The image pickup apparatus at the first shooting position and one of the plurality of shot images Accordingly, it is possible to determine an image pair having a higher resolution suitable for three-dimensional measurement and to increase the accuracy of the three-dimensional measurement.
  • the second photographed image selection unit 110 selects a photographed image whose resolution ⁇ Z is equal to or less than the threshold value, extra calculation after the second photographed image is selected is reduced.
  • the second captured image selection unit further includes an optical axis of the imaging device at the first imaging position, an imaging device at the first imaging position, and one captured image of the plurality of captured images.
  • Each of an angle ⁇ formed by a straight line connecting the imaging device at the imaging position and an angle ⁇ formed by a straight line with the optical axis of the imaging device at the imaging position of one of the plurality of captured images is 45 ° or more and 135.
  • a photographed image that is within ° is selected as the second photographed image.
  • the arrangement of the imaging device that has captured the first captured image and the imaging device that has captured the second captured image is appropriate for performing the three-dimensional measurement, and it is possible to select an image pair that is more suitable for the three-dimensional measurement. it can.
  • the second photographed image selection unit 110 selects a photographed image in consideration of the values of the angle ⁇ and the angle ⁇ , extra calculation after the second photographed image is selected is reduced.
  • the second captured image selection unit further has a distance S between the measurement target position and the optical axis of the imaging device at the photographing position of one of the plurality of photographed images equal to or less than a threshold value. Is selected as the second captured image.
  • the second photographed image selection unit 110 selects a photographed image in consideration of the values of the angle ⁇ and the angle ⁇ , extra calculation after the second photographed image is selected is reduced.
  • the first photographed image selection unit selects an arbitrary photographed image among the plurality of photographed images as the first photographed image
  • the second photographed image selection unit selects the first photographed image from the plurality of photographed images.
  • An arbitrary captured image of the captured images other than the one captured image is selected as the second captured image.
  • a storage unit that stores a plurality of image pairs determined by the determination unit and a plurality of image pairs stored in the storage unit, the first captured image or the second captured image among the image pairs.
  • a resolution optimal pair determining unit that determines a pair having the highest resolution ⁇ Z as a resolution optimal pair from a pair group having the same resolution.
  • a storage unit that stores a plurality of image pairs determined by the determination unit and a plurality of image pairs stored in the storage unit, the first captured image or the second captured image among the image pairs.
  • Distance S optimal pair determination means for determining a pair having the shortest distance S as a distance S optimal pair from a pair group having the same S.
  • the pair with the shortest distance S can be selected, and more accurate three-dimensional measurement can be performed.
  • the storage unit stores the image pair determined by the determination unit as one file.
  • the shooting range calculation means calculates a quadrangular pyramid-shaped shooting range corresponding to the second shot image based on the shooting position, shooting direction, and angle of view of the acquired second shot image.
  • an imaging apparatus includes the above-described image determination apparatus.
  • a three-dimensional measurement apparatus uses an image pair determined by the above-described image determination apparatus.
  • an image determination apparatus is an image determination method for determining an image pair to be used for three-dimensional measurement from a plurality of captured images.
  • a first photographed image selection step for selecting one photographed image
  • a first photographed image information acquisition step for obtaining a photographing position and a photographing direction of the selected first photographed image, and a first photographing that is a photographing position of the first photographed image.
  • a measurement target distance acquisition step for acquiring a measurement target distance from the position to the measurement target in the first photographed image, and a position on the optical axis in photographing the first photographed image, the measurement target distance from the first photographing position;
  • a measurement target position calculating step for calculating a measurement target position in a three-dimensional space separated by a distance, a second captured image selection step for selecting a second captured image from a plurality of captured images, and capturing of the selected second captured image
  • the second photographic image information acquisition step for acquiring the second photographic position, the photographic direction, and the angle of view, and the second photographic image based on the photographic position, the photographing direction, and the angle of view of the acquired second photographic image.
  • a shooting range calculation step for calculating a shooting range of a quadrangular pyramid, and whether or not the calculated measurement target position is included in the calculated shooting range.
  • the two captured images include a determination step for determining an image pair.
  • a program is a program for determining an image pair to be used for three-dimensional measurement from a plurality of photographed images, wherein the first photographed image is obtained from the plurality of photographed images.
  • a first photographic image selection step to select, a first photographic image information acquisition step to acquire a photographic position and a photographic direction of the selected first photographic image, and a first photographic position that is a photographic position of the first photographic image.
  • a measurement target distance acquisition step for acquiring a measurement target distance to the measurement target in the captured image, and a position on the optical axis in capturing the first captured image, which is 3 away from the first capture position by the measurement target distance.
  • a measurement target position calculating step for calculating a measurement target position in a three-dimensional space; a second captured image selecting step for selecting a second captured image from a plurality of captured images; and a capturing position of the selected second captured image
  • a second captured image information acquisition step for acquiring a second captured position, a captured direction, and an angle of view, and four corresponding to the second captured image based on the captured position, the captured direction, and the angle of view of the acquired second captured image.
  • a shooting range calculation step for calculating a pyramid-shaped shooting range and whether or not the calculated measurement target position is included in the calculated shooting range are determined.
  • a determination step of determining an image as an image pair is executed by a computer.
  • the measurement target position in the three-dimensional space in the first captured image selected from the plurality of captured images is within the capturing range of the second captured image selected from the plurality of captured images. Since it is determined whether or not the first captured image and the second captured image are an image pair used for three-dimensional measurement, the image pair used for three-dimensional measurement can be determined accurately and quickly.
  • FIG. 1 is a diagram for explaining three-dimensional measurement by the stereo method.
  • FIG. 2 is a functional block diagram of the image determination apparatus.
  • FIG. 3 is a conceptual diagram illustrating the measurement target position E.
  • FIG. 4 is a diagram for explaining a photographing range corresponding to the second photographed image.
  • FIG. 5 is a diagram illustrating an operation flow of the image determination apparatus.
  • FIG. 6 is a functional block diagram of an imaging apparatus that captures a plurality of captured images.
  • FIG. 7 is a diagram illustrating an operation flow related to the first modification of the image determination apparatus.
  • FIG. 8 is a diagram illustrating an operation flow regarding the second modification of the image determination apparatus.
  • FIG. 9 is a diagram illustrating the angle ⁇ and the angle ⁇ .
  • FIG. 10 is a diagram illustrating an operation flow regarding the third modification of the image determination apparatus.
  • FIG. 11 is a diagram illustrating an operation flow regarding the fourth modification of the image determination device.
  • FIG. 12 is a diagram illustrating the distance S.
  • FIG. 13 is a diagram illustrating an operation flow regarding the fifth modification of the image determination device.
  • FIG. 14 is a diagram illustrating an operation flow regarding the sixth modification of the image determination apparatus.
  • FIG. 15 is a diagram for explaining an operation flow related to the modified example 7 of the image determination apparatus.
  • FIG. 16 is a diagram illustrating an operation flow regarding the modification 8 of the image determination apparatus.
  • FIG. 17 is a diagram illustrating another aspect of the imaging apparatus that captures a plurality of captured images.
  • FIG. 18 is a block diagram illustrating a configuration of the imaging apparatus illustrated in FIG.
  • FIG. 1 is a diagram for explaining the moving stereo method in three-dimensional measurement.
  • 1 shows an object 1 to be measured, an imaging device 5 at position 1, an imaging device 7 at position 2, an imaging device 9 at position 3, an imaging device 11 at position 4, an imaging device 13 at position 5, and an imaging device at position 6. 15, an imaging device 17 at position 7, an imaging device 19 at position 8, an imaging device 21 at position 9, an imaging device 23 at position 10, an imaging device 25 at position 11, and an imaging device 27 at position 12.
  • a plurality of photographed images are acquired by moving relative to the measurement object 1 by one or a plurality of imaging devices.
  • an image pair stereo image pair
  • an image pair is selected from a plurality of captured images captured by the image capturing apparatuses (for example, the image capturing apparatuses 5 and 7) having a positional relationship such as pairs 1 to 6 shown in FIG. 3D data is created based on the image pair, and three-dimensional measurement of the measurement object 1 is performed.
  • the measurement object 1 is large, a single image pair is not sufficient, and a plurality of image pairs are acquired as shown in FIG. 1, and three-dimensional (3D) data is synthesized from each image pair. Two large three-dimensional data are created and three-dimensional measurement of the measurement object 1 is performed.
  • the relative movement of the imaging device with respect to the measurement object 1 may be such that the imaging device moves around the measurement object 1 as shown in FIG. Sometimes move.
  • a plurality of captured images may be acquired by a single imaging device, or a plurality of captured images may be acquired by a plurality of imaging devices.
  • FIG. 2 is a block diagram of the image determination apparatus 100 according to the present invention.
  • the image determination apparatus 100 includes a first captured image selection unit 101, a first captured image information acquisition unit 105, a measurement target distance acquisition unit 120, a measurement target position calculation unit 125, a second captured image selection unit 110, and second captured image information.
  • An acquisition unit 115, an imaging range calculation unit 130, and a determination unit 135 are included.
  • the first captured image information acquisition unit 105 and the first captured image information acquisition unit have the same meaning
  • the second captured image information acquisition unit 115 and the second captured image information acquisition unit have the same meaning.
  • the first captured image selection unit 101 shown in FIG. 2 selects one captured image from a plurality of captured images stored in the captured image storage unit 140, and uses the captured image as the first captured image.
  • a method for selecting the first captured image from the plurality of captured images is not particularly defined.
  • the first photographed image may be selected from a plurality of photographed images at random, or the first photographed image may be selected from the plurality of photographed images by determining the order according to the date and time of photographing.
  • the captured image storage unit 140 is installed outside the image determination apparatus 100, but is not limited thereto.
  • the image determination apparatus 100 may include the captured image storage unit 140.
  • the second photographed image selection unit 110 shown in FIG. 2 selects one photographed image from the plurality of photographed images stored in the photographed image storage unit 140, and sets the photographed image as the second photographed image.
  • the method for selecting the second captured image from a plurality of captured images is not particularly limited.
  • various selection methods can be employed as in the first captured image selection unit 101. Note that the captured image selected as the first captured image cannot be selected as the second captured image at the same time. However, even if the image is selected as the first photographed image or the second photographed image once, it can be selected again as the second photographed image.
  • the 1st picked-up image selection part 101 selects the arbitrary picked-up images among several picked-up images as a 1st picked-up image
  • the 2nd picked-up image selection part 110 is other than a 1st picked-up image from several picked-up images. Any of the captured images can be selected as the second captured image.
  • the first captured image information acquisition unit 105 shown in FIG. 2 acquires information related to the capturing position and the capturing direction of the first captured image.
  • the shooting position of the first shot image refers to the position of the imaging device that shot the first shot image when the first shot image was shot.
  • the photographing position of the first photographed image in the three-dimensional space can be acquired based on the latitude, longitude, and altitude measured mainly by GPS (Global Positioning System).
  • the shooting direction of the first shot image refers to the direction in which the imaging device faces when shooting the first shot image, and mainly means the direction of the optical axis.
  • the direction of the shooting direction of the first captured image (the optical axis of the imaging device) can be specified by an electronic compass and a gyro sensor.
  • the electronic compass can specify the direction (pan direction) of the XY plane in the three-dimensional space
  • the gyro sensor can specify the tilt (tilt direction) in the Z-axis direction.
  • Other measuring devices can be used as long as they have functions similar to those of the electronic compass and the gyro sensor.
  • the first captured image information acquisition unit 105 shown in FIG. 2 can acquire information related to the capturing position and the capturing direction of the first captured image by various modes.
  • information about the shooting position and the shooting direction of the first shot image is attached to the first shot image
  • the first shot image information acquisition unit 105 includes the first shot image attached to the first shot image.
  • the first captured image information acquisition unit 105 acquires information about the shooting position and the shooting direction of the first captured image associated with the first captured image separately from the first captured image.
  • information regarding the shooting position and shooting direction of the first shot image may be acquired from outside the image determination apparatus.
  • the second captured image information acquisition unit 115 illustrated in FIG. 2 is in the same manner as the first captured image information acquisition unit 105, and captures the second captured image and the second captured image that are the captured positions of the second captured image. Obtain information about the shooting direction of the device. Furthermore, the second captured image information acquisition unit 115 acquires information on the angle of view when the second captured image is captured.
  • the second photographed image information acquisition unit 115 shown in FIG. 2 obtains information on the second photographing position, the photographing direction, and the angle of view when the second photographed image is photographed by various modes.
  • information on the second shooting position, shooting direction, and angle of view when the second shot image was shot is attached to the second shot image
  • the second shot image information acquisition unit 115 includes The aspect which acquires the 2nd imaging
  • the second photographed image information acquisition unit 115 obtains information on the second photographing position, the photographing direction, and the angle of view when the second photographed image associated with the second photographed image is photographed.
  • the image may be acquired separately from the second captured image.
  • information on the angle of view when the second captured image is captured may be acquired from the outside of the image determination device.
  • the first captured image selection unit 101, the second captured image selection unit 110, the first captured image information acquisition unit 105, and the second captured image information acquisition unit 115 have been described separately. Processing in each unit may be sequentially performed by one processing circuit.
  • the measurement target distance acquisition unit 120 shown in FIG. 2 acquires the measurement target distance from the shooting position of the first captured image to the measurement target 1 in the first captured image.
  • the measurement target distance here refers to an approximate distance from the first shooting position, which is the shooting position of the first shot image, to the shooting position measurement target.
  • the measurement target distance can be obtained by various methods. For example, the measurement target distance can be obtained by a range finder using laser irradiation, or the measurement target distance can be obtained by manual focus (MF) or autofocus (AF). If the distance from the first photographing position to the measurement object 1 is known in advance, the value can be used as the measurement object distance.
  • the measurement target position calculation unit 125 illustrated in FIG. 2 is a position on the optical axis in capturing the first captured image, and only the measurement target distance acquired from the first capturing position that is the capturing position of the first captured image.
  • a measurement target position E in a separated three-dimensional space is calculated. In FIG. 3, a method for calculating the measurement target position E will be described in detail.
  • FIG. 3 shows the imaging device 31 at the first photographing position for photographing the first photographed image.
  • the imaging device 33 at the second imaging position for capturing the second captured image is shown.
  • the optical axis in photographing by the imaging device 31 is indicated by a straight line A
  • the optical axis in photographing by the imaging device 33 is indicated by a straight line B.
  • a straight line connecting the imaging device 31 and the imaging device 33 is represented by a straight line C.
  • the shooting angle of view (shooting range) of the imaging device 33 at the second shooting position where the second shot image is shot is indicated by a dotted line.
  • the measurement target position calculation unit 125 calculates a position E (reference numeral 35) on the straight line A that is the optical axis in the photographing of the imaging device 31 and separated from the first photographing position by the measurement target distance.
  • the measurement target position E may be specified as a position in a three-dimensional space and may be specified as XYZ coordinates.
  • FIG. 4 shows an imaging device 33 that has captured the second captured image, a second captured image 39, and a quadrangular pyramid-shaped capturing range 37 corresponding to the second captured image 39.
  • the photographing range 37 can be obtained by various known calculation methods.
  • the second photographic image 39 can be obtained from the optical axis of the imaging device 33 (straight line B in FIG. 3) at the second photographic position in photographing and the second photographic image 39 can be obtained from the angle of view in photographing.
  • the calculated shooting range 37 is not limited to a quadrangular pyramid shape, and may have various shapes.
  • the determination unit 135 illustrated in FIG. 2 determines whether or not the calculated measurement target position E is within the calculated imaging range 37, and based on the determination result, the first captured image and the second captured image. It is determined whether or not is an image pair. Specifically, first, it is determined whether or not the measurement target position E described in FIG. 3 is within (exists) the imaging range 37 corresponding to the second captured image 39 described in FIG. To do. When the measurement target position E is within the imaging range 37 corresponding to the second captured image 39, the first captured image and the second captured image are an image pair used for three-dimensional measurement. judge.
  • the measurement target position E is not within the imaging range 37 corresponding to the second captured image 39, it is determined that the first captured image and the second captured image are not an image pair used for three-dimensional measurement. To do. As described with reference to FIG. 3, the measurement target position E is specified by a position in a three-dimensional space (for example, XYZ space coordinates). In addition, as described with reference to FIG. 4, the spatial area of the shooting range 37 corresponding to the second shot image 39 can be obtained. Therefore, the determination unit 135 can determine whether or not the measurement target position E is within the imaging range 37 corresponding to the second captured image 39.
  • FIG. 5 is an operation flowchart of the image determination apparatus 100.
  • the first captured image selection unit 101 selects a first captured image from a plurality of captured images stored in the captured image storage unit 140 (first captured image selection step), and the second captured image selection unit 110 selects the first captured image.
  • the second photographed image is selected from the plurality of photographed images stored in the photographed image storage unit 140 (second photographed image selection step) (step S10).
  • the first captured image information acquisition unit 105 acquires the first captured position and the captured direction of the first captured image (first captured image information acquisition step), and the second captured image information acquisition unit 115 performs the second captured image.
  • the second shooting position, shooting direction, and angle of view of the image are acquired (second captured image information acquisition step) (step S15).
  • the measurement target distance acquisition unit 120 acquires a measurement target distance that is the distance between the first imaging position and the measurement target 1 (measurement target distance acquisition step) (step S25).
  • a measurement target position E in a three-dimensional space that is a position on the optical axis in capturing the first captured image and is separated from the first capture position by a measurement target distance is acquired (calculated) (measurement target position).
  • Calculation step) step S30.
  • the shooting range calculation unit 130 acquires (calculates) a shooting range based on the shooting position, shooting direction, and angle of view of the second shot image (shooting range calculation step) (step S35).
  • the determination unit 135 determines whether or not the calculated measurement target position E is within the calculated imaging range (determination step) (step S40).
  • the determination unit 135 determines that the measurement target position E is within the shooting range
  • the first captured image and the second captured image are determined to be an image pair (step S45), and the image determination device 100 is determined. This one operation flow is completed.
  • the first shot image selection unit 101 or the first shot image selection unit 101 or the second shot image is changed to another shot image.
  • the second captured image selection unit 110 is controlled (step S50).
  • the image pair used for the three-dimensional measurement is accurately and quickly obtained. Can be determined.
  • a first captured image and a second captured image are selected from a plurality of captured images by the first captured image selection unit 101 and the second captured image selection unit 110 in the image determination apparatus 100.
  • a plurality of captured images can be acquired by various imaging devices. As long as it is possible to perform three-dimensional measurement by the image determination device 100 of the present invention, a captured image acquired by any imaging device can be used.
  • FIG. 6 shows an example of an imaging apparatus that can acquire a captured image that can be used in the image determination apparatus 100 of the present invention.
  • FIG. 6 is a digital camera that records captured images in an internal memory (memory unit 226) or an external recording medium (not shown), and the operation of the entire apparatus is performed by a central processing unit. (CPU) 212 performs overall control.
  • CPU central processing unit
  • the imaging device 210 is provided with an operation unit 214 including a shutter button (shutter switch), a mode dial, a playback button, a MENU / OK key, a cross key, a zoom button, a BACK key, and the like.
  • a signal from the operation unit 214 is input to the CPU 212, and the CPU 212 controls each circuit of the imaging device 210 based on the input signal.
  • the CPU 212 controls the lens unit 218, the shutter 220, and the image sensor 222 via the device control unit 216, and controls shooting operations (from exposure start to exposure completion), image processing control, image data recording / playback control, Display control of the display unit 225 is performed.
  • the lens unit 218 includes a focus lens, a zoom lens, a diaphragm, and the like, and the light flux that has passed through the lens unit 218 and the shutter 220 is imaged on the light receiving surface of the image sensor 222.
  • the imaging element 222 is a CMOS (Complementary Metal-Oxide Semiconductor) type, XY address type, or CCD (Charge Coupled Device) type color image sensor, and a large number of light receiving elements (photodiodes) are two-dimensionally arranged.
  • the subject image formed on the light receiving surface of each light receiving element is converted into a signal voltage (or charge) corresponding to the amount of incident light.
  • the signal charge accumulated in the image sensor 222 is read out as a voltage signal corresponding to the signal charge based on a readout signal applied from the device control unit 216.
  • the voltage signal read from the image sensor 222 is applied to the A / D converter 224, where it is sequentially converted into digital R, G, and B signals corresponding to the color filter array, and temporarily stored in the memory unit 226. Saved.
  • the memory unit 226 includes an SDRAM that is a volatile memory, an EEPROM that is a rewritable nonvolatile memory, and the SDRAM is a digital image signal that is captured and acquired as a work area when the CPU 212 executes a program. Is used as a storage area for temporarily holding On the other hand, the EEPROM stores a camera control program including an image processing program according to the present invention, pixel defect information of the image sensor 222, various parameters and tables used for image processing, and the like.
  • the image processing unit 228 performs predetermined signal processing such as scratch correction processing, white balance correction, gamma correction processing, demosaicing processing, and YC processing on the digital image signal once stored in the memory unit 226. I do. The details of the defect correction processing for defective pixels (scratch pixels) of the image sensor 222 will be described later.
  • the image data processed by the image processing unit 228 is encoded into image display data by the encoder 230 and output to the display unit 225 provided on the back of the camera via the driver 232. As a result, the subject image is continuously displayed on the display screen of the display unit 225.
  • the CPU 212 When the shutter button of the operation unit 214 is first pressed (half-pressed), the CPU 212 starts the AF operation and the AE operation, and moves the focus lens of the lens unit 218 in the optical axis direction via the device control unit 216. Control is performed so that the focus lens comes to the in-focus position.
  • the CPU 212 calculates the brightness of the subject (shooting Ev value) based on the image data output from the A / D converter 224 when the shutter button is half-pressed, and the exposure condition (F value, shutter speed) based on this shooting Ev value. ).
  • the aperture is controlled according to the determined exposure condition, and the charge accumulation time in the shutter 220 and the image sensor 222 is controlled to perform the main imaging. Done. Image data of the RGB mosaic image read from the image sensor 222 during the main imaging and A / D converted by the A / D converter 224 is temporarily stored in the memory unit 226.
  • the image data temporarily stored in the memory unit 226 is appropriately read out by the image processing unit 228, where predetermined signals including scratch correction processing, white balance correction, gamma correction processing, demosaicing processing, YC processing, etc. Processing is performed.
  • the YC-processed image data (YC data) is compressed according to a predetermined compression format (for example, JPEG method), and the compressed image data is stored in an internal memory or an external memory in a predetermined image file (for example, Exif file) format. To be recorded.
  • the imaging device 210 has a GPS 242.
  • the GPS 242 is controlled by the CPU 212 and can obtain the position (photographing position) of the imaging device 210.
  • the image pickup apparatus 210 can obtain information on the shooting position in shooting the measurement object 1 by the GPS 242.
  • the imaging device 210 is not limited to having a GPS as long as information on the shooting position can be acquired.
  • the imaging device 210 has a gyro sensor 244 (gyroscope).
  • the gyro sensor 244 is controlled by the CPU 212 and identifies the shooting direction (tilt direction) of the imaging device 210.
  • the imaging device 210 is not limited to having a gyro sensor as long as information on the shooting direction (tilt direction) of the imaging device 210 can be acquired.
  • the imaging device 210 has an electronic compass 246.
  • the electronic compass 246 is controlled by the CPU 212 and specifies the direction of the shooting direction (pan direction) of the imaging device 210. Note that the imaging device 210 is not limited to the electronic compass 246 as long as the direction of the imaging direction (pan direction) of the imaging device 210 can be specified.
  • FIG. 6 has been described as an imaging apparatus that acquires a captured image that can be used in the image determination apparatus 100 of the present invention, there is an embodiment in which the imaging apparatus includes the image determination apparatus 100 of the present invention. That is, as another embodiment, an imaging apparatus having the image determination apparatus 100 can be given.
  • the image determination apparatus 100 may be provided in a computer, and a plurality of captured images captured by the imaging apparatus may be taken into the computer, and the image determination apparatus 100 in the computer may perform image determination processing.
  • the determination unit 135 further includes a baseline length L between the imaging device at the first imaging position and the imaging device at the second imaging position, and the resolution ⁇ Z represented by the following [Equation 1].
  • the first captured image and the second captured image may be determined as an image pair.
  • ⁇ Z represents the resolution
  • Z is the distance between the first imaging position acquired by the measurement target distance acquisition unit 120 and the measurement target 1.
  • f is a focal length.
  • p is the pixel pitch of the image sensor of the imaging device that acquired the first captured image.
  • L represents the baseline length of the imaging device at the first shooting position and the imaging device at the second shooting position.
  • a method for obtaining the focal length f and the pixel pitch p of the image sensor is not particularly limited. That is, information about the focal length f and the pixel pitch p of the image sensor is attached to the first captured image, and the determination unit 135 may acquire the information, or the image determination apparatus 100 separately receives the focal length f and the pixel pitch. You may input the value of p.
  • the distance between the imaging device at the first imaging position and the imaging device at the second imaging position is set as the baseline length, but the present invention is not limited to this, and the distance is not limited to this.
  • Various types of information can be employed as long as the information indicates the distance between the imaging device and the imaging device at the second imaging position.
  • FIG. 7 is an operation flowchart regarding the first modification of the image determination apparatus 100.
  • the same parts as those in the operation flow diagram of FIG. 7 is compared with the operation flow diagram shown in FIG. 5, in the operation flow diagram shown in FIG. 7, the measurement target position E enters the imaging range corresponding to the second captured image. Is determined (step S40), the resolution ⁇ Z is acquired (step S42), and it is determined whether the resolution ⁇ Z is equal to or less than the threshold (step S43). Different.
  • the determination unit 135 determines whether or not the measurement target position E is in the shooting range corresponding to the second shot image (step S40), and corresponds to the second shot image. If it is determined that the measurement target position E is in the shooting range, then the resolution ⁇ Z between the first and second shot images is acquired (step S42). Then, the determination unit 135 determines whether or not the acquired resolution ⁇ Z is equal to or less than a threshold value (step S43).
  • the threshold value is not particularly limited as long as it is determined by the shooting environment and the influence on the three-dimensional measurement. It has been confirmed that if the resolution ⁇ Z is about 1% with respect to the distance to be measured, it can be generated as a three-dimensional shape with almost no problem. Therefore, if the object is 10 m away, the necessary resolution is about 0.1 m.
  • the determination unit 135 determines that the resolution between the first captured image and the second captured image is equal to or less than the threshold.
  • the resolution is added to the criterion for determining the image pair, and an image pair that can perform more accurate three-dimensional measurement is selected.
  • step S42 The acquisition of the resolution ⁇ Z (step S42) and the determination whether the resolution ⁇ Z is larger than the threshold value (step S43) are based on whether the measurement target position E is in the imaging range corresponding to the second captured image. It may be performed before the determination (step S40).
  • the second captured image selection unit 110 includes a baseline length Lx between the imaging device at the first imaging position and the imaging device at the imaging position of one of the plurality of captured images.
  • a captured image in which the value of the resolution ⁇ Z expressed by the following [Equation 2] is equal to or less than a threshold value may be selected as the second captured image.
  • ⁇ Z represents the resolution
  • Z is the distance between the first imaging position acquired by the measurement target distance acquisition unit 120 and the measurement target 1.
  • f is a focal length.
  • p is the pixel pitch of the image sensor of the imaging device that acquired the first captured image.
  • Lx represents the baseline length between the imaging device at the first imaging position and the imaging device at the imaging position of one of the plurality of captured images.
  • a method for obtaining the focal length f and the pixel pitch p of the image sensor is not particularly limited. That is, information regarding the focal length f and the pixel pitch p of the image sensor is attached to the first captured image, and the determination unit 135 may acquire the information, or the image determination apparatus 100 separately receives the focal length f and the pixel.
  • a value of the pitch p may be input.
  • the distance between the imaging device at the first imaging position and the imaging device at the imaging position of one of the plurality of captured images is set as the baseline length, but the present invention is not limited to this. Instead of information, various forms of information may be adopted as long as the information indicates the distance between the imaging device at the first imaging position and the imaging device at the imaging position of one of the plurality of captured images. Can do.
  • FIG. 8 is an operation flowchart relating to the second modification of the image determination apparatus 100.
  • the resolution ⁇ Z is acquired (step S42), and the resolution ⁇ Z is less than or equal to the threshold value. Is different (step S43), and when it is determined that the resolution ⁇ Z is not less than or equal to the threshold value, one image is changed to another image (step S51).
  • the second captured image selection unit 110 determines that the second captured image is determined after determining that the resolution ⁇ Z is equal to or less than the threshold (step S28) in FIG.
  • the second captured image selection unit 110 acquires information on the measurement target distance from the measurement target distance unit, calculates the resolution ⁇ Z, and determines whether the resolution ⁇ Z is equal to or less than the threshold value. Determination is made and it is determined that one selected photographed image is the second photographed image.
  • the second captured image selection unit 110 acquires the resolution ⁇ Z (step S27). Then, the second captured image selection unit 110 determines whether or not the resolution ⁇ Z is equal to or less than a threshold value (step S28). When it is determined that the resolution ⁇ Z is equal to or less than the threshold value, the second image selection unit determines that one selected captured image is the second captured image. Then, the measurement target position E is acquired by the measurement target position acquisition unit (step S30). On the other hand, when the second captured image portion determines that the resolution ⁇ Z is not less than or equal to the threshold value, one captured image is changed to another captured image (step S51).
  • the threshold value is not particularly limited as long as it is determined by the shooting environment and the influence on the three-dimensional measurement. It has been confirmed that a resolution of about 1% with respect to the distance to be measured can be generated as a three-dimensional shape with almost no problem. Therefore, if the object is 10 m away, the necessary resolution is about 0.1 m.
  • the resolution is added to the criterion for determining the image pair, and an image pair that can perform more accurate three-dimensional measurement is selected.
  • the second photographed image selection unit 110 selects a photographed image whose resolution ⁇ Z is equal to or less than the threshold value, extra calculation after the second photographed image is selected is reduced.
  • the determination unit 135 further includes an optical axis of the imaging device at the first shooting position and a straight line C connecting the imaging device at the first shooting position and the imaging device at the second shooting position.
  • the angle ⁇ formed by the angle ⁇ and the optical axis of the imaging device at the second imaging position and the straight line C is 45 ° or more and 135 ° or less, the first captured image and the second captured image are paired with each other. May be determined.
  • FIG. 9 the angle ⁇ and the angle ⁇ will be described.
  • the imaging device 31 at the first shooting position for shooting the first shot image and the imaging device 33 at the second shooting position for shooting the second shot image are shown.
  • the optical axis in photographing by the imaging device 31 is indicated by a straight line A
  • the optical axis in photographing by the imaging device 33 is indicated by a straight line B.
  • a straight line connecting the imaging device 31 and the imaging device 33 is represented by a straight line C.
  • the angle formed by the straight line A and the straight line C is represented by ⁇
  • the angle formed by the straight line B and the straight line C is represented by ⁇ .
  • FIG. 9A shows the positional relationship between the appropriate imaging device 31 and imaging device 33.
  • the angle ⁇ and the angle ⁇ are in the range of 45 ° to 135 °
  • the captured image captured by the imaging device 31 and the captured image captured by the imaging device 33 are an image pair suitable for performing three-dimensional measurement.
  • the range of the angle ⁇ and the angle ⁇ is not particularly limited as long as an image pair suitable for performing three-dimensional measurement can be acquired.
  • the angle ⁇ and the angle ⁇ may be in a range of 60 ° to 120 °.
  • 9B and 9C show an inappropriate positional relationship between the imaging device 31 and the imaging device 33.
  • the angle ⁇ and the angle ⁇ are 45 ° or less, and the imaging device 31 and the imaging device 33 are in an inappropriate positional relationship.
  • the angle ⁇ is larger than 135 ° and the angle ⁇ is smaller than 45 °, and the imaging device 31 and the imaging device 33 are in an inappropriate positional relationship.
  • an image pair is created from the captured images acquired by the image pickup device 31 and the image pickup device 33, and accurate three-dimensional measurement can be performed when attempting three-dimensional measurement. There may not be.
  • FIG. 10 is an operation flowchart regarding the third modification of the image determination apparatus 100.
  • the measurement target position E is in the shooting range corresponding to the second shot image.
  • step S40 whether the angle ⁇ formed by the straight line A and the straight line C and the angle ⁇ formed by the straight line B and the straight line C are calculated (step S52), and the angle ⁇
  • step S53 it is different in that it is determined whether or not the angle ⁇ is not less than 45 ° and not more than 135 °.
  • the determination unit 135 determines whether or not the measurement target position E is in the shooting range corresponding to the second shot image (step S40), and corresponds to the second shot image.
  • an angle ⁇ formed by the straight line A and the straight line C and an angle ⁇ formed by the straight line B and the straight line C are calculated (step S52).
  • the determination unit 135 determines whether or not the angles ⁇ and ⁇ are not less than 45 ° and not more than 135 ° (step S53).
  • the determination unit 135 determines that the first captured image and the second captured image are an image pair (step S45). On the other hand, when the angle ⁇ and the angle ⁇ are not 45 ° or more and 135 ° or less, the first or second captured image is changed to another captured image (step S50).
  • Step S52 the angle ⁇ formed by the straight line A and the straight line C and the angle ⁇ formed by the straight line B and the straight line C are calculated (step S52), and whether or not the angle ⁇ and the angle ⁇ are between 45 ° and 135 ° ( Step S53) may be performed before the determination (step S40) of whether or not the measurement target position E is in the imaging range corresponding to the second captured image.
  • the angle ⁇ and the angle ⁇ are added to the reference for determining the image pair, and the image pair capable of performing more accurate three-dimensional measurement is selected.
  • the second captured image selection unit 110 further includes an optical axis of the imaging device at the first imaging position, an imaging device at the first imaging position, and one captured image of the plurality of captured images.
  • Each of an angle ⁇ formed by a straight line connecting the imaging device at the imaging position and an angle ⁇ formed by a straight line with the optical axis of the imaging device at the imaging position of one of the plurality of captured images is 45 ° or more and 135 °.
  • the captured image that is within the range may be selected as the second captured image.
  • the second captured image selection unit 110 in the fourth modification of the image determination device 100 selects one captured image, acquires the angle ⁇ and the angle ⁇ related to the first captured image and the one captured image, and the angle ⁇ When the angle ⁇ is not less than 45 ° and not more than 135 °, one captured image is determined as the second captured image.
  • the imaging apparatus 33 is considered as an imaging apparatus that captures one captured image in the description of FIG.
  • FIG. 11 is an operation flowchart regarding the fourth modification of the image determination apparatus 100.
  • the calculation of the angle ⁇ step S52
  • the determination of whether the angle ⁇ and the angle ⁇ are 45 ° or more and 135 ° or less step S53
  • the angle ⁇ and the angle ⁇ are not 45 ° or more and 135 ° or less. In this case, one image is changed to another image (step S51).
  • the second captured image selection unit 110 determines whether the angle ⁇ and the angle ⁇ are not less than 45 ° and not more than 135 ° (step S53), and then performs the second capture. It differs from the image determination apparatus 100 shown in FIG. 2 in that an image is determined.
  • FIG. 11 is an operation flow diagram of Modification 4 of the image determination apparatus 100.
  • the angle ⁇ formed by the straight line A and the straight line C, the straight line B, and the straight line C.
  • the angle ⁇ is calculated (step S55), and whether the angle ⁇ and the angle ⁇ are not less than 45 ° and not more than 135 ° (step S56).
  • step S51 one captured image is changed to another captured image (step S51), which is also different from the operation flow diagram shown in FIG.
  • the second captured image selection unit 110 determines that the second captured image is determined after determining that the angle ⁇ and the angle ⁇ are not less than 45 ° and not more than 135 ° (step S56). Thus, it is different from the image determination apparatus 100 shown in FIG. That is, in Modification 4 of the image determination device 100, the second captured image selection unit 110 acquires information about the first captured image from the measurement target distance acquisition unit 120, calculates the angle ⁇ and the angle ⁇ , and calculates the angle ⁇ and It is determined that the angle ⁇ is not less than 45 ° and not more than 135 °, and it is determined that one selected photographed image is the second photographed image.
  • the angle ⁇ formed by the straight line A and the straight line B and the angle ⁇ formed by the straight line B and the straight line C are calculated by the second photographed image selection unit 110 (step S55). Then, the second captured image selection unit 110 determines whether the angle ⁇ and the angle ⁇ are 45 ° or more and 135 ° or less. When it is determined that the angles ⁇ and ⁇ are not less than 45 ° and not more than 135 °, the second image selection unit determines that one selected captured image is the second captured image. Then, the measurement target position E is acquired by the measurement target position calculation unit 125 (step S30). On the other hand, if the second captured image selection unit 110 determines that the angles ⁇ and ⁇ are not 45 ° or more and 135 ° or less, one captured image is changed to another captured image (step S51).
  • the angle ⁇ and the angle ⁇ are added to the reference for determining the image pair, and the image pair capable of performing more accurate three-dimensional measurement is selected.
  • the second photographed image selection unit 110 selects the second photographed image in consideration of the angle ⁇ and the angle ⁇ , extra calculation after the second photographed image is selected is reduced.
  • the determination unit 135 further includes the first captured image and the second captured image when the distance S between the measurement target position E and the optical axis of the image capturing apparatus at the captured position of the second captured image is equal to or less than a threshold value.
  • An image may be determined as an image pair. In FIG. 12, the distance S will be described.
  • FIG. 12 (A) the imaging device 31 at the first shooting position for shooting the first shot image is shown.
  • the imaging device 33 at the second imaging position for capturing the second captured image is shown.
  • the optical axis in photographing by the imaging device 31 is indicated by a straight line A
  • the optical axis in photographing by the imaging device 33 is indicated by a straight line B.
  • a straight line connecting the imaging device 31 and the imaging device 33 is represented by a straight line C.
  • the measurement target position is represented by E.
  • the threshold value of the distance S is not particularly limited, and various values can be adopted depending on the size of the measurement object, the performance of the imaging device that acquires a captured image, the accuracy in three-dimensional measurement, and the like. For example, if the distance S is 5 m or less, preferably 3 m or less, more preferably 1 m or less, an image pair that can perform three-dimensional measurement with good accuracy is selected even if the measurement object is a large object such as a building. be able to. If the distance S is 100 cm or less, preferably 80 cm or less, more preferably 50 cm or less, an image pair capable of performing three-dimensional measurement with high accuracy can be selected.
  • FIG. 13 is an operation flowchart regarding the fifth modification of the image determination apparatus 100.
  • the measurement target position E enters the imaging range corresponding to the second captured image. If the distance S between the measurement target position E and the straight line B is calculated (step S60), the determination whether the distance S is equal to or smaller than the threshold value (step S40) is performed (step S40). The difference is that step S61) is performed.
  • the determination unit 135 determines whether or not the measurement target position E is within the shooting range corresponding to the second shot image (step S40), and corresponds to the second shot image.
  • the distance S between the measurement target position E and the straight line B is calculated (step S60).
  • the determination unit 135 determines whether or not the distance S is less than or equal to the threshold (step S61).
  • the determining unit 135 determines that the first captured image and the second captured image are an image pair (step S45).
  • step S50 when the distance S is less than or equal to the threshold, the first or second captured image is changed to another captured image (step S50).
  • step S60 the calculation of the distance S between the measurement target position E and the straight line B (step S60) and the determination whether the distance S is equal to or smaller than the threshold (step S61) are performed on the measurement range corresponding to the second captured image. It may be performed before the determination of whether or not the position E is entered (step S40).
  • the distance S is added to the reference for determining the image pair, and an image pair that can perform more accurate three-dimensional measurement is selected.
  • the second captured image selection unit 110 further includes a distance S between the measurement target position E and the optical axis of the imaging apparatus at the captured position of one captured image of the plurality of captured images that is equal to or less than a threshold value. This captured image may be selected as the second captured image.
  • the second captured image selection unit 110 in Modification 6 of the image determination apparatus 100 calculates the distance S between the measurement target position E and the straight line B. When the distance S is equal to or less than the threshold, one captured image is acquired. The second captured image is determined.
  • the imaging apparatus 33 is considered as an imaging apparatus that captures one captured image in the description of FIG.
  • FIG. 14 is an operation flowchart regarding the sixth modification of the image determination apparatus 100.
  • the same parts as those in the operation flow diagram of FIG. 14 is compared with the operation flow diagram shown in FIG. 5, the distance S between the measurement target position E and the straight line B is calculated in the operation flow diagram shown in FIG. Step S63), whether or not the distance S is less than or equal to the threshold is determined (Step S64), and if the distance S is greater than the threshold, one image is changed to another image (Step S51) It is different. Further, it differs from the image determination apparatus 100 shown in FIG. 2 in that the second captured image is determined after determining whether the distance S is equal to or less than the threshold (step S64).
  • the second captured image selection unit 110 determines whether or not the distance S is equal to or less than the threshold (step S64), and then determines the second captured image in FIG. It is different from the image determination apparatus 100 shown. That is, in the modified example 6 of the image determination device 100, the second captured image selection unit 110 acquires information on the measurement target position E from the measurement target position calculation unit 125, determines that the distance S is equal to or less than the threshold, It is determined that one selected photographed image is the second photographed image.
  • the second captured image selection unit 110 calculates the distance S between the measurement target position E and the straight line B (step S63). ). Then, the second captured image selection unit 110 determines whether or not the distance S is equal to or less than a threshold value (step S64). When it is determined that the distance S is less than or equal to the threshold, the second image selection unit determines that the selected one captured image is the second captured image. Then, the shooting range calculation unit 130 acquires a shooting range corresponding to the second shot image. On the other hand, when the second captured image portion determines that the distance S is equal to or smaller than the threshold, one captured image is changed to another captured image (step S51).
  • the distance S is added to the reference for determining the image pair, and an image pair that can perform more accurate three-dimensional measurement is selected. Further, since the second photographed image selection unit 110 selects the second photographed image in consideration of the distance S, extra calculation after the second photographed image is selected is reduced.
  • the image determination apparatus 100 may include a storage unit that stores a plurality of image pairs determined by the determination unit 135. Further, in the plurality of image pairs stored in the storage unit, the pair having the highest resolution ⁇ Z is determined as the optimum resolution pair from the group of pairs having the same first photographed image or second photographed image among the image pairs. A resolution optimal pair determination unit may be provided.
  • an image pair is selected in the same manner as the operation flow of the image determination apparatus 100 described in FIG. 7, and then the image pair is stored in the storage unit (image pair storage unit) (step S101).
  • An image pair having the highest resolution ⁇ Z is selected from the group of pairs having the same first captured image (step S105).
  • a storage unit for storing image pairs is provided in the image determination apparatus 100.
  • the present invention is not limited to this, and the storage unit may be provided outside the image determination apparatus 100.
  • the storage unit preferably stores the image pair determined by the determination unit 135 as one file. For example, it is preferable to record as a multi-picture format, but the present invention is not limited to this.
  • information about the image pair such as the measurement target distance, the orientation of the imaging device that captured the first captured image and the second captured image, and the baseline length.
  • the image pair storage unit, the image pair storage method, and the like are not limited to those in the modification 7 of the image determination apparatus 100, and the same applies to other aspects of the image determination apparatus 100.
  • an image pair having the highest resolution ⁇ Z is selected by the resolution optimal pair determination unit as an image pair group in which the first captured image or the second captured image is the same. Selected.
  • [Modification 8 of Image Determination Device] in the image determination apparatus 100, in the storage unit that stores the plurality of image pairs determined by the determination unit 135 and the plurality of image pairs stored in the storage unit, the first captured image or the second captured image among the image pairs.
  • a distance S optimal pair determination unit that determines a pair having the shortest distance S as the distance S optimal pair from the same pair group may be further provided.
  • an image pair is selected by the operation flow of the image determination apparatus 100 described in FIGS. That is, the operation flow until the measurement target position E is acquired (step S30) is the same as that described in FIG. Subsequent determination as an image pair (step S45) is the same as the operation flow of the image determination apparatus 100 described in FIG.
  • the image pair is stored in the storage unit (image pair storage unit) (step S101), and the distance S optimum pair determination unit determines the distance S from the pair group having the same first captured image or second captured image.
  • the image pair with the shortest is selected (step S105).
  • the object of the present invention can also be achieved by a three-dimensional measurement apparatus including the above-described image determination apparatus.
  • a three-dimensional measurement apparatus including the above-described image determination apparatus.
  • the object of the present invention is to read and execute a program code (or CPU or MPU) of a system or apparatus from a storage medium storing a program code (program) that realizes the flow procedure shown in the above-described embodiment. Is also achieved.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiment. Therefore, the program code and a computer-readable storage medium storing / recording the program code also constitute one aspect of the present invention.
  • a storage medium for supplying the program code for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. be able to.
  • the functions of the above-described embodiments are realized by the computer executing the read program.
  • the execution of the program includes a case where an OS or the like running on the computer performs part or all of the actual processing based on an instruction of the program.
  • the functions of the above-described embodiments can also be realized by a function expansion board inserted into a computer or a function expansion unit connected to a computer.
  • the program read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer.
  • the CPU provided in the function expansion board or function expansion unit performs part or all of the actual processing.
  • the functions of the above-described embodiment are also realized by processing by such a function expansion board or function expansion unit.
  • each step of the flow of the above-described embodiment is not limited to that realized using software (computer), and may be realized using hardware (electronic circuit).
  • Imaging device As an embodiment of an imaging apparatus including the image determination apparatus 100 of the present invention or an imaging apparatus that captures a plurality of captured images supplied to the image determination apparatus 100 of the present invention, a digital camera has been described in FIG. The configuration of the apparatus is not limited to this.
  • a digital camera As another imaging device of the present invention, for example, a built-in type or an external type PC camera or a portable terminal device having a shooting function as described below can be used.
  • Examples of the portable terminal device that is an embodiment of the photographing apparatus of the present invention include a mobile phone, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
  • a smart phone multifunction mobile phone
  • FIG. 17 shows an appearance of a smartphone 301 which is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 301 illustrated in FIG. 17 includes a flat housing 302, and a display input in which a display panel 321 serving as a display unit and an operation panel 322 serving as an input unit are integrated on one surface of the housing 302.
  • the unit 320 is provided.
  • the housing 302 includes a speaker 331, a microphone 332, an operation unit 340, and a camera unit 341. Note that the configuration of the housing 302 is not limited to this, and, for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 18 is a block diagram showing a configuration of the smartphone 301 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 310, a display input unit 320, a call unit 330, an operation unit 340, a camera unit 341, a storage unit 350, and an external input / output unit. 360, a GPS (Global Positioning System) receiving unit 370, an electronic compass 371, a gyro sensor 372, a motion sensor unit 380, a power source unit 390, and a main control unit 400.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 301.
  • the wireless communication unit 310 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 400. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input unit 320 controls the main control unit 400 to display images (still images and moving images), character information, etc., visually transmit information to the user, and detect user operations on the displayed information.
  • a so-called touch panel which includes a display panel 321 and an operation panel 322.
  • the display panel 321 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 322 is a device that is placed so that an image displayed on the display surface of the display panel 321 is visible and detects one or more coordinates operated by a user's finger or stylus. When such a device is operated with a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 400. Next, the main control unit 400 detects an operation position (coordinates) on the display panel 321 based on the received detection signal.
  • the display panel 321 and the operation panel 322 of the smartphone 301 illustrated as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 320, but the operation panel
  • the arrangement is such that 322 completely covers the display panel 321.
  • the operation panel 322 may have a function of detecting a user operation even in an area outside the display panel 321.
  • the operation panel 322 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 321 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 321. May be included).
  • the operation panel 322 may include two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 302 and the like. Furthermore, examples of the position detection method employed in the operation panel 322 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 330 includes a speaker 331 and a microphone 332, converts user's voice input through the microphone 332 into voice data that can be processed by the main control unit 400, and outputs the voice data to the main control unit 400, or a wireless communication unit. 310 or the audio data received by the external input / output unit 360 is decoded and output from the speaker 331.
  • the speaker 331 can be mounted on the same surface as the display input unit 320 and the microphone 332 can be mounted on the side surface of the housing 302.
  • the operation unit 340 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 340 is mounted on the side surface of the housing 302 of the smartphone 301 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 350 includes a control program and control data of the main control unit 400, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 350 includes an internal storage unit 351 built in the smartphone and an external storage unit 352 having a removable external memory slot.
  • Each of the internal storage unit 351 and the external storage unit 352 constituting the storage unit 350 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a flash memory type hard memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 360 serves as an interface with all external devices connected to the smartphone 301, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • an external device connected to the smartphone 301 for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, or a SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly yes / no
  • the external input / output unit 360 transmits data received from such an external device to each internal component of the smartphone 301, or allows the internal data of the smartphone 301 to be transmitted to the external device. Can do.
  • the GPS receiving unit 370 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 400, executes positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 301. Detect the position consisting of longitude and altitude.
  • the GPS reception unit 370 can acquire position information from the wireless communication unit 310 or the external input / output unit 360 (for example, a wireless LAN), the GPS reception unit 370 can also detect the position using the position information.
  • the motion sensor unit 380 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 301 in accordance with an instruction from the main control unit 400. By detecting the physical movement of the smartphone 301, the moving direction and acceleration of the smartphone 301 are detected. The detection result is output to the main control unit 400.
  • the power supply unit 390 supplies power stored in a battery (not shown) to each unit of the smartphone 301 in accordance with an instruction from the main control unit 400.
  • the main control unit 400 includes a microprocessor, operates according to a control program and control data stored in the storage unit 350, and controls each unit of the smartphone 301 in an integrated manner.
  • the main control unit 400 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 310.
  • the application processing function is realized by the main control unit 400 operating according to application software stored in the storage unit 350.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 360 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 400 also has an image processing function such as displaying video on the display input unit 320 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function is a function in which the main control unit 400 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 320.
  • the main control unit 400 executes display control for the display panel 321 and operation detection control for detecting a user operation through the operation unit 340 and the operation panel 322.
  • the main control unit 400 By executing the display control, the main control unit 400 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 321.
  • the main control unit 400 detects a user operation through the operation unit 340 or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 322. Or a display image scroll request through a scroll bar.
  • the main control unit 400 causes the operation position with respect to the operation panel 322 to overlap with the display panel 321 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 321.
  • a touch panel control function for controlling the sensitive area of the operation panel 322 and the display position of the software key.
  • the main control unit 400 can also detect a gesture operation on the operation panel 322 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 341 is a digital camera that performs electronic photography using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 341 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic Coding Experts Group) under the control of the main control unit 400, and records the data in the storage unit 350 or externally.
  • the data can be output through the input / output unit 360 and the wireless communication unit 310.
  • an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • JPEG Joint Photographic Coding Experts Group
  • the camera unit 341 is mounted on the same surface as the display input unit 320, but the mounting position of the camera unit 341 is not limited to this and may be mounted on the back surface of the display input unit 320. Alternatively, a plurality of camera units 341 may be mounted. In the case where a plurality of camera units 341 are installed, the camera unit 341 used for shooting can be switched for shooting alone, or a plurality of camera units 341 can be used for shooting simultaneously.
  • the camera unit 341 can be used for various functions of the smartphone 301.
  • an image acquired by the camera unit 341 can be displayed on the display panel 321, or the image of the camera unit 341 can be used as one of operation inputs of the operation panel 322.
  • the GPS receiving unit 370 detects a position
  • the position can also be detected with reference to an image from the camera unit 341.
  • the optical axis direction of the camera unit 341 of the smartphone 301 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 341 can be used in the application software.
  • the position information acquired by the GPS receiving unit 370 on the image data of the still image or the moving image, the voice information acquired by the microphone 332 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 380 can be added and recorded in the storage unit 350 or output through the external input / output unit 360 or the wireless communication unit 310.
  • DESCRIPTION OF SYMBOLS 1 ... Measuring object, 100 ... Image determination apparatus, 101 ... 1st picked-up image selection part, 105 ... 1st picked-up image information acquisition part, 110 ... 2nd picked-up image selection part, 115 ... 2nd picked-up image information acquisition part, DESCRIPTION OF SYMBOLS 120 ... Measurement object distance acquisition part, 125 ... Measurement object position calculation part, 130 ... Shooting range calculation part, 135 ... Determination part, 212 ... CPU, 214 ... Operation part, 216 ... Device control part, 218 ... Lens part, 220 ... Shutter 222 ... Image sensor 224 ... A / D converter 225 ... Display unit 226 ... Memory unit 228 ... Image processing unit 230 ... Encoder 232 ... Driver 242 ... GPS 244 ... Gyro sensor 246 ... Electronic compass, 301 ... Smartphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

 本発明は、複数の撮影画像から、3次元計測に使用する画像ペアを的確に迅速に判定することができる画像判定装置を提供する。本発明に係る画像判定装置100は、第1撮影画像選択手段101と、第1撮影画像情報取得手段105と、測定対象距離取得手段120と、測定対象位置算出手段125と、第2撮影画像選択手段110と、第2撮影画像情報取得手段115と、撮影範囲算出手段130と、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第1撮影画像と第2撮影画像を画像ペアと判定する判定手段135と、を備える。

Description

画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム
 本発明は、3次元計測に関する技術であり、特に複数の撮影画像から3次元計測に使用する画像ペアを判定する技術に関する。
 測定対象物に対して相対的に撮影位置を移動させて、複数の撮影画像を撮像装置により取得し、複数の撮影画像より画像ペアを作り、3次元測定を行う方法がある(移動ステレオ法)。移動ステレオ法において、測定対象物が大きい場合は、一つの画像ペアだけでは、3次元測定を行うことが難しい場合がある。このように、大きい測定対象物を3次元計測する方法としては、複数の画像ペアを作成し、各々の画像ペアから作成される3次元データを合成して、一つの大きな3次元データを作成することにより、3次元計測を行う方法がある。
 複数の撮影画像から複数の画像ペアを作成する場合、人間が画像ペアの把握をし、人間が把握した画像ペアの情報をソフトウェアで処理を行っていては、作業が煩雑であり、画像ペアの選択を誤る可能性が高くなる。
 特許文献1には、複数のフレームからなる撮影画像について、撮影画像内の撮影対象物(本願の測定対象物と対応するものと考えられる)の特徴点を追跡し、特徴点の縦視差に基づいてステレオペア(本願の画像ペアと対応するものと考えられる)の正誤を判断する技術が記載されている。
 又、特許文献2には、複数のフレームからなる撮影画像について、撮影画像内の撮影対象物の特徴点を追跡し、特徴点に対応する対応点の正誤判断をし、ステレオペアを選択する技術が記載されている。
 又、特許文献3には、2画像間の光軸方位や水平方向の姿勢状態が相対的にずれないように、方位センサ、加速度センサから得た方位情報やカメラの姿勢情報を液晶パネルに表示してユーザの撮影を補助しつつ、CPUなどを介して撮像制御して、一対の画像を取得する技術が記載されている。
 又、特許文献4には、被計測物を撮影するための撮像手段と、撮像手段によって被計測物が撮影された画像上の特徴点を指定するための第1の特徴点指定手段と、特徴点指定手段によって指定された被計測物上の特徴点までの距離を測距するための測距手段と、第1の撮影位置において被計測物が撮影された画像上の特徴点に対応する被計測物上の点を、撮像手段によって第2の撮影位置においてこの被計測物が撮影された画像上の特徴点として指定するための第2の特徴点指定手段と、第1の撮影位置及び第2の撮影位置において被計測物が撮影された画像上の各特徴点と測距手段によって各撮影位置において測距された各特徴点までの距離とから、第1の撮影位置と第2の撮影位置との相対的な位置と角度を求める演算手段と、を備えている3次元計測装置に関する技術が開示されている。
特開2009-014629号公報 特開2009-014628号公報 特開2012-124554号公報 特開2001-317915号公報
 しかしながら、特許文献1及び2に記載されている技術では、複数の撮影画像内の撮影対象物の特徴点に基づいてステレオペアを選択する為、撮影対象物の特徴点の判断を誤ると、ステレオペアを誤判断するという問題がある。例えば、測定対象物が建築物の場合、窓等の同じ形状が連続すると、特徴点に対応する対応点の判断を誤る場合がある。
 又、特許文献3及び4に記載されている技術では、複数の撮影画像内から一対の画像を選択することに関しては記載されてない。
 本発明はこのような事情に鑑みてなされたもので、複数の撮影画像から、3次元計測に使用する画像ペアを的確に迅速に判定することができる画像判定装置、撮像装置、3次元計測装置、画像ペア判定方法、及びプログラムを提供することを目的とする。
 上記目的を達成するために、本発明の一の態様に係る画像判定装置は、複数の撮影画像から3次元計測に使用する画像ペアを判定する画像判定装置であって、複数の撮影画像から第1撮影画像を選択する第1撮影画像選択手段と、選択した第1撮影画像の撮影位置及び撮影方向を取得する第1撮影画像情報取得手段と、第1撮影画像の撮影位置である第1撮影位置から第1撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得手段と、第1撮影画像の撮影における光軸上の位置であって、第1撮影位置から測定対象距離だけ離れた3次元空間上の測定対象位置を算出する測定対象位置算出手段と、複数の撮影画像から第2撮影画像を選択する第2撮影画像選択手段と、選択した第2撮影画像の撮影位置である第2撮影位置、撮影方向及び画角を取得する第2撮影画像情報取得手段と、取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、第2撮影画像に対応する撮影範囲を算出する撮影範囲算出手段と、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第1撮影画像と第2撮影画像を画像ペアと判定する判定手段と、を備える。
 これにより、複数の撮影画像から、3次元計測に使用する画像ペアを的確に及び迅速に判定することが可能である。
 画像判定装置において、好ましくは、判定手段は、さらに、第1撮影位置での撮像装置と第2撮影位置での撮像装置との基線長Lを含む、下記[数1]で表される分解能ΔZの値が閾値以下の場合は、第1撮影画像と第2撮影画像とを画像ペアと判定する。
Figure JPOXMLDOC01-appb-M000003
ΔZ   :分解能
Z     :測定対象距離
f     :焦点距離
p     :撮影画像を取得した撮像装置における撮像素子の画素ピッチ
L     :第1撮影位置での撮像装置と第2撮影位置での撮像装置との基線長
 これにより、より3次元計測に適した分解能が高い画像ペアの判定を行うことができ、3次元計測の精度が増す。
 画像判定装置において、好ましくは、判定手段は、さらに、第1撮影位置での撮像装置の光軸と、第1撮影位置の撮像装置と第2撮影位置での撮像装置とを結ぶ直線Cとが成す角度αと、第2撮影位置での撮像装置の光軸と直線Cとが成す角度βの各々が、45°以上135°以内の場合は、第1撮影画像と第2撮影画像とを画像ペアと判定する。
 これにより、第1撮影画像を撮影した撮像装置と第2撮影画像を撮影した撮像装置の配置が3次元計測を行う上で適切であり、より3次元計測に適した画像ペアを選択することができる。
 画像判定装置において、好ましくは、判定手段は、さらに、測定対象位置と第2撮影画像の撮影位置における撮像装置の光軸との距離Sが閾値以下の場合は、第1撮影画像と第2撮影画像とを画像ペアと判定する。
 これにより、より第1撮影画像と第2撮影画像の重なりが大きい画像ペアを選択することが可能となり、より3次元計測に適した画像ペアを選択することができる。
 画像判定装置において、好ましくは、第2撮影画像選択手段は、第1撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長Lxを含む、下記[数2]で表せる分解能ΔZの値が閾値以下である撮影画像を第2撮影画像として選択する。
Figure JPOXMLDOC01-appb-M000004
ΔZ   :分解能
Z     :測定対象距離
f     :焦点距離
p     :撮影画像を取得した撮像装置における撮像素子の画素ピッチ
Lx   :第1撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長
 これにより、より3次元計測に適した分解能が高い画像ペアの判定を行うことができ、3次元計測の精度が増す。又、第2撮影画像選択部110が分解能ΔZの値が閾値以下の撮影画像を選択する為、第2撮影画像が選択された後の余分な計算が軽減される。
 画像判定装置において、好ましくは、第2撮影画像選択手段は、さらに、第1撮影位置での撮像装置の光軸と、第1撮影位置の撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置とを結ぶ直線とが成す角度αと、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸と直線が成す角度βの各々が45°以上135°以内である撮影画像を第2撮影画像として選択する。
 これにより、第1撮影画像を撮影した撮像装置と第2撮影画像を撮影した撮像装置の配置が3次元計測を行う上で適切であり、より3次元計測に適した画像ペアを選択することができる。又、第2撮影画像選択部110が角度α及び角度βの値を考慮して撮影画像を選択する為、第2撮影画像が選択された後の余分な計算が軽減される。
 画像判定装置において、好ましくは、第2撮影画像選択手段は、さらに、測定対象位置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸との距離Sが閾値以下となる撮影画像を第2撮影画像として選択する。
 これにより、より第1撮影画像と第2撮影画像の重なりが大きい画像ペアを選択することが可能となり、より3次元計測に適した画像ペアを選択することができる。又、第2撮影画像選択部110が角度α及び角度βの値を考慮して撮影画像を選択する為、第2撮影画像が選択された後の余分な計算が軽減される。
 画像判定装置において、好ましくは、第1撮影画像選択手段は、複数の撮影画像のうちの任意の撮影画像を第1撮影画像として選択し、第2撮影画像選択手段は、複数の撮影画像から第1撮影画像以外の撮影画像のうちの任意の撮影画像を第2撮影画像として選択する。
 これにより、複数の撮影画像において漏れなく画像ペアの判定を行うことができ、より多くの画像ペアを生成することが可能となり、より精度の高い3次元計測を行うことができる。
 画像判定装置において、好ましくは、判定手段により判定された複数の画像ペアを記憶する記憶手段と、記憶手段に記憶された複数の画像ペアにおいて、画像ペアのうち第1撮影画像又は第2撮影画像が同一であるペア群の中から、最も分解能ΔZが高いペアを分解能最適ペアと判定する分解能最適ペア判定手段と、をさらに備える。
 これにより、最も分解能ΔZが高い画像ペアを選択することができ、より精度の高い3次元計測を行うことができる。
 画像判定装置において、好ましくは、判定手段により判定された複数の画像ペアを記憶する記憶手段と、記憶手段に記憶された複数の画像ペアにおいて、画像ペアのうち第1撮影画像又は第2撮影画像が同一であるペア群の中から、最も距離Sが短いペアを距離S最適ペアと判定する距離S最適ペア判定手段と、をさらに備える。
 これにより、最も距離Sが短いペアを選択することができ、より精度の高い3次元計測を行うことができる。
 画像判定装置において、好ましくは、記憶手段は、判定手段により判定された画像ペアを1つのファイルとして記憶する。
 画像判定装置において、好ましくは、撮影範囲算出手段は、取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、第2撮影画像に対応する四角錐状の撮影範囲を算出する。
 上記目的を達成するために、本発明の他の態様に係る撮像装置は、上述した画像判定装置を有する。
 上記目的を達成するために、本発明の他の態様に係る3次元計測装置は、上述した画像判定装置により判定された画像ペアを使用する。
 上記目的を達成するために、本発明の他の態様に係る画像判定装置は、複数の撮影画像から3次元計測に使用する画像ペアを判定する画像判定方法であって、複数の撮影画像から第1撮影画像を選択する第1撮影画像選択ステップと、選択した第1撮影画像の撮影位置及び撮影方向を取得する第1撮影画像情報取得ステップと、第1撮影画像の撮影位置である第1撮影位置から第1撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、第1撮影画像の撮影における光軸上の位置であって、第1撮影位置から測定対象距離だけ離れた3次元空間上の測定対象位置を算出する測定対象位置算出ステップと、複数の撮影画像から第2撮影画像を選択する第2撮影画像選択ステップと、選択した第2撮影画像の撮影位置である第2撮影位置、撮影方向及び画角を取得する第2撮影画像情報取得ステップと、取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、第2撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第1撮影画像と第2撮影画像とは画像ペアと判定する判定ステップと、を含む。
 上記目的を達成するために、本発明の他の態様に係るプログラムは、複数の撮影画像から3次元計測に使用する画像ペアを判定するプログラムであって、複数の撮影画像から第1撮影画像を選択する第1撮影画像選択ステップと、選択した第1撮影画像の撮影位置及び撮影方向を取得する第1撮影画像情報取得ステップと、第1撮影画像の撮影位置である第1撮影位置から第1撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、第1撮影画像の撮影における光軸上の位置であって、第1撮影位置から測定対象距離だけ離れた3次元空間上の測定対象位置を算出する測定対象位置算出ステップと、複数の撮影画像から第2撮影画像を選択する第2撮影画像選択ステップと、選択した第2撮影画像の撮影位置である第2撮影位置、撮影方向及び画角を取得する第2撮影画像情報取得ステップと、取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、第2撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第1撮影画像と第2撮影画像とは画像ペアと判定する判定ステップと、をコンピュータに実行させる。
 本発明によれば、複数の撮影画像から選択した第1撮影画像内の3次元空間上の測定対象位置が、複数の撮影画像から選択した第2撮影画像の撮影範囲に入っているか否かにより、第1撮影画像と第2撮影画像とが3次元計測に使用する画像ペアか否か判定するため、3次元計測に使用する画像ペアを的確に及び迅速に判定することができる。
図1はステレオ法による3次元計測を説明する図である。 図2は画像判定装置の機能ブロック図である。 図3は測定対象位置Eを説明する概念図である。 図4は第2撮影画像に対応する撮影範囲を説明する図である。 図5は画像判定装置の動作フローを説明する図である。 図6は複数の撮影画像を撮影する撮像装置の機能ブロック図である。 図7は画像判定装置の変形例1に関する動作フローを説明する図である。 図8は画像判定装置の変形例2に関する動作フローを説明する図である。 図9は角度α及び角度βに関して説明する図である。 図10は画像判定装置の変形例3に関する動作フローを説明する図である。 図11は画像判定装置の変形例4に関する動作フローを説明する図である。 図12は距離Sに関して説明する図である。 図13は画像判定装置の変形例5に関する動作フローを説明する図である。 図14は画像判定装置の変形例6に関する動作フローを説明する図である。 図15は画像判定装置の変形例7に関する動作フローを説明する図である。 図16は画像判定装置の変形例8に関する動作フローを説明する図である。 図17は複数の撮影画像を撮影する撮像装置の他の態様を示す図である。 図18は図17に示す撮像装置の構成を示すブロック図である。
 以下、本発明の例を、図面を用いて説明する。尚、本願では「手段」という言葉と「部」という言葉は、同じ意味として使用している。
 図1は、3次元計測における、移動ステレオ法を説明する図である。図1には、測定対象物1、位置1における撮像装置5、位置2における撮像装置7、位置3における撮像装置9、位置4における撮像装置11、位置5における撮像装置13、位置6における撮像装置15、位置7における撮像装置17、位置8における撮像装置19、位置9における撮像装置21、位置10における撮像装置23、位置11における撮像装置25、位置12における撮像装置27が示されている。
 移動ステレオ法による3次元計測では、先ず、図1に示されるように単数又は複数の撮像装置により、測定対象物1に対して相対的に移動して複数の撮影画像が取得される。そして、図1に示されるペア1~6のような位置関係にある撮像装置(例えば撮像装置5と7)で撮影された複数の撮影画像から、画像ペア(ステレオ画像ペア)を選択し、その画像ペアを基に3Dデータを作成し、測定対象物1の3次元計測が行われる。測定対象物1が大きい場合には、1対の画像ペアだけでは足りず、図1のように複数の画像ペアを取得して、各々の画像ペアから3次元(3D)データを合成して1つの大きな3次元データを作成し、測定対象物1の3次元計測を行う。
 尚、測定対象物1に対する撮像装置の相対的な移動は、図1のように測定対象物1の回りを撮像装置が周状に移動する場合もあるし、測定対象物1に対して、直線的に移動する場合もある。又、単数の撮像装置により、複数の撮影画像を取得する場合もあるし、複数の撮像装置により、複数の撮影画像を取得する場合もある。
 [判定装置の実施形態]
 図2は本発明に係る画像判定装置100のブロック図である。画像判定装置100は、第1撮影画像選択部101、第1撮影画像情報取得部105、測定対象距離取得部120、測定対象位置算出部125、第2撮影画像選択部110、第2撮影画像情報取得部115、撮影範囲算出部130、及び判定部135を有している。尚、第1撮影画像情報取得部105と第1撮影画像情報取得手段とは同じ意味であり、第2撮影画像情報取得部115と第2撮影画像情報取得手段とは同じ意味である。
 図2に示された第1撮影画像選択部101は、撮影画像記憶部140に記憶された複数の撮影画像から1枚の撮影画像を選択し、その撮影画像を第1撮影画像とする。複数の撮影画像から第1撮影画像を選択する方法は、特に定められることはない。例えば、無作為に、複数の撮影画像から第1撮影画像を選択してもよいし、撮影された日時によって順番を決めて、複数の撮影画像から第1撮影画像を選択してもよい。尚、図2においては、撮影画像記憶部140は画像判定装置100外に設置されていが、これに限定されることはない。例えば、画像判定装置100が撮影画像記憶部140を有していてもよい。
 図2に示された第2撮影画像選択部110は、撮影画像記憶部140に記憶された複数の撮影画像から1枚の撮影画像を選択し、その撮影画像を第2撮影画像とする。第1撮影画像選択部101と同様に、複数の撮影画像から第2撮影画像を選択する方法は、特に限定されることはない。又、第1撮影画像選択部101と同様に様々な選択方法を採用することができる。尚、第1撮影画像として選択された撮影画像を、同時に第2撮影画像として選択することはできない。しかし、一度、第1撮影画像又は第2撮影画像に選択された画像であっても、改めて第2撮影画像として選択することができる。すなわち、第1撮影画像選択部101は、複数の撮影画像のうちの任意の撮影画像を第1撮影画像として選択し、第2撮影画像選択部110は、複数の撮影画像から第1撮影画像以外の撮影画像のうちの任意の撮影画像を第2撮影画像として選択することができる。
 図2に示された第1撮影画像情報取得部105は、第1撮影画像の撮影位置及び撮影方向に関する情報を取得する。ここで、第1撮影画像の撮影位置とは、第1撮影画像が撮影における、第1撮影画像を撮影した撮像装置の位置のことをいう。第1撮影画像の3次元空間上の撮影位置は、主にGPS(Global Positioning System)により測位される緯度、経度、高度に基づいて取得することができる。又、第1撮影画像の撮影方向とは、第1撮影画像を撮影した際の撮像装置の向いている方向を指し、主に光軸の向きを意味する。第1撮影画像の撮影方向(撮像装置の光軸)の向きは、電子コンパス及びジャイロセンサで特定することがきる。電子コンパスは、3次元空間でのXY平面の方向(パン方向)を特定することでき、ジャイロセンサは、Z軸方向の傾き(チルト方向)を特定することができる。尚、電子コンパス及びジャイロセンサと同様の機能を有するものであれば、他の測定機器を使用することができる。
 図2に示された第1撮影画像情報取得部105は、様々な態様により、第1撮影画像の撮影位置及び撮影方向に関する情報を取得することができる。一つの例として、第1撮影画像に第1撮影画像の撮影位置及び撮影方向に関する情報が添付されており、第1撮影画像情報取得部105は、第1撮影画像に添付されている第1撮影画像の撮影位置及び撮影方向に関する情報を取得する態様が挙げられる。又、他の例として、第1撮影画像情報取得部105は、第1撮影画像と紐付けされている第1撮影画像の撮影位置及び撮影方向に関する情報を、第1撮影画像とは別に取得してもよく、例えば画像判定装置の外部から、第1撮影画像の撮影位置及び撮影方向に関する情報を取得してもよい。
 図2に示された第2撮影画像情報取得部115は、第1撮影画像情報取得部105と同様の態様で、第2撮影画像の撮影位置である第2撮影位置及び第2撮影画像の撮像装置の撮影方向に関する情報を取得する。さらに、第2撮影画像情報取得部115は、第2撮影画像を撮影した際の画角の情報を取得する。
 図2に示された第2撮影画像情報取得部115は、様々な態様により、第2撮影画像を撮影した際の第2撮影位置、撮影方向、及び画角の情報を取得する。一つの例として、第2撮影画像に第2撮影画像を撮影した際の第2撮影位置、撮影方向、及びの画角の情報が添付されており、第2撮影画像情報取得部115は、第2撮影画像に添付されている第2撮影画像を撮影した際の第2撮影位置、撮影方向、及び画角の情報を取得する態様が挙げられる。又、他の例として、第2撮影画像情報取得部115は、第2撮影画像と紐付けされている第2撮影画像を撮影した際の第2撮影位置、撮影方向、及び画角の情報を、第2撮影画像とは別に取得してもよく、例えば画像判定装置の外部から、第2撮影画像を撮影した際の画角の情報を取得してもよい。尚、図2の説明では、第1撮影画像選択部101、第2撮影画像選択部110、第1撮影画像情報取得部105、第2撮影画像情報取得部115に関して別々に説明を行ったが、1つの処理回路により順次各部での処理を行うようにしてもよい。
 図2に示された測定対象距離取得部120は、第1撮影画像の撮影位置から第1撮影画像内の測定対象物1までの測定対象距離を取得する。ここでいう、測定対象距離とは、第1撮影画像の撮影位置である第1撮影位置から撮影位置測定対象の概算的な距離をいう。測定対象距離は、様々の方法により求めることができる。例えば、レーザー照射によるレンジファインダー等により、測定対象距離を求めることもできるし、マニュアルフォーカス(MF)やオートフォーカス(AF)により測定対象距離を求めることができる。又、予め第1撮影位置から測定対象物1との距離が既知の場合は、その値を測定対象距離として使用することが可能である。
 図2に示された測定対象位置算出部125は、第1撮影画像の撮影における光軸上の位置であって、第1撮影画像の撮影位置である第1撮影位置から取得した測定対象距離だけ離れた3次元空間上の測定対象位置Eを算出する。図3において、測定対象位置Eを算出の仕方に関して詳しく説明する。
 図3では、第1撮影画像を撮影する第1撮影位置における撮像装置31が示されている。又、第2撮影画像を撮影する第2撮影位置における撮像装置33が示されている。撮像装置31の撮影における光軸が直線Aで、及び撮像装置33の撮影における光軸が直線Bで示されている。撮像装置31と撮像装置33とを結ぶ直線が直線Cで表されている。又、第2撮影画像を撮影する第2撮影位置における撮像装置33の撮影画角(撮影範囲)が、点線で示されている。そして、測定対象位置算出部125は、撮像装置31の撮影における光軸である直線A上であって、測定対象距離分だけ第1撮影位置から離れた位置E(符号35)を測定対象位置Eとして算出する。測定対象位置E(符号35)は、3次元空間上の位置として特定され、XYZの座標として特定されてもよい。
 図2に示された撮影範囲算出部130は、第2撮影画像情報取得部115により取得した第2撮影画像の撮影位置、撮影方向、画角(焦点距離と撮像素子の大きさによって算出される)に基づいて、第2撮影画像に対応する撮影範囲を算出する。図4において、詳しく撮影範囲算出部130の第2撮影画像に対応する撮影範囲の算出の仕方を説明する。
 図4では、第2撮影画像を撮影した撮像装置33と、第2撮影画像39と、第2撮影画像39に対応する四角錐状の撮影範囲37とが示されている。撮影範囲37は、知られている様々な計算方法により求めることができる。例えば、第2撮影画像39を撮影における第2撮影位置における撮像装置33の光軸(図3中の直線B)、第2撮影画像39を撮影における画角から求めることができる。尚、算出される撮影範囲37は、四角錐状に限定されることはなく様々な形状であってもよい。
 図2に示された判定部135は、算出した撮影範囲37内に算出した測定対象位置Eが入っているか否かを判別し、判別した結果に基づいて、第1撮影画像と第2撮影画像が画像ペアであるか否かを判定する。具体的には、先ず、図3で説明を行った測定対象位置Eが、図4で説明を行った第2撮影画像39に対応する撮影範囲37内に入っているか(存在するか)を判別する。そして、測定対象位置Eが第2撮影画像39に対応する撮影範囲37内に入っている場合には、第1撮影画像と第2撮影画像とは、3次元計測に使用する画像ペアであると判定する。一方、測定対象位置Eが第2撮影画像39に対応する撮影範囲37内に入っていない場合には、第1撮影画像と第2撮影画像とは、3次元計測に使用する画像ペアでないと判定する。図3にて説明を行ったように、測定対象位置Eは、3次元空間の位置(例えば、XYZの空間座標)で特定される。又、図4で説明を行ったように第2撮影画像39に対応する撮影範囲37の空間領域を求めることができる。したがって、判定部135は、測定対象位置Eが第2撮影画像39に対応する撮影範囲37に入っているか否かを判別することができる。
 図5には、画像判定装置100の動作フロー図である。画像判定装置100の動作を図5に沿って説明する。先ず、第1撮影画像選択部101により、撮影画像記憶部140に記憶されている複数の撮影画像から第1撮影画像が選択され(第1撮影画像選択ステップ)、第2撮影画像選択部110により、撮影画像記憶部140に記憶されている複数の撮影画像から第2撮影画像が選択される(第2撮影画像選択ステップ)(ステップS10)。
 そして、第1撮影画像情報取得部105により、第1撮影画像の第1撮影位置及び撮影方向が取得され(第1撮影画像情報取得ステップ)、第2撮影画像情報取得部115により、第2撮影画像の第2撮影位置、撮影方向、及び画角が取得される(第2撮影画像情報取得ステップ)(ステップS15)。さらに、測定対象距離取得部120により、第1撮影位置と測定対象物1との距離である測定対象距離が取得される(測定対象距離取得ステップ)(ステップS25)。
 次に、第1撮影画像の撮影における光軸上の位置であって、第1撮影位置から測定対象距離だけ離れた3次元空間上の測定対象位置Eが取得(算出)される(測定対象位置算出ステップ)(ステップS30)。そして、撮影範囲算出部130により、第2撮影画像の撮影位置、撮影方向、画角に基づいて、撮影範囲が取得(算出)される(撮影範囲算出ステップ)(ステップS35)。
 次に、判定部135により、算出された撮影範囲内に算出された測定対象位置Eが入っているか否かを判別する(判定ステップ)(ステップS40)。判定部135により、撮影範囲に測定対象位置Eが入っていると判別された場合は、第1撮影画像と第2撮影画像とは画像ペアであると判定され(ステップS45)、画像判定装置100の一つの動作フローは終了となる。一方、撮影範囲に測定対象位置Eが入っていないと判断された場合には、第1撮影画像又は第2撮影画像を別の撮影画像に変更されるように、第1撮影画像選択部101又は第2撮影画像選択部110が制御される(ステップS50)。
 本発明の画像判定装置の態様を採用することにより、測定対象位置Eが第2撮影画像に対応する撮影範囲に入っているかを検証する為、3次元計測に使用する画像ペアを的確に及び迅速に判定することが可能である。
 [撮影画像を取得する撮像装置]
 画像判定装置100における第1撮影画像選択部101及び第2撮影画像選択部110により、複数の撮影画像から、第1撮影画像及び第2撮影画像が選択される。複数の撮影画像は、様々な撮像装置によって取得することが可能である。本発明の画像判定装置100により、3次元計測を行うことが可能であれば、どのような撮像装置で取得された撮影画像であっても使用可能である。
 図6には、本発明の画像判定装置100に使用可能な撮影画像を取得することができる撮像装置の例を示す。
 図6に示された撮像装置210は、撮像した画像を内部メモリ(メモリ部226)、又は外部の記録メディア(図示せず)に記録するデジタルカメラであり、装置全体の動作は、中央処理装置(CPU)212によって統括制御される。
 撮像装置210には、シャッタボタン(シャッタースイッチ)、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、ズームボタン、BACKキー等を含む操作部214が設けられている。この操作部214からの信号はCPU212に入力され、CPU212は入力信号に基づいて撮像装置210の各回路を制御する。例えば、CPU212はデバイス制御部216を介してレンズ部218、シャッタ220、撮像素子222を制御するとともに、撮影動作(露光開始から露光完了まで)制御、画像処理制御、画像データの記録/再生制御、表示部225の表示制御などを行う。
 レンズ部218は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部218及びシャッタ220を通過した光束は、撮像素子222の受光面に結像される。
 撮像素子222は、CMOS(Complementary Metal-Oxide Semiconductor)型、XYアドレス型、又はCCD(Charge Coupled Device)型のカラーイメージセンサであり、多数の受光素子(フォトダイオード)が2次元配列されている。各受光素子の受光面に結像された被写体像は、その入射光量に応じた信号電圧(又は電荷)に変換される。
 撮像素子222に蓄積された信号電荷は、デバイス制御部216から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子222から読み出された電圧信号は、A/D変換器224に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのR、G、B信号に変換され、一旦、メモリ部226に保存される。
 メモリ部226は、揮発性メモリであるSDRAMや、書き換え可能な不揮発性メモリであるEEPROM等を含み、SDRAMは、CPU212によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、EEPROMには、本発明に係る画像処理プログラムを含むカメラ制御プログラム、撮像素子222の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。
 画像処理部228は、メモリ部226に一旦格納されたデジタルの画像信号に対して、本発明に係るキズ補正処理、ホワイトバランス補正、ガンマ補正処理、デモザイキング処理、YC処理等の所定の信号処理を行う。尚、撮像素子222の欠陥画素(キズ画素)に対するキズ補正処理の詳細については後述する。
 画像処理部228で処理された画像データは、エンコーダ230において画像表示用のデータにエンコーディングされ、ドライバ232を介してカメラ背面に設けられている表示部225に出力される。これにより、被写体像が連続的に表示部225の表示画面上に表示される。
 操作部214のシャッタボタンの第1段階の押下(半押し)があると、CPU212は、AF動作及びAE動作を開始させ、デバイス制御部216を介してレンズ部218のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
 CPU212は、シャッタボタンの半押し時にA/D変換器224から出力される画像データに基づいて被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値により露出条件(F値、シャッタ速度)を決定する。
 AE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、決定した露出条件により絞り、シャッタ220及び撮像素子222での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子222から読み出され、A/D変換器224によりA/D変換されたRGBのモザイク画像の画像データは、メモリ部226一時的に記憶される。
 メモリ部226に一時的に記憶された画像データは、画像処理部228により適宜読み出され、ここでキズ補正処理、ホワイトバランス補正、ガンマ補正処理、デモザイキング処理、YC処理等を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、所定の圧縮フォーマット(例えば、JPEG方式)に従って圧縮され、圧縮された画像データは、所定の画像ファイル(例えば、Exifファイル)形式で内部メモリや外部メモリに記録される。
 撮像装置210は、GPS242を有する。GPS242は、CPU212により制御され、撮像装置210の位置(撮影位置)を得ることができる。具体的には、撮像装置210が測定対象物1の撮影における撮影位置に関する情報をGPS242により得ることができる。又、撮影位置に関する情報を取得することができれば、撮像装置210がGPSを有することには限定されない。
 撮像装置210は、ジャイロセンサ244(ジャイロスコープ)を有する。ジャイロセンサ244は、CPU212により制御され、撮像装置210の撮影方向(チルト方向)を特定する。尚、撮像装置210の撮影方向(チルト方向)に関する情報を取得することができれば、撮像装置210がジャイロセンサを有することには限定されない。
 撮像装置210は、電子コンパス246を有する。電子コンパス246は、CPU212により制御され、撮像装置210の撮影方向(パン方向)の向きを特定する。尚、撮像装置210の撮影方向(パン方向)の向きを特定することができれば、撮像装置210が電子コンパス246を有することに限定はされない。
 図6では、本発明の画像判定装置100に使用可能な撮影画像を取得する撮像装置として説明をしてきが、撮像装置が本発明の画像判定装置100を有する実施形態もある。すなわち、他の実施形態として、画像判定装置100を有する撮像装置が挙げられる。又、画像判定装置100はコンピュータに備えられ、撮像装置で撮影された複数の撮影画像がコンピュータに取り込まれて、コンピュータ内にある画像判定装置100が画像判定の処理を行ってもよい。
 [画像判定装置の変形例1]
 画像判定装置100は、判定部135において、さらに、第1撮影位置での撮像装置と第2撮影位置での撮像装置との基線長Lを含む、下記[数1]で表される分解能ΔZの値が閾値以下の場合は、第1撮影画像と第2撮影画像とを画像ペアと判定してもよい。
Figure JPOXMLDOC01-appb-M000005
 ここで、ΔZとは分解能を表し、Zは測定対象距離取得部120に取得される第1撮影位置と測定対象物1との距離である。fは焦点距離である。pは、第1撮影画像を取得した撮像装置の撮像素子の画素ピッチである。Lは、第1撮影位置での撮像装置と第2撮影位置での撮像装置との基線長をあらわす。焦点距離fや撮像素子の画素ピッチpの取得方法は特に限定されない。すなわち、第1撮影画像に焦点距離fや撮像素子の画素ピッチpに関する情報が付されおり、判定部135はその情報を取得してもよいし、別途画像判定装置100に焦点距離fや画素ピッチpの値を入力してもよい。尚、本説明では第1撮影位置での撮像装置と第2撮影位置での撮像装置との間の距離を、基線長として設定するが、これに限定されるものではなく、第1撮影位置での撮像装置と第2撮影位置での撮像装置との間の距離を示す情報であれば様々な形態の情報を採用することができる。
 図7は、画像判定装置100の変形例1に関する動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図7に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図7に記載された動作フロー図では、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っている否かの判断(ステップS40)が行われた後に、分解能ΔZが取得される(ステップS42)及び分解能ΔZは閾値以下であるか否かの判断がおこなわれている(ステップS43)点で異なる。
 図7で示されたフロー図では、判定部135によって、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っているか否かが判断され(ステップS40)、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っていると判断された場合には、次に第1撮影画像と第2撮影画像との分解能ΔZが取得される(ステップS42)。そして、判定部135により、取得された分解能ΔZが閾値以下であるか否かの判定が行われる(ステップS43)。尚、閾値は撮影環境や、3次元計測に関する影響によって決定されればよく、特に限定されるものではない。測定対象距離に対して1%程度の分解能ΔZであれば3次元形状としてほぼ問題のないレベルで生成できることが確認されている。したがって、10m先にある対象物であれば、必要な分解能は0.1m程度となる。
 そして、判定部135により第1撮影画像と第2撮影画像との分解能が閾値以下と判断されると、判定部135は第1撮影画像と第2撮影画像を画像ペアとして判定する。
 画像判定装置100の変形例1の態様を採用することにより、画像ペアの判定する基準に分解能が追加され、より正確な3次元計測を行うことができる画像ペアが選択される。
 尚、分解能ΔZの取得(ステップS42)及び分解能ΔZが閾値よりも大きいか否かの判断(ステップS43)は、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っているか否かの判断(ステップS40)の前に行われてもよい。
 [画像判定装置の変形例2]
 画像判定装置100において、第2撮影画像選択部110は、第1撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長Lxを含む、下記[数2]で表せる分解能ΔZの値が閾値以下である撮影画像を第2撮影画像として選択してもよい。
Figure JPOXMLDOC01-appb-M000006
 ここで、ΔZとは分解能を表し、Zは測定対象距離取得部120に取得される第1撮影位置と測定対象物1との距離である。fは焦点距離である。pは、第1撮影画像を取得した撮像装置の撮像素子の画素ピッチである。Lxは、第1撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長をあらわす。焦点距離fや撮像素子の画素ピッチpの取得方法は特に限定されない。すなわち、第1撮影画像に焦点距離fや撮像素子の画素ピッチpに関する情報が付されおり、判定部135はその情報を取得してもよいし、別途、画像判定装置100に焦点距離fや画素ピッチpの値を入力してもよい。尚、本説明では第1撮影位置での撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との間の距離を、基線長として設定するが、これに限定されるものではなく、第1撮影位置での撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との間の距離を示す情報であれば様々な形態の情報を採用することができる。
 図8は、画像判定装置100の変形例2に関する動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図8に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図5に記載された動作フロー図では、分解能ΔZが取得される(ステップS42)、分解能ΔZは閾値以下であるかの判断がおこなわれている(ステップS43)、及び分解能ΔZが閾値以下でないと判断された場合に1つの撮影が別の撮影画像に変更される(ステップS51)点で異なる。又、画像判定装置100の変形例2では、第2撮影画像選択部110は、分解能ΔZが閾値以下であると判断した(ステップS28)後に、第2撮影画像を決定する点で、図2で示された画像判定装置100とは異なる。すなわち、画像判定装置100の変形例2では、第2撮影画像選択部110は、測定対象距離部から測定対象距離の情報を取得し、分解能ΔZを算出し、分解能ΔZが閾値以下であるかを判断して、選択した1つの撮影画像が第2撮影画像であると決定する。
 図8で示されるフロー図では、測定対象距離が取得された(ステップS26)後に、第2撮影画像選択部110により、分解能ΔZが取得される(ステップS27)。そして、第2撮影画像選択部110により、分解能ΔZが閾値以下であるか否かの判定が行われる(ステップS28)。分解能ΔZが閾値以下であると判断された場合は、第2画像選択部は、選択した1つの撮影画像を第2撮影画像と判断する。そして、測定対象位置取得部により、測定対象位置Eが取得される(ステップS30)。一方、第2撮影画像部により、分解能ΔZが閾値以下でないと判断された場合には、1つの撮影画像が別の撮影画像に変更される(ステップS51)。尚、閾値は撮影環境や、3次元計測に関する影響によって決定されればよく、特に限定されるものではない。測定対象距離に対して1%程度の分解能であれば3次元形状としてほぼ問題のないレベルで生成できることが確認されている。したがって、10m先にある対象物であれば、必要な分解能は0.1m程度となる。
 画像判定装置100の変形例2の態様を採用することにより、画像ペアの判定する基準に分解能が追加され、より正確な3次元計測を行うことができる画像ペアが選択される。又、第2撮影画像選択部110が分解能ΔZの値が閾値以下の撮影画像を選択する為、第2撮影画像が選択された後の余分な計算が軽減される。
 [画像判定装置の変形例3]
 画像判定装置100において、判定部135は、さらに、第1撮影位置での撮像装置の光軸と、第1撮影位置の撮像装置と第2撮影位置での撮像装置とを結ぶ直線Cとが成す角度αと、第2撮影位置での撮像装置の光軸と直線Cとが成す角度βの各々が、45°以上135°以内の場合は、第1撮影画像と第2撮影画像とを画像ペアと判定してもよい。
 図9において、角度α及び角度βについて説明する。図9では、第1撮影画像を撮影する第1撮影位置における撮像装置31、第2撮影画像を撮影する第2撮影位置における撮像装置33が示されている。又、撮像装置31の撮影における光軸が直線Aで、及び撮像装置33の撮影における光軸が直線Bで示されている。撮像装置31と撮像装置33とを結ぶ直線が直線Cで表されている。そして、直線Aと直線Cとが成す角をα、直線Bと直線Cとが成す角をβとして表されている。
 図9の(A)部分では、適切な撮像装置31と撮像装置33の位置関係を示している。すなわち、角度α及び角度βが45°以上135°以内の範囲にあり、撮像装置31で撮影した撮影画像と撮像装置33で撮影した撮影画像は、3次元計測を行う上で適した画像ペアとなる。尚、角度αと角度βの範囲は、3次元計測を行う上で適した画像ペアを取得することができればよく、特に限定されない。例えば、角度αと角度βは、60°以上120°以内の範囲にあってもよい。
 図9の(B)部分及び(C)部分では、不適切な撮像装置31と撮像装置33の位置関係を示している。図9の(B)部分では、角度α及び角度βが45°以下であり、撮像装置31と撮像装置33は不適切な位置関係である。又、図9の(C)部分では、角度αは135°よりも大きく、角度βは45°よりも小さく、撮像装置31と撮像装置33は、不適切な位置関係である。撮像装置31と撮像装置33が不適切な位置にある場合、撮像装置31と撮像装置33で取得された撮影画像により画像ペアを作成し、3次元計測を行おうとすると正確な3次元計測が行えない場合がある。
 図10は、画像判定装置100の変形例3に関する動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図10に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図10に記載された動作フロー図では、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っている否かの判断(ステップS40)が行われた後に、直線Aと直線Cとの成す角度αと直線Bと直線Cとの成す角度βが算出される点(ステップS52)、及び角度α及び角度βが45°以上135°以内であるか否かの判断を行っている(ステップS53)点において異なる。
 図10に示されたフロー図では、判定部135によって、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っているか否かが判断され(ステップS40)、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っていると判断された場合、直線Aと直線Cとの成す角度αと直線Bと直線Cとの成す角度βが算出される(ステップS52)。そして、判定部135により、角度α及び角度βが45°以上135°以内であるか否かの判断(ステップS53)が行われる。角度α及び角度βが45°以上135°以内である場合には、第1撮影画像と第2撮影画像とは画像ペアであると、判定部135により判定される(ステップS45)。一方、角度α及び角度βが45°以上135°以内でない場合には、第1又は第2撮影画像が別の撮影画像に変更される(ステップS50)。尚、直線Aと直線Cとの成す角度αと直線Bと直線Cとの成す角度βの算出(ステップS52)及び角度α及び角度βが45°以上135°以内であるか否かの判断(ステップS53)は、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っているか否かの判断(ステップS40)の前に行われてもよい。
 画像判定装置100の変形例3の態様を採用することにより、画像ペアの判定する基準に角度α及び角度βが追加され、より正確な3次元計測を行うことができる画像ペアが選択される。
 [画像判定装置の変形例4]
 画像判定装置100において、第2撮影画像選択部110は、さらに、第1撮影位置での撮像装置の光軸と、第1撮影位置の撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置とを結ぶ直線とが成す角度αと、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸と直線が成す角度βの各々が45°以上135°以内である撮影画像を第2撮影画像として選択してもよい。
 すなわち、画像判定装置100の変形例4における第2撮影画像選択部110は、1つの撮影画像を選択し、第1撮影画像と1つの撮影画像とに関する角度αと角度βを取得し、角度αと角度βが45°以上135°以内である場合に、1つの撮影画像を第2撮影画像と決定する。尚、画像判定装置100の変形例4の場合は、図9の説明で撮像装置33は、1つの撮影画像を撮影する撮像装置と考える。
 図11は、画像判定装置100の変形例4に関する動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図11に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図11に記載された動作フロー図では、直線Aと直線Cとの成す角度αと直線Bと直線Cとの成す角度βの算出(ステップS52)及び角度α及び角度βが45°以上135°以内であるか否かの判断(ステップS53)、及び角度α及び角度βが45°以上135°以内でない場合に1つの撮影が別の撮影画像に変更される(ステップS51)点で異なる。又、画像判定装置100の変形例4では、第2撮影画像選択部110は、角度α及び角度βが45°以上135°以内であるか否かを判断(ステップS53)した後に、第2撮影画像を決定する点で、図2に示された画像判定装置100とは異なる。
 図11は、画像判定装置100の変形例4の動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図11に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図11に記載された動作フロー図では、直線Aと直線Cとの成す角度αと直線Bと直線Cとの成す角度βが算出される点(ステップS55)、角度α及び角度βが45°以上135°以内であるか否かの判断を行っている(ステップS56)点において異なる。又、角度α及び角度βが45°以上135°以内でない場合は、1つの撮影画像が別の撮影画像に変更される(ステップS51)点も図5に記載された動作フロー図とは異なる。
 画像判定装置100の変形例4では、第2撮影画像選択部110は、角度α及び角度βが45°以上135°以内であると判断した(ステップS56)後に、第2撮影画像を決定する点で、図2に示された画像判定装置100とは異なる。すなわち、画像判定装置100の変形例4では、第2撮影画像選択部110は、測定対象距離取得部120から第1撮影画像に関する情報を取得し、角度α及び角度βを算出し、角度α及び角度βが45°以上135°以内であると判断して、選択した1つの撮影画像が第2撮影画像であると決定する。
 図11で示されるフロー図では、第2撮影画像選択部110により、直線Aと直線Bとが成す角度αと直線Bと直線Cとが成す角度βとが算出される(ステップS55)。そして、第2撮影画像選択部110により、角度α及び角度βが45°以上135°以内であるか否かが判断される。角度α及び角度βが45°以上135°以内であると判断された場合は、第2画像選択部は、選択した1つの撮影画像を第2撮影画像と判断する。そして、測定対象位置算出部125により、測定対象位置Eが取得される(ステップS30)。一方、第2撮影画像選択部110により、角度α及び角度βが45°以上135°以内でないと判断された場合は、1つの撮影画像が別の撮影画像に変更される(ステップS51)。
 画像判定装置100の変形例4の態様を採用することにより、画像ペアの判定する基準に角度αと角度βが追加され、より正確な3次元計測を行うことができる画像ペアが選択される。又、第2撮影画像選択部110が角度α及び角度βを考慮して第2撮影画像を選択する為、第2撮影画像が選択された後の余分な計算が軽減される。
 [画像判定装置の変形例5]
 画像判定装置100において、判定部135は、さらに、測定対象位置Eと第2撮影画像の撮影位置における撮像装置の光軸との距離Sが閾値以下の場合は、第1撮影画像と第2撮影画像とを画像ペアと判定してもよい。図12において、距離Sについて説明する。
 図12の(A)部分では、第1撮影画像を撮影する第1撮影位置における撮像装置31が示されている。又、第2撮影画像を撮影する第2撮影位置における撮像装置33が示されている。撮像装置31の撮影における光軸が直線Aで、及び撮像装置33の撮影における光軸が直線Bで示されている。撮像装置31と撮像装置33とを結ぶ直線が直線Cで表されている。又、測定対象位置はEで表されている。
 図12の(B)部分では、図12の(A)部分の点線部分の拡大図を示している。又、直線Bと測定対象位置Eとの距離Sを示している。距離Sが短いほど、第1撮影画像と第2撮影画像の重なりが大きくなり、3次元計測における画像ペアとして適したものとなる。距離Sの閾値としては、特に限定されるものではなく、測定対象物の大きさや、撮影画像を取得する撮像装置の性能、3次元計測における精度等によって様々な値を採用することができる。例えば、距離Sが5m以下、好ましくは3m以下、さらに好ましくは1m以下であれば、測定対象物が建築物等の大きなものであっても良好な精度の3次元計測を行える画像ペアを選択することができる。又、距離Sが100cm以下、好ましくは80cm以下、さらに好ましくは50cm以下であれば、高い精度が求められた3次元計測を行える画像ペアを選択することができる。
 図13は、画像判定装置100の変形例5に関する動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図13に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図13に記載された動作フロー図では、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っている否かの判断(ステップS40)が行われた後に、測定対象位置Eと直線Bとの距離Sが算出される(ステップS60)と、距離Sが閾値以下であるか否かの判断(ステップS61)が行われている点で異なる。
 図13に示されたフロー図では、判定部135によって、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っているか否かが判断され(ステップS40)、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っていると判断された場合、測定対象位置Eと直線Bとの距離Sが算出される(ステップS60)。そして、判定部135により、距離Sが閾値以下であるか否かの判断(ステップS61)が行われる。距離Sが閾値以下である場合には、第1撮影画像と第2撮影画像とは画像ペアであると、判定部135により判定される(ステップS45)。一方、距離Sが閾値以下である場合には、第1又は第2撮影画像が別の撮影画像に変更される(ステップS50)。尚、測定対象位置Eと直線Bとの距離Sの算出(ステップS60)及び距離Sが閾値以下であるか否かの判断(ステップS61)は、第2撮影画像に対応する撮影範囲に測定対象位置Eが入っているか否かの判断(ステップS40)の前に行われてもよい。
 画像判定装置100の変形例5の態様を採用することにより、画像ペアの判定する基準に距離Sが追加され、より正確な3次元計測を行うことができる画像ペアが選択される。
 [画像判定装置の変形例6]
 画像判定装置100において、第2撮影画像選択部110は、さらに、測定対象位置Eと複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸との距離Sが閾値以下となる撮影画像を第2撮影画像として選択してもよい。
 すなわち、画像判定装置100の変形例6における第2撮影画像選択部110は、測定対象位置Eと直線Bとの距離Sを算出し、距離Sが閾値以下である場合に、1つの撮影画像を第2撮影画像と決定する。尚、画像判定装置100の変形例6の場合は、図12の説明で撮像装置33は、1つの撮影画像を撮影する撮像装置と考える。
 図14は、画像判定装置100の変形例6に関する動作フロー図である。図5の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図14に記載された動作フロー図と図5に記載された動作フロー図を比較すると、図14に記載された動作フロー図では、測定対象位置Eと直線Bとの距離Sが算出される(ステップS63)、距離Sが閾値以下であるか否かの判断(ステップS64)が行われる、及び距離Sが閾値より大きい場合に1つの撮影が別の撮影画像に変更される(ステップS51)点で異なる。又距離Sが閾値以下であるか否かの判断(ステップS64)した後に、第2撮影画像を決定する点で、図2に示された画像判定装置100とは異なる。
 画像判定装置100の変形例6では、第2撮影画像選択部110は、距離Sが閾値以下である否かを判断(ステップS64)した後に、第2撮影画像を決定する点で、図2に示された画像判定装置100とは異なる。すなわち、画像判定装置100の変形例6では、第2撮影画像選択部110は、測定対象位置Eに関する情報を測定対象位置算出部125から取得し、距離Sは閾値以下であると判断して、選択した1つの撮影画像が第2撮影画像であると決定する。
 図14で示されるフロー図では、測定対象位置Eが取得された(ステップS30)後に、第2撮影画像選択部110により、測定対象位置Eと直線Bとの距離Sが算出される(ステップS63)。そして、第2撮影画像選択部110により、距離Sが閾値以下であるか否かが判断(ステップS64)される。距離Sが閾値以下であると判断された場合は、第2画像選択部は、選択した1つの撮影画像を第2撮影画像と判断する。そして、撮影範囲算出部130により、第2撮影画像に対応する撮影範囲が取得される。一方、第2撮影画像部により、距離Sが閾値以下であると判断された場合は、1つの撮影画像が別の撮影画像に変更される(ステップS51)。
 画像判定装置100の変形例6の態様を採用することにより、画像ペアの判定する基準に距離Sが追加され、より正確な3次元計測を行うことができる画像ペアが選択される。又、第2撮影画像選択部110が距離Sを考慮して第2撮影画像を選択する為、第2撮影画像が選択された後の余分な計算が軽減される。
 [画像判定装置の変形例7]
 画像判定装置100において、判定部135により判定された複数の画像ペアを記憶する記憶部が備えられてもよい。さらに、記憶部に記憶された複数の画像ペアにおいて、画像ペアのうち第1撮影画像又は第2撮影画像が同一であるペア群の中から、最も分解能ΔZが高いペアを分解能最適ペアと判定する分解能最適ペア判定部を備えていてもよい。
 図15には、図7に記載された画像判定装置100の動作フローと同様にして画像ペアを選択し、その後に、画像ペアが記憶部(画像ペア記憶部)に記憶され(ステップS101)、第1撮影画像が同一であるペア群の中から分解能ΔZが最も高い画像ペアが選択されている(ステップS105)。
 画像ペアが記憶される記憶部は、画像判定装置100内に備えられている。しかし、これに限定されるものでは無く、記憶部は、画像判定装置100外に備えられていてもよい。又、記憶部は、判定部135により判定された画像ペアを1つのファイルとして記憶することが好ましい。例えば、マルチピクチャフォーマットとして記録することが好ましいが、これに限られるものではない。又、画像ペアと共に、測定対象距離や第1撮影画像及び第2撮影画像を撮影した撮像装置の向き、基線長等の画像ペアに関する情報を記録することが好ましい。尚、画像ペアの記憶部や、画像ペアの記憶の方法等は、画像判定装置100の変形例7における態様に限定されるものではなく、他の画像判定装置100の態様でも同様である。
 記憶部に記憶された画像ペアにおいて、第1撮影画像又は第2撮影画像が同一である画像ペア群として、その画像ペア群の中から、分解能ΔZが最も高い画像ペアが分解能最適ペア判定部により選択される。
 画像判定装置の変形例7の態様を採用することにより、最も分解能ΔZが高い画像ペアを選択することが可能となり、より精度の高い3次元計測を行うことができる。
 [画像判定装置の変形例8]
 画像判定装置100において、判定部135により判定された複数の画像ペアを記憶する記憶部と、記憶部に記憶された複数の画像ペアにおいて、画像ペアのうち第1撮影画像又は第2撮影画像が同一であるペア群の中から、最も距離Sが短いペアを距離S最適ペアと判定する距離S最適ペア判定部と、をさらに備えてもよい。
 図16には、図8及び図14に記載された画像判定装置100の動作フローにより画像ペアが選択されている。すなわち、測定対象位置Eが取得される(ステップS30)までの動作フローは図8に記載されているものと同様である。その後の、画像ペアとして判定する(ステップS45)までは、図14に記載された画像判定装置100の動作フローと同様である。
 その後に、画像ペアが記憶部(画像ペア記憶部)に記憶され(ステップS101)、距離S最適ペア判定部により、第1撮影画像又は第2撮影画像が同一であるペア群の中から距離Sが最も短い画像ペアが選択されている(ステップS105)。
 画像判定装置の変形例8の態様を採用することにより、最も距離Sの短い画像ペアを選択することができ、より精度の高い3次元計測を行うことができる。
 本発明の目的は、上述した画像判定装置を備える3次元計測装置でも達成することができる。画像判定装置により判定された画像ペアを3次元計測装置に使用することにより、より正確に及びより迅速に3次元計測を行うことができる。
 本発明の目的は、上述した実施形態で示したフローの手順を実現するプログラムコード(プログラム)を記憶した記憶媒体から、システムあるいは装置のコンピュータ(又はCPUやMPU)が、そのプログラムコードを読出し実行することによっても達成される。
 この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶/記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。
 プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
 また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行う場合も含まれる。
 さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。
 又、前述した実施形態のフローの各ステップは、ソフトウェア(コンピュータ)を用いて実現するものに限るものではなく、ハードウェア(電子回路)を用いて実現してもよい。
 [撮像装置の変形例]
 本発明の画像判定装置100を含む撮像装置、又は本発明の画像判定装置100に供給される複数の撮影画像を撮影する撮像装置の実施形態として、図6ではデジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のPC用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
 本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォン(多機能携帯電話)を例に挙げ、図面を参照しつつ、詳細に説明する。
 図17は、本発明の撮影装置の一実施形態であるスマートフォン301の外観を示すものである。図17に示すスマートフォン301は、平板状の筐体302を有し、筐体302の一方の面に表示部としての表示パネル321と、入力部としての操作パネル322とが一体となった表示入力部320を備えている。又、かかる筐体302は、スピーカ331と、マイクロホン332、操作部340と、カメラ部341とを備えている。尚、筐体302の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
 図18は、図17に示すスマートフォン301の構成を示すブロック図である。図18に示すように、スマートフォンの主たる構成要素として、無線通信部310と、表示入力部320と、通話部330と、操作部340と、カメラ部341と、記憶部350と、外部入出力部360と、GPS(Global Positioning System)受信部370と、電子コンパス371、ジャイロセンサ372、モーションセンサ部380と、電源部390と、主制御部400とを備える。又、スマートフォン301の主たる機能として、基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
 無線通信部310は、主制御部400の指示にしたがって、移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
 表示入力部320は、主制御部400の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル321と、操作パネル322とを備える。
 表示パネル321は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル322は、表示パネル321の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部400に出力する。次いで、主制御部400は、受信した検出信号に基づいて、表示パネル321上の操作位置(座標)を検出する。
 図17に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン301の表示パネル321と操作パネル322とは一体となって表示入力部320を構成しているが、操作パネル322が表示パネル321を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル322は、表示パネル321外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル322は、表示パネル321に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル321に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
 尚、表示領域の大きさと表示パネル321の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル322が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体302の大きさなどに応じて適宜設計されるものである。更に又、操作パネル322で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
 通話部330は、スピーカ331やマイクロホン332を備え、マイクロホン332を通じて入力されたユーザの音声を主制御部400にて処理可能な音声データに変換して主制御部400に出力したり、無線通信部310あるいは外部入出力部360により受信された音声データを復号してスピーカ331から出力するものである。又、図17に示すように、例えば、スピーカ331を表示入力部320が設けられた面と同じ面に搭載し、マイクロホン332を筐体302の側面に搭載することができる。
 操作部340は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図17に示すように、操作部340は、スマートフォン301の筐体302の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
 記憶部350は、主制御部400の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部350は、スマートフォン内蔵の内部記憶部351と着脱自在な外部メモリスロットを有する外部記憶部352により構成される。尚、記憶部350を構成するそれぞれの内部記憶部351と外部記憶部352は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
 外部入出力部360は、スマートフォン301に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
 スマートフォン301に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部360は、このような外部機器から伝送を受けたデータをスマートフォン301の内部の各構成要素に伝達することや、スマートフォン301の内部のデータが外部機器に伝送されるようにすることができる。
 GPS受信部370は、主制御部400の指示にしたがって、GPS衛星ST1~STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン301の緯度、経度、高度からなる位置を検出する。GPS受信部370は、無線通信部310や外部入出力部360(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
 モーションセンサ部380は、例えば、3軸の加速度センサなどを備え、主制御部400の指示にしたがって、スマートフォン301の物理的な動きを検出する。スマートフォン301の物理的な動きを検出することにより、スマートフォン301の動く方向や加速度が検出される。かかる検出結果は、主制御部400に出力されるものである。
 電源部390は、主制御部400の指示にしたがって、スマートフォン301の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
 主制御部400は、マイクロプロセッサを備え、記憶部350が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン301の各部を統括して制御するものである。又、主制御部400は、無線通信部310を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
 アプリケーション処理機能は、記憶部350が記憶するアプリケーションソフトウェアにしたがって主制御部400が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部360を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
 又、主制御部400は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部320に表示する等の画像処理機能を備える。画像処理機能とは、主制御部400が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部320に表示する機能のことをいう。
 更に、主制御部400は、表示パネル321に対する表示制御と、操作部340、操作パネル322を通じたユーザ操作を検出する操作検出制御を実行する。
 表示制御の実行により、主制御部400は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル321の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
 又、操作検出制御の実行により、主制御部400は、操作部340を通じたユーザ操作を検出したり、操作パネル322を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
 更に、操作検出制御の実行により主制御部400は、操作パネル322に対する操作位置が、表示パネル321に重なる重畳部分(表示領域)か、それ以外の表示パネル321に重ならない外縁部分(非表示領域)かを判定し、操作パネル322の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
 又、主制御部400は、操作パネル322に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
 カメラ部341は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。又、カメラ部341は、主制御部400の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部350に記録したり、外部入出力部360や無線通信部310を通じて出力することができる。図17に示すにスマートフォン301において、カメラ部341は表示入力部320と同じ面に搭載されているが、カメラ部341の搭載位置はこれに限らず、表示入力部320の背面に搭載されてもよいし、あるいは、複数のカメラ部341が搭載されてもよい。尚、複数のカメラ部341が搭載されている場合には、撮影に供するカメラ部341を切り替えて単独にて撮影したり、あるいは、複数のカメラ部341を同時に使用して撮影することもできる。
 又、カメラ部341はスマートフォン301の各種機能に利用することができる。例えば、表示パネル321にカメラ部341で取得した画像を表示することや、操作パネル322の操作入力のひとつとして、カメラ部341の画像を利用することができる。又、GPS受信部370が位置を検出する際に、カメラ部341からの画像を参照して位置を検出することもできる。更には、カメラ部341からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン301のカメラ部341の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部341からの画像をアプリケーションソフトウェア内で利用することもできる。
 その他、静止画又は動画の画像データにGPS受信部370により取得した位置情報、マイクロホン332により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部380により取得した姿勢情報等などを付加して記憶部350に記録したり、外部入出力部360や無線通信部310を通じて出力することもできる。
 又、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
 1…測定対象物、100…画像判定装置、101…第1撮影画像選択部、105…第1撮影画像情報取得部、110…第2撮影画像選択部、115…第2撮影画像情報取得部、120…測定対象距離取得部、125…測定対象位置算出部、130…撮影範囲算出部、135…判定部、212…CPU、214…操作部、216…デバイス制御部、218…レンズ部、220…シャッタ、222…撮像素子、224…A/D変換器、225…表示部、226…メモリ部、228…画像処理部、230…エンコーダ、232…ドライバ、242…GPS、244…ジャイロセンサ、246…電子コンパス、301…スマートフォン

Claims (17)

  1.  複数の撮影画像から3次元計測に使用する画像ペアを判定する画像判定装置であって、
     前記複数の撮影画像から第1撮影画像を選択する第1撮影画像選択手段と、
     前記選択した第1撮影画像の撮影位置及び撮影方向を取得する第1撮影画像情報取得手段と、
     前記第1撮影画像の撮影位置である第1撮影位置から前記第1撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得手段と、
     前記第1撮影画像の撮影における光軸上の位置であって、前記第1撮影位置から前記測定対象距離だけ離れた3次元空間上の測定対象位置を算出する測定対象位置算出手段と、
     前記複数の撮影画像から第2撮影画像を選択する第2撮影画像選択手段と、
     前記選択した第2撮影画像の撮影位置である第2撮影位置、撮影方向及び画角を取得する第2撮影画像情報取得手段と、
     前記取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第2撮影画像に対応する撮影範囲を算出する撮影範囲算出手段と、
     前記算出した撮影範囲内に前記算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、前記第1撮影画像と前記第2撮影画像を画像ペアと判定する判定手段と、
     を備えた画像判定装置。
  2.  前記判定手段は、さらに、前記第1撮影位置での撮像装置と前記第2撮影位置での撮像装置との基線長Lを含む、下記[数1]で表される分解能ΔZの値が閾値以下の場合は、前記第1撮影画像と前記第2撮影画像とを画像ペアと判定する請求項1に記載の画像判定装置。
    Figure JPOXMLDOC01-appb-M000001
      ΔZ :分解能
      Z  :測定対象距離
      f  :焦点距離
      p  :撮影画像を取得した撮像装置における撮像素子の画素ピッチ
      L  :第1撮影位置での撮像装置と第2撮影位置での撮像装置との基線長
  3.  前記判定手段は、さらに、前記第1撮影位置での撮像装置の光軸と、前記第1撮影位置の撮像装置と前記第2撮影位置での撮像装置とを結ぶ直線Cとが成す角度αと、前記第2撮影位置での前記撮像装置の光軸と前記直線Cとが成す角度βの各々が、45°以上135°以内の場合は、前記第1撮影画像と前記第2撮影画像とを画像ペアと判定する請求項1又は2に記載の画像判定装置。
  4.  前記判定手段は、さらに、前記測定対象位置と前記第2撮影画像の撮影位置における撮像装置の光軸との距離Sが閾値以下の場合は、前記第1撮影画像と前記第2撮影画像とを画像ペアと判定する請求項1から3のいずれか1項に記載の画像判定装置。
  5.  前記第2撮影画像選択手段は、前記第1撮影位置での撮像装置と、前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長Lxを含む、下記[数2]で表せる分解能ΔZの値が閾値以下である撮影画像を前記第2撮影画像として選択する請求項1に記載の画像判定装置。
    Figure JPOXMLDOC01-appb-M000002
      ΔZ :分解能
      Z  :測定対象距離
      f  :焦点距離
      p  :撮影画像を取得した撮像装置における撮像素子の画素ピッチ
      Lx :第1撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長の長さ
  6.  前記第2撮影画像選択手段は、さらに、前記第1撮影位置での撮像装置の光軸と、前記第1撮影位置の撮像装置と前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置とを結ぶ直線とが成す角度αと、前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸と前記直線が成す角度βの各々が45°以上135°以内である前記撮影画像を前記第2撮影画像として選択する請求項1又は5に記載の画像判定装置。
  7.  前記第2撮影画像選択手段は、さらに、前記測定対象位置と前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸との距離Sが閾値以下となる前記撮影画像を前記第2撮影画像として選択する請求項1、5、及び6のいずれか1項に記載の画像判定装置。
  8.  前記第1撮影画像選択手段は、前記複数の撮影画像のうちの任意の撮影画像を第1撮影画像として選択し、
     前記第2撮影画像選択手段は、前記複数の撮影画像から前記第1撮影画像以外の撮影画像のうちの任意の撮影画像を第2撮影画像として選択する請求項1から7のいずれか1項に記載の画像判定装置。
  9.  前記判定手段により判定された複数の前記画像ペアを記憶する記憶手段と、
     前記記憶手段に記憶された複数の前記画像ペアにおいて、前記画像ペアのうち第1撮影画像又は第2撮影画像が同一であるペア群の中から、最も前記分解能ΔZが高いペアを分解能最適ペアと判定する分解能最適ペア判定手段と、をさらに備える請求項2又は5に記載の画像判定装置。
  10.  前記判定手段により判定された複数の前記画像ペアを記憶する記憶手段と、
     前記記憶手段に記憶された複数の前記画像ペアにおいて、前記画像ペアのうち第1撮影画像又は第2撮影画像が同一であるペア群の中から、最も前記距離Sが短いペアを距離S最適ペアと判定する距離S最適ペア判定手段と、をさらに備える請求項4又は7のいずれかに記載の画像判定装置。
  11.  前記記憶手段は、前記判定手段により判定された前記画像ペアを1つのファイルとして記憶する請求項9又は10に記載の画像判定装置。
  12.  前記撮影範囲算出手段は、前記取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第2撮影画像に対応する四角錐状の撮影範囲を算出する請求項1から11のいずれか1項に記載の画像判定装置。
  13.  請求項1から12のいずれか1項に記載の画像判定装置を有する撮像装置。
  14.  請求項1から12のいずれか1項に記載の画像判定装置により判定された前記画像ペアを使用して3次元計測を行う3次元計測装置。
  15.  複数の撮影画像から3次元計測に使用する画像ペアを判定する画像判定方法であって、
     前記複数の撮影画像から第1撮影画像を選択する第1撮影画像選択ステップと、
     前記選択した第1撮影画像の撮影位置及び撮影方向を取得する第1撮影画像情報取得ステップと、
     前記第1撮影画像の撮影位置である第1撮影位置から前記第1撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、
     前記第1撮影画像の撮影における光軸上の位置であって、前記第1撮影位置から前記測定対象距離だけ離れた3次元空間上の測定対象位置を算出する測定対象位置算出ステップと、
     前記複数の撮影画像から第2撮影画像を選択する第2撮影画像選択ステップと、
     前記選択した第2撮影画像の撮影位置である第2撮影位置、撮影方向及び画角を取得する第2撮影画像情報取得ステップと、
     前記取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第2撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、
     前記算出した撮影範囲内に前記算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、前記第1撮影画像と前記第2撮影画像とは画像ペアと判定する判定ステップと、
     を含む画像判定方法。
  16.  複数の撮影画像から3次元計測に使用する画像ペアを判定するプログラムであって、
     前記複数の撮影画像から第1撮影画像を選択する第1撮影画像選択ステップと、
     前記選択した第1撮影画像の撮影位置及び撮影方向を取得する第1撮影画像情報取得ステップと、
     前記第1撮影画像の撮影位置である第1撮影位置から前記第1撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、
     前記第1撮影画像の撮影における光軸上の位置であって、前記第1撮影位置から前記測定対象距離だけ離れた3次元空間上の測定対象位置を算出する測定対象位置算出ステップと、
     前記複数の撮影画像から第2撮影画像を選択する第2撮影画像選択ステップと、
     前記選択した第2撮影画像の撮影位置である第2撮影位置、撮影方向及び画角を取得する第2撮影画像情報取得ステップと、
     前記取得した第2撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第2撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、
     前記算出した撮影範囲内に前記算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、前記第1撮影画像と前記第2撮影画像とは画像ペアと判定する判定ステップと、
     をコンピュータに実行させる為のプログラム。
  17.  請求項16に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/078803 2013-03-12 2013-10-24 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム WO2014141522A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380074604.4A CN105190226B (zh) 2013-03-12 2013-10-24 图像判定装置、摄像装置、三维计量装置以及图像判定方法
JP2015505223A JP5819564B2 (ja) 2013-03-12 2013-10-24 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム
DE112013006814.1T DE112013006814T5 (de) 2013-03-12 2013-10-24 Bildbeurteilungseinrichtung, Aufnahmegerät, 3D-Messgerät, Bildbeurteilungsverfahren und Programm
US14/832,557 US9721346B2 (en) 2013-03-12 2015-08-21 Image assessment device, method, and computer readable medium for 3-dimensional measuring and capturing of image pair range

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-049445 2013-03-12
JP2013049445 2013-03-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/832,557 Continuation US9721346B2 (en) 2013-03-12 2015-08-21 Image assessment device, method, and computer readable medium for 3-dimensional measuring and capturing of image pair range

Publications (1)

Publication Number Publication Date
WO2014141522A1 true WO2014141522A1 (ja) 2014-09-18

Family

ID=51536209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/078803 WO2014141522A1 (ja) 2013-03-12 2013-10-24 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム

Country Status (5)

Country Link
US (1) US9721346B2 (ja)
JP (1) JP5819564B2 (ja)
CN (1) CN105190226B (ja)
DE (1) DE112013006814T5 (ja)
WO (1) WO2014141522A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407343A (zh) * 2015-12-15 2016-03-16 瑞声声学科技(苏州)有限公司 摄像镜头及其景深校准方法
WO2016158855A1 (ja) * 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP2016217787A (ja) * 2015-05-15 2016-12-22 シャープ株式会社 三次元計測装置、及び三次元計測方法
CN108351199A (zh) * 2015-11-06 2018-07-31 富士胶片株式会社 信息处理装置、信息处理方法及程序
JP2019075082A (ja) * 2017-10-16 2019-05-16 三星電子株式会社Samsung Electronics Co.,Ltd. 深度値推定を用いた映像処理方法及び装置
JP2019220099A (ja) * 2018-06-22 2019-12-26 凸版印刷株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム
JP2021021577A (ja) * 2019-07-24 2021-02-18 富士通株式会社 画像処理装置及び画像処理方法
RU2747325C2 (ru) * 2016-12-12 2021-05-04 Зе Боинг Компани Система и способ определения информации об относительном положении и некратковременный компьютерочитаемый носитель информации

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN108603743B (zh) * 2016-02-04 2020-03-27 富士胶片株式会社 信息处理装置、信息处理方法及程序
US10706569B2 (en) * 2016-06-08 2020-07-07 Amazon Technologies, Inc. Selectively paired imaging elements for stereo images
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
JP2019015527A (ja) * 2017-07-04 2019-01-31 株式会社ミツトヨ 画像測定装置及びプログラム
DE102018104759A1 (de) * 2018-03-02 2019-09-05 Forward Ttc Gmbh Verfahren und Vorrichtung zum selbsttätigen Verbinden eines Aufladeanschlusses mit einer Aufladeanschlussaufnahme eines Fahrzeugs, insbesondere eines Landfahrzeugs

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254424A (ja) * 1995-03-15 1996-10-01 Canon Inc 三次元物体形状計測方法及び装置
JPH1019562A (ja) * 1996-06-28 1998-01-23 Taisei Corp 測量装置および測量方法
JP2001004373A (ja) * 1999-06-24 2001-01-12 Asahi Optical Co Ltd 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
WO2007137388A1 (en) * 2006-05-26 2007-12-06 Corporation Spg Data3D Photogrammetric system and techniques for 3d acquisition
JP2007327938A (ja) * 2006-05-10 2007-12-20 Topcon Corp 画像処理装置及びその処理方法
JP2009150848A (ja) * 2007-12-21 2009-07-09 Topcon Corp 画像処理装置
JP2009186287A (ja) * 2008-02-05 2009-08-20 Tokyo Institute Of Technology 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
JP2012234374A (ja) * 2011-05-02 2012-11-29 Hitachi Solutions Ltd 単画像からのステレオペア検索装置及びステレオペア検索方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001317915A (ja) 2000-05-08 2001-11-16 Minolta Co Ltd 3次元計測装置
JP5184830B2 (ja) 2007-07-06 2013-04-17 株式会社トプコン 位置計測装置及び位置計測方法
US7787689B2 (en) 2007-07-06 2010-08-31 Topcon Corporation Location measuring device and method
JP5084374B2 (ja) 2007-07-06 2012-11-28 株式会社トプコン 位置計測装置及び位置計測方法
CN100550054C (zh) * 2007-12-17 2009-10-14 电子科技大学 一种图像立体匹配方法及其装置
EP2309225A4 (en) * 2008-07-01 2014-10-15 Topcon Corp POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE AND PROGRAM
CN101710423B (zh) * 2009-12-07 2012-01-04 青岛海信网络科技股份有限公司 一种立体图像的匹配搜索方法
JP2012103109A (ja) * 2010-11-10 2012-05-31 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法及びプログラム
JP2012124554A (ja) 2010-12-06 2012-06-28 Canon Inc 撮像装置
CN102236798B (zh) * 2011-08-01 2012-12-05 清华大学 一种图像匹配方法及其装置
CN102521838B (zh) * 2011-12-19 2013-11-27 国家计算机网络与信息安全管理中心 一种图像匹配方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254424A (ja) * 1995-03-15 1996-10-01 Canon Inc 三次元物体形状計測方法及び装置
JPH1019562A (ja) * 1996-06-28 1998-01-23 Taisei Corp 測量装置および測量方法
JP2001004373A (ja) * 1999-06-24 2001-01-12 Asahi Optical Co Ltd 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP2007327938A (ja) * 2006-05-10 2007-12-20 Topcon Corp 画像処理装置及びその処理方法
WO2007137388A1 (en) * 2006-05-26 2007-12-06 Corporation Spg Data3D Photogrammetric system and techniques for 3d acquisition
JP2009150848A (ja) * 2007-12-21 2009-07-09 Topcon Corp 画像処理装置
JP2009186287A (ja) * 2008-02-05 2009-08-20 Tokyo Institute Of Technology 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
JP2012234374A (ja) * 2011-05-02 2012-11-29 Hitachi Solutions Ltd 単画像からのステレオペア検索装置及びステレオペア検索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAYATO SHIDA ET AL.: "Image-Based Modeling of Urban Buildings from Camera Views with GPS, Compass and Clinometers", IPSJ SIG NOTES HEISEI 22 NENDO 4, 15 December 2010 (2010-12-15), pages 1 - 6 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158855A1 (ja) * 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JPWO2016158855A1 (ja) * 2015-03-31 2018-01-25 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP2016217787A (ja) * 2015-05-15 2016-12-22 シャープ株式会社 三次元計測装置、及び三次元計測方法
CN108351199A (zh) * 2015-11-06 2018-07-31 富士胶片株式会社 信息处理装置、信息处理方法及程序
US11727585B2 (en) 2015-11-06 2023-08-15 Fujifilm Corporation Information processing device, information processing method, and program
US10546381B2 (en) 2015-11-06 2020-01-28 Fujifilm Corporation Information processing device, information processing method, and program
US11074705B2 (en) 2015-11-06 2021-07-27 Fujifilm Corporation Information processing device, information processing method, and program
CN105407343B (zh) * 2015-12-15 2017-08-01 瑞声声学科技(苏州)有限公司 摄像镜头及其景深校准方法
CN105407343A (zh) * 2015-12-15 2016-03-16 瑞声声学科技(苏州)有限公司 摄像镜头及其景深校准方法
RU2747325C2 (ru) * 2016-12-12 2021-05-04 Зе Боинг Компани Система и способ определения информации об относительном положении и некратковременный компьютерочитаемый носитель информации
JP2019075082A (ja) * 2017-10-16 2019-05-16 三星電子株式会社Samsung Electronics Co.,Ltd. 深度値推定を用いた映像処理方法及び装置
JP7173772B2 (ja) 2017-10-16 2022-11-16 三星電子株式会社 深度値推定を用いた映像処理方法及び装置
JP2019220099A (ja) * 2018-06-22 2019-12-26 凸版印刷株式会社 ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム
JP2021021577A (ja) * 2019-07-24 2021-02-18 富士通株式会社 画像処理装置及び画像処理方法
JP7230722B2 (ja) 2019-07-24 2023-03-01 富士通株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US9721346B2 (en) 2017-08-01
CN105190226A (zh) 2015-12-23
DE112013006814T5 (de) 2015-12-10
JP5819564B2 (ja) 2015-11-24
CN105190226B (zh) 2017-09-19
US20150356739A1 (en) 2015-12-10
JPWO2014141522A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5819564B2 (ja) 画像判定装置、撮像装置、3次元計測装置、画像判定方法、及びプログラム
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
US9179059B2 (en) Image capture device and image display method
JP6186521B2 (ja) 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム
JP6328255B2 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
JP6031587B2 (ja) 撮像装置、信号処理方法、信号処理プログラム
JP5948492B2 (ja) 撮像装置及び合焦制御方法
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901781B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6307526B2 (ja) 撮像装置及び合焦制御方法
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
JPWO2014054498A1 (ja) 撮像装置及び画像表示方法
US9402024B2 (en) Imaging device and image processing method
JP6186498B2 (ja) 撮像装置及び合焦制御方法
JP5789725B2 (ja) 撮像装置及びその合焦方法と合焦制御プログラム
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
US9363430B2 (en) Imaging device and image processing method
JP6840903B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2019202983A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380074604.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13878083

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015505223

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1120130068141

Country of ref document: DE

Ref document number: 112013006814

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13878083

Country of ref document: EP

Kind code of ref document: A1