WO2022070941A1 - 撮像装置、撮像装置の駆動方法、及びプログラム - Google Patents

撮像装置、撮像装置の駆動方法、及びプログラム Download PDF

Info

Publication number
WO2022070941A1
WO2022070941A1 PCT/JP2021/034049 JP2021034049W WO2022070941A1 WO 2022070941 A1 WO2022070941 A1 WO 2022070941A1 JP 2021034049 W JP2021034049 W JP 2021034049W WO 2022070941 A1 WO2022070941 A1 WO 2022070941A1
Authority
WO
WIPO (PCT)
Prior art keywords
phase difference
pixel region
image pickup
difference pixel
exposure time
Prior art date
Application number
PCT/JP2021/034049
Other languages
English (en)
French (fr)
Inventor
智行 河合
康一 田中
祐也 西尾
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022553808A priority Critical patent/JP7459279B2/ja
Publication of WO2022070941A1 publication Critical patent/WO2022070941A1/ja
Priority to US18/185,353 priority patent/US12126920B2/en
Priority to JP2024043652A priority patent/JP2024071452A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the technology of the present disclosure relates to an image pickup device, a drive method of the image pickup device, and a program.
  • the image pickup device described in Patent Document 1 is an image pickup element in which a plurality of pixels are two-dimensionally arranged, and an image pickup that generates a signal for image generation by photoelectric conversion of a subject image imaged by a photographing lens. It is discretely arranged between the pixel and a plurality of imaging pixels, divides the pupil area of the photographing lens, and photoelectrically converts the subject image from the divided pupil area to generate a signal for phase difference detection.
  • a switching unit that switches between an image pickup element having a focus detection pixel, an all-pixel readout mode that reads out signals of all pixels of a plurality of pixels, and a thinning-out readout mode that reads out signals of a plurality of pixels by thinning out.
  • the image pickup line used for image generation and the focus detection line having the focus detection pixel are provided with a control unit that independently controls the accumulation of charges.
  • One embodiment according to the technique of the present disclosure is an image pickup apparatus, a driving method, and a program capable of setting the exposure time of the retardation pixel to the frame cycle or longer and reading a signal from the retardation pixel at each frame cycle. I will provide a.
  • the image pickup apparatus of the present disclosure includes a processor, a column signal line for reading a signal extending in the first direction, and a plurality of phase differences arranged in a second direction intersecting the first direction.
  • the image pickup element includes an image pickup element including a pixel, and the image pickup element includes a first phase difference pixel area and a second phase difference pixel area containing a plurality of phase difference pixels, respectively, and a first phase difference pixel area and a first in the first direction. It has an image pickup pixel area between the two phase difference pixel areas, and the processor causes the image pickup element to take an image at a frame cycle, and reads a signal from the first phase difference pixel area during the first frame period.
  • It is configured to execute one read process and a second read process for reading a signal from the second phase difference pixel area during the second frame period following the first frame period, and the first phase difference pixel area is exposed.
  • the first exposure time to be applied and the second exposure time to expose the second retardation pixel region are different from the exposure time of the image pickup pixel region.
  • the first exposure time and the second exposure time each exceed the frame period.
  • the first exposure time and the second exposure time are different from each other.
  • the processor can execute the first mode in which the first readout process and the second readout process are alternately executed so that the first exposure time and the second exposure time are each less than twice the frame period. ..
  • the processor sets the second exposure time to K times or more of the frame period and less than K + 1 times, and performs the first readout process during the exposure period of the second phase difference pixel region. It is preferable to enable the second mode in which the second read process is executed once each time the first read process is executed K times.
  • the first exposure time is preferably less than the frame period.
  • the processor preferably switches between the first mode and the second mode according to the brightness of the subject.
  • the processor can execute the third mode in which only the first read process is repeated without performing the second read process.
  • the processor preferably switches between the first mode and the third mode according to the moving speed of the subject.
  • the image pickup device has N phase difference pixel regions from the first phase difference pixel region to the Nth phase difference pixel region arranged in the second direction, and the processor has a processor. It is preferable that each of the retardation pixel regions is selected for each frame cycle to read out a signal, and the exposure time of the retardation pixel region is less than N times the frame cycle.
  • the image pickup element includes a plurality of row selection lines extending in the second direction, and the first phase difference pixel area includes a pair of first phase difference pixels as a plurality of phase difference pixels, and a second phase difference pixel area. Includes a pair of second phase difference pixels as a plurality of phase difference pixels, a pair of first phase difference pixels is selected by the same row selection line, and a pair of second phase difference pixels are the same. It is preferable that the first phase difference pixel region and the second phase difference pixel region are selected by the row selection line and are alternately arranged in the first direction with the image pickup pixel region interposed therebetween.
  • the image pickup element includes a plurality of row selection lines extending in the second direction
  • the first phase difference pixel area includes a pair of first phase difference pixels as a plurality of phase difference pixels, and a second phase difference pixel area.
  • the phase difference pixels are each selected by a plurality of row selection lines arranged in the first direction, and the first phase difference pixel area and the second phase difference pixel area are alternately arranged in the first direction with the image pickup pixel area interposed therebetween. Is preferable.
  • the plurality of phase difference pixels included in the first phase difference pixel area and the second phase difference pixel area and the image pickup pixel in the image pickup pixel area each have a pair of photoelectric conversion elements, and the processor has a plurality of phase differences.
  • the processor has a plurality of phase differences.
  • one signal of the pair of photoelectric conversion elements is read out, signals are read out from both of the pair of photoelectric conversion elements from the image pickup pixel, and the first phase difference pixel area and the second phase difference pixel area are the image pickup pixel area. It is preferable that they are alternately arranged in the first direction by sandwiching them.
  • the driving method of the image pickup apparatus of the present disclosure includes an image pickup element including a column signal line for reading a signal extending in the first direction and a plurality of retardation pixels arranged in a second direction intersecting the first direction.
  • the image pickup element is provided between the first phase difference pixel region and the second phase difference pixel region including each of a plurality of phase difference pixels, and between the first phase difference pixel region and the second phase difference pixel region in the first direction. It is a driving method of an image pickup apparatus having an image pickup pixel area in the above, and is a first readout process in which an image pickup element is made to take an image in a frame cycle and a signal is read out from a first phase difference pixel area during the first frame period.
  • the second readout process of reading a signal from the second phase difference pixel area is executed, and the first exposure time in which the first phase difference pixel area is exposed, and The second exposure time in which the second phase difference pixel region is exposed is different from the exposure time in the image pickup pixel region.
  • the program of the present disclosure includes an image pickup device including a column signal line for reading a signal extending in the first direction and a plurality of retardation pixels arranged in a second direction intersecting the first direction. Is an image pickup pixel located between a first phase difference pixel area and a second phase difference pixel area including a plurality of phase difference pixels, and a first phase difference pixel area and a second phase difference pixel area in the first direction. It is a program for operating an image pickup device having a region, and is a first readout process in which an image pickup element is made to perform image pickup at a frame cycle and a signal is read out from a first phase difference pixel region during the first frame period, and a first.
  • the second readout process of reading a signal from the second phase difference pixel region is executed, and the first exposure time and the second exposure time in which the first phase difference pixel region is exposed are executed.
  • the second exposure time in which the retardation pixel region is exposed is different from the exposure time in the image pickup pixel region.
  • IC is an abbreviation for "Integrated Circuit”.
  • CPU is an abbreviation for "Central Processing Unit”.
  • ROM is an abbreviation for "Read Only Memory”.
  • RAM is an abbreviation for "Random Access Memory”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory".
  • FPGA Field-Programmable Gate Array
  • PLD is an abbreviation for "Programmable Logic Device”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • JPEG is an abbreviation for "Joint Photographic Experts Group”.
  • the technique of the present disclosure will be described by taking an interchangeable lens digital camera as an example.
  • the technique of the present disclosure is not limited to the interchangeable lens type, and can be applied to a digital camera with an integrated lens.
  • FIG. 1 shows an example of the front side of the image pickup apparatus 10.
  • the image pickup apparatus 10 is a digital camera with interchangeable lenses.
  • the image pickup apparatus 10 includes a main body 11 and an image pickup lens 12 interchangeably attached to the main body 11.
  • the image pickup lens 12 is attached to the front surface 11C side of the main body 11 via the camera side mount 11A and the lens side mount 12A (see FIG. 3).
  • the image pickup lens 12 is an example of a lens according to the technique of the present disclosure.
  • a dial 13 and a release button 14 are provided on the upper surface of the main body 11.
  • the dial 13 is operated when setting the operation mode or the like.
  • the operation mode of the image pickup apparatus 10 includes, for example, a still image image pickup mode, a moving image image pickup mode, and an image display mode.
  • the release button 14 is operated by the user when starting execution of still image imaging or moving image imaging.
  • FIG. 2 shows an example of the back side of the image pickup apparatus 10.
  • a display 15, an instruction key 16, and a finder eyepiece 18 of a finder are provided on the back surface 11D of the main body 11.
  • the finder an optical view finder or an electronic view finder can be adopted.
  • the display 15 displays an image based on an image signal obtained by imaging, various menu screens, and the like.
  • the instruction key 16 receives various instructions.
  • FIG. 3 shows an example of the internal configuration of the image pickup apparatus 10.
  • the main body 11 and the image pickup lens 12 are electrically connected to each other by contacting the electric contact 11B provided on the camera side mount 11A and the electric contact 12B provided on the lens side mount 12A.
  • the image pickup lens 12 includes an objective lens 30, a focus lens 31, a rear end lens 32, and an aperture 33. Each member is arranged in the order of the objective lens 30, the aperture 33, the focus lens 31, and the rear end lens 32 from the objective side along the optical axis LA of the image pickup lens 12. It constitutes an objective lens 30, a focus lens 31, a rear end lens 32, and an image pickup optical system.
  • the type, number, and arrangement order of the lenses constituting the imaging optical system are not limited to the example shown in FIG.
  • the image pickup lens 12 has a lens drive control unit 34.
  • the lens drive control unit 34 is composed of, for example, a CPU, a RAM, a ROM, and the like.
  • the ROM also includes a rewritable EEPROM, a flash memory, and the like.
  • the lens drive control unit 34 is electrically connected to the processor 40 in the main body 11 via the electric contact 12B and the electric contact 11B.
  • the lens drive control unit 34 drives the focus lens 31 and the aperture 33 based on the control signal transmitted from the processor 40.
  • the lens drive control unit 34 controls the drive of the focus lens 31 based on the focus adjustment control signal transmitted from the processor 40 in order to adjust the focus of the image pickup lens 12.
  • the processor 40 performs the focus adjustment of the phase difference method.
  • the main body 11 is provided with an image sensor 20, a processor 40, an operation unit 42, a memory 45, and a display 15.
  • the operation of the image pickup sensor 20, the memory 45, and the display 15 is controlled by the processor 40.
  • the processor 40 is composed of, for example, a CPU, a RAM, a ROM, and the like. In this case, the processor 40 executes various processes based on the program 45A stored in the memory 45.
  • the processor 40 may be composed of an aggregate of a plurality of IC chips.
  • the image sensor 20 is, for example, a CMOS type image sensor.
  • the image pickup sensor 20 is an example of the "image pickup element" according to the technique of the present disclosure.
  • the display 15 displays an image based on the image data generated by the image processing unit 52 (see FIG. 4). Images include still images, moving images, and live view images.
  • the live view image is an image that is displayed in real time on the display 15 by sequentially outputting the image data generated by the image processing unit 52 to the display 15.
  • the image data generated by the image processing unit 52 can be stored in an internal memory (not shown) built in the main body 11 or a storage medium (for example, a memory card) that can be attached to and detached from the main body 11.
  • a storage medium for example, a memory card
  • the operation unit 42 includes the dial 13, the release button 14, and the instruction key 16 (see FIGS. 1 and 2) described above.
  • the processor 40 controls each unit in the main body 11 and the lens drive control unit 34 in the image pickup lens 12 according to the operation of the operation unit 42.
  • FIG. 4 shows an example of the functional configuration of the processor 40.
  • the processor 40 realizes various functional units by executing processing according to the program 45A stored in the memory 45.
  • the processor 40 is realized with a main control unit 50, an image pickup control unit 51, and an image processing unit 52.
  • the main control unit 50 comprehensively controls the operation of the image pickup apparatus 10 based on the instruction signal input from the operation unit 42.
  • the image pickup control unit 51 executes an image pickup process for causing the image pickup sensor 20 to perform an image pickup operation by controlling the image pickup sensor 20.
  • the image pickup control unit 51 drives the image pickup sensor 20 in the still image image pickup mode or the moving image image pickup mode.
  • the user can select between the still image imaging mode and the moving image imaging mode by the operation unit 42. Further, the user can set the exposure value including the shutter speed and the aperture value by operating the operation unit 42.
  • the user can select the automatic exposure mode by operating the operation unit 42.
  • the main control unit 50 obtains the optimum values of the shutter speed and the aperture value by calculation using the brightness of the image signal obtained by the image pickup sensor 20 and the program diagram.
  • the image processing unit 52 generates image data in a default file format (for example, JPEG format) by performing various image processing on the image signal.
  • a default file format for example, JPEG format
  • FIG. 5 shows an example of the configuration of the image pickup sensor 20.
  • the image sensor 20 shown in FIG. 5 is a CMOS type image sensor.
  • the image pickup sensor 20 includes an image pickup region 21, a vertical scan circuit 22, a line memory 23, a horizontal scan circuit 24, and an output amplifier 25.
  • a plurality of pixels 26 are arranged in a two-dimensional matrix along the X direction and the Y direction. Further, in the imaging region 21, a plurality of row selection lines L1 and a plurality of row reset lines L2 are wired along the X direction, and a plurality of column signal lines L3 are wired along the Y direction. ..
  • the column signal line L3 extends in the Y direction.
  • the row selection line L1 and the row reset line L2 extend in the X direction intersecting the Y direction.
  • the Y direction is an example of the "first direction” according to the technique of the present disclosure.
  • the X direction is an example of the "second direction” according to the technique of the present disclosure.
  • the pixel 26 is connected to the row selection line L1, the row reset line L2, and the column signal line L3.
  • a plurality of pixels 26 arranged in the X direction may be simply referred to as “rows”.
  • some of the plurality of pixels 26 are phase difference pixels for adjusting the focus.
  • the pixel 26 has a photodiode D1, an amplifier transistor M1, a pixel selection transistor M2, and a reset transistor M3.
  • the photodiode D1 generates a signal charge according to the amount of incident light by photoelectric conversion of the incident light, and accumulates the generated signal charge.
  • the amplifier transistor M1 generates a voltage (hereinafter referred to as a pixel signal S) corresponding to the amount of the signal charge stored in the photodiode D1.
  • the pixel selection transistor M2 is controlled by the vertical scanning circuit 22 via the row selection line L1 and outputs the pixel signal S generated by the amplifier transistor M1 to the column signal line L3.
  • the reset transistor M3 is controlled by the vertical scanning circuit 22 via the row reset line L2, and discards the signal charge accumulated in the photodiode D1 to the power supply line. Hereinafter, discarding the signal charge from the photodiode D1 is said to reset the pixel 26.
  • the vertical scanning circuit 22 generates a row selection signal SEL and a reset signal RST based on the vertical synchronization signal input from the image pickup control unit 51.
  • the vertical scanning circuit 22 supplies the row selection signal SEL to the row selection line L1 during the signal reading operation, so that the pixel signal S is output from the pixel 26 connected to the row selection line L1 to the column signal line L3.
  • the vertical scanning circuit 22 resets the pixel 26 connected to the row reset line L2 by giving a reset signal RST to the row reset line L2 during the reset operation. For example, the reset of the pixel 26 connected to the row reset line L2 in the nth row is performed while the pixel signal S is being read from the pixel 26 connected to the row selection line L1 in the n + 1 row.
  • the line memory 23 stores the pixel signal S output from the pixel 26 for one line.
  • the line memory 23 is composed of a capacitor or the like.
  • the line memory 23 is connected to the horizontal output line 24A via a transistor 29 as a switch.
  • the output amplifier 25 is connected to the end of the horizontal output line 24A.
  • the horizontal scanning circuit 24 sequentially outputs the pixel signals S for one line stored in the line memory 23 to the horizontal output line 24A by performing horizontal scanning in which the transistors 29 are sequentially selected.
  • the pixel signal S output to the horizontal output line 24A is output to an external image processing unit 52 as an image signal via the output amplifier 25.
  • the operations of the vertical scanning circuit 22, the line memory 23, and the horizontal scanning circuit 24 are controlled by the image pickup control unit 51 (see FIG. 4).
  • the image pickup control unit 51 By controlling the vertical scanning circuit 22, the image pickup control unit 51 outputs the pixel signal S while selecting the line selection line L1 line by line in order. Further, the image pickup control unit 51 resets the pixel 26 by controlling the vertical scanning circuit 22 while selecting the row reset line L2 line by line in order.
  • the imaging control unit 51 drives the imaging sensor 20 in the frame period T (see FIG. 10).
  • the image pickup control unit 51 causes the image pickup sensor 20 to repeatedly execute the operation of reading and resetting the image signal at the frame cycle corresponding to the frame rate.
  • the configuration of the image pickup sensor 20 is not limited to the configuration shown in FIG.
  • the image pickup sensor 20 may be provided with an A / D converter.
  • the plurality of pixels 26 arranged in the imaging region 21 include imaging pixels N for imaging and retardation pixels P1 and P2.
  • FIG. 6 shows an example of the configuration of the image pickup pixel N.
  • FIG. 7 shows an example of the configuration of the retardation pixels P1 and P2.
  • the phase difference pixels P1 and P2 each receive one of the light fluxes divided in the X direction about the main ray.
  • the image pickup pixel N includes a photodiode D1 as a photoelectric conversion element, a color filter CF, and a microlens ML.
  • the color filter CF is arranged between the photodiode D1 and the microlens ML.
  • the color filter CF is a filter that transmits light of any one of R (red), G (green), and B (blue).
  • the microlens ML collects the luminous flux LF incident from the exit pupil EP of the image pickup lens 12 to substantially the center of the photodiode D1 via the color filter CF.
  • the retardation pixels P1 and P2 are configured to include a photodiode D1, a light-shielding layer SF, and a microlens ML, respectively. Similar to the image pickup pixel N, the microlens ML collects the luminous flux LF incident from the exit pupil EP of the image pickup lens 12 substantially in the center of the photodiode D1.
  • the light-shielding layer SF is formed of a metal film or the like and is arranged between the photodiode D1 and the microlens ML.
  • the light-shielding layer SF shields a part of the light flux LF incident on the photodiode D1 via the microlens ML.
  • the light-shielding layer SF shields the negative side (first side) in the X direction with respect to the center of the photodiode D1. That is, in the retardation pixel P1, the light-shielding layer SF causes the luminous flux LF from the exit pupil EP1 on the first side to enter the photodiode D1 and is from the exit pupil EP2 on the positive side (second side) in the X direction.
  • the luminous flux LF is shielded.
  • the light-shielding layer SF shields light from the positive side (second side) in the X direction with respect to the center of the photodiode D1. That is, in the retardation pixel P2, the light-shielding layer SF causes the luminous flux LF from the exit pupil EP2 on the second side to enter the photodiode D1 and is from the exit pupil EP1 on the negative side (first side) in the X direction.
  • the luminous flux LF is shielded.
  • FIG. 8 shows an example of the pixel arrangement of the image pickup sensor 20.
  • the color arrangement of the color filter CF shown in FIG. 8 is a so-called bayer arrangement.
  • the bayer array is a color array in which the color filter CF of G is arranged in two diagonal pixels of the four pixels of 2 ⁇ 2, and the color filter CFs of R and B are arranged in the other two pixels.
  • “R” in FIG. 8 represents the image pickup pixel N provided with the color filter CF of R.
  • “G” represents an image pickup pixel N provided with a color filter CF of G.
  • “B” represents the image pickup pixel N provided with the color filter CF of B.
  • the color arrangement of the color filter CF is not limited to the bayer arrangement, and may be another color arrangement.
  • the phase difference pixels P1 and P2 are arranged in the image pickup region 21 by replacing a part of the image pickup pixels N in the bayer array.
  • the phase difference pixels P1 and P2 are arranged in the X direction.
  • one of the phase difference pixels P1 and P2 is arranged every three pixels (that is, every two pixels) in the X direction. That is, two imaging pixels N (B and G) are arranged between the phase difference pixel P1 and the phase difference pixel P2.
  • the phase difference pixels P1 and P2 are arranged every 18 pixels in the Y direction.
  • a plurality of image pickup pixels N (R and G) are arranged between the retardation pixels P1 arranged in the Y direction.
  • a plurality of image pickup pixels N (B and G) are arranged between the retardation pixels P2 arranged in the Y direction.
  • the arrangement pattern of the phase difference pixels P1 and P2 is not limited to the example shown in FIG.
  • the retardation pixels P1 and P2 may be arranged adjacent to each other in the X direction.
  • Reference numeral R1 represents a first phase difference pixel region in which a plurality of phase difference pixels P1 and P2 are arranged in the X direction.
  • reference numeral R2 represents a first phase difference pixel region in which a plurality of phase difference pixels P1 and P2 are arranged in the X direction.
  • the first phase difference pixel region R1 and the second phase difference pixel region R2 are arranged in the Y direction with the image pickup pixel region RA including only the image pickup pixel N interposed therebetween.
  • the first phase difference pixel area R1 and the second phase difference pixel area R2 have the same pixel configuration.
  • the first phase difference pixel region R1 and the second phase difference pixel region R2 are scanned at different timings by the vertical scanning circuit 22, and signals are not read out within the same frame period (see FIG. 10). ). That is, the first phase difference pixel region R1 and the second phase difference pixel region R2 are interlaced reading methods, and signals are alternately read out at each frame period.
  • FIG. 9 shows the pixels from which the signal is read out in the moving image imaging mode.
  • the first phase difference pixel region R1 and the second phase difference pixel region R2 are alternately arranged in the Y direction with the image pickup pixel region RA interposed therebetween.
  • the imaging pixel area RA, the first phase difference pixel area R1, and the second phase difference pixel area R2 are reset and signal read out independently of each other.
  • pixel thinning out is performed in the image pickup pixel area RA.
  • the image pickup pixel area RA pixels are thinned out every three rows.
  • the hatched pixel in FIG. 9 is a pixel in which signal reading is not performed.
  • FIG. 10 shows an example of the imaging timing of the imaging sensor 20 in the moving image imaging mode.
  • the frame period T for moving image imaging is defined by the vertical synchronization signal VD supplied from the imaging control unit 51 to the vertical scanning circuit 22.
  • the vertical scanning circuit 22 independently receives the row selection signal SEL and the reset signal RST for the image pickup pixel area RA, the first phase difference pixel area R1, and the second phase difference pixel area R2 based on the vertical synchronization signal VD. Supply.
  • the vertical scanning circuit 22 supplies the row selection signal SEL to the image pickup pixel area RA, the first phase difference pixel area R1, and the second phase difference pixel area R2 in synchronization with the vertical synchronization signal VD.
  • the vertical scanning circuit 22 supplies the row selection signal SEL to the image pickup pixel region RA for each frame period T.
  • the vertical scanning circuit 22 supplies the row selection signal SEL to the first phase difference pixel region R1 and the second phase difference pixel region R2 with a period twice the frame period T (a period twice the frame period T). ..
  • the row selection signal SEL supplied to the first phase difference pixel region R1 and the row selection signal SEL supplied to the second phase difference pixel region R2 are out of phase by the frame period T.
  • the vertical scanning circuit 22 supplies a reset signal RST according to the exposure time of each of the image pickup pixel area RA, the first phase difference pixel area R1, and the second phase difference pixel area R2.
  • the exposure time is the time from the input of the reset signal RST to the input of the row selection signal SEL (that is, the charge accumulation time) in each row.
  • the exposure period shifts from row to row. That is, the image sensor 20 exposes with a focal plane type electronic shutter.
  • the hatched period in FIG. 10 is a light-shielding period. The reset may be repeatedly executed during the shading period.
  • the exposure time of the image pickup pixel region RA (hereinafter referred to as the image capture exposure time) ERA is set to be less than the frame period T (that is, ERA ⁇ T).
  • the exposure exposure time ERA for imaging corresponds to the shutter speed set by the operation of the operation unit 42.
  • the exposure time ERA for imaging corresponds to the shutter speed determined by the automatic exposure mode.
  • the exposure time of the first phase difference pixel region R1 (hereinafter referred to as the first exposure time) ER1 is set to less than twice the frame period T (that is, ER1 ⁇ 2T).
  • the first exposure time ER1 is a fixed value.
  • the first exposure time ER1 may be a value that changes in conjunction with the exposure time ERA for imaging.
  • the first exposure time ER1 is different from the exposure time ERA for imaging, and is set to a value that satisfies the relationship of, for example, ERA ⁇ ER1 ⁇ 2T.
  • the exposure time of the second phase difference pixel region R2 (hereinafter referred to as the second exposure time) ER2 is set to less than twice the frame period T (that is, ER2 ⁇ 2T).
  • the second exposure time ER2 is a fixed value.
  • the second exposure time ER2 may be a value that changes in conjunction with the exposure time ERA for imaging.
  • the second exposure time ER2 is different from the exposure time ERA for imaging, and is set to a value that satisfies the relationship of, for example, ERA ⁇ ER2 ⁇ 2T.
  • the period for reading a signal from the first phase difference pixel area R1 is defined as the first frame period
  • the period for reading the signal from the second phase difference pixel area R2 is defined as the second frame period.
  • the signal reading from the image pickup pixel region RA is performed in both the first frame period and the second frame period.
  • the signal reading is started from the second phase difference pixel region R2 in the second frame period.
  • the signal read is started from the first phase difference pixel region R1 in the first frame period.
  • the main control unit 50 determines whether or not there is an instruction to start moving image imaging by the operation of the operation unit 42 (step S10).
  • the main control unit 50 determines that there is an instruction to start moving image imaging (step S10: YES)
  • the main control unit 50 controls the image pickup control unit 51 to cause the image pickup sensor 20 to perform an image pickup operation in the frame period T.
  • the first read process is executed (step S11).
  • the first read-out process is a process of reading a signal from the first phase difference pixel region R1 during the first frame period.
  • the main control unit 50 adjusts the focus of the phase difference method based on the signals output from the phase difference pixels P1 and P2 included in the first phase difference pixel region R1 (step S12). ). Specifically, the main control unit 50 sets the focus lens 31 so that the phase difference between the image based on the signal output from the phase difference pixel P1 and the image based on the signal output from the phase difference pixel P2 is small. Adjust the position.
  • the main control unit 50 causes the image pickup sensor 20 to execute the second readout process (step S13).
  • the second read-out process is a process of reading a signal from the second phase difference pixel region R2 during the second frame period following the first frame period.
  • step S14 the main control unit 50 adjusts the focus of the phase difference method based on the signals output from the phase difference pixels P1 and P2 included in the second phase difference pixel region R2 (step S14). ).
  • the process of step S14 is the same as the process of step S12.
  • step S15 determines whether or not there is an instruction to end the moving image imaging by the operation of the operation unit 42 (step S15).
  • step S15: NO the main control unit 50 determines that there is no instruction to end the moving image imaging
  • step S11 the process shifts to step S11, and the imaging sensor 20 is made to execute the first readout process.
  • step S15: YES the main control unit 50 ends the process.
  • the first readout process and the second readout process are repeatedly executed.
  • the first phase difference pixel region R1 and the second phase difference pixel region R2 are independently read out at a cycle twice the frame period T, so that the first exposure time ER1 and The second exposure time ER2 can be set to exceed the frame period T (that is, T ⁇ ER1 and T ⁇ ER2 ), respectively. That is, according to the present embodiment, the exposure time of the phase difference pixels P1 and P2 is set to exceed the frame period T, and the signal can be read from the phase difference pixels P1 and P2 for each frame period T.
  • the phase difference pixels P1 and P2 each have a light-shielding layer SF, the amount of light received is smaller than that of the image pickup pixel N (see FIGS. 6 and 7). If the first exposure time ER1 and the second exposure time ER2 are made equal to the imaging exposure time ERA , respectively, the light receiving amount of the retardation pixels P1 and P2 is small, so that the accuracy of focus adjustment is lowered. On the other hand, according to the present embodiment, the first exposure time ER1 and the second exposure time ER2 can be made longer than the imaging exposure time ERA , respectively, and further made longer than the frame period T. Therefore, the amount of light received by the retardation pixels P1 and P2 increases. This improves the accuracy of focus adjustment.
  • the first embodiment is particularly suitable when the exposure time for imaging is short (that is, the set frame rate is high or the shutter speed is fast).
  • the above focus adjustment is not limited to the moving image imaging mode in which the moving image data is recorded in the memory 45 or the like, and can also be applied to the live view display mode in which the moving image data is displayed in real time on the display 15 or the finder without being recorded. be.
  • the focus adjustment control in the moving image imaging mode is different from that in the first embodiment.
  • FIG. 12 shows an example of the imaging timing in the moving image imaging mode according to the second embodiment.
  • the image pickup sensor 20 executes the above-mentioned first read-out process twice based on the control of the main control unit 50, and performs the above-mentioned second read-out process every time the first read-out process is executed twice. Execute once. Therefore, in the present embodiment, the first frame period is continued twice after the second frame period.
  • the second exposure time ER2 is 2 times or more and less than 3 times the frame period T (that is, 2T ⁇ ER2 ⁇ 3T), and during the exposure period of the second phase difference pixel region R2 .
  • the first read process is executed twice. Further, the first exposure time ER1 is less than the frame period T.
  • the main control unit 50 can perform focus adjustment control according to the brightness of the subject based on the signals of the phase difference pixels P1 and P2 whose exposure times are significantly different.
  • the main control unit 50 may adjust the focus by selecting either a long exposure signal or a short exposure signal according to the brightness of the subject. Further, the main control unit 50 may adjust the focus based on the addition signal of the long exposure signal and the short exposure signal.
  • the brightness of the subject may be detected based on the signal read from the image pickup pixel area RA. It is preferable to execute the focus adjustment control of the present embodiment when the brightness of the subject is large (that is, the dynamic range is wide).
  • FIG. 13 shows an example of the imaging timing in the moving image imaging mode according to the modified example of the second embodiment.
  • the first exposure time ER1 of the first phase difference pixel region R1 in which the signal is read out during the first frame period following the second frame period is set to exceed the frame period T (that is, T ⁇ ER1 ).
  • the exposure time of the seed can be set.
  • the second exposure time ER2 is twice or more and less than three times the frame period T, but the second exposure time ER2 may be twice or more the frame period T. It is possible.
  • the first readout process is executed K times during the exposure period of the second phase difference pixel region R2 , and the first The second read process may be executed once every time the read process is executed K times.
  • K is an integer of 2 or more.
  • the focus adjustment control of the first embodiment is set to the first mode and the focus adjustment control of the second embodiment (see FIG. 12) is set to the second mode
  • the first mode and the second mode are set.
  • the main control unit 50 may be configured to switch between the first mode and the second mode according to the brightness of the subject.
  • FIG. 14 is a flowchart showing an example of the switching process between the first mode and the second mode.
  • the main control unit 50 determines whether or not there is an instruction to start moving image imaging by the operation of the operation unit 42 (step S20).
  • step S20 determines that there is an instruction to start moving image imaging
  • step S21 the main control unit 50 detects the brightness of the subject based on the signal read from the imaging pixel area RA (step S21).
  • step S22 determines whether or not the dynamic range needs to be a certain value or more.
  • step S22: NO the main control unit 50 selects the first mode (step S23).
  • step S24 the main control unit 50 selects the second mode (step S24).
  • step S25 determines whether or not there is an instruction to end the moving image imaging by the operation of the operation unit 42 (step S25).
  • step S25: NO the main control unit 50 determines that there is no instruction to end the moving image imaging
  • step S21 the process proceeds to step S21 to detect the brightness of the subject.
  • step S25: YES the main control unit 50 ends the process.
  • the second mode is selected.
  • the retardation pixels P1 and P2 are exposed at a plurality of exposure times, so that even when the dynamic range is large, the retardation pixels P1 and P2 are based on the signals read from the retardation pixels P1 and P2. , The focus can be adjusted accurately.
  • the image sensor 20 is provided with three phase difference pixel regions, a first phase difference pixel region R1, a second phase difference pixel region R2, and a third phase difference pixel region R3.
  • FIG. 15 shows the pixels from which the signal is read out in the moving image imaging mode in the third embodiment.
  • the first phase difference pixel area R1, the second phase difference pixel area R2, and the third phase difference pixel area R3 are repeatedly arranged in the Y direction. In the Y direction, between the first phase difference pixel area R1 and the second phase difference pixel area R2, between the second phase difference pixel area R2 and the third phase difference pixel area R3, and the third phase difference pixel area R3.
  • An image pickup pixel area RA is arranged between the first phase difference pixel area R1 and the image pixel area R1.
  • the exposure times of the retardation pixels P1 and P2 are set to be twice or more the frame period T by independently resetting and reading out the signals for each of the three retardation pixel regions. It can be less than 3 times.
  • FIG. 16 shows an example of the imaging timing according to the third embodiment.
  • the main control unit 50 sequentially selects the first phase difference pixel area R1, the second phase difference pixel area R2, and the third phase difference pixel area R3 for each frame period T, and reads out a signal.
  • the first exposure time ER1 , the second exposure time ER2 , and the third exposure time ER3 are different from the imaging exposure time ERA , respectively.
  • the first exposure time ER1 , the second exposure time ER2 , and the third exposure time ER3 may be different from each other.
  • the image pickup sensor 20 with four phase difference pixel regions.
  • the main control unit 50 is used to provide the phase difference pixel area.
  • N is an integer of 3 or more.
  • FIG. 17 shows an example of the imaging timing in the third mode.
  • the main control unit 50 does not read a signal from the second phase difference pixel area R2 of the first phase difference pixel area R1 and the second phase difference pixel area R2 (see FIG. 9), and the first A signal is read out for each frame period T only from the phase difference pixel region R1. That is, the main control unit 50 can execute the third mode in which only the first read process is repeated without performing the second read process.
  • the above-mentioned first mode and third mode can be switched.
  • the main control unit 50 switches between the first mode and the third mode according to the moving speed of the subject.
  • the main control unit 50 detects the moving speed of the subject by obtaining the moving vector of the subject between frames based on the signal read from the image pickup pixel region RA for each frame period T.
  • the first mode In the first mode shown in the first embodiment, signals are read from the phase difference pixels P1 and P2 that differ between frames, so that high-resolution phase difference information can be obtained. Therefore, the first mode is particularly suitable for focus adjustment control in a situation where the movement of the subject is small. On the other hand, the third mode is suitable for focus adjustment control in a situation where the subject moves a lot because the positions of the phase difference pixels P1 and P2 read out between frames do not change.
  • FIG. 18 is a flowchart showing an example of the switching process between the first mode and the third mode.
  • the main control unit 50 determines whether or not there is an instruction to start moving image imaging by the operation of the operation unit 42 (step S30).
  • step S30 When the main control unit 50 determines that there is an instruction to start moving image imaging (step S30: YES), the main control unit 50 detects the moving speed of the subject based on the signal read from the imaging pixel area RA (step S31). Next, the main control unit 50 determines whether or not the detected moving speed is equal to or higher than a certain value (step S32). When the main control unit 50 determines that the moving speed is less than a certain value (step S32: NO), the main control unit 50 selects the first mode (step S33). On the other hand, when the main control unit 50 determines that the moving speed is equal to or higher than a certain value (step S32: YES), the main control unit 50 selects the third mode (step S34).
  • step S35 determines whether or not there is an instruction to end the moving image imaging by the operation of the operation unit 42 (step S35).
  • step S35: NO the main control unit 50 determines that there is no instruction to end the moving image imaging
  • step S31 the process proceeds to step S31 to detect the brightness of the subject.
  • step S35: YES the main control unit 50 ends the process.
  • the third mode is selected.
  • the positions of the phase difference pixels P1 and P2 read out between the frames do not change, so that the focus can be adjusted with high accuracy.
  • a pair of phase difference pixels P1 and P2 are included in each of the first phase difference pixel region R1 and the second phase difference pixel region R2 (see FIGS. 8 and 9). ..
  • the phase difference pixels P1 and P2 included in the first phase difference pixel region R1 are referred to as "a pair of first phase difference pixels P1 and P2”.
  • the phase difference pixels P1 and P2 included in the second phase difference pixel region R2 are referred to as "a pair of second phase difference pixels P1 and P2".
  • first retardation pixels P1 and P2 are arranged in the same row, they are selected by the same row selection line L1 (see FIG. 5).
  • second phase difference pixels P1 and P2 are arranged in the same row, they are selected by the same row selection line L1.
  • FIG. 19 shows an example of the pixel arrangement of the image pickup sensor 20 according to this modification.
  • two types of first retardation pixel regions a first retardation pixel region R1a and a first retardation pixel region R1b, are provided.
  • two types of second phase difference pixel regions a second phase difference pixel region R2a and a second phase difference pixel region R2b, are provided.
  • the first phase difference pixel region R1a includes only the first phase difference pixel P1 among the pair of first phase difference pixels P1 and P2.
  • the first phase difference pixel region R1b includes only the first phase difference pixel P2 among the pair of first phase difference pixels P1 and P2.
  • the first retardation pixel region R1a and the first retardation pixel region R1b are arranged in the Y direction with the image pickup pixel region RA interposed therebetween.
  • the second phase difference pixel region R2a includes only the second phase difference pixel P1 among the pair of second phase difference pixels P1 and P2.
  • the second phase difference pixel region R2b includes only the second phase difference pixel P2 among the pair of second phase difference pixels P1 and P2.
  • the second phase difference pixel region R2a and the second phase difference pixel region R2b are arranged in the Y direction with the image pickup pixel region RA interposed therebetween.
  • first retardation pixels P1 and P2 are arranged in different rows, they are selected by the two row selection lines L1 arranged in the Y direction.
  • second phase difference pixels P1 and P2 are arranged in different rows, they are each selected by the two row selection lines L1 arranged in the Y direction.
  • the first phase difference pixel areas R1a and R1b and the second phase difference pixel areas R2a and R2b are repeatedly arranged in the Y direction with the image pickup pixel area RA interposed therebetween.
  • FIG. 20 shows the pixels from which the signal is read out in the moving image imaging mode in this modification.
  • the first phase difference pixel regions R1a and R1b are read out during the first frame period.
  • the second phase difference pixel regions R2a and R2b are read out during the second frame period.
  • Other imaging operations are the same as those of the first embodiment.
  • the first phase difference pixel region R1a and the first phase difference pixel region R1b may be provided adjacent to each other in the Y direction. Further, the second phase difference pixel region R2a and the second phase difference pixel region R2b may be provided adjacent to each other in the Y direction.
  • the image sensor 20 according to this modification is a so-called dual pixel CMOS image sensor in which each pixel 26 is composed of two photodiodes.
  • FIG. 21 shows the pixel configuration of the image pickup sensor 20 according to this modification.
  • the phase difference pixel and the imaging pixel have the same configuration.
  • the pixel 26 includes a pair of photodiodes D1a and D1b, a color filter CF, and a microlens ML.
  • the pair of photodiodes D1a and D1b are arranged below the color filter CF so as to be adjacent to each other in the X direction.
  • the photodiode D1a receives the luminous flux LF from the exit pupil EP1 among the exit pupils EP1 and EP2 divided in the X direction.
  • the photodiode D1b receives the luminous flux LF from the exit pupil EP2 among the exit pupils EP1 and EP2 divided in the X direction.
  • the pixel 26 functions as an image pickup pixel by reading signals from both of the pair of photodiodes D1a and D1b and adding the read signals. Further, the pixel 26 functions as a phase difference pixel by reading a signal from one of the pair of photodiodes D1a and D1b.
  • the arrangement of the first retardation pixel region R1, the second retardation pixel region R2, and the image pickup pixel region RA in this modification is the same as that of the first embodiment (see FIGS. 8 and 9).
  • the main control unit 50 reads a signal from one of the pair of photodiodes D1a and D1b for at least a part of the pixels 26 included in the first phase difference pixel region R1. Similarly, the main control unit 50 reads a signal from one of the pair of photodiodes D1a and D1b for at least a part of the pixels 26 included in the second phase difference pixel region R2. Further, the main control unit 50 reads signals from both the pair of photodiodes D1a and D1b for the pixel 26 included in the image pickup pixel region RA.
  • all the pixels 26 in the first phase difference pixel area R1 and the second phase difference pixel area R2 may function as phase difference pixels.
  • the image pickup sensor 20 is composed of an image pickup region 21, a vertical scanning circuit 22, a line memory 23, a horizontal scanning circuit 24, and an output amplifier 25. , May be composed of only the imaging region 21.
  • the vertical scanning circuit 22, the line memory 23, the horizontal scanning circuit 24, and the output amplifier 25 may be provided in the processor 40.
  • various processors shown below can be used as the hardware structure of the control unit using the processor 40 as an example.
  • the various processors include, in addition to a CPU, which is a general-purpose processor that functions by executing software (program), a processor whose circuit configuration can be changed after manufacturing such as FPGA.
  • the FPGA includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for performing a specific process such as a PLD or an ASIC.
  • the control unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of. Further, the plurality of control units may be configured by one processor.
  • control units are configured with one processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor functions as a plurality of control units.
  • a processor that realizes the functions of the entire system including a plurality of control units with one IC chip is used, as typified by a system on chip (SOC).
  • SOC system on chip
  • the control unit can be configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • Imaging device 11 Main unit 11A Camera side mount 11B Electrical contact 11C Front 11D Back surface 12 Imaging lens 12A Lens side mount 12B Electrical contact 13 Dial 14 Release button 15 Display 16 Instruction key 18 Finder Eyepiece 20 Imaging sensor 21 Imaging area 22 Vertical scanning Circuit 23 Line memory 24 Horizontal scanning circuit 24A Horizontal output line 25 Output amplifier 26 pixels 29 Transistor 30 Objective lens 31 Focus lens 32 Rear end lens 33 Aperture 34 Lens drive control unit 40 Processor 42 Operation unit 45A Program 50 Main control unit 51 Imaging control unit 52 Image processing unit CF color filter D1, D1a, D1b Photo diode EP, EP1, EP2 Ejection pupil ER1 First exposure time ER2 Second exposure time ER3 Third exposure time ERA Exposure time for imaging L1 line Selection line L2 line Reset line L3 Row signal line LA Optical axis LF Light beam M1 Amplifier transistor M2 Pixel selection transistor M3 Reset transistor ML Microlens N Imaging pixel P1, P2 Phase difference pixel R1, R1a, R1b First phase difference pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

位相差画素の露光時間をフレーム周期以上とし、かつ、フレーム周期ごとに位相差画素から信号を読み出すことを可能とする撮像装置、駆動方法、及びプログラムを提供する。撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有する。プロセッサは、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行するように構成されている。第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。

Description

撮像装置、撮像装置の駆動方法、及びプログラム
　本開示の技術は、撮像装置、撮像装置の駆動方法、及びプログラムに関する。
　特許文献１に記載の撮像装置は、複数の画素が２次元的に配列された撮像素子であって、撮影レンズにより結像される被写体像を光電変換して画像生成用の信号を生成する撮像用画素と、複数の撮像用画素の間に離散的に配置され、撮影レンズの瞳領域を分割して、分割された瞳領域からの被写体像を光電変換して位相差検出用の信号を生成する焦点検出用画素とを有する撮像素子と、複数の画素の全画素の信号を読み出す全画素読み出しモードと、複数の画素の信号を間引いて読み出す間引き読み出しモードとを切り替える切り替え部と、切り替え部により間引き読み出しモードに切り替えられた場合に、画像生成のために用いられる撮像行と、焦点検出用画素を有する焦点検出行とで、独立して電荷の蓄積制御を行う制御部とを備える。
特開２０１０－２１９９５８号公報
　本開示の技術に係る一つの実施形態は、位相差画素の露光時間をフレーム周期以上とし、かつ、フレーム周期ごとに位相差画素から信号を読み出すことを可能とする撮像装置、駆動方法、及びプログラムを提供する。
　上記目的を達成するために、本開示の撮像装置は、プロセッサと、第１方向に延在する信号を読み出す列信号線と、第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有し、プロセッサは、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行するように構成され、第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。
　第１露光時間及び第２露光時間は、それぞれフレーム周期超過であることが好ましい。
　第１露光時間と第２露光時間とは、互いに異なることが好ましい。
　プロセッサは、第１読み出し処理と第２読み出し処理とを交互に実行し、第１露光時間及び第２露光時間をそれぞれフレーム周期の２倍未満とする、第１モードを実行可能とすることが好ましい。
　プロセッサは、Ｋを２以上の整数とした場合に、第２露光時間をフレーム周期のＫ倍以上で、かつＫ＋１倍未満とし、第２位相差画素領域の露光期間中に第１読み出し処理をＫ回実行し、第１読み出し処理をＫ回実行するたびに第２読み出し処理を１回実行する、第２モードを実行可能とすることが好ましい。
　第２モードにおいて、第１露光時間は、フレーム周期未満であることが好ましい。
　プロセッサは、被写体の明るさに応じて、第１モードと第２モードとを切り替えることが好ましい。
　プロセッサは、第２読み出し処理を行わず、第１読み出し処理のみを繰り返す第３モードを実行可能とすることが好ましい。
　プロセッサは、被写体の移動速度に応じて第１モードと第３モードとを切り替えることが好ましい。
　Ｎを３以上の整数とした場合に、撮像素子は、第２方向に配列された第１位相差画素領域から第Ｎ位相差画素領域のＮ個の位相差画素領域を有し、プロセッサは、位相差画素領域の各々をフレーム周期ごとに選択して信号を読み出し、かつ、位相差画素領域の露光時間を、フレーム周期のＮ倍未満とすることが好ましい。
　撮像素子は、第２方向に延在する複数の行選択線を含み、第１位相差画素領域は、複数の位相差画素として１対の第１位相差画素を含み、第２位相差画素領域は、複数の位相差画素として１対の第２位相差画素を含み、１対の第１位相差画素は、同一の行選択線によって選択され、１対の第２位相差画素は、同一の行選択線によって選択され、第１位相差画素領域と第２位相差画素領域は、撮像画素領域を挟んで第１方向に交互に配置されていることが好ましい。
　撮像素子は、第２方向に延在する複数の行選択線を含み、第１位相差画素領域は、複数の位相差画素として１対の第１位相差画素を含み、第２位相差画素領域は、複数の位相差画素として１対の第２位相差画素を含み、１対の第１位相差画素は、第１方向に並ぶ複数の行選択線によって各々選択され、１対の第２位相差画素は、第１方向に並ぶ複数の行選択線によって各々選択され、第１位相差画素領域と第２位相差画素領域は、撮像画素領域を挟んで第１方向に交互に配置されていることが好ましい。
　第１位相差画素領域及び第２位相差画素領域に含まれる複数の位相差画素と、撮像画素領域にある撮像画素とは、各々一対の光電変換素子を有し、プロセッサは、複数の位相差画素においては、一対の光電変換素子の一方の信号を読み出し、撮像画素から一対の光電変換素子の両方から信号を読み出し、第１位相差画素領域と第２位相差画素領域は、撮像画素領域を挟んで第１方向に交互に配置されることが好ましい。
　本開示の撮像装置の駆動方法は、第１方向に延在する信号を読み出す列信号線と、第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有する撮像装置の駆動方法であって、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。
　本開示のプログラムは、第１方向に延在する信号を読み出す列信号線と、第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、撮像素子は、複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、第１方向において、第１位相差画素領域と第２位相差画素領域との間にある撮像画素領域とを有する撮像装置を作動させるプログラムであって、撮像素子にフレーム周期で撮像を行わせ、第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、第１位相差画素領域が露光される第１露光時間、及び、第２位相差画素領域が露光される第２露光時間は、撮像画素領域の露光時間と異なっている。
撮像装置の前面側の一例を示す概略斜視図である。 撮像装置の背面側の一例を示す概略斜視図である。 撮像装置の内部構成の一例を示す図である。 プロセッサの機能構成の一例を示すブロック図である。 撮像センサの構成の一例を示す図である。 撮像画素の構成の一例を示す図である。 位相差画素の構成の一例を示す図である。 撮像センサの画素配列の一例を示す図である。 動画撮像モード時に信号が読み出される画素を示す図である。 撮像タイミングの一例を示す図である。 焦点調節制御の一例を示すフローチャートである。 第２実施形態に係る撮像タイミングの一例を示す図である。 第２実施形態の変形例に係る撮像タイミングの一例を示す図である。 第１モードと第２モードとの切り替え処理の一例を示すフローチャートである。 第３実施形態において動画撮像モード時に信号が読み出される画素を示す図である。 第３実施形態に係る撮像タイミングの一例を示す図である。 第３モードにおける撮像タイミングの一例を示す図である。 第１モードと第３モードとの切り替え処理の一例を示すフローチャートである。 第１変形例に係る撮像センサの画素配列の一例を示す図である。 第１変形例において動画撮像モード時に信号が読み出される画素を示す図である。 第２変形例に係る撮像センサの画素構成を示す図である。
　添付図面に従って本開示の技術に係る実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　以下の説明において、「ＩＣ」は、“Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称である。「ＣＰＵ」は、“Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称である。「ＲＯＭ」は、“Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称である。「ＲＡＭ」は、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称である。「ＣＭＯＳ」は、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称である。ＥＥＰＲＯＭは、“Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒy”の略称である。
　「ＦＰＧＡ」は、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ”の略称である。「ＰＬＤ」は、“Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ”の略称である。「ＡＳＩＣ」は、“Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称である。「ＪＰＥＧ」は、“Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ”の略称である。
　本開示において、「等しい」とは、完全に等しいことの他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いで実質的に等しいことを含む。
［第１実施形態］
　撮像装置の第１実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。
（撮像装置の構成）
　図１は、撮像装置１０の前面側の一例を示す。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａ（図３参照）を介して本体１１の前面１１Ｃ側に取り付けられる。撮像レンズ１２は、本開示の技術に係るレンズの一例である。
　本体１１の上面には、ダイヤル１３及びレリーズボタン１４が設けられている。ダイヤル１３は、動作モード等の設定の際に操作される。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。レリーズボタン１４は、静止画撮像、又は動画撮像の実行を開始する際にユーザにより操作される。
　図２は、撮像装置１０の背面側の一例を示す。図２に示すように、本体１１の背面１１Ｄには、ディスプレイ１５、指示キー１６、及び、図示しないファインダのファインダ接眼部１８が設けられている。ファインダは、光学ビューファインダ又は電子ビューファインダが採用可能である。ディスプレイ１５には、撮像により得られた画像信号に基づく画像、及び各種のメニュー画面等が表示される。指示キー１６は、各種の指示を受け付ける。
　図３は、撮像装置１０の内部構成の一例を示す。本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。
　撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸ＬＡに沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図３に示す例に限定されない。
　また、撮像レンズ１２は、レンズ駆動制御部３４を有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。ＲＯＭは、書き換え可能なＥＥＰＲＯＭ、フラッシュメモリ等も含む。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。
　レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の焦点調節を行うために、プロセッサ４０から送信される焦点調節用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。プロセッサ４０は、位相差方式の焦点調節を行う。
　本体１１には、撮像センサ２０、プロセッサ４０、操作部４２、メモリ４５、及びディスプレイ１５が設けられている。撮像センサ２０、メモリ４５、及びディスプレイ１５は、プロセッサ４０により動作が制御される。プロセッサ４０は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成される。この場合、プロセッサ４０は、メモリ４５に格納されたプログラム４５Ａに基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。また、撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、本開示の技術に係る「撮像素子」の一例である。
　ディスプレイ１５は、画像処理部５２（図４参照）が生成した画像データに基づき、画像を表示する。画像には、静止画、動画、及びライブビュー画像が含まれる。ライブビュー画像は、画像処理部５２で生成された画像データを、ディスプレイ１５に順次出力することにより、ディスプレイ１５にリアルタイム表示される画像である。
　画像処理部５２が生成した画像データは、本体１１に内蔵された内部メモリ（図示せず）、又は本体１１に着脱可能な記憶媒体（例えば、メモリカード）に保存することが可能である。
　操作部４２は、前述のダイヤル１３、レリーズボタン１４、及び指示キー１６（図１及び図２参照）を含む。プロセッサ４０は、操作部４２の操作に応じて、本体１１内の各部と、撮像レンズ１２内のレンズ駆動制御部３４とを制御する。
（プロセッサの構成）
　図４は、プロセッサ４０の機能構成の一例を示す。プロセッサ４０は、メモリ４５に記憶されたプログラム４５Ａにしたがって処理を実行することにより、各種機能部を実現する。図４に示すように、例えば、プロセッサ４０には、主制御部５０、撮像制御部５１、及び画像処理部５２が実現される。
　主制御部５０は、操作部４２から入力される指示信号に基づき、撮像装置１０の動作を統括的に制御する。撮像制御部５１は、撮像センサ２０を制御することにより、撮像センサ２０に撮像動作を行わせる撮像処理を実行する。撮像制御部５１は、静止画撮像モード又は動画撮像モードで撮像センサ２０を駆動する。
　ユーザは、操作部４２により、静止画撮像モードと動画撮像モードとの選択を行うことができる。また、ユーザは、操作部４２を操作することにより、シャッタ速度及び絞り値を含む露出値の設定を行うことができる。
　また、ユーザは、操作部４２を操作することにより、自動露出モードを選択することが可能である。自動露出モードが選択された場合には、主制御部５０は、撮像センサ２０により得られる画像信号の輝度とプログラム線図とを用いた演算により、シャッタ速度及び絞り値の最適値を求める。
　画像処理部５２は、画像信号に対して種々の画像処理を施すことにより、既定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。
（撮像センサの構成）
　図５は、撮像センサ２０の構成の一例を示す。図５に示す撮像センサ２０は、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５を有する。
　撮像領域２１には、複数の画素２６が、Ｘ方向及びＹ方向に沿って二次元マトリクス状に配列されている。また、撮像領域２１には、Ｘ方向に沿って複数の行選択線Ｌ１及び複数の行リセット線Ｌ２が配線されており、かつ、Ｙ方向に沿って複数の列信号線Ｌ３が配線されている。
　列信号線Ｌ３は、Ｙ方向に延在している。行選択線Ｌ１及び行リセット線Ｌ２は、Ｙ方向と交差するＸ方向に延在している。Ｙ方向は、本開示の技術に係る「第１方向」の一例である。Ｘ方向は、本開示の技術に係る「第２方向」の一例である。
　画素２６は、行選択線Ｌ１、行リセット線Ｌ２、及び列信号線Ｌ３に接続されている。以下、Ｘ方向に並ぶ複数の画素２６を単に「行」と称することもある。詳しくは後述するが、複数の画素２６のうちの一部は、焦点調節を行うための位相差画素である。
　画素２６は、フォトダイオードＤ１、アンプトランジスタＭ１、画素選択トランジスタＭ２、及びリセットトランジスタＭ３を有する。フォトダイオードＤ１は、入射光を光電変換することにより、入射光量に応じた信号電荷を生成し、生成した信号電荷を蓄積する。アンプトランジスタＭ１は、フォトダイオードＤ１に蓄積された信号電荷の電荷量に応じた電圧（以下、画素信号Ｓという。）を生成する。
　画素選択トランジスタＭ２は、行選択線Ｌ１を介して垂直走査回路２２により制御され、アンプトランジスタＭ１により生成された画素信号Ｓを列信号線Ｌ３に出力する。リセットトランジスタＭ３は、行リセット線Ｌ２を介して垂直走査回路２２により制御され、フォトダイオードＤ１に蓄積された信号電荷を電源線に破棄する。以下、フォトダイオードＤ１から信号電荷を破棄することは、画素２６をリセットするという。
　垂直走査回路２２は、撮像制御部５１から入力される垂直同期信号に基づいて、行選択信号ＳＥＬ及びリセット信号ＲＳＴを発生する。垂直走査回路２２は、信号読み出し動作時に、行選択線Ｌ１に行選択信号ＳＥＬを与えることにより、当該行選択線Ｌ１に接続された画素２６から画素信号Ｓを列信号線Ｌ３に出力させる。
　また、垂直走査回路２２は、リセット動作時に、行リセット線Ｌ２にリセット信号ＲＳＴを与えることにより、当該行リセット線Ｌ２に接続された画素２６をリセットする。例えば、第ｎ行の行リセット線Ｌ２に接続された画素２６のリセットは、第ｎ＋１行の行選択線Ｌ１に接続された画素２６から画素信号Ｓが読み出されている間に行われる。
　ラインメモリ２３は、一行分の画素２６から出力された画素信号Ｓを記憶する。ラインメモリ２３は、キャパシタ等により構成されている。ラインメモリ２３は、スイッチとしてのトランジスタ２９を介して水平出力線２４Ａに接続されている。出力アンプ２５は、水平出力線２４Ａの端部に接続されている。水平走査回路２４は、トランジスタ２９を順に選択する水平走査を行うことにより、ラインメモリ２３に記憶された一行分の画素信号Ｓを順に水平出力線２４Ａに出力させる。水平出力線２４Ａに出力された画素信号Ｓは、出力アンプ２５を介して、画像信号として外部の画像処理部５２へ出力される。
　垂直走査回路２２、ラインメモリ２３、及び水平走査回路２４の動作は、撮像制御部５１（図４参照）により制御される。撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行選択線Ｌ１を選択しながら画素信号Ｓを出力させる。また、撮像制御部５１は、垂直走査回路２２を制御することにより、一行ずつ順に行リセット線Ｌ２を選択しながら画素２６をリセットさせる。
　動画撮像モードでは、撮像制御部５１は、フレーム周期Ｔ（図１０参照）で撮像センサ２０を駆動する。撮像制御部５１は、フレームレートに対応するフレーム周期で、撮像センサ２０に、画像信号の読み出し及びリセットの動作を繰り返し実行させる。
　なお、撮像センサ２０の構成は、図５に示す構成に限られない。例えば、撮像センサ２０にＡ／Ｄ変換器が設けられていてもよい。
（画素の構成）
　撮像領域２１に配列された複数の画素２６には、撮像用の撮像画素Ｎと、位相差画素Ｐ１，Ｐ２とが含まれる。図６は、撮像画素Ｎの構成の一例を示す。図７は、位相差画素Ｐ１，Ｐ２の構成の一例を示す。位相差画素Ｐ１，Ｐ２は、それぞれ主光線を中心としてＸ方向に分割された光束の一方を受光する。
　図６に示すように、撮像画素Ｎは、光電変換素子としてのフォトダイオードＤ１、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。カラーフィルタＣＦは、フォトダイオードＤ１とマイクロレンズＭＬとの間に配置されている。
　カラーフィルタＣＦは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）のうちのいずれかの色の光を透過させるフィルタである。マイクロレンズＭＬは、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、カラーフィルタＣＦを介してフォトダイオードＤ１のほぼ中央に集光する。
　図７に示すように、位相差画素Ｐ１，Ｐ２は、それぞれフォトダイオードＤ１、遮光層ＳＦ、及びマイクロレンズＭＬを含んで構成されている。マイクロレンズＭＬは、撮像画素Ｎと同様に、撮像レンズ１２の射出瞳ＥＰから入射する光束ＬＦを、フォトダイオードＤ１のほぼ中央に集光する。
　遮光層ＳＦは、金属膜等で形成され、フォトダイオードＤ１とマイクロレンズＭＬとの間に配置されている。遮光層ＳＦは、マイクロレンズＭＬを介してフォトダイオードＤ１に入射する光束ＬＦの一部を遮光する。
　位相差画素Ｐ１では、遮光層ＳＦは、フォトダイオードＤ１の中心を基準としてＸ方向に関して負側（第１側）を遮光する。すなわち、位相差画素Ｐ１では、遮光層ＳＦは、第１側の射出瞳ＥＰ１からの光束ＬＦをフォトダイオードＤ１に入射させ、かつ、Ｘ方向に関して正側（第２側）の射出瞳ＥＰ２からの光束ＬＦを遮光する。
　位相差画素Ｐ２では、遮光層ＳＦは、フォトダイオードＤ１の中心を基準としてＸ方向に関して正側（第２側）を遮光する。すなわち、位相差画素Ｐ２では、遮光層ＳＦは、第２側の射出瞳ＥＰ２からの光束ＬＦをフォトダイオードＤ１に入射させ、かつ、Ｘ方向に関して負側（第１側）の射出瞳ＥＰ１からの光束ＬＦを遮光する。
（画素配列）
　図８は、撮像センサ２０の画素配列の一例を示す。図８に示すカラーフィルタＣＦの色配列は、いわゆるベイヤ配列である。ベイヤ配列は、２×２の４画素のうち、対角の２画素にＧのカラーフィルタＣＦを配置し、他の２画素にＲとＢのカラーフィルタＣＦを配置した色配列である。図８中の「Ｒ」は、ＲのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｇ」は、ＧのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。「Ｂ」は、ＢのカラーフィルタＣＦが設けられた撮像画素Ｎを表している。なお、カラーフィルタＣＦの色配列は、ベイヤ配列に限定されず、他の色配列であってもよい。
　位相差画素Ｐ１，Ｐ２は、ベイヤ配列の一部の撮像画素Ｎを置き換えることにより、撮像領域２１内に配置されている。位相差画素Ｐ１，Ｐ２は、Ｘ方向に配列されている。例えば、位相差画素Ｐ１，Ｐ２は、Ｘ方向に３画素ごと（すなわち、２画素おき）にいずれかが配置されている。すなわち、位相差画素Ｐ１と位相差画素Ｐ２との間には、２つの撮像画素Ｎ（Ｂ及びＧ）が配置されている。
　位相差画素Ｐ１，Ｐ２は、Ｙ方向に１８画素ごとに配列されている。Ｙ方向に配列された位相差画素Ｐ１の間には、複数の撮像画素Ｎ（Ｒ及びＧ）が配列されている。Ｙ方向に配列された位相差画素Ｐ２の間には、複数の撮像画素Ｎ（Ｂ及びＧ）が配列されている。
　なお、位相差画素Ｐ１，Ｐ２の配列パターンは、図８に示す例には限定されない。例えば、位相差画素Ｐ１，Ｐ２は、Ｘ方向に隣接して配置されていてもよい。
　符号Ｒ１は、Ｘ方向に複数の位相差画素Ｐ１，Ｐ２が配列された第１位相差画素領域を表す。同様に、符号Ｒ２は、Ｘ方向に複数の位相差画素Ｐ１，Ｐ２が配列された第１位相差画素領域を表す。第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２は、撮像画素Ｎのみを含む撮像画素領域ＲＡを挟んでＹ方向に配列されている。
　第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２は、画素構成は同一である。動画撮像モードにおいて、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２は、垂直走査回路２２により走査されるタイミングが異なり、同一フレーム周期内に信号の読み出しは行われない（図１０参照）。すなわち、第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２とは、インターレース読み出し方式で、フレーム周期ごとに交互に信号の読み出しが行われる。
　図９は、動画撮像モード時に信号が読み出される画素を示す。第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２とは、撮像画素領域ＲＡを挟んでＹ方向に交互に配列されている。動画撮像モード時には、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２は、それぞれリセット及び信号読み出しが互いに独立して行われる。
　本実施形態では、撮像画素領域ＲＡは画素間引き読み出しが行われる。撮像画素領域ＲＡは、３行ごとに画素が間引かれる。図９においてハッチングを施した画素は、信号読み出しが行われない画素である。
（撮像タイミング）
　図１０は、動画撮像モードにおける撮像センサ２０の撮像タイミングの一例を示す。動画撮像のフレーム周期Ｔは、撮像制御部５１から垂直走査回路２２に供給される垂直同期信号ＶＤにより規定される。垂直走査回路２２は、垂直同期信号ＶＤに基づき、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２に対して、それぞれ独立に、行選択信号ＳＥＬ及びリセット信号ＲＳＴを供給する。
　垂直走査回路２２は、垂直同期信号ＶＤに同期して、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２に対して、行選択信号ＳＥＬを供給する。垂直走査回路２２は、撮像画素領域ＲＡには、フレーム周期Ｔごとに行選択信号ＳＥＬを供給する。垂直走査回路２２は、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２には、フレーム周期Ｔの２倍の周期（フレーム周期Ｔの２倍の期間）で行選択信号ＳＥＬを供給する。なお、第１位相差画素領域Ｒ１に供給される行選択信号ＳＥＬと、第２位相差画素領域Ｒ２に供給される行選択信号ＳＥＬとは、フレーム周期Ｔだけ位相がずれている。
　垂直走査回路２２は、撮像画素領域ＲＡ、第１位相差画素領域Ｒ１、及び第２位相差画素領域Ｒ２のそれぞれの露光時間に応じてリセット信号ＲＳＴを供給する。露光時間は、各行において、リセット信号ＲＳＴが入力されてから行選択信号ＳＥＬが入力されるまでの時間（すなわち電荷蓄積時間）である。露光期間は、行ごとにずれる。すなわち、撮像センサ２０は、フォーカルプレーン方式の電子シャッタで露光を行う。なお、図１０中においてハッチングを施した期間は、遮光期間である。遮光期間においてリセットを繰り返し実行してもよい。
　撮像画素領域ＲＡは、フレーム周期Ｔごとに信号読み出しが行われる。このため、撮像画素領域ＲＡの露光時間（以下、撮像用露光時間という。）ＥＲＡは、フレーム周期Ｔ未満（すなわち、ＥＲＡ＜Ｔ）に設定される。例えば、撮像用露光時間ＥＲＡは、操作部４２の操作により設定されたシャッタ速度に対応する。また、撮像用露光時間ＥＲＡは、自動露出モードにより決定されたシャッタ速度に対応する。
　第１位相差画素領域Ｒ１は、フレーム周期Ｔの２倍の周期で信号読み出しが行われる。このため、第１位相差画素領域Ｒ１の露光時間（以下、第１露光時間という。）ＥＲ１は、フレーム周期Ｔの２倍未満（すなわち、ＥＲ１＜２Ｔ）に設定される。例えば、第１露光時間ＥＲ１は、固定値である。なお、第１露光時間ＥＲ１は、撮像用露光時間ＥＲＡと連動して変化する値であってもよい。第１露光時間ＥＲ１は、撮像用露光時間ＥＲＡと異なっており、例えば、ＥＲＡ＜ＥＲ１＜２Ｔの関係を満たす値に設定される。
　第２位相差画素領域Ｒ２は、第１位相差画素領域Ｒ１と同様に、フレーム周期Ｔの２倍の周期で信号読み出しが行われる。このため、第２位相差画素領域Ｒ２の露光時間（以下、第２露光時間という。）ＥＲ２は、フレーム周期Ｔの２倍未満（すなわち、ＥＲ２＜２Ｔ）に設定される。例えば、第２露光時間ＥＲ２は、固定値である。なお、第２露光時間ＥＲ２は、撮像用露光時間ＥＲＡと連動して変化する値であってもよい。第２露光時間ＥＲ２は、撮像用露光時間ＥＲＡと異なっており、例えば、ＥＲＡ＜ＥＲ２＜２Ｔの関係を満たす値に設定される。
　本実施形態では、第１露光時間ＥＲ１は、第２露光時間ＥＲ２と等しい（すなわち、ＥＲ１＝ＥＲ２）。また、第１露光時間ＥＲ１及び第２露光時間ＥＲ２は、それぞれフレーム周期Ｔ超過である（すなわち、Ｔ≦ＥＲ１，Ｔ≦ＥＲ２）。なお、第１露光時間ＥＲ１と第２露光時間ＥＲ２とは、互いに異なっていてもよい。
　図１０に示すように、第１位相差画素領域Ｒ１から信号を読み出す期間を第１フレーム期間とし、第２位相差画素領域Ｒ２から信号を読み出す期間を第２フレーム期間とする。撮像画素領域ＲＡからの信号読み出しは、第１フレーム期間と第２フレーム期間のいずれのフレーム期間においても行われる。本実施形態では、第１フレーム期間において撮像画素領域ＲＡからの信号読み出しが終了した直後に、第２フレーム期間における第２位相差画素領域Ｒ２から信号読み出しを開始する。また、第２フレーム期間において撮像画素領域ＲＡからの信号読み出しが終了した直後に、第１フレーム期間における第１位相差画素領域Ｒ１から信号読み出しを開始する。
（焦点調節制御）
　次に、動画撮像モードにおける焦点調節制御を、図１１に示すフローチャートを参照しながら説明する。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ１０）。
　主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ１０：ＹＥＳ）、撮像制御部５１を制御することにより、撮像センサ２０にフレーム周期Ｔで撮像動作を行わせるとともに、第１読み出し処理を実行させる（ステップＳ１１）。第１読み出し処理は、第１フレーム期間中に第１位相差画素領域Ｒ１から信号を読み出す処理である。
　主制御部５０は、第１読み出し処理が終了すると、第１位相差画素領域Ｒ１に含まれる位相差画素Ｐ１，Ｐ２から出力された信号に基づいて、位相差方式の焦点調節を行う（ステップＳ１２）。具体的には、主制御部５０は、位相差画素Ｐ１から出力された信号に基づく像と、位相差画素Ｐ２から出力された信号に基づく像との位相差が少なくなるようにフォーカスレンズ３１の位置調整を行う。
　次に、主制御部５０は、撮像センサ２０に第２読み出し処理を実行させる（ステップＳ１３）。第２読み出し処理は、第１フレーム期間に続く第２フレーム期間中に第２位相差画素領域Ｒ２から信号を読み出す処理である。
　主制御部５０は、第２読み出し処理が終了すると、第２位相差画素領域Ｒ２に含まれる位相差画素Ｐ１，Ｐ２から出力された信号に基づいて、位相差方式の焦点調節を行う（ステップＳ１４）。ステップＳ１４の処理は、ステップＳ１２の処理と同様である。
　次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ１５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ１５：ＮＯ）、処理をステップＳ１１に移行して、撮像センサ２０に第１読み出し処理を実行させる。一方、主制御部５０は、動画撮像の終了指示があったと判定した場合には（ステップＳ１５：ＹＥＳ）、処理を終了する。
　以上のように、本実施形態の焦点調節制御では、第１読み出し処理と第２読み出し処理とが繰り返し実行される。本実施形態では、第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２とをそれぞれ独立してフレーム周期Ｔの２倍の周期で信号読み出しを行っているので、第１露光時間ＥＲ１及び第２露光時間ＥＲ２をそれぞれフレーム周期Ｔ超過（すなわち、Ｔ≦ＥＲ１，Ｔ≦ＥＲ２）とすることができる。すなわち、本実施形態によれば、位相差画素Ｐ１，Ｐ２の露光時間をフレーム周期Ｔ超過とし、かつ、フレーム周期Ｔごとに位相差画素Ｐ１，Ｐ２から信号を読み出すことができる。
　位相差画素Ｐ１，Ｐ２は、それぞれ遮光層ＳＦを有するので、撮像画素Ｎと比較して、受光量が小さい（図６及び図７参照）。仮に、第１露光時間ＥＲ１及び第２露光時間ＥＲ２を、それぞれ撮像用露光時間ＥＲＡと等しくすると、位相差画素Ｐ１，Ｐ２の受光量が小さいことにより、焦点調節の精度が低下する。これに対して、本実施形態によれば、第１露光時間ＥＲ１及び第２露光時間ＥＲ２を、それぞれ撮像用露光時間ＥＲＡより長くすることができ、さらにはフレーム周期Ｔよりも長くすることができるので、位相差画素Ｐ１，Ｐ２の受光量が増加する。これにより、焦点調節の精度が向上する。第１実施形態は、特に撮像用露光時間が短い（すなわち、設定されたフレームレートが高い又はシャッタースピードが速い）場合に適している。
　なお、上記の焦点調節は、動画データをメモリ４５等に記録する動画撮像モードに限られず、動画データを記録せずにディスプレイ１５又はファインダにリアルタイム表示させるライブビュー表示モードに適用することも可能である。
［第２実施形態］
　次に、第２実施形態について説明する。第２実施形態は、動画撮像モードにおける焦点調節制御が第１実施形態と異なる。
　図１２は、第２実施形態に係る動画撮像モードにおける撮像タイミングの一例を示す。本実施形態では、撮像センサ２０は、主制御部５０の制御に基づいて、前述の第１読み出し処理を２回実行し、第１読み出し処理を２回実行するたびに前述の第２読み出し処理を１回実行する。したがって、本実施形態では、第２フレーム期間に続いて、第１フレーム期間が２回連続する。
　本実施形態では、第２露光時間ＥＲ２がフレーム周期Ｔの２倍以上で、かつ３倍未満であり（すなわち、２Ｔ≦ＥＲ２＜３Ｔ）、かつ第２位相差画素領域Ｒ２の露光期間中に第１読み出し処理が２回実行される。また、第１露光時間ＥＲ１は、フレーム周期Ｔ未満である。
　このように、本実施形態では、フレーム周期Ｔ未満の第１露光時間ＥＲ１で露光された第１位相差画素領域Ｒ１からの信号と、フレーム周期Ｔの２倍以上の第２露光時間ＥＲ２で露光された第２位相差画素領域Ｒ２からの信号とを取得することができる。本実施形態では、主制御部５０は、露光時間が大きく異なる位相差画素Ｐ１，Ｐ２の信号に基づいて、被写体の明るさに応じた焦点調節制御を行うことができる。
　主制御部５０は、被写体の明るさに応じて、長時間露光の信号と、短時間露光の信号とのいずれかを選択して焦点調節を行えばよい。また、主制御部５０は、長時間露光の信号と、短時間露光の信号との加算信号に基づいて焦点調節を行ってもよい。なお、被写体の明るさは、撮像画素領域ＲＡから読み出される信号に基づいて検出すればよい。本実施形態の焦点調節制御は、被写体の明暗さが大きい（すなわち、ダイナミックレンジが広い）場合に実行することが好適である。
　なお、図１２では、連続する２つの第１露光時間ＥＲ１は等しいが、２つの第１露光時間ＥＲ１の一方を他方より長くすることが可能である。
　図１３は、第２実施形態の変形例に係る動画撮像モードにおける撮像タイミングの一例を示す。本変形例では、第２フレーム期間に続く第１フレーム期間中に信号読み出しが行われる第１位相差画素領域Ｒ１の第１露光時間ＥＲ１を、フレーム周期Ｔ超過（すなわち、Ｔ≦ＥＲ１）とする。このように、本変形例では、フレーム周期Ｔの２倍以上の第２露光時間ＥＲ２、フレーム周期Ｔ超過の第１露光時間ＥＲ１、及びフレーム周期Ｔ未満の第１露光時間ＥＲ１の３種の露光時間を設定することができる。
　なお、第２実施形態では、第２露光時間ＥＲ２をフレーム周期Ｔの２倍以上で、かつ３倍未満としているが、第２露光時間ＥＲ２をフレーム周期Ｔの２倍以上とすることも可能である。第２露光時間ＥＲ２をフレーム周期ＴのＫ倍以上で、かつＫ＋１倍未満とする場合には、第２位相差画素領域Ｒ２の露光期間中に第１読み出し処理をＫ回実行し、第１読み出し処理をＫ回実行するたびに第２読み出し処理を１回実行すればよい。ここで、Ｋは２以上の整数である。
　また、第１実施形態の焦点調節制御（図１０参照）を第１モードとし、第２実施形態の焦点調節制御（図１２参照）を第２モードとした場合に、第１モードと第２モードとを切り替え可能としてもよい。例えば、主制御部５０が、被写体の明るさに応じて、第１モードと第２モードとを切り替えるように構成してもよい。
　図１４は、第１モードと第２モードとの切り替え処理の一例を示すフローチャートである。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ２０）。
　主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ２０：ＹＥＳ）、撮像画素領域ＲＡから読み出される信号に基づき被写体の明るさを検出する（ステップＳ２１）。次に、主制御部５０は、ダイナミックレンジが一定値以上必要であるか否かを判定する（ステップＳ２２）。主制御部５０は、ダイナミックレンジが一定値以上必要でないと判定した場合には（ステップＳ２２：ＮＯ）、第１モードを選択する（ステップＳ２３）。一方、主制御部５０は、ダイナミックレンジが一定値以上であると判定した場合には（ステップＳ２２：ＹＥＳ）、第２モードを選択する（ステップＳ２４）。
　次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ２５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ２５：ＮＯ）、処理をステップＳ２１に移行して、被写体の明るさを検出する。一方、主制御部５０は、動画撮像の終了指示があったと判定した場合には（ステップＳ２５：ＹＥＳ）、処理を終了する。
　以上のように、ダイナミックレンジが大きい場合には、第２モードが選択される。第２モードでは、上述のように、位相差画素Ｐ１，Ｐ２が複数の露光時間で露光されるので、ダイナミックレンジが大きい場合であっても位相差画素Ｐ１，Ｐ２から読み出された信号に基づき、精度よく焦点調節を行うことができる。
［第３実施形態］
　次に、第３実施形態について説明する。第３実施形態では、撮像センサ２０に、第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び第３位相差画素領域Ｒ３の３個の位相差画素領域を設ける。
　図１５は、第３実施形態において動画撮像モード時に信号が読み出される画素を示す。第３実施形態では、第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び第３位相差画素領域Ｒ３が、Ｙ方向に繰り返し配列されている。Ｙ方向において、第１位相差画素領域Ｒ１と第２位相差画素領域Ｒ２との間、第２位相差画素領域Ｒ２と第３位相差画素領域Ｒ３との間、第３位相差画素領域Ｒ３と第１位相差画素領域Ｒ１との間には、それぞれ撮像画素領域ＲＡが配置されている。
　第３実施形態では、３個の位相差画素領域に対してそれぞれ独立してリセット及び信号読み出しを行うことにより、位相差画素Ｐ１，Ｐ２の露光時間を、フレーム周期Ｔの２倍以上で、かつ３倍未満とすることができる。
　図１６は、第３実施形態に係る撮像タイミングの一例を示す。本実施形態では、主制御部５０は、第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び第３位相差画素領域Ｒ３をフレーム周期Ｔごとに順に選択して信号を読み出す。本実施形態では、第１露光時間ＥＲ１、第２露光時間ＥＲ２、及び第３露光時間ＥＲ３は、それぞれ撮像用露光時間ＥＲＡと異なっている。第１露光時間ＥＲ１、第２露光時間ＥＲ２、及び第３露光時間ＥＲ３は、それぞれ異なっていてもよい。
　なお、撮像センサ２０に４個の位相差画素領域を設けることも可能である。撮像センサ２０に、Ｙ方向に配列された第１位相差画素領域Ｒ１から第Ｎ位相差画素領域ＲＮのＮ個の位相差画素領域を設ける場合には、主制御部５０は、位相差画素領域の各々をフレーム周期Ｔごとに順に選択して信号を読み出す。この場合、主制御部５０は、位相差画素領域の露光時間を、フレーム周期のＮ倍未満とすればよい。ここで、Ｎは３以上の整数である。
［第４実施形態］
　次に、第４実施形態について説明する。第４実施形態では、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２のうち、第１位相差画素領域Ｒ１のみから繰り返し信号を読み出す第３モードを実行可能とする。
　図１７は、第３モードにおける撮像タイミングの一例を示す。第３モードでは、主制御部５０は、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２（図９参照）のうち、第２位相差画素領域Ｒ２からは信号を読み出さず、第１位相差画素領域Ｒ１のみからフレーム周期Ｔごとに信号を読み出す。すなわち、主制御部５０は、第２読み出し処理を行わず、第１読み出し処理のみを繰り返す第３モードを実行可能とする。
　本実施形態では、上述の第１モードと第３モードとが切り替え可能に構成されている。例えば、主制御部５０は、被写体の移動速度に応じて、第１モードと第３モードとを切り替える。例えば、主制御部５０は、フレーム周期Ｔごとに撮像画素領域ＲＡから読み出される信号に基づき、フレーム間の被写体の移動ベクトルを求めることにより、被写体の移動速度を検出する。
　第１実施形態で示した第１モードは、フレーム間で異なる位相差画素Ｐ１，Ｐ２から信号を読み出すため、解像度の高い位相差情報が得られる。このため、第１モードは、特に、被写体の動きが小さい状況における焦点調節制御に適している。これに対して、第３モードは、フレーム間で読み出す位相差画素Ｐ１，Ｐ２の位置が変化しないため、被写体の動きが大きい状況における焦点調節制御に適している。
　図１８は、第１モードと第３モードとの切り替え処理の一例を示すフローチャートである。まず、主制御部５０は、操作部４２の操作による動画撮像の開始指示があったか否かを判定する（ステップＳ３０）。
　主制御部５０は、動画撮像の開始指示があったと判定した場合には（ステップＳ３０：ＹＥＳ）、撮像画素領域ＲＡから読み出される信号に基づき被写体の移動速度を検出する（ステップＳ３１）。次に、主制御部５０は、検出した移動速度が一定値以上であるか否かを判定する（ステップＳ３２）。主制御部５０は、移動速度が一定値未満であると判定した場合には（ステップＳ３２：ＮＯ）、第１モードを選択する（ステップＳ３３）。一方、主制御部５０は、移動速度が一定値以上であると判定した場合には（ステップＳ３２：ＹＥＳ）、第３モードを選択する（ステップＳ３４）。
　次に、主制御部５０は、操作部４２の操作による動画撮像の終了指示があったか否かを判定する（ステップＳ３５）。主制御部５０は、動画撮像の終了指示がなかったと判定した場合には（ステップＳ３５：ＮＯ）、処理をステップＳ３１に移行して、被写体の明るさを検出する。一方、主制御部５０は、動画撮像の終了指示があったと判定した場合には
（ステップＳ３５：ＹＥＳ）、処理を終了する。
　以上のように、被写体の移動速度が大きい場合には、第３モードが選択される。第３モードでは、フレーム間で読み出す位相差画素Ｐ１，Ｐ２の位置が変化しないので、精度よく焦点調節を行うことができる。
［撮像センサの第１変形例］
　次に、撮像センサ２０の第１変形例について説明する。本変形例に係る撮像センサ２０は、位相差画素Ｐ１，Ｐ２の配置が第１実施形態と異なる。以下、本変形例に係る撮像センサ２０の構成を、第１実施形態に係る撮像センサ２０の構成と対比して説明する。
　第１実施形態に係る撮像センサ２０では、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２のそれぞれに一対の位相差画素Ｐ１，Ｐ２が含まれている（図８及び図９参照）。以下、第１位相差画素領域Ｒ１に含まれる位相差画素Ｐ１，Ｐ２は、「一対の第１位相差画素Ｐ１，Ｐ２」という。また、第２位相差画素領域Ｒ２に含まれる位相差画素Ｐ１，Ｐ２は、「一対の第２位相差画素Ｐ１，Ｐ２」という。
　第１実施形態では、一対の第１位相差画素Ｐ１，Ｐ２は、同一の行に配列されているので、同一の行選択線Ｌ１（図５参照）によって選択される。同様に、一対の第２位相差画素Ｐ１，Ｐ２は、同一の行に配列されているので、同一の行選択線Ｌ１によって選択される。
　図１９は、本変形例に係る撮像センサ２０の画素配列の一例を示す。本変形例では、第１位相差画素領域Ｒ１ａ及び第１位相差画素領域Ｒ１ｂの２種の第１位相差画素領域が設けられている。同様に、第２位相差画素領域Ｒ２ａ及び第２位相差画素領域Ｒ２ｂの２種の第２位相差画素領域が設けられている。
　第１位相差画素領域Ｒ１ａは、一対の第１位相差画素Ｐ１，Ｐ２のうち、第１位相差画素Ｐ１のみを含む。第１位相差画素領域Ｒ１ｂは、一対の第１位相差画素Ｐ１，Ｐ２のうち、第１位相差画素Ｐ２のみを含む。本変形例では、第１位相差画素領域Ｒ１ａと第１位相差画素領域Ｒ１ｂとは、撮像画素領域ＲＡを挟んでＹ方向に配列されている。
　第２位相差画素領域Ｒ２ａは、一対の第２位相差画素Ｐ１，Ｐ２のうち、第２位相差画素Ｐ１のみを含む。第２位相差画素領域Ｒ２ｂは、一対の第２位相差画素Ｐ１，Ｐ２のうち、第２位相差画素Ｐ２のみを含む。本変形例では、第２位相差画素領域Ｒ２ａと第２位相差画素領域Ｒ２ｂとは、撮像画素領域ＲＡを挟んでＹ方向に配列されている。
　本変形例では、一対の第１位相差画素Ｐ１，Ｐ２は、異なる行に配列されているので、Ｙ方向に並ぶ２つの行選択線Ｌ１によって各々選択される。同様に、一対の第２位相差画素Ｐ１，Ｐ２は、異なる行に配列されているので、Ｙ方向に並ぶ２つの行選択線Ｌ１によって各々選択される。
　第１位相差画素領域Ｒ１ａ，Ｒ１ｂと、第２位相差画素領域Ｒ２ａ，Ｒ２ｂとは、撮像画素領域ＲＡを挟んでＹ方向に繰り返し配列されている。
　図２０は、本変形例において動画撮像モード時に信号が読み出される画素を示す。動画撮像モード時には、第１位相差画素領域Ｒ１ａ，Ｒ１ｂは、第１フレーム期間に読み出しが行われる。第２位相差画素領域Ｒ２ａ，Ｒ２ｂは、第２フレーム期間に読み出しが行われる。その他の撮像動作は、第１実施形態の撮像動作と同様である。
　なお、第１位相差画素領域Ｒ１ａと第１位相差画素領域Ｒ１ｂとは、Ｙ方向に隣接して設けられていてもよい。また、第２位相差画素領域Ｒ２ａと第２位相差画素領域Ｒ２ｂとは、Ｙ方向に隣接して設けられていてもよい。
［撮像センサの第２変形例］
　次に、撮像センサ２０の第２変形例について説明する。本変形例に係る撮像センサ２０は、各画素２６が２つのフォトダイオードで構成された、いわゆるデュアルピクセルのＣＭＯＳ型イメージセンサである。
　図２１は、本変形例に係る撮像センサ２０の画素構成を示す。本変形例では、位相差画素及び撮像画素は、同一の構成である。画素２６は、一対のフォトダイオードＤ１ａ，Ｄ１ｂ、カラーフィルタＣＦ、及びマイクロレンズＭＬを含んで構成されている。一対のフォトダイオードＤ１ａ，Ｄ１ｂは、カラーフィルタＣＦの下方に、Ｘ方向に隣接して配置されている。
　フォトダイオードＤ１ａは、Ｘ方向に分割された射出瞳ＥＰ１，ＥＰ２のうち、射出瞳ＥＰ１からの光束ＬＦを受光する。フォトダイオードＤ１ｂは、Ｘ方向に分割された射出瞳ＥＰ１，ＥＰ２のうち、射出瞳ＥＰ２からの光束ＬＦを受光する。
　画素２６は、一対のフォトダイオードＤ１ａ，Ｄ１ｂの両方から信号が読み出され、読み出された信号が加算されることにより撮像画素として機能する。また、画素２６は、一対のフォトダイオードＤ１ａ，Ｄ１ｂのうち一方から信号が読み出されることにより位相差画素として機能する。
　本変形例における第１位相差画素領域Ｒ１、第２位相差画素領域Ｒ２、及び撮像画素領域ＲＡの配列は、第１実施形態と同様である（図８及び図９参照）。
　本変形例では、主制御部５０は、第１位相差画素領域Ｒ１に含まれる画素２６のうち、少なくとも一部の画素２６については、一対のフォトダイオードＤ１ａ，Ｄ１ｂのうち一方から信号を読み出す。同様に、主制御部５０は、第２位相差画素領域Ｒ２に含まれる画素２６のうち、少なくとも一部の画素２６については、一対のフォトダイオードＤ１ａ，Ｄ１ｂのうち一方から信号を読み出す。また、主制御部５０は、撮像画素領域ＲＡに含まれる画素２６については、一対のフォトダイオードＤ１ａ，Ｄ１ｂの両方から信号を読み出す。
　なお、第１位相差画素領域Ｒ１及び第２位相差画素領域Ｒ２の全ての画素２６を位相差画素として機能させてもよい。
　なお、上記各実施形態及び各変形例では、撮像センサ２０は、撮像領域２１、垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５で構成されているが、撮像センサ２０は、撮像領域２１のみで構成されていてもよい。垂直走査回路２２、ラインメモリ２３、水平走査回路２４、及び出力アンプ２５は、プロセッサ４０内に設けられていてもよい。
　また、上記各実施形態及び各変形例は、矛盾が生じない限り、互いに組み合わせることが可能である。
　上記実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。
　複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０　撮像装置
１１　本体
１１Ａ　カメラ側マウント
１１Ｂ　電気接点
１１Ｃ　前面
１１Ｄ　背面
１２　撮像レンズ
１２Ａ　レンズ側マウント
１２Ｂ　電気接点
１３　ダイヤル
１４　レリーズボタン
１５　ディスプレイ
１６　指示キー
１８　ファインダ接眼部
２０　撮像センサ
２１　撮像領域
２２　垂直走査回路
２３　ラインメモリ
２４　水平走査回路
２４Ａ　水平出力線
２５　出力アンプ
２６　画素
２９　トランジスタ
３０　対物レンズ
３１　フォーカスレンズ
３２　後端レンズ
３３　絞り
３４　レンズ駆動制御部
４０　プロセッサ
４２　操作部
４５　メモリ
４５Ａ　プログラム
５０　主制御部
５１　撮像制御部
５２　画像処理部
ＣＦ　カラーフィルタ
Ｄ１，Ｄ１ａ，Ｄ１ｂ　フォトダイオード
ＥＰ，ＥＰ１，ＥＰ２　射出瞳
ＥＲ１　第１露光時間
ＥＲ２　第２露光時間
ＥＲ３　第３露光時間
ＥＲＡ　撮像用露光時間
Ｌ１　行選択線
Ｌ２　行リセット線
Ｌ３　列信号線
ＬＡ　光軸
ＬＦ　光束
Ｍ１　アンプトランジスタ
Ｍ２　画素選択トランジスタ
Ｍ３　リセットトランジスタ
ＭＬ　マイクロレンズ
Ｎ　撮像画素
Ｐ１，Ｐ２　位相差画素
Ｒ１，Ｒ１ａ，Ｒ１ｂ　第１位相差画素領域
Ｒ２，Ｒ２ａ，Ｒ２ｂ　第２位相差画素領域
Ｒ３　第３位相差画素領域
ＲＡ　撮像画素領域
ＲＳＴ　リセット信号
Ｓ　画素信号
ＳＥＬ　行選択信号
ＳＦ　遮光層
Ｔ　フレーム周期
ＶＤ　垂直同期信号

Claims (15)

  1. 　プロセッサと、
    　第１方向に延在する信号を読み出す列信号線と、前記第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、
    　前記撮像素子は、前記複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、前記第１方向において、前記第１位相差画素領域と前記第２位相差画素領域との間にある撮像画素領域とを有し、
    　前記プロセッサは、
    　前記撮像素子にフレーム周期で撮像を行わせ、
    　第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、
    　前記第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行するように構成され、
    　前記第１位相差画素領域が露光される第１露光時間、及び、前記第２位相差画素領域が露光される第２露光時間は、前記撮像画素領域の露光時間と異なっている、
    　撮像装置。
  2. 　前記第１露光時間及び前記第２露光時間は、それぞれ前記フレーム周期超過である、
    　請求項１に記載の撮像装置。
  3. 　前記第１露光時間と前記第２露光時間とは、互いに異なる、
    　請求項１又は請求項２に記載の撮像装置。
  4. 　前記プロセッサは、
    　前記第１読み出し処理と前記第２読み出し処理とを交互に実行し、前記第１露光時間及び前記第２露光時間をそれぞれ前記フレーム周期の２倍未満とする、第１モードを実行可能とする、
    　請求項１から請求項３のうちいずれか１項に記載の撮像装置。
  5. 　前記プロセッサは、
    　Ｋを２以上の整数とした場合に、前記第２露光時間を前記フレーム周期のＫ倍以上で、かつＫ＋１倍未満とし、前記第２位相差画素領域の露光期間中に前記第１読み出し処理をＫ回実行し、前記第１読み出し処理をＫ回実行するたびに前記第２読み出し処理を１回実行する、第２モードを実行可能とする、
    　請求項４に記載の撮像装置。
  6. 　前記第２モードにおいて、前記第１露光時間は、前記フレーム周期未満である、
    　請求項５に記載の撮像装置。
  7. 　前記プロセッサは、
    　被写体の明るさに応じて、前記第１モードと前記第２モードとを切り替える、
    　請求項５又は請求項６に記載の撮像装置。
  8. 　前記プロセッサは、
    　前記第２読み出し処理を行わず、前記第１読み出し処理のみを繰り返す第３モードを実行可能とする、
    　請求項４から請求項７のうちいずれか１項に記載の撮像装置。
  9. 　前記プロセッサは、
    　被写体の移動速度に応じて前記第１モードと前記第３モードとを切り替える、
    　請求項８に記載の撮像装置。
  10. 　Ｎを３以上の整数とした場合に、前記撮像素子は、前記第２方向に配列された前記第１位相差画素領域から第Ｎ位相差画素領域のＮ個の位相差画素領域を有し、
    　前記プロセッサは、前記位相差画素領域の各々を前記フレーム周期ごとに選択して信号を読み出し、かつ、前記位相差画素領域の露光時間を、前記フレーム周期のＮ倍未満とする、
    　請求項１に記載の撮像装置。
  11. 　前記撮像素子は、前記第２方向に延在する複数の行選択線を含み、
    　前記第１位相差画素領域は、前記複数の位相差画素として１対の第１位相差画素を含み、
    　前記第２位相差画素領域は、前記複数の位相差画素として１対の第２位相差画素を含み、
    　前記１対の第１位相差画素は、同一の前記行選択線によって選択され、
    　前記１対の第２位相差画素は、同一の前記行選択線によって選択され、
    　前記第１位相差画素領域と前記第２位相差画素領域は、前記撮像画素領域を挟んで前記第１方向に交互に配置されている、
    　請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
  12. 　前記撮像素子は、前記第２方向に延在する複数の行選択線を含み、
    　前記第１位相差画素領域は、前記複数の位相差画素として１対の第１位相差画素を含み、
    　前記第２位相差画素領域は、前記複数の位相差画素として１対の第２位相差画素を含み、
    　前記１対の第１位相差画素は、前記第１方向に並ぶ複数の前記行選択線によって各々選択され、
    　前記１対の第２位相差画素は、前記第１方向に並ぶ複数の前記行選択線によって各々選択され、
    　前記第１位相差画素領域と前記第２位相差画素領域は、前記撮像画素領域を挟んで前記第１方向に交互に配置されている、
    　請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
  13. 　前記第１位相差画素領域及び前記第２位相差画素領域に含まれる前記複数の位相差画素と、前記撮像画素領域にある撮像画素とは、各々一対の光電変換素子を有し、
    　前記プロセッサは、前記複数の位相差画素においては、前記一対の光電変換素子の一方の信号を読み出し、前記撮像画素から前記一対の光電変換素子の両方から前記信号を読み出し、
    　前記第１位相差画素領域と前記第２位相差画素領域は、前記撮像画素領域を挟んで前記第１方向に交互に配置される、
    　請求項１から請求項１０のうちいずれか１項に記載の撮像装置。
  14. 　第１方向に延在する信号を読み出す列信号線と、前記第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、前記撮像素子は、前記複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、前記第１方向において、前記第１位相差画素領域と前記第２位相差画素領域との間にある撮像画素領域とを有する撮像装置の駆動方法であって、
    　前記撮像素子にフレーム周期で撮像を行わせ、
    　第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、
    　前記第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、
    　前記第１位相差画素領域が露光される第１露光時間、及び、前記第２位相差画素領域が露光される第２露光時間は、前記撮像画素領域の露光時間と異なっている、
    　撮像装置の駆動方法。
  15. 　第１方向に延在する信号を読み出す列信号線と、前記第１方向と交差する第２方向に配列された複数の位相差画素とを含む撮像素子とを備え、前記撮像素子は、前記複数の位相差画素を各々含む第１位相差画素領域と第２位相差画素領域と、前記第１方向において、前記第１位相差画素領域と前記第２位相差画素領域との間にある撮像画素領域とを有する撮像装置を作動させるプログラムであって、
    　前記撮像素子にフレーム周期で撮像を行わせ、
    　第１フレーム期間中に、第１位相差画素領域から信号を読み出す第１読み出し処理と、
    　前記第１フレーム期間に続く第２フレーム期間中に、第２位相差画素領域から信号を読み出す第２読み出し処理と、を実行させ、
    　前記第１位相差画素領域が露光される第１露光時間、及び、前記第２位相差画素領域が露光される第２露光時間は、前記撮像画素領域の露光時間と異なっている、
    　プログラム。
PCT/JP2021/034049 2020-09-29 2021-09-16 撮像装置、撮像装置の駆動方法、及びプログラム WO2022070941A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022553808A JP7459279B2 (ja) 2020-09-29 2021-09-16 撮像装置、撮像装置の駆動方法、及びプログラム
US18/185,353 US12126920B2 (en) 2020-09-29 2023-03-16 Imaging apparatus, driving method of imaging apparatus, and program
JP2024043652A JP2024071452A (ja) 2020-09-29 2024-03-19 撮像装置、撮像装置の駆動方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-163984 2020-09-29
JP2020163984 2020-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/185,353 Continuation US12126920B2 (en) 2020-09-29 2023-03-16 Imaging apparatus, driving method of imaging apparatus, and program

Publications (1)

Publication Number Publication Date
WO2022070941A1 true WO2022070941A1 (ja) 2022-04-07

Family

ID=80950329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034049 WO2022070941A1 (ja) 2020-09-29 2021-09-16 撮像装置、撮像装置の駆動方法、及びプログラム

Country Status (3)

Country Link
US (1) US12126920B2 (ja)
JP (2) JP7459279B2 (ja)
WO (1) WO2022070941A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219958A (ja) * 2009-03-17 2010-09-30 Canon Inc 撮像装置
JP2018066931A (ja) * 2016-10-21 2018-04-26 キヤノン株式会社 固体撮像素子及びその制御方法並びに撮像装置
WO2018088119A1 (ja) * 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6645279B2 (ja) * 2016-03-11 2020-02-14 セイコーエプソン株式会社 撮影装置
US10284800B2 (en) 2016-10-21 2019-05-07 Canon Kabushiki Kaisha Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus
CN110022771B (zh) * 2016-11-23 2023-04-18 卡尔斯特里姆保健公司 针对动态成像的同步
WO2019054100A1 (ja) * 2017-09-14 2019-03-21 パナソニックＩｐマネジメント株式会社 固体撮像装置、及びそれを備える撮像装置
US11089241B2 (en) * 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
KR102648089B1 (ko) * 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
JP2020170947A (ja) * 2019-04-03 2020-10-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010219958A (ja) * 2009-03-17 2010-09-30 Canon Inc 撮像装置
JP2018066931A (ja) * 2016-10-21 2018-04-26 キヤノン株式会社 固体撮像素子及びその制御方法並びに撮像装置
WO2018088119A1 (ja) * 2016-11-09 2018-05-17 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Also Published As

Publication number Publication date
JPWO2022070941A1 (ja) 2022-04-07
US20230269497A1 (en) 2023-08-24
JP7459279B2 (ja) 2024-04-01
US12126920B2 (en) 2024-10-22
JP2024071452A (ja) 2024-05-24

Similar Documents

Publication Publication Date Title
JP5400406B2 (ja) 撮像装置
US8525917B2 (en) Image sensing apparatus with plural focus detection pixel groups
JP5241355B2 (ja) 撮像装置とその制御方法
JP5361535B2 (ja) 撮像装置
US9781366B2 (en) Image sensing system and method of driving the same
JPWO2012128154A1 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
JP2019106634A (ja) 撮像素子及び撮像装置
US20240267649A1 (en) Imaging apparatus and imaging sensor
JP6207293B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6964806B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP2011087050A (ja) デジタルカメラ
JP6997295B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2022070941A1 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
US11122196B2 (en) Image processing apparatus
JPH11258491A (ja) 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
WO2022070688A1 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
JP6671868B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JPH11258489A (ja) 焦点検出装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2004222062A (ja) 撮像装置
JP2003153090A (ja) Ｘ−ｙ走査型撮像素子及びこれを備えた撮像装置
JP2006148591A (ja) 固体撮像装置および固体撮像素子駆動方法
JP6254780B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP2022105820A (ja) 受光素子、撮像装置及び補正処理方法
JP2014056088A (ja) 撮像装置
JP2019095593A (ja) 焦点検出装置及び焦点検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875243

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553808

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21875243

Country of ref document: EP

Kind code of ref document: A1