EP2795248A1 - Apparatus for mobile pattern projection and the use thereof - Google Patents

Apparatus for mobile pattern projection and the use thereof

Info

Publication number
EP2795248A1
EP2795248A1 EP13726523.7A EP13726523A EP2795248A1 EP 2795248 A1 EP2795248 A1 EP 2795248A1 EP 13726523 A EP13726523 A EP 13726523A EP 2795248 A1 EP2795248 A1 EP 2795248A1
Authority
EP
European Patent Office
Prior art keywords
projector
mobile computing
computing device
computer
measurement object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP13726523.7A
Other languages
German (de)
French (fr)
Inventor
Patrick Wissmann
Wolfgang Heine
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP2795248A1 publication Critical patent/EP2795248A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/21—Combinations with auxiliary equipment, e.g. with clocks or memoranda pads
    • H04M1/215—Combinations with auxiliary equipment, e.g. with clocks or memoranda pads by non-intrusive coupling means, e.g. acoustic couplers

Definitions

  • the invention relates to devices and uses for
  • DE 41 15 445 AI discloses a method for taking a three-dimensional image of an object according to the active triangulation principle, by means of a video camera having an image memory device, and a laser projector having an optics and a coding and storage device which on the object a Projected code for object marking in the form of light section planes with a predetermined frequency, wherein the projector is synchronized with the video camera, which receives the remarkie ⁇ ments when recording the object.
  • US 2002/0162886 A1 discloses a system for dreidimensio ⁇ cal scanning with a device for three-dimensional scanning, which is manually maneuverable and having a profilometer with a light beam projector, an objective and a light detector.
  • the object is achieved by a device according to the main claim.
  • a device for recording a three-dimensional image of a surface object aufwei ⁇ send object according to the active triangulation principle is claimed with the following components.
  • At least one synchronous receiving from Minim ⁇ least another perspective to the projector means the camera device for the synchronous recording of the measurement object with the light pattern.
  • the device is characterized in that these means of a mobile-providing, beyond the three-dimensional image of the READY ⁇ lung beaukarti ⁇ ones computing device is provided.
  • Apparatus and methods are claimed which allow use of portable small computers additionally as three-dimensional optical measuring devices according to the active triangulation method.
  • the mobile beyond the three-dimensional image pickup effetierti ⁇ ones-providing device, a mobile computer, a per- sonal digital assistant, a tablet personal computer or a music player can be.
  • all such computer devices include all conventional small computers. For example, so-called
  • the camera device and the computer device can be camera and computer of the mobile computing device. According to a further advantageous embodiment, the camera device and the computer device can be camera and computer of the mobile computing device. According to a further advantageous embodiment, the
  • Projector device be fixed outside of the mobile computing device.
  • the projector device can have optics forming a beam and optics which form the beam on the object to be measured, in front of a flash illumination integrated into the mobile computing device along its optical axis.
  • the projector device can have optics forming a beam and optics which form the beam on the object to be measured, in front of a flash illumination integrated into the mobile computing device along its optical axis.
  • Projector device have their own lighting device, a beam forming optics and the beam on the measurement object imaging optics. According to a further advantageous embodiment, the projector device can be completely integrated into the mobile computer device.
  • the beam forming optics may be a homogeneously illuminated pattern slide.
  • the projector device can be supplied with electrical power from the computer device.
  • the computer device can be supplied with electrical power from the computer device.
  • Computing device be a portable small computer that provides additional functions ⁇ for three-dimensional image recording. Such additional functions may enable communication, music or any other applications beispielswei ⁇ se.
  • a device according to the invention for example for the destruction ⁇ free testing of the test object may be used to reverse engineering or for a consumer electronics.
  • FIG. 1 shows a conventional embodiment of a method
  • Figures 2a to 2e show a first embodiment
  • Figures 3a to 3d show a second embodiment
  • Figure 4 shows another embodiment of a erfindungsge MAESSEN device
  • FIGS. 5a to 5f exemplary embodiments of measurement patterns
  • Figure 6 shows various uses of an inventive
  • the conventional method of active triangulation uses a projector device 1 for projecting a light source.
  • pattern which may be characterized for example by means of a stripe index i.
  • Light patterns may be generated, for example, as a laser line, a stripe pattern, or a color pattern.
  • Figure la shows a stripe pattern as Lichtmus- ter 3.
  • Figure la shows a black and white representation of a color-coded measuring pattern, which has been decorated to a measuring object 5 proji ⁇ .
  • a synchronous recording of the light pattern 3 with one or more cameras 7 from egg ⁇ ner different perspective takes place.
  • FIG. 1b shows an exemplary embodiment of an SD model of a human face composed of a plurality of measurements as an example of a measuring object 5.
  • FIGS. 2 b and 2 c show respective views of the rear side of the computing device 11.
  • FIG. 2 b shows a camera device 7 integrated into the computing device 11 on a right side and a flash illumination 13 already integrated into the computing device 11 on a left side.
  • FIG. 2 c shows a projector device 1, which is fixed externally to the mobile computing device 11.
  • the projector device 1 uses a camera flash, so that the projector device can be referred to as flash projector add-on.
  • the projector device 1 is arranged according to figure 2c before integrated in the mobile computing device 11, flash illumination 13 and preferably there fi xed ⁇ .
  • FIG. 2d shows the view according to FIG. 2c from above.
  • the mobile computing device 11 uses the camera device 7 and the flash illumination 13 to perform a three-dimensional image acquisition. In front of the flash illumination 13 integrated into the mobile computing device 11, the projector device 1 is arranged.
  • the projector device 1 has a beam-forming optical system along the optical axis of the flash illumination 13 and an optical system which images the beam onto the measurement object 5.
  • FIG. 2 d shows a light pattern 3 that is projected onto a planar measurement object 5.
  • the angle ⁇ represents the angle between a Lichtmus ⁇ terstrahl and a viewing beam of the camera device 7.
  • the reference symbol B denotes a Triangulati ⁇ onsbasinsline.
  • FIG. 2 e again shows the front view according to FIG. 2 a additionally with the exemplarily projected light pattern 3 and a representation of a combination of camera device 7 and projector device 1 using the flash illumination 13 already integrated in the mobile computing device 11.
  • FIG. 2 a to 2 e show a first exemplary embodiment according to the invention for the use of a factory-integrated photo flash for the projection of measurement patterns in the sense of active triangulation.
  • FIG. 2 a shows an example of a portable small computer in the form of a personal digital assistant (PDA) or smartphone.
  • Figure 2b shows a factory TEGRATED increasingly in ⁇ combination of camera means 7 and a photo-flash illumination 13.
  • Figure 2c shows a possible exemplary of a projector device 1 for projecting a measuring light pattern 3 using an integrated Flash exp ⁇ illumination 13.
  • Figure 2d shows, by way of example, a projected measuring light pattern 3 which can be seen on the surface of the measuring object 5 is reflected and recorded by an integrated camera device 7.
  • the light pattern 3 is configured such that a Kor ⁇ spondence between multiple camera image points (pixels) and a plurality of strips or dots can be produced in the measurement sample after taking a picture.
  • a geometric mean two ⁇ it performs corresponding lines of sight of the camera device 7, and the projector device 1, for obtaining a surface point in a three dimensional system Koordinatensys-. This corresponds to the conventional method of active triangulation.
  • a multiplicity of geometric sections leads to an approximate 3D representation of the surface of the measurement object 5 to be measured.
  • FIG. 2e shows the representation according to FIG. 2d from a different perspective.
  • Figures 2a to 2e show an inventive embodiment ⁇ example of a modern portable small computer.
  • Smartphones, personal digital assistants or tablet computers increasingly have a factory-integrated camera device 7.
  • Latest devices also have an integrated photo flash illumination 13.
  • This flash illumination 13 can be used as a light source for a pattern projection in the sense of a structured illumination and triangulation.
  • a beam-shaping device is used, which uses a homogeneously illuminated corresponding Mus ⁇ ter-Dia. Basically corresponding pattern ⁇ templates are usable.
  • the irradiated slide or by strahle template is in turn projected by a abbil ⁇ Denden optics onto the object to be measured.
  • the beam-forming and the imaging part of the optics can be integrated in a common projector device 1, which are mounted along the optical axis of the flash illumination 13.
  • An integrated camera device 7 in conjunction with the projector device 1 allows the use of additional mobile functions providing computing devices 11 additionally as three-dimensional measuring devices.
  • Such 3D detection devices can, for example, for a Non-destructive testing technology for testing the test object 5 can be used.
  • Figures 2a to 2e illustrate an embodiment which illuminates with- means of beam shaping and homogenization of a suitable active triangulation pattern, in particular in the form of a Mus ⁇ ter-Dias, light from a flash illumination 13, which is originally used for still images.
  • flash flash lights 13 are increasingly being integrated into modern small portable computers, such as smartphones, personal digital assistants or tablet PCs.
  • a projector device 1 of the invention also includes an optical system for projecting the pattern slides on an object to be measured 5.
  • a system that USAGE addition of a three-dimensional optical measurement is created by the inventive device ⁇ det can be.
  • 3D data can be easily carried out by means of wireless data transmission, for example by means of WLAN or Bluetooth or memory cards.
  • FIGS. 3 a to 3d show a second embodiment of a device according to the invention.
  • a smartphone is proposed as a mobile computing device 11 as a mobile small computer.
  • Figure 3a shows a front view of the mobile, additional functions providing Computing device 11, wherein the projector device 1 is fixed outside of the mobile computing device 11.
  • the projector device 1 here has its own illumination ⁇ device, a beam forming optics and the beam on the measurement object imaging optics.
  • the projector ⁇ gate device 1 may be part of a projector unit, which is mechanically coupled to the mobile computing device 11.
  • This projector unit for example, me ⁇ be mechanically fixed releasably on the mobile computing device.
  • the projector unit may be pivotally mounted.
  • FIG. 3b shows a view from the rear side of the illustration according to FIG. 3a.
  • a camera device 7 can be combined with an external projector device 1.
  • Figure 3 shows a side view, wherein the projector means is coupled to 1 by the projector unit 2 me ⁇ mechanically to the mobile computing device 11 and an exemplary light pattern 3 projected on the surface of a measurement object. 5
  • the spatial arrangement of a Ka ⁇ mera driving 7 to the projector device 1 defines the required for a triangulation baseline B.
  • the angle ⁇ is defined by the profile of a pattern to a beam view ⁇ beam.
  • 3d shows a front view again in addition to the projected light pattern 3.
  • Figures 3a to 3d show a projector device 1 is integrated in a projector unit 2, which is rotatably mechanically coupled to the mobile computing ⁇ nervoriques. 11
  • the projector unit 2 can be particularly advantageously powered by the mobile computing device 11 directly.
  • Figures 3a to 3d show an external projector unit 2, which has received a projector device 1, for the projection of a light pattern 3 as a measurement pattern in the sense of an active Triangu ⁇ lation.
  • FIGS. 3a and 3b show by way of example a portable small computer in the form of a smartphone or a personal digital assistant of an attached external projector unit 2 for the projection of a light pattern 3.
  • FIGS. 3c and 3d show, by way of example, a projected measuring pattern.
  • the re ⁇ is inflected and recorded by an integrated in the mobile computing device 11 camera device 7 on the surface to be measured of the measuring object. 5
  • FIGS. 3c and 3d reference is additionally made to the description of FIG. 2d.
  • the pattern projection is now carried out by means of an external projector unit 2.
  • an external projector unit 2 for Pattern projection attached to the mobile computing device 11.
  • Such a projector unit 2 can be made very compact.
  • Pro ⁇ jektoriser 2 can be supplied by means of the mobile computing device with electric current, whereby transferability and Drahtiety of the inventive apparatus result.
  • the embodiment of Figures 3a to 3d shows an inventive device with a projector unit 2 projects a suitable for an active triangulation pattern, which provides a possibility for mounting on small portable computer, and optionally a Stromversor ⁇ supply made possible by this.
  • a 3D measuring device is created that can perform an active triangulation method.
  • FIG. 4 shows a further embodiment of a device OF INVENTION ⁇ to the invention.
  • FIG. 4 shows a smartphone as an example of a mobile computing device.
  • This front view shows hardware actuators 17 and a touch-sensitive display 19, which may also be referred to as a touch screen.
  • Reference numeral 21 denotes controls that are provided only by software. These are in particular so-called icons for switching Before ⁇ transitions, which are excluded by the mobile computing device 11 performs.
  • Reference numeral 23 represents an interactive 3D preview of a measuring object 5.
  • 4 shows a ⁇ OF INVENTION dung exemplary embodiment according to an integration of an SD measuring device in a small mobile computer. conventional User interfaces can be used simply and effectively for interactive presentation and control of 3D measurement processes.
  • FIG 4 a ⁇ integrated devices of mobile computing devices 11 for a product already jection of measuring light patterns 3 are used. Accordingly, an embodiment according to the invention according to FIG. 4 uses already integrated factory-installed projectors in corresponding mobile computer devices.
  • the projectors integrated into a media display for example for the presentation of photos or films, can be used for pattern projection in the sense of active triangulation, whereby 3D measurements are simply made possible by only software-related developments.
  • a projector device 1, which is required for active triangulation is completely integrated in an already available conventional mobile computing device 11.
  • Projection devices or projector devices 1 which are integrated at the factory into portable small computers are used in conjunction with a factory-integrated camera or camera device 7 for 3D measurement according to the active triangulation method.
  • an additional benefit that is, the extraction of 3D measurement data is brought about.
  • An implementation can simply be executed on the software side. Full integration is particularly advantageous in terms of reduced costs.
  • FIG. 4 shows how an integrated screen, that is to say a so-called touch screen, can optionally be used for an interactive visualization of measurement results or for navigation of a 3D model.
  • FIGS. 5a to 5f show exemplary embodiments of patterns which are suitable as measurement patterns for recording three-dimensional images. Such patterns can be projected by the erfindungsge ⁇ Permitted device. These light patterns 3 are already known in the art.
  • Figure 6 illustrates various uses of a device Vx fiction, modern ⁇ . The from the inventive devices and respective methods resulting 3D measurement devices are distinguished primarily by a very high cost and mobility. Possible fürsge ⁇ offer can be found among others in the field of non-destructive testing, for example in quality control and inspection, reverse engineering, and for example, consumer electronics. By combining several SD recordings, corresponding to a video mode, complex spatial structures can be with zusfelli ⁇ chen sensor systems for determining the location and position changes detected.
  • the 2D image content can be imaged onto the 3D surface of the object.
  • appropriate lighting for example, by ultraviolet light to make fluorescent or other substances on the object surface visible and map the positions of the object substances localized.
  • the present invention proposes a simple integration of a device for recording a three-dimensional image of a measurement object 5 in mobile computing devices 11 which provide additional functions.
  • Such integration can be carried out very inexpensively and easily.
  • smartphones, tablet computers and personal digital assistants can additionally be used for such image acquisition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The present invention proposes simple integration of an apparatus for recording a three-dimensional image of a measurement object (5) in mobile computer apparatuses (11) which provide additional functions for this purpose. Such integration can be designed to be very cost-effective and simple. In this manner, smartphones, tablet computers and personal digital assistants, in particular, can additionally be used for such image capture.

Description

Beschreibung description
Vorrichtung zur mobilen Musterprojektion und deren Verwendung Die Erfindung betrifft Vorrichtungen und Verwendungen zurDevice for mobile pattern projection and its use The invention relates to devices and uses for
Aufnahme eines dreidimensionalen Bildes eines eine Oberfläche aufweisenden Messobjektes nach dem aktiven Triangulationsprinzip mit einer Projektoreinrichtung zur Projektion eines Lichtmusters von einer ersten Perspektive auf das Messob- jekt, mindestens einer aus mindestens einer weiteren Perspek¬ tive synchron zur Projektoreinrichtung aufnehmenden Kameraeinrichtung zur synchronen Aufnahme des Messobjektes zusammen mit dem Lichtmuster, und einer Rechnereinrichtung zur mittels der synchronen Aufnahme ausgeführten Berechnung von die Ober- fläche des Objektes abbildenden Raumkoordinaten. Receiving a three-dimensional image of a surface having the measuring object according to the active triangulation principle with a projector means for projecting a light pattern of a first perspective of the Messob- ject, along at least one of at least one further perspec ¬ tive synchronously receiving the projector means the camera device for the synchronous recording of the measurement object with the light pattern, and a computer device for calculating the surface coordinates of the object by means of the synchronous recording of spatial coordinates.
Die DE 41 15 445 AI offenbart ein Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip, mittels einer Videokamera, die eine Bildspeichereinrichtung aufweist, und eines Laserprojektors, der eine Optik und eine Codier- und Speichereinrichtung besitzt, die auf das Objekt einen Code zur Objektmarkierung in Form von Lichtschnittebenen mit einer vorgegebenen Frequenz projiziert, wobei der Projektor mit der Videokamera synchro- nisiert wird, die bei Aufnahme des Objektes die Objektmarkie¬ rungen aufnimmt. DE 41 15 445 AI discloses a method for taking a three-dimensional image of an object according to the active triangulation principle, by means of a video camera having an image memory device, and a laser projector having an optics and a coding and storage device which on the object a Projected code for object marking in the form of light section planes with a predetermined frequency, wherein the projector is synchronized with the video camera, which receives the Objektmarkie ¬ ments when recording the object.
Die US 2002/0162886 AI offenbart ein System zur dreidimensio¬ nalen Abtastung mit einer Vorrichtung zur dreidimensionalen Abtastung, die manuell manövrierbar ist und ein Profilometer mit einem Lichtstrahlprojektor, einem Objektiv und einem Lichtdetektor aufweist. US 2002/0162886 A1 discloses a system for dreidimensio ¬ cal scanning with a device for three-dimensional scanning, which is manually maneuverable and having a profilometer with a light beam projector, an objective and a light detector.
Zunehmend wird das Verfahren der aktiven Triangulation ge- nutzt, um mobile, handgeführte 3D-Messeinrichtungen zu ver¬ wirklichen. Herkömmlicherweise werden Bildaufnahmen an eine externe Datenverarbeitungseinheit übermittelt, und durch die¬ se in 3D-Datensätze überführt. Ebenso sind Geräte bekannt, die mit einer stationären Kamera und einer handgeführten Einrichtung zur Musterprojektion arbeiten. Increasingly, the process of active triangulation uses overall to portable, handheld 3D measurement devices to ver ¬ real. Conventionally, image recordings are transmitted to an external data processing unit, and transferred by the ¬ se in 3D data sets. Likewise, devices are known which work with a stationary camera and a handheld pattern projection device.
Herkömmliche Lösungen sind mit relativ hohen Kosten verbun- den. Herkömmliche Ausführungen sind großräumig, schwer und verdrahtet . Conventional solutions are associated with relatively high costs. Conventional versions are spacious, heavy and wired.
Es ist Aufgabe der Erfindung eine Vorrichtung und ein Verfahren zur einfachen, kostengünstigen, kompakten und mobilen Erfassung von Raumkoordinaten bereitzustellen, die eine Oberfläche eines Messobjektes abbilden. It is an object of the invention to provide a device and a method for simple, inexpensive, compact and mobile detection of spatial coordinates that map a surface of a measurement object.
Die Aufgabe wird durch eine Vorrichtung gemäß dem Hauptanspruch gelöst. The object is achieved by a device according to the main claim.
Gemäß einem ersten Aspekt wird eine Vorrichtung zur Aufnahme eines dreidimensionalen Bildes eines eine Oberfläche aufwei¬ senden Messobjektes nach dem aktiven Triangulationsprinzip mit folgenden Bestandteilen beansprucht. Eine Projektoreinrichtung zur Projektion eines Lichtmusters von einer ersten Perspektive auf das Messobjekt. Mindestens eine aus mindes¬ tens einer weiteren Perspektive synchron zur Projektoreinrichtung aufnehmenden Kameraeinrichtung zur synchronen Aufnahme des Messobjektes zusammen mit dem Lichtmuster. Eine Rechnereinrichtung zur mittels der synchronen Aufnahme ausgeführten Berechnung von die Oberfläche des Objektes abbildenden Raumkoordinaten. Die Vorrichtung zeichnet sich dadurch aus, dass diese mittels einer mobilen, über die Bereitstel¬ lung des dreidimensionalen Bildes hinausgehende Zusatzfunkti¬ onen bereitstellende Rechnereinrichtung geschaffen ist. According to a first aspect, a device for recording a three-dimensional image of a surface object aufwei ¬ send object according to the active triangulation principle is claimed with the following components. A projector device for projecting a light pattern from a first perspective onto the measurement object. At least one synchronous receiving from Minim ¬ least another perspective to the projector means the camera device for the synchronous recording of the measurement object with the light pattern. A computer device for the calculation carried out by means of the synchronous recording of the surface of the object imaging spatial coordinates. The device is characterized in that these means of a mobile-providing, beyond the three-dimensional image of the READY ¬ lung Zusatzfunkti ¬ ones computing device is provided.
Es werden Vorrichtungen und Verfahren beansprucht, die eine Nutzung tragbarer Kleincomputer zusätzlich als dreidimensionale optische Messeinrichtungen nach dem Verfahren der aktiven Triangulation ermöglichen. Apparatus and methods are claimed which allow use of portable small computers additionally as three-dimensional optical measuring devices according to the active triangulation method.
Weitere vorteilhafte Ausgestaltungen werden in Verbindung mit den Unteransprüchen beansprucht. Gemäß einer vorteilhaften Ausgestaltung kann die mobile, über die dreidimensionale Bildaufnahme hinausgehende Zusatzfunkti¬ onen bereitstellende Rechnervorrichtung ein Handy, ein per- sönlicher digitaler Assistent, ein Tablet-Personalcomputer oder ein Musikabspielgerät sein. Grundsätzlich sind von all derartigen Rechnervorrichtungen alle herkömmlichen Kleincomputer umfasst. Beispielsweise sind ebenso sogenannte Further advantageous embodiments are claimed in conjunction with the subclaims. According to an advantageous embodiment, the mobile, beyond the three-dimensional image pickup Zusatzfunkti ¬ ones-providing device, a mobile computer, a per- sonal digital assistant, a tablet personal computer or a music player can be. Basically, all such computer devices include all conventional small computers. For example, so-called
„Smartphones" umfasst. Includes "smartphones".
Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Kameraeinrichtung und die Rechnereinrichtung Kamera und Rechner der mobilen Rechnervorrichtung sein. Gemäß einer weiteren vorteilhaften Ausgestaltung kann dieAccording to a further advantageous embodiment, the camera device and the computer device can be camera and computer of the mobile computing device. According to a further advantageous embodiment, the
Projektoreinrichtung außerhalb an der mobilen Rechnervorrichtung fixiert sein. Projector device be fixed outside of the mobile computing device.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Projektoreinrichtung von vor einer in die mobile Rechnervorrichtung integrierten Blitzbeleuchtung entlang derer optischen Achse eine einen Strahl formende Optik und eine den Strahl auf das Messobjekt abbildende Optik aufweisen. Gemäß einer weiteren vorteilhaften Ausgestaltung kann dieAccording to a further advantageous refinement, the projector device can have optics forming a beam and optics which form the beam on the object to be measured, in front of a flash illumination integrated into the mobile computing device along its optical axis. According to a further advantageous embodiment, the
Projektoreinrichtung eine eigene Beleuchtungseinrichtung, eine einen Strahl formende Optik und eine den Strahl auf das Messobjekt abbildende Optik aufweisen. Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Projektoreinrichtung vollständig in die mobile Rechnereinrichtung integriert sein. Projector device have their own lighting device, a beam forming optics and the beam on the measurement object imaging optics. According to a further advantageous embodiment, the projector device can be completely integrated into the mobile computer device.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann die den Strahl formende Optik ein homogen beleuchtetes Muster-Dia sein . Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Projektoreinrichtung von der Rechnervorrichtung elektrisch leistungsversorgt sein. Gemäß einer weiteren vorteilhaften Ausgestaltung kann dieAccording to a further advantageous embodiment, the beam forming optics may be a homogeneously illuminated pattern slide. According to a further advantageous embodiment, the projector device can be supplied with electrical power from the computer device. According to a further advantageous embodiment, the
Rechnervorrichtung ein tragbarer Kleincomputer sein, der zur dreidimensionalen Bildaufnahme zusätzliche Funktionen bereit¬ stellt. Derartige zusätzliche Funktionen können beispielswei¬ se eine Kommunikation, Musik oder beliebig andere Anwendungen ermöglichen. Computing device be a portable small computer that provides additional functions ¬ for three-dimensional image recording. Such additional functions may enable communication, music or any other applications beispielswei ¬ se.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann eine erfindungsgemäße Vorrichtung beispielsweise zum zerstörungs¬ freien Prüfen des Messobjektes, zum Reverse Engineering oder für eine Unterhaltungselektronik verwendet werden. According to a further advantageous embodiment, a device according to the invention for example for the destruction ¬ free testing of the test object may be used to reverse engineering or for a consumer electronics.
Die Erfindung wird anhand von Ausführungsbeispielen in Verbindung mit den Figuren näher beschrieben. Es zeigen: The invention will be described in more detail by means of exemplary embodiments in conjunction with the figures. Show it:
Figur 1 ein herkömmliches Ausführungsbeispiel eines Verfah rens ; FIG. 1 shows a conventional embodiment of a method;
Figuren 2a bis 2e zeigen ein erstes Ausführungsbeispiel Figures 2a to 2e show a first embodiment
erfindungsgemäßen Vorrichtung;  device according to the invention;
Figuren 3a bis 3d zeigen ein zweites Ausführungsbeispiel Figures 3a to 3d show a second embodiment
ner erfindungsgemäßen Vorrichtung;  ner device according to the invention;
Figur 4 ein weiteres Ausführungsbeispiel einer erfindungsge mäßen Vorrichtung; Figure 4 shows another embodiment of a erfindungsge MAESSEN device;
Figuren 5a bis 5f Ausführungsbeispiele von Messmustern; FIGS. 5a to 5f exemplary embodiments of measurement patterns;
Figur 6 verschiedene Verwendungen einer erfindungsgemäßen Figure 6 shows various uses of an inventive
Vorrichtung .  Contraption .
Das herkömmliche Verfahren der aktiven Triangulation verwen det eine Projektoreinrichtung 1 zur Projektion eines Licht- musters, das beispielsweise mittels eines Streifenindexes i charakterisiert sein kann. Lichtmuster können beispielsweise als eine Laserlinie, ein Streifenmuster oder ein Farbmuster erzeugt sein. Figur la zeigt ein Streifenmuster als Lichtmus- ter 3. Figur la zeigt eine schwarzweiß Darstellung eines farbcodierten Messmusters, das auf ein Messobjekt 5 proji¬ ziert worden ist. Zusätzlich erfolgt eine synchrone Aufnahme des Lichtmusters 3 mit einer oder mehreren Kameras 7 aus ei¬ ner anderen Perspektive. Kann im Kamerabild das auf das Mess- Objekt 5 projizierte Muster 3 identifiziert, das heißt seinem Ursprung im Musterprojektor 1 zugeordnet werden, können anhand der beiden Sichtlinien von Kamera 7 und Projektor 1 Koordinaten im Raum von einer Rechnereinrichtung 9 errechnet werden, die die Oberfläche des Messobjektes 5 repräsentieren. Figur la zeigt zwischen der Projektoreinrichtung 1 und derThe conventional method of active triangulation uses a projector device 1 for projecting a light source. pattern, which may be characterized for example by means of a stripe index i. Light patterns may be generated, for example, as a laser line, a stripe pattern, or a color pattern. Figure la shows a stripe pattern as Lichtmus- ter 3. Figure la shows a black and white representation of a color-coded measuring pattern, which has been decorated to a measuring object 5 proji ¬. In addition, a synchronous recording of the light pattern 3 with one or more cameras 7 from egg ¬ ner different perspective takes place. If the pattern 3 projected onto the measuring object 5 can be identified in the camera image, that is to say assigned to its origin in the pattern projector 1, coordinates in space can be calculated by a computer device 9 using the two lines of sight of the camera 7 and projector 1 Represent measuring object 5. Figure la shows between the projector device 1 and the
Kameraeinrichtung 7 mit dem Bezugszeichen B eine erforderliche Triangulationsbasis. Figur lb zeigt ein Ausführungsbei¬ spiel eines aus mehreren Messungen zusammengesetzten SD- Modells eines menschlichen Gesichtes als Beispiel eines Mess- Objektes 5. Camera device 7 with the reference B a required Triangulationsbasis. FIG. 1b shows an exemplary embodiment of an SD model of a human face composed of a plurality of measurements as an example of a measuring object 5.
Figuren 2a bis 2e zeigen ein erstes Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung. Gemäß diesem Ausführungsbeispiel ist eine Projektoreinrichtung 1 außerhalb an einer mo- bilen Rechnervorrichtung 11 fixiert. Gemäß diesem Ausführungsbeispiel ist die über die dreidimensionale Bildaufnahme hinausgehende Funktionen bereitstellende mobile Rechnervor¬ richtung 11 ein Handy, insbesondere ein sogenanntes Smartpho- ne . Figur 2a zeigt eine Vorderansicht der mobilen, Zusatz- funktionen bereitstellenden Rechnervorrichtung 11. Grundsätzlich können derartige Rechnervorrichtungen beliebige Funktionen ermöglichende Kleincomputer sein. Figuren 2b und 2c zeigen jeweilige Ansichten auf die Rückseite der Rechnervorrichtung 11. Figur 2b zeigt auf einer rechten Seite eine in die Rechnervorrichtung 11 integrierte Kameraeinrichtung 7 und auf einer linken Seite daneben eine in die Rechnervorrichtung 11 bereits integrierte Blitzbeleuchtung 13. Herkömmlicherweise wird die Blitzbeleuchtung 13 zur Auslichtung eines Messobjek- tes 5 verwendet. Figur 2c zeigt eine Projektoreinrichtung 1, die außerhalb an der mobilen Rechnervorrichtung 11 fixiert ist. Die Projektoreinrichtung 1 nutzt einen Kamerablitz, sodass die Projektoreinrichtung als Blitzprojektorzusatz be- zeichnet werden kann. Die Projektoreinrichtung 1 ist gemäß Figur 2c vor der in die mobile Rechnervorrichtung 11 integrierten Blitzbeleuchtung 13 angeordnet und bevorzugt dort fi¬ xiert. Figur 2d zeigt die Ansicht gemäß Figur 2c von oben. Von der mobilen Rechnervorrichtung 11 werden die Kameraein- richtung 7 und die Blitzbeleuchtung 13 zur Ausführung einer dreidimensionalen Bildaufnahme genutzt. Vor der in die mobile Rechnervorrichtung 11 integrierten Blitzbeleuchtung 13 ist die Projektoreinrichtung 1 angeordnet. Die Projektoreinrichtung 1 weist entlang der optischen Achse der Blitzbeleuchtung 13 eine einen Strahl formende Optik und eine den Strahl auf das Messobjekt 5 abbildende Optik auf. Figur 2d zeigt ein Lichtmuster 3, das auf ein flächiges Messobjekt 5 projiziert wird. Der Winkel Φ stellt den Winkel zwischen einem Lichtmus¬ terstrahl und einem Sichtstrahl der Kameraeinrichtung 7 dar. Des Weiteren bezeichnet das Bezugszeichen B eine Triangulati¬ onsbasislinie. Figur 2e zeigt erneut die Vorderansicht gemäß Figur 2a zusätzlich mit dem beispielhaft projizierten Lichtmuster 3 und einer Darstellung einer Kombination von Kameraeinrichtung 7 und Projektoreinrichtung 1 unter Verwendung der bereits ursprünglich in die mobile Rechnervorrichtung 11 integrierten Blitzbeleuchtung 13. Figuren 2a bis 2e zeigen ein erstes erfindungsgemäßes Ausführungsbeispiel für die Nutzung eines werkseitig integrierten Fotoblitzes für die Projektion von Messmustern im Sinne aktiver Triangulation. Figur 2a zeigt beispielhaft einen tragbaren Kleincomputer in Form eines persönlichen digitalen Assistenten (PDA) oder Smartpho- nes. Figur 2b zeigt eine in zunehmendem Maße werkseitig in¬ tegrierte Kombination aus einer Kameraeinrichtung 7 und einer Foto-Blitzbeleuchtung 13. Figur 2c zeigt eine mögliche Aus- führung einer Projektoreinrichtung 1 zur Projektion eines messenden Lichtmusters 3 mithilfe einer integrierten Blitzbe¬ leuchtung 13. Figur 2d zeigt beispielhaft ein projiziertes messendes Lichtmuster 3, das auf der Oberfläche des zu ver- messenden Objektes 5 reflektiert und von einer integrierten Kameraeinrichtung 7 aufgenommen wird. Das Lichtmuster 3 ist derart ausgestaltet, dass nach einer Bildaufnahme eine Kor¬ respondenz zwischen mehreren Kamera-Bildpunkten (Pixel) und mehreren Streifen beziehungsweise Punkten im Messmuster hergestellt werden kann. Ein geometrischer Schnitt jeweils zwei¬ er korrespondierender Sichtlinien von der Kameraeinrichtung 7 und der Projektoreinrichtung 1 führt zur Gewinnung eines Oberflächenpunktes in einem dreidimensionalen Koordinatensys- tem. Dies entspricht dem herkömmlichen Verfahren der aktiven Triangulation. Eine Vielzahl geometrischer Schnitte führt zu einer annähernden 3D-Darstellung der zu vermessenden Oberfläche des Messobjektes 5. Figur 2e zeigt die Darstellung gemäß Figur 2d aus einer anderen Perspektive. Figures 2a to 2e show a first embodiment of a device according to the invention. According to this embodiment, a projector device 1 is fixed outside of a mobile computing device 11. According to this exemplary embodiment, the mobile computer device 11 which provides functions beyond the three-dimensional image recording is a mobile phone, in particular a so-called smartphone. FIG. 2 a shows a front view of the mobile computing device 11 providing additional functions. Basically, such computing devices can be any kind of small computer enabling functions. FIGS. 2 b and 2 c show respective views of the rear side of the computing device 11. FIG. 2 b shows a camera device 7 integrated into the computing device 11 on a right side and a flash illumination 13 already integrated into the computing device 11 on a left side. Conventionally, the flash illumination 13 for the illumination of a Messobjek- tes 5 used. FIG. 2 c shows a projector device 1, which is fixed externally to the mobile computing device 11. The projector device 1 uses a camera flash, so that the projector device can be referred to as flash projector add-on. The projector device 1 is arranged according to figure 2c before integrated in the mobile computing device 11, flash illumination 13 and preferably there fi xed ¬. FIG. 2d shows the view according to FIG. 2c from above. The mobile computing device 11 uses the camera device 7 and the flash illumination 13 to perform a three-dimensional image acquisition. In front of the flash illumination 13 integrated into the mobile computing device 11, the projector device 1 is arranged. The projector device 1 has a beam-forming optical system along the optical axis of the flash illumination 13 and an optical system which images the beam onto the measurement object 5. FIG. 2 d shows a light pattern 3 that is projected onto a planar measurement object 5. The angle Φ represents the angle between a Lichtmus ¬ terstrahl and a viewing beam of the camera device 7. Furthermore, the reference symbol B denotes a Triangulati ¬ onsbasinslinie. FIG. 2 e again shows the front view according to FIG. 2 a additionally with the exemplarily projected light pattern 3 and a representation of a combination of camera device 7 and projector device 1 using the flash illumination 13 already integrated in the mobile computing device 11. FIGS. 2 a to 2 e show a first exemplary embodiment according to the invention for the use of a factory-integrated photo flash for the projection of measurement patterns in the sense of active triangulation. FIG. 2 a shows an example of a portable small computer in the form of a personal digital assistant (PDA) or smartphone. Figure 2b shows a factory TEGRATED increasingly in ¬ combination of camera means 7 and a photo-flash illumination 13. Figure 2c shows a possible exemplary of a projector device 1 for projecting a measuring light pattern 3 using an integrated Flash exp ¬ illumination 13. Figure 2d shows, by way of example, a projected measuring light pattern 3 which can be seen on the surface of the measuring object 5 is reflected and recorded by an integrated camera device 7. The light pattern 3 is configured such that a Kor ¬ spondence between multiple camera image points (pixels) and a plurality of strips or dots can be produced in the measurement sample after taking a picture. A geometric mean two ¬ it performs corresponding lines of sight of the camera device 7, and the projector device 1, for obtaining a surface point in a three dimensional system Koordinatensys-. This corresponds to the conventional method of active triangulation. A multiplicity of geometric sections leads to an approximate 3D representation of the surface of the measurement object 5 to be measured. FIG. 2e shows the representation according to FIG. 2d from a different perspective.
Figuren 2a bis 2e zeigen ein erfindungsgemäßes Ausführungs¬ beispiel für einen modernen tragbaren Kleincomputer. Figures 2a to 2e show an inventive embodiment ¬ example of a modern portable small computer.
Smartphones, persönliche digitale Assistenten oder Tablet- Rechner besitzen zunehmend häufig eine werkseitig integrierte Kameraeinrichtung 7. Neueste Geräte weisen zusätzlich eine integrierte Foto-Blitzbeleuchtung 13 auf. Diese Blitzbeleuchtung 13 kann als Lichtquelle für eine Musterprojektion im Sinne einer strukturierten Beleuchtung und Triangulation verwendet werden. Hierzu wird eine strahlformende Einrichtung verwendet, die ein homogen beleuchtetes entsprechendes Mus¬ ter-Dia verwendet. Grundsätzlich sind entsprechende Muster¬ schablonen verwendbar. Das durchstrahlte Dia beziehungsweise die durchstrahle Schablone wird wiederum mittels einer abbil¬ denden Optik auf das zu vermessende Objekt 5 projiziert. Der strahlformende sowie der abbildende Teil der Optik können in einer gemeinsamen Projektoreinrichtung 1 integriert sein, die entlang der optischen Achse der Blitzbeleuchtung 13 angebracht sind. Eine integrierte Kameraeinrichtung 7 in Verbindung mit der Projektoreinrichtung 1 ermöglicht die Nutzung mobiler Zusatzfunktionen bereitstellender Rechnervorrichtungen 11 zusätzlich als dreidimensionale Messgeräte. Derartige 3D-Erfassungseinrichtungen können beispielsweise für eine zerstörungsfreie Prüftechnik zum Prüfen des Messobjektes 5 verwendet werden. Smartphones, personal digital assistants or tablet computers increasingly have a factory-integrated camera device 7. Latest devices also have an integrated photo flash illumination 13. This flash illumination 13 can be used as a light source for a pattern projection in the sense of a structured illumination and triangulation. For this purpose, a beam-shaping device is used, which uses a homogeneously illuminated corresponding Mus ¬ ter-Dia. Basically corresponding pattern ¬ templates are usable. The irradiated slide or by strahle template is in turn projected by a abbil ¬ Denden optics onto the object to be measured. 5 The beam-forming and the imaging part of the optics can be integrated in a common projector device 1, which are mounted along the optical axis of the flash illumination 13. An integrated camera device 7 in conjunction with the projector device 1 allows the use of additional mobile functions providing computing devices 11 additionally as three-dimensional measuring devices. Such 3D detection devices can, for example, for a Non-destructive testing technology for testing the test object 5 can be used.
Figuren 2a bis 2e stellen eine Ausführungsform dar, die mit- tels Strahlformung und Homogenisierung ein für aktive Triangulation geeignetes Muster, insbesondere in Form eines Mus¬ ter-Dias, Licht aus einer Blitzbeleuchtung 13 beleuchtet, die ursprünglich für Fotoaufnahmen genutzt wird. Derartige Foto- Blitzbeleuchtungen 13 werden in zunehmendem Maße in modernen tragbaren Kleincomputern integriert, wie dies beispielsweise Smartphones, persönliche digitale Assistenten oder Tablet-PCs sind. Eine erfindungsgemäße Projektoreinrichtung 1 enthält darüber hinaus eine Optik zur Projektion des Muster-Dias auf ein zu vermessendes Objekt 5. In Verbindung mit einer im tragbaren Kleincomputer integrierten Kameraeinrichtung 7 entsteht durch die erfindungsgemäße Vorrichtung ein System, das zusätzlich für eine dreidimensionale optische Messung verwen¬ det werden kann. Mittels der erfindungsgemäßen alternativen Nutzung bestehender herkömmlicher Komponenten sowie einer angepassten externen Projektoreinrichtung 1 werden folgende Vorteile geschaffen. Es können kostengünstige, kompakte, leichte und drahtlo¬ se Ausführungen geschaffen werden. Eine Integration in her- kömmliche mobile Rechnervorrichtungen ist leicht ausführbar, da die von der mobilen Rechnervorrichtung bereitgestellte integrierte Datenverarbeitungsleistung für eine Verarbeitung von 3D-Scans ausreichend ist. Deshalb ist keine weitere zu¬ sätzliche Personal-Computer-Hardware erforderlich. Zusätzlich können 3D-Daten mittels drahtloser Datenübermittlung beispielsweise mittels WLAN oder Bluetooth oder Speicherkarten einfach ausgeführt werden. Figures 2a to 2e illustrate an embodiment which illuminates with- means of beam shaping and homogenization of a suitable active triangulation pattern, in particular in the form of a Mus ¬ ter-Dias, light from a flash illumination 13, which is originally used for still images. Such flash flash lights 13 are increasingly being integrated into modern small portable computers, such as smartphones, personal digital assistants or tablet PCs. A projector device 1 of the invention also includes an optical system for projecting the pattern slides on an object to be measured 5. In conjunction with an integrated in small portable computer camera device 7, a system that USAGE addition of a three-dimensional optical measurement is created by the inventive device ¬ det can be. By means of the alternative use according to the invention of existing conventional components as well as an adapted external projector device 1, the following advantages are provided. It can be created cost-effective, compact, lightweight and drahtlo ¬ se versions. Integration into conventional mobile computing devices is easily accomplished because the integrated computing power provided by the mobile computing device is sufficient for processing 3D scans. Therefore, no more to ¬ additional personal computer hardware. In addition, 3D data can be easily carried out by means of wireless data transmission, for example by means of WLAN or Bluetooth or memory cards.
Figuren 3a bis 3d zeigen ein zweites Ausführungsbeispiel ei- ner erfindungsgemäßen Vorrichtung. Gemäß Figuren 3a bis 3d wird als mobiler Kleincomputer ein Smartphone als mobile Rechnervorrichtung 11 vorgeschlagen. Figur 3a zeigt eine Vorderansicht der mobilen, Zusatzfunktionen bereitstellenden Rechnervorrichtung 11, wobei die Projektoreinrichtung 1 außerhalb an der mobilen Rechnervorrichtung 11 fixiert ist. Die Projektoreinrichtung 1 weist hier eine eigene Beleuchtungs¬ einrichtung, eine einen Strahl formende Optik und eine den Strahl auf das Messobjekt abbildende Optik auf. Die Projek¬ toreinrichtung 1 kann Bestandteil einer Projektoreinheit sein, die mechanisch an die mobile Rechnervorrichtung 11 gekoppelt ist. Diese Projektoreinheit kann beispielsweise me¬ chanisch lösbar an der mobilen Rechnervorrichtung 11 fixiert werden. Zusätzlich kann die Projektoreinheit schwenkbar angeordnet sein. Bezugszeichen 15 bezeichnet eine entsprechende Befestigungseinrichtung. Hardwarebedienelemente sind mit dem Bezugszeichen 17 gekennzeichnet. Figur 3b zeigt eine Ansicht von der Rückseite der Darstellung gemäß Figur 3a. Eine Kame- raeinrichtung 7 kann mit einer externen Projektoreinrichtung 1 kombiniert werden. Figur 3 zeigt eine Seitenansicht, wobei die Projektoreinrichtung 1 mittels der Projektoreinheit 2 me¬ chanisch an die mobile Rechnervorrichtung 11 gekoppelt ist und ein beispielhaftes Lichtmuster 3 auf die Oberfläche eines Messobjektes 5 projiziert. Die räumliche Anordnung einer Ka¬ meraeinrichtung 7 zur Projektoreinrichtung 1 definiert die für eine Triangulation erforderliche Basislinie B. Der Winkel Φ ist durch den Verlauf eines Musterstrahls zu einem Sicht¬ strahl festgelegt. Figur 3d zeigt erneut eine Vorderansicht zusätzlich mit dem projizierten Lichtmuster 3. Figuren 3a bis 3d zeigen eine Projektoreinrichtung 1 die in eine Projektoreinheit 2 integriert ist, die drehbar mit der mobilen Rech¬ nervorrichtung 11 mechanisch gekoppelt ist. Die Projektoreinheit 2 kann besonders vorteilhaft von der mobilen Rechnervor- richtung 11 direkt elektrisch leistungsversorgt sein. Figuren 3a bis 3d zeigen eine externe Projektoreinheit 2, die eine Projektoreinrichtung 1 aufgenommen hat, zur Projektion eines Lichtmusters 3 als Messmuster im Sinne einer aktiven Triangu¬ lation. Figuren 3a und 3b zeigen beispielhaft einen tragbaren Kleincomputer in Form eines Smartphones oder eines persönlichen digitalen Assistenten einer angebrachten externen Projektoreinheit 2 zur Projektion eines Lichtmusters 3. Figuren 3c und 3d zeigen exemplarisch ein projiziertes Messmuster, das auf der Oberfläche des zu vermessenden Messobjektes 5 re¬ flektiert und von einer in die mobile Rechnervorrichtung 11 integrierten Kameraeinrichtung 7 aufgenommen wird. In Verbindung mit Figuren 3c und 3d wird zusätzlich auf die Beschrei- bung der Figur 2d verwiesen. Im Unterschied zu den Figuren 2a bis 2e, bei der eine integrierte Foto-Blitzbeleuchtung als Lichtquelle für eine Musterprojektion im Sinne einer struktu¬ rierten Beleuchtung verwendet wird, erfolgt die Musterprojektion nun mittels einer externen Projektoreinheit 2. Gemäß dieser Ausführungsform wird eine externe Projektoreinheit 2 zur Musterprojektion an der mobilen Rechnervorrichtung 11 angebracht. Eine derartige Projektoreinheit 2 kann dabei sehr kompakt ausgeführt sein. Zusätzlich kann eine derartige Pro¬ jektoreinheit 2 mittels der mobilen Rechnervorrichtung mit elektrischem Strom versorgt werden, wodurch sich Tragbarkeit und Drahtlosigkeit der erfindungsgemäßen Vorrichtung ergeben. Das Ausführungsbeispiel gemäß Figuren 3a bis 3d zeigt eine erfindungsgemäße Vorrichtung mit einer Projektoreinheit 2 zur Projektion eines für eine aktive Triangulation geeigneten Musters, die eine Möglichkeit zur Montage an den tragbaren Kleincomputer vorsieht und gegebenenfalls eine Stromversor¬ gung durch diesen ermöglicht. In Kombination entsteht eine 3D-Messvorrichtung, die ein Verfahren der aktiven Triangulation ausführen kann. Figures 3a to 3d show a second embodiment of a device according to the invention. According to FIGS. 3 a to 3d, a smartphone is proposed as a mobile computing device 11 as a mobile small computer. Figure 3a shows a front view of the mobile, additional functions providing Computing device 11, wherein the projector device 1 is fixed outside of the mobile computing device 11. The projector device 1 here has its own illumination ¬ device, a beam forming optics and the beam on the measurement object imaging optics. The projector ¬ gate device 1 may be part of a projector unit, which is mechanically coupled to the mobile computing device 11. This projector unit, for example, me ¬ be mechanically fixed releasably on the mobile computing device. 11 In addition, the projector unit may be pivotally mounted. Reference numeral 15 denotes a corresponding attachment means. Hardware control elements are identified by the reference numeral 17. FIG. 3b shows a view from the rear side of the illustration according to FIG. 3a. A camera device 7 can be combined with an external projector device 1. Figure 3 shows a side view, wherein the projector means is coupled to 1 by the projector unit 2 me ¬ mechanically to the mobile computing device 11 and an exemplary light pattern 3 projected on the surface of a measurement object. 5 The spatial arrangement of a Ka ¬ meraeinrichtung 7 to the projector device 1 defines the required for a triangulation baseline B. The angle Φ is defined by the profile of a pattern to a beam view ¬ beam. 3d shows a front view again in addition to the projected light pattern 3. Figures 3a to 3d show a projector device 1 is integrated in a projector unit 2, which is rotatably mechanically coupled to the mobile computing ¬ nervorrichtung. 11 The projector unit 2 can be particularly advantageously powered by the mobile computing device 11 directly. Figures 3a to 3d show an external projector unit 2, which has received a projector device 1, for the projection of a light pattern 3 as a measurement pattern in the sense of an active Triangu ¬ lation. FIGS. 3a and 3b show by way of example a portable small computer in the form of a smartphone or a personal digital assistant of an attached external projector unit 2 for the projection of a light pattern 3. FIGS. 3c and 3d show, by way of example, a projected measuring pattern. the re ¬ is inflected and recorded by an integrated in the mobile computing device 11 camera device 7 on the surface to be measured of the measuring object. 5 In connection with FIGS. 3c and 3d, reference is additionally made to the description of FIG. 2d. In contrast to the figures 2a to in an integrated photo-flash illumination is used as the light source for a pattern projection in terms of a struc ¬-configured lighting 2e, the pattern projection is now carried out by means of an external projector unit 2. According to this embodiment, an external projector unit 2 for Pattern projection attached to the mobile computing device 11. Such a projector unit 2 can be made very compact. In addition, such Pro ¬ jektoreinheit 2 can be supplied by means of the mobile computing device with electric current, whereby transferability and Drahtlosigkeit of the inventive apparatus result. The embodiment of Figures 3a to 3d shows an inventive device with a projector unit 2 projects a suitable for an active triangulation pattern, which provides a possibility for mounting on small portable computer, and optionally a Stromversor ¬ supply made possible by this. In combination, a 3D measuring device is created that can perform an active triangulation method.
Figur 4 zeigt ein weiteres Ausführungsbeispiel einer erfin¬ dungsgemäßen Vorrichtung. Figur 4 zeigt ein Smartphone als Beispiel für eine mobile Rechnervorrichtung. Diese Vorderansicht zeigt Hardwarebetätigungselemente 17 sowie eine berüh- rungsempfindliche Anzeige 19, die ebenso als Berührungsschirm bezeichnet werden kann. Bezugszeichen 21 kennzeichnet Bedienelemente, die lediglich softwaremäßig bereitgestellt werden. Dies sind insbesondere sogenannte Icons zum Schalten von Vor¬ gängen, die mittels der mobilen Rechnervorrichtung 11 ausge- führt werden. Bezugszeichen 23 stellt eine interaktive 3D- Vorschau eines Messobjektes 5 dar. Figur 4 zeigt ein erfin¬ dungsgemäßes Ausführungsbeispiel einer Integration einer SD- Messvorrichtung in einen mobilen Kleincomputer. Herkömmliche Benutzeroberflächen können für eine interaktive Darstellung und Steuerung von 3D-Messvorgängen einfach und wirksam genutzt werden. Gemäß Figur 4 werden bereits integrierte Ein¬ richtungen von mobilen Rechnervorrichtungen 11 für eine Pro- jektion von messenden Lichtmustern 3 verwendet. Entsprechend nutzt eine erfindungsgemäße Ausführungsform gemäß Figur 4 in entsprechende mobile Rechnervorrichtungen werkseitig bereits integrierte Projektoren. Die für eine Mediendarstellung, beispielsweise zur Darstellung von Fotos oder Filmen, integrier- ten Projektoren können zur Musterprojektion im Sinne der aktiven Triangulation verwendet werden, wodurch 3D-Messungen durch lediglich softwareseitige Entwicklungen einfach ermöglicht werden. Entsprechend ist gemäß Figur 4 eine Projektor¬ einrichtung 1, die für die aktive Triangulation erforderlich ist, vollständig in einer bereits verfügbaren herkömmlichen mobilen Rechnervorrichtung 11 integriert. Es werden werkseitig in tragbare Kleincomputer integrierte Projektionseinrichtungen oder Projektoreinrichtungen 1 in Verbindung mit einer werkseitig integrierten Kamera beziehungsweise Kameraeinrich- tung 7 zur 3D-Messung nach dem Verfahren der aktiven Triangulation genutzt. Infolge dieser Nutzung der Kombination aus bestehenden Komponenten in Verbindung mit den Verfahren der aktiven Triangulation wird ein zusätzlicher Nutzen, das heißt die Gewinnung von 3D-Messdaten herbeigeführt. Es sind keine zusätzlichen Vorrichtungen erforderlich. Eine Umsetzung kann einfach softwareseitig ausgeführt werden. Eine vollständige Integration ist insbesondere hinsichtlich verringerter Kosten besonders vorteilhaft. Figur 4 zeigt wie ein integrierter Bildschirm, das heißt ein sogenannter Touchscreen, gegebenen- falls für eine interaktive Visualisierung von Messergebnissen beziehungsweise zur Navigation eines 3D-Modells verwendet werden kann. Figure 4 shows a further embodiment of a device OF INVENTION ¬ to the invention. FIG. 4 shows a smartphone as an example of a mobile computing device. This front view shows hardware actuators 17 and a touch-sensitive display 19, which may also be referred to as a touch screen. Reference numeral 21 denotes controls that are provided only by software. These are in particular so-called icons for switching Before ¬ transitions, which are excluded by the mobile computing device 11 performs. Reference numeral 23 represents an interactive 3D preview of a measuring object 5. 4 shows a ¬ OF INVENTION dung exemplary embodiment according to an integration of an SD measuring device in a small mobile computer. conventional User interfaces can be used simply and effectively for interactive presentation and control of 3D measurement processes. According to FIG 4 a ¬ integrated devices of mobile computing devices 11 for a product already jection of measuring light patterns 3 are used. Accordingly, an embodiment according to the invention according to FIG. 4 uses already integrated factory-installed projectors in corresponding mobile computer devices. The projectors integrated into a media display, for example for the presentation of photos or films, can be used for pattern projection in the sense of active triangulation, whereby 3D measurements are simply made possible by only software-related developments. Correspondingly, according to FIG. 4, a projector device 1, which is required for active triangulation, is completely integrated in an already available conventional mobile computing device 11. Projection devices or projector devices 1 which are integrated at the factory into portable small computers are used in conjunction with a factory-integrated camera or camera device 7 for 3D measurement according to the active triangulation method. As a result of this use of the combination of existing components in conjunction with the methods of active triangulation, an additional benefit, that is, the extraction of 3D measurement data is brought about. There are no additional devices required. An implementation can simply be executed on the software side. Full integration is particularly advantageous in terms of reduced costs. FIG. 4 shows how an integrated screen, that is to say a so-called touch screen, can optionally be used for an interactive visualization of measurement results or for navigation of a 3D model.
Figuren 5a bis 5f zeigen Ausführungsbeispiele von Mustern die als Messmuster zur Aufnahme von dreidimensionalen Bildern geeignet sind. Derartige Muster können durch die erfindungsge¬ mäße Vorrichtung projiziert werden. Diese Lichtmuster 3 sind bereits im Stand der Technik bekannt. Figur 6 stellt verschiedene Verwendungen Vx einer erfindungs¬ gemäßen Vorrichtung dar. Die sich aus den erfindungsgemäßen Vorrichtungen und entsprechenden Verfahren ergebenden 3D- Messgeräten zeichnen sich im Wesentlichen durch eine sehr hohe Kosteneffizienz und Mobilität aus. Mögliche Anwendungsge¬ biete finden sich unter anderem in den Bereichen zerstörungsfreie Prüftechnik, beispielsweise für Qualitätskontrollen oder Inspektionen, Reverse Engineering und beispielsweise der Unterhaltungselektronik. Durch Kombination mehrerer SD- Aufnahmen, dies entspricht einem Video-Modus, mit zusätzli¬ chen Sensorsystemen zur Ortsbestimmung sowie Lageänderungen lassen sich auch komplexe Raumstrukturen erfassen. Durch Kombination der 3D-Erfassung mit einer 2D-Bilaufnähme, die ent- weder durch eine interne oder eine externe Kamera ausgeführt wurde, lassen sich die 2D-Bildinhalte auf die 3D-Oberfläche des Objektes abbilden. Mit dieser Methode ist es beispiels¬ weise möglich durch geeignete Beleuchtung, beispielsweise mittels ultraviolettem Licht, fluoreszierende oder andere Stoffe auf der Objektoberfläche sichtbar zu machen und die Positionen der Stoffe dem Objekt ortsgebunden zuzuordnen. FIGS. 5a to 5f show exemplary embodiments of patterns which are suitable as measurement patterns for recording three-dimensional images. Such patterns can be projected by the erfindungsge ¬ Permitted device. These light patterns 3 are already known in the art. Figure 6 illustrates various uses of a device Vx fiction, modern ¬. The from the inventive devices and respective methods resulting 3D measurement devices are distinguished primarily by a very high cost and mobility. Possible Anwendungsge ¬ offer can be found among others in the field of non-destructive testing, for example in quality control and inspection, reverse engineering, and for example, consumer electronics. By combining several SD recordings, corresponding to a video mode, complex spatial structures can be with zusätzli ¬ chen sensor systems for determining the location and position changes detected. By combining 3D capture with a 2D image capture that was performed by either an internal or external camera, the 2D image content can be imaged onto the 3D surface of the object. With this method it is thus possible example ¬ by appropriate lighting, for example, by ultraviolet light to make fluorescent or other substances on the object surface visible and map the positions of the object substances localized.
Die vorliegende Erfindung schlägt eine einfache Integration einer Vorrichtung zur Aufnahme eines dreidimensionalen Bildes eines Messobjektes 5 in mobile, dazu zusätzliche Funktionen bereitstellende Rechnervorrichtungen 11 vor. Eine derartige Integration kann sehr kostengünstig und einfach ausgeführt werden. Auf diese Weise können insbesondere Smartphones, Tab¬ lett-Rechner und persönliche digitale Assistenten zusätzlich für eine derartige Bilderfassung verwendet werden. The present invention proposes a simple integration of a device for recording a three-dimensional image of a measurement object 5 in mobile computing devices 11 which provide additional functions. Such integration can be carried out very inexpensively and easily. In this way, in particular smartphones, tablet computers and personal digital assistants can additionally be used for such image acquisition.

Claims

Patentansprüche claims
1. Vorrichtung zur Aufnahme eines dreidimensionalen Bildes eines eine Oberfläche aufweisenden Messobjektes (5) nach dem aktiven Triangulationsprinzip mit 1. A device for recording a three-dimensional image of a surface having a measuring object (5) according to the active triangulation with
einer Projektoreinrichtung (1) zur Projektion eines Lichtmusters (3) von einer ersten Perspektive auf das Messobjekt; mindestens einer aus mindestens einer weiteren Perspektive synchron zur Projektoreinrichtung aufnehmenden Kameraeinrich- tung (7) zur synchronen Aufnahme des Messobjektes zusammen mit dem Lichtmuster; a projector device (1) for projecting a light pattern (3) from a first perspective onto the measurement object; at least one of at least one further perspective synchronous to the projector receiving camera device (7) for synchronous recording of the measurement object together with the light pattern;
einer Rechnereinrichtung (9) zur mittels der synchronen Aufnahme ausgeführten Berechnung von die Oberfläche des Objektes abbildenden Raumkoordinaten; a computer device (9) for calculating, carried out by means of the synchronous recording, space coordinates which map the surface of the object;
dadurch gekennzeichnet, dass characterized in that
die Vorrichtung mittels einer mobilen, Zusatzfunktionen bereitstellenden Rechnervorrichtung (11) geschaffen ist. the device is provided by means of a mobile computing device (11) providing additional functions.
2. Vorrichtung gemäß Anspruch 1, 2. Device according to claim 1,
dadurch gekennzeichnet, dass characterized in that
die mobile, Zusatzfunktionen bereitstellende Rechnervorrichtung ein Handy, ein persönlicher digitaler Assistent, ein Tablett-Personalcomputer oder ein Musikabspielgerät ist. the mobile computing device providing additional functions is a mobile phone, a personal digital assistant, a tablet personal computer or a music player.
3. Vorrichtung nach Anspruch 1 oder 2, 3. Apparatus according to claim 1 or 2,
dadurch gekennzeichnet, dass characterized in that
die Kameraeinrichtung und die Rechnereinrichtung Kamera und Rechner der mobilen Rechnervorrichtung sind. the camera device and the computer device are camera and computer of the mobile computing device.
4. Vorrichtung nach Anspruch 3, 4. Apparatus according to claim 3,
dadurch gekennzeichnet, dass characterized in that
die Projektoreinrichtung außerhalb an der mobilen Rechnervorrichtung fixiert ist. the projector device is fixed outside of the mobile computing device.
5. Vorrichtung nach Anspruch 4, 5. Apparatus according to claim 4,
dadurch gekennzeichnet, dass characterized in that
die Projektoreinrichtung vor einer in die mobile Rechnervorrichtung integrierten Blitzbeleuchtung (13) entlang derer op- tischer Achse eine einen Strahl formende Optik und eine den Strahl auf das Messobjekt abbildende Optik aufweist. the projector device in front of an integrated into the mobile computing device flash illumination (13) along which op- a mechanical axis forming a beam forming optics and the beam on the measurement object imaging optics.
6. Vorrichtung nach Anspruch 4, 6. Apparatus according to claim 4,
dadurch gekennzeichnet, dass characterized in that
die Projektoreinrichtung eine eigene Beleuchtungseinrichtung, eine einen Strahl formende Optik und eine den Strahl auf das Messobjekt abbildende Optik aufweist. the projector device has its own illumination device, an optic which forms a beam, and an optic which images the beam onto the measurement object.
7. Vorrichtung nach Anspruch 3, 7. Apparatus according to claim 3,
dadurch gekennzeichnet, dass characterized in that
die Projektoreinrichtung vollständig in die mobile Rechnervorrichtung integriert ist. the projector device is completely integrated in the mobile computing device.
8. Vorrichtung nach Anspruch 5 oder 6, 8. Apparatus according to claim 5 or 6,
dadurch gekennzeichnet, dass characterized in that
die den Strahl formende Optik ein homogen beleuchtetes Mus¬ ter-Dia ist. the beam forming optics is a homogeneously illuminated pattern slide.
9. Vorrichtung nach Anspruch 6, 9. Apparatus according to claim 6,
dadurch gekennzeichnet, dass characterized in that
die Projektoreinrichtung von der Rechnervorrichtung elektrisch leistungsversorgt ist. the projector device is powered by the computer device.
10. Vorrichtung nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass 10. Device according to one of the preceding claims, characterized in that
die Rechnervorrichtung ein tragbarer Kleincomputer ist. the computing device is a portable small computer.
11. Verwendung einer Vorrichtung nach einem der vorangehen- den Ansprüche, zum zerstörungsfreien Prüfen des Messobjektes, zum Reverse Engineering oder für eine Unterhaltungselektro¬ nik. 11. Use of a device according to one of the preceding claims, for non-destructive testing of the measurement object, for reverse engineering or for a Unterhaltungselektro ¬ nik.
EP13726523.7A 2012-06-26 2013-06-03 Apparatus for mobile pattern projection and the use thereof Withdrawn EP2795248A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012210872 2012-06-26
PCT/EP2013/061394 WO2014001023A1 (en) 2012-06-26 2013-06-03 Apparatus for mobile pattern projection and the use thereof

Publications (1)

Publication Number Publication Date
EP2795248A1 true EP2795248A1 (en) 2014-10-29

Family

ID=48570140

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13726523.7A Withdrawn EP2795248A1 (en) 2012-06-26 2013-06-03 Apparatus for mobile pattern projection and the use thereof

Country Status (5)

Country Link
US (1) US20150077518A1 (en)
EP (1) EP2795248A1 (en)
KR (1) KR101591854B1 (en)
CN (1) CN104541126A (en)
WO (1) WO2014001023A1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013012494U1 (en) * 2013-07-26 2017-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Attachment and device for non-contact measuring of a surface
US20150172431A1 (en) * 2013-12-13 2015-06-18 Triangus Group Co., Ltd. Multifunctional protective case for electronic device
US9389069B2 (en) * 2014-03-26 2016-07-12 Alces Technology, Inc. Compact 3D depth capture systems
KR101562467B1 (en) 2014-06-03 2015-10-23 인하대학교 산학협력단 3 dimensional measurement device using smart phone
CN104639689B (en) * 2015-02-04 2017-11-10 段云涛 A kind of projection mobile phone
DE102015012296A1 (en) * 2015-09-23 2017-03-23 GL Messtechnik GmbH Smart Scan, hand-held device for mobile profile measurement of surfaces.
US10298727B2 (en) 2016-06-17 2019-05-21 Spin Master Ltd. Clip for mounting external device to electronic device
US10571793B2 (en) 2016-06-17 2020-02-25 Moonlite World Inc. Image projection device
US9921461B1 (en) 2017-09-22 2018-03-20 Spin Master Ltd. Clip for mounting external device to electronic device
US10295898B2 (en) 2016-06-17 2019-05-21 Moonlite World Inc. Image projection device
DE102016222244A1 (en) * 2016-11-14 2018-05-17 Siemens Aktiengesellschaft Method and device for depth determination of an object
WO2018229358A1 (en) * 2017-06-14 2018-12-20 Majo Method and device for constructing a three-dimensional image
US10268234B2 (en) 2017-08-07 2019-04-23 Apple Inc. Bracket assembly for a multi-component vision system in an electronic device
US11445094B2 (en) 2017-08-07 2022-09-13 Apple Inc. Electronic device having a vision system assembly held by a self-aligning bracket assembly
US20190102519A1 (en) * 2017-10-02 2019-04-04 Spectralink Corporation Targeting adapter for mobile scanning device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115445C2 (en) 1990-07-05 1994-02-17 Reinhard Malz Method for recording a three-dimensional image of an object according to the active triangulation principle and device therefor
US6508403B2 (en) 2001-05-04 2003-01-21 Institut National D'optique Portable apparatus for 3-dimensional scanning
JP2003207324A (en) * 2002-01-16 2003-07-25 Olympus Optical Co Ltd Method and device for acquiring three-dimensional information
US20060189347A1 (en) * 2005-02-22 2006-08-24 Bollman William H Wireless phone device flashlight
US20070229850A1 (en) * 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
EP1901033B1 (en) 2006-09-12 2018-01-17 Joanneum Research Forschungsgesellschaft mbH Apparatus and method for mobile contactless measurement, determination and evaluation of body contours
US8488129B2 (en) * 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8531650B2 (en) * 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
KR101530930B1 (en) 2008-08-19 2015-06-24 삼성전자주식회사 Pattern projecting apparatus, 3D imaging apparatus having the same, and varifocal liquid lens being used in the same
US8659764B2 (en) * 2009-02-27 2014-02-25 Body Surface Translations, Inc. Estimating physical parameters using three dimensional representations
JP4983905B2 (en) * 2009-12-25 2012-07-25 カシオ計算機株式会社 Imaging apparatus, 3D modeling data generation method, and program
US20120052908A1 (en) * 2010-08-31 2012-03-01 Walsin Lihwa Corporation Pico projector device used with mobile phone

Also Published As

Publication number Publication date
WO2014001023A1 (en) 2014-01-03
KR20140136042A (en) 2014-11-27
CN104541126A (en) 2015-04-22
US20150077518A1 (en) 2015-03-19
KR101591854B1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
WO2014001023A1 (en) Apparatus for mobile pattern projection and the use thereof
DE102012112322B4 (en) Method for optically scanning and measuring an environment
DE102018129009A1 (en) Dynamic vision sensor and projector for depth imaging
DE112014005911T5 (en) Three-dimensional coordinate scanner and operating procedures
DE102007022361A1 (en) Device and method for the contactless detection of spatial coordinates of a surface
DE112013002824T5 (en) Coordinate measuring machines with removable accessories
DE102014106482A1 (en) Automated boroscopic measurement during probe precision test
DE10304215A1 (en) Method and device for imaging acoustic objects and a corresponding computer program product and a corresponding computer-readable storage medium
US11360304B2 (en) Image distortion detection method and system
DE112014001391T5 (en) Three-dimensional coordinate scanner and operating procedures
DE112014003278T5 (en) Laser line probe with improved wide dynamic range
DE102012201321A1 (en) Dimensioning device, dimensional measuring method and program for dimensional measuring device
DE102013215516A1 (en) X-ray apparatus and method for controlling an X-ray apparatus
DE102011103933A1 (en) Endoscope that can display a scale to determine the size of the target
DE102015103785A1 (en) Method and device for calibrating a camera
DE102017112976B4 (en) Method for calibrating an optical arrangement of a coordinate measuring machine
DE102014111243A1 (en) Method and electronic device for processing information, method and device and electronic device for image calibration
WO2016149189A1 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
DE102016106696A1 (en) Coordinate Measuring System
DE102013206832A1 (en) IMAGE DISPLAY DEVICE, MOBILE PHONE AND METHOD
JP4581927B2 (en) Display device glare measuring method and device
CN102595178A (en) Field-butting three-dimensional display image correction system and method
DE102013202658A1 (en) Method for determining dimensions of objects, involves evaluating recorded images of object from predetermined distances of optical axes of camera and comparison of each superimposed images of object recorded electronically with camera
DE102019212960A1 (en) IMAGE MEASURING DEVICE
DE102011080339A1 (en) Mobile projection system for projecting predetermined image on assigned projection surface in predetermined space profile, has projection device for converting predistorted image data and for projecting image on assigned projection surface

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20140718

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160520

17Q First examination report despatched

Effective date: 20160630

INTC Intention to grant announced (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20161025

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170307