DE102016204140B3

DE102016204140B3 - Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera

Info

Publication number: DE102016204140B3
Application number: DE102016204140.1A
Authority: DE
Inventors: Stefan Becker
Original assignee: PMDtechnologies AG
Current assignee: PMDtechnologies AG
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2017-04-06
Anticipated expiration: 2036-03-15
Also published as: US10488501B2; CN108700650A; US20190072654A1; CN108700650B; WO2017157643A1

Abstract

Verfahren zum Kalibrieren oder/und Evaluieren einer Lichtlaufzeitkamera (1, 20) mit Hilfe einer Referenzfläche (45), wobei die Lichtlaufzeitkamera (1, 20) einen Lichtlaufzeitsensor (22) bestehend aus einem Array von Lichtlaufzeitpixeln aufweist, bei dem zur Kalibrierung oder/und Evaluierung der Lichtlaufzeitkamera (1, 20) durch translatorische Abstandsänderungen verschiedene Abstände zwischen der Lichtlaufzeitkamera (1, 20) und der Referenzfläche (45) eingestellt werden, mit den Schritten: – Ermittlung von ersten Entfernungsdaten für einen ersten Abstand – Ermittlung von zweiten Entfernungsdaten für einen zweiten Abstand, – Berechnung von Entfernungsdifferenzen aus den ersten und zweiten Entfernungsdaten – Ermittlung einer Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) ausgehend von den berechneten Entfernungsdifferenzen.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Kalibrierung einer Lichtlaufzeitkamera oder eines Lichtlaufzeitkamerasystems nach Gattung der unabhängigen Ansprüche.
Mit Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasystem sollen insbesondere alle Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 A1 beschrieben und beispielsweise von der Firma 'ifm electronic GmbH’ oder 'PMD-Technologies GmbH' als O3D-Kamera bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Verfahren zu Kalibrierung solcher System sind beispielsweise aus den folgenden Veröffentlichung bekannt: Chiabrando, F. et al „Sensors for 3D Imaging: Metric Evaluation and Calibration of a CCD/CMOS Time-of-Flight Camera“, Sensors 2009, 9, pp 10080–10096 oder aus Lindner, M.; Kolb, A: „Lateral and Depth Calibration of PMD-Distance Sensors, International Symposium on Visual Computing, Springer 2006, pp 524–533.
Chiabrando, F. et al beschäftigt sich hierbei insbesondere mit der Aufwärmperiode, Fehlerabschätzung und Kameraorientierung, wobei in dem untersuchten Aufbau die Kameraorientierung keinen nennenswerten Einfluss auf die Distanzmessung hatte. Ferner wird eine photogrammetrische Kalibration der Amplitude anhand konstraststarker Ziele beschrieben.
Linder/Kolb beschäftigen sich mit einem Verfahren zur Kalibrierung einer PMD-Kamera, bei dem zum einen eine laterale Kalibration der zweidimensionalen Geometrie und zum anderen eine Distanz-Kalibration erfolgt, wobei die Distanz sowohl global über das gesamte Bild und lokal per Pixel kalibriert wird.
Aufgabe der Erfindung ist es, die Genauigkeit der Entfernungsmessung eines Lichtlaufzeitkamerasystems zu verbessern.
Die Aufgabe wird durch die erfindungsgemäße Vorrichtung und das erfindungsgemäße Verfahren gemäß der unabhängigen Ansprüche gelöst.
Vorteilhaft ist ein Verfahren zum Kalibrieren oder/und Evaluieren einer Lichtlaufzeitkamera mit Hilfe einer Referenzfläche vorgesehen, wobei die Lichtlaufzeitkamera einen Lichtlaufzeitsensor bestehend aus einem Array von Lichtlaufzeitpixeln aufweist, bei dem zur Kalibrierung oder/und Evaluierung der Lichtlaufzeitkamera durch translatorische Abstandsänderungen verschiedene Abstände zwischen der Lichtlaufzeitkamera und der Referenzfläche eingestellt werden, mit den Schritten:

– Ermittlung von ersten Entfernungsdaten für einen ersten Abstand
– Ermittlung von zweiten Entfernungsdaten für einen zweiten Abstand,
– Berechnung von Entfernungsdifferenzen aus den ersten und zweiten Entfernungsdaten
– Ermittlung einer Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) ausgehend von den berechneten Entfernungsdifferenzen.

Dieses Vorgehen hat den Vorteil, dass zu einer Kalibrierung die Lichtlaufzeitkamera nicht mit hoher Präzision in Relation zur Referenzfläche ausgerichtet werden braucht.
Es ist ferner vorgesehen, das ausgehend von den Entfernungsdifferenzen ein Aufpunkt auf dem Lichtlaufzeitsensor berechnet wird, an dessen Position die Entfernungsdifferenzen ein Minimum aufweisen.
Wobei ausgehend von der Position des bestimmten Aufpunkts oder/und eines um den Aufpunkt liegenden Pixelbereichs eine Orientierung des Lichtlaufzeitsensors (22) bzw. der Lichtlaufzeitkamera (1, 20) in Relation zur Referenzfläche (45) ermittelt wird, und anhand der ermittelten Orientierung des Lichtlaufzeitsensors (22) eine Kalibrierung oder/und Evaluation der Lichtlaufzeitkamera (1, 20) erfolgt.
Besonders vorteilhaft ist es, wenn ausgehend von den erfassten Entfernungsdaten und der ermittelten Orientierung ein ‚fixed pattern phase noise‘ (FPPN) ermittelt wird.
Ebenso vorteilhaft ist eine Vorrichtung zur Durchführung eines der vorgenannten Verfahren vorgesehen.
Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.
Es zeigen:
1 schematisch ein Lichtlaufzeitkamerasystem,
2 eine modulierte Integration erzeugter Ladungsträger,
3 eine erfindungsgemäße Kalibriervorrichtung
Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist.
Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.
Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal M_o mit einer Basisphasenlage φ₀ beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ₀ des Modulationssignals M₀ der Lichtquelle 12 um definierte Phasenlagen φ_var verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φ_var = 0°, 90°, 180°, 270° verwendet.
Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal S_p1 mit der ersten Phasenlage p1 bzw. p1 = φ₀ + φ_var aus. Dieses Signal S_p1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(t_L) mit einer zweiten Phasenlage p2 = φ₀ + φ_var + Δφ(t_L) als Empfangssignal S_p2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M_o mit dem empfangenen Signal S_p2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.
Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.
Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M₀ mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal S_p2 entsprechend seiner Lichtlaufzeit t_L phasenverschoben Δφ(t_L) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M₀ in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M₀ + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(t_L) und somit eine Entfernung d des Objekts bestimmen.
Zur Charakterisierung von 2D-Kamera-Systemen ist es üblich eine solche Kamera und/oder ein Target auf einer linearen Verfahreinheit anzuordnen und gegeneinander zu verschieben. Üblicherweise ist es vorgesehen, das Target, beispielsweise ein geeignetes Test-Chart, gut zu beleuchten und die Kamera gegenüber dem Target zu verschieben. So wird vermieden, dass auch die Targetbeleuchtung mit verschoben werden muss.
Eine vergleichbare Anordnung kann grundsätzlich auch zur Evaluierung und/oder Kalibrierung eines Abstandssensors herangezogen werden. Zur Vermessung von 3D-Kameras wird vorzugsweise eine Linear-Verfahreinheit verwendet, die normal, d.h. senkrecht, zu einer planaren Referenzfläche bekannter Reflektivität in einer streulichtarmen Umgebung ausgerichtet ist. Streulichtarm bedeutet hier, dass das Material oder die Farbe des Messaufbaus nicht-reflektierend im relevanten Lichtspektrum, üblicherweise nahes Infrarot, ist. Die auszumessende 3D-Kamera ist auf der Verfahreinheit angeordnet und durch verschieben der Verfahreinheit mitsamt der Kamera werden Daten (Rohdaten) der Kamera in verschiedenen Abständen aufgenommen und ausgewertet.
Für eine präzise Evaluation von Restfehlern der Distanzmessung und/oder zur Kalibration von systematischen Messfehlern, die beispielsweise als so genanntes „Wiggling“ bekannt sind, ist es erforderlich, präzise Referenzwerte zu messen. Bei einer oben genannten Verfahreinheit bzw. Messschiene bedeutet das in der Regel, eine präzise mechanische Ausrichtung der Kamera gegenüber der Referenzfläche/Target. Voraussetzung ist, dass die Verfahreinheit präzise senkrecht gegenüber einer planaren Referenzfläche bzw. dem Target ausgerichtet ist. Diese mechanische Ausrichtung ist aufwendig und fehleranfällig.
Kernüberlegung der Erfindung ist es, den Aufwand für eine Kalibrierung/Evaluation einer Kamera zu verringern.
Die Erfindung geht aus von folgenden Überlegungen: Wird eine Lichtlaufzeitkamera um eine bestimmte Distanz verfahren, z.B. 1000 mm, dann sollte sich aus den Entfernungsdaten der Kamera exakt diese Differenz ermitteln können. Das gilt grundsätzlich allerdings nur für den Pixel, dessen Blickwinkel durch das Objektiv der Kamera normal auf die Referenzfläche ausgerichtet ist.
Ein solcher Pixel mit einem orthogonalen Blickwinkel auf die Referenzfläche zeichnet sich dadurch aus, der er den kleinsten Abstand zu Referenzfläche aufweist. Da jedes Pixel einen individuellen Offset besitzt (‚fixed pattern phase noise‘ (FPPN)), ist es zunächst ohne Kalibration nicht möglich, den Pixel mit dem geringsten Abstand zur Referenzfläche durch eine direkte Messung zu ermitteln.
Erfindungsgemäß wird vorgeschlagen, dass die Differenzwerte zweier (oder mehrerer) Messungen in unterschiedlichen Distanzen ausgewertet werden. In einem solchen Differenzbild ist das FPPN nicht mehr vorhanden. Durch die gegebene Präzision in der Ausrichtung der Verfahreinheit gegenüber der Referenzfläche ist gewährleistet, dass der Minimalwert im Differenzbild die Pixelposition definiert, die orthogonal auf die Referenzfläche blickt. Diese Pixelposition kann zur Auswertung der systematischen Messfehlern, beispielsweise des Wigglings, bei beliebigen Abständen, eingestellt durch die Verfahreinheit, herangezogen werden.
Die oben beschriebene Methode erfordert ausdrücklich keine besondere Präzision in der Montage der Kamera und ist daher sehr robust und liefert eine sehr hohe Datenqualität.
Die oben beschriebene Methode erlaubt es ferner, unter Zuhilfenahme einer Linsenkalibration des Kameraobjektivs die Kalibration des FPPNs eines Lichtlaufzeitsensors zu verbessern. Mittels einer Linsenkalibration lassen sich dann die tatsächlichen Abstände der einzelnen Bildpixel zu ihren jeweiligem Zielpunkt auf der Referenzfläche bestimmen.
Das FPPN ergibt sich als Differenz von tatsächlichem und gemessenem Abstand. Ein Ausrichtungsfehler bei einer herkömmlichen Kalibration führt somit zu Fehlern in der FPPN-Kalibration.
Durch die erfindungsgemäße Methode ist allerdings bereits die Pixelposition im Bild präzise bestimmt worden, die orthogonal auf die Fläche ausgerichtet ist. Mittels der Daten der Linsenkalibration lässt sich daraus eine eventuell vorhandene Rotation bzw. Orientierung der Kamera gegenüber der Referenzfläche bestimmen und daraus wiederum die tatsächlichen Abstände zur FPPN-Bestimmung entsprechend korrigieren.
Die erfindungsgemäße Methode ist identisch anwendbar, wenn an Stelle der Kamera die Referenzfläche auf einer linearen Verfahreinheit montiert ist.
Das Verfahren ermöglicht eine sehr hohe Präzision von Kalibrationsdaten wie Wiggling und FPPN, ohne dass eine präzise, aufwendige mechanische Ausrichtung einer einzelnen Kamera notwendig ist. Es wird lediglich ausgenutzt, dass die lineare Verfahreinheit präzise gegenüber der planaren Messfläche ausgerichtet ist.
3 zeigt schematisch das erfindungsgemäße Vorgehen. Im dargestellten Beispiel ist die Lichtlaufzeitkamera 20 nicht planparallel zum Objekt bzw. Referenzfläche 45 angeordnet. Im Bereich des Blickfeldes FOV (field of view) existiert jedoch ein orthogonaler Sichtvektor OV der parallel zur Normalen der Referenzfläche ausgerichtet ist. Dieser orthogonale Sichtvektor OV entspricht einem Aufpunkt auf dem Lichtlaufzeitsensor. Bei einer rein translatorischen Bewegung der Kamera 20 bleibt die parallele Ausrichtung des orthogonalen Sichtvektors OV zur Normalen der Referenzfläche 45 erhalten und auch die Position des Aufpunkts AP auf dem Lichtlaufzeitsensor ändert sich nicht. Der Aufpunkt weist grundsätzlich den minimalsten (optischen) Abstand zur Referenzfläche auf.
Erfindungsgemäß ist es für eine Kalibrierung vorgesehen, für mindestens zwei Abstände d1, d2 Entfernungsdaten und Differenzen zu ermitteln. (ij kennzeichnet das Pixel ij im Sensorarray) d_12ij = (d_2ij + FPPN) – (d_1ij + FFPN) = d_2ij – d_1ij
In bekannter Weise hebt sich durch die Differenzbildung das fixed pattern noise auf. Über alle Pixel ij lässt sich dann ein Tiefenbild bzw. in diesem Fall ein Differenztiefenbild ermitteln.
Zur Bestimmung der Orientierung des Lichtlaufzeitsensors 22 in Relation zur Referenzfläche 45 wird zunächst ein Punkt/Aufpunkt auf dem Lichtlaufzeitsensor 22 bestimmt, an dem die Entfernungsdifferenz d₁₂ bzw. das Differenztiefenbild ein Minimum aufweist.
In einer möglichen Ausgestaltung wird als Aufpunkt die Position des Pixels bestimmt, das die minimalste Entfernungsdifferenz aufweist.
Besonders vorteilhaft ist es jedoch vorgesehen, anhand der pixelindividuellen Entfernungsdifferenzen einen Aufpunkt zu extrapolieren. Beispielsweise könnte das Entfernungs-Minimum in einem hochskalierten und geglätteten Differenztiefenbild bestimmt werden. Dieses Vorgehen hat den Vorteil, dass die Position des Aufpunkts losgelöst von der Sensorauflösung genauer bestimmt und somit auch die Orientierung des Lichtlaufzeitsensors und im Ergebnis die FPPN-Korrektur präziser berechnen werden kann.
In 3 ist der Einfachheit halber nur die Lichtlaufzeitkamera 20 gezeigt, grundsätzlich funktioniert das erfindungsgemäße Vorgehen auch, indem das vollständige Lichtlaufzeitkamerasystem 1, mit Kamera 20 und Beleuchtung 10 gemeinsam translatorisch bewegt werden.
Bezugszeichenliste

1: Lichtlaufzeitkamerasystem
10: Beleuchtungsmodul
12: Beleuchtung
20: Empfänger, Lichtlaufzeitkamera
22: Lichtlaufzeitsensor
30: Modulator
35: Phasenschieber, Beleuchtungsphasenschieber
40: Objekt
45: Referenzfläche, Target
φ, Δφ(t_L): laufzeitbedingte Phasenverschiebung
φ_var: Phasenlage
φ₀: Basisphase
M₀: Modulationssignal
p1: erste Phase
p2: zweite Phase
Sp1: Sendesignal mit erster Phase
Sp2: Empfangssignal mit zweiter Phase
Ga, Gb: Integrationsknoten
d: Objektdistanz
q: Ladung
FOV: field of view, Blickfeld
OV: Orthogonaler Vektor

Claims

Verfahren zum Kalibrieren oder/und Evaluieren einer Lichtlaufzeitkamera (1, 20) mit Hilfe einer Referenzfläche (45), wobei die Lichtlaufzeitkamera (1, 20) einen Lichtlaufzeitsensor (22) bestehend aus einem Array von Lichtlaufzeitpixeln aufweist, bei dem zur Kalibrierung oder/und Evaluierung der Lichtlaufzeitkamera (1, 20) durch translatorische Abstandsänderungen verschiedene Abstände zwischen der Lichtlaufzeitkamera (1, 20) und der Referenzfläche (45) eingestellt werden, mit den Schritten: – Ermittlung von ersten Entfernungsdaten für einen ersten Abstand – Ermittlung von zweiten Entfernungsdaten für einen zweiten Abstand, – Berechnung von Entfernungsdifferenzen aus den ersten und zweiten Entfernungsdaten – Ermittlung einer Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) ausgehend von den berechneten Entfernungsdifferenzen.
Verfahren nach Anspruch 1, bei dem ausgehend von den Entfernungsdifferenzen ein Aufpunkt (AP) auf dem Lichtlaufzeitsensor (22) berechnet wird, an dessen Position die Entfernungsdifferenzen ein Minimum aufweisen.
Verfahren nach Anspruch 2, bei dem ausgehend von der Position des bestimmten Aufpunkts oder/und eines um den Aufpunkt liegenden Pixelbereichs eine Orientierung des Lichtlaufzeitsensors (22) bzw. der Lichtlaufzeitkamera (1, 20) in Relation zur Referenzfläche (45) ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem ausgehend von den erfassten Entfernungsdaten und der ermittelten Orientierung des Lichtlaufzeitsensors (22) eine Kalibrierung oder/und Evaluation der Lichtlaufzeitkamera (1, 20) erfolgt.
Verfahren nach Anspruch 4, bei dem ausgehend von den erfassten Entfernungsdaten und der ermittelten Orientierung ein ‚fixed pattern phase noise‘ (FPPN) ermittelt wird.
Vorrichtung zur Kalibrierung einer Lichtlaufzeitkamera (20) oder eines Lichtlaufzeitkamerasystems (1) die zur Durchführung eines Verfahrens gemäß einem der Ansprüche 1 bis 5 ausgebildet ist, mit einer Verfahreinheit zur Einstellung eines Abstandes zwischen der Lichtlaufzeitkamera (1, 20) und einer Referenzfläche (45), mit einer Auswerteeinheit zur Kalibrierung der Lichtlaufzeitkamera (1, 20), die derart ausgebildet ist, dass ausgehend von Entfernungsdaten, die in unterschiedlichen Abständen ermittelt wurden, eine Orientierung der Lichtlaufzeitkamera (1, 20) zur Referenzfläche (45) bestimmt wird.