-
Die Erfindung betrifft ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und eine medizinische Mikroskopanordnung.
-
Das Ziel einer digitalen Visualisierung in der Chirurgie und Mikrochirurgie ist es, einem Chirurgen während einer Operation ein optimales dreidimensionales Bild des Operationsfeldes sowie gegebenenfalls eine optimale dreidimensionale Überlagerung zusätzlich generierter Informationen auf das Sichtfeld an den Monitoren des medizinischen Mikroskops anzuzeigen. Um dies zu erreichen, werden erfasste Kamerabilder durch digitale Bildverarbeitung mit definiert erzeugten Kalibrierdaten verarbeitet.
-
Verfahren zur extrinsischen und intrinsischen Kalibrierung von Kameras verbunden mit einer Erzeugung von Verzeichnungsfeldern sind beispielsweise aus Reg G. Willson, Modeling and Calibration of Automated Zoom Lenses, PhD-Dissertation, The Robotics Institute, Carnegie Mellon University, Pittsburgh, Pennsylvania, USA, 1994 bekannt. Ferner sind Verfahren zur Kalibrierung mehrerer Arbeitspunkteinstellungen (Zoom und Fokus) mit dem Ziel einer „Stereo Augmented Reality“ aus A. P. King et al., Stereo Augmented Reality in the Surgical Microscope, Presence, Vol. 9, No. 4, August 2000, 360-368, Massachusetts Institute of Technology, bekannt.
-
Aus der
DE 10 2019 131 646 A1 sind dreidimensionale Kalibrierobjekte bekannt. Die dreidimensionalen Kalibrierobjekte weisen beispielsweise einen transparenten Körper und im Volumen des transparenten Körpers eingebettete Kalibriermarken auf.
-
Die
EP 2 119 397 A1 beschreibt ein Verfahren zum Bestimmen einer Kalibrier-Information, die Information über eine räumliche Beziehung zwischen einem Röntgengerät-Bezugssystem und einem 3D-Scan-Bezussystem umfasst, wobei die bestimmte Kalibrier-Information insbesondere zur bildgestützten Navigation verwendet werden kann, mit folgenden Schritten: ein 3D-Kalibrierdatensatz wird bereitgestellt, der ein dreidimensionales Kalibrier-Modell eines Kalibrier-Objekts in dem 3D-Scan-Bezugssystem darstellt, wobei das Kalibrier-Modell aus durch einen Kalibrier-3D-Röntgenscan erzeugten Scandaten bestimmt wurde, wobei bei dem Kalibrier-3D-Röntgenscan eine Röntgeneinheit entlang eines 3D-Scanpfades relativ zum KalibrierObjekt bewegt wird, wobei zumindest ein Abschnitt des 3D-Scanpfades im Röntgengerät-Bezugssystem ruht; Röntgenquellen-Relativlagedaten werden bereitgestellt, die Informationen über die relative Lage einer Röntgenquelle relativ zu einer an der Röntgeneinheit angebrachten Röntgeneinheit-Markereinrichtung bei Erstellung von realen zweidimensionalen Röntgenbildern umfassen; ein 2D-Kalibrierdatensatz wird bereitgestellt, der ein erstes der realen zweidimensionalen Röntgenbilder beschreibt, das mittels Durchstrahlung zumindest des Kalibrier-Objekts bei einer ersten Lage der Röntgenquelle im Röntgengerät-Bezugssystem erzeugt wurde und der weiterhin ein zweites der realen zweidimensionalen Röntgenbilder beschreibt, das mittels Durchstrahlung zumindest des im Vergleich zum ersten zweidimensionalen Röntgenbildes ortsfesten Kalibrier-Objekts bei einer zweiten Lage der Röntgenquelle im Röntgengerät-Bezugssystem erzeugt wurde und/oder die Abmessungen des Kalibrier-Objekts beschreibt; ein Röntgeneinheit-Datensatz wird bereitgestellt, der die Lage der Röntgeneinheit-Markereinrichtung bei der Erzeugung des mindestens einen realen zweidimensionalen Röntgenbildes beschreibt; basierend auf den Röntgenquellen-Relativlagedaten, dem Röntgeneinheit-Datensatz und dem 2D-Kalibrierdatensatz wird mittels eines Anpassungsverfahrens die Kalibrier-Information bestimmt.
-
Aus der
DE 10 2018 101 162 A1 ist ein Verfahren zur extrinsischen Kalibrierung wenigstens eines bildgebenden Sensors bekannt, wonach eine Pose des wenigstens einen bildgebenden Sensors relativ zu dem Ursprung eines dreidimensionalen Koordinatensystems einer Handhabungseinrichtung mittels einer Recheneinrichtung bestimmt wird, wobei bekannte dreidimensionale Koordinaten betreffend die Position wenigstens eines Gelenks der Handhabungseinrichtung durch die Recheneinrichtung berücksichtigt werden, und wobei zweidimensionale Koordinaten betreffend die Position des wenigstens einen Gelenks anhand von Rohdaten des wenigstens einen bildgebenden Sensors ermittelt werden, und wobei die Recheneinrichtung die Pose des wenigstens einen bildgebenden Sensors anhand der Korrespondenz zwischen den zweidimensionalen Koordinaten und den dreidimensionalen Koordinaten bestimmt.
-
Aus der
DE 102 25 193 A1 ist ein Verfahren zur Kalibrierung der Vergrößerung eines Stereomikroskops mit variabler Vergrößerung bekannt, mit folgenden Schritten: Positionierung eines Objekt-Referenzmaßes mit einer vorbekannten Skalierung, insbesondere eines Objekt-Mikrometers, in einer Objektebene des Stereomikroskops, Bereitstellung eines Okular-Referenzmaßes vorbekannter Skalierung, insbesondere einer Strichplatte, in einer Zwischenbildebene des Stereomikroskops, Veränderung der Vergrößerung des Mikroskops, derart, dass das Bild des Objekt-Referenzmaßes mit dem Okular-Referenzmaß in der Zwischenbildebene zur optischen Übereinstimmung gebracht wird, zur Bestimmung einer dieser Übereinstimmung entsprechenden Zoom-Position eines verwendeten Zoom-Systems, Feststellung einer Ist-Vergrößerung des Stereomikroskops in dieser Zoom-Position auf der Grundlage des durch die zur Übereinstimmung gebrachten Skalierungen von Objekt-Referenzmaß und Okular-Referenzmaß definierten Abbildungsmaßstabes, Feststellung einer Nominal-Vergrößerung des Stereomikroskops in dieser Zoom-Position, rechnerische In-Beziehung-Setzung von Ist-Vergrößerung und Nominal-Vergrößerung, Berechnung von Vergrößerungen für weitere Zoom-Positionen, insbesondere über den gesamten Zoom-Bereich, auf der Grundlage der rechnerischen In-Beziehung-Setzung von Nominal-Vergrößerung und Ist-Vergrößerung.
-
Aus der
WO 2019 / 210 322 A1 ist eine robotergestützte Bildgebungsvorrichtung bekannt. Die robotergestützte Bildgebungsvorrichtung umfasst einen Roboterarm, eine stereoskopische Kamera und einen Sensor, der zwischen dem Roboterarm und der stereoskopischen Kamera angeordnet ist. Der Sensor überträgt Ausgabedaten, die die Translations- und Rotationskraft anzeigen, die von einem Bediener auf die stereoskopische Kamera ausgeübt wird. Die Roboter-Bildgebungsvorrichtung umfasst auch einen Prozessor, der so konfiguriert ist, dass er eine Bewegungssequenz für den Roboterarm auf der Grundlage einer aktuellen Position des Roboterarms und der Ausgabedaten des Sensors bestimmt und mindestens eines der Gelenke des Roboterarms veranlasst, sich auf der Grundlage der bestimmten Bewegungssequenz über ein oder mehrere Motorsteuersignale, die dem mindestens einen Gelenk zugeführt werden, zu drehen. Die Drehung des mindestens einen Gelenks sorgt für eine kraftunterstützte Bewegung des Roboterarms auf der Grundlage der erfassten translatorischen und rotatorischen Kräfte, die vom Bediener ausgeübt werden.
-
Aus der
DE 101 49 750 A1 ist ein handgeführter Scanner bekannt. Aus der
DE 10 2004 041 115 A1 sind ein Verfahren und eine Anordnung zur Erfassung biometrischer Daten bekannt. Aus der
US 2019 / 0 107 700 A1 ist ein chirurgisches Zoomsystem bekannt. Aus der
DE 10 2004 020 663 A1 ist eine Einrichtung zur Beleuchtung organischer Objekte bekannt.
-
Aus der
EP 2 834 789 B1 sind ferner ein Verfahren und eine Vorrichtung zur optischen Bestimmung einer Position und/oder Orientierung eines Objekts im Raum bekannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und eine medizinische Mikroskopanordnung zu verbessern.
-
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine medizinische Mikroskopanordnung mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
-
Es ist ein Grundgedanke der Erfindung, eine dreidimensionale Kalibrierung mit einer zweidimensionalen Kalibrierung zu verknüpfen und hierdurch insgesamt ein verbessertes, insbesondere optimales, Ergebnis der Kalibrierung zu erreichen. Dies erfolgt, indem Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts mittels Kameras eines Stereokamerasystems des medizinischen Mikroskops erfasst werden. Insbesondere erfasst jede der Kameras des Stereokamerasystems mindestens eine Abbildung. Die Abbildungen werden insbesondere derart erfasst, dass Abbildungen der beiden Kameras des Stereokamerasystems für gleiche Arbeitspunkte des medizinischen Mikroskops miteinander verknüpft sind, das heißt, insbesondere einander zugeordnet sind oder einander zugeordnet werden können. Ausgehend von den erfassten Abbildungen werden Kalibrierdaten erzeugt und zum Korrigieren hinterlegt. Ferner werden weitere Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems erfasst. Auch diese weiteren Abbildungen werden insbesondere derart erfasst, dass die weiteren Abbildungen der beiden Kameras des Stereokamerasystems für gleiche Arbeitspunkte miteinander verknüpft sind, das heißt, insbesondere einander zugeordnet sind oder zugeordnet werden können. Die Abbildungen und die weiteren Abbildungen werden hierbei insbesondere an den gleichen Arbeitspunkten erfasst. Ausgehend von den erfassten weiteren Abbildungen werden weitere Kalibrierdaten erzeugt und zum Korrigieren hinterlegt. Ein Hinterlegen der Kalibrierdaten umfasst hierbei insbesondere, dass die Kalibrierdaten in einem hierfür vorgesehenen Speicher gespeichert werden, um bei Bedarf aus diesem abgerufen und angewandt zu werden. Die hinterlegten Kalibrierdaten und die hinterlegten weiteren Kalibrierdaten werden auf nachfolgend, insbesondere während einer Operation, erfasste Abbildungen (und Abfolgen von Abbildungen, insbesondere Videos) angewendet, sodass diese Abbildungen durch die Kalibrierdaten und weiteren Kalibrierdaten korrigiert werden und anschließend von einem Chirurgen und/oder weiteren Personen erfasst werden können.
-
Insbesondere wird ein Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops zur Verfügung gestellt, umfassend:
- a) Erfassen von Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts mittels Kameras eines Stereokamerasystems des medizinischen Mikroskops,
- b) Erzeugen von Kalibrierdaten ausgehend von den erfassten Abbildungen, wobei die erzeugten Kalibrierdaten zum Korrigieren hinterlegt werden,
- c) Erfassen von weiteren Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems,
- d) Erzeugen von weiteren Kalibrierdaten ausgehend von den erfassten weiteren Abbildungen, wobei die weiteren Kalibrierdaten zum Korrigieren hinterlegt werden.
-
Ferner wird insbesondere eine medizinische Mikroskopanordnung geschaffen, umfassend ein stereoskopisches medizinisches Mikroskop mit einem Kameras umfassenden Stereokamerasystem und hinterlegbaren Kalibrierdaten, und eine Datenverarbeitungseinrichtung, wobei die Datenverarbeitungseinrichtung dazu eingerichtet ist, Kalibrierdaten ausgehend von mittels der Kameras des Stereokamerasystems erfassten Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts zu erzeugen und zum Korrigieren zu hinterlegen, und weitere Kalibrierdaten ausgehend von mittels der Kameras des Stereokamerasystems erfassten weiteren Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts zu erzeugen und zum Korrigieren zu hinterlegen.
-
Ein Vorteil des Verfahrens und der medizinischen Mikroskopanordnung ist, dass durch eine Kombination einer dreidimensionalen und einer zweidimensionalen Kalibrierung und zugehöriger zweidimensionaler und dreidimensionaler Kalibrierobjekte eine gesamtheitliche Kalibrierung des stereoskopischen medizinischen Mikroskops erreicht werden kann. Nach dem Erzeugen der gesamtheitlichen Kalibrierdaten werden mittels dieser Kalibrierdaten korrigierte Abbildungen einem Chirurgen und/oder weiteren Personen bereitgestellt. Eine Überlagerung für eine stereoskopische Betrachtung dieser jeweils korrigierten Abbildungen ist gegenüber den nicht korrigierten Abbildungen verbessert, sodass hierdurch auch eine Informationsvermittlung während einer Operation verbessert ist und Störungen durch eine mangelhafte Überlagerung und/oder durch Bildfehler sowie hiermit einhergehenden Beeinträchtigungen im Arbeitsablauf während einer Operation und Ermüdungserscheinungen verringert werden können.
-
Das Erzeugen der Kalibrierdaten und der weiteren Kalibrierdaten erfolgt insbesondere, indem die erfassten Abbildungen und erfassten weiteren Abbildungen ausgewertet werden. Hierbei werden insbesondere Merkmale auf den jeweiligen Kalibrierobjekten erkannt und ausgewertet. Da die Kalibrierobjekte bekannte Eigenschaften aufweisen, können ausgehend von den bekannten Eigenschaften und den ausgewerteten erfassten Abbildungen und weiteren Abbildungen die Kalibrierdaten und die weiteren Kalibrierdaten erzeugt, insbesondere bestimmt, werden. Insbesondere sind die jeweiligen Merkmale und deren Eigenschaften, insbesondere eine Lage (Position und Orientierung), geometrische Anordnung, Form, Farbe, Helligkeit etc., bekannt, und können daher in den Abbildungen und weiteren Abbildungen erkannt werden. Über einen Vergleich der bekannten Soll-Eigenschaften der jeweiligen Merkmale in den Abbildungen und weiteren Abbildungen und den Ist-Eigenschaften können die Kalibrierdaten und die weiteren Kalibrierdaten in an sich bekannter Weise mittels bekannter Kalibrierverfahren bestimmt werden. Das Auswerten erfolgt insbesondere mittels der Datenverarbeitungseinrichtung. Hierbei können insbesondere an sich bekannte Verfahren der Computer Vision, der Mustererkennung und/oder des Maschinenlernens zum Einsatz kommen.
-
Ein medizinisches Mikroskop ist insbesondere ein Operationsmikroskop. Ein medizinisches Mikroskop kann jedoch auch ein Mikroskop sein, das für medizinische Untersuchungen und/oder zu Diagnosezwecken verwendet wird, beispielsweise im Bereich der Augenheilkunde oder auf anderen Gebieten. Eine medizinische Mikroskopanordnung ist insbesondere eine Operationsmikroskopanordnung.
-
Kalibrierdaten und weitere Kalibrierdaten können grundsätzlich gleicher oder unterschiedlicher Art sein und unterschiedliche Eigenschaften und/oder Effekte und/oder Störungen und/oder Einrichtungen des medizinischen Mikroskops betreffen. Die Unterscheidung zwischen Kalibrierdaten und weiteren Kalibrierdaten wurde insbesondere zur sprachlichen Unterscheidung gewählt.
-
Ein zweidimensionales Kalibrierobjekt kann an sich bekannte Formen und Muster aufweisen, beispielsweise ein zweidimensionales Schachbrettmuster, Strichmarkierungen, Fadenkreuze und dergleichen. Ein dreidimensionales Kalibrierobjekt weist insbesondere dreidimensionale Strukturen auf. Insbesondere kann ein dreidimensionales Kalibrierobjekt Strukturen aufweisen, die in Bezug auf eine optische Achse des Abbildungssystems des medizinischen Mikroskops in mehreren senkrecht auf dieser Achse stehenden Ebenen angeordnet sind und beispielsweise durch Bestrahlung und/oder durch eine definierte intrinsische Beleuchtung mit dem medizinischen Mikroskop bzw. mittels der Kameras erfasst werden können. Beispielsweise können dies Markierungen mit einem hohen Kontrast sein, die in zwei senkrecht aufeinander stehenden Ebenen angeordnet sind, um eine Tiefeninformation in Bezug auf die optische Achse zu schaffen (vgl. z.B.
2 in King et al.). Dreidimensionale Kalibrierobjekte sind beispielsweise auch in der
DE 10 2019 131 646 A1 beschrieben. Ein dreidimensionales Kalibrierobjekt weist daher beispielsweise einen transparenten Körper und im Volumen des transparenten Körpers eingebettete Kalibriermarken auf. Ein dreidimensionales Kalibrierobjekt in einer der in der
DE 10 2019 131 646 A1 beschriebenen Ausführungsformen ist im Wesentlichen ein würfelförmiger und aus transparenten Schichten aufgebauter 3D-Kalibrierkörper. Der 3D-Kalibrierkörper ist aus gestapelten Lichtleitern aufgebaut. Die Lichtleiter sind durch einander abwechselnde transparente Schichten gebildet, wobei die Schichten einen höheren Brechungsindex als dazwischen angeordnete Schichten aufweisen. In die Schichten wird mittels selektiv schaltbarer Lichtquellen Licht derart eingekoppelt, dass es an Grenzflächen zwischen den Schichten total reflektiert wird. Aufgrund der Totalreflektion an den Grenzflächen zwischen den Schichten erfolgt eine Lichtausbreitung, d. h. ein Ausbreiten der elektromagnetischen Wellen des Lichtes, nur innerhalb der jeweiligen Lichtleiter. Um in den Lichtleitern des 3D-Kalibrierkörpers Kalibriermarken darstellen zu können, sind in bestimmten Abständen auf den Schichten dünne Filme aufgebracht. Der Brechungsindex dieser Filme ist dabei so gewählt, dass an diesen Stellen die Totalreflektion unterdrückt wird, sodass eine Lichtausbreitung in die Schichten mit niedrigem Brechungsindex stattfindet. Wenn nun Licht in einem der Lichtleiter eingekoppelt wird, wird das Licht an denjenigen Stellen, an denen die Filme aufgebracht sind, aus dem Lichtleiter ausgekoppelt, sodass leuchtende Stellen im Volumen des aus den Schichten aufgebauten transparenten Körpers entstehen, die als Kalibriermarken dienen. Abhängig davon, welche Lichtquelle eingeschaltet ist, entstehen die leuchtenden Stellen in unterschiedlichen Tiefen des transparenten Körpers.
-
Es kann auch vorgesehen sein, dass mindestens ein zweidimensionales Kalibrierobjekt und mindestens ein dreidimensionales Kalibrierobjekt kombiniert werden zu einem kombinierten Kalibrierobjekt. Der Ablauf des Verfahrens ist dann grundsätzlich der gleiche.
-
Teile der medizinischen Mikroskopanordnung, insbesondere die Datenverarbeitungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Beispielsweise kann die Datenverarbeitungseinrichtung eine Recheneinrichtung in Form eines Mikroprozessors oder Mikrocontrollers und einen Speicher umfassen. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind. Die Datenverarbeitungseinrichtung kann auch Teil des medizinischen Mikroskops sein. Grundsätzlich kann die Datenverarbeitungseinrichtung aber auch separat vom medizinischen Mikroskop ausgebildet sein, beispielsweise als Desktop-, Laptop- oder Tabletcomputer oder auch als cloudbasierte Lösung.
-
Es ist vorgesehen, dass die in Schritt b) erzeugten Kalibrierdaten zum Korrigieren zumindest teilweise auf die erfassten weiteren Abbildungen angewendet werden, wobei der Schritt d) für die korrigierten weiteren Abbildungen durchgeführt und/oder wiederholt wird. Alternativ oder zusätzlich ist vorgesehen, dass die in Schritt d) erzeugten weiteren Kalibrierdaten zum Korrigieren zumindest teilweise auf die erfassten Abbildungen angewendet werden, wobei der Schritt b) für die korrigierten Abbildungen durchgeführt und/oder wiederholt wird. Hierdurch können die Kalibrierdaten und/oder die weiteren Kalibrierdaten schrittweise optimiert werden, da bereits erzeugte Kalibrierdaten und/oder weitere Kalibrierdaten auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen angewendet werden. Insbesondere können hierdurch mehrere unterschiedliche Effekte, welche zu Störungen zwischen den Abbildungen und/oder den weiteren Abbildungen führen und die einander beeinflussen können, berücksichtigt werden. So kann beispielsweise ein Verzeichnungsfehler in einer mittels einer linken Kamera des Stereokamerasystems erfassten Abbildung einen Versatz zwischen den erfassten Abbildungen der linken und einer rechten Kamera des Stereokamerasystems beeinflussen und umgekehrt. Wird der Verzeichnungsfehler vor dem Bestimmen des Versatzes korrigiert, so kann der Effekt des Verzeichnungsfehlers beim Bestimmen des Versatzes minimiert oder sogar eliminiert werden.
-
In einer Ausführungsform ist vorgesehen, dass Schritt a) und/oder Schritt c) bei verschiedenen Arbeitspunkten des medizinischen Mikroskops durchgeführt werden, wobei die Kalibrierdaten in Schritt b) und/oder die weiteren Kalibrierdaten in Schritt d) für jeden der verschiedenen Arbeitspunkte erzeugt werden. Hierdurch können Kalibrierdaten über einen größeren, insbesondere über einen gesamten, Arbeits- und/oder Betriebsbereich des medizinischen Mikroskops erzeugt werden. Ein Arbeitspunkt umfasst hierbei insbesondere einen oder mehrere der folgenden Parameter: eine Lage (Position und/oder Orientierung) der Kamera(s) und/oder eine Vergrößerung (Zoom) und/oder einen Arbeitsabstand (Fokus bzw. eine Position der Fokussierlinse) und/oder eine Position einer Blende und/oder einen Wert einer Blendenöffnung (Aperturblende) und/oder ein Vorhandensein einer Drapelinse am Mikroskop (ja/nein). Es kann hierbei vorgesehen sein, dass Kalibrierdaten und weitere Kalibrierdaten für Arbeitspunkte, für die keine Abbildungen und/oder weiteren Abbildungen erfasst wurden, aus Kalibrierdaten und/oder weiteren Kalibrierdaten von angrenzenden Arbeitspunkten erzeugt werden, insbesondere durch Interpolation und/oder Extrapolation. Es kann auch vorgesehen sein, dass Kalibrierdaten für solche Arbeitspunkte mit Hilfe einer Funktion geschätzt werden, die an die Kalibrierdaten angepasst wird, die ausgehend von vermessenden Arbeitspunkten erzeugt wurden.
-
In einer weiterbildenden Ausführungsform ist vorgesehen, dass das Korrigieren und die Schritte c) und d) solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Hierdurch können die weiteren Kalibrierdaten schrittweise verbessert werden. Das mindestens eine vorgegebene Optimierungskriterium ist beispielsweise ein vorgegebener Maximalwert (z.B. +/-1 Bildelement) für einen (x-/y-)Versatz zwischen den erfassten weiteren Abbildungen der beiden Kameras des Stereokamerasystems und/oder ein vorgegebener Maximalwert (z.B. +/-0,001° bezüglich eines Bildmittelpunktes) für eine Rotation zwischen den erfassten weiteren Abbildungen der beiden Kameras des Stereokamerasystems.
-
Werden die Schritte des Verfahrens in der Reihenfolge c), d), a), b) ausgeführt, so ist es ebenfalls möglich, die in Schritt a) erfassten Abbildungen mittels der in Schritt d) erzeugten weiteren Kalibrierdaten zu korrigieren, bevor Schritt b) ausgeführt wird. Das Vorgehen ist hierbei grundsätzlich analog zum voranstehend beschriebenen Vorgehen.
-
In einer Ausführungsform ist vorgesehen, dass die erzeugten Kalibrierdaten durch zumindest teilweises Anwenden auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen und Bewerten eines Ergebnisses der Anwendung überprüft werden, wobei die Schritte a) bis d) zumindest teilweise wiederholt werden, sofern ein Bewertungsergebnis mindestens ein vorgegebenes Kriterium nicht erfüllt. Ein Bewertungsergebnis kann beispielsweise Werte für Abweichungen umfassen, die für ausgewählte Größen bestimmt werden. Die ausgewählten Größen können beispielsweise eine oder mehrere der folgenden Größen umfassen: einen Versatz, eine Rotation, einen Helligkeitsunterschied, eine Verzeichnung etc. Ein vorgegebenes Kriterium umfasst beispielsweise vorgegebene Grenzwerte für die jeweiligen Bewertungsergebnisse, das heißt, insbesondere maximal zulässige Werte für die jeweiligen Abweichungen. Es kann ferner vorgesehen sein, dass einzelne Bewertungsergebnisse für die ausgewählten Größen aggregiert werden zu einem einzigen Bewertungsergebnis und mit dem mindestens einen Kriterium verglichen werden (z.B. mit einem Maximalwert für eine aggregierte Abweichung).
-
In einer Ausführungsform ist vorgesehen, dass Schritt b) und/oder d) eine oder mehrere der folgenden Maßnahmen umfasst: ein Bestimmen von extrinsischen Kalibrierdaten, ein Bestimmen von intrinsischen Kalibrierdaten, ein Bestimmen von Verzeichniskorrekturfelddaten, ein Bestimmen von Randabfallkorrekturdaten, ein Bestimmen von chromatischen Verschiebungsfeldkorrekturdaten.
-
Für die extrinsischen Kalibrierdaten und/oder intrinsischen Kalibrierdaten werden insbesondere Kameraprojektionsmatrizen mittels an sich bekannter Verfahren bestimmt. Verfahren zur extrinsischen und intrinsischen Kalibrierung von Kameras sind beispielsweise aus einer der eingangs genannten Druckschriften (Reg G. Willson, 1994) bekannt.
-
Zum Bestimmen der Verzeichniskorrekturfelddaten wird mittels eines geeigneten Kalibrierobjekts, im einfachsten Fall beispielsweise mittels eines Kalibrierobjekts mit mehreren senkrecht aufeinander stehenden Geraden innerhalb einer Ebene, die senkrecht auf der optischen Achse des medizinischen Mikroskops steht, oder mittels eines Schachbrettmusters, insbesondere eine Verzeichnung der erfassten Abbildungen bestimmt und anhand der bestimmten Verzeichnung ein Entzeichnungsfeld bestimmt, aus dem dann die Verzeichniskorrekturfelddaten abgeleitet werden. Zum verbesserten Bestimmen der Verzeichniskorrekturfelddaten werden insbesondere dreidimensionale Strukturen des dreidimensionalen Kalibrierobjekts erfasst und ausgewertet. Dies ist beispielsweise in King et al. beschrieben.
-
Zum Bestimmen der Randabfallkorrekturdaten wird insbesondere eine (Kamera-)Vignettierung in den erfassten Abbildungen bestimmt, welche durch die Randabfallkorrekturdaten derart korrigiert wird, dass Helligkeitswerte in den erfassten Abbildungen nicht in Richtung des Randes der erfassten Abbildungen abfallen. Insbesondere werden hierzu Abbildungen eines homogen selbstleuchtenden dreidimensionalen Kalibrierobjekts für verschiedene Arbeitspunkte (Arbeitsabstand, Zoom etc.) erfasst. Im Rahmen einer in Schritt b) durchgeführten Auswertung wird ein Helligkeitsverlauf in den erfassten Abbildungen bestimmt und ausgehend von dem bestimmten Helligkeitsverlauf werden die Randabfallkorrekturdaten derart bestimmt, dass mittels der Randabfallkorrekturdaten korrigierte erfasste Abbildungen des homogen selbstleuchtenden dreidimensionalen Kalibrierobjekts über das gesamte Kalibrierobjekt hinweg eine konstante, das heißt, homogene Helligkeit aufweisen.
-
Mittels der chromatischen Verschiebungsfeldkorrekturdaten soll insbesondere eine laterale chromatische Aberration korrigiert werden, das heißt, insbesondere soll ein Farbsaum, der insbesondere an Kanten zu sehen ist, korrigiert werden. Zum Bestimmen der chromatischen Verschiebungsfeldkorrekturdaten erfolgt insbesondere eine farbkanalabhängige Auswertung der erfassten Abbildungen eines dreidimensionalen Kalibrierobjekts. Insbesondere wird farbkanalabhängig ein Versatz (z.B. x-/y-Versatz) bestimmt und für jeden Farbkanal ein Versatzfeld für die erfassten Abbildungen bestimmt. Durch die chromatische Aberration hat beispielsweise eine Kante mit Farbsaum in jedem Farbkanal eine leicht unterschiedliche Position in der erfassten Abbildung. Das jeweils aus dem Versatzfeld erzeugte Korrekturfeld gibt dann an, wie die erfasste Abbildung im jeweiligen Farbkanal verschoben werden muss, damit die Abbildungen aller Farbkanäle bildelementgenau übereinanderliegen und der Farbsaum hierdurch verschwindet. Die Korrekturfelder aller Farbkanäle ergeben dann die Verschiebungsfeldkorrekturdaten.
-
In einer Ausführungsform ist vorgesehen, dass Schritt b) ein Bestimmen der jeweiligen Fokuslage der Kameras des Stereokamerasystems und ein Einstellen der jeweiligen Fokuslage umfasst. Das Einstellen der Fokuslage erfolgt insbesondere auf Grundlage der jeweils für die Kameras des Stereokamerasystems aus den Abbildungen bestimmten Fokuslagen. Ziel des Bestimmens und Einstellens ist es, dass die Kameras bei jedem Arbeitspunkt stets die gleiche (Ist-)Fokuslage aufweisen. Das Einstellen der Fokuslage erfolgt beispielsweise durch einen Techniker, dem die anhand der erfassten Abbildungen bestimmten Werte für die Fokuslagen auf einer Anzeigeeinrichtung des medizinischen Mikroskops angezeigt werden. Der Techniker justiert die Fokuslagen dann derart, dass die (Ist-)Fokuslagen bei den verschiedenen Arbeitspunkten für beide Kameras des Stereokamerasystems stets gleich sind. Grundsätzlich kann jedoch auch ein automatisiertes Justieren erfolgen, beispielsweise mittels einer hierfür eingerichteten Aktorik des medizinischen Mikroskops.
-
In einer Ausführungsform ist vorgesehen, dass Schritt d) ein Bestimmen eines Versatzes zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und ein Bestimmen von Versatzkorrekturdaten und/oder ein Bestimmen einer Rotation zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und ein Bestimmen von Rotationskorrekturdaten umfasst. Ein Versatz (z.B. x-/y-Versatz) und/oder eine Rotation zwischen den erfassten weiteren Abbildungen der Kameras werden insbesondere mit Bezug auf eine jeweilige Bildmitte der erfassten weiteren Abbildungen bestimmt.
-
In einer Ausführungsform ist vorgesehen, dass im Rahmen von Schritt a) oder c) beim Erfassen zumindest eines Teils der Abbildungen verschiedene Arbeitspunkte eines beweglichen Linsensystems des stereoskopischen medizinischen Mikroskops angewählt werden, wobei im Rahmen von Schritt b) oder d) für jeden der Arbeitspunkte des beweglichen Linsensystems ein Versatzwert bestimmt wird, wobei die Kalibrierdaten und/oder weiteren Kalibrierdaten unter Berücksichtigung der jeweils bestimmten Versatzwerte erzeugt werden. Hierdurch kann auch ein durch das bewegliche Linsensystem hervorgerufener Versatz über verschiedene Arbeitspunkte des beweglichen Linsensystems hinweg korrigiert werden. Ein Versatzwert bezeichnet insbesondere einen (x-/y-)Versatzwert von Bildelementen in Abbildungen, die von den beiden Kameras erfasst wurden. Durch das Anwählen verschiedener Arbeitspunkte verändert sich insbesondere eine Position der Linsen innerhalb des Linsensystems. Ändert sich hierbei eine optische Achse des Linsensystems, beispielsweise durch Toleranzen und Ungenauigkeiten in der Mechanik und in einer verwendeten Aktorik, so kann es zu Abbildungsfehlern kommen, welche zu einem Versatz zwischen den erfassten Abbildungen und/oder erfassten weiteren Abbildungen der beiden Kameras des Stereokamerasystems führen können. Ein solcher Versatz kann dann bei jedem Arbeitspunkt mittels der erzeugten Kalibrierdaten und/oder weiteren Kalibrierdaten korrigiert werden. Für Arbeitspunkte, für die keine Versatzwerte bestimmt wurden, können Kalibrierdaten und/oder weitere Kalibrierdaten durch Inter- oder Extrapolation erzeugt werden.
-
In einer Ausführungsform ist vorgesehen, dass ferner mindestens eine Zusatzabbildung eines homogen reflektierenden und/oder remittierenden Kalibrierobjektes mittels des Stereokamerasystems erfasst wird, wobei ausgehend von der erfassten mindestens einen Zusatzabbildung Beleuchtungskorrekturdaten zum Korrigieren von einer Beleuchtungsgeometrie mindestens einer Lichtquelle des medizinischen Mikroskops erzeugt werden und beim Erzeugen der Kalibrierdaten und/oder der weiteren Kalibrierdaten berücksichtigt werden. Hierdurch kann auch eine inhomogene Beleuchtungsgeometrie der mindestens einen Lichtquelle korrigiert werden. Die Beleuchtungskorrekturdaten können von den Kalibrierdaten oder weiteren Kalibrierdaten umfasst sein. Das homogen reflektierende und/oder remittierende Kalibrierobjekt kann auch Teil des mindestens einen dreidimensionalen oder des mindestens einen zweidimensionalen Kalibrierobjektes sein.
-
Weitere Merkmale zur Ausgestaltung der medizinischen Mikroskopanordnung ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile der medizinischen Mikroskopanordnung sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens.
-
Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der medizinischen Mikroskopanordnung;
- 2a schematische Darstellungen eines dreidimensionalen Kalibrierobjekts und eines zweidimensionalen Kalibrierobjekts in einer Seitenansicht;
- 2b schematische Darstellungen des dreidimensionalen Kalibrierobjekts und des zweidimensionalen Kalibrierobjekts in einer Draufsicht;
- 3 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Kalibrieren eines stereoskopischen medizinischen Mikroskops.
-
In der 1 ist eine schematische Darstellung einer Ausführungsform einer medizinischen Mikroskopanordnung 100 gezeigt. Die medizinische Mikroskopanordnung 100 umfasst ein stereoskopisches medizinisches Mikroskop 1, beispielsweise ein Operationsmikroskop und eine Datenverarbeitungseinrichtung 2. Nachfolgend wird das in dieser Offenbarung beschriebene Verfahren anhand des medizinischen Mikroskopanordnung 100 erläutert.
-
Das stereoskopische medizinische Mikroskop 1 umfasst ein Stereokamerasystem 3, das eine linke Kamera 3l und eine rechte Kamera 3r umfasst. Die Kameras 3l, 3r erfassen einen über eine stereoskopische Abbildungsoptik 4 (nur schematisch dargestellt) des medizinischen Mikroskops 1 abgebildeten Erfassungsbereich. Zum Korrigieren von insbesondere Fehlern in einer Justage können für die Abbildungsoptik 4 Kalibrierdaten 30 und weitere Kalibrierdaten 31, beispielsweise für eine Aktorik 5, welche dazu eingerichtet ist, Eigenschaften der Abbildungsoptik 4 zu verändern, hinterlegt werden.
-
Ferner umfasst das medizinische Mikroskop 1 eine Signalverarbeitungseinrichtung 6, welche ein von einem Bildsensor der linken Kamera 3l bereitgestelltes Rohsignal 10l und ein von einem Bildsensor der rechten Kamera 10r bereitgestelltes Rohsignal 10r verarbeitet und aus den Rohsignalen 10l, 10r Abbildungen 20 und weitere Abbildungen 21 erzeugt und bereitstellt. Die Abbildungen 20, 21 können beispielsweise auf mindestens einer Anzeigeeinrichtung 7, beispielsweise einem oder mehreren Monitoren oder einer am Kopf tragbaren Anzeigeeinrichtung (engl. Head Mounted Display, HMD), welche insbesondere auch Teil des medizinischen Mikroskops 1 sein können, angezeigt werden. Die Signalverarbeitung kann insbesondere ein bildelementabhängiges Verändern einer Helligkeit und/oder ein Erzeugen eines Versatzes und/oder eine Rotation um einen Bildmittelpunkt (oder einen sonstigen Punkt) sowie weitere Manipulationen (Filterung, Farbkorrektur etc.) umfassen. Zum Korrigieren der Rohsignale 10l, 10r können Kalibrierdaten 30, 31 in der Signalverarbeitungseinrichtung 6 hinterlegt werden.
-
Es kann auch vorgesehen sein, dass die Kalibrierdaten 30, 31 nur in der Bildverarbeitungseinrichtung 6 hinterlegt werden.
-
Die Datenverarbeitungseinrichtung 2 umfasst eine Recheneinrichtung 2-1, beispielsweise einen Mikroprozessor oder Mikrocontroller, und einen Speicher 2-2. Die Datenverarbeitungseinrichtung 2 kann auch Teil des medizinischen Mikroskops 1 sein.
-
Die Datenverarbeitungseinrichtung 2 ist dazu eingerichtet, die Kalibrierdaten 30 ausgehend von mittels der Kameras 3l, 3r des Stereokamerasystems 3 erfassten Abbildungen 20 mindestens eines dreidimensionalen Kalibrierobjekts 40 zu erzeugen und zum Korrigieren zu hinterlegen. Ferner ist die Datenverarbeitungseinrichtung 2 dazu eingerichtet, die weiteren Kalibrierdaten 31 ausgehend von mittels der Kameras 3l, 3r des Stereokamerasystems 3 erfassten weiteren Abbildungen 21 mindestens eines zweidimensionalen Kalibrierobjekts 41 zu erzeugen und zum Korrigieren zu hinterlegen.
-
Insbesondere wird mittels der medizinischen Mikroskopanordnung 100 ein Verfahren zum Kalibrieren des stereoskopischen medizinischen Mikroskops 1 ausgeführt, umfassend:
- a) Erfassen von Abbildungen 20 des mindestens einen dreidimensionalen Kalibrierobjekts 40 mittels der Kameras 3l, 3r des Stereokamerasystems 3 des medizinischen Mikroskops 1,
- b) Erzeugen der Kalibrierdaten 30 ausgehend von den erfassten Abbildungen 20, wobei die erzeugten Kalibrierdaten 30 zum Korrigieren hinterlegt werden,
- c) Erfassen von weiteren Abbildungen 21 des mindestens einen zweidimensionalen Kalibrierobjekts 41 mittels der Kameras 3l, 3r des Stereokamerasystems 3,
- d) Erzeugen der weiteren Kalibrierdaten 31 ausgehend von den erfassten weiteren Abbildungen 21, wobei die weiteren Kalibrierdaten 31 zum Korrigieren hinterlegt werden.
-
Es kann vorgesehen sein, dass Schritt a) und/oder Schritt c) bei verschiedenen Arbeitspunkten des medizinischen Mikroskops 1 durchgeführt werden, wobei die Kalibrierdaten 30 in Schritt b) und/oder die weiteren Kalibrierdaten 31 in Schritt d) für jeden der verschiedenen Arbeitspunkte erzeugt werden. Ein Arbeitspunkt kann hierbei insbesondere Parameter für die folgenden Einstellungen umfassen: eine Lage (Position und/oder Orientierung) der Kamera(s) und/oder eine Vergrößerung (Zoom), einen Arbeitsabstand (Fokus bzw. eine Position der Fokussierlinse), eine Position einer Blende, einen Wert einer Blendenöffnung (Aperturblende), ein Vorhandensein einer Drapelinse (ja/nein) etc.
-
Die verschiedenen Arbeitspunkte können hierbei sowohl manuell als auch automatisiert eingestellt werden. Beim manuellen Einstellen kann vorgesehen sein, dass Parameter des medizinischen Mikroskops 1 beispielsweise einem Techniker angezeigt werden, sodass dieser die Parameter für jeden Arbeitspunkt einstellen kann. Beim automatisierten Einstellen kann die Datenverarbeitungseinrichtung 2 dazu eingerichtet sein, geeignete Steuerparameter zu erzeugen und dem medizinischen Mikroskop 1, insbesondere der Aktorik 5, zum Einstellen der verschiedenen Arbeitspunkte zuzuführen.
-
Es ist vorgesehen, dass die in Schritt b) erzeugten Kalibrierdaten 30 zum Korrigieren zumindest teilweise auf die erfassten weiteren Abbildungen 21 angewendet werden, wobei der Schritt d) für die korrigierten weiteren Abbildungen 21 durchgeführt und/oder wiederholt wird. Es ist ferner alternativ oder zusätzlich vorgesehen, dass die in Schritt d) erzeugten weiteren Kalibrierdaten 31 zum Korrigieren zumindest teilweise auf die erfassten Abbildungen 20 angewendet werden, wobei Schritt b) für die korrigierten Abbildungen 20 durchgeführt und/oder wiederholt wird. Es kann ferner vorgesehen sein, dass die in Schritt b) erzeugten Kalibrierdaten 30 und/oder die in Schritt d) erzeugten weiteren Kalibrierdaten 31 zum Korrigieren zumindest teilweise auf die erfassten Abbildungen 20 und/oder die erfassten weiteren Abbildungen 21 angewendet werden, wobei der Schritt b) für die korrigierten Abbildungen 20 durchgeführt und/oder wiederholt wird und/oder der Schritt d) für die korrigierten weiteren Abbildungen 21 durchgeführt und/oder wiederholt wird. Das Korrigieren kann in diesem Fall sowohl in der Signalverarbeitungseinrichtung 6 als auch in der Datenverarbeitungseinrichtung 2 erfolgen.
-
Es kann vorgesehen sein, dass das Korrigieren und die Schritte c) und d) solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Hierzu werden insbesondere die weiteren Kalibrierdaten 31 vor jeder Wiederholung im medizinischen Mikroskop 1 hinterlegt, insbesondere in der Bildverarbeitungseinrichtung 6. Das erneute Durchführen der Schritte c) und d) erfolgt dann mit geänderten weiteren Kalibrierdaten 31. Hierdurch kann eine Kalibrierung des medizinischen Mikroskops 1 sukzessive und iterativ verbessert werden.
-
Insbesondere ist vorgesehen, dass Schritt b) eine oder mehrere der folgenden Maßnahmen umfasst: ein Bestimmen von extrinsischen Kalibrierdaten, ein Bestimmen von intrinsischen Kalibrierdaten, ein Bestimmen von Verzeichniskorrekturfelddaten, ein Bestimmen von Randabfallkorrekturdaten, ein Bestimmen von chromatischen Verschiebungsfeldkorrekturdaten. Die erzeugten Kalibrierdaten 30 umfassen dann die extrinsischen Kalibrierdaten und/oder intrinsischen Kalibrierdaten und/oder Verzeichniskorrekturfelddaten und/oder Randabfallkorrekturdaten und/oder chromatischen Verschiebungsfeldkorrekturdaten.
-
Es kann vorgesehen sein, dass Schritt b) ein Bestimmen der jeweiligen Fokuslage der Kameras 3l, 3r des Stereokamerasystems 3 und ein Einstellen der jeweiligen Fokuslage umfasst. Die (Ist-)Fokuslage kann basierend auf einem jeweils für die Fokuslage bestimmten Wert eingestellt bzw. justiert werden. Dies kann grundsätzlich sowohl manuell durch einen Techniker als auch automatisiert und/oder motorisiert mittels der Aktorik 5 erfolgen. Ziel ist es, dass die Fokuslage beider Kameras 3l, 3r bei verschiedenen Arbeitspunkten stets die gleiche ist.
-
Es kann vorgesehen sein, dass Schritt d) ein Bestimmen eines Versatzes zwischen den erfassten weiteren Abbildungen 21 der Kameras 3l, 3r des Stereokamerasystems 3 und ein Bestimmen von Versatzkorrekturdaten und/oder ein Bestimmen einer Rotation zwischen den erfassten weiteren Abbildungen 21 der Kameras 3l, 3r des Stereokamerasystems 3 und ein Bestimmen von Rotationskorrekturdaten umfasst. Die erzeugten weiteren Kalibrierdaten 31 umfassen dann die Versatzkorrekturdaten und/oder die Rotationskorrekturdaten.
-
Es kann vorgesehen sein, dass im Rahmen der Schritte a) oder c) beim Erfassen zumindest eines Teils der Abbildungen 20, 21 verschiedene Arbeitspunkte eines beweglichen Linsensystems des stereoskopischen medizinischen Mikroskops 1 angewählt werden, wobei im Rahmen der Schritte b) oder d) für jeden der Arbeitspunkte des beweglichen Linsensystems ein Versatzwert bestimmt wird, wobei die Kalibrierdaten 30 und/oder die weiteren Kalibrierdaten 31 unter Berücksichtigung der jeweils bestimmten Versatzwerte erzeugt werden.
-
Es kann vorgesehen sein, dass ferner mindestens eine Zusatzabbildung 22 eines homogen reflektierenden und/oder remittierenden Kalibrierobjektes 42 mittels des Stereokamerasystems 3 erfasst wird, wobei ausgehend von der erfassten mindestens einen Zusatzabbildung 22 Beleuchtungskorrekturdaten zum Korrigieren von einer Beleuchtungsgeometrie mindestens einer Lichtquelle (nicht gezeigt) des medizinischen Mikroskops 1 erzeugt werden und beim Erzeugen der Kalibrierdaten 30 und/oder der weiteren Kalibrierdaten 31 berücksichtigt werden. Die Beleuchtungskorrekturdaten werden hierfür mittels der Datenverarbeitungseinrichtung 2 bestimmt. Hierzu bestimmt die Datenverarbeitungseinrichtung 2 in der erfassten mindestens einen Zusatzabbildung 22 einen Helligkeitsverlauf, insbesondere für verschiedene Arbeitspunkte. Da eine Helligkeit in der erfassten mindestens einen Zusatzabbildung 22 konstant sein sollte, können ausgehend von dem jeweiligen Helligkeitsverlauf die Beleuchtungskorrekturdaten erzeugt, insbesondere aus dem Helligkeitsverlauf bestimmt werden. Die Beleuchtungskorrekturdaten werden zum Korrigieren im laufenden Betrieb insbesondere als Kalibrierdaten 30, 31 in der Signalverarbeitungseinrichtung 6 hinterlegt. Die Signalverarbeitungseinrichtung 6 wendet die Beleuchtungskorrekturdaten dann auf die Rohsignale 10l, 10r an.
-
Das Erfassen der mindestens einen Zusatzabbildung 22 des homogen reflektierenden und/oder remittierenden Kalibrierobjektes 42 und das Erzeugen der Beleuchtungskorrekturdaten erfolgt insbesondere im Anschluss an die Schritte a) bis d). Insbesondere kann eine Korrektur auf Grundlage von den Randabfallkorrekturdaten (zur Korrektur von einer Kamera-Vignettierung) bereits durchgeführt worden sein, bevor der Helligkeitsverlauf und die Beleuchtungskorrekturdaten bestimmt werden. Es kann jedoch auch vorgesehen sein, dass das homogen reflektierende und/oder remittierende Kalibrierobjekt 42 Teil des zweidimensionalen Kalibrierobjekts 41 ist. Das Erfassen der mindestens einen Zusatzabbildung 22 des homogen reflektierenden und/oder remittierenden Kalibrierobjektes 42 kann dann auch gleichzeitig mit anderen Schritten, beispielsweise mit Schritt c), erfolgen.
-
Die 2a und 2b zeigen schematische Darstellungen von Ausführungsformen des dreidimensionalen Kalibrierobjekts 40 und des zweidimensionalen Kalibrierobjekts 41. Die 2a zeigt hierbei eine Seitenansicht, die 2b eine Draufsicht, welche einer Ansicht entspricht, wie das medizinische Mikroskop 1 die Kalibrierobjekte 40, 41 mittels der Kameras 3l, 3r erfassen würde. Das dreidimensionale Kalibierobjekt 40 weist eine dreieckige Form mit einer geneigten Fläche auf (es kann daher auch als „Schrägtarget“ bezeichnet werden), sodass verschiedene Abstände (z.B. z-Richtung) gleichzeitig erfasst werden können. Das zweidimensionale Kalibrierobjekt 41 weist auf einer Oberseite ein Schachbrettmuster auf. Mit Hilfe des Schachbrettmusters können insbesondere ein Versatz (z.B. x-/y-Richtung) und eine Rotation zwischen den von den Kameras 3l, 3r des Stereokamerasystems 3 erfassten (weiteren) Abbildungen 20, 21 bestimmt werden. Grundsätzlich kann das zweidimensionale Kalibrierobjekt 41 zusätzlich oder alternativ auch andere geeignete Strukturen aufweisen, wie beispielsweise Rechtecke, Linien und/oder sonstige geeignete zweidimensionale Formen etc.
-
Im gezeigten Beispiel sind die Kalibrierobjekte 40, 41 gemeinsam als kombiniertes Objekt dargestellt. Die Kalibrierobjekte 40, 41 können jedoch auch separat voneinander ausgebildet sein und/oder separat voneinander verwendet werden.
-
Es kann insbesondere auch vorgesehen sein, dass das dreidimensionale Kalibrierobjekt 40 gemäß einer der Ausführungsformen ausgebildet ist, wie diese in der
DE 10 2019 131 646 A1 beschrieben sind, insbesondere gemäß einer Ausführungsform der dort gezeigten
5 oder
6.
-
In der 3 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Kalibrieren eines stereoskopischen medizinischen Mikroskops gezeigt. Das Verfahren wird beispielsweise mittels einer medizinischen Mikroskopanordnung ausgeführt, wie diese in der 1 gezeigt ist.
-
Nach dem Start 200 des Verfahrens, der beispielsweise durch einen Techniker ausgelöst werden kann, werden in einem Verfahrensschritt 201 Abbildungen von mindestens einem dreidimensionalen Kalibrierobjekt mittels Kameras eines Stereokamerasystems des medizinischen Mikroskops erfasst. Vor dem Erfassen wird hierzu (mindestens) ein dreidimensionales Kalibrierobjekt im Erfassungsbereich des medizinischen Mikroskops angeordnet. Es ist insbesondere vorgesehen, dass Verfahrensschritt 201 für verschiedene Arbeitspunkte des medizinischen Mikroskops durchgeführt wird.
-
In einem Verfahrensschritt 202 werden mittels einer Datenverarbeitungseinrichtung Kalibrierdaten ausgehend von den erfassten Abbildungen erzeugt, insbesondere ausgehend von den erfassten Abbildungen bestimmt. Die erzeugten Kalibrierdaten werden zum Korrigieren hinterlegt, insbesondere in einem hierfür vorgesehenen Speicher des medizinischen Mikroskops, beispielsweise in einem Speicher einer Signalverarbeitungseinrichtung und/oder einer Steuereinrichtung und/oder einer Aktorik des medizinischen Mikroskops. Das Erzeugen, insbesondere Bestimmen, der Kalibrierdaten erfolgt insbesondere jeweils für die verschiedenen Arbeitspunkte. Die erzeugten, insbesondere bestimmten, Kalibrierdaten umfassen insbesondere Kameraprojektionsmatrizen (extrinsische Kalibrierdaten und/oder intrinsische Kalibrierdaten) und/oder Verzeichniskorrekturfelddaten und/oder Randabfallkorrekturdaten und/oder chromatische Verschiebungsfeldkorrekturdaten.
-
Je nach Art der zu bestimmenden Kalibrierdaten kann vorgesehen sein, jeweils unterschiedliche dreidimensionale Kalibrierobjekte zu verwenden. Für jedes der dreidimensionalen Kalibrierobjekte werden in Verfahrensschritt 201 dann Abbildungen, insbesondere bei verschiedenen Arbeitspunkten, erfasst.
-
In einem Verfahrensschritt 203 werden Abbildungen mindestens eines dreidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems erfasst. Dies erfolgt insbesondere mit Hilfe des dreidimensionalen Kalibrierobjekts 40 („Schrägtargets“), welches in der 2a gezeigt ist. Durch die geneigte Fläche kann ein Unschärfeverlauf in einer erfassten Abbildung entlang der optischen Achse (z-Richtung) bewertet werden, sodass eine jeweilige Fokuslage der Kameras bestimmt werden kann. Das Erfassen kann insbesondere für verschiedene Arbeitspunkte erfolgen, insbesondere bei verschiedenen Arbeitsabständen zum dreidimensionalen Kalibrierobjekt. Ausgehend von den erfassten Abbildungen werden jeweilige Fokuslagen der Kameras des Stereokamerasystems bestimmt.
-
In einem Verfahrensschritt 204 werden die Fokuslagen der Kameras basierend auf den bestimmten Werten eingestellt bzw. aneinander angeglichen. Dies erfolgt insbesondere manuell durch einen Techniker. Insbesondere erfolgt dies derart, dass die Fokuslagen bei den verschiedenen Arbeitspunkten (insbesondere Arbeitsabständen) für beide Kameras stets gleich sind.
-
In einem Verfahrensschritt 205 werden weitere Abbildungen mindestens eines zweidimensionalen Kalibrierobjekts mittels der Kameras des Stereokamerasystems erfasst.
-
In einem Verfahrensschritt 206 werden ausgehend von den erfassten weiteren Abbildungen weitere Kalibrierdaten erzeugt, insbesondere bestimmt. Insbesondere ist vorgesehen, dass ein Versatz (x-/y-Versatz) zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und Versatzkorrekturdaten sowie eine Rotation zwischen den erfassten weiteren Abbildungen der Kameras des Stereokamerasystems und Rotationskorrekturdaten bestimmt werden. Die erzeugten, insbesondere bestimmten, weiteren Kalibrierdaten werden zum Korrigieren hinterlegt, insbesondere in einem hierfür vorgesehenen Speicher des medizinischen Mikroskops, beispielsweise in einem Speicher einer Signalverarbeitungseinrichtung und/oder einer Steuereinrichtung und/oder einer Aktorik des medizinischen Mikroskops.
-
Je nach Art der zu bestimmenden Kalibrierdaten kann vorgesehen sein, jeweils unterschiedliche zweidimensionale Kalibrierobjekte zu verwenden. Für jedes der zweidimensionalen Kalibrierobjekte werden in Verfahrensschritt 205 dann Abbildungen, insbesondere bei verschiedenen Arbeitspunkten, erfasst.
-
In einem Verfahrensschritt 207 werden die Kalibrierdaten und die weiteren Kalibrierdaten auf die erfassten weiteren Abbildungen des zweidimensionalen Kalibrierobjekts angewendet; insbesondere werden die erfassten weiteren Abbildungen hiermit korrigiert. Dies kann beispielsweise mittels der Signalverarbeitungseinrichtung 6 (1) erfolgen, indem diese die Rohsignale 10l, 10r mittels der hinterlegten Kalibrierdaten und der hinterlegten weiteren Kalibrierdaten korrigiert und die Ergebnisse, das heißt, die derart korrigierten Abbildungen bereitstellt.
-
Es kann vorgesehen sein, dass die Verfahrensschritte 205, 206 und 207 anschließend wiederholt werden. Insbesondere ist hierbei vorgesehen, dass die Verfahrensschritte 205, 206 und 207 solange wiederholt werden, bis mindestens ein vorgegebenes Optimierungskriterium erfüllt ist. Vorgegebene Optimierungskriterien können hierbei beispielsweise Maximalwerte für einen Versatz und/oder eine Rotation (z.B. +/-1 Bildelement und/oder +/-0,001°) zwischen den Abbildungen der beiden Kameras des Stereokamerasystems sein.
-
Es kann in Verfahrensschritt 207 vorgesehen sein, dass die erzeugten Kalibrierdaten durch zumindest teilweises Anwenden auf die erfassten Abbildungen und/oder die erfassten weiteren Abbildungen und Bewerten eines Ergebnisses der Anwendung überprüft werden, wobei die Verfahrensschritte 201 bis 207 zumindest teilweise wiederholt werden, sofern ein Bewertungsergebnis mindestens ein vorgegebenes Kriterium nicht erfüllt. Das mindestens eine vorgegebene Kriterium kann beispielsweise Maximalwerte für einen Versatz und/oder eine Rotation zwischen den Abbildungen der beiden Kameras des Stereokamerasystems, jeweils Maximalwerte für eine Verzeichnung der Kameras und/oder jeweils Maximalwerte für einen Randabfall der Helligkeit (Kamera-Vignettierung) usw. umfassen.
-
Sind die Kalibrierdaten optimiert und/oder überprüft, so werden die Kalibrierdaten und die weiteren Kalibrierdaten in einem Verfahrensschritt 208 zur Anwendung im Feld im medizinischen Mikroskop hinterlegt. Das Verfahren ist dann beendet 209.
-
Bezugszeichenliste
-
- 1
- Medizinisches Mikroskop
- 2
- Datenverarbeitungseinrichtung
- 2-1
- Recheneinrichtung
- 2-2
- Speicher
- 3
- Stereokamerasystem
- 3l
- linke Kamera
- 3r
- rechte Kamera
- 4
- Abbildungsoptik
- 5
- Aktorik
- 6
- Signalverarbeitungseinrichtung
- 7
- Anzeigeeinrichtung
- 10l
- Rohsignal (linke Kamera)
- 10r
- Rohsignal (rechte Kamera)
- 20
- Abbildung
- 21
- weitere Abbildung
- 22
- Zusatzabbildung
- 30
- Kalibrierdaten
- 31
- weitere Kalibrierdaten
- 40
- dreidimensionales Kalibrierobjekt
- 41
- zweidimensionales Kalibrierobjekt
- 42
- homogen reflektierendes und/oder remittierendes Kalibrierobjekt
- 100
- Medizinische Mikroskopanordnung
- 200-209
- Verfahrensschritte des Verfahrens
